Dostojanstvo podataka počinje prije modela
Obrazac na pogrešnom stolu
Rasprava o dostojanstvu podataka često počinje prekasno. Počinje nakon što je model istreniran, nakon što je skup podataka prikupljen, spojen, filtriran, dedupliciran, normaliziran, ugrađen, evaluiran, pakiran, implementiran i obranjen od strane nekoga iz pravnog odjela koji nije dovoljno spavao. U tom trenutku razgovor zvuči moralno, što je korisno, i pomalo teatralno, što je manje korisno. Ljudi pitaju je li model poštivao ljude iza podataka. Iskren odgovor obično je da model nikada nije dobio priliku. Odluka je donesena mjesecima ranije, na obrascu koji nitko nije želio preuzeti.
Jednom sam gledao istraživački tim u zdravstvu kako to otkriva na sastanku koji je trebao biti o kvaliteti modela. Model nije bio problem. Problem je bio mali stupac za unos označen dopušteno ponovno korištenje. Imao je tri moguće vrijednosti: da, ne i prazno. Prazno je značilo da nitko ne zna. U izvoznom procesu, prazno je tretirano kao da jer bi inače eksperiment bio nezgodan. To nije bila zloba. Bilo je gore za upravljanje: bila je to zadana vrijednost. Najtiše polje u proračunskoj tablici imalo je više autoriteta od etičkog povjerenstva.
Tim je mogao ponovno trenirati, ispričati se, dokumentirati i poboljšati. No problem dostojanstva nije počeo u neuronskoj mreži. Počeo je kada je zapis stigao bez jasne svrhe, bez skrbnika, bez pravila zadržavanja, bez načina za očuvanje povlačenja i bez tehničkog ugovora koji odbija neizvjesnost. Model je samo ubrzao ranije nepoštivanje. Strojevi se često optužuju da su hladni, ali mnoge najhladnije odluke donose topli ljudi koji kliknu na uvoz.
Dostojanstvo podataka počinje prije modela jer podaci postaju politički u trenutku prikupljanja. Zapis nije samo redak. To je fragment osobe, tvrtke, zajednice, radnog mjesta, putovanja pacijenta, javne usluge, senzorskog okruženja ili profesionalne prosudbe. Tretirati taj fragment s dostojanstvom ne znači umotati ga u sentimentalan jezik. Znači zadržati dovoljno istine oko njega da kasniji sustavi ne mogu pretvarati da se pojavio niotkuda.
Pristanak nije parfem
Mnoge organizacije tretiraju privolu kao ugodan miris dodan procesu nakon što je težak posao obavljen. Odlomak se postavi u politiku. Potvrdni okvir se doda na portal. Redak u registru kaže legitimni interes. Svi odahnu, barem dok netko ne pita što je modelu zapravo bilo dopušteno naučiti. Tada soba otkrije da su pravna formulacija i operativno dopuštenje povezani na isti način na koji je jelovnik povezan s večerom. Jedno je obećanje. Drugo se mora skuhati.
Operativna privola ima strukturu. Ona kaže koja je svrha dopuštena, koji akteri smiju obrađivati zapis, koje su transformacije dopuštene, koji izvedeni podaci nasljeđuju ograničenje, koliko dugo zapis smije postojati, kako se postupa s povlačenjem privole i koji dokaz kasnije potvrđuje taj izbor. Ako ti dijelovi nisu dovoljno strojno čitljivi da utječu na cjevovod, onda to nije privola u AI sustavu. To je dokumentacija na temu privole. Dokumentacija ima svoje mjesto, ali od nje se ne bi trebalo tražiti da moralnom snagom zaustavi serijski posao.
To postaje posebno važno kada podaci prelaze iz svoje prvotne svrhe u obuku, pretraživanje, evaluaciju, praćenje ili analitiku proizvoda. Pritužba podnesena općini može biti korisna za poboljšanje klasifikatora. Klinička bilješka može biti korisna za izdvajanje simptoma. Transkript korisničke podrške može biti koristan za chatbota. Korisnost ne stvara dostojanstvo. Ona stvara iskušenje. Pitanje dostojanstva jest je li nova svrha bila objavljena, jesu li ljudi i institucije uključeni u to mogli razumno očekivati, te može li sustav provesti odgovor kada podaci postanu zgodni.
Privola također stari. Zapis prikupljen prije pet godina mogao je nastati pod pretpostavkama koje više ne odgovaraju sadašnjoj praksi. Osoba je mogla povući privolu. Ugovor je mogao isteći. Sporazum o dijeljenju podataka mogao je dopuštati analizu, ali ne i obuku modela. Polje je moglo biti anonimizirano dovoljno dobro za izvješće, ali ne i dovoljno dobro za indeks ugradnje koji kreativni zaposlenici mogu pretraživati cijeli dan. Staro dopuštenje ne bi se trebalo tretirati kao staklenka pekmeza na dnu ormarića. Datum je bitan.
Kontekst je tehničko svojstvo
Postoji lijena navika odvajanja podataka od konteksta kao da je kontekst mekan, a podaci tvrdi. U stvarnim sustavima često je obrnuto. Vrijednost podatka može biti broj, kod, ime, vremenska oznaka ili tekstualno polje. Njegovo značenje ovisi o metodi prikupljanja, jedinici, opsegu, nesigurnosti, autoritetu izvora, pravilima isključenja, jeziku, nedostajućim vrijednostima i situaciji u kojoj je zabilježen. Uklonite li to, podaci ne postaju neutralni. Postaju previše samouvjereni.
Očitanje senzora s mosta nije samo vibracija. To je vibracija s određenog uređaja, kalibriranog na određeni datum, postavljenog na određeno mjesto, izmjerena u određenim vremenskim uvjetima, uzorkovana na određenoj frekvenciji i interpretirana u odnosu na povijest održavanja. Zapis o plaćanju nije samo iznos. On se nalazi unutar ugovora, procesa poravnanja, modela prijevara, valutne konvencije i ljudske navike unosa zareza tamo gdje su decimale htjele živjeti. Model možda vidi samo tokene ili vektore, ali institucija ostaje odgovorna za imenice koje nedostaju.
Dostojanstvo podataka stoga zahtijeva očuvanje konteksta kao inženjerski zahtjev. Opisi shema moraju biti verzionirani. Izvorni sustavi moraju biti imenovani. Transformacije moraju biti zabilježene. Nedostajuće vrijednosti moraju se razlikovati od nula, odbijanja, nepoznatih vrijednosti i stanja koja se ne primjenjuju. Oznake moraju nositi podatak o tome tko ih je postavio, prema kojoj smjernici i s kakvim neslaganjem. Primjeri za evaluaciju moraju nositi podatak o tome zašto su odabrani. Skup podataka bez konteksta nije sirovina. To je glasina u tabličnom obliku.
Ovo nije poziv na beskonačne metapodatke. Beskonačni metapodaci način su na koji dobre ideje odlaze u mirovinu u katalog koji nitko ne otvara. Poanta su selektivni, operativni metapodaci: kontekst potreban da se odluči smije li se zapis koristiti, znači li još uvijek ono što sustav misli da znači te može li ga kasnije netko osporiti. Dostojanstvo ne zahtijeva svaku činjenicu o zapisu. Zahtijeva činjenice koje sprječavaju da zapis postane stranac samome sebi.
Dug dostojanstva
Tehnički dug je poznat jer ga inženjeri vide u buildovima, incidentima, sporim promjenama i malim psovkama upisanim u poruke commitova. Dug dostojanstva podataka tiši je. Nakuplja se kad je podrijetlo nejasno, dopuštenje dvosmisleno, kontekst odbačen, zadržavanje zanemareno, oznake nedokumentirane, pristup preširok ili se izvedeni podaci tretiraju kao bezopasni jer više ne nalikuju izvoru. Dug možda neće oboriti test. Čeka na pritužbu, reviziju, spor, štetni rezultat ili strpljivog novinara.
Opasna stvar kod duga dostojanstva jest da se umnožava kroz korisnost. Skup podataka koji je prikladan kopira se. Kopirani skup podataka postaje feature store. Feature store hrani model. Rezultat modela postaje zapis. Zapis postaje povratna informacija za treniranje. Svaki korak djeluje praktično. Svaki korak također otežava odgovor na izvorno pitanje: što nam je bilo dopušteno učiniti s tim podacima i što smo dugovali ljudima iza njih. Dok pitanje stigne do vodstva, odgovor je raspoređen po osam sustava i jednoj osobi koja je prešla u drugi odjel.
Ozbiljni timovi tretiraju dug dostojanstva kao svaki drugi operativni rizik. Registriraju ga, procjenjuju, dodjeljuju vlasnike i odlučuju koje su upotrebe blokirane dok se dug ne otplati. Ako skup podataka ne može dokazati podrijetlo, ne bi smio ući u visokoučinsko treniranje. Ako se povlačenje ne može proširiti, upotreba bi trebala biti ograničena. Ako se izvedeni artefakti ne mogu pratiti, model ne bi smio podupirati odluke s posljedicama. Ako su oznake proizvedene uz loše smjernice, evaluacija se ne bi smjela koristiti kao potvrda pravednosti. To je dosadno na najbolji način. Dosadno je kako odrasli održavaju mostove.
Postoji iskušenje riješiti dug dostojanstva velikom platformom. Platforme mogu pomoći, ali prvi je potez obično manji i discipliniraniji: odbiti nepoznanice na ulazu, odvojiti svrhu od pohrane, bilježiti podrijetlo na granicama transformacije, zadržati prava vezana uz izvedenice i učiniti brisanje provjerljivim. Sustav koji ne može pouzdano brisati ne može pošteno tvrditi da je poštovao povlačenje. Može samo tvrditi da se nada da su podaci postali stidljivi.
Izvedeni podaci i dalje su podaci
AI otežava dostojanstvo podataka jer stvara derivate koji izgledaju bezazleno. Dokument postaje komadić. Komadić postaje ugradnja. Razgovor s podrškom postaje sažetak. Klinička bilješka postaje oznaka. Upit postaje analitički događaj. Odgovor modela postaje novi zapis. Ljudska ispravka postaje podatak za pojačanje. Svaki artefakt može izgubiti oblik izvornika, a zadržati dovoljno značenja da bude važan. Maska se mijenja. Obveza možda ne.
Ugradnje su dobar primjer jer ih je lako pogrešno shvatiti. One nisu čitljiv tekst, pa ih ljudi tretiraju kao da je dostojanstvo isparilo. No ugradnja i dalje može otkriti sličnost, pripadnost, osjetljivo grupiranje ili poslovni kontekst. Može pomoći u rekonstrukciji ili zaključivanju činjenica. Može nositi posljedice pristranih oznaka. Može opstati nakon što je izvor obrisan. Nazvati je vektorom ne čini je društveno beznačajnom. Mnoge stvari u životu izgledaju bezazleno kad su zapisane kao decimale. Primjerice, bankovni saldi.
Izvedeni podaci trebaju pravila nasljeđivanja. Koje obveze slijede od izvora do komadića, vektora, predmemorije, sažetka, značajke, dnevnika upita, uzorka za vrednovanje i izlaza modela. Koji se derivati moraju obrisati kad se izvor obriše. Koji se mogu zadržati jer su dovoljno agregirani ili pravno neovisni. Koji zahtijevaju poseban pristanak. Koji su zapisi za sebe. Bez nasljeđivanja, svaki nizvodni sustav može improvizirati dostojanstvo. Improvizacija je šarmantna u jazzu. U upravljanju podacima često proizvodi zapisnike sa sastanaka.
Ta pravila nasljeđivanja treba osmisliti prije prikupljanja, ne nakon prvog pokretanja modela. Poanta nije zamrznuti inovaciju. Poanta je dati inovaciji pod. Inženjeri mogu graditi brže kad znaju koji su derivati dopušteni, koje granice zahtijevaju pregled i koji metapodaci moraju putovati. Istraživači mogu istraživati bez pretvaranja svakog eksperimenta u pravnu seansu. Korisnici i ispitanici dobivaju važniju korist: institucija može objasniti što se dogodilo s njihovim podacima bez konzultiranja folklora.
Model je kasni svjedok
Kad se AI sustav ponaša loše, istraga često prvo gleda u model. To je razumljivo. Model je vidljiv, skup i samouvjereno pogrešan na načine koji daju dobre snimke zaslona. No model je često kasni svjedok ranijih odluka. On odražava odluke o prikupljanju, označavanju, isključivanju, čišćenju, zadržavanju i vrednovanju. Tražiti samo od modela da postane dostojanstven jest poput tražiti od zadnje osobe u štafetnoj utrci da poboljša palicu.
Model kartice, revizije, evaluacije, vježbe crvenog tima i alati za objašnjivost sve su važni. Dio su priče o dostojanstvu, osobito kada sustavi utječu na ljude. No oni ne mogu vratiti dopuštenje koje nikada nije zabilježeno, kontekst koji je odbačen ili podrijetlo koje nije evidentirano. Oni mogu otkriti jaz. Ne mogu taj jaz učiniti moralno urednim. Zato rane kontrole nisu birokracija. One su uvjeti koji kasniju odgovornost čine više od pukog teatra.
Isto vrijedi i za pravednost. Revizija pravednosti nakon treniranja može otkriti nejednake stope pogrešaka, skupine koje nedostaju, proxy varijable ili štetne pragove. Ne može uvijek utvrditi je li skup podataka isključio ljude prilikom prikupljanja, jesu li oznake uhvatile institucionalne predrasude, je li polje značilo istu stvar na različitim mjestima ili je pravilo o privoli filtriralo uzorak na način koji je promijenio populaciju. Pravednost bez dostojanstva podataka znači raditi s ogledalom koje je možda bilo iskrivljeno već u proizvodnji.
Postoji i praktična prednost ranog početka: što ranije pravilo dostojanstva uđe u proces, to je jeftinije provesti ga. Zapis odbijen na ulazu košta malo. Skup podataka stavljen u karantenu prije treniranja košta više. Model povučen iz proizvodnje košta mnogo više. Javni gubitak povjerenja košta onoliko koliko financije zapišu nakon što svi prestanu glumiti da je to samo pitanje komunikacija. Dostojanstvo se često opisuje kao etički trošak. U ozbiljnim sustavima ono je jeftinije od sanacije.
Skrbništvo je pravi posao
Dostojanstvo podataka treba skrbnike, ne maskote. Skrbnik nije osoba čije se ime pojavljuje na slajdu kako bi dijagram upravljanja imao ljudsko lice. Skrbnik ima ovlast odgovoriti smije li se skup podataka koristiti, blokirati rizičnu svrhu, zahtijevati metapodatke, odobriti zadržavanje, provesti povlačenje i objasniti odluku revizorima i pogođenim osobama. Bez ovlasti, skrbništvo postaje dekorativno. Dekorativno upravljanje lako je prepoznati jer sadrži mnogo odbora i vrlo malo glagola.
Skrbnik također treba tehničku polugu. Treba nadzorne ploče koje prikazuju podrijetlo i upotrebu, ne samo volumen pohrane. Treba upozorenja kada se skup podataka ponovno koristi izvan svoje svrhe. Treba ugovore s inženjerskim timovima o obveznim metapodacima. Treba provjereni put brisanja. Treba način da označi nesigurnost bez gledanja kako je proces tiho pretvara u potvrdan odgovor. Treba dovoljan proračun da popravi dug dostojanstva prije nego što postane naslovnica. To je posao, ne oznaka vrline.
Dobro skrbništvo je suradničko. Pravni tim razumije ovlasti. Sigurnost razumije pristup. Inženjeri podataka razumiju kretanje. Stručnjaci za domenu razumiju značenje. Proizvodni timovi razumiju namjeravanu upotrebu. Istraživači razumiju nesigurnost. Operacije razumiju što se događa u tri ujutro. Dostojanstvo podataka propada kada se jedna od tih perspektiva proglasi vlasnikom cijelog problema, a svi ostali vrate svojim nadzornim pločama. Zapis putuje kroz funkcije; tako mora putovati i odgovornost.
U tome postoji ljudska skromnost. Dostojanstvo podataka ne zahtijeva od organizacije da zna sve. Zahtijeva da organizacija zna što zna, što ne zna, tko smije odlučivati i gdje se granice provode. To je manje glamurozno od strateške prezentacije o odgovornoj umjetnoj inteligenciji. No veća je vjerojatnost da će preživjeti kontakt sa stvarnim uvozom podataka.
Kako dostojanstvo izgleda u infrastrukturi
Infrastruktura za dostojanstvo podataka nije mistična. Izgleda kao registri izvora, oznake svrhe, stanja privole, ugovori o podacima, događaji podrijetla, opsezi pristupa, zadaci čuvanja, dokazi o brisanju, smjernice za označavanje, verzije skupova podataka, registri evaluacija i redovi čekanja za pregled. Ako taj popis zvuči obično, dobro. Najpouzdaniji etički sustavi često nalikuju vodovodu. Primijete se uglavnom kada ih netko zaboravi instalirati.
Pri unosu, zapis bi trebao stići s deklariranim izvorom, svrhom, pravnim temeljem ili stanjem dopuštenja, klasom osjetljivosti i stewardom. Pri transformaciji, sustav bi trebao emitirati događaje podrijetla i čuvati relevantna ograničenja. Pri upotrebi, izvođenje bi trebalo provjeriti odgovara li svrha. Pri pohrani, čuvanje i brisanje trebali bi biti izvršivi, a ne puka želja. Pri evaluaciji, primjeri bi trebali nositi podrijetlo i logiku odabira. Pri pregledu, pogođene osobe i interni operateri trebali bi imati put za osporavanje zlouporabe. Ništa od toga ne zahtijeva pretvaranje da su svi podaci sveti. Zahtijeva priznanje da podaci imaju život.
Najvažniji dizajnerski potez jest učiniti nepoznato stanjem prvog reda. Nepoznato nije da. Nepoznato nije bezopasno. Nepoznato je signal za pitanje, karantenu, ograničenje ili odbijanje. Mnogi propusti dostojanstva događaju se jer su sustavi alergični na nesigurnost. Više vole uredan boolean čak i kada stvarni svijet nije pružio jedan. Tako prazne ćelije postaju dopuštenja. Dostojanstven sustav dopušta nesigurnosti da uspori stvari. Stroj će se snaći. Nije bio pozvan na ručak zbog svojih osjećaja.
Ne postoji savršena arhitektura dostojanstva. Postoje bolje zadane postavke i lošije zadane postavke. Bolje zadane postavke drže kontekst blizu, šire ograničenja, bilježe kretanje, zahtijevaju izričitu sekundarnu upotrebu i omogućuju poništavanje. Lošije zadane postavke poravnavaju svrhu, slobodno kopiraju, vjeruju svima, brišu samo u politici i otkrivaju obveze kada to učini kalendar revizije. Izbor nije između inovacije i dostojanstva. Izbor je između sustava koji pamte što duguju i sustava koji se nadaju da nitko neće pitati.
Pouka
O dostojanstvu podataka često se raspravlja kao o velikom načelu, ali ono postaje stvarno u malim tehničkim odlukama donesenim prije nego što se model pojavi. Što mora biti poznato pri unosu. Koje nepoznanice zaustavljaju tok. Koja prava putuju s izvedenicama. Koji se konteksti čuvaju. Koje su svrhe dopuštene. Koji stewardi mogu reći ne. Koja se brisanja mogu dokazati. Te odluke određuju može li kasniji model biti odgovoran ili samo rječit.
Poštovanje nije protiv podataka niti protiv umjetne inteligencije. Ono je za pamćenje. Inzistira na tome da zapisi nose dovoljno podrijetla, dopuštenja, konteksta i obveze da ostanu povezani s ljudima i institucijama koje su ih stvorile. Model osposobljen na takvim podacima ima veće šanse biti koristan bez da slučajno postane eksploatatorski. Model osposobljen bez tih temelja i dalje može biti impresivan. Kao i zgrada bez temelja, kratko i uzbudljivo vrijeme.
Počnite prije modela. Počnite s obrascem, ugovorom, shemom, stanjem privole, smjernicama za označavanje, pravilom čuvanja, politikom izvedenica i skrbnikom sa stvarnim ovlastima. Tu dostojanstvo ulazi u sustav. Sve nakon toga ili je očuvanje ili kontrola štete.