Demnitatea datelor începe înainte de model.
Formularul de pe biroul greșit
Discuția despre demnitatea datelor începe adesea prea târziu. Începe după ce un model a fost antrenat, după ce setul de date a fost colectat, îmbinat, filtrat, deduplicat, normalizat, încorporat, evaluat, împachetat, implementat și apărat de cineva de la juridic care nu a dormit suficient. În acel moment, conversația sună moral, ceea ce este util, și ușor teatral, ceea ce este mai puțin util. Oamenii întreabă dacă modelul a respectat persoanele din spatele datelor. Răspunsul sincer este, de obicei, că modelului nu i s-a dat niciodată șansa. Decizia fusese luată cu luni înainte, pe un formular pe care nimeni nu voia să și-l asume.
Am văzut odată o echipă de cercetare medicală descoperind acest lucru într-o întâlnire care trebuia să fie despre calitatea modelului. Modelul nu era problema. Problema era o coloană mică de introducere marcată „reutilizare permisă”. Avea trei valori posibile: da, nu și necompletat. Necompletat însemna că nimeni nu știa. În conducta de export, necompletat fusese tratat ca da, pentru că altfel experimentul ar fi fost incomod. Aceasta nu era răutate. Era mai rău pentru guvernanță: era o valoare implicită. Cel mai tăcut câmp din foaia de calcul avea mai multă autoritate decât comitetul de etică.
Echipa putea reantrena, să își ceară scuze, să documenteze și să îmbunătățească. Dar problema demnității nu începea în rețeaua neuronală. Începea atunci când o înregistrare sosea fără un scop clar, fără un custode, fără o regulă de păstrare, fără o modalitate de a păstra retragerea și fără un contract tehnic care să refuze incertitudinea. Modelul doar a făcut mai rapidă lipsa de respect anterioară. Mașinile sunt adesea blamate pentru că sunt reci, dar multe dintre cele mai reci decizii sunt luate de oameni calzi care fac clic pe „import”.
Demnitatea datelor începe înaintea modelului, pentru că datele devin politice în momentul în care sunt colectate. O înregistrare nu este doar un rând. Este un fragment dintr-o persoană, o companie, o comunitate, un loc de muncă, un parcurs de pacient, un serviciu public, un mediu senzorial sau o judecată profesională. A trata acel fragment cu demnitate nu înseamnă să îl înfășori în limbaj sentimental. Înseamnă să păstrezi suficient adevăr în jurul lui, astfel încât sistemele ulterioare să nu poată pretinde că a apărut de nicăieri.
Consimțământul nu este un parfum
Multe organizații tratează consimțământul ca pe un parfum plăcut adăugat unui proces după ce munca grea este terminată. Un paragraf este plasat într-o politică. O căsuță de bifat este adăugată unui portal. O linie din registru menționează interesul legitim. Toată lumea respiră ușurată, cel puțin până când cineva întreabă ce i s-a permis de fapt modelului să învețe. Atunci cei din încăpere descoperă că formularea juridică și permisiunea operațională sunt legate în același mod în care un meniu este legat de cină. Una este o promisiune. Cealaltă trebuie gătită.
Consimțământul operațional are o structură. Spune ce scop este permis, ce actori pot procesa înregistrarea, ce transformări sunt permise, ce derivate moștenesc limita, cât timp poate trăi înregistrarea, cum este gestionată retragerea și ce dovezi dovedesc alegerea ulterior. Dacă aceste piese nu sunt suficient de lizibile pentru mașini încât să afecteze conducta de procesare, ele nu sunt consimțământ într-un sistem de IA. Sunt documentație cu tematică de consimțământ. Documentația își are locul ei, dar nu ar trebui să i se ceară să oprească un job de procesare în lot prin forță morală.
Aceasta devine deosebit de important atunci când datele se mută de la scopul lor inițial către instruire, regăsire, evaluare, monitorizare sau analiza produsului. O plângere depusă la o municipalitate poate fi utilă pentru îmbunătățirea unui clasificator. O notă clinică poate fi utilă pentru extragerea simptomelor. O transcriere a suportului pentru clienți poate fi utilă pentru un chatbot. Utilitatea nu creează demnitate. Creează tentație. Întrebarea demnității este dacă noul scop a fost declarat, dacă persoanele și instituțiile implicate s-ar fi putut aștepta în mod rezonabil la el și dacă sistemul poate impune răspunsul atunci când datele devin convenabile.
Consimțământul îmbătrânește și el. O înregistrare colectată acum cinci ani poate fi intrat sub ipoteze care nu mai corespund practicii actuale. O persoană poate să se fi retras. Un contract poate fi expirat. Un acord de partajare a datelor poate fi permis analiza, dar nu instruirea modelului. Un câmp poate fi fost anonimizat suficient de bine pentru un raport, dar nu suficient de bine pentru un index de încorporări care poate fi interogat toată ziua de angajați creativi. Permisiunea veche nu ar trebui tratată ca un borcan de gem din spatele dulapului. Data contează.
Contextul este o proprietate tehnică
Există un obicei leneș de a separa datele de context, ca și cum contextul ar fi moale și datele ar fi dure. În sistemele reale, adesea este exact invers. Valoarea datelor poate fi un număr, un cod, un nume, un timestamp sau un câmp de text. Semnificația sa depinde de metoda de colectare, unitate, domeniu de aplicare, incertitudine, autoritatea sursei, regulile de excludere, limbă, valorile lipsă și situația în care a fost înregistrat. Îndepărtează-le și datele nu devin neutre. Devin excesiv de încrezătoare.
O citire a unui senzor de pe un pod nu este doar vibrație. Este vibrație de la un dispozitiv specific, calibrat la o dată specifică, montat într-un loc specific, măsurat în condiții meteorologice specifice, eșantionat la o frecvență specifică și interpretat în raport cu un istoric de întreținere. O înregistrare de plată nu este doar o sumă. Se află în interiorul unui contract, al unui proces de decontare, al unui model de fraudă, al unei convenții valutare și al unui obicei uman de a introduce virgule unde zecimalele voiau să trăiască. Modelul poate vedea doar tokeni sau vectori, dar instituția rămâne responsabilă pentru substantivele lipsă.
Demnitatea datelor necesită, prin urmare, păstrarea contextului ca o cerință de inginerie. Descrierile schemelor trebuie versionate. Sistemele sursă trebuie numite. Transformările trebuie înregistrate. Valorile lipsă trebuie distinse de zerouri, refuzuri, necunoscute și stări neaplicabile. Etichetele trebuie să poarte cine le-a etichetat, sub ce ghid și cu ce dezacord. Exemplele de evaluare trebuie să poarte de ce au fost selectate. Un set de date fără context nu este materie primă. Este un zvon sub formă tabelară.
Nu este o pledoarie pentru metadate nesfârșite. Metadatele nesfârșite sunt felul în care ideile bune ajung să-și petreacă pensia într-un catalog pe care nimeni nu-l deschide. Ideea este metadatele selective, operaționale: contextul necesar pentru a decide dacă înregistrarea poate fi folosită, dacă înseamnă în continuare ceea ce crede sistemul că înseamnă și dacă o persoană de mai târziu poate contesta rezultatul. Demnitatea nu cere fiecare fapt despre înregistrare. Cere faptele care împiedică înregistrarea să devină străină de sine.
Datoria de demnitate
Datoria tehnică este familiară pentru că inginerii o pot vedea în build-uri, incidente, schimbări lente și înjurături scurte tastate în mesajele de commit. Datoria de demnitate a datelor este mai tăcută. Se acumulează atunci când originea este neclară, permisiunea este ambiguă, contextul este pierdut, păstrarea este ignorată, etichetele sunt nedocumentate, accesul este prea larg sau datele derivate sunt tratate ca inofensive pentru că nu mai arată ca sursa. Datoria poate să nu strice un test. Așteaptă o plângere, un audit, o dispută, un rezultat dăunător sau un jurnalist cu răbdare.
Lucrul periculos la datoria de demnitate este că se compune prin utilitate. Un set de date convenabil este copiat. Un set de date copiat devine un feature store. Feature store-ul alimentează un model. Rezultatul modelului devine o înregistrare. Înregistrarea devine feedback de antrenament. Fiecare pas pare practic. Fiecare pas face, de asemenea, mai greu de răspuns la întrebarea inițială: ce ni s-a permis să facem cu aceste date și ce datoram oamenilor din spatele lor. Până când întrebarea ajunge la conducere, răspunsul a fost distribuit pe opt sisteme și o persoană care s-a mutat la alt departament.
Echipele serioase tratează datoria de demnitate ca pe orice alt risc operațional. O înregistrează, o prețuiesc, atribuie responsabili și decid ce utilizări sunt blocate până când datoria este achitată. Dacă un set de date nu poate dovedi originea, nu ar trebui să intre în antrenament de mare impact. Dacă retragerea nu poate fi propagată, utilizarea ar trebui limitată. Dacă artefactele derivate nu pot fi urmărite, modelul nu ar trebui să susțină decizii cu consecințe. Dacă etichetele au fost produse sub îndrumare slabă, evaluarea nu ar trebui folosită ca certificat de corectitudine. Acest lucru este plictisitor în cel mai bun mod. Plictiseala este felul în care adulții țin podurile în picioare.
Există tentația de a rezolva datoria de demnitate cu o platformă grandioasă. Platformele pot ajuta, dar prima mișcare este de obicei mai mică și mai disciplinată: refuză necunoscutele la intrare, separă scopul de stocare, înregistrează proveniența la granițele de transformare, păstrează drepturile atașate derivatelor și fă ștergerea testabilă. Un sistem care nu poate șterge cu încredere nu poate pretinde sincer că a respectat retragerea. Poate pretinde doar că speră că datele au devenit timide.
Datele derivate sunt tot date
IA face demnitatea datelor mai greu de respectat, pentru că generează derivate care par inofensive. Un document devine un fragment. Un fragment devine o înglobare. O conversație de suport devine un rezumat. O notă clinică devine o etichetă. O interogare de căutare devine un eveniment de analiză. Un răspuns al modelului devine o înregistrare nouă. O corecție umană devine date de consolidare. Fiecare artefact poate pierde forma originalului, păstrând totuși suficient sens pentru a conta. Masca se schimbă. Obligația s-ar putea să nu se schimbe.
Înglobările sunt un exemplu util pentru că sunt ușor de înțeles greșit. Nu sunt text lizibil, așa că oamenii le tratează ca și cum demnitatea s-ar fi evaporat. Dar o înglobare poate dezvălui în continuare similarități, apartenență, grupări sensibile sau context de afaceri. Poate ajuta la reconstruirea sau inferarea unor fapte. Poate purta consecințele unor etichete părtinitoare. Poate persista după ce sursa a fost ștearsă. Să o numești vector nu o face socialmente lipsită de greutate. Multe lucruri din viață par inofensive când sunt scrise ca zecimale. Soldurile bancare, de exemplu.
Datele derivate au nevoie de reguli de moștenire. Ce obligații urmează de la sursă la fragment, vector, cache, rezumat, caracteristică, jurnal de prompturi, eșantion de evaluare și ieșire a modelului. Ce derivate trebuie șterse când sursa este ștearsă. Care pot fi păstrate pentru că sunt suficient de agregate sau independente din punct de vedere legal. Care necesită consimțământ separat. Care sunt înregistrări de sine stătătoare. Fără moștenire, fiecare sistem din aval poate improviza demnitatea. Improvizația este fermecătoare în jazz. În guvernanța datelor, produce adesea minute de întâlnire.
Aceste reguli de moștenire ar trebui proiectate înainte de colectare, nu după prima lansare a modelului. Scopul nu este să înghețe inovația. Este să îi ofere inovației o bază. Inginerii pot construi mai repede când știu ce derivate sunt permise, ce limite necesită revizuire și ce metadate trebuie să călătorească. Cercetătorii pot explora fără să transforme fiecare experiment într-o ședință juridică. Utilizatorii și persoanele vizate obțin beneficiul mai important: instituția poate explica ce s-a întâmplat cu datele lor fără să consulte folclorul.
Modelul este un martor tardiv
Când un sistem de IA se comportă prost, investigația se uită adesea prima dată la model. Este de înțeles. Modelul este vizibil, scump și greșit cu o încredere care face capturi de ecran bune. Dar modelul este adesea un martor tardiv al deciziilor anterioare. Reflectă alegeri de colectare, alegeri de etichetare, alegeri de excludere, alegeri de curățare, alegeri de păstrare și alegeri de evaluare. Să ceri doar modelului să devină demn este ca și cum i-ai cere ultimei persoane dintr-o ștafetă să îmbunătățească ștafeta.
Modelele de carduri, auditurile, evaluările, exercițiile de tip red-team și instrumentele de explicabilitate contează toate. Ele fac parte din povestea demnității, mai ales când sistemele afectează oameni. Dar nu pot recupera permisiunea care nu a fost niciodată capturată, contextul care a fost aruncat sau istoricul care nu a fost înregistrat. Ele pot dezvălui decalajul. Nu pot face decalajul moral acceptabil. De aceea controalele timpurii nu sunt birocrație. Ele sunt condițiile care fac ca responsabilitatea ulterioară să fie mai mult decât un spectacol.
Același lucru este valabil și pentru echitate. O analiză a echității după antrenare poate găsi rate de eroare inegale, grupuri lipsă, variabile proxy sau praguri dăunătoare. Nu poate stabili întotdeauna dacă setul de date a exclus oameni la colectare, dacă etichetele au capturat prejudecăți instituționale, dacă un câmp însemna același lucru în toate locațiile sau dacă o regulă de consimțământ a filtrat eșantionul într-un mod care a schimbat populația. Echitatea fără demnitatea datelor înseamnă să lucrezi cu o oglindă care s-ar fi putut curba la fabricație.
Există și un avantaj practic în a începe devreme: cu cât o regulă de demnitate intră mai devreme în fluxul de lucru, cu atât este mai ieftin de aplicat. O înregistrare refuzată la intrare costă puțin. Un set de date pus în carantină înainte de antrenare costă mai mult. Un model retras din producție costă mult mai mult. O pierdere publică de încredere costă orice sumă scrie finanțele după ce toată lumea încetează să pretindă că este doar comunicare. Demnitatea este adesea descrisă ca un cost suplimentar etic. În sistemele serioase, este mai ieftină decât curățarea ulterioară.
Gestiunea este o muncă reală
Demnitatea datelor are nevoie de gestionari, nu de mascote. Un gestionar nu este persoana al cărei nume apare pe un slide pentru ca diagrama de guvernanță să aibă o față umană. Un gestionar are autoritatea să răspundă dacă un set de date poate fi folosit, să blocheze un scop riscant, să solicite metadate, să aprobe păstrarea, să gestioneze retragerea și să explice o decizie auditorilor și persoanelor afectate. Fără autoritate, gestiunea devine decorativă. Guvernanța decorativă este ușor de recunoscut pentru că conține multe comitete și foarte puține verbe.
Gestionarul are nevoie și de pârghii tehnice. Are nevoie de tablouri de bord care să arate istoricul și utilizarea, nu doar volumul de stocare. Are nevoie de alerte când un set de date este refolosit în afara scopului său. Are nevoie de contracte cu echipele de inginerie despre metadatele obligatorii. Are nevoie de o cale de ștergere care a fost testată. Are nevoie de o modalitate de a marca incertitudinea fără să urmărească cum fluxul de lucru o transformă în liniște în „da”. Are nevoie de un buget suficient pentru a repara datoria de demnitate înainte ca aceasta să devină un titlu de presă. Aceasta este muncă, nu o etichetă de virtute.
O bună gestiune este colaborativă. Juridic înțelege autoritatea. Securitatea înțelege accesul. Inginerii de date înțeleg mișcarea. Experții de domeniu înțeleg semnificația. Echipele de produs înțeleg utilizarea intenționată. Cercetătorii înțeleg incertitudinea. Operațiunile înțeleg ce se întâmplă la trei dimineața. Demnitatea datelor eșuează când una dintre aceste perspective este declarată proprietarul întregii probleme și toți ceilalți se întorc la tablourile lor de bord. Înregistrarea traversează funcțiile; la fel trebuie să traverseze și responsabilitatea.
Există o modestie umană în toate acestea. Demnitatea datelor nu cere unei organizații să știe totul. Îi cere să știe ce știe, ce nu știe, cine poate decide și unde sunt aplicate limitele. Aceasta este mai puțin spectaculos decât un plan strategic despre IA responsabilă. Dar este și mai probabil să supraviețuiască contactului cu un job real de import.
Cum arată demnitatea în infrastructură
Infrastructura pentru demnitatea datelor nu este mistică. Arată ca registre de surse, etichete de scop, stări de consimțământ, contracte de date, evenimente de lineage, domenii de acces, joburi de retenție, dovezi de ștergere, ghiduri de etichetare, versiuni de seturi de date, registre de evaluare și cozi de revizuire. Dacă lista sună banal, cu atât mai bine. Cele mai fiabile sisteme etice seamănă adesea cu instalațiile sanitare. Sunt observate mai ales când cineva a uitat să le monteze.
La intake, o înregistrare ar trebui să ajungă cu o sursă declarată, un scop, o bază legală sau o stare de permisiune, o clasă de sensibilitate și un steward. La transformare, sistemul ar trebui să emită evenimente de lineage și să păstreze limitele relevante. La utilizare, runtime-ul ar trebui să verifice dacă scopul se potrivește. La stocare, retenția și ștergerea ar trebui să fie executabile, nu aspiraționale. La evaluare, exemplele ar trebui să poarte originea și logica de selecție. La revizuire, persoanele afectate și operatorii interni ar trebui să aibă o cale de a contesta utilizarea abuzivă. Nimic din toate acestea nu cere să pretindem că toate datele sunt sacre. Cere să admitem că datele au o viață.
Cea mai importantă decizie de design este să faci din necunoscut o stare de primă clasă. Necunoscut nu înseamnă da. Necunoscut nu înseamnă inofensiv. Necunoscut este un semnal să întrebi, să izolezi, să limitezi sau să refuzi. Multe eșecuri ale demnității apar pentru că sistemele sunt alergice la incertitudine. Preferă un boolean curat chiar și când lumea reală nu a furnizat unul. Așa devin celulele goale permisiuni. Un sistem demn lasă incertitudinea să încetinească lucrurile. Mașina se va descurca. Nu a fost invitată la masă pentru sentimentele ei.
Nu există o arhitectură perfectă a demnității. Există default-uri mai bune și default-uri mai proaste. Default-urile mai bune păstrează contextul aproape, propagă limitele, înregistrează mișcarea, cer utilizare secundară explicită și fac posibilă revenirea. Default-urile mai proaste uniformizează scopul, copiază liber, au încredere în toată lumea, șterg doar în politică și descoperă obligațiile când o face calendarul de audit. Alegerea nu este între inovație și demnitate. Alegerea este între sisteme care își amintesc ce datorează și sisteme care speră că nimeni nu întreabă.
Lecția
Demnitatea datelor este adesea discutată ca un principiu grandios, dar devine reală în decizii tehnice mici, luate înainte ca modelul să apară. Ce trebuie cunoscut la intake. Ce necunoscute opresc fluxul. Ce drepturi călătoresc cu derivatele. Ce contexte sunt păstrate. Ce scopuri sunt permise. Ce stewarzi pot spune nu. Ce ștergeri pot fi dovedite. Aceste alegeri determină dacă un model ulterior poate fi responsabil sau doar elocvent.
Calea respectuoasă nu este împotriva datelor și nici împotriva inteligenței artificiale. Este în favoarea memoriei. Ea insistă ca înregistrările să poarte suficientă origine, permisiune, context și obligație pentru a rămâne legate de oamenii și instituțiile care le-au produs. Un model antrenat pe astfel de date are mai multe șanse să fie util fără să devină extractiv din întâmplare. Un model antrenat fără aceste fundații poate fi totuși impresionant. La fel este și o clădire fără fundație, pentru o perioadă scurtă și interesantă.
Începe înaintea modelului. Începe cu formularul, contractul, schema, starea de consimțământ, ghidul de etichetare, regula de păstrare, politica de derivate și custodele cu autoritate reală. Acolo intră demnitatea în sistem. Tot ce urmează după aceea este fie conservare, fie limitarea daunelor.