Dataværdighed starter før modellen
Formularen på det forkerte skrivebord
Argumentet om dataværdighed begynder ofte for sent. Det begynder efter en model er blevet trænet, efter datasættet er blevet skrabet, flettet, filtreret, dedupliceret, normaliseret, indlejret, evalueret, pakket, udrullet og forsvaret af en fra juridisk, der ikke har sovet nok. På det tidspunkt lyder samtalen moralsk, hvilket er nyttigt, og også en smule teatralsk, hvilket er mindre nyttigt. Folk spørger, om modellen respekterede menneskene bag dataene. Det ærlige svar er som regel, at modellen aldrig fik en chance. Beslutningen blev truffet måneder tidligere, på en formular ingen ønskede at eje.
Jeg så engang et sundhedsforskningshold opdage dette på et møde, der skulle handle om modelkvalitet. Modellen var ikke problemet. Problemet var en lille indtastningskolonne markeret genbrug tilladt. Den havde tre mulige værdier: ja, nej og tom. Tom betød, at ingen vidste det. I eksportpipelinen var tom blevet behandlet som ja, fordi eksperimentet ellers ville have været upraktisk. Dette var ikke ondskab. Det var værre for styringsformål: det var en standardindstilling. Det roligste felt i regnearket havde mere autoritet end etikudvalget.
Holdet kunne genoptræne, undskylde, dokumentere og forbedre. Men værdighedsproblemet begyndte ikke i det neurale netværk. Det begyndte, da en post ankom uden et klart formål, uden en forvalter, uden en opbevaringsregel, uden en måde at bevare tilbagetrækning på og uden en teknisk kontrakt, der nægtede usikkerhed. Modellen gjorde blot den tidligere respektløshed hurtigere. Maskiner beskyldes ofte for at være kolde, men mange af de koldeste valg træffes af varme mennesker, der klikker på import.
Dataværdighed begynder før modellen, fordi data bliver politiske i det øjeblik, de indsamles. En post er ikke kun en række. Det er et fragment af en person, en virksomhed, et fællesskab, en arbejdsplads, en patientrejse, en offentlig tjeneste, et sensormiljø eller en professionel vurdering. At behandle det fragment med værdighed er ikke at pakke det ind i sentimentalt sprog. Det er at bevare nok sandhed omkring det, så senere systemer ikke kan lade, som om det dukkede op fra ingenting.
Samtykke er ikke en parfume
Mange organisationer behandler samtykke som en behagelig duft, der tilsættes en proces, efter at det hårde arbejde er gjort. Et afsnit placeres i en politik. En afkrydsningsboks tilføjes til en portal. En linje i registret siger legitim interesse. Alle slapper af, i det mindste indtil nogen spørger, hvad modellen faktisk havde lov til at lære. Så opdager lokalet, at juridisk formulering og operationel tilladelse hænger sammen på samme måde, som en menu hænger sammen med middagen. Det ene er et løfte. Det andet skal tilberedes.
Operationelt samtykke har struktur. Det angiver, hvilket formål der er tilladt, hvilke aktører der må behandle registreringen, hvilke transformationer der er tilladt, hvilke afledte data der arver begrænsningen, hvor længe registreringen må leve, hvordan tilbagetrækning håndteres, og hvilke beviser der senere dokumenterer valget. Hvis disse dele ikke er maskinlæsbare nok til at påvirke pipelinen, er de ikke samtykke i et AI-system. De er samtykke-inspireret dokumentation. Dokumentation har sin plads, men den bør ikke blive bedt om at stoppe et batchjob ved moralsk kraft.
Dette bliver særligt vigtigt, når data bevæger sig fra sit første formål ind i træning, hentning, evaluering, overvågning eller produktanalyse. En klage indsendt til en kommune kan være nyttig til at forbedre en klassifikator. En klinisk note kan være nyttig til at udtrække symptomer. En kundesupporttransskription kan være nyttig til en chatbot. Nytte skaber ikke værdighed. Det skaber fristelse. Værdighedsspørgsmålet er, om det nye formål blev erklæret, om de involverede personer og institutioner med rimelighed kunne forvente det, og om systemet kan håndhæve svaret, når dataene bliver bekvemme.
Samtykke ældes også. En registrering indsamlet for fem år siden kan være indgået under antagelser, der ikke længere matcher nuværende praksis. En person kan have trukket sig tilbage. En kontrakt kan være udløbet. En datadelingsaftale kan have tilladt analyse, men ikke modeltræning. Et felt kan være blevet anonymiseret godt nok til en rapport, men ikke godt nok til et indlejringsindeks, der kan forespørges hele dagen af kreative medarbejdere. Gammel tilladelse bør ikke behandles som et glas syltetøj bagerst i skabet. Datoen betyder noget.
Kontekst er en teknisk egenskab
Der er en doven vane med at adskille data fra kontekst, som om kontekst var blød, og data var hård. I rigtige systemer er det modsatte ofte tilfældet. Dataværdien kan være et tal, en kode, et navn, et tidsstempel eller et tekstfelt. Dets betydning afhænger af indsamlingsmetode, enhed, omfang, usikkerhed, kildeautoritet, ekskluderingsregler, sprog, manglende værdier og den situation, hvori det blev registreret. Fjern disse, og dataene bliver ikke neutrale. De bliver overmodige.
En sensoraflæsning fra en bro er ikke bare vibration. Det er vibration fra en specifik enhed, kalibreret på en specifik dato, monteret på et specifikt sted, målt under specifikt vejr, samplet ved en specifik frekvens og fortolket mod en vedligeholdelseshistorik. En betalingsregistrering er ikke bare et beløb. Den ligger inde i en kontrakt, en afviklingsproces, en svindelmodel, en valutaomregningskonvention og en menneskelig vane med at indtaste kommaer, hvor decimaler ønskede at bo. Modellen ser måske kun tokens eller vektorer, men institutionen forbliver ansvarlig for de manglende navneord.
Dataværdighed kræver derfor kontekstbevarelse som et teknisk krav. Skemabeskrivelser skal versionsstyres. Kildesystemer skal navngives. Transformationer skal registreres. Manglende værdier skal adskilles fra nuller, afvisninger, ukendte og ikke-relevante tilstande. Etiketter skal bære, hvem der har lavet dem, under hvilken retningslinje og med hvilken uenighed. Evaluerings eksempler skal bære, hvorfor de blev udvalgt. Et datasæt uden kontekst er ikke råmateriale. Det er et rygte i tabelform.
Dette er ikke en bøn om endeløs metadata. Endeløs metadata er sådan, gode idéer tager på pension i et katalog, ingen åbner. Pointen er selektiv, operationel metadata: den kontekst, der skal til for at beslutte, om registreringen må bruges, om den stadig betyder det, systemet tror, den betyder, og om en senere person kan udfordre resultatet. Værdighed kræver ikke alle fakta om registreringen. Den kræver de fakta, der forhindrer registreringen i at blive en fremmed for sig selv.
Værdighedsgælden
Teknisk gæld er velkendt, fordi ingeniører kan se den i builds, hændelser, langsomme ændringer og små forbandelser skrevet i commit-beskeder. Data-værdighedsgæld er mere stille. Den akkumuleres, når oprindelse er uklar, tilladelse er tvetydig, kontekst droppes, opbevaring ignoreres, labels er udokumenterede, adgang er for bred, eller afledte data behandles som harmløse, fordi de ikke længere ligner kilden. Gælden behøver ikke at bryde en test. Den venter på en klage, en revision, en tvist, et skadeligt output eller en journalist med tålmodighed.
Det farlige ved værdighedsgæld er, at den forrentes gennem brugbarhed. Et datasæt, der er praktisk, bliver kopieret. Et kopieret datasæt bliver en feature store. Feature storen fodrer en model. Modeloutputtet bliver en registrering. Registreringen bliver træningsfeedback. Hvert skridt føles praktisk. Hvert skridt gør det også sværere at besvare det oprindelige spørgsmål: hvad havde vi lov til at gøre med disse data, og hvad skyldte vi de mennesker bag dem. Når spørgsmålet når ledelsen, er svaret blevet fordelt på otte systemer og én person, der er flyttet til en anden afdeling.
Seriøse teams behandler værdighedsgæld som enhver anden operationel risiko. De registrerer den, prissætter den, tildeler ejere og beslutter, hvilke anvendelser der er blokeret, indtil gælden er betalt ned. Hvis et datasæt ikke kan bevise sin oprindelse, bør det ikke indgå i højrisiko-træning. Hvis tilbagetrækning ikke kan udbredes, bør brugen begrænses. Hvis afledte artefakter ikke kan spores, bør modellen ikke understøtte beslutninger med konsekvenser. Hvis labels blev produceret under dårlig vejledning, bør evalueringen ikke bruges som et certifikat for retfærdighed. Dette er kedeligt på den bedste måde. Kedeligt er sådan, voksne holder broer oppe.
Der er en fristelse til at løse værdighedsgæld med en stor platform. Platforme kan hjælpe, men det første skridt er normalt mindre og mere disciplineret: afvis ukendte ved indtagelse, adskil formål fra opbevaring, registrer afstamning ved transformationsgrænser, hold rettigheder knyttet til afledninger, og gør sletning testbar. Et system, der ikke kan slette med tillid, kan ikke ærligt hævde, at det har respekteret tilbagetrækning. Det kan kun hævde, at det håber, dataene er blevet generte.
Afledte data er stadig data
AI gør dataværdighed sværere, fordi den skaber afledninger, der ser uskyldige ud. Et dokument bliver til en bid. En bid bliver til en indlejring. En supportsamtale bliver til et resumé. En klinisk note bliver til en etiket. En søgeforespørgsel bliver til en analysehændelse. Et modelsvar bliver til en ny registrering. En menneskelig korrektion bliver til træningsdata. Hvert artefakt kan miste den oprindelige forms konturer, mens det bevarer nok betydning til at have betydning. Masken skifter. Forpligtelsen gør måske ikke.
Indlejringer er et nyttigt eksempel, fordi de er lette at misforstå. De er ikke læsbar tekst, så folk behandler dem, som om værdigheden er fordampet. Men en indlejring kan stadig afsløre lighed, medlemskab, følsom klyngedannelse eller forretningskontekst. Den kan hjælpe med at rekonstruere eller udlede fakta. Den kan bære konsekvenserne af skæve etiketter. Den kan overleve, efter at kilden er slettet. At kalde den en vektor gør den ikke socialt vægtløs. Mange ting i livet ser harmløse ud, når de skrives som decimaltal. Bankbeholdninger, for eksempel.
Afledte data har brug for nedarvningsregler. Hvilke forpligtelser følger fra kilde til bid, vektor, cache, resumé, feature, promptlog, evalueringsstikprøve og modeloutput. Hvilke afledninger skal slettes, når kilden slettes. Hvilke må bevares, fordi de er tilstrækkeligt aggregerede eller juridisk uafhængige. Hvilke kræver separat samtykke. Hvilke er registreringer i egen ret. Uden nedarvning får ethvert nedstrømssystem lov til at improvisere værdighed. Improvisation er charmerende i jazz. I dataforvaltning producerer den ofte mødereferater.
Disse nedarvningsregler bør designes før indsamling, ikke efter den første modeludrulning. Pointen er ikke at fryse innovation. Det er at give innovation et gulv. Ingeniører kan bygge hurtigere, når de ved, hvilke afledninger der er tilladt, hvilke grænser der kræver gennemsyn, og hvilke metadata der skal følge med. Forskere kan udforske uden at gøre hvert eksperiment til en juridisk seance. Brugere og registrerede får den vigtigere fordel: institutionen kan forklare, hvad der skete med deres data, uden at konsultere folkeviden.
Modellen er et sent vidne
Når et AI-system opfører sig dårligt, stirrer undersøgelsen ofte på modellen først. Det er forståeligt. Modellen er synlig, dyr og selvsikkert forkert på måder, der giver gode skærmbilleder. Men modellen er ofte et sent vidne til tidligere beslutninger. Den afspejler indsamlingsvalg, mærkningsvalg, eksklusionsvalg, oprydningsvalg, opbevaringsvalg og evalueringsvalg. Kun at bede modellen om at blive værdig er som at bede den sidste person i en stafet om at forbedre stafetten.
Modelkort, audits, evalueringer, red-team-øvelser og forklarbarhedsværktøjer betyder noget. De er en del af værdighedshistorien, især når systemer påvirker mennesker. Men de kan ikke genskabe tilladelse, der aldrig blev indhentet, kontekst, der blev kasseret, eller oprindelse, der ikke blev logget. De kan afsløre kløften. De kan ikke gøre kløften moralsk pæn. Derfor er tidlige kontroller ikke bureaukrati. De er betingelserne, der gør senere ansvarlighed til mere end teater.
Det samme gælder retfærdighed. En retfærdighedsgennemgang efter træning kan finde ulige fejlprocenter, manglende grupper, proxyvariabler eller skadelige tærskler. Den kan ikke altid afgøre, om datasættet udelukkede mennesker ved indsamling, om labels indfangede institutionelle fordomme, om et felt betød det samme på tværs af lokaliteter, eller om en samtykkeregel filtrerede stikprøven på en måde, der ændrede populationen. Retfærdighed uden dataværdighed er at arbejde med et spejl, der kan have været bøjet ved fremstillingen.
Der er også en praktisk fordel ved at starte tidligt: Jo tidligere en værdighedsregel kommer ind i pipelinen, jo billigere er den at håndhæve. En registrering, der afvises ved indtagelse, koster lidt. Et datasæt, der sættes i karantæne før træning, koster mere. En model, der trækkes tilbage fra produktion, koster meget mere. Et offentligt tillidstab koster, hvad økonomiafdelingen nedskriver, når alle holder op med at lade, som om det kun er kommunikation. Værdighed beskrives ofte som etisk overhead. I seriøse systemer er den billigere end oprydning.
Forvaltning er et reelt job
Dataværdighed har brug for forvaltere, ikke maskotter. En forvalter er ikke den person, hvis navn står på en slide, så governance-diagrammet har et menneskeligt ansigt. En forvalter har autoritet til at svare på, om et datasæt må bruges, til at blokere et risikabelt formål, til at kræve metadata, til at godkende opbevaring, til at håndtere tilbagetrækning og til at forklare en beslutning til revisorer og berørte mennesker. Uden autoritet bliver forvaltning dekorativ. Dekorativ governance er let at få øje på, fordi den indeholder mange udvalg og meget få verber.
Forvalteren har også brug for teknisk løftestang. De har brug for dashboards, der viser oprindelse og brug, ikke kun lagervolumen. De har brug for advarsler, når et datasæt genbruges uden for dets formål. De har brug for aftaler med ingeniørteams om påkrævede metadata. De har brug for en slettevej, der er testet. De har brug for en måde at markere usikkerhed på uden at se pipelinen stille og roligt oversætte den til ja. De har brug for nok budget til at rette værdighedsgæld, før den bliver en overskrift. Dette er arbejde, ikke en dydsetiket.
God forvaltning er samarbejdende. Juridisk forstår autoritet. Sikkerhed forstår adgang. Dataingeniører forstår bevægelse. Domæneeksperter forstår betydning. Produktteams forstår tilsigtet brug. Forskere forstår usikkerhed. Operations forstår, hvad der sker klokken tre om natten. Dataværdighed fejler, når et af disse perspektiver erklæres ejer af hele problemet, og alle andre vender tilbage til deres dashboards. Registreringen rejser på tværs af funktioner; det skal ansvaret også.
Der er en menneskelig ydmyghed i dette. Dataværdighed kræver ikke, at en organisation ved alt. Det kræver, at organisationen ved, hvad den ved, hvad den ikke ved, hvem der må beslutte, og hvor grænserne håndhæves. Det er mindre glamourøst end en strategipræsentation om ansvarlig AI. Det er også mere tilbøjeligt til at overleve kontakt med et rigtigt importjob.
Hvordan værdighed ser ud i infrastruktur
Infrastrukturen for dataværdighed er ikke mystisk. Den ligner kilde registre, formålstagge, samtykkestatus, datakontrakter, slægtskabshændelser, adgangsomfang, opbevaringsjob, sletningsbeviser, mærkningsretningslinjer, datasætversioner, evalueringsregistre og gennemgangskøer. Hvis den liste lyder almindelig, så godt. De mest pålidelige etiske systemer ligner ofte VVS. De bemærkes hovedsageligt, når nogen glemte at installere dem.
Ved optagelse bør en registrering ankomme med en erklæret kilde, et formål, en juridisk basis eller tilladelsesstatus, en følsomhedsklasse og en forvalter. Ved transformation bør systemet udsende slægtskabshændelser og bevare relevante begrænsninger. Ved brug bør kørslen kontrollere, om formålet matcher. Ved opbevaring bør opbevaring og sletning være eksekverbare, ikke aspirerende. Ved evaluering bør eksempler bære oprindelse og udvælgelseslogik. Ved gennemgang bør berørte personer og interne operatører have en rute til at udfordre misbrug. Intet af dette kræver at lade som om, at alle data er hellige. Det kræver at indrømme, at data har et liv.
Det vigtigste designvalg er at gøre ukendt til en førsteklasses tilstand. Ukendt er ikke ja. Ukendt er ikke harmløst. Ukendt er et signal til at spørge, karantæne, begrænse eller afvise. Mange værdighedssvigt sker, fordi systemer er allergiske over for usikkerhed. De foretrækker en pæn boolean, selv når den virkelige verden ikke har leveret en. Sådan bliver tomme celler til tilladelser. Et værdigt system lader usikkerhed sænke tempoet. Maskinen klarer det. Den var ikke inviteret til frokost for sine følelsers skyld.
Der er ingen perfekt værdighedsarkitektur. Der er bedre standardindstillinger og værre standardindstillinger. Bedre standardindstillinger holder kontekst tæt, udbreder begrænsninger, registrerer bevægelse, kræver eksplicit sekundær brug og gør tilbagetrækning mulig. Værre standardindstillinger flader formål ud, kopierer frit, stoler på alle, sletter kun i politik og opdager forpligtelser, når revisionskalenderen gør. Valget er ikke mellem innovation og værdighed. Valget er mellem systemer, der husker, hvad de skylder, og systemer, der håber, at ingen spørger.
Lærdommen
Dataværdighed diskuteres ofte som et stort princip, men det bliver ægte i små tekniske beslutninger truffet før modellen vises. Hvad skal være kendt ved optagelse. Hvilke ukendte stopper flowet. Hvilke rettigheder følger med afledte data. Hvilke kontekster bevares. Hvilke formål er tilladt. Hvilke forvaltere kan sige nej. Hvilke sletninger kan bevises. De valg afgør, om en senere model kan være ansvarlig eller blot veltalende.
Den respektfulde vej er ikke anti-data og ikke anti-AI. Den er pro-hukommelse. Den insisterer på, at registreringer bærer tilstrækkeligt med oprindelse, tilladelse, kontekst og forpligtelse til at forblive forbundet med de mennesker og institutioner, der har produceret dem. En model trænet på sådanne data har en bedre chance for at være nyttig uden at blive udvindende ved et uheld. En model trænet uden disse fundamenter kan stadig være imponerende. Det er en bygning uden fundament også, i en kort og spændende periode.
Start før modellen. Start ved formularen, kontrakten, skemaet, samtykkestatus, retningslinjerne for mærkning, opbevaringsreglen, politikken for afledte værker og forvalteren med faktisk autoritet. Det er her, værdigheden kommer ind i systemet. Alt derefter er enten bevarelse eller skadeskontrol.