Az adatméltóság a modell előtt kezdődik

Az adatméltóság a modell előtt kezdődik

Az űrlap a rossz asztalon

Az adatméltóságról szóló vita gyakran túl későn kezdődik. Akkor kezdődik, amikor a modellt már betanították, amikor az adatkészletet már lekaparták, egyesítették, szűrték, deduplikálták, normalizálták, beágyazták, kiértékelték, becsomagolták, telepítették, és megvédte valaki a jogi osztályról, aki nem aludt eleget. Ezen a ponton a beszélgetés erkölcsinek hangzik, ami hasznos, és egy kicsit színházinak is, ami kevésbé hasznos. Az emberek azt kérdezik, hogy a modell tiszteletben tartotta-e az adatok mögött álló embereket. A becsületes válasz általában az, hogy a modellnek soha nem adtak esélyt. A döntés hónapokkal korábban született, egy olyan űrlapon, amelyet senki sem akart a magáénak tudni.

Egyszer szemtanúja voltam, ahogy egy egészségügyi kutatási csapat felfedezi ezt egy megbeszélésen, amelynek a modell minőségéről kellett volna szólnia. A modell nem volt a probléma. A probléma egy kis beviteli oszlop volt, amelyen az „újrafelhasználás engedélyezett” felirat állt. Három lehetséges értéke volt: igen, nem és üres. Az üres azt jelentette, hogy senki sem tudta. Az exportcsővezetékben az üres értéket igenként kezelték, mert különben a kísérlet kényelmetlen lett volna. Ez nem volt gonoszság. Ez rosszabb volt a kormányzás szempontjából: alapértelmezés volt. A táblázat legcsendesebb mezőjének nagyobb tekintélye volt, mint az etikai bizottságnak.

A csapat újrataníthatott, bocsánatot kérhetett, dokumentálhatott és fejlődhetett. De a méltóság problémája nem a neurális hálózatban kezdődött. Akkor kezdődött, amikor egy rekord egyértelmű cél, gazda, megőrzési szabály, a visszavonás megőrzésének módja és egy olyan technikai szerződés nélkül érkezett, amely elutasította a bizonytalanságot. A modell csupán gyorsabbá tette a korábbi tiszteletlenséget. A gépeket gyakran hibáztatják azért, mert hidegek, de sok legridegebb döntést meleg emberek hozzák, akik rákattintanak az importra.

Az adatméltóság a modell előtt kezdődik, mert az adat abban a pillanatban válik politikailag érzékennyé, amikor összegyűjtik. A rekord nem csak egy sor. Egy személy, egy vállalat, egy közösség, egy munkahely, egy betegút, egy közszolgáltatás, egy érzékelőkörnyezet vagy egy szakmai ítélet töredéke. Ha ezt a töredéket méltósággal kezeljük, az nem azt jelenti, hogy érzelmes nyelvezetbe csomagoljuk. Azt jelenti, hogy elég igazságot őrzünk meg körülötte ahhoz, hogy a későbbi rendszerek ne tehessenek úgy, mintha a semmiből bukkant volna elő.

A beleegyezés nem parfüm

Számos szervezet úgy kezeli a hozzájárulást, mint egy kellemes illatot, amelyet a kemény munka elvégzése után adnak a folyamathoz. Egy bekezdés kerül a szabályzatba. Egy jelölőnégyzet kerül a portálra. A nyilvántartásban egy sor a jogos érdeket jelöli. Mindenki fellélegzik, legalábbis addig, amíg valaki meg nem kérdezi, hogy a modell valójában mit tanulhatott meg. Aztán a teremben rájönnek, hogy a jogi megfogalmazás és az operatív engedély ugyanúgy kapcsolódik egymáshoz, mint az étlap a vacsorához. Az egyik egy ígéret. A másikat meg kell főzni.

Az operatív hozzájárulásnak szerkezete van. Meghatározza, hogy melyik cél engedélyezett, mely szereplők dolgozhatják fel a rekordot, mely átalakítások megengedettek, mely származékok öröklik a korlátozást, meddig élhet a rekord, hogyan kezelik a visszavonást, és milyen bizonyíték igazolja később a választást. Ha ezek az elemek nem elég géppel olvashatók ahhoz, hogy befolyásolják a feldolgozási láncot, akkor nem hozzájárulásról van szó egy MI-rendszerben. Ezek hozzájárulás-tematikájú dokumentációk. A dokumentációnak megvan a helye, de nem szabad erkölcsi erővel megállítania egy kötegelt feladatot.

Ez különösen fontossá válik, amikor az adatok elsődleges céljukból a tanításba, visszakeresésbe, értékelésbe, monitorozásba vagy termékelemzésbe kerülnek. Egy önkormányzathoz benyújtott panasz hasznos lehet egy osztályozó javításához. Egy klinikai feljegyzés hasznos lehet a tünetek kinyeréséhez. Egy ügyfélszolgálati átirat hasznos lehet egy chatbot számára. A hasznosság nem teremt méltóságot. Kísértést teremt. A méltóság kérdése az, hogy az új célt bejelentették-e, hogy az érintett személyek és intézmények ésszerűen számíthattak-e rá, és hogy a rendszer érvényesíteni tudja-e a választ, amikor az adat kényelmessé válik.

A hozzájárulás öregszik is. Egy öt évvel ezelőtt gyűjtött rekord olyan feltételezések mellett jöhetett létre, amelyek már nem egyeznek a jelenlegi gyakorlattal. Egy személy visszavonhatta. Egy szerződés lejárhatott. Egy adatmegosztási megállapodás engedélyezhette az elemzést, de nem a modell tanítását. Egy mezőt anonimizálhattak elég jól egy jelentéshez, de nem elég jól egy beágyazási indexhez, amelyet kreatív munkatársak egész nap lekérdezhetnek. A régi engedélyt nem szabad úgy kezelni, mint egy lekvárosüveget a szekrény mélyén. A dátum számít.

A kontextus technikai tulajdonság

Lusta szokás az adatokat elválasztani a kontextustól, mintha a kontextus puha, az adat pedig kemény lenne. A valódi rendszerekben gyakran ennek az ellenkezője igaz. Az adatérték lehet szám, kód, név, időbélyeg vagy szöveges mező. Jelentése függ a gyűjtési módszertől, a mértékegységtől, a hatókörtől, a bizonytalanságtól, a forrás hitelességétől, a kizárási szabályoktól, a nyelvtől, a hiányzó értékektől és attól a helyzettől, amelyben rögzítették. Ha ezeket eltávolítjuk, az adat nem válik semlegessé. Túlbiztossá válik.

Egy hídról származó érzékelő leolvasás nem csak rezgés. Ez egy adott eszköz rezgése, amelyet egy adott napon kalibráltak, egy adott helyre szereltek, adott időjárás mellett mértek, adott frekvencián mintavételeztek, és egy karbantartási előzmény összefüggésében értelmeztek. Egy fizetési rekord nem csak egy összeg. Egy szerződésben, egy elszámolási folyamatban, egy csalásmodellben, egy pénznemi konvencióban és abban az emberi szokásban ül, hogy vesszőt írunk ott, ahol a tizedesjegy szeretett volna élni. A modell csak tokeneket vagy vektorokat lát, de az intézmény felelős marad a hiányzó főnevekért.

Az adatméltóság ezért megköveteli a kontextus megőrzését mérnöki követelményként. A séma leírásokat verziózni kell. A forrásrendszereket meg kell nevezni. Az átalakításokat rögzíteni kell. A hiányzó értékeket meg kell különböztetni a nulláktól, a visszautasításoktól, az ismeretlenektől és a nem értelmezhető állapotoktól. A címkéken fel kell tüntetni, hogy ki címkézte őket, milyen irányelv alapján, és milyen nézeteltéréssel. Az értékelési példáknak tartalmazniuk kell, hogy miért választották ki őket. Egy kontextus nélküli adatkészlet nem nyersanyag. Ez egy pletyka táblázatos formában.

Ez nem felhívás a végtelen metaadatokra. A végtelen metaadatoktól a jó ötletek úgy vonulnak nyugdíjba, hogy egy katalógusban porosodnak, amelyet senki sem nyit ki. A lényeg a szelektív, működési célú metaadat: az a kontextus, amely alapján eldönthető, hogy a rekord felhasználható-e, hogy még mindig azt jelenti-e, amit a rendszer gondol róla, és hogy egy későbbi személy megkérdőjelezheti-e az eredményt. A méltóság nem követeli meg a rekord minden tényét. Azokat a tényeket követeli meg, amelyek megakadályozzák, hogy a rekord idegenné váljon önmagától.

A méltóságadósság

A technikai adósság ismerős, mert a mérnökök látják a buildekben, incidensekben, lassú változásokban és a commitüzenetekbe gépelt apró átkokban. Az adatméltóság-adósság csendesebb. Akkor halmozódik fel, ha az eredet tisztázatlan, az engedély kétértelmű, a kontextus elveszik, a megőrzési időt figyelmen kívül hagyják, a címkék dokumentálatlanok, a hozzáférés túl széles, vagy a származtatott adatot ártalmatlannak tekintik, mert már nem hasonlít a forrásra. Az adósság nem feltétlenül töri meg a tesztet. Megvárja a panaszt, az auditot, a vitát, a káros kimenetet vagy egy türelmes újságírót.

A méltóságadósság veszélye, hogy a hasznosságon keresztül kamatozik. A kényelmes adathalmazt lemásolják. A lemásolt adathalmazból feature store lesz. A feature store modellt táplál. A modell kimenete rekorddá válik. A rekordból tanulási visszacsatolás lesz. Minden lépés praktikusnak tűnik. Minden lépés megnehezíti az eredeti kérdés megválaszolását: mit volt szabad kezdenünk ezekkel az adatokkal, és mivel tartoztunk a mögöttük álló embereknek. Mire a kérdés a vezetéshez ér, a válasz nyolc rendszer között oszlik el, és egy olyan embernél, aki már másik részlegre ment.

A komoly csapatok úgy kezelik a méltóságadósságot, mint bármely más működési kockázatot. Nyilvántartásba veszik, árat szabnak rá, felelősöket rendelnek hozzá, és eldöntik, mely felhasználások vannak letiltva, amíg az adósságot le nem dolgozzák. Ha egy adathalmaz nem tudja igazolni az eredetét, nem kerülhet nagy hatású tanításba. Ha a visszavonás nem terjeszthető tovább, a felhasználást korlátozni kell. Ha a származtatott artefaktumok nem követhetők nyomon, a modell nem támogathat jelentős következményekkel járó döntéseket. Ha a címkéket rossz útmutatás mellett állították elő, az értékelés nem használható a méltányosság igazolásaként. Ez a legjobb értelemben unalmas. Az unalom az, ahogy a felnőttek a hidakat állva tartják.

Csábító a méltóságadósságot egy nagy platformmal megoldani. A platformok segíthetnek, de az első lépés általában kisebb és fegyelmezettebb: az ismeretlenek elutasítása a befogadásnál, a cél elkülönítése a tárolástól, a származás rögzítése az átalakítási határoknál, a jogok megtartása a származékokon, és a törlés tesztelhetővé tétele. Az a rendszer, amely nem tud magabiztosan törölni, nem állíthatja becsületesen, hogy tiszteletben tartotta a visszavonást. Csak annyit állíthat, hogy reméli, az adat félénkké vált.

A származtatott adat is adat

Az MI nehezebbé teszi az adatméltóságot, mert olyan származékokat hoz létre, amelyek ártalmatlannak tűnnek. Egy dokumentum darabokra vágódik. Egy darab beágyazássá válik. Egy ügyfélszolgálati beszélgetés összefoglalóvá válik. Egy klinikai feljegyzés címkévé válik. Egy keresési lekérdezés elemzési eseménnyé válik. Egy modellválasz új rekorddá válik. Egy emberi javítás megerősítő adattá válik. Minden egyes artefaktum elveszítheti az eredeti alakját, miközben elég jelentést megtart ahhoz, hogy számítson. A maszk változik. A kötelezettség nem feltétlenül.

A beágyazások jó példát jelentenek, mert könnyű félreérteni őket. Nem olvasható szövegek, ezért az emberek úgy kezelik őket, mintha a méltóság elpárolgott volna. De egy beágyazás még mindig felfedhet hasonlóságot, tagságot, érzékeny klaszterezést vagy üzleti kontextust. Segíthet tények rekonstruálásában vagy következtetésében. Hordozhatja a torz címkék következményeit. Tovább élhet azután is, hogy a forrást törölték. Attól, hogy vektornak hívjuk, még nem válik társadalmilag súlytalanná. Sok minden az életben ártalmatlannak tűnik, ha tizedestörtként írjuk le. A bankszámla-egyenlegek például.

A származtatott adatoknak öröklési szabályokra van szükségük. Mely kötelezettségek követik a forrást a darabba, vektorba, gyorsítótárba, összefoglalóba, jellemzőbe, promptnaplóba, értékelési mintába és modellkimenetbe. Mely származékokat kell törölni, ha a forrást törlik. Melyek tarthatók meg, mert kellően aggregáltak vagy jogilag függetlenek. Melyek igényelnek külön hozzájárulást. Melyek önálló rekordok. Öröklési szabályok nélkül minden downstream rendszer szabadon improvizálhat a méltósággal. Az improvizáció bájos a dzsesszben. Az adatkezelésben gyakran értekezleti jegyzőkönyveket eredményez.

Ezeket az öröklési szabályokat a gyűjtés előtt kell megtervezni, nem az első modellindítás után. A cél nem az innováció befagyasztása. A cél az, hogy az innováció kapjon egy alapot. A mérnökök gyorsabban dolgozhatnak, ha tudják, mely származékok megengedettek, mely határok igényelnek felülvizsgálatot, és mely metaadatoknak kell utazniuk. A kutatók felfedezhetnek anélkül, hogy minden kísérletet jogi szeánsszá változtatnának. A felhasználók és az érintettek fontosabb előnyt kapnak: az intézmény meg tudja magyarázni, mi történt az adataikkal, anélkül hogy folklórra hagyatkozna.

A modell kései tanú

Amikor egy MI-rendszer rosszul viselkedik, a vizsgálat gyakran először a modellt nézi. Ez érthető. A modell látható, drága, és magabiztosan téved olyan módon, ami jó képernyőképeket eredményez. De a modell gyakran kései tanúja a korábbi döntéseknek. Tükrözi a gyűjtési döntéseket, a címkézési döntéseket, a kizárási döntéseket, a tisztítási döntéseket, a megőrzési döntéseket és az értékelési döntéseket. Csak a modelltől kérni, hogy méltóságteljes legyen, olyan, mintha a váltófutás utolsó tagját kérnénk meg, hogy javítson a váltóboton.

Mind a modellkártyák, mind az auditok, az értékelések, a vörös csapat gyakorlatok és a magyarázhatósági eszközök számítanak. A méltóság történetének részét képezik, különösen, ha a rendszerek embereket érintenek. De nem tudják visszaszerezni azt a hozzájárulást, amelyet soha nem szereztek meg, azt a kontextust, amelyet eldobtak, vagy azt a származást, amelyet nem naplóztak. Felfedhetik a rést. Nem tudják erkölcsileg rendezetté tenni a rést. Ezért a korai kontrollok nem bürokrácia. Ezek azok a feltételek, amelyek a későbbi elszámoltathatóságot többré teszik, mint puszta színházat.

Ugyanez igaz a méltányosságra is. A képzés utáni méltányossági felülvizsgálat feltárhat egyenlőtlen hibaarányokat, hiányzó csoportokat, proxy változókat vagy káros küszöbértékeket. Nem mindig tudja megállapítani, hogy az adatkészlet kizárt-e embereket a gyűjtés során, hogy a címkék megörökítették-e az intézményi előítéletet, hogy egy mező ugyanazt jelentette-e a különböző helyszíneken, vagy hogy egy hozzájárulási szabály olyan módon szűrte-e a mintát, hogy az megváltoztatta a populációt. A méltányosság adatméltóság nélkül olyan, mintha olyan tükörrel dolgoznánk, amelyet a gyártás során meghajlíthattak.

Van egy gyakorlati előnye is a korai kezdésnek: minél korábban kerül egy méltósági szabály a csővezetékbe, annál olcsóbb betartatni. A felvételkor visszautasított rekord kevésbe kerül. A képzés előtt karanténba helyezett adatkészlet többe kerül. A gyártásból visszavont modell sokkal többe kerül. A bizalom nyilvános elvesztése annyiba kerül, amennyit a pénzügy leír, miután mindenki abbahagyja a színlelést, hogy ez csak kommunikáció. A méltóságot gyakran etikai többletköltségként írják le. Komoly rendszerekben olcsóbb, mint a takarítás.

A gondnokság valódi munka

Az adatméltóságnak gondnokokra van szüksége, nem kabalaalakokra. A gondnok nem az a személy, akinek a neve megjelenik egy dián, hogy a kormányzási ábrának emberi arca legyen. A gondnoknak felhatalmazása van eldönteni, hogy egy adatkészlet használható-e, megvétózni egy kockázatos célt, megkövetelni a metaadatokat, jóváhagyni a megőrzést, kezelni a visszavonást, és megmagyarázni egy döntést az auditoroknak és az érintett embereknek. Felhatalmazás nélkül a gondnokság dekoratívvá válik. A dekoratív kormányzást könnyű felismerni, mert sok bizottságot és nagyon kevés igét tartalmaz.

A gondnoknak technikai befolyásra is szüksége van. Olyan irányítópultokra van szüksége, amelyek a származást és a felhasználást mutatják, nem csak a tárolási mennyiséget. Riasztásokra van szüksége, amikor egy adatkészletet a célján kívül használnak fel. Szerződésekre van szüksége a mérnöki csapatokkal a kötelező metaadatokról. Olyan törlési útvonalra van szüksége, amelyet teszteltek. Szüksége van egy módra a bizonytalanság megjelölésére anélkül, hogy nézné, ahogy a csővezeték csendben igenné alakítja. Elegendő költségvetésre van szüksége ahhoz, hogy a méltósági adósságot még azelőtt kijavítsa, mielőtt címlapsztori lenne. Ez munka, nem erénycímke.

A jó gondnokság együttműködésen alapul. A jogi osztály érti a felhatalmazást. A biztonsági osztály érti a hozzáférést. Az adatmérnökök értik a mozgást. A domain szakértők értik a jelentést. A termékcsapatok értik a tervezett felhasználást. A kutatók értik a bizonytalanságot. Az üzemeltetés érti, mi történik hajnali háromkor. Az adatméltóság akkor vall kudarcot, ha ezen nézőpontok egyikét kijelölik a teljes probléma gazdájának, és mindenki más visszatér az irányítópultjához. A rekord funkciókon átível; a felelősségnek is át kell ívelnie.

Van ebben egy emberi alázat. Az adatméltóság nem követeli meg, hogy egy szervezet mindent tudjon. Azt követeli meg, hogy a szervezet tudja, mit tud, mit nem tud, ki dönthet, és hol érvényesítik a korlátokat. Ez kevésbé csillogó, mint egy stratégiai prezentáció a felelős mesterséges intelligenciáról. De nagyobb valószínűséggel éli túl egy valódi importálási feladattal való találkozást.

Hogyan néz ki a méltóság az infrastruktúrában

Az adatméltóság infrastruktúrája nem misztikus. Forrásnyilvántartásokból, célcímkékből, hozzájárulási állapotokból, adatszerződésekből, származási eseményekből, hozzáférési körökből, megőrzési feladatokból, törlési igazolásokból, címkézési irányelvekből, adatkészlet-verziókból, értékelési nyilvántartásokból és felülvizsgálati sorokból áll. Ha ez a lista hétköznapinak hangzik, az jó. A legmegbízhatóbb etikai rendszerek gyakran vízvezeték-szerelésre hasonlítanak. Csak akkor tűnnek fel, ha valaki elfelejtette őket telepíteni.

A felvételkor egy rekordnak meg kell érkeznie megadott forrással, céllal, jogalappal vagy engedélyállapottal, érzékenységi osztállyal és gondnokkal. Az átalakítás során a rendszernek származási eseményeket kell kibocsátania, és meg kell őriznie a releváns korlátokat. A használat során a futási környezetnek ellenőriznie kell, hogy a cél egyezik-e. A tárolás során a megőrzésnek és a törlésnek végrehajthatónak kell lennie, nem csupán elvárásnak. Az értékelés során a példáknak hordozniuk kell az eredetüket és a kiválasztási logikát. A felülvizsgálat során az érintett személyeknek és a belső üzemeltetőknek lehetőségük kell legyen a visszaélés megkérdőjelezésére. Egyik sem igényli, hogy minden adatot szentnek tettessünk. Azt igényli, hogy elismerjük: az adatnak élete van.

A legfontosabb tervezési lépés az, hogy az ismeretlen első osztályú állapot legyen. Az ismeretlen nem igen. Az ismeretlen nem ártalmatlan. Az ismeretlen jelzés arra, hogy kérdezni, karanténba helyezni, korlátozni vagy megtagadni kell. Sok méltóságbeli kudarc azért történik, mert a rendszerek allergiásak a bizonytalanságra. Inkább egy tiszta logikai értéket szeretnének, még akkor is, ha a valóság nem szolgáltatott ilyet. Így válnak az üres cellák engedélyekké. Egy méltóságteljes rendszer hagyja, hogy a bizonytalanság lelassítsa a dolgokat. A gép megbirkózik vele. Nem azért hívták ebédre, hogy érzései legyenek.

Nincs tökéletes méltóságarchitektúra. Vannak jobb és rosszabb alapértelmezések. A jobb alapértelmezések közel tartják a kontextust, továbbítják a korlátokat, rögzítik a mozgást, kifejezett másodlagos felhasználást követelnek meg, és lehetővé teszik a visszafordítást. A rosszabb alapértelmezések ellaposítják a célt, szabadon másolnak, mindenkiben megbíznak, csak szabályzatban törölnek, és akkor fedezik fel a kötelezettségeket, amikor az auditnaptár megteszi. A választás nem az innováció és a méltóság között van. A választás azok között a rendszerek között van, amelyek emlékeznek arra, hogy mivel tartoznak, és azok között, amelyek remélik, hogy senki nem kérdez.

A tanulság

Az adatméltóságról gyakran nagy elvként beszélnek, de a modell megjelenése előtt hozott apró technikai döntésekben válik valósággá. Mit kell tudni a felvételkor. Mely ismeretlenek állítják meg az áramlást. Mely jogok utaznak a származékokkal. Mely kontextusok maradnak meg. Mely célok engedélyezettek. Mely gondnokok mondhatnak nemet. Mely törlések igazolhatók. Ezek a döntések határozzák meg, hogy egy későbbi modell elszámoltatható vagy csupán ékesszóló lehet-e.

A tiszteletteljes út nem adatellenes és nem is AI-ellenes. A megőrzés pártján áll. Ragaszkodik hozzá, hogy a nyilvántartások elegendő származási, engedélyezési, kontextuális és kötelezettségi információt hordozzanak ahhoz, hogy kapcsolatban maradjanak azokkal az emberekkel és intézményekkel, amelyek létrehozták őket. Egy olyan modellnek, amelyet ilyen adatokon képeztek, nagyobb esélye van arra, hogy hasznos legyen anélkül, hogy véletlenül kizsákmányolóvá válna. Egy modell, amelyet ezen alapok nélkül képeztek, még mindig lenyűgöző lehet. Akárcsak egy alapozás nélküli épület, egy rövid és izgalmas időszak erejéig.

Kezdje a modell előtt. Kezdje az űrlapnál, a szerződésnél, a sémánál, a hozzájárulási állapotnál, a címkézési irányelvnél, a megőrzési szabálynál, a származékos művekre vonatkozó politikánál és a tényleges felhatalmazással rendelkező gondnoknál. Itt lép be a méltóság a rendszerbe. Minden, ami ezután következik, vagy megőrzés, vagy kárelhárítás.