Důstojnost dat začíná ještě před modelem
Formulář na špatném stole
Diskuse o důstojnosti dat často začíná příliš pozdě. Začíná až poté, co byl model natrénován, co byl datový soubor seškrábán, sloučen, filtrován, deduplikován, normalizován, vložen, vyhodnocen, zabalen, nasazen a obhajován někým z právního oddělení, kdo se dostatečně nevyspal. V tu chvíli zní rozhovor morálně, což je užitečné, a také mírně teatrálně, což je méně užitečné. Lidé se ptají, zda model respektoval lidi za daty. Upřímná odpověď obvykle zní, že model nikdy nedostal šanci. Rozhodnutí padlo o měsíce dříve, na formuláři, který nechtěl nikdo vlastnit.
Jednou jsem byl svědkem toho, jak to výzkumný tým ve zdravotnictví objevil na schůzce, která se měla týkat kvality modelu. Problém nebyl model. Problémem byl malý sloupec pro příjem dat označený povoleno opakované použití. Měl tři možné hodnoty: ano, ne a prázdno. Prázdno znamenalo, že nikdo nevěděl. V exportním kanálu bylo prázdno považováno za ano, protože jinak by byl experiment nepohodlný. Nebyla to podlost. Pro účely správy to bylo horší: byl to výchozí stav. Nejtišší pole v tabulce mělo větší autoritu než etická komise.
Tým mohl model přetrénovat, omluvit se, zdokumentovat to a zlepšit se. Ale problém důstojnosti nezačal v neuronové síti. Začal, když záznam dorazil bez jasného účelu, bez správce, bez pravidla uchovávání, bez způsobu, jak zachovat odvolání souhlasu, a bez technické smlouvy, která by odmítala nejistotu. Model pouze urychlil dřívější neúctu. Strojům je často vytýkáno, že jsou chladné, ale mnohá z nejchladnějších rozhodnutí činí vřelí lidé, kteří kliknou na import.
Důstojnost dat začíná před modelem, protože data se stávají politickými ve chvíli, kdy jsou shromážděna. Záznam není jen řádek. Je to útržek člověka, společnosti, komunity, pracoviště, cesty pacienta, veřejné služby, prostředí senzorů nebo odborného úsudku. Zacházet s tímto útržkem důstojně neznamená obalit ho sentimentálním jazykem. Znamená to uchovat kolem něj dostatek pravdy, aby pozdější systémy nemohly předstírat, že se objevil odnikud.
Souhlas není parfém
Mnoho organizací zachází se souhlasem jako s příjemnou vůní přidanou do procesu až po odvedení tvrdé práce. Do směrnice se vloží odstavec. Do portálu se přidá zaškrtávací políčko. Řádek v registru uvádí oprávněný zájem. Všichni si oddechnou, přinejmenším do té doby, než se někdo zeptá, co se model vlastně směl naučit. Pak v místnosti zjistí, že právní formulace a provozní oprávnění spolu souvisejí stejně jako jídelní lístek s večeří. Jedno je příslib. To druhé se musí uvařit.
Provozní souhlas má strukturu. Říká, který účel je povolen, které subjekty mohou záznam zpracovávat, které transformace jsou přípustné, které odvozeniny přebírají omezení, jak dlouho může záznam existovat, jak se nakládá s odvoláním a jaké důkazy později prokazují volbu. Pokud tyto části nejsou natolik strojově čitelné, aby ovlivnily datové potrubí, nejedná se o souhlas v systému umělé inteligence. Jedná se o dokumentaci se souhlasnou tematikou. Dokumentace má své místo, ale nemělo by se od ní očekávat, že zastaví dávkovou úlohu silou morálního přesvědčení.
To nabývá na důležitosti zejména tehdy, když se data přesouvají ze svého původního účelu do trénování, vyhledávání, vyhodnocování, monitorování nebo produktové analytiky. Stížnost podaná obci může být užitečná pro zlepšení klasifikátoru. Klinická poznámka může být užitečná pro extrakci příznaků. Přepis zákaznické podpory může být užitečný pro chatbota. Užitečnost nevytváří důstojnost. Vytváří pokušení. Otázkou důstojnosti je, zda byl nový účel deklarován, zda jej osoby a instituce, jichž se to týká, mohly rozumně očekávat, a zda systém dokáže odpověď vynutit, jakmile se data stanou výhodnými.
Souhlas také stárne. Záznam pořízený před pěti lety mohl vzniknout za předpokladů, které již neodpovídají současné praxi. Osoba mohla souhlas odvolat. Smlouva mohla vypršet. Dohoda o sdílení údajů mohla povolovat analýzu, nikoli však trénování modelu. Pole mohlo být anonymizováno dostatečně pro zprávu, ale ne dostatečně pro index vkládání, který mohou kreativní zaměstnanci dotazovat celý den. Staré oprávnění by se nemělo považovat za sklenici džemu v zadní části skříňky. Na datu záleží.
Kontext je technická vlastnost
Existuje zakořeněný zvyk oddělovat data od kontextu, jako by kontext byl měkký a data tvrdá. V reálných systémech je tomu často naopak. Hodnota dat může být číslo, kód, jméno, časové razítko nebo textové pole. Její význam závisí na metodě sběru, jednotce, rozsahu, nejistotě, autoritě zdroje, pravidlech vyloučení, jazyce, chybějících hodnotách a situaci, v níž byla zaznamenána. Odstraníte-li tyto prvky, data se nestanou neutrálními. Stanou se přehnaně sebejistými.
Údaj ze senzoru na mostě není jen vibrace. Je to vibrace z konkrétního zařízení, zkalibrovaného v konkrétní den, umístěného na konkrétním místě, měřená za konkrétního počasí, vzorkovaná konkrétní frekvencí a interpretovaná v kontextu historie údržby. Platební záznam není jen částka. Nachází se uvnitř smlouvy, procesu vypořádání, modelu pro odhalování podvodů, měnové konvence a lidského zvyku psát čárky tam, kde měly být desetinné tečky. Model možná vidí pouze tokeny nebo vektory, ale instituce zůstává odpovědná za chybějící podstatná jména.
Důstojnost dat proto vyžaduje zachování kontextu jako technický požadavek. Popisy schémat musí být verzovány. Zdrojové systémy musí být pojmenovány. Transformace musí být zaznamenávány. Chybějící hodnoty musí být odlišeny od nul, odmítnutí, neznámých hodnot a stavů, které se nepoužijí. Popisky musí nést informaci o tom, kdo je vytvořil, podle jakého pokynu a s jakou mírou neshody. Příklady pro vyhodnocování musí nést informaci o tom, proč byly vybrány. Datová sada bez kontextu není surovina. Je to fáma v tabulkové podobě.
Toto není výzva k nekonečným metadatům. Nekonečná metadata jsou způsob, jak slušné nápady odejdou do důchodu do katalogu, který nikdo neotevírá. Jde o selektivní, operativní metadata: kontext potřebný k rozhodnutí, zda lze záznam použít, zda stále znamená to, co si systém myslí, že znamená, a zda může později někdo výsledek zpochybnit. Důstojnost nevyžaduje každý fakt o záznamu. Vyžaduje fakta, která zabrání tomu, aby se záznam stal sám sobě cizím.
Dluh důstojnosti
Technický dluh je důvěrně známý, protože ho inženýři vidí v sestaveních, incidentech, pomalých změnách a malých kletbách psaných do zpráv commitů. Dluh důstojnosti dat je tišší. Hromadí se, když je původ nejasný, oprávnění nejednoznačné, kontext zahozen, retence ignorována, popisky nedokumentované, přístup příliš široký nebo když jsou odvozená data považována za neškodná, protože už nevypadají jako zdroj. Dluh nemusí rozbít test. Čeká na stížnost, audit, spor, škodlivý výstup nebo trpělivého novináře.
Nebezpečná věc na dluhu důstojnosti je, že se násobí užitečností. Datová sada, která je pohodlná, se kopíruje. Zkopírovaná datová sada se stane feature store. Feature store živí model. Výstup modelu se stane záznamem. Záznam se stane tréninkovou zpětnou vazbou. Každý krok působí prakticky. Každý krok také ztěžuje odpověď na původní otázku: co jsme s těmito daty směli dělat a co jsme dlužili lidem za nimi. Než se otázka dostane k vedení, odpověď je rozptýlena napříč osmi systémy a jedním člověkem, který přešel na jiné oddělení.
Seriózní týmy zacházejí s dluhem důstojnosti jako s jakýmkoli jiným provozním rizikem. Registrují ho, oceňují, přiřazují vlastníky a rozhodují, která použití jsou blokována, dokud není dluh splacen. Pokud datová sada nemůže prokázat původ, neměla by vstoupit do vysoce dopadového tréninku. Pokud nelze propagovat odvolání, použití by mělo být omezeno. Pokud nelze vysledovat odvozené artefakty, model by neměl podporovat rozhodnutí s následky. Pokud byly popisky vytvořeny za špatného vedení, hodnocení by nemělo být používáno jako certifikát spravedlnosti. To je nudné tím nejlepším způsobem. Nuda je způsob, jak dospělí udržují mosty v provozu.
Existuje pokušení vyřešit dluh důstojnosti velkou platformou. Platformy mohou pomoci, ale první krok je obvykle menší a disciplinovanější: odmítnout neznámé při příjmu, oddělit účel od úložiště, zaznamenávat linii na hranicích transformací, udržovat práva připojená k odvozeninám a učinit mazání testovatelným. Systém, který nemůže s jistotou mazat, nemůže poctivě tvrdit, že respektoval odvolání. Může pouze tvrdit, že doufá, že se data stala plachými.
Odvozená data jsou stále data
AI ztěžuje důstojnost dat, protože vytváří odvozeniny, které vypadají nevinně. Z dokumentu se stane chunk. Z chunku se stane embedding. Z konverzace s podporou se stane shrnutí. Z klinické poznámky se stane štítek. Z vyhledávacího dotazu se stane událost v analytice. Z odpovědi modelu se stane nový záznam. Z lidské opravy se stane trénovací data. Každý artefakt může ztratit podobu originálu, ale zachovat si dostatek významu, aby na něm záleželo. Maska se mění. Povinnost nemusí.
Embeddingy jsou dobrým příkladem, protože se snadno nepochopí. Nejsou to čitelný text, takže je lidé považují za něco, z čeho se důstojnost vypařila. Ale embedding může stále odhalit podobnost, příslušnost ke skupině, citlivé shlukování nebo obchodní kontext. Může pomoci rekonstruovat fakta nebo je odvodit. Může nést důsledky zaujatých štítků. Může přetrvat i poté, co byl zdroj smazán. Nazvat ho vektorem z něj nedělá společensky bezvýznamnou věc. Mnoho věcí v životě vypadá neškodně, když je zapíšete jako desetinná čísla. Například bankovní zůstatky.
Odvozená data potřebují pravidla dědičnosti. Které povinnosti přecházejí ze zdroje na chunk, vektor, mezipaměť, shrnutí, funkci, log promptů, vzorek pro vyhodnocení a výstup modelu. Které odvozeniny musí být smazány, když je smazán zdroj. Které mohou být ponechány, protože jsou dostatečně agregované nebo právně nezávislé. Které vyžadují samostatný souhlas. Které jsou samy o sobě záznamy. Bez dědičnosti si každý navazující systém může důstojnost improvizovat. Improvizace je okouzlující v jazzu. V oblasti správy dat často vede k zápisům z porad.
Tato pravidla dědičnosti by měla být navržena před sběrem dat, ne až po prvním spuštění modelu. Nejde o to zmrazit inovace. Jde o to dát inovacím pevnou půdu pod nohama. Inženýři mohou stavět rychleji, když vědí, které odvozeniny jsou povolené, které hranice vyžadují přezkum a která metadata musí putovat s daty. Výzkumníci mohou zkoumat, aniž by každý experiment proměnili v právní seanci. Uživatelé a subjekty údajů získávají důležitější výhodu: instituce dokáže vysvětlit, co se s jejich daty stalo, aniž by se musela spoléhat na ústní tradici.
Model je pozdní svědek
Když se systém AI chová špatně, vyšetřování se často nejprve zaměří na model. To je pochopitelné. Model je viditelný, drahý a sebejistě chybný způsobem, který dělá skvělé screenshoty. Ale model je často pozdním svědkem dřívějších rozhodnutí. Odráží volby týkající se sběru, označování, vylučování, čištění, uchovávání a vyhodnocování. Žádat důstojnost jen od modelu je jako žádat posledního běžce ve štafetě, aby zlepšil štafetový kolík.
Model cards, audity, evaluace, red-team cvičení a nástroje pro vysvětlitelnost mají svůj význam. Jsou součástí příběhu o důstojnosti, zvláště když systémy ovlivňují lidi. Ale nedokážou získat zpět svolení, které nikdy nebylo zachyceno, kontext, který byl zahozen, ani původ dat, který nebyl zaznamenán. Mohou odhalit mezeru. Nedokážou ale mezeru morálně zahladit. Proto včasné kontroly nejsou byrokracie. Jsou podmínkami, díky nimž je pozdější odpovědnost víc než jen divadlo.
Totéž platí pro férovost. Přezkum férovosti po trénování může odhalit nerovné chybovosti, chybějící skupiny, proxy proměnné nebo škodlivé prahy. Ne vždy ale dokáže určit, jestli datová sada lidi vyloučila už při sběru, jestli popisky zachytily institucionální předsudky, jestli pole znamenalo na různých místech totéž, nebo jestli pravidlo o souhlasu filtrovalo vzorek tak, že se změnila populace. Férovost bez důstojnosti dat je práce se zrcadlem, které mohlo být pokřivené už při výrobě.
Časný začátek má i praktickou výhodu: čím dříve pravidlo důstojnosti vstoupí do pipeline, tím levnější je jeho vymáhání. Záznam odmítnutý při příjmu stojí málo. Datová sada v karanténě před trénováním stojí víc. Model stažený z produkce stojí mnohem víc. Veřejná ztráta důvěry stojí tolik, kolik finance odepíšou, až všichni přestanou předstírat, že jde jen o komunikaci. Důstojnost se často popisuje jako etická režie. Ve vážných systémech je levnější než úklid.
Správcovství je skutečná práce
Důstojnost dat potřebuje správce, ne maskoty. Správce není člověk, jehož jméno se objeví na slidu, aby měl diagram řízení lidskou tvář. Správce má pravomoc rozhodnout, jestli se datová sada smí použít, zablokovat rizikový účel, vyžadovat metadata, schválit uchovávání, řešit stažení a vysvětlit rozhodnutí auditorům i dotčeným lidem. Bez pravomoci se správcovství stává dekorací. Dekorativní řízení se snadno pozná: obsahuje mnoho výborů a velmi málo sloves.
Správce potřebuje i technickou páku. Potřebuje dashboardy, které ukazují původ a použití dat, ne jen objem úložiště. Potřebuje upozornění, když se datová sada použije mimo svůj účel. Potřebuje dohody s inženýrskými týmy o povinných metadatech. Potřebuje otestovanou cestu pro výmaz. Potřebuje způsob, jak označit nejistotu, aniž by pipeline tiše přeměnila na ano. Potřebuje dostatek rozpočtu na to, aby splatil dluh důstojnosti dřív, než se stane titulkem. Tohle je práce, ne nálepka ctnosti.
Dobré správcovství je kolaborativní. Právníci rozumějí pravomoci. Bezpečnost rozumí přístupu. Datoví inženýři rozumějí pohybu dat. Doménoví experti rozumějí významu. Produktové týmy rozumějí zamýšlenému použití. Výzkumníci rozumějí nejistotě. Provoz ví, co se děje ve tři ráno. Důstojnost dat selhává, když se jeden z těchto pohledů prohlásí za vlastníka celého problému a všichni ostatní se vrátí ke svým dashboardům. Záznam putuje napříč funkcemi; stejně tak musí putovat odpovědnost.
Je v tom lidská skromnost. Důstojnost dat nevyžaduje, aby organizace věděla všechno. Vyžaduje, aby organizace věděla, co ví, co neví, kdo může rozhodovat a kde se limity vymáhají. To je méně okázalé než strategická prezentace o odpovědné AI. Je ale také pravděpodobnější, že to přežije kontakt se skutečným importem dat.
Jak vypadá důstojnost v infrastruktuře
Infrastruktura pro důstojnost dat není ničím mystická. Vypadá jako registry zdrojů, štítky účelů, stavy souhlasu, datové smlouvy, události původu, rozsahy přístupů, úlohy uchovávání, důkazy o výmazu, pokyny pro označování, verze datových sad, registry hodnocení a fronty na kontrolu. Pokud vám tento seznam připadá obyčejný, dobře. Nejspolehlivější etické systémy často připomínají instalatérství. Všimnete si jich hlavně tehdy, když je někdo zapomněl nainstalovat.
Při příjmu by měl záznam dorazit s deklarovaným zdrojem, účelem, právním základem nebo stavem oprávnění, třídou citlivosti a správcem. Při transformaci by měl systém vydávat události původu a zachovávat příslušná omezení. Při použití by měl běhové prostředí ověřit, zda účel odpovídá. Při uchovávání by mělo být uchovávání a výmaz proveditelné, ne pouze deklarované. Při hodnocení by příklady měly nést informaci o původu a logice výběru. Při kontrole by postižení lidé a interní operátoři měli mít cestu, jak napadnout zneužití. Nic z toho nevyžaduje předstírat, že všechna data jsou posvátná. Vyžaduje to připustit, že data mají svůj život.
Nejdůležitějším konstrukčním krokem je učinit z neznámého stav prvotřídní stav. Neznámé není ano. Neznámé není neškodné. Neznámé je signál k dotazu, karanténě, omezení nebo odmítnutí. Mnoho selhání důstojnosti nastává proto, že systémy jsou alergické na nejistotu. Preferují čistý boolean, i když reálný svět žádný nedodal. Tak se z prázdných buněk stávají oprávnění. Důstojný systém nechá nejistotu věci zpomalit. Stroj si poradí. Nebyl pozván na oběd kvůli svým pocitům.
Neexistuje dokonalá architektura důstojnosti. Existují lepší a horší výchozí nastavení. Lepší výchozí nastavení drží kontext blízko, šíří omezení, zaznamenávají pohyb, vyžadují explicitní sekundární použití a umožňují zvrácení. Horší výchozí nastavení zplošťují účel, volně kopírují, důvěřují všem, mažou pouze podle politiky a objevují povinnosti, až když to nařídí kalendář auditu. Volba není mezi inovací a důstojností. Volba je mezi systémy, které si pamatují, co dluží, a systémy, které doufají, že se nikdo nebude ptát.
Ponaučení
Důstojnost dat je často diskutována jako velký princip, ale skutečnou se stává v malých technických rozhodnutích učiněných dříve, než se objeví model. Co musí být známo při příjmu. Které neznámé zastaví tok. Která práva cestují s deriváty. Které kontexty jsou zachovány. Které účely jsou povoleny. Kteří správci mohou říci ne. Které výmazy lze prokázat. Tato rozhodnutí určují, zda pozdější model může být odpovědný, nebo pouze výmluvný.
Respektující cesta není proti datům a není proti AI. Je pro paměť. Trvá na tom, aby záznamy nesly dostatek informací o původu, oprávnění, kontextu a závazcích, aby zůstaly spojené s lidmi a institucemi, které je vytvořily. Model trénovaný na takových datech má větší šanci být užitečný, aniž by se náhodou stal vykořisťovatelským. Model trénovaný bez těchto základů může být stále působivý. Stejně jako budova bez základů je působivá na krátkou a vzrušující dobu.
Začněte před modelem. Začněte u formuláře, smlouvy, schématu, stavu souhlasu, pokynů pro označování, pravidla uchovávání, politiky odvozenin a správce se skutečnou pravomocí. Tam vstupuje do systému důstojnost. Vše ostatní je buď uchování, nebo škodová kontrola.