Pomalé násilie zlých dát
Tabuľka nekričala
Tabuľka nevyzerala nebezpečne. Tak to takmer vždy začína. Ležala v zdieľanom priečinku s rozumným názvom, tromi skrytými stĺpcami, dvoma formátmi dátumov, poľom na komentáre, ktoré sa zmenilo na malý román, a záložkou s názvom final, ktorá klamala tradičným spôsobom. Tím ju používal na zosúladenie záznamov o zákazníkoch pred napojením na nový pracovný postup. Nikto nebol bezohľadný. Skontrolovali súčty. Odstránili zjavné duplicity. Opýtali sa človeka, ktorý súbor zdedil od človeka, ktorý ho zdedil pred ním. Odpovede boli dostatočne vierohodné, aby sa pokračovalo.
O tri mesiace neskôr sa škoda prejavila, ale nie ako jedna udalosť. Zákazník bol požiadaný o dokumenty, ktoré už poskytol. Ďalší bol presmerovaný do nesprávnej servisnej fronty. Na prípade sa objavil rizikový príznak, pretože zatvorený účet stále vyzeral ako aktívny. Pracovník podpory strávil dvadsať minút ospravedlňovaním sa za systém, ktorý trval na starej adrese. Manažér videl mierne lepšiu priepustnosť a mierne horšiu dôveru. Žiadny z týchto incidentov nevyzeral dostatočne veľký na to, aby zastavil program. Spolu boli programom.
Zlé dáta sa často opisujú ako technická nepríjemnosť. Chýbajúce polia, nekonzistentné kódy, duplicitné riadky, zastarané záznamy, slabé označenia. Tento jazyk je presný a príliš malý. Zlé dáta sa stávajú pomalým násilím, keď malé chyby ticho presúvajú náklady na ľudí, ktorí ich nespôsobili. Nútia občanov dokazovať, na čo inštitúcia zabudla. Nútia zamestnancov opravovať, čo pipeline skreslil. Nútia zákazníkov opakovať sa. Nútia audítorov rekonštruovať význam potom, čo bol význam zahodený. Spôsobujú, že modely vyzerajú neisté, zaujaté alebo hlúpe, keď čiastočne odrážajú zlyhanie vedenia záznamov.
Násilie je pomalé, pretože škoda je rozptýlená. Žiadny jednotlivý riadok nepreberá zodpovednosť. Žiadny jednotlivý dashboard nepriznáva dlh. Systém naďalej funguje, a preto z dostatočnej vzdialenosti vyzerá úspešne. Škoda žije v extra hovoroch, zamietnutých žiadostiach, nesprávnych listoch, odopretom prístupe, frustrovaných zamestnancoch, poškodenej povesti a rozhodnutiach, ktoré je čoraz ťažšie spochybniť, pretože záznam sa naučil znieť úradne. Zlé dáta nepotrebujú drámu. Majú trpezlivosť.
Kvalita nie je čistota
Kvalita údajov sa často redukuje na čistotu, akoby cieľom bola tabuľka bez viditeľných omrviniek. Čistota pomáha. Štandardné formáty, platné hodnoty, úplné polia, deduplikované riadky a rozumné rozsahy sú nevyhnutné. Ale čistý súbor údajov môže byť stále nesprávny pre danú úlohu. Pole môže byť perfektne naformátované a sémanticky rozbité. Dátum môže byť platný a zastaraný. Označenie môže byť konzistentné a nespravodlivé. Záznam môže byť úplný, pretože niekto vyplnil neznáme ako nie, a takto sa mnohé malé katastrofy oblečú do saka.
Kvalita je vhodnosť na účel s dôkazmi. Ten istý záznam môže byť dostatočne dobrý na rozoslanie newslettera, nedostatočný na úverové rozhodnutie, nebezpečný pre model triedenia v zdravotníctve a irelevantný pre hodnotenie verejnej politiky. Rozhoduje kontext. Kto záznam vytvoril. Podľa akého pravidla. Pre ktorú úlohu. Akou metódou merania. Ako často sa aktualizuje. Ktoré vynechania sa očakávajú. Ktoré hodnoty sú odvodené. Ktoré hodnoty dodal používateľ. Aké transformácie prebehli po ceste. Bez tohto kontextu sa kvalita stane náladou a dashboard sa stane interiérovým dizajnom.
AI túto rozlišovaciu schopnosť sťažuje, pretože modely sú hladné po rozsahu. Rozsah má na organizácie zvodný účinok. Veľký súbor údajov môže spôsobiť, že ľudia prestanú klásť otázku, či riadky stále znamenajú to, čo si myslia, že znamenajú. Viac údajov môže štatisticky zakryť šum, ale môže tiež rozšíriť nesprávny predpoklad ďalej. Ak označenie vytvoril preťažený tím, milión označení vám môže poskytnúť veľmi veľké meranie preťaženia. Ak chýbajúce pole v jednom systéme znamená odmietnuté a v inom neznáme, ich zlúčenie vytvorí kategóriu, ktorá by mala nosiť výstražnú vestu.
Staré príslovie garbage in, garbage out je stále užitočné, ale je príliš optimistické. Moderné systémy dokážu premeniť garbage in na sebavedomý výstup, prioritizované fronty, automatizované listy, skóre rizika, manažérske správy a spätnú väzbu na tréning, ktorá živí ďalší model. Garbage už neodchádza slušne. Koluje, učí sa organizačnú štruktúru a dostáva pozvánky na riadiace výbory.
Predvolená hodnota, ktorá sa stala politikou
Mnohé zlyhania údajov začínajú predvolenou hodnotou. Prázdne sa stane nepravda. Chýbajúce sa stane nula. Neznáme sa stane nízke riziko. Žiadna odpoveď sa stane súhlas. Posledná známa adresa sa stane aktuálna adresa. Najnovší záznam sa stane najlepší záznam. Poznámka vo voľnom texte sa stane označením, pretože niekto musel dodať dashboard. Predvolené hodnoty nie sú zlé. Systémy predvolené hodnoty potrebujú. Problém nastáva, keď sa predvolené hodnoty stanú politikou bez toho, aby boli ako politika pomenované.
Predvolená hodnota je rozhodnutie o neistote. Hovorí, čo organizácia urobí, keď niečo nevie. Toto rozhodnutie môže byť neškodné v pracovnom postupe s nízkym dopadom a neprijateľné v postupe s veľkým dopadom. Ak je marketingová preferencia prázdna, opatrná predvolená hodnota môže jednoducho zabrániť odoslaniu správy. Ak je pole o nároku na dávku prázdne, zaobchádzanie s ním ako s nie môže znamenať odmietnutie podpory. Ak je pole o klinickej alergii prázdne, zaobchádzanie s ním ako so žiadna nie je rozhodnutie o údajoch. Je to veľmi zlý deň, ktorý prichádza skoro.
Dobrá správa údajov vynesie predvolené hodnoty na svetlo. Rozlišuje medzi neznáme, neuplatňuje sa, nezhromaždené, odmietnuté, čakajúce, odhadované, zdedené, odvodené a overené. Tieto kategórie pôsobia zdĺhavo, kým alternatíva nezmení prázdnu bunku na autoritu. Systém, ktorý nedokáže reprezentovať neistotu, často neistotu odstráni tým, že predstiera jej vyriešenie. Je to efektívne rovnako, ako je efektívne zamiesť sklo pod koberec. Podlaha je čistá. Noha nesúhlasí neskôr.
Praktický test je jednoduchý: či by recenzent vedel vidieť, kde predvolená hodnota zasiahla. Ak odporúčanie modelu, trasa pracovného postupu alebo metrika správy závisí od predvolenej hodnoty, záznam by to mal ukazovať. Ak sa predvolená hodnota zmení, predchádzajúce výsledky by mali zostať interpretovateľné. Ak ľudia s predvolenou hodnotou nesúhlasia, mala by existovať zodpovedná osoba. Inak organizácia neautomatizovala pravidlo. Automatizovala predpoklad, ktorý sa vyhýba očnému kontaktu.
Zlé štítky vytvárajú tichú politiku
Štítky si zaslúžia osobitnú pozornosť, pretože často vyzerajú objektívnejšie, než v skutočnosti sú. Podvod, vysoké riziko, oprávnený, vyhovujúci, naliehavý, nízka kvalita, spokojný, nebezpečný, vyriešený. Tieto slová stláčajú ľudský úsudok, politiku, zvyky, stimuly, časový tlak a niekedy aj inštitucionálne predsudky do poľa dosť krátkeho na model. Štítok potom putuje ďalej, akoby bol faktom. Kým sa dostane k tréningu, argument, ktorý ho vytvoril, zvyčajne už dávno odišiel domov.
Štítok môže byť nesprávny, pretože človek urobil chybu. Môže byť nesprávny aj preto, že inštrukcia bola nejasná, politika sa zmenila, recenzent nemal kontext, kategória bola príliš široká, nástroj podporoval rýchlosť alebo organizácia odmeňovala určitý výsledok. Štítok môže byť konzistentný a napriek tomu zakódovať zlú prax. Konzistentnosť nie je cnosť. Je to iba opakovateľnosť a opakovateľnosť dokáže opakovať hlúposť s obdivuhodnou disciplínou.
Pre AI sa slabé štítky stávajú viac než len šumom vo výkazoch. Stávajú sa cieľom, ktorý sa model učí. Ak boli predchádzajúce rozhodnutia ovplyvnené nerovným prístupom, historickým zaujatím, zlými stimulmi alebo neúplnými záznamami, model sa môže naučiť jazvy inštitúcie a nazvať to predikciou. To nerobí model zlomyseľným. Robí to tréningový cieľ nedostatočne preskúmaným. Obviňovať iba algoritmus je lákavé, pretože algoritmy sa nezúčastňujú na hodnotiacich pohovoroch.
Lepšia prax pri štítkovaní nie je okázalá. Napíšte usmernenia. Zaznamenávajte identitu alebo rolu recenzenta tam, kde je to vhodné. Zachytávajte nezhody. Vzorkujte kvôli kvalite. Uchovávajte príklady okrajových prípadov. Preskúmavajte štítky po zmenách politiky. Oddeľte štítky vytvorené na prevádzku od štítkov vytvorených na tréning. Pomenujte neistotu. Dovoľte recenzentom povedať nedá sa určiť. To posledné je prekvapivo radikálne v organizáciách, ktoré uprednostňujú úhľadné stĺpce pred čestnou pochybnosťou.
Duplicita nie je len plytvanie úložiskom
Duplicitné záznamy znejú ako problém s úložiskom, kým nestretnú človeka. Potom sa z nich stanú zmeškané stretnutia, nesprávna oprávnenosť, roztrieštená história, opakované registrácie, viacero účtov, protichodné rizikové skóre a listy, ktoré oslovujú jedného človeka ako troch zákazníkov. Databáza si môže myslieť, že má viac záznamov. Človek zažíva, že ho inštitúcia nedokáže rozpoznať. To je iná kategória defektu.
Identita je obzvlášť náročná, pretože skutočný svet je neupravený. Ľudia menia mená, adresy, zamestnávateľov, lekárov, školy a rodinné štruktúry. Firmy sa spájajú. Majetok sa presúva. Zariadenia sa nahrádzajú. Oddelenia premenúvajú programy, pretože svet zjavne mal nadbytok zmätku. Pravidlá párovania potrebujú pokoru. Príliš prísne a tá istá osoba sa rozdelí medzi viaceré záznamy. Príliš voľné a rôzni ľudia sa spoja do jednej inštitucionálnej fikcie. Oba typy chýb spôsobujú škodu.
Systémy umelej inteligencie zosilňujú problémy s identitou, pretože sa spoliehajú na zostavený kontext. V súhrne prípadu môže chýbať relevantná história, pretože záznamy boli rozdelené. Rizikové skóre môže nadhodnotiť expozíciu, pretože duplicity sa počítali dvakrát. Odporúčanie môže citovať záznam patriaci niekomu inému po príliš agresívnom zlúčení. Vyhľadávanie môže zobraziť nesprávny súbor, pretože identifikátory sa znovu použili. Model sa stáva viditeľnou tvárou identitnej vrstvy, ktorá bola potichu chorá.
Dobrá správa identity dáva duplicitám proces, nielen jednorazový upratovací šprint. Definuje spoľahlivosť párovania, prahy ľudskej kontroly, autoritu zdroja, práva na zlúčenie a rozdelenie, audítorské stopy, povinnosti oznamovania a cesty na opravu. Najdôležitejšie je, že považuje rozdelenie za operáciu prvej triedy. Organizácie milujú zlučovanie, pretože to pôsobí ako upratovanie. Práve pri rozdeľovaní zistia, či upratovanie nerozbilo realitu.
Zastaranosť je problém správy
Dáta nezostávajú pravdivé len preto, že sa ich nikto nedotkol. Niektoré fakty podliehajú rozkladu. Adresy, stav zamestnania, stav účtu, právne pravidlá, klinické stavy, súhlasy, úrovne rizika, pozície v portfóliu, oprávnenosť na služby, vlastníctvo, kalibrácia zariadení, stav dodávateľa. Zastaraná hodnota môže dokonale prejsť validáciou. Má správny typ, povolený kód a profesionálny vzhľad. Napriek tomu je dnes nesprávna.
Zastaranosť je nebezpečná, pretože systémy často považujú absenciu aktualizácie za dôkaz stability. V mnohých oblastiach ticho znamená, že nikto nekontroloval. Zdrojový kanál mohol zlyhať. Zákazník nemusel mať dôvod sa prihlásiť. Verejný register môže zaostávať. Senzor môže byť odpojený. Oddelenie môže stále používať výpis z minulého štvrťroka, pretože úlohu obnovy má na starosti človek, ktorý je teraz na dovolenke. Dáta sa nestali aktuálnymi tým, že slušne sedeli v databáze.
Každé dôležité pole potrebuje zmluvu o čerstvosti. Aká stará môže byť táto hodnota pre toto použitie. Ktorý zdroj ju potvrdzuje. Čo sa stane, keď čerstvosť vyprší. Môže pracovný postup pokračovať s upozornením, vyžadovať ľudskú kontrolu, načítať živý zdroj alebo sa zastaviť. Čerstvosť by mala závisieť od účelu. Poštová adresa pre newsletter znesie väčší vek ako adresa použitá na právne oznámenie. Indikátor rizika pre každodenné operácie nemôže žiť na rovnakom kalendári ako výročné správy.
Zmluvy o čerstvosti tiež pomáhajú pri hodnotení umelej inteligencie. Keď model zlyhá, tímy sa často pýtajú, či model pochopil dáta. Mali by sa najprv opýtať, či dáta boli ešte živé. Zastaraný, ale platný záznam je obzvlášť nepríjemná pasca, pretože prejde technickými kontrolami a zlyhá v realite. Realita, ako obvykle, podáva menej hlásení, než by sme si želali.
Za archív sa obviňuje model
Keď je výstup umelej inteligencie zlý, model je najľahší podozrivý. Je viditeľný, drahý, nový a niekedy úžasne sebavedomý. Mnohé výstupy sú však len také silné, ako záznamy, ktoré model vidí. Model požiadaný o zhrnutie neúplného súboru vyrobí vyleštenú neúplnosť. Model požiadaný o klasifikáciu prípadov podľa nekonzistentných štítkov sa naučí nekonzistentnosť s výborným vystupovaním. Model požiadaný o vyhľadanie politiky v zastaranej vedomostnej báze bude citovať minulosť, akoby mal stále prístup do kancelárie.
Toto je dôležité, pretože opravy zamerané na model môžu byť stratou času. Preškoľovanie neopraví chýbajúci súhlas. Väčšie kontextové okno neopraví duplicitné identity. Lepšia výzva neobnoví vymazaný význam. Viac vyhodnocovania nepomôže, ak testovacia sada nesie rovnaké chybné štítky ako produkcia. Model možno stále potrebuje prácu. Ale dátovú vrstvu treba vyšetriť ako podozrivú s prostriedkami, motívom a dlhou históriou.
Obviňovanie modelu má aj politické pohodlie. Ak je na vine model, oprava patrí tímu umelej inteligencie. Ak sú na vine dáta, oprava môže patriť prevádzke, právnemu oddeleniu, politike, produktu, zákazníckemu servisu, správe záznamov, dodávateľom a vedeniu. To je väčší stôl. Väčšie stoly prinášajú viac bodov programu. Niektoré organizácie uprednostňujú menší stôl a horšie vysvetlenie.
Vážne vyšetrovanie incidentu preto začína skôr. Ktorý zdroj niesol tú skutočnosť. Či bol aktuálny. Či bol povolený. Či sa zachoval význam. Či bol štítok platný na tento účel. Či sa správne správalo porovnávanie identít. Či zasiahol predvolený stav. Či sa ľudská oprava dostala do downstream systému. Či vyhodnocovacia sada obsahovala tento druh zlyhania. Až po týchto otázkach by mal byť model vyzvaný, aby sa bránil. Môže byť stále vinný. Nemal by byť osamelý.
Oprava sa musí dostať k zdroju
Mnohé organizácie majú opravné procesy, ktoré opravia viditeľný prípad, ale nie dátový systém. Pracovník podpory aktualizuje adresu pre dnešný list, ale hlavný záznam zostáva starý. Pracovník prípadu prepíše oprávnenosť, ale chýbajúce pole zostáva chýbajúce. Lekár opraví súhrn, ale extrakčné pravidlo naďalej produkuje rovnakú chybu. Poznámka v zákazníckom servise hovorí ignorovať predchádzajúcu hodnotu, čo je odvážny, ale krehký spôsob riadenia databázy.
Oprava musí putovať proti prúdu. Ak sa chyba nájde v mieste použitia, oprava by mala dosiahnuť autoritatívny zdroj alebo aspoň vytvoriť zosúladený stav s dôkazmi. Systém by mal vedieť, či je oprava lokálna, dočasná, sporná, overená alebo štrukturálna. Oprava, ktorú nemožno propagovať, sa stáva ďalším kusom zlých dát. Veľmi efektívne, v ponurom zmysle.
Opravná cesta by mala ľudí chrániť aj pred tým, aby sa stali neplatenými správcami údajov pre inštitúcie. Je rozumné požiadať niekoho, aby chýbajúcu informáciu poskytol raz. Nie je rozumné nútiť ho opravovať ten istý záznam v piatich kanáloch len preto, že systémy organizácie si príliš zakladajú na svojej nezávislosti. Keď ľudia opakovane dodávajú fakty a inštitúcia ich opakovane zabúda, problém nie je v používateľskej záťaži. Je to zlyhanie inštitucionálnej pamäte.
Dobrá oprava vytvára učenie. Ak sa veľa opráv týka toho istého poľa, formulár na zber údajov môže byť nejasný. Ak po zmene pravidla spájania dôjde k mnohým rozdeleniam záznamov, prahová hodnota je nesprávna. Ak sa o označení často spochybňuje, usmernenie si vyžaduje revíziu. Ak zastarané záznamy spôsobujú incidenty, chýbajú zmluvy o aktuálnosti údajov. Kvalita údajov sa zlepšuje, keď sa oprava vníma ako dôkaz, nie ako nepríjemnosť.
Zlé údaje nie sú morálne neutrálne
Je lákavé považovať kvalitu údajov za záležitosť administratívneho zázemia. Záznamy sú neporiadne, áno, ale každá organizácia má neporiadne záznamy. To platí rovnako, ako má každá budova prach. Otázkou je, či je prach na poličke alebo vo ventilačnom systéme. Keď zlé údaje začnú riadiť automatizované rozhodnutia, prioritizovanú prácu, výstupy AI, reportovanie, dodržiavanie predpisov, platby alebo verejné služby, prestanú byť upratovaním v administratívnom zázemí. Stanú sa spôsobom, akým sa vykonáva moc.
To neznamená, že každá chyba je škandál. Seriózne inštitúcie môžu robiť chyby. Morálna otázka je, či sú chyby viditeľné, opraviteľné a či sa im bráni v množení. Systém vedenia záznamov, ktorý skrýva neistotu, bráni sa oprave, trestá postihnutú osobu opakovaným dokazovaním a naďalej používa odvodené chyby, nie je len neupravený. Je nespravodlivý trvalým spôsobom.
Neexistuje jediný liek. Práca s údajmi je lokálna, špecifická pre danú oblasť a občas pokorná. Ale postoj je jasný. Zaobchádzajte s dôležitými poľami ako s rozhodnutiami, ktoré majú vlastníkov. Umožnite reprezentáciu neistoty. Uchovávajte pôvod údajov blízko. Priraďte aktuálnosť k účelu. Auditujte označenia. Spravujte identitu. Šírte opravy. Merajte záťaž opráv, nielen rýchlosť spracovania. Keď je do toho zapojená AI, testujte dátovú cestu rovnako dôkladne ako cestu modelu. Záznamy nie sú kulisy. Sú súčasťou stroja.
Tabuľka nekričala, pretože tabuľky málokedy kričia. Systém urobil to, čo systémy robia: premenil tiché predpoklady na hlasnejšie dôsledky. Poučenie nie je v tom, že všetky dáta musia byť dokonalé, kým sa môže začať pracovať. To by znamenalo koniec civilizácie, alebo prinajmenšom utorkového plánovania. Poučenie je v tom, že zlé dáta by nemali mať dovolené konať s autoritou, a pritom zostať lacné, neviditeľné a cudzím problémom. Pomalé násilie sa stáva pomalším, keď ho nikto nepomenuje. Stáva sa menším, keď záznam konečne musí zodpovedať sám za seba.