Spora nasilja loših podataka
Proračunska tablica nije vikala
Proračunska tablica nije izgledala opasno. Tako gotovo uvijek i počne. Stajala je u zajedničkoj mapi s razumnim nazivom, tri skrivena stupca, dva formata datuma, poljem za komentare koje je postalo maleni roman i karticom pod nazivom final koja je lagala na tradicionalan način. Tim ju je koristio za usklađivanje evidencije o kupcima prije pokretanja novog tijeka rada. Nitko nije bio neoprezan. Provjeravali su zbrojeve. Uklanjali su očite duplikate. Pitali su osobu koja je naslijedila datoteku od osobe koja je naslijedila datoteku. Odgovori su bili dovoljno uvjerljivi da se nastavi dalje.
Tri mjeseca kasnije šteta se pojavila, ali ne kao jedan događaj. Kupac je zamoljen za dokumente koje je već dostavio. Drugi je preusmjeren u pogrešan red čekanja za uslugu. Oznaka rizika pojavila se na predmetu jer je zatvoren račun i dalje izgledao aktivno. Agent podrške proveo je dvadeset minuta ispričavajući se zbog sustava koji je uporno koristio staru adresu. Voditelj je vidio nešto bolju propusnost i nešto lošije povjerenje. Nijedan od tih incidenata nije izgledao dovoljno velik da zaustavi program. Zajedno su bili program.
Loši podaci često se opisuju kao tehnička neugodnost. Polja koja nedostaju, nedosljedni kodovi, duplicirani redovi, zastarjeli zapisi, slabe oznake. Taj je jezik točan, ali preuzak. Loši podaci postaju sporo nasilje kada mali pogreške tiho prebacuju trošak na ljude koji ih nisu stvorili. Građani moraju dokazivati ono što je institucija zaboravila. Zaposlenici moraju popravljati ono što je tijek obrade iskrivio. Kupci se moraju ponavljati. Revizori moraju rekonstruirati značenje nakon što je značenje odbačeno. Modeli izgledaju nesigurno, pristrano ili glupo kada djelomično odražavaju neuspjeh u vođenju evidencije.
Nasilje je sporo jer je šteta raspršena. Nijedan pojedinačni red ne preuzima odgovornost. Nijedna pojedinačna nadzorna ploča ne priznaje dug. Sustav nastavlja raditi i stoga izgleda uspješno ako se gleda dovoljno izdaleka. Šteta živi u dodatnim pozivima, odbijenim zahtjevima, pogrešnim pismima, uskraćenom pristupu, frustriranom osoblju, narušenom ugledu i odlukama koje je sve teže osporiti jer je evidencija naučila zvučati službeno. Lošim podacima ne treba drama. Imaju strpljenja.
Kvaliteta nije čistoća
Kvaliteta podataka često se svodi na urednost, kao da je cilj tablica bez vidljivih mrvica. Urednost pomaže. Standardni formati, valjane vrijednosti, potpuna polja, deduplicirani retci i razumni rasponi nužni su. No uredan skup podataka i dalje može biti pogrešan za posao. Polje može biti savršeno formatirano, a semantički slomljeno. Datum može biti valjan i zastario. Oznaka može biti dosljedna i nepravedna. Zapis može biti potpun jer je netko ispunio nepoznato s ne, što je način na koji mnoge male katastrofe obuku odijelo.
Kvaliteta je prikladnost za svrhu s dokazima. Isti zapis može biti dovoljno dobar za slanje newslettera, nedovoljan za odluku o kreditu, opasan za model trijaže u medicini i nebitan za evaluaciju javne politike. Kontekst odlučuje. Tko je stvorio zapis. Prema kojem pravilu. Za koji zadatak. Kojom metodom mjerenja. Koliko se često ažurira. Koja se izostavljanja očekuju. Koje su vrijednosti izvedene. Koje je vrijednosti unio korisnik. Koje su transformacije uslijedile na putu. Bez tog konteksta kvaliteta postaje raspoloženje, a nadzorna ploča postaje uređenje interijera.
AI otežava tu razliku jer su modeli gladni opsega. Opseg ima zavodljiv učinak na organizacije. Velik skup podataka može navesti ljude da prestanu pitati znače li retci još uvijek ono što misle da znače. Više podataka može statistički prikriti šum, ali može i raširiti pogrešnu pretpostavku dalje. Ako je oznaku proizveo preopterećen tim, milijun oznaka može vam dati vrlo veliko mjerenje preopterećenosti. Ako polje koje nedostaje znači odbijeno u jednom sustavu i nepoznato u drugom, njihovo spajanje stvara kategoriju koja bi trebala nositi upozoravajući prsluk.
Stara izreka smeće unutra, smeće van još je uvijek korisna, ali je previše vedra. Moderni sustavi mogu pretvoriti smeće unutra u samouvjeren izlaz, prioritizirane redove čekanja, automatizirana pisma, rezultate rizika, upravljačka izvješća i povratne informacije za obuku koje hrane sljedeći model. Smeće više ne izlazi pristojno. Ono kruži, uči organizacijsku shemu i biva pozvano na upravne odbore.
Zadana vrijednost koja je postala pravilo
Mnogi kvarovi podataka počinju zadanom vrijednošću. Prazno postaje netočno. Nedostajuće postaje nula. Nepoznato postaje nizak rizik. Bez odgovora postaje pristanak. Posljednja poznata adresa postaje trenutna adresa. Najnoviji zapis postaje najbolji zapis. Slobodna bilješka postaje oznaka jer je netko morao isporučiti nadzornu ploču. Zadane vrijednosti nisu zle. Sustavi trebaju zadane vrijednosti. Problem nastaje kada zadane vrijednosti postanu pravilo, a da nisu imenovane kao pravilo.
Zadana vrijednost odluka je o neizvjesnosti. Ona govori što će organizacija učiniti kada ne zna. Ta odluka može biti bezopasna u tijeku rada s malim utjecajem i neprihvatljiva u onom s velikim posljedicama. Ako je polje marketinške preferencije prazno, oprezna zadana vrijednost može jednostavno izbjeći slanje poruke. Ako je polje podobnosti za naknadu prazno, tretiranje kao ne može uskratiti potporu. Ako je kliničko polje alergije prazno, tretiranje kao nema nije podatkovna odluka. To je vrlo loš dan koji stiže rano.
Dobra upravljanost podacima tjera zadane vrijednosti na svjetlo. Razlikuje nepoznato, nije primjenjivo, nije prikupljeno, odbijeno, na čekanju, procijenjeno, naslijeđeno, izvedeno i potvrđeno. Te kategorije djeluju zamorno sve dok alternativa ne pretvori praznu ćeliju u autoritet. Sustav koji ne može prikazati neizvjesnost često će učiniti da neizvjesnost nestane pretvarajući se da ju je riješio. To je učinkovito na isti način na koji je učinkovito pomesti staklo pod tepih. Pod je čist. Noga se kasnije ne slaže.
Praktičan test jednostavan je: može li recenzent vidjeti gdje je zadana vrijednost djelovala. Ako preporuka modela, ruta tijeka rada ili metrika izvješća ovise o zadanoj vrijednosti, zapis bi to trebao pokazati. Ako se zadana vrijednost promijeni, prethodni ishodi trebali bi ostati interpretabilni. Ako se ljudi ne slažu sa zadanom vrijednošću, trebao bi postojati vlasnik. U suprotnom, organizacija nije automatizirala pravilo. Automatizirala je pretpostavku koja izbjegava kontakt očima.
Loše oznake stvaraju tihu politiku
Oznake zaslužuju poseban oprez jer često izgledaju objektivnije nego što jesu. Prijevara, visok rizik, ispunjava uvjete, usklađeno, hitno, loša kvaliteta, zadovoljan, nesigurno, riješeno. Te riječi sažimaju ljudsku prosudbu, politiku, naviku, poticaje, vremenski pritisak, a ponekad i institucionalne predrasude u polje dovoljno kratko za model. Oznaka zatim putuje kao da je činjenica. Dok stigne do obuke, argument koji ju je stvorio obično je već otišao kući.
Oznaka može biti pogrešna jer je čovjek pogriješio. Može biti pogrešna i zato što je uputa bila nejasna, politika se promijenila, recenzent nije imao kontekst, kategorija je bila preširoka, alat je poticao brzinu ili je organizacija nagrađivala određeni ishod. Oznaka može biti dosljedna i dalje kodirati lošu praksu. Dosljednost nije vrlina. To je samo ponovljivost, a ponovljivost može ponavljati ludost s vrijednom disciplinom.
Za AI slabe oznake postaju više od šuma u izvještavanju. Postaju cilj koji model uči. Ako su na prethodne odluke utjecali nejednak pristup, povijesna pristranost, loši poticaji ili nepotpuni zapisi, model može naučiti institucionalno ožiljno tkivo i nazvati ga predviđanjem. To ne čini model zlonamjernim. Čini cilj obuke nedovoljno ispitanim. Kriviti samo algoritam privlačno je jer algoritmi ne idu na evaluacije učinka.
Bolja praksa označavanja nije glamurozna. Napišite smjernice. Zabilježite identitet ili ulogu recenzenta gdje je to primjereno. Zabilježite neslaganja. Uzorkujte radi provjere kvalitete. Sačuvajte primjere rubnih slučajeva. Pregledajte oznake nakon promjena politike. Odvojite oznake stvorene za operacije od oznaka stvorenih za obuku. Imenujte nesigurnost. Dopustite recenzentima da kažu ne mogu odrediti. Posljednje je iznenađujuće radikalno u organizacijama koje preferiraju uredne stupce pred poštenom sumnjom.
Dupliciranje nije samo gubitak prostora za pohranu
Duplicirani zapisi zvuče kao problem pohrane dok ne sretnu čovjeka. Tada postaju propušteni termini, pogrešna ispunjavanje uvjeta, fragmentirana povijest, ponovljena uključivanja, višestruki računi, proturječni rezultati rizika i pisma koja jednog čovjeka oslovljavaju kao tri kupca. Baza podataka možda misli da ima više zapisa. Čovjek doživljava instituciju koja ga ne prepoznaje. To je drugačija kategorija nedostatka.
Identitet je posebno težak jer je stvarni svijet neuredan. Ljudi mijenjaju imena, adrese, poslodavce, liječnike, škole i obiteljske strukture. Tvrtke se spajaju. Imovina se seli. Uređaji se zamjenjuju. Odjeli preimenuju programe jer je svijet očito imao viška zbrke. Pravila za podudaranje trebaju skromnost. Ako su prestroga, ista se osoba dijeli na više zapisa. Ako su prelabava, različite se osobe spajaju u jednu institucionalnu fikciju. Obje pogreške uzrokuju štetu.
AI sustavi pojačavaju probleme s identitetom jer se oslanjaju na prikupljeni kontekst. Sažetak predmeta može propustiti relevantnu povijest jer su zapisi bili razdvojeni. Ocjena rizika može precijeniti izloženost jer su duplikati prebrojani dvaput. Preporuka može navesti zapis koji pripada nekome drugome nakon preagresivnog spajanja. Dohvat može prikazati pogrešnu datoteku jer su identifikatori ponovno korišteni. Model postaje vidljivo lice sloja identiteta koji je tiho bio u lošem stanju.
Dobra uprava identitetom daje duplikatima proces, a ne samo akciju čišćenja. Definirana je pouzdanost podudaranja, pragovi za ljudski pregled, ovlast izvora, prava na spajanje i razdvajanje, zapisi revizije, obveze obavještavanja i putovi ispravka. Najvažnije je da se razdvajanje tretira kao operacija prvog reda. Organizacije vole spajanje jer se čini kao pospremanje. Razdvajanje je mjesto gdje uče je li pospremanje slomilo stvarnost.
Zastarjelost je problem uprave
Podaci ne ostaju točni samo zato što ih nitko nije dirao. Neke činjenice propadaju. Adrese, radni status, stanje računa, pravna pravila, klinička stanja, privole, razine rizika, pozicije dionica, podobnost za usluge, vlasništvo, kalibracija uređaja, status dobavljača. Zastarjela vrijednost može savršeno proći validaciju. Ima ispravan tip, dopušteni kod i profesionalno držanje. Ipak je danas pogrešna.
Zastarjelost je opasna jer sustavi često tretiraju izostanak ažuriranja kao dokaz stabilnosti. U mnogim područjima šutnja znači da nitko nije provjerio. Izvor podataka možda nije uspio. Kupac možda nije imao razloga prijaviti se. Javni registar može kasniti. Senzor može biti isključen. Odjel možda još uvijek koristi prošlomjesečnu izvještajnu datoteku jer posao osvježavanja pripada osobi koja je sada na godišnjem odmoru. Podaci nisu postali aktualni time što su mirno sjedili u bazi podataka.
Svako važno polje treba ugovor o svježini. Koliko ova vrijednost smije biti stara za ovu upotrebu. Koji je izvor potvrđuje. Što se događa kada svježina istekne. Može li se tijek rada nastaviti s upozorenjem, zahtijevati ljudski pregled, dohvatiti živi izvor ili se zaustaviti. Svježina bi trebala ovisiti o svrsi. Adresa za newsletter može podnijeti više starosti nego adresa koja se koristi za pravnu obavijest. Pokazatelj rizika za svakodnevno poslovanje ne može živjeti na istom kalendaru kao godišnje izvještavanje.
Ugovori o svježini također pomažu evaluaciji AI-ja. Kada model ne uspije, timovi često pitaju je li model razumio podatke. Prvo bi trebali pitati jesu li podaci još bili živi. Zastarjeli, ali valjani zapis posebno je neugodna zamka jer prolazi tehničke provjere, a ne uspijeva u stvarnosti. Stvarnost, kao i obično, podnosi manje prijava nego što bismo željeli.
Model dobiva krivnju za arhivu
Kada je rezultat umjetne inteligencije loš, model je najlakši osumnjičenik. Vidljiv je, skup, nov i ponekad iznimno samouvjeren. No mnogi su rezultati samo onoliko dobri koliko su dobri zapisi koje model može vidjeti. Model koji treba sažeti nepotpunu datoteku proizvest će uglađenu nepotpunost. Model koji treba klasificirati slučajeve na temelju nedosljednih oznaka naučit će nedosljednost s izvrsnim držanjem. Model koji treba dohvatiti politiku iz zastarjele baze znanja citirat će prošlost kao da još uvijek ima pristup uredu.
To je važno jer popravci usmjereni na model mogu biti gubitak vremena. Ponovno treniranje neće popraviti nedostatak privole. Veći kontekstni prozor neće popraviti duplicirane identitete. Bolji upit neće vratiti izbrisano značenje. Više evaluacije neće pomoći ako testni skup nosi iste pokvarene oznake kao i proizvodnja. Modelu možda i dalje treba rad. No sloj podataka mora se istražiti kao osumnjičenik s motivom, prilikom i dugom poviješću.
Postoji i politička pogodnost u okrivljavanju modela. Ako je model kriv, popravak pripada AI timu. Ako su podaci krivi, popravak može pripasti operativama, pravnim službama, politikama, proizvodu, korisničkoj podršci, upravljanju zapisima, dobavljačima i vodstvu. To je veći stol. Veći stolovi donose više točaka dnevnog reda. Neke organizacije preferiraju manji stol i gore objašnjenje.
Ozbiljna revizija incidenta stoga počinje ranije. Koji je izvor nosio činjenicu. Je li bio aktualan. Je li bio dopušten. Je li značenje sačuvano. Je li oznaka bila valjana za ovu svrhu. Je li se podudaranje identiteta ponašalo kako treba. Je li zadana vrijednost odradila svoj posao. Je li ljudska ispravka stigla do nizvodnog sustava. Je li evaluacijski skup uključivao ovu vrstu neuspjeha. Tek nakon tih pitanja model treba pozvati da se brani. Možda je i dalje kriv. No ne bi trebao biti usamljen.
Popravak mora stići do izvora
Mnoge organizacije imaju procese ispravljanja koji popravljaju vidljivi slučaj, ali ne i podatkovni sustav. Agent podrške ažurira adresu za današnje pismo, ali glavni zapis ostaje star. Službenik za slučaj zaobilazi uvjete podobnosti, ali polje koje nedostaje ostaje nedostupno. Liječnik ispravlja sažetak, ali pravilo izdvajanja nastavlja proizvoditi istu pogrešku. Bilješka korisničke službe kaže zanemari prethodnu vrijednost, što je hrabar, ali krhak način upravljanja bazom podataka.
Popravak mora putovati uzvodno. Ako se pogreška pronađe na mjestu upotrebe, ispravka bi trebala stići do autoritativnog izvora ili barem stvoriti usklađeno stanje s dokazima. Sustav bi trebao znati je li popravak lokalni, privremeni, sporni, verificirani ili strukturni. Ispravka koja se ne može proširiti postaje još jedan komad loših podataka. Vrlo učinkovito, u mračnom smislu.
Put popravka treba također štititi ljude od toga da postanu neplaćeni čuvari podataka za institucije. Razumno je tražiti od nekoga da jednom pruži informaciju koja nedostaje. Nije razumno prisiliti ih da ispravljaju isti zapis na pet kanala jer sustavi organizacije uživaju preveliku neovisnost. Kad ljudi više puta dostave činjenice, a institucija ih više puta zaboravi, problem nije korisničko trenje. Riječ je o neuspjehu institucionalnog pamćenja.
Dobar popravak stvara učenje. Ako mnoge ispravke pogađaju isto polje, obrazac za prikupljanje možda je nejasan. Ako se nakon promjene pravila podudaranja dogodi mnogo razdvajanja, prag je pogrešan. Ako se oznaka često osporava, smjernicu treba revidirati. Ako zastarjeli zapisi uzrokuju incidente, nedostaju ugovori o ažurnosti. Kvaliteta podataka poboljšava se kad se ispravak tretira kao dokaz, a ne kao neugodnost.
Loši podaci nisu moralno neutralni
Primamljivo je kvalitetu podataka tretirati kao pitanje pozadinskog ureda. Zapisi su neuredni, da, ali svaka organizacija ima neuredne zapise. To je istina na isti način na koji svaka zgrada ima prašinu. Pitanje je je li prašina na polici ili unutar ventilacijskog sustava. Kad loši podaci pokreću automatizirane odluke, prioritizirani rad, AI rezultate, izvještavanje, usklađenost, plaćanja ili javne usluge, prestaju biti kućanski posao pozadinskog ureda. Postaju način na koji se provodi moć.
To ne znači da je svaka pogreška skandal. Ozbiljne institucije mogu griješiti. Moralno je pitanje jesu li pogreške vidljive, ispravljive i spriječene u umnožavanju. Sustav vođenja evidencije koji skriva nesigurnost, opire se ispravku, kažnjava pogođenu osobu ponovljenim dokazivanjem i nastavlja koristiti izvedene pogreške nije samo neuredan. Nepravedan je na trajan način.
Ne postoji jedinstven lijek. Rad s podacima lokalne je prirode, specifičan za domenu i ponekad ponizan. Ali stav je jasan. Tretirajte važna polja kao odluke s vlasnicima. Omogućite predstavljanje nesigurnosti. Držite provijenciju blizu. Povežite ažurnost sa svrhom. Revidirajte oznake. Upravljajte identitetom. Proširujte ispravke. Mjerite teret popravka, ne samo brzinu obrade. Kad je AI uključen, testirajte put podataka jednako temeljito kao i put modela. Zapisi nisu kulisa. Dio su stroja.
Proračunska tablica nije vikala jer proračunske tablice rijetko viču. Sustav je učinio ono što sustavi čine: pretvorio je tihe pretpostavke u glasnije posljedice. Pouka nije da svi podaci moraju biti savršeni prije nego što rad može početi. To bi uništilo civilizaciju, ili barem planiranje za utorak. Pouka je da lošim podacima ne smije biti dopušteno da djeluju s autoritetom dok ostaju jeftini, nevidljivi i tuđi problem. Sporo nasilje postaje sporije kada ga nitko ne imenuje. Postaje manje kada zapis konačno mora odgovarati za sebe.