A rossz adatok lassú erőszaka
A táblázat nem kiabált
A táblázat nem tűnt veszélyesnek. Szinte mindig így kezdődik. Egy megosztott mappában ült, értelmes névvel, három rejtett oszloppal, két dátumformátummal, egy megjegyzésmezővel, amelyből kisregény lett, és egy „final” nevű füllel, amely a hagyományos módon hazudott. Egy csapat ezzel egyeztette az ügyféladatokat, mielőtt egy új munkafolyamatba táplálta volna őket. Senki sem volt meggondolatlan. Ellenőrizték az összegeket. Kiszűrték a nyilvánvaló ismétlődéseket. Megkérdezték azt, aki a fájlt örökölte attól, aki előtte örökölte. A válaszok elég hihetőnek tűntek ahhoz, hogy folytassák.
Három hónappal később megjelent a kár, de nem egyetlen eseményként. Egy ügyfelet olyan dokumentumokról kérdeztek, amelyeket már leadott. Egy másikat rossz szolgáltatási sorba irányítottak. Kockázati jelzés jelent meg egy ügyön, mert egy lezárt számla még mindig aktívnak tűnt. Egy ügyfélszolgálati munkatárs húsz percet töltött azzal, hogy elnézést kérjen egy olyan rendszer miatt, amely egy régi címen ragaszkodott. Egy vezető valamivel jobb átfutást és valamivel rosszabb bizalmat látott. Egyik incidens sem tűnt elég nagynak ahhoz, hogy leállítsák a programot. Együtt ők voltak a program.
A rossz adatokat gyakran technikai kellemetlenségként írják le. Hiányzó mezők, következetlen kódok, ismétlődő sorok, elavult rekordok, gyenge címkék. Ez a nyelv pontos, de túl szűk. A rossz adat lassú erőszakká válik, amikor a kis hibák csendben áthárítják a költséget azokra, akik nem hozták létre őket. Arra készteti az állampolgárokat, hogy bizonyítsák azt, amit az intézmény elfelejtett. Arra készteti a munkavállalókat, hogy kijavítsák azt, amit a folyamat eltorzított. Arra készteti az ügyfeleket, hogy ismételjék meg magukat. Arra készteti az ellenőröket, hogy rekonstruálják a jelentést, miután a jelentést eldobták. Arra készteti a modelleket, hogy bizonytalannak, elfogultnak vagy ostobának tűnjenek, miközben részben egy nyilvántartási hibát tükröznek.
Az erőszak azért lassú, mert a kár szétszórt. Egyetlen sor sem vállal felelősséget. Egyetlen irányítópult sem ismeri el az adósságot. A rendszer tovább működik, és ezért elég nagy távolságból sikeresnek tűnik. A kár a többlethívásokban, az elutasított kérelmekben, a rossz levelekben, a megtagadott hozzáférésben, a frusztrált munkatársakban, a sérült hírnévben és a döntésekben él, amelyeket egyre nehezebb megkérdőjelezni, mert a rekord megtanult hivatalosan hangzani. A rossz adatnak nincs szüksége drámára. Türelme van.
A minőség nem tisztaság
Az adatminőséget gyakran a tisztaságra szűkítik, mintha a cél egy olyan táblázat lenne, amelyen nincs látható morzsa. A tisztaság segít. A szabványos formátumok, az érvényes értékek, a kitöltött mezők, az ismétlődésektől mentes sorok és az ésszerű tartományok szükségesek. De egy tiszta adathalmaz még rossz is lehet a feladathoz. Egy mező lehet tökéletesen formázott és szemantikailag hibás. Egy dátum lehet érvényes és elavult. Egy címke lehet következetes és igazságtalan. Egy rekord lehet teljes, mert valaki az ismeretlent nemre írta be, és így sok kis katasztrófa ölt magára nyakkendőt.
A minőség a célra való alkalmasság bizonyítékokkal. Ugyanaz a rekord lehet elég jó egy hírlevél kiküldéséhez, elégtelen egy hiteldöntéshez, veszélyes egy orvosi triázsmodellhez, és lényegtelen egy közpolitikai értékeléshez. A kontextus dönt. Ki hozta létre a rekordot. Melyik szabály alapján. Melyik feladathoz. Milyen mérési módszerrel. Milyen gyakran frissítik. Mely hiányosságok várhatók. Mely értékek következtetettek. Mely értékeket a felhasználó adta meg. Milyen átalakítások történtek útközben. Kontextus nélkül a minőség hangulattá válik, az irányítópult pedig belsőépítészetté.
Az AI megnehezíti ezt a megkülönböztetést, mert a modellek éhesek a méretre. A méret csábító hatással van a szervezetekre. Egy nagy adathalmaz elérheti, hogy az emberek abbahagyják a kérdést, hogy a sorok még mindig azt jelentik-e, amit gondolnak. A több adat statisztikailag elfedheti a zajt, de egy téves feltételezést is messzebbre terjeszthet. Ha egy címkét egy túlterhelt csapat állított elő, egymillió címke nagyon nagy mérését adhatja a túlterheltségnek. Ha egy hiányzó mező az egyik rendszerben elutasítást, a másikban ismeretlent jelent, az összevonásuk olyan kategóriát hoz létre, amelynek figyelmeztető mellényt kellene viselnie.
A régi mondás, hogy szemét be, szemét ki, még mindig hasznos, de túl vidám. A modern rendszerek a szemetet magabiztos kimenetté, rangsorolt várakozási sorokká, automatizált levelekké, kockázati pontszámokká, vezetői jelentésekké és olyan képzési visszajelzésekké alakíthatják, amelyek a következő modellt táplálják. A szemét már nem távozik udvariasan. Kering, megtanulja a szervezeti ábrát, és meghívást kap a vezetői bizottságokba.
Az alapértelmezés, amely politikává vált
Sok adathiba alapértelmezéssel kezdődik. Az üres hamis lesz. A hiányzó nulla lesz. Az ismeretlen alacsony kockázat lesz. A nemleges válasz beleegyezés lesz. Az utolsó ismert cím jelenlegi cím lesz. A legutóbbi rekord a legjobb rekord lesz. Egy szabad szöveges megjegyzés címkévé válik, mert valakinek le kellett szállítania az irányítópultot. Az alapértelmezések nem gonoszak. A rendszereknek szükségük van alapértelmezésekre. A probléma az, amikor az alapértelmezések politikává válnak anélkül, hogy politikának neveznék őket.
Az alapértelmezés döntés a bizonytalanságról. Azt mondja meg, mit fog tenni a szervezet, amikor nem tudja. Ez a döntés ártalmatlan lehet egy alacsony hatású munkafolyamatban, és elfogadhatatlan egy nagy horderejűben. Ha egy marketingpreferencia üres, egy óvatos alapértelmezés egyszerűen elkerülhet egy üzenetet. Ha egy juttatási jogosultsági mező üres, nemként kezelése megtagadhatja a támogatást. Ha egy klinikai allergiamező üres, a nincs értékként való kezelése nem adatválasztás. Ez egy nagyon rossz nap, amely korán érkezik.
A jó adatirányítás a fényre kényszeríti az alapértelmezéseket. Megkülönbözteti az ismeretlent, a nem értelmezhetőt, a nem gyűjtöttet, az elutasítottat, a függőben lévőt, a becsültet, az örököltet, a következtetettet és a ellenőrzöttet. Ezek a kategóriák fárasztónak tűnnek, amíg az alternatíva egy üres cellát tekintéllyé nem változtat. Egy rendszer, amely nem tudja ábrázolni a bizonytalanságot, gyakran eltünteti a bizonytalanságot azzal, hogy úgy tesz, mintha feloldaná. Ez ugyanolyan hatékony, mint az üveg felsöprése a szőnyeg alá. A padló tiszta. A láb később másként vélekedik.
A gyakorlati teszt egyszerű: egy felülvizsgáló láthatná-e, hol lépett közbe az alapértelmezés. Ha egy modellajánlás, munkafolyamat-útvonal vagy jelentési mérőszám alapértelmezéstől függ, a rekordnak mutatnia kell azt. Ha az alapértelmezés változik, a korábbi eredményeknek értelmezhetőeknek kell maradniuk. Ha az emberek nem értenek egyet az alapértelmezéssel, legyen gazdája. Ellenkező esetben a szervezet nem automatizált egy szabályt. Automatizált egy feltételezést, amely kerüli a szemkontaktust.
A rossz címkék csendes politikát csinálnak
A címkék külön gyanút érdemelnek, mert gyakran objektívebbnek tűnnek, mint amilyenek valójában. Csalás, magas kockázat, jogosult, megfelelő, sürgős, rossz minőség, elégedett, nem biztonságos, megoldott. Ezek a szavak emberi ítéletet, szabályzatot, szokást, ösztönzőket, időnyomást és néha intézményi előítéletet tömörítenek egy olyan mezőbe, amely elég rövid egy modell számára. A címke ezután úgy utazik, mintha tény lenne. Mire eljut a tanításig, az az érv, amely létrehozta, általában már hazament.
Egy címke lehet rossz azért, mert az ember hibázott. Lehet rossz azért is, mert az utasítás nem volt egyértelmű, a szabályzat megváltozott, az ellenőrzőnek nem volt elég kontextusa, a kategória túl tág volt, az eszköz a gyorsaságot ösztönözte, vagy a szervezet egy bizonyos kimenetet jutalmazott. Egy címke lehet következetes, és mégis rossz gyakorlatot kódolhat. A következetesség nem erény. Ez csupán ismételhetőség, és az ismételhetőség csodálatos fegyelemmel tudja ismételni a butaságot.
Az AI számára a gyenge címkék többé válnak, mint jelentési zaj. Ezek lesznek a célok, amelyeket a modell tanul. Ha a korábbi döntéseket egyenlőtlen hozzáférés, történelmi elfogultság, rossz ösztönzők vagy hiányos nyilvántartások befolyásolták, a modell megtanulhatja az intézmény heges szövetét, és előrejelzésnek nevezheti. Ez nem teszi a modellt rosszindulatúvá. Ez azt jelenti, hogy a tanítási cél nincs kellően megvizsgálva. Kizárólag az algoritmust hibáztatni vonzó, mert az algoritmusok nem járnak teljesítményértékelésre.
A jobb címkézési gyakorlat nem látványos. Írjon iránymutatásokat. Rögzítse az ellenőrző személyazonosságát vagy szerepét, ahol ez indokolt. Rögzítse az egyet nem értést. Mintavételezzen a minőség érdekében. Őrizze meg a szélsőséges esetek példáit. Vizsgálja felül a címkéket a szabályzatváltozások után. Különítse el a működéshez létrehozott címkéket a tanításhoz létrehozott címkéktől. Nevezze meg a bizonytalanságot. Engedje meg az ellenőrzőknek, hogy azt mondják: nem állapítható meg. Ez utóbbi meglepően radikális azokban a szervezetekben, amelyek a rendezett oszlopokat jobban szeretik, mint az őszinte kételyt.
A többszörözés nem csak tárolási pazarlás
A többszörös nyilvántartások addig hangzanak tárolási problémának, amíg nem találkoznak egy emberrel. Akkor elmulasztott időpontokká, rossz jogosultsággá, töredezett előzményekké, ismételt ügyfélfelvétellé, több számlává, egymásnak ellentmondó kockázati pontszámokká és levelekké válnak, amelyek egy embert három ügyfélként szólítanak meg. Az adatbázis azt gondolhatja, hogy több nyilvántartása van. Az ember azt éli meg, hogy az intézmény nem ismeri fel őt. Ez a hibák más kategóriája.
Az identitás azért különösen nehéz, mert a valós világ rendezetlen. Az emberek nevet, címet, munkahelyet, orvost, iskolát és családi struktúrát váltanak. A cégek egyesülnek. Az eszközök gazdát cserélnek. A készülékeket kicserélik. A részlegek átnevezik a programokat, mert úgy tűnik, a világban volt még fölösleges kavarodás. Az egyeztetési szabályoknak alázatra van szükségük. Túl szigorúak, és ugyanaz a személy több rekordra szakad szét. Túl lazák, és különböző emberek olvadnak össze egyetlen intézményi fikcióvá. Mindkét hiba kárt okoz.
Az AI-rendszerek felerősítik az identitásproblémákat, mert összeállított kontextusra támaszkodnak. Egy esetösszefoglalóból hiányozhat a releváns előzmény, mert a rekordok szétszakadtak. Egy kockázati pontszám túlbecsülheti a kitettséget, mert a duplikátumokat kétszer számolták. Egy ajánlás másvalaki rekordjára hivatkozhat egy túlzottan agresszív összevonás után. A lekérdezés rossz fájlt hozhat fel, mert az azonosítókat újrahasznosították. A modell lesz a látható arca egy identitásrétegnek, amely csendben rosszul működött.
A jó identitásirányítás folyamatot ad a duplikátumoknak, nem csak egy takarítási akciót. Meghatározza az egyeztetési megbízhatóságot, a humán felülvizsgálati küszöböket, a források tekintélyét, az összevonási és szétválasztási jogokat, a naplózási kötelezettségeket, a tájékoztatási feladatokat és a korrekciós útvonalakat. A legfontosabb, hogy a szétválasztást elsőrangú műveletként kezeli. A szervezetek imádnak összevonni, mert úgy érzik, ez rendet teremt. A szétválasztásnál derül ki, hogy a rendrakás nem törte-e el a valóságot.
Az elavultság irányítási probléma
Az adat nem azért marad igaz, mert senki nem nyúlt hozzá. Egyes tények elavulnak. Címek, foglalkoztatási státusz, számlaállapot, jogszabályok, klinikai állapotok, hozzájárulások, kockázati szintek, részvénypozíciók, szolgáltatásra való jogosultság, tulajdonjog, eszközkalibráció, beszállítói státusz. Egy elavult érték tökéletesen átmegy az érvényesítésen. Megvan a helyes típusa, a megengedett kódja és a szakszerű megjelenése. Mégis rossz ma.
Az elavultság azért veszélyes, mert a rendszerek gyakran a frissítés hiányát a stabilitás bizonyítékaként kezelik. Sok területen a csend azt jelenti, hogy senki nem ellenőrzött. Egy forrásadatszolgáltatás megszakadhatott. Egy ügyfélnek nem volt oka bejelentkezni. Egy közhiteles nyilvántartás lemaradhat. Egy érzékelő lecsatlakozhatott. Egy részleg még mindig a múlt negyedévi kivonatot használhatja, mert a frissítési feladat egy olyan emberé, aki most szabadságon van. Az adat nem vált aktuálissá attól, hogy udvariasan ült az adatbázisban.
Minden lényeges mezőnek szüksége van egy frissességi szerződésre. Milyen régi lehet ez az érték ehhez a felhasználáshoz. Melyik forrás erősíti meg. Mi történik, ha a frissesség lejár. Folytatódhat-e a munkafolyamat figyelmeztetéssel, igényel-e humán felülvizsgálatot, lekér-e élő forrást, vagy leáll. A frissességnek a céltól kell függenie. Egy hírlevélhez használt postacím több kort elvisel, mint egy jogi értesítéshez használt cím. Egy napi működéshez használt kockázati mutató nem élhet ugyanazon a naptáron, mint az éves jelentés.
A frissességi szerződések az AI-értékelésben is segítenek. Amikor egy modell hibázik, a csapatok gyakran azt kérdezik, vajon a modell értette-e az adatot. Először azt kellene kérdezniük, vajon az adat még élt-e. Egy elavult, de érvényes rekord különösen kellemetlen csapda, mert átmegy a technikai ellenőrzéseken, és megbukik a valóságon. A valóság pedig, mint általában, kevesebb hibajegyet ad, mint amennyit szeretnénk.
A modell kapja a hibát az archívumért
Amikor a mesterséges intelligencia kimenete rossz, a modell a legkézenfekvőbb gyanúsított. Látható, drága, új és néha csodálatosan magabiztos. De sok kimenet csak annyira erős, amennyire a rendelkezésére álló rekordok. Egy modell, amelyet egy hiányos fájl összefoglalására kérnek, csiszolt hiányosságot fog produkálni. Egy modell, amelyet következetlen címkék alapján történő esetbesorolásra kérnek, kiváló tartással tanulja meg a következetlenséget. Egy modell, amelyet egy elavult tudásbázisból történő szabályzatkeresésre kérnek, úgy hivatkozik a múltra, mintha az még mindig irodai hozzáféréssel rendelkezne.
Ez azért fontos, mert a modellközpontú javítások időpocsékolásnak bizonyulhatnak. Az újratanítás nem pótolja a hiányzó hozzájárulást. A nagyobb kontextusablak nem oldja meg a duplikált személyazonosságokat. Egy jobb prompt nem állítja vissza a törölt jelentést. A több értékelés sem segít, ha a tesztkészlet ugyanazokat a hibás címkéket hordozza, mint az éles rendszer. A modellre lehet, hogy még mindig szükség van munkára. De az adatréteget is gyanúsítottként kell kivizsgálni, amelynek eszköze, indítéka és hosszú története van.
Van egy politikai kényelem is a modell hibáztatásában. Ha a modell a hibás, a javítás az MI-csapatra tartozik. Ha az adat a hibás, a javítás az üzemeltetésre, a jogi, a szabályzati, a termék-, az ügyfélszolgálati, a nyilvántartáskezelési, a beszállítói és a vezetői területre tartozhat. Ez egy nagyobb asztal. A nagyobb asztalok több napirendi pontot eredményeznek. Egyes szervezetek a kisebb asztalt és a rosszabb magyarázatot részesítik előnyben.
Egy komoly incidens kivizsgálása ezért korábban kezdődik. Melyik forrás hordozta a tényt. Naprakész volt-e. Megengedett volt-e. Megőrződött-e a jelentés. Érvényes volt-e a címke erre a célra. Megfelelően viselkedett-e az azonosság-egyeztetés. Működésbe lépett-e egy alapértelmezés. Eljutott-e egy emberi javítás a downstream rendszerbe. Tartalmazta-e az értékelőkészlet ezt a fajta hibát. Csak ezek után a kérdések után szabad a modellt felkérni arra, hogy védekezzen. Lehet, hogy még mindig bűnös. De nem kell egyedül lennie.
A javításnak el kell érnie a forrást
Sok szervezetnek vannak olyan korrekciós folyamatai, amelyek a látható esetet javítják, de az adatrendszert nem. Egy ügyfélszolgálati munkatárs frissíti a címet a mai levélhez, de a fő rekord régi marad. Egy ügyintéző felülbírálja a jogosultságot, de a hiányzó mező hiányzik marad. Egy orvos kijavít egy összefoglalót, de az extrakciós szabály továbbra is ugyanazt a hibát produkálja. Egy ügyfélszolgálati megjegyzés azt mondja, hogy hagyja figyelmen kívül a korábbi értéket, ami bátor, de törékeny módja egy adatbázis kormányzásának.
A javításnak felfelé kell utaznia. Ha hibát találnak a felhasználás helyén, a korrekciónak el kell érnie a hiteles forrást, vagy legalábbis egy bizonyítékokkal alátámasztott, egyeztetett állapotot kell létrehoznia. A rendszernek tudnia kell, hogy a javítás helyi, ideiglenes, vitatott, ellenőrzött vagy strukturális-e. Egy korrekció, amelyet nem lehet továbbítani, újabb rossz adattá válik. Nagyon hatékony, a sivár értelemben.
A javítási folyamatnak arra is gondolnia kell, hogy az emberek ne váljanak fizetetlen adatgondnokká az intézmények számára. Ésszerű elvárás, hogy valakit egyszer megkérjünk egy hiányzó adat pótlására. Az már nem ésszerű, hogy ugyanazt a rekordot öt különböző csatornán kelljen javítania, csak mert a szervezet rendszerei túlságosan függetlenek egymástól. Ha az emberek újra és újra szolgáltatnak tényeket, az intézmény pedig újra és újra elfelejti azokat, a probléma nem a felhasználói élmény hibája. Ez az intézményi emlékezet csődje.
A jó javítás tanulással jár. Ha sok javítás ugyanazt a mezőt érinti, a gyűjtőűrlap lehet nem egyértelmű. Ha egy egyeztetési szabály módosítása után sok szétválasztás történik, a küszöbérték rossz. Ha egy címkét gyakran vitatnak, az irányelvet felül kell vizsgálni. Ha az elavult rekordok incidenseket okoznak, hiányoznak a frissességi szerződések. Az adatminőség akkor javul, ha a javítást bizonyítékként kezeljük, nem pedig kellemetlenségként.
A rossz adat nem erkölcsileg semleges
Csábító gondolat, hogy az adatminőség háttérirodai kérdés. A rekordok rendetlenek, igen, de minden szervezetnek vannak rendetlen rekordjai. Ez ugyanúgy igaz, ahogy minden épületben van por. A kérdés az, hogy a por a polcon van-e, vagy a szellőzőrendszerben. Ha a rossz adat automatizált döntéseket, rangsorolt munkát, AI-kimeneteket, jelentéseket, megfelelőségi ellenőrzéseket, kifizetéseket vagy közszolgáltatásokat vezérel, akkor már nem háttérirodai házimunka. A hatalomgyakorlás eszközévé válik.
Ez nem jelenti azt, hogy minden hiba botrány. A komoly intézmények is hibázhatnak. Az erkölcsi kérdés az, hogy a hibák láthatók-e, javíthatók-e, és megakadályozzák-e a sokszorozódásukat. Az a nyilvántartási rendszer, amely elrejti a bizonytalanságot, ellenáll a javításnak, ismételt bizonyítékot követel az érintett személytől, és tovább használja a származtatott hibákat, nem csupán rendetlen. Tartósan igazságtalan.
Nincs egyetlen gyógymód. Az adatmunka helyi, területspecifikus és időnként alázatra tanít. De az alapállás világos. Kezeljük a fontos mezőket döntésekként, gazdákkal. Tegyük ábrázolhatóvá a bizonytalanságot. Tartsuk közel a származást. Kapcsoljuk a frissességet a célhoz. Ellenőrizzük a címkéket. Kormányozzuk az identitást. Terjesszük a javításokat. Mérjük a javítási terhet, ne csak a feldolgozási sebességet. Ha AI is részt vesz, az adatútvonalat ugyanolyan alaposan teszteljük, mint a modellútvonalat. A rekordok nem díszlet. A gépezet részei.
A táblázatkezelő nem kiabált, mert a táblázatkezelők ritkán szoktak. A rendszer azt tette, amit a rendszerek tesznek: a csendes feltételezéseket hangosabb következményekké alakította. A tanulság nem az, hogy minden adatnak tökéletesnek kell lennie, mielőtt a munka megkezdődhet. Az a civilizáció végét jelentené, vagy legalábbis a keddi tervezését. A tanulság az, hogy a rossz adatoknak nem szabadna tekintéllyel fellépniük, miközben olcsók, láthatatlanok és mások problémái maradnak. A lassú erőszak lassabbá válik, ha senki nem nevezi meg. Kisebbé válik, amikor a feljegyzésnek végre számot kell adnia magáról.