Huonon datan hidas väkivalta
Taulukkolaskenta ei huutanut
Taulukkolaskenta ei näyttänyt vaaralliselta. Niin se lähes aina alkaa. Se oli jaetussa kansiossa järkevällä nimellä, kolme piilotettua saraketta, kaksi päivämäärämuotoa, kommenttikenttä, josta oli tullut pieni romaani, ja välilehti nimeltä final, joka valehteli perinteiseen tapaan. Tiimi käytti sitä asiakastietojen täsmäyttämiseen ennen uuden työnkulun käyttöönottoa. Kukaan ei ollut holtiton. He tarkistivat summat. He poistivat ilmeiset kaksoiskappaleet. He kysyivät henkilöltä, joka oli perinyt tiedoston henkilöltä, joka oli perinyt tiedoston. Vastaukset olivat riittävän uskottavia, jotta työ saattoi jatkua.
Kolme kuukautta myöhemmin haitta ilmeni, mutta ei yhtenä tapahtumana. Asiakasta pyydettiin toimittamaan asiakirjoja, jotka oli jo toimitettu. Toinen ohjattiin väärään palvelujonoon. Riskilippu ilmestyi tapaukseen, koska suljettu tili näytti edelleen aktiiviselta. Tukipalvelun edustaja käytti kaksikymmentä minuuttia anteeksipyytelyyn järjestelmän puolesta, joka vaati vanhaa osoitetta. Esimies näki hieman paremman läpimenon ja hieman huonomman luottamuksen. Mikään näistä tapauksista ei näyttänyt riittävän suurelta ohjelman pysäyttämiseen. Yhdessä ne olivat ohjelma.
Huonoa dataa kuvataan usein teknisenä haittana. Puuttuvat kentät, epäjohdonmukaiset koodit, kaksoiskappalerivit, vanhentuneet tietueet, heikot tunnisteet. Tämä kieli on tarkkaa mutta liian pientä. Huonosta datasta tulee hidasta väkivaltaa, kun pienet virheet siirtävät hiljaa kustannuksia ihmisille, jotka eivät niitä aiheuttaneet. Se saa kansalaiset todistamaan sen, minkä instituutio unohti. Se saa työntekijät korjaamaan sen, minkä putkisto vääristi. Se saa asiakkaat toistamaan itseään. Se saa tilintarkastajat rekonstruoimaan merkityksen sen jälkeen, kun merkitys heitettiin pois. Se saa mallit näyttämään epävarmoilta, puolueellisilta tai typeriltä, kun ne osittain heijastavat kirjanpidon epäonnistumista.
Väkivalta on hidasta, koska vahinko on jakautunut. Yksikään rivi ei ota vastuuta. Yksikään koontinäyttö ei myönnä velkaa. Järjestelmä toimii edelleen ja näyttää siksi onnistuneelta riittävän kaukaa katsottuna. Haitta elää ylimääräisissä puheluissa, hylätyissä hakemuksissa, vääriä kirjeissä, evätyssä pääsyssä, turhautuneessa henkilökunnassa, vahingoittuneessa maineessa ja päätöksissä, joita on vaikeampi haastaa, koska tietue on oppinut kuulostamaan viralliselta. Huono data ei tarvitse draamaa. Sillä on kärsivällisyyttä.
Laatu ei ole siisteyttä
Datan laatu typistyy usein siisteydeksi, ikään kuin tavoitteena olisi pöytä, jossa ei näy murusia. Siisteys auttaa. Vakiomuodot, kelvolliset arvot, täydet kentät, päällekkäisyyksistä puhdistetut rivit ja järkevät vaihteluvälit ovat välttämättömiä. Mutta siisti aineisto voi silti olla väärä tehtävään. Kenttä voi olla täydellisesti muotoiltu ja merkitykseltään rikki. Päivämäärä voi olla kelvollinen ja vanhentunut. Tunniste voi olla johdonmukainen ja epäreilu. Tietue voi olla täysi, koska joku on täyttänyt kohdan tuntematon vastauksella ei, ja niin monet pienet katastrofit pukeutuvat pukuun.
Laatu on soveltuvuutta tarkoitukseen näytön kanssa. Sama tietue voi riittää uutiskirjeen lähettämiseen, olla riittämätön luottopäätökseen, vaarallinen lääketieteelliseen seulontamalliin ja merkityksetön julkisen politiikan arviointiin. Konteksti ratkaisee. Kuka tietueen loi. Millä säännöllä. Mihin tehtävään. Millä mittausmenetelmällä. Kuinka usein päivitetään. Mitkä puutteet ovat odotettuja. Mitkä arvot on päätelty. Mitkä arvot on käyttäjän antamia. Mitkä muunnokset matkalla tapahtuivat. Ilman tätä kontekstia laadusta tulee mieliala ja kojelaudasta sisustussuunnittelua.
AI tekee tästä erottelusta vaikeampaa, koska mallit ovat nälkäisiä mittakaavalle. Mittakaavalla on viettelevä vaikutus organisaatioihin. Suuri aineisto voi saada ihmiset lakkaamaan kysymästä, tarkoittavatko rivit vielä sitä, mitä he luulevat niiden tarkoittavan. Enemmän dataa voi peittää kohinaa tilastollisesti, mutta se voi myös levittää väärän oletuksen kauemmaksi. Jos tunnisteen on tuottanut ylikuormitettu tiimi, miljoona tunnistetta voi antaa hyvin suuren mittauksen ylikuormituksesta. Jos puuttuva kenttä tarkoittaa kieltäytynyt yhdessä järjestelmässä ja tuntematon toisessa, niiden yhdistäminen luo luokan, jonka pitäisi käyttää varoitusliiviä.
Vanha sanonta roskaa sisään, roskaa ulos on edelleen hyödyllinen, mutta se on liian iloinen. Nykyaikaiset järjestelmät voivat muuttaa roskan sisään luottavaksi ulostuloksi, priorisoiduiksi jonoiksi, automatisoiduiksi kirjeiksi, riskipisteiksi, johdon raporteiksi ja palautteeksi, joka ruokkii seuraavaa mallia. Roska ei enää poistu kohteliaasti. Se kiertää, oppii organisaatiokaavion ja pääsee ohjausryhmiin.
Oletusarvosta tuli käytäntö
Monet datavirheet alkavat oletusarvosta. Tyhjä muuttuu epätodeksi. Puuttuva muuttuu nollaksi. Tuntematon muuttuu matalaksi riskiksi. Vastaamatta jättäminen muuttuu suostumukseksi. Viimeisin tunnettu osoite muuttuu nykyiseksi osoitteeksi. Uusin tietue muuttuu parhaaksi tietueeksi. Vapaamuotoinen muistiinpano muuttuu tunnisteeksi, koska jonkun piti julkaista kojelauta. Oletusarvot eivät ole pahoja. Järjestelmät tarvitsevat oletusarvoja. Ongelma on, kun oletusarvoista tulee käytäntöä ilman, että niitä nimetään käytännöksi.
Oletusarvo on päätös epävarmuudesta. Se kertoo, mitä organisaatio tekee, kun se ei tiedä. Tämä päätös voi olla harmiton vähävaikutteisessa työnkulussa ja mahdoton hyväksyä merkittävässä. Jos markkinointiasetus on tyhjä, varovainen oletusarvo voi yksinkertaisesti välttää viestin. Jos etuuskelpoisuuskenttä on tyhjä, sen käsitteleminen ei-vastauksena voi evätä tuen. Jos kliininen allergiakenttä on tyhjä, sen käsitteleminen ei-yhtään ei ole datavalinta. Se on hyvin huono päivä, joka saapuu etuajassa.
Hyvä datahallinto pakottaa oletusarvot valoon. Se erottaa toisistaan tuntematon, ei sovellettavissa, ei kerätty, kieltäytynyt, vireillä, arvioitu, peritty, päätelty ja vahvistettu. Nämä luokat tuntuvat tylsiltä, kunnes vaihtoehto muuttaa tyhjän solun auktoriteetiksi. Järjestelmä, joka ei pysty esittämään epävarmuutta, saa usein epävarmuuden katoamaan teeskentelemällä ratkaisevansa sen. Tämä on tehokasta samalla tavalla kuin lasin lakaiseminen maton alle on tehokasta. Lattia on puhdas. Jalka on eri mieltä myöhemmin.
Käytännön testi on yksinkertainen: voisiko arvioija nähdä, missä oletusarvo vaikutti. Jos mallin suositus, työnkulun reitti tai raportin mittari riippuu oletusarvosta, tietueen pitäisi näyttää se. Jos oletusarvo muuttuu, aikaisempien tulosten pitäisi pysyä tulkittavina. Jos ihmiset ovat eri mieltä oletusarvosta, sillä pitäisi olla omistaja. Muuten organisaatio ei ole automatisoinut sääntöä. Se on automatisoinut oletuksen, joka välttelee katsekontaktia.
Huonot merkinnät tekevät hiljaista politiikkaa
Merkintöihin kannattaa suhtautua erityisellä epäilyllä, koska ne näyttävät usein objektiivisemmilta kuin ovat. Petos, korkea riski, kelpoinen, vaatimustenmukainen, kiireellinen, heikko laatu, tyytyväinen, turvaton, ratkaistu. Nämä sanat pakkaavat inhimillisen harkinnan, politiikan, tavat, kannustimet, aikapaineen ja joskus institutionaalisen ennakkoluulon kenttään, joka on tarpeeksi lyhyt mallille. Merkintä kulkee sitten kuin se olisi tosiasia. Kun se päätyy koulutusaineistoon, sen synnyttänyt perustelu on yleensä jo lähtenyt kotiin.
Merkintä voi olla väärä, koska ihminen teki virheen. Se voi olla väärä myös siksi, että ohje oli epäselvä, käytäntö muuttui, arvioijalta puuttui asiayhteys, luokka oli liian laaja, työkalu kannusti nopeuteen tai organisaatio palkitsi tietystä lopputuloksesta. Merkintä voi olla johdonmukainen ja silti koodata huonoa käytäntöä. Johdonmukaisuus ei ole hyve. Se on vain toistettavuutta, ja toistettavuus voi toistaa typeryyttä ihailtavalla kurinalaisuudella.
Tekoälylle heikot merkinnät ovat enemmän kuin raportointikohinaa. Niistä tulee malliin opittava kohde. Jos aiempiin päätöksiin ovat vaikuttaneet epätasainen pääsy, historiallinen vinouma, huonot kannustimet tai puutteelliset tallenteet, malli voi oppia instituution arpikudoksen ja kutsua sitä ennusteeksi. Se ei tee mallista ilkeää. Se tekee koulutuskohteesta riittämättömästi tutkitun. Pelkän algoritmin syyttäminen on houkuttelevaa, koska algoritmit eivät osallistu kehityskeskusteluihin.
Parempi merkintäkäytäntö ei ole hohdokasta. Kirjoita ohjeet. Tallenna arvioijan henkilöllisyys tai rooli, kun se on aiheellista. Kirjaa erimielisyydet. Poimi otoksia laadun tarkistamiseksi. Säilytä esimerkkejä rajatapauksista. Tarkista merkinnät käytäntömuutosten jälkeen. Erota operaatioita varten luodut merkinnät koulutusta varten luoduista. Nimeä epävarmuus. Anna arvioijille mahdollisuus sanoa, ettei pysty määrittämään. Viimeinen mainituista on yllättävän radikaali organisaatioissa, jotka suosivat siistejä sarakkeita rehellisen epäilyksen sijaan.
Päällekkäisyys ei ole vain tallennustilan hukkaa
Päällekkäiset tallenteet kuulostavat tallennustilaongelmalta, kunnes ne kohtaavat ihmisen. Sitten niistä tulee väliin jääneitä aikoja, väärä kelpoisuus, pirstoutunut historia, toistuva perehdytys, useita laskuja, ristiriitaiset riskipisteet ja kirjeitä, jotka puhuttelevat yhtä ihmistä kolmena asiakkaana. Tietokanta voi luulla, että sillä on enemmän tallenteita. Ihminen kokee, että instituutio ei tunnista häntä. Se on eri luokan vika.
Identiteetti on erityisen vaikea asia, koska todellinen maailma on epäsiisti. Ihmiset vaihtavat nimiä, osoitteita, työnantajia, lääkäreitä, kouluja ja perherakenteita. Yritykset sulautuvat. Omaisuus siirtyy. Laitteet korvataan. Osastot nimeävät ohjelmia uudelleen, koska maailmassa ei ilmeisesti ollut tarpeeksi sekasortoa. Yhteensovitussääntöihin tarvitaan nöyryyttä. Liian tiukat säännöt jakavat saman henkilön useisiin tietueisiin. Liian löyhät säännöt yhdistävät eri ihmiset yhdeksi institutionaaliseksi fiktioksi. Molemmat virheet aiheuttavat haittaa.
Järjestelmät, jotka käyttävät tekoälyä, vahvistavat identiteettiongelmia, koska ne luottavat koottuun kontekstiin. Tapausyhteenveto voi jättää huomiotta olennaista historiaa, koska tietueet oli hajautettu. Riskipisteet voivat liioitella altistumista, koska kaksoiskappaleet laskettiin kahdesti. Suositus voi viitata jonkun toisen tietueeseen liian aggressiivisen yhdistämisen jälkeen. Haku voi tuoda esiin väärän tiedoston, koska tunnisteita käytettiin uudelleen. Mallista tulee identiteettikerroksen näkyvä kasvot, vaikka kerros on ollut hiljaa sairas.
Hyvä identiteetinhallinta antaa kaksoiskappaleille prosessin, ei vain siivousrupeamaa. Se määrittelee yhteensovituksen luotettavuuden, ihmistarkistuksen kynnykset, lähteen auktoriteetin, yhdistämis- ja eriyttämisoikeudet, auditointipolut, ilmoitusvelvollisuudet ja korjausreitit. Tärkeintä on, että se kohtelee eriyttämistä ensiluokkaisena toimintona. Organisaatiot rakastavat yhdistämistä, koska se tuntuu siivoamiselta. Eriyttämisessä ne oppivat, rikkoiko siivoaminen todellisuuden.
Vanhentuneisuus on hallintaongelma
Tieto ei pysy totena vain siksi, että kukaan ei ole koskenut siihen. Jotkin tosiasiat vanhenevat. Osoitteet, työllisyystilanne, tilin tila, oikeudelliset säännöt, kliiniset tilat, suostumukset, riskitasot, osakepositiot, palvelukelpoisuus, omistajuus, laitteiden kalibrointi, toimittajan tila. Vanhentunut arvo voi läpäistä validoinnin täydellisesti. Sillä on oikea tyyppi, sallittu koodi ja ammattimainen olemus. Se on silti väärä tänään.
Vanhentuneisuus on vaarallista, koska järjestelmät kohtelevat usein päivityksen puuttumista todisteena vakaudesta. Monilla aloilla hiljaisuus tarkoittaa, että kukaan ei tarkistanut. Syötelähde on voinut epäonnistua. Asiakkaalla ei ole välttämättä ollut syytä kirjautua sisään. Julkinen rekisteri voi olla jäljessä. Anturi voi olla irrotettu. Osasto voi yhä käyttää viime vuosineljänneksen otetta, koska päivitystehtävä kuuluu henkilölle, joka on nyt lomalla. Tieto ei muuttunut ajantasaiseksi istumalla kohteliaasti tietokannassa.
Jokaisella merkittävällä kentällä on oltava tuoreussopimus. Kuinka vanha tämä arvo saa olla tähän käyttöön. Mikä lähde vahvistaa sen. Mitä tapahtuu, kun tuoreus vanhenee. Voiko työnkulku jatkua varoituksella, vaatiiko se ihmistarkistusta, haetaanko reaaliaikainen lähde vai pysähdytäänkö. Tuoreuden tulisi riippua tarkoituksesta. Uutiskirjeen postitusosoite voi sietää enemmän ikää kuin oikeudelliseen ilmoitukseen käytetty osoite. Päivittäisen toiminnan riski-indikaattori ei voi elää samalla kalenterilla kuin vuosiraportointi.
Tuoreussopimukset auttavat myös tekoälyn arvioinnissa. Kun malli epäonnistuu, tiimit kysyvät usein, ymmärsikö malli tiedot. Niiden tulisi ensin kysyä, oliko tieto vielä elävää. Vanhentunut mutta kelvollinen tietue on erityisen epämiellyttävä ansa, koska se läpäisee tekniset tarkistukset ja epäonnistuu todellisuudessa. Todellisuus, kuten tavallista, kirjaa vähemmän tikettejä kuin toivoisimme.
Malli saa syyt niskoilleen arkistosta
Kun tekoälyn tuotos on huono, malli on helpoin epäilty. Se on näkyvä, kallis, uusi ja joskus ihanan yli-itsevarma. Mutta monet tuotokset ovat vain niin vahvoja kuin ne tietueet, jotka ne näkevät. Malli, jota pyydetään tiivistämään puutteellinen tiedosto, tuottaa kiillotetun puutteellisuuden. Malli, jota pyydetään luokittelemaan tapauksia epäjohdonmukaisten tunnisteiden perusteella, oppii epäjohdonmukaisuuden erinomaisella ryhdillä. Malli, jota pyydetään hakemaan käytäntö vanhentuneesta tietokannasta, viittaa menneisyyteen kuin sillä olisi edelleen toimistopääsy.
Tällä on merkitystä, koska malliin kohdistuvat korjaukset voivat tuhlata aikaa. Uudelleenkoulutus ei korjaa puuttuvaa suostumusta. Suurempi konteksti-ikkuna ei korjaa päällekkäisiä identiteettejä. Parempi kehote ei palauta poistettua merkitystä. Lisää arviointia ei auta, jos testijoukko kantaa samoja rikkinäisiä tunnisteita kuin tuotanto. Malli saattaa silti kaivata työtä. Mutta datakerrosta on tutkittava epäiltynä, jolla on keinot, motiivi ja pitkä historia.
Mallin syyttämisessä on myös poliittinen mukavuus. Jos malli on syyllinen, korjaus kuuluu tekoälytiimille. Jos data on syyllinen, korjaus voi kuulua operaatioille, lakiosastolle, politiikalle, tuotteelle, asiakaspalvelulle, asiakirjahallinnalle, toimittajille ja johdolle. Se on suurempi pöytä. Suuremmat pöydät tuottavat enemmän asialistoja. Jotkut organisaatiot suosivat pienempää pöytää ja huonompaa selitystä.
Vakavan tapauksen tarkastelu alkaa siksi aiemmin. Mikä lähde kantoi faktan. Oliko se ajantasainen. Oliko se sallittu. Säilyikö merkitys. Oliko tunniste kelvollinen tähän tarkoitukseen. Toimiko identiteetin täsmäytys. Toimiko oletus. Saavuttiko ihmisen tekemä korjaus alavirran järjestelmän. Sisälsikö arviointijoukko tämäntyyppisen virheen. Vasta näiden kysymysten jälkeen mallia tulisi pyytää puolustautumaan. Se voi silti olla syyllinen. Sen ei pitäisi olla yksin.
Korjauksen on yltävä lähteelle
Monilla organisaatioilla on korjausprosesseja, jotka korjaavat näkyvän tapauksen mutta eivät datajärjestelmää. Tukiedustaja päivittää osoitteen tämän päivän kirjettä varten, mutta päärekisteri pysyy vanhana. Käsittelijä ohittaa kelpoisuuden, mutta puuttuva kenttä pysyy puuttuvana. Lääkäri korjaa yhteenvedon, mutta poimintasääntö tuottaa edelleen saman virheen. Asiakaspalvelun muistiinpano sanoo jätä edellinen arvo huomiotta, mikä on rohkea mutta hauras tapa hallita tietokantaa.
Korjauksen on kuljettava ylävirtaan. Jos virhe löytyy käyttöpaikasta, korjauksen tulisi yltää auktoritatiiviseen lähteeseen tai ainakin luoda sovitettu tila todisteineen. Järjestelmän tulisi tietää, onko korjaus paikallinen, väliaikainen, kiistetty, varmennettu vai rakenteellinen. Korjaus, jota ei voi levittää, muuttuu toiseksi huonoksi dataksi. Erittäin tehokasta, synkässä mielessä.
Korjauspolun pitäisi myös suojella ihmisiä siltä, että heistä tulee palkattomia datan hoitajia laitoksille. On kohtuullista pyytää jotakuta toimittamaan puuttuva tieto kerran. Ei ole kohtuullista pakottaa häntä korjaamaan sama tietue viidellä eri kanavalla, koska organisaation järjestelmät nauttivat liikaa itsenäisyydestä. Kun ihmiset toimittavat tosiasioita toistuvasti ja laitos unohtaa ne toistuvasti, ongelma ei ole käyttäjän kitka. Se on institutionaalinen muistin pettäminen.
Hyvä korjaus luo oppimista. Jos monet korjaukset kohdistuvat samaan kenttään, keräyslomake voi olla epäselvä. Jos yhdistämättömiä tapahtumia ilmenee paljon sääntömuutoksen jälkeen, kynnysarvo on väärä. Jos tunnistetta kiistetään usein, ohjeistus kaipaa tarkistusta. Jos vanhentuneet tietueet aiheuttavat häiriöitä, tuoreussopimukset puuttuvat. Datan laatu paranee, kun korjausta käsitellään todisteena, ei haittana.
Huono data ei ole moraalisesti neutraalia
On houkuttelevaa pitää datan laatua taustatoimiston huolena. Tietueet ovat epäsiistejä, totta, mutta jokaisella organisaatiolla on epäsiistejä tietueita. Se on totta samalla tavalla kuin jokaisessa rakennuksessa on pölyä. Kysymys on siitä, onko pöly hyllyllä vai ilmanvaihtojärjestelmän sisällä. Kun huono data ohjaa automatisoituja päätöksiä, priorisoitua työtä, tekoälyn tuotoksia, raportointia, vaatimustenmukaisuutta, maksuja tai julkisia palveluja, se lakkaa olemasta taustatoimiston siivousta. Siitä tulee tapa, jolla valtaa käytetään.
Se ei tarkoita, että jokainen virhe on skandaali. Vakavat laitokset voivat tehdä virheitä. Moraalinen kysymys on, ovatko virheet näkyviä, korjattavissa ja estettyjä moninkertaistumasta. Tietojen säilytysjärjestelmä, joka piilottaa epävarmuuden, vastustaa korjausta, rankaisee asianomaista toistuvalla todistelulla ja jatkaa johdettujen virheiden käyttöä, ei ole vain epäsiisti. Se on epäreilu pysyvällä tavalla.
Ei ole yhtä ainoaa parannuskeinoa. Datatyö on paikallista, toimialakohtaista ja toisinaan nöyryyttävää. Mutta asenne on selvä. Kohtele tärkeitä kenttiä päätöksinä, joilla on omistajat. Tee epävarmuudesta esitettävää. Pidä alkuperä lähellä. Liitä tuoreus tarkoitukseen. Tarkasta tunnisteet. Hallinnoi identiteettiä. Levitä korjaukset. Mittaa korjausrasitetta, ei vain käsittelynopeutta. Kun tekoäly on mukana, testaa datapolku yhtä perusteellisesti kuin mallipolku. Tietueet eivät ole kulissia. Ne ovat osa koneistoa.
Laskentataulukko ei huutanut, sillä laskentataulukot harvoin huutavat. Järjestelmä teki sen, mitä järjestelmät tekevät: se muutti hiljaiset oletukset äänekkäämmiksi seurauksiksi. Opiksi ei jää se, että kaiken datan on oltava täydellistä ennen kuin työ voi alkaa. Se lopettaisi sivilisaation, tai ainakin tiistain suunnittelun. Oppi on se, että huonon datan ei pitäisi antaa toimia auktoriteetilla, kun se pysyy halpana, näkymättömänä ja jonkun muun ongelmana. Hidas väkivalta hidastuu entisestään, kun kukaan ei nimeä sitä. Se pienenee, kun kirjanpidon on viimein vastattava itsestään.