Lēno vardarbību sliktu datu dēļ
Izkliedētā tabula nekliedza
Izkliedētā tabula neizskatījās bīstama. Gandrīz vienmēr tā arī sākas. Tā atradās koplietotā mapē ar saprātīgu nosaukumu, trīs slēptām kolonnām, diviem datumu formātiem, komentāru lauku, kas bija kļuvis par nelielu romānu, un cilni ar nosaukumu final, kas meloja ierastajā veidā. Komanda to izmantoja, lai saskaņotu klientu ierakstus pirms jaunas darba plūsmas ieviešanas. Neviens nebija pārgalvīgs. Viņi pārbaudīja kopsummas. Viņi noņēma acīmredzamus dublikātus. Viņi jautāja cilvēkam, kurš bija mantojis failu no cilvēka, kurš bija mantojis failu. Atbildes bija pietiekami ticamas, lai turpinātu.
Trīs mēnešus vēlāk kaitējums parādījās, bet ne kā viens notikums. Kādam klientam tika pieprasīti dokumenti, ko viņš jau bija iesniedzis. Cits tika novirzīts uz nepareizu pakalpojumu rindu. Uz lietas parādījās riska karodziņš, jo slēgts konts joprojām izskatījās aktīvs. Atbalsta speciālists pavadīja divdesmit minūtes, atvainojoties par sistēmu, kas uzstāja uz vecu adresi. Vadītājs redzēja nedaudz labāku caurlaidību un nedaudz sliktāku uzticību. Neviens no šiem incidentiem neizskatījās pietiekami liels, lai apturētu programmu. Kopā tie bija programma.
Sliktus datus bieži raksturo kā tehnisku neērtību. Trūkstoši lauki, nekonsekventi kodi, dublētas rindas, novecojuši ieraksti, vāji marķējumi. Šī valoda ir precīza un pārāk šaura. Slikti dati kļūst par lēnu vardarbību, kad nelielas kļūdas klusi pārnes izmaksas uz cilvēkiem, kuri tās nav radījuši. Tie liek iedzīvotājiem pierādīt to, ko iestāde ir aizmirsusi. Tie liek darbiniekiem labot to, ko cauruļvads ir sagrozījis. Tie liek klientiem atkārtot sevi. Tie liek revidentiem rekonstruēt nozīmi pēc tam, kad nozīme ir izmesta. Tie liek modeļiem izskatīties nenoteiktiem, neobjektīviem vai muļķīgiem, kad tie daļēji atspoguļo ierakstu kārtošanas neveiksmi.
Vardarbība ir lēna, jo kaitējums ir izkliedēts. Neviena atsevišķa rinda neuzņemas atbildību. Neviens atsevišķs informācijas panelis neatzīst parādu. Sistēma turpina darboties un tāpēc no pietiekama attāluma izskatās veiksmīga. Kaitējums dzīvo papildu zvanos, noraidītos pieteikumos, nepareizās vēstulēs, liegtā piekļuvē, neapmierinātos darbiniekos, sabojātā reputācijā un lēmumos, kurus kļūst grūtāk apstrīdēt, jo ieraksts ir iemācījies izklausīties oficiāls. Sliktiem datiem nav vajadzīga drāma. Viņiem ir pacietība.
Kvalitāte nav tīrība
Datu kvalitāti bieži reducē līdz tīrībai, it kā mērķis būtu tabula bez redzamām drupačām. Tīrība palīdz. Standarta formāti, derīgas vērtības, aizpildīti lauki, atdublētas rindas un saprātīgi diapazoni ir nepieciešami. Taču tīra datu kopa joprojām var būt nepiemērota konkrētajam uzdevumam. Lauks var būt perfekti formatēts un semantiski salauzts. Datums var būt derīgs un novecojis. Etiķete var būt konsekventa un netaisnīga. Ieraksts var būt pilnīgs tāpēc, ka kāds nezināmo aizpildīja ar nē, un tieši tā daudzas mazas katastrofas uzvelk kaklasaiti.
Kvalitāte ir piemērotība mērķim ar pierādījumiem. Viens un tas pats ieraksts var būt pietiekami labs biļetena nosūtīšanai, nepietiekams kredītlēmumam, bīstams medicīniskās šķirošanas modelim un nebūtisks valsts politikas izvērtēšanai. Konteksts izšķir. Kurš izveidoja ierakstu. Saskaņā ar kādu noteikumu. Kuram uzdevumam. Ar kādu mērīšanas metodi. Cik bieži atjaunināts. Kādi izlaidumi ir gaidāmi. Kuras vērtības ir secinātas. Kuras vērtības ir lietotāja sniegtas. Kādas transformācijas notika ceļā. Bez šī konteksta kvalitāte kļūst par noskaņojumu, bet informācijas panelis par interjera dizainu.
Mākslīgais intelekts padara šo atšķirību grūtāku, jo modeļi alkst apjoma. Apjomam ir vilinoša ietekme uz organizācijām. Liela datu kopa var likt cilvēkiem pārstāt jautāt, vai rindas joprojām nozīmē to, ko viņi domā, ka tās nozīmē. Vairāk datu var statistiski nosegt troksni, bet tas var arī izplatīt kļūdainu pieņēmumu tālāk. Ja etiķeti veidojusi pārslogota komanda, miljons etiķešu var sniegt ļoti lielu pārslodzes mērījumu. Ja trūkstošs lauks vienā sistēmā nozīmē atteikts, bet citā nezināms, to apvienošana rada kategoriju, kurai vajadzētu valkāt brīdinājuma vesti.
Vecais teiciens atkritumi iekšā, atkritumi ārā joprojām ir noderīgs, taču tas ir pārāk dzīvespriecīgs. Mūsdienu sistēmas var pārvērst atkritumus iekšā par pārliecinātu izvadi, prioritizētām rindām, automatizētām vēstulēm, riska rādītājiem, vadības ziņojumiem un apmācības atgriezenisko saiti, kas baro nākamo modeli. Atkritumi vairs pieklājīgi neaiziet. Tie cirkulē, apgūst organizācijas struktūru un tiek uzaicināti uz vadības komitejām.
Noklusējums, kas kļuva par politiku
Daudzas datu kļūmes sākas ar noklusējumu. Tukšs kļūst par nepatiess. Trūkstošs kļūst par nulle. Nezināms kļūst par zemu risku. Bez atbildes kļūst par piekrišanu. Pēdējā zināmā adrese kļūst par pašreizējo adresi. Jaunākais ieraksts kļūst par labāko ierakstu. Brīvā teksta piezīme kļūst par etiķeti, jo kādam bija jāizlaiž informācijas panelis. Noklusējumi nav ļauni. Sistēmām ir vajadzīgi noklusējumi. Problēma rodas, kad noklusējumi kļūst par politiku, netiekot nosaukti par politiku.
Noklusējums ir lēmums par nenoteiktību. Tas nosaka, ko organizācija darīs, kad tā nezina. Šis lēmums var būt nekaitīgs mazietekmīgā darbplūsmā un nepieņemams nozīmīgā. Ja mārketinga preferences lauks ir tukšs, piesardzīgs noklusējums var vienkārši izvairīties no ziņojuma nosūtīšanas. Ja pabalstu tiesību lauks ir tukšs, to traktējot kā nē, var liegt atbalstu. Ja klīniskās alerģijas lauks ir tukšs, to traktējot kā nav, nav datu izvēle. Tā ir ļoti slikta diena, kas ierodas agri.
Laba datu pārvaldība piespiež noklusējumus iznākt gaismā. Tā nošķir nezināms, nav piemērojams, nav ievākts, atteikts, gaida apstiprinājumu, aprēķināts, mantots, secināts un pārbaudīts. Šīs kategorijas šķiet garlaicīgas, līdz alternatīva pārvērš tukšu šūnu par autoritāti. Sistēma, kas nespēj attēlot nenoteiktību, bieži liks nenoteiktībai pazust, izliekoties, ka to atrisina. Tas ir efektīvi tādā pašā veidā, kā slaucīt stiklu zem paklāja ir efektīvi. Grīda ir tīra. Pēda nepiekrīt vēlāk.
Praktiskais tests ir vienkāršs: vai recenzents varētu redzēt, kur noklusējums darbojās. Ja modeļa ieteikums, darbplūsmas maršruts vai ziņojuma rādītājs ir atkarīgs no noklusējuma, ierakstam tas būtu jāparāda. Ja noklusējums mainās, iepriekšējiem rezultātiem būtu jāpaliek interpretējamiem. Ja cilvēki nepiekrīt noklusējumam, ir jābūt atbildīgajam. Pretējā gadījumā organizācija nav automatizējusi noteikumu. Tā ir automatizējusi pieņēmumu, kas izvairās no acu kontakta.
Slikti marķējumi rada klusu politiku
Marķējumi ir pelnījuši īpašas aizdomas, jo tie bieži izskatās objektīvāki, nekā patiesībā ir. Krāpšana, augsts risks, atbilstīgs, atbilstošs, steidzams, slikta kvalitāte, apmierināts, nedrošs, atrisināts. Šie vārdi saspiež cilvēka spriedumu, politiku, paradumus, stimulus, laika spiedienu un dažkārt institucionālus aizspriedumus laukā, kas ir pietiekami īss modelim. Marķējums pēc tam ceļo tā, it kā tas būtu fakts. Līdz brīdim, kad tas nonāk apmācībā, arguments, kas to radīja, parasti jau ir aizgājis mājās.
Marķējums var būt nepareizs tāpēc, ka cilvēks kļūdījās. Tas var būt nepareizs arī tāpēc, ka instrukcija bija neskaidra, politika mainījās, recenzentam trūka konteksta, kategorija bija pārāk plaša, rīks veicināja ātrumu vai organizācija atalgoja noteiktu iznākumu. Marķējums var būt konsekvents un joprojām iemiesot sliktu praksi. Konsekvence nav tikums. Tā ir tikai atkārtojamība, un atkārtojamība var atkārtot muļķību ar apbrīnojamu disciplīnu.
Mākslīgajam intelektam vāji marķējumi kļūst par vairāk nekā ziņošanas troksni. Tie kļūst par mērķi, ko modelis apgūst. Ja iepriekšējos lēmumus ietekmēja nevienlīdzīga piekļuve, vēsturiski aizspriedumi, slikti stimuli vai nepilnīgi ieraksti, modelis var apgūt institūcijas rētaudus un saukt to par prognozi. Tas nepadara modeli ļaunprātīgu. Tas padara apmācības mērķi nepietiekami izpētītu. Vainot tikai algoritmu ir vilinoši, jo algoritmi nepiedalās darba izpildes pārskatos.
Labāka marķēšanas prakse nav glīta. Rakstiet vadlīnijas. Ierakstiet recenzenta identitāti vai lomu, kur tas ir atbilstoši. Fiksējiet domstarpības. Veiciet kvalitātes izlases. Saglabājiet robežgadījumu piemērus. Pārskatiet marķējumus pēc politikas izmaiņām. Nošķiriet operācijām radītus marķējumus no apmācībai radītiem marķējumiem. Nosauciet nenoteiktību. Ļaujiet recenzentiem teikt "nevar noteikt". Pēdējais ir pārsteidzoši radikāls organizācijās, kas dod priekšroku kārtīgām kolonnām, nevis godīgām šaubām.
Dublēšanās nav tikai krātuves izšķērdēšana
Dublēti ieraksti izklausās kā krātuves problēma, līdz tie sastopas ar cilvēku. Tad tie kļūst par nokavētām tikšanām, nepareizu atbilstību, sadrumstalotu vēsturi, atkārtotu reģistrāciju, vairākiem rēķiniem, pretrunīgiem riska rādītājiem un vēstulēm, kas vienu cilvēku uzrunā kā trīs klientus. Datu bāze var domāt, ka tai ir vairāk ierakstu. Cilvēks piedzīvo, ka institūcija viņu nepazīst. Tā ir cita veida defekts.
Identitāte ir īpaši sarežģīta, jo reālā pasaule nav kārtīga. Cilvēki maina vārdus, adreses, darba devējus, ārstus, skolas un ģimenes struktūras. Uzņēmumi apvienojas. Aktīvi pārvietojas. Ierīces tiek nomainītas. Departamenti pārdēvē programmas, acīmredzot tāpēc, ka pasaulei bija lieks apjukums. Saskaņošanas noteikumiem nepieciešama pazemība. Pārāk stingri noteikumi un viena un tā pati persona tiek sadalīta vairākos ierakstos. Pārāk brīvi noteikumi un dažādi cilvēki saplūst vienā institucionālā izdomājumā. Abas kļūdas rada kaitējumu.
Mākslīgā intelekta sistēmas pastiprina identitātes problēmas, jo tās paļaujas uz apkopotu kontekstu. Lietas kopsavilkumā var pietrūkt būtiskas vēstures, jo ieraksti bija sadalīti. Riska rādītājs var pārspīlēt apdraudējumu, jo dublikāti tika skaitīti divreiz. Ieteikums var atsaukties uz ierakstu, kas pieder kādam citam, pēc pārāk agresīvas apvienošanas. Izguve var parādīt nepareizu failu, jo identifikatori tika izmantoti atkārtoti. Modelis kļūst par redzamo seju identitātes slānim, kas klusi nebija vesels.
Laba identitātes pārvaldība dublikātiem nodrošina procesu, nevis tikai tīrīšanas sprintu. Tā nosaka saskaņošanas ticamību, cilvēka pārskatīšanas sliekšņus, avota autoritāti, apvienošanas un atdalīšanas tiesības, revīzijas žurnālus, paziņošanas pienākumus un labošanas ceļus. Vissvarīgākais ir tas, ka tā atdalīšanu uzskata par pirmās klases darbību. Organizācijām patīk apvienot, jo tas šķiet kā sakārtošana. Atdalīšana ir brīdis, kad tās uzzina, vai sakārtošana nesabojāja realitāti.
Novecošana ir pārvaldības problēma
Dati nepaliek patiesi tikai tāpēc, ka neviens tos nav aizskāris. Daži fakti noārdās. Adreses, nodarbinātības statuss, konta stāvoklis, juridiskie noteikumi, klīniskie stāvokļi, piekrišana, riska līmeņi, krājumu pozīcijas, pakalpojuma tiesības, īpašumtiesības, ierīču kalibrēšana, piegādātāja statuss. Novecojusi vērtība var lieliski izturēt validāciju. Tai ir pareizais tips, atļautais kods un profesionāla forma. Tā joprojām šodien ir nepareiza.
Novecošana ir bīstama, jo sistēmas bieži uztver atjauninājumu neesamību kā stabilitātes pierādījumu. Daudzās jomās klusums nozīmē, ka neviens nepārbaudīja. Avota plūsma var būt atteikusi. Klientam var nebūt bijis iemesla pieteikties. Publiskais reģistrs var atpalikt. Sensors var būt atvienots. Departaments joprojām var izmantot pagājušā ceturkšņa izvilkumu, jo atsvaidzināšanas darbs pieder cilvēkam, kurš tagad ir atvaļinājumā. Dati nekļuva aktuāli, pieklājīgi sēžot datubāzē.
Katram svarīgam laukam ir nepieciešams aktualitātes līgums. Cik veca šī vērtība drīkst būt šim lietojumam. Kurš avots to apstiprina. Kas notiek, kad aktualitāte beidzas. Vai darbplūsma var turpināties ar brīdinājumu, pieprasīt cilvēka pārskatīšanu, iegūt tiešo avotu vai apstāties. Aktualitātei jābūt atkarīgai no mērķa. Pasta adrese biļetenam var pieļaut lielāku vecumu nekā adrese, ko izmanto juridiskam paziņojumam. Riska rādītājs ikdienas darbībām nevar dzīvot pēc tā paša kalendāra kā gada pārskats.
Aktualitātes līgumi palīdz arī mākslīgā intelekta novērtēšanā. Kad modelis neizdodas, komandas bieži jautā, vai modelis saprata datus. Tām vispirms būtu jājautā, vai dati joprojām bija dzīvi. Novecojis, bet derīgs ieraksts ir īpaši nepatīkama lamatas, jo tas iztur tehniskās pārbaudes un neiztur realitāti. Realitāte, kā parasti, iesniedz mazāk biļešu, nekā mēs vēlētos.
Par arhīvu vaino modeli
Kad AI izvade ir slikta, modelis ir vieglākais aizdomās turamais. Tas ir redzams, dārgs, jauns un reizēm brīnišķīgi pārliecināts par sevi. Taču daudzas izvades ir tikai tik spēcīgas, cik spēcīgi ir ieraksti, ko tās var redzēt. Modelim, kuram lūgts apkopot nepilnīgu failu, radīsies pulēta nepilnība. Modelim, kuram lūgts klasificēt gadījumus pēc nekonsekventām etiķetēm, iemācīsies nekonsekvenci ar izcilu stāju. Modelim, kuram lūgts iegūt politiku no novecojušas zināšanu bāzes, citēs pagātni tā, it kā tai joprojām būtu piekļuve birojam.
Tas ir svarīgi, jo uz modeli vērstas korekcijas var tērēt laiku. Pārkvalificēšana nelabos trūkstošo piekrišanu. Lielāks konteksta logs nenovērsīs dublētas identitātes. Labāks uzvednes teksts neatjaunos izdzēsto nozīmi. Vairāk novērtējumu nepalīdzēs, ja testa kopa nes tās pašas salauztās etiķetes kā ražošana. Modelim, iespējams, joprojām ir nepieciešams darbs. Bet datu slānis ir jāizmeklē kā aizdomās turamais ar līdzekļiem, motīvu un garu vēsturi.
Ir arī politiska ērtība vainot modeli. Ja vainīgs ir modelis, labojums pieder AI komandai. Ja vainīgi ir dati, labojums var piederēt operācijām, juridiskajai nodaļai, politikai, produktam, klientu apkalpošanai, ierakstu pārvaldībai, piegādātājiem un vadībai. Tas ir lielāks galds. Lielāki galdi rada vairāk darba kārtības punktu. Dažas organizācijas dod priekšroku mazākam galdam un sliktākam skaidrojumam.
Nopietnas incidenta izmeklēšanas tāpēc sākas agrāk. Kurš avots nesa faktu. Vai tas bija aktuāls. Vai tas bija atļauts. Vai nozīme tika saglabāta. Vai etiķete bija derīga šim mērķim. Vai identitātes saskaņošana darbojās. Vai noklusējums darbojās. Vai cilvēka korekcija sasniedza lejupējo sistēmu. Vai novērtējuma kopa ietvēra šāda veida kļūmi. Tikai pēc šiem jautājumiem modelim vajadzētu lūgt aizstāvēties. Tas joprojām var būt vainīgs. Tam nevajadzētu būt vientuļam.
Labošanai jāsasniedz avots
Daudzām organizācijām ir korekcijas procesi, kas labo redzamo gadījumu, bet ne datu sistēmu. Atbalsta aģents atjaunina adresi šodienas vēstulei, bet pamatieraksts paliek vecs. Lietas darbinieks atceļ atbilstību, bet trūkstošais lauks paliek trūkstošs. Ārsts labo kopsavilkumu, bet ieguves noteikums turpina radīt to pašu kļūdu. Klientu apkalpošanas piezīme saka ignorēt iepriekšējo vērtību, kas ir drosmīgs, bet trausls veids, kā pārvaldīt datubāzi.
Labošanai jāceļo augšup pa straumi. Ja kļūda tiek atrasta lietošanas vietā, korekcijai jāsasniedz autoritatīvais avots vai vismaz jārada saskaņots stāvoklis ar pierādījumiem. Sistēmai jāzina, vai labojums ir lokāls, pagaidu, apstrīdēts, verificēts vai strukturāls. Korekcija, ko nevar izplatīt, kļūst par vēl vienu sliktu datu gabalu. Ļoti efektīva, drūmā nozīmē.
Remonta ceļam būtu arī jāpasargā cilvēki no tā, ka viņi kļūst par neapmaksātiem datu pārvaldniekiem iestāžu labā. Ir saprātīgi lūgt cilvēkam vienreiz sniegt trūkstošo informāciju. Nav saprātīgi likt viņam labot vienu un to pašu ierakstu piecos kanālos tāpēc, ka organizācijas sistēmām pārāk patīk sava neatkarība. Kad cilvēki atkārtoti sniedz faktus, bet iestāde tos atkārtoti aizmirst, problēma nav lietotāja berze. Tā ir iestādes atmiņas mazspēja.
Laba remonta prakse veicina mācīšanos. Ja daudzi labojumi skar vienu un to pašu lauku, iespējams, ka datu ievades forma ir neskaidra. Ja pēc atbilstības noteikumu izmaiņām bieži notiek atdalīšana, slieksnis ir nepareizs. Ja par kādu etiķeti bieži strīdas, vadlīnijas ir jāpārskata. Ja novecojuši ieraksti izraisa incidentus, trūkst datu aktualitātes līgumu. Datu kvalitāte uzlabojas, ja labojumus uztver kā pierādījumus, nevis kā traucēkli.
Nekvalitatīvi dati nav morāli neitrāli
Ir vilinoši uztvert datu kvalitāti kā biroja iekšēju jautājumu. Ieraksti ir nekārtīgi, jā, bet katrā organizācijā ir nekārtīgi ieraksti. Tā ir taisnība tādā pašā nozīmē, kādā katrā ēkā ir putekļi. Jautājums ir, vai putekļi ir uz plaukta vai ventilācijas sistēmā. Kad nekvalitatīvi dati sāk virzīt automatizētus lēmumus, prioritizētu darbu, mākslīgā intelekta rezultātus, atskaites, atbilstības prasības, maksājumus vai sabiedriskos pakalpojumus, tie vairs nav biroja iekšēja kārtības uzturēšana. Tie kļūst par varas īstenošanas veidu.
Tas nenozīmē, ka katra kļūda ir skandāls. Nopietnas iestādes var kļūdīties. Morālais jautājums ir, vai kļūdas ir redzamas, labojamas un vai tām neļauj vairoties. Ierakstu pārvaldības sistēma, kas slēpj nenoteiktību, pretojas labojumiem, soda skarto cilvēku ar atkārtotiem pierādījumiem un turpina izmantot atvasinātas kļūdas, nav tikai nekārtīga. Tā ir netaisnīga noturīgā veidā.
Viena universāla risinājuma nav. Darbs ar datiem ir lokāls, nozarei specifisks un reizēm pazemību mācošs. Taču nostāja ir skaidra. Uztveriet svarīgus laukus kā lēmumus ar īpašniekiem. Padariet nenoteiktību attēlojamu. Turiet izcelsmes datus tuvu. Piesaistiet aktualitāti mērķim. Revidējiet etiķetes. Pārvaldiet identitāti. Izplatiet labojumus. Mēriet labošanas slogu, ne tikai apstrādes ātrumu. Ja ir iesaistīts mākslīgais intelekts, testējiet datu ceļu tikpat rūpīgi kā modeļa ceļu. Ieraksti nav ainava. Tie ir daļa no mehānisma.
The spreadsheet did not shout because spreadsheets rarely do. The system did what systems do: it converted quiet assumptions into louder consequences. The lesson is not that all data must be perfect before work can begin. That would end civilisation, or at least Tuesday planning. The lesson is that bad data should not be allowed to act with authority while remaining cheap, invisible and someone else's problem. Slow violence becomes slower when nobody names it. It becomes smaller when the record finally has to answer for itself.