Neutraalse automatiseerimise müüt
Järjekord, mis tundus objektiivne
Kaebuste laual oli uus järjekord. Juhtumid tulid vormi kaudu, neid täiendati kolme sisesüsteemi andmetega, hinnati kiireloomulisust ja suunati ühte neljast meeskonnast. Vana protsess oli olnud segane. Inimesed kasutasid otsustusvõimet, otsustusvõime kasutas meeleolu, meeleolu kasutas ilma ja kogu asi sõltus vahel sellest, kas vanem juhtumitöötleja oli juba kohvi joonud. Uut järjekorda kirjeldati neutraalsena, sest see kohtles iga juhtumit ühtemoodi. See on lohutav lause, eriti kui keegi pole veel küsinud, mida ühtemoodi tähendab.
Esimesel kuul nägi armatuurlaud suurepärane välja. Keskmine töötlemisaeg langes. Määramata juhtumite arv vähenes. Juhtidel oli diagramm, mida sai slaidile panna ilma fondi suuruse pärast vabandamata. Siis ilmnes muster. Stabiilse aadressita inimeste juhtumeid suunati sagedamini aeglasemale rajale. Mitte sellepärast, et keegi oleks kirjutanud reegli, et ebastabiilne aadress võrdub madalama prioriteediga. Süsteem oli õppinud, et puudulikud aadressiväljad korreleeruvad puuduvate järelkontrolli kirjetega ja puuduvad kirjed vähendasid usaldust kiireloomulisuse hinde vastu. Järjekord oli neutraalne samamoodi, nagu kanal on looduslik pärast seda, kui inimesed on kolm sajandit vett ringi liigutanud.
Kõik ruumis viibijad tahtsid õiget asja. Andmemeeskond tahtis järjepidevust. Operatsioonid tahtsid prognoositavat töökoormust. Õigusosakond tahtis võrdset kohtlemist. Juhtkond tahtis süsteemi, mida saaks selgitada ilma väikest spetsialistide koori kokku kutsumata. Kuid väide neutraalsusest oli muutnud esimese kujundusvestluse liiga lihtsaks. See võimaldas organisatsioonil käsitleda automatiseerimist puhtama otsustusvõime versioonina, mitte otsustusvõimena, mis on masinatesse viidud.
See on neutraalse automatiseerimise müüt. Masin ei astu institutsiooni filosoofilise vaakumina. See pärib kategooriad, kirjed, lävendid, stiimulid, puuduvad väärtused, ajaloolised harjumused, eelarvepiirangud, kasutajaliidesed, eskaleerimisteed ja vanad valupunktid, mida kõik lootsid, et uus süsteem vaikselt tsiviliseerib. Automatiseerimine võib muuta need valikud järjepidevamaks. See võib muuta need kiiremaks. See võib muuta nende jälgimise lihtsamaks. See ei muuda neid neutraalseks.
Neutraalne ei ole sama mis järjepidev
Järjepidevus on väärtuslik. Süsteem, mis rakendab sama reeglit samas olukorras, on lihtsamini testitav, jälgitav ja vaidlustatav. See võib vähendada üksikute töötajate meelevaldset kohtlemist. See võib muuta töökoormuse vähem sõltuvaks isiklikust stiilist. Igaüks, kes on näinud ühist postkasti muutumas väikeseks kuningriigiks, mõistab, miks järjepidevus on ahvatlev. Kuid järjepidevus ei ole neutraalsus. Järjepidev reegel võib olla järjepidevalt vale, järjepidevalt pime või järjepidevalt helde inimeste suhtes, kelle elu sobib andmebaasi kujundusega.
Erinevus on oluline, sest automatiseerimine laenab sageli moraalse autoriteedi matemaatikalt. Skoor näeb puhtam välja kui vestlus. Lävend näeb puhtam välja kui juhataja otsus. Juhtpaneel näeb puhtam välja kui hunnik märkmeid. See puhtus on osaliselt tõeline: vähem improvisatsiooni, vähem isiklikke otseteid, rohkem korratavust. Kuid sama puhtus võib varjata väärtushinnanguid, mis skoori kujundasid. Milliseid tulemusi optimeeriti. Milliseid kahjusid mõõdeti. Millistel rühmadel oli piisavalt andmeid, et neid hästi esindada. Millist ebamugavust peeti vastuvõetavaks, sest see juhtus väljaspool juhtpaneeli.
Võtame näiteks pettusemudeli. See võib kohelda iga tehingut sama skoorimisfunktsiooniga. See ei vasta sellele, kas treeningandmed esindavad teatud käitumisi ülemäära, kas valepositiivsete tulemuste koormus lasub väiksema rahalise puhvriga inimestel, kas blokeeritud tehingul on edasikaebamise võimalus või kas mudelil on lubatud õppida uurimistest, mis ise olid kallutatud. Süsteem võib olla järjekindel ja siiski poliitiliselt laetud. See võib olla ka kasulik, eeldusel et organisatsioon lõpetab teesklemise, et kasulik tähendab neutraalne.
Parem sõna on situatsiooniline. Automatiseerimine on situatsiooniline institutsioonis, ajaloos, õigusraamistikus, tegevusmudelis ja inimlike tagajärgede kogumis. Situatsioonilist süsteemi saab juhtida, sest selle valikud on nähtavad. Neutraalne süsteem või süsteem, mida organisatsiooni sees neutraalsena turundatakse, pääseb sageli juhtimisest, sest kõik eeldavad, et rasked küsimused on koodiga lahendatud. Nii saab valemist alibi.
Andmed on juba otsus
Andmed tunduvad faktilised, sest nad saabuvad tabelitena. Tabelid on väga head süütuna näimises. Neil on read, veerud, tüübid ja kontorimööbli rahulik poos. Ometi on iga andmestik täis otsuseid. Mida koguti. Keda küsitleti. Millised vormid olid kohustuslikud. Milliseid vigu parandati. Millised kategooriad olid lubatud. Milliseid sündmusi logiti. Millised inimesed õppisid süsteemi vältima, sest see aitas neid harva. Puuduvad andmed ei ole vaikus. See on sageli lugu, millel on mikrofon välja lülitatud.
Institutsionaalsetele andmetele ehitatud automatiseerimine pärib institutsiooni mälu. Kui organisatsioon on ajalooliselt mõnda juhtumit rohkem kontrollinud kui teisi, näitavad andmed nendes kohtades rohkem probleeme. Kui mõnel inimesel oli parem juurdepääs dokumentidele, näeb süsteem neid täielikumatena. Kui töötajad kasutasid vabatekstilisi märkmeid eri meeskondades erinevalt, võib keelemudel või klassifikaator pidada kirjutamisstiili riskiks. Kui väli oli vabatahtlik, sest vana protsess pidas seda ebamugavaks, võib uus protsess käsitleda puudumist tõendina. See ei ole masina pahatahtlikkus. See on arvepidamine kummitustega.
Andmehaldus kuulub seetõttu AI-halduse algusesse, mitte hiljem keldrisse. Küsimus ei ole ainult selles, kas andmed on täpsed. See on selles, kas andmed esindavad otsustusvaldkonda piisavalt õiglaselt kavandatud kasutuse jaoks. See on selles, kas puudumist mõistetakse. See on selles, kas asendusmuutujad on nimetatud. See on selles, kas sildid pärinevad usaldusväärsetest tulemustest või varasematest institutsionaalsetest valikutest. Vanade otsuste peal treenitud mudel võib taastoota vanu prioriteete kenama liidesega. Mõnikord on see just see probleem, mida inimesed üritasid lahendada.
Praktiline ülesanne on muuta andmevalikud kontrollitavaks. Dokumenteerige, mida väli tähendab, kust see tuli, kui sageli see puudub, kes sellest puuduvad ja mida süsteemil on lubatud sellest järeldada. Nimetage tundlikud asendusmuutujad. Käsitlege tuletatud tunnuseid otsustena, mitte kahjutute tehniliste täiustustena. Kui keegi ütleb, et mudel kasutab ainult objektiivseid andmeid, küsige, kas objektiivne tähendab seadmega mõõdetud, ametniku poolt registreeritud, mudeli poolt järeldatud või lihtsalt koosolekul mugavalt kaitstavat.
Lävendid on poliitika numbrite riietuses
Iga automatiseeritud töövoog jõuab lõpuks otsustuspunktini. Saada või hoia kinni. Edasta või oota. Kiida heaks või keeldu. Inimülevaatus või otse läbitöötlemine. Otsustuspunkt võib olla mudeli usalduslävi, riskiskoor, reeglimootori haru, järjekorra mahu piirang või ajastamisloogikasse peidetud kululagi. Mis vormis see ka poleks, on see poliitika. See ütleb, milliseid vigu institutsioon eelistab, milliseid viivitusi ta aktsepteerib ja kelle koorem muutub operatiivselt nähtamatuks.
Läved näivad sageli tehnilistena, sest neid häälestatakse graafikute abil. Meeskond joonistab täpsuse ja meeldetulemise kõveraid, valepositiivseid ja valenegatiivseid, kulukõveraid ja katvust. See on hea töö. Kuid see pole kogu töö. Läve valimine pole ainult optimeerimisülesanne. See on juhtimisotsus kahju, pingutuse ja vastutuse kohta. Pettustevastane meeskond võib kahju vältimiseks taluda rohkem valepositiivseid. Tervishoiu triaažiteenus võib ohtliku olukorra vahelejätmise vältimiseks taluda rohkem valepositiivseid. Hüvitisi jagav asutus võib valida inimülevaatuse madalama usaldusläve juures, sest vale keeldumise kulgu kannavad inimesed, kes ei suuda viivitust rahastada. Õige lävi sõltub missioonist, mitte ainult mõõdikust.
Ebamugav osa on see, et läved võivad vaikselt nihkuda. Tagavarade hulk kasvab, seega tõuseb inimülevaatuse lävi. Eelarve kahaneb, seega edastatakse vähem juhtumeid. Mudel paraneb keskmiselt, seega eeldab keegi, et järelevalvet saab vähendada. Iga muudatus võib olla mõistlik. Koos võivad need nihutada institutsiooni käitumist ilma avaliku otsuseta. Juhtpaneel näitab endiselt automatiseerimise tulemuslikkust. Avalikkus kogeb poliitika triivi. Hollandi asjaajamisel on sellele kusagil oma termin, ilmselt vormis, mille taotlemiseks tuleb täita vale vorm.
Hea AI-juhtimine käsitleb lävesid kontrollitud objektidena. Neil on omanikud, põhjused, jõustumiskuupäevad, testid ja ülevaatusetsüklid. Muudatused registreeritakse. Nende mõju valimitakse rühmade ja juhtumitüüpide lõikes. Operaatorid näevad, milline lävi konkreetsele juhtumile rakendus. Otsustest mõjutatud inimesed saavad selgituse, mis sisaldab asjakohast reeglit. Number, mis liigutab tagajärgi, ei tohiks kunagi käituda nagu privaatne eelistus.
Liides on valitsemine
Inimesed käsitlevad sageli kasutajaliidest kui automatiseerimise viisakat pinda, mida täiustatakse pärast mudeli ja reeglite paikapanekut. See on tagurpidi mõtlemine. Liides otsustab, mida operaatorid näevad, mida nad saavad kahtluse alla seada, milliseid vaikeseadeid nad aktsepteerivad ja kui palju hõõrdumist on masina soovituse ja inimese alternatiivi vahel. Nupp võib olla poliitikainstrument. See on masendav ainult siis, kui lootsite, et valitsemine jääb dokumentidesse, kus nupud seda üles ei leia.
Kui soovitatud toiming on suur ja roheline, samas kui ülevaatamisvõimalus on hall ja peidetud menüüsse „rohkem", on süsteem teinud valitsemisotsuse. Kui usaldusväärsust näidatakse ühe protsendina, selgitamata allika kvaliteeti või ulatust, kutsub liides esile vale täpsuse. Kui töötajaid mõõdetakse läbilaskevõime järgi, samas kui ülekirjutamisvorm nõuab viit välja ja juhi kinnitust, on institutsioon teatanud eelistusest nõustumisele. See võib siiski väita, et inimesed on ahelas. Ahelale on aga paigaldatud pöördvärav.
Liidese kujundus mõjutab ka edasikaebamist. Automatiseerimisest mõjutatud inimene peab teadma, et otsus toimus, milline tõendusmaterjal oli oluline ja kuidas seda vaidlustada. Kui süsteem annab ainult üldise sõnumi, muutub vaidlustamisõigus dekoratiivseks. Kui töötajad ei näe asjakohast tõendite ahelat, ei saa nad aidata. Kui parandused ei liigu tagasi automatiseeritud protsessi, võib sama viga korduda masina kannatlikkusega, mis pole kunagi häbi tundnud.
Hea valitsemine vaatab läbi ekraanid, mitte ainult mudelid. See küsib, mida töötaja vaikimisi näeb. See küsib, kas ebakindlus on nähtav. See küsib, kas liides eristab mudeli soovitust, poliitikanõuet ja inimese otsustust. See küsib, kas kasutaja leiab edasikaebamise tee ilma aardekaardita. See küsib, kas selgitused on kasulikud tegevuse hetkel, mitte ainult vastavuse lisas. Liides on koht, kus institutsionaalsed väärtused muutuvad lihasmäluks.
Tagasiside võib süsteemi parandada või mürgitada
Automatiseerimine õpib tagasisidest, kas formaalselt mudeli ümberõppe kaudu või mitteformaalselt selle kaudu, kuidas inimesed sellega kohanevad. Tagasiside ei ole automaatselt tervislik. Süsteem võib õppida oma varasematest vigadest. See võib õppida surve all kujunenud inimotsustest. See võib õppida tulemustest, mida kunagi ei mõõdetud kõrvale suunatud inimeste jaoks. See võib õppida, et juhtumid on madala riskiga, sest kellelgi polnud aega neid uurida. See ei ole intelligentsus. See on peegel halvasti valgustatud ruumis.
Tagasisideahelused vajavad juhtimist, sest automatiseeritud süsteemid muudavad keskkonda, mida nad jälgivad. Riskimudel võib suurendada kontrollide arvu ühes piirkonnas, tekitades seal rohkem leide, mis omakorda õigustab rohkem kontrollide tegemist. Soovitussüsteem võib suunata keerulised juhtumid spetsialistidele, mistõttu üldmeeskonnad näivad edukamad ja spetsialistid aeglasemad. Planeerimissüsteem võib alavääristada inimesi, kes jätavad kohtumisi vahele, kuigi põhjus on kohtumise asukoht või kellaaeg. Mudel salvestab käitumise. Institutsioon loob osa sellest käitumisest. See eristus on ebamugav ja hädavajalik.
Terved tagasisideahelused eraldavad vaatluse kinnitamisest. Nad valivad valimisse juhtumeid, mida mudel eiraks. Nad jälgivad edasikaebusi ja parandusi. Nad mõõdavad valenegatiivseid, kui võimalik, mitte ainult kinnitatud positiivseid. Nad märgivad üles, millal töötajad soovitusega ei nõustu ja miks. Nad uurivad, kas töökoormuse surve muudab otsuseid. Nad küsivad, kas süsteem parandab missiooni või ainult oma mõõdikut. Mõõdikud on suurepärased teenrid ja äärmiselt enesekindlad peremehed.
Siin peab ka inimeste asjatundlikkus aktiivseks jääma. Eksperte ei tohiks taandada mudeli siltide tehaseks. Nad peaksid aitama tõlgendada tõrkerežiime, määratleda vastuvõetamatuid kahjusid ja tuvastada juhtumeid, kus süsteem küsib vale küsimuse. Hea tagasisideahel pole toru tulemusest ümberõpetamiseni. See on järelevalve all toimuv vestlus tõendite, poliitika, operatsioonide ja mõjutatud inimeste vahel. Aeglane, jah. Aga ka vähem tõenäoline, et automatiseerib arusaamatust kolmeks aastaks.
Neutraalne keel varjab vastutusrikkaid valikuid
Organisatsioonid kasutavad neutraalset keelt, sest see alandab temperatuuri. Me ütleme andmepõhine, objektiivne, automatiseeritud, standardiseeritud, skaleeritav, optimeeritud. Need sõnad pole valed, kuid nad on puudulikud. Nad kirjeldavad meetodit, jättes vastutuse häguseks. Andmepõhine kelle poolt. Objektiivne millise mõõtmise järgi. Standardiseeritud kelle normi ümber. Skaleeritav milliste kahjude ulatuses. Optimeeritud mille jaoks. Lause võib kõlada kaasaegselt, vältides samal ajal hoolikalt subjekti.
Vastumürk on lihtne keel. Süsteem eelistab täielike andmetega juhtumeid, sest täielikke andmeid on lihtsam kontrollida. Süsteem suunab madala usaldusväärsusega juhtumid inimeste ülevaatesse, sest keeldumine ilma ülevaateta tekitaks vastuvõetamatut kahju. Süsteem ei kasuta seda asendusnäitajat, sest see on liiga lähedal kaitstud tunnusele. Süsteem võtab valimisse nii heaks kiidetud kui ka keeldutud juhtumeid, sest mõlemad võivad olla valed. Sellised laused on vähem läikivad. Kuid nad sisaldavad rohkem juhtimist.
Lihtsal keelel on teinegi eelis: see võimaldab mittetehnilistel inimestel vaielda õige asja üle. Paljud poliitilised erimeelsused on peidetud tehniliste kirjelduste sisse, sest poliitikast mõjutatud inimesed ei näe tehtud valikut. Kui lävendit kirjeldatakse mudeli kalibreerimisena, astuvad vestlusse ainult spetsialistid. Kui seda kirjeldatakse kui punkti, kus asutus lõpetab käsitsi kontrollimise, mõistab rohkem inimesi, miks see oluline on. Tehniline täpsus ja avalik selgus ei peaks olema vaenlased. Kui neist saavad vaenlased, peaks selgus küsima, mida täpsus üritab varjata.
See ei tähenda, et iga sisemine üksikasja kuuluks avalikku teksti. Turvalisus, privaatsus ja operatiivne kuritarvitus on olulised. Kuid peamised valikud peaksid olema selgitatavad. Kui organisatsioon ei suuda lihtsas keeles kirjeldada väärtushinnangut automatiseeritud otsuse taga, pole ta tõenäoliselt seda otsust juhtinud. Ta on selle lihtsalt rakendanud ja loodanud, et sõnavara teeb eetika ära.
Mida vastutustundlik automatiseerimine tunnistab
Vastutustundlik automatiseerimine algab tunnistamisest, et automatiseerimine on institutsionaalne tegu. See pole lihtsalt mudel, töövoog, müüja funktsioon, armatuurlaud ega tõhususe programm. See on asutuse otsus, et teatud signaalid peaksid tootma teatud tagajärgi suures ulatuses. See otsus võib olla hea. See võib muuta teenuse kiiremaks, vähendada meelevaldset varieerumist, paljastada varjatud töökoormust ja vabastada oskuslikud inimesed korduvast tööst. Asi pole selles, et automatiseerimine ei meeldiks. Asi on selles, et lõpetada teesklus, et see tuleb ilma väärtusteta.
Vastutustundlik kujundus nimetab automatiseeritava otsuse. See nimetab mõjutatud rühmad. See nimetab andmeallikad ja teadaolevad puudujäägid. See tuvastab asendusnäitajad ja tundlikud järeldused. See kontrollib lävendeid. See kujundab operaatori liidese osana juhtimisest. See loob edasikaebamise ja parandamise teed. See valib valimid tulemustest. See salvestab muudatused. See annab omanikele piisava volituse süsteem peatada, kui tõendid lähevad halvaks. Need ei ole tseremoniaalsed ülesanded. Need on töötingimused, mille korral automatiseerimine väärib usaldust.
See kohtleb ka erimeelsusi kasulikuna. Kui operaatorid tihti süsteemi üle kirjutavad, on see tõend. Kui mõjutatud inimesed eduskaevavad edukalt, on see tõend. Kui üks rühm kogeb rohkem viivitusi, on see tõend. Kui mudel toimib hästi keskmiselt, kuid halvasti piiril, kus otsused on kõige olulisemad, on see tõend. Juhtimine ei tohiks neid signaale maha lihvida, kuni armatuurlaud näeb rahulik välja. Rahulikud armatuurlauad on peitnud palju energilisi probleeme.
Küps väide ei ole see, et see automatiseerimine on neutraalne. Küps väide on kitsam ja tugevam: see automatiseerimine on kuulutanud valikud, mõõtnud piirangud, kontrollinud lävendeid, nähtava edasikaebamise ja andmed, mis võimaldavad meil õppida, kui see ebaõnnestub. See lause ei mahu nii kenasti slaidile. Hea. Olulised asjad peaksid aeg-ajalt slaidikujundust ebamugavaks tegema.
Õppetund
Müüt neutraalsest automatiseerimisest püsib, sest see on mugav. See võimaldab juhtidel osta kiirust ilma kompromisse nimetamata. See võimaldab inseneridel lahendada mõõdikute nimel ilma kogu institutsiooni moraalset sõnavara kandmata. See võimaldab operaatoritel süüdistada süsteemi ja süsteemil süüdistada andmeid. See võimaldab kõigil nautida puhta järjepidevuse tunnet, samal ajal kui rasked otsused jätkuvad vaiksemates ruumides.
Kuid automatiseerimine ei ole neutraalne. See on korraldatud. See korraldab tähelepanu, koormust, tõendeid, aega ja autoriteeti. Õige vastus ei ole paanika ega nostalgia käsitsitöö järele. Manuaalsetel süsteemidel on oma ebaõiglus, oma rahvapärased reeglid, oma salapärased sahtlid. Õige vastus on selgesõnaline juhtimine: nimeta valikud, mõõda tagajärgi, säilita väljakutse õigus ja kohtle tehnilisi seadeid institutsionaalsete kohustustena.
Kui pakutakse välja automatiseeritud järjekorda, klassifikaatorit, soovitussüsteemi või agenti, ei ole kasulik küsimus see, kas see eemaldab inimese otsustusvõime. See ei tee seda. Kasulik küsimus on see, kuhu otsustusvõime on liikunud, kes saab seda kontrollida, kes saab seda muuta ja kes saab edasi kaevata, kui see hammustab. Kui vastus on ebaselge, ei ole süsteem neutraalne. See on lihtsalt vaikne.
Vaiksed süsteemid võivad teha palju kahju enne, kui keegi neid kuuleb. Nad võivad teha ka palju head, kui nende valikud on piisavalt nähtavad, et neid jälgida. Erinevus seisneb juhtimises. Mitte juhtimises kui komiteede teatris, vaid juhtimises kui praktilises distsipliinis muuta institutsionaalne otsustusvõime loetavaks enne, kui see hakkab liikuma masina kiirusel.