Mit o nevtralni avtomatizaciji
Čakalna vrsta, ki je delovala objektivno
Obravnava pritožb je dobila novo čakalno vrsto. Primeri so prihajali prek obrazca, se obogatili z zapisi iz treh notranjih sistemov, dobili oceno nujnosti in se razporedili na eno od štirih ekip. Stari postopek je bil zmeden. Ljudje so uporabljali presojo, presoja je uporabljala razpoloženje, razpoloženje je uporabljalo vreme, vse skupaj pa je bilo včasih odvisno od tega, ali je višji obravnavalec primerov že spil kavo. Nova čakalna vrsta je bila opisana kot nevtralna, ker je vsak primer obravnavala na enak način. To je pomirjujoč stavek, še posebej, ko nihče še ni vprašal, kaj pomeni enak način.
Prvi mesec je nadzorna plošča izgledala odlično. Povprečni čas obravnave se je skrajšal. Število nedodeljenih primerov je padlo. Vodje so imeli grafikon, ki so ga lahko dali v prosojnico, ne da bi se opravičevali za velikost pisave. Potem se je pojavil vzorec. Primeri ljudi brez stalnega naslova so bili pogosteje razporejeni na počasnejšo pot. Ne zato, ker bi kdo napisal pravilo, da nestalen naslov pomeni nižjo prednost. Sistem se je naučil, da so nepopolna polja z naslovom povezana z manjkajočimi zapisi o nadaljnji obravnavi, manjkajoči zapisi pa so zmanjšali zaupanje v oceno nujnosti. Čakalna vrsta je bila nevtralna na enak način, kot je kanal naraven, potem ko so ljudje tri stoletja premikali vodo naokoli.
Vsi v prostoru so si želeli prave stvari. Podatkovna ekipa je želela doslednost. Operativa je želela predvidljivo delovno obremenitev. Pravna služba je želela enako obravnavo. Vodstvo je želelo sistem, ki bi ga bilo mogoče razložiti brez sklica na mali zbor strokovnjakov. Toda trditev o nevtralnosti je prvi pogovor o načrtovanju naredila preveč preprostega. Organizaciji je omogočila, da je avtomatizacijo obravnavala kot čistejšo različico presoje, namesto kot presojo, preneseno v stroje.
To je mit o nevtralni avtomatizaciji. Stroj ne vstopi v institucijo kot filozofski vakuum. Podeduje kategorije, zapise, spodbude, manjkajoče vrednosti, zgodovinske navade, proračunske omejitve, uporabniške vmesnike, poti eskalacije in stare boleče točke, za katere so vsi upali, da jih bo novi sistem tiho uredil. Avtomatizacija lahko te odločitve naredi bolj dosledne. Lahko jih pospeši. Lahko jih olajša za spremljanje. Ne more jih narediti nevtralnih.
Nevtralno ni enako dosledno
Doslednost je dragocena. Sistem, ki uporablja isto pravilo v isti situaciji, je lažje preizkusiti, nadzorovati in izpodbijati. Lahko zmanjša arbitrarno obravnavo posameznih delavcev. Lahko naredi delovno obremenitev manj odvisno od osebnega sloga. Vsakdo, ki je videl, da je skupni nabiralnik postal majhno kraljestvo, razume, zakaj je doslednost mamljiva. Toda doslednost ni nevtralnost. Dosledno pravilo je lahko dosledno napačno, dosledno slepo ali dosledno radodarno do ljudi, katerih življenja ustrezajo zasnovi podatkovne baze.
Razlika je pomembna, ker avtomatizacija pogosto izposoja moralno avtoriteto od matematike. Ocena je videti čistejša kot pogovor. Prag je videti čistejši kot odločitev nadzornika. Nadzorna plošča je videti čistejša kot kup zapiskov. Ta čistost je deloma resnična: manj improvizacije, manj zasebnih bližnjic, več ponovljivosti. Toda ista čistost lahko skrije vrednostne sodbe, ki so oblikovale oceno. Kateri izidi so bili optimizirani. Katere škode so bile izmerjene. Katere skupine so imele dovolj zapisov, da so bile dobro zastopane. Katera neprijetnost je bila obravnavana kot sprejemljiva, ker se je zgodila zunaj nadzorne plošče.
Vzemimo model za odkrivanje goljufij. Vsako transakcijo lahko obravnava z isto funkcijo ocenjevanja. To pa ne odgovori na vprašanje, ali učni podatki preveč poudarjajo določena vedenja, ali stroške lažno pozitivnih rezultatov nosijo ljudje z manj finančne prožnosti, ali ima blokirana transakcija možnost pritožbe, ali pa se model lahko uči iz preiskav, ki so bile same pristranske. Sistem je lahko dosleden in še vedno politično obremenjen. Lahko je tudi uporaben, če organizacija neha pretvarjati se, da uporabno pomeni nevtralno.
Boljša beseda je umeščen. Avtomatizacija je umeščena v institucijo, zgodovino, pravni okvir, operativni model in niz človeških posledic. Umeščen sistem je mogoče upravljati, ker so njegove izbire vidne. Nevtralen sistem, ali sistem, ki ga znotraj organizacije tržijo kot nevtralnega, pogosto uide upravljanju, ker vsi domnevajo, da so težka vprašanja razrešila koda. Tako formula postane alibi.
Podatki so že odločitev
Podatki delujejo dejstveno, ker prihajajo v tabelah. Tabele so zelo dobre v tem, da delujejo nedolžno. Imajo vrstice, stolpce, tipe in umirjeno držo pisarniškega pohištva. Pa vendar je vsak nabor podatkov poln odločitev. Kaj je bilo zbrano. Koga so vprašali. Kateri obrazci so bili obvezni. Katere napake so bile popravljene. Katere kategorije so bile dovoljene. Kateri dogodki so bili zabeleženi. Kateri ljudje so se naučili izogibati sistemu, ker jim je le redko pomagal. Manjkajoči podatki niso tišina. Pogosto so zgodba z izklopljenim mikrofonom.
Avtomatizacija, zgrajena na institucionalnih podatkih, podeduje spomin institucije. Če je organizacija v preteklosti nekatere primere pregledovala bolj kot druge, bodo podatki na teh mestih pokazali več težav. Če so imeli nekateri ljudje boljši dostop do dokumentacije, jih bo sistem videl kot bolj popolne. Če je osebje zapiske v prostem besedilu uporabljalo različno po ekipah, lahko jezikovni model ali klasifikator zamenja slog pisanja za tveganje. Če je bilo polje neobvezno, ker se je stari postopek zdel neroden, lahko novi postopek odsotnost obravnava kot dokaz. To ni zlonamernost stroja. To je računovodstvo s prikaznimi.
Upravljanje podatkov zato sodi na začetek upravljanja umetne inteligence, ne v klet za tem. Vprašanje ni le, ali so podatki točni. Vprašanje je, ali podatki dovolj pošteno predstavljajo področje odločanja za predvideno uporabo. Vprašanje je, ali je manjkajočnost razumljena. Vprašanje je, ali so nadomestni kazalniki poimenovani. Vprašanje je, ali oznake izvirajo iz zanesljivih izidov ali iz preteklih institucionalnih odločitev. Model, usposobljen na starih odločitvah, lahko reproducira stare prioritete z lepšim vmesnikom. Včasih je to natanko težava, ki so jo ljudje poskušali rešiti.
Praktična naloga je narediti podatkovne odločitve pregledne. Zabeležite, kaj polje pomeni, od kod prihaja, kako pogosto manjka, kdo v njem manjka in kaj sme sistem iz njega sklepati. Poimenujte občutljive nadomestne kazalnike. Obravnavajte izpeljane značilnosti kot odločitve, ne kot nenevarne tehnične izboljšave. Ko nekdo reče, da model uporablja samo objektivne podatke, vprašajte, ali objektivno pomeni izmerjeno z napravo, zabeleženo s strani uradnika, sklepano z modelom ali zgolj priročno za zagovor na sestanku.
Pragovi so politika, oblečena v številke
Vsak avtomatiziran potek dela prej ali slej doseže točko preloma. Pošlji ali zadrži. Stopnjuj ali počakaj. Odobri ali zavrni. Človeški pregled ali neposredna obdelava. Točka preloma je lahko prag zaupanja modela, ocena tveganja, veja v pravilih, omejitev zmogljivosti čakalne vrste ali stroškovna omejitev, skrita v logiki razporejanja. Ne glede na obliko je to politika. Pove, katere napake institucija preferira, kakšne zamude sprejema in čigavo breme postane operativno nevidno.
Pragi pogosto delujejo tehnično, ker se uravnavajo z grafikoni. Ekipa načrtuje natančnost in priklic, lažno pozitivne in lažno negativne rezultate, stroškovne krivulje in pokritost. To je dobro delo. Ni pa edino delo. Izbira praga ni le naloga optimizacije. Je odločitev upravljanja o škodi, trudu in odgovornosti. Ekipa za odkrivanje goljufij lahko prenese več lažno pozitivnih rezultatov, da prepreči izgubo. Služba za triažo v zdravstvu lahko prenese več lažno pozitivnih rezultatov, da ne spregleda nevarnosti. Agencija za socialne prejemke se lahko odloči za človeški pregled pri nižjem pragu zaupanja, ker stroške napačne zavrnitve nosijo ljudje, ki si zamude ne morejo privoščiti. Pravi prag je odvisen od poslanstva, ne le od metrike.
Neprijeten del je, da se pragi lahko tiho premikajo. Čakalna vrsta raste, zato se prag za človeški pregled dvigne. Proračun se zaostri, zato se manj primerov stopnjuje. Model se v povprečju izboljša, zato nekdo domneva, da se lahko nadzor zmanjša. Vsaka sprememba je lahko smiselna. Skupaj lahko spremenijo vedenje institucije brez javne odločitve. Nadzorna plošča še vedno prikazuje uspešnost avtomatizacije. Javnost doživlja odmik od politike. Nizozemska dokumentacija ima za to nek izraz, verjetno na obrazcu, ki zahteva napačen obrazec za njegovo pridobitev.
Dobro upravljanje umetne inteligence obravnava pragove kot nadzorovane objekte. Imajo lastnike, razloge, datume začetka veljavnosti, teste in cikle pregledov. Spremembe se beležijo. Njihovi učinki se vzorčijo po skupinah in vrstah primerov. Operaterji lahko vidijo, kateri prag je veljal za posamezen primer. Ljudje, na katere odločitve vplivajo, lahko prejmejo pojasnilo, ki vključuje ustrezno pravilo. Številka, ki premika posledice, se nikoli ne sme obnašati kot zasebna preferenca.
Vmesnik je upravljanje
Ljudje pogosto obravnavajo uporabniški vmesnik kot vljudno površino avtomatizacije, nekaj, kar se izpopolni, ko sta model in pravila že določena. To je narobe. Vmesnik določa, kaj operaterji vidijo, kaj lahko postavijo pod vprašaj, katere privzete nastavitve sprejmejo in koliko trenja obstaja med strojnim priporočilom in človeško alternativo. Gumb je lahko instrument politike. To je depresivno le, če ste upali, da bo upravljanje ostalo v dokumentih, kjer ga gumbi ne morejo najti.
Če je priporočeno dejanje veliko in zeleno, možnost pregleda pa siva in skrita pod menijem »več«, je sistem sprejel odločitev o upravljanju. Če je zaupanje prikazano kot en odstotek brez pojasnila o kakovosti vira ali obsegu, vmesnik vabi k lažni natančnosti. Če delavce merimo po pretočnosti, medtem ko obrazec za preglasitev zahteva pet polj in odobritev vodje, je institucija napovedala prednost strinjanju. Še vedno lahko trdi, da so ljudje v zanki. Vendar je bila zanka opremljena z vrtljivimi vrati.
Oblikovanje vmesnika oblikuje tudi pritožbe. Oseba, ki jo avtomatizacija prizadene, mora vedeti, da se je zgodila odločitev, kakšni dokazi so bili pomembni in kako jo lahko izpodbija. Če sistem ponudi le generično sporočilo, postane pravica do izpodbijanja zgolj okrasna. Če osebje ne vidi ustrezne verige dokazov, ne more pomagati. Če popravki ne stečejo nazaj v avtomatiziran proces, se lahko ista napaka ponovi s potrpežljivostjo stroja, ki še nikoli ni srečal sramu.
Dobro upravljanje pregleduje zaslone, ne le modelov. Sprašuje, kaj delavec vidi privzeto. Sprašuje, ali je negotovost vidna. Sprašuje, ali vmesnik razlikuje med modelnim priporočilom, politično zahtevo in človeško presojo. Sprašuje, ali lahko uporabnik najde pot do pritožbe brez zemljevida zakladov. Sprašuje, ali so pojasnila uporabna na mestu dejanja, ne le v prilogi o skladnosti. Vmesnik je prostor, kjer institucionalne vrednote postanejo mišični spomin.
Povratne informacije lahko sistem izboljšajo ali zastrupijo
Avtomatizacija se uči iz povratnih informacij, bodisi formalno s ponovnim usposabljanjem modela bodisi neformalno skozi način, kako se ljudje prilagajajo. Povratne informacije niso samodejno zdrave. Sistem se lahko uči iz lastnih prejšnjih napak. Lahko se uči iz človeških odločitev, oblikovanih pod pritiskom. Lahko se uči iz izidov, ki nikoli niso bili izmerjeni za ljudi, ki so bili preusmerjeni drugam. Lahko se nauči, da so primeri nizko tvegani, ker nihče ni imel časa za preiskavo. To ni inteligenca. To je ogledalo v slabo osvetljeni sobi.
Povratne zanke potrebujejo upravljanje, ker avtomatizirani sistemi spreminjajo okolje, ki ga opazujejo. Model tveganja lahko poveča število pregledov na nekem področju, kar tam prinese več ugotovitev, kar nato upravičuje še več pregledov. Priporočilni sistem lahko zahtevne primere usmerja k specialistom, zaradi česar so splošne ekipe videti uspešnejše, specialisti pa počasnejši. Razporejevalni sistem lahko razvrsti nižje ljudi, ki pogosto zamujajo na preglede, čeprav so razlog za zamudo lokacija ali čas pregleda. Model beleži vedenje. Institucija del tega vedenja ustvari sama. To razlikovanje je neprijetno in bistveno.
Zdrave povratne zanke ločujejo opazovanje od potrjevanja. Vzorčijo primere, ki bi jih model spregledal. Spremljajo pritožbe in popravke. Kjer je mogoče, merijo lažno negativne rezultate, ne le potrjenih pozitivnih. Zapisujejo, kdaj osebje z odporočilom ne soglaša in zakaj. Preverjajo, ali delovna obremenitev spreminja odločitve. Sprašujejo se, ali sistem izboljšuje poslanstvo ali zgolj lastno metriko. Metrike so odlični služabniki in izjemno samovšečni gospodarji.
Prav tu mora ostati dejavno tudi človeško strokovno znanje. Strokovnjaki ne smejo postati zgolj tovarna oznak za model. Pomagati morajo razlagati vzorce napak, opredeliti nesprejemljivo škodo in prepoznati primere, ko sistem postavlja napačno vprašanje. Dobra povratna zanka ni cev od izida do ponovnega učenja. Je nadzorovan pogovor med dokazi, politikami, delovanjem in prizadetimi ljudmi. Počasen, da. A tudi manj verjetno je, da bo tri leta avtomatiziral nesporazum.
Nevtralni jezik skriva odgovorne odločitve
Organizacije uporabljajo nevtralni jezik, ker znižuje temperaturo. Govorimo o podatkovno vodenem, objektivnem, avtomatiziranem, standardiziranem, razširljivem, optimiziranem. Te besede niso napačne, so pa nepopolne. Opisujejo metodo, odgovornost pa puščajo nejasno. Podatkovno voden od koga. Objektiven glede na katero meritev. Standardiziran glede na čigavo normalnost. Razširljiv prek katere škode. Optimiziran za kaj. Stavek lahko zveni moderno, hkrati pa se skrbno izogne osebku.
Protistrup je preprost jezik. Sistem daje prednost primerom s popolno dokumentacijo, ker je popolno dokumentacijo lažje preveriti. Sistem primere z nizko zanesljivostjo usmerja v človeški pregled, ker bi zavrnitev brez pregleda pomenila nesprejemljivo škodo. Sistem tega nadomestnega kazalnika ne uporablja, ker preveč natančno sledi zaščiteni lastnosti. Sistem vzorči odobrene in zavrnjene primere, ker sta lahko obe vrsti napačni. Takšni stavki so manj bleščeči. Vsebujejo pa več upravljanja.
Jasni jezik ima še eno prednost: ljudem brez tehničnega znanja omogoča, da se ne strinjajo s pravimi stvarmi. Marsikatero politično nestrinjanje je skrito v tehničnih opisih, ker prizadeti ne vidijo izbire. Če je prag opisan kot kalibracija modela, v pogovor vstopijo le strokovnjaki. Če je opisan kot točka, kjer institucija preneha s preverjanjem ročno, več ljudi razume, zakaj je pomemben. Tehnična natančnost in javna jasnost ne bi smeli biti nasprotnika. Ko postaneta nasprotnika, naj jasnost vpraša, kaj poskuša natančnost skriti.
To ne pomeni, da vsaka notranja podrobnost sodi v javno besedilo. Varnost, zasebnost in zlorabe pri delovanju so pomembne. Toda glavne izbire bi morale biti razložljive. Če organizacija ne more v jasnem jeziku opisati vrednostne presoje za avtomatizirano odločitvijo, verjetno odločitve ni upravljala. Le izvedla jo je in upala, da bo besednjak opravil etiko.
Kaj odgovorna avtomatizacija priznava
Odgovorna avtomatizacija se začne s priznanjem, da je avtomatizacija institucionalno dejanje. Ni le model, delovni tok, funkcija dobavitelja, nadzorna plošča ali program učinkovitosti. Je odločitev institucije, da določeni signali na veliko povzročijo določene posledice. Ta odločitev je lahko dobra. Lahko pospeši storitve, zmanjša samovoljna odstopanja, razkrije skrito delovno obremenitev in strokovnjake osvobodi ponavljajočega se dela. Bistvo ni v tem, da avtomatizacije ne maramo. Bistvo je, da nehamo pretvarjati, da prihaja brez vrednot.
Odgovorno načrtovanje poimenuje odločitev, ki se avtomatizira. Poimenuje prizadete skupine. Poimenuje vire podatkov in znane pomanjkljivosti. Prepozna nadomestne kazalnike in občutljive sklepe. Nadzoruje pragove. Oblikuje vmesnik za operaterje kot del upravljanja. Ustvarja poti za pritožbe in popravke. Vzorči rezultate. Beleži spremembe. Lastnikom daje dovolj pooblastil, da sistem ustavijo, ko se dokazi poslabšajo. To niso ceremonialne naloge. To so pogoji delovanja, pod katerimi si avtomatizacija zasluži zaupanje.
Prav tako nestrinjanje obravnava kot koristno. Če operaterji pogosto preglasijo sistem, je to dokaz. Če prizadeti uspešno vložijo pritožbe, je to dokaz. Če ena skupina doživi več zamud, je to dokaz. Če model deluje dobro v povprečju, a slabo na meji, kjer so odločitve najpomembnejše, je to dokaz. Upravljanje teh signalov ne bi smelo brusiti, dokler nadzorna plošča ne izgleda mirna. Mirne nadzorne plošče so skrile marsikatero živahno težavo.
Zrela trditev ni, da je ta avtomatizacija nevtralna. Zrela trditev je ožja in močnejša: ta avtomatizacija ima razglašene izbire, izmerjene omejitve, nadzorovane pragove, vidne pritožbe in zapise, ki nam omogočajo, da se učimo, ko odpove. Ta stavek se na prosojnici ne prilega tako lepo. Dobro. Pomembne stvari bi morale občasno otežiti oblikovanje prosojnic.
Lekcija
Mit o nevtralni avtomatizaciji preživi, ker je priročen. Vodjem omogoča, da kupijo hitrost, ne da bi poimenovali kompromise. Inženirjem omogoča, da optimizirajo metrike, ne da bi nosili celotno moralno besedišče institucije. Operaterjem omogoča, da krivijo sistem, sistem pa krivi podatke. Vsakemu omogoča, da uživa v čistem občutku doslednosti, medtem ko se težke odločitve sprejemajo v tišjih prostorih.
Toda avtomatizacija ni nevtralna. Je urejena. Ureja pozornost, breme, dokaze, čas in avtoriteto. Pravilen odziv ni panika ali nostalgija po ročnem delu. Ročni sistemi imajo svojo nepravičnost, svoja neuradna pravila, svoje skrivnostne predale. Pravilen odziv je izrecno upravljanje: poimenovati odločitve, meriti posledice, ohranjati možnost ugovora in obravnavati tehnične nastavitve kot institucionalne zaveze.
Ko je predlagana avtomatizirana čakalna vrsta, klasifikator, priporočevalni sistem ali agent, ni koristno vprašanje, ali odpravlja človeško presojo. Je ne odpravlja. Koristno vprašanje je, kam se je presoja premaknila, kdo jo lahko pregleda, kdo jo lahko spremeni in kdo lahko vloži pritožbo, ko ta zareže. Če je odgovor nejasen, sistem ni nevtralen. Je zgolj tih.
Tihi sistemi lahko povzročijo veliko škode, preden jih kdo sliši. Lahko tudi naredijo veliko dobrega, kadar so njihove odločitve dovolj vidne za nadzor. Razlika je v upravljanju. Ne upravljanju kot gledališču odborov, temveč upravljanju kot praktični disciplini, ki institucionalno presojo naredi berljivo, preden začne potovati s strojno hitrostjo.