Mit neutralne automatizacije
Red koji je djelovao objektivno
Služba za pritužbe dobila je novi red. Predmeti su ulazili putem obrasca, obogaćivani su zapisima iz triju unutarnjih sustava, bodovani prema hitnosti i prosljeđivani jednom od četiriju timova. Stari je postupak bio kaotičan. Ljudi su se oslanjali na prosudbu, prosudba na raspoloženje, raspoloženje na vrijeme, a cijela je stvar povremeno ovisila o tome je li viši službenik za predmete već popio kavu. Novi je red opisan kao neutralan jer je prema svakom predmetu postupao na isti način. To je umirujuća rečenica, osobito dok nitko još nije pitao što točno znači isti način.
Prvoga mjeseca nadzorna je ploča izgledala sjajno. Prosječno vrijeme obrade palo je. Broj nedodijeljenih predmeta smanjio se. Voditelji su imali grafikon koji su mogli staviti u prezentaciju bez ispričavanja zbog veličine fonta. Zatim se pojavio obrazac. Predmeti ljudi bez stabilne adrese češće su prosljeđivani sporijim putem. Ne zato što je netko napisao pravilo da nestabilna adresa znači niži prioritet. Sustav je naučio da nepotpuna polja adrese koreliraju s nedostatkom zapisa o daljnjem postupanju, a nedostatak zapisa smanjivao je pouzdanost ocjene hitnosti. Red je bio neutralan na isti način na koji je kanal prirodan nakon što su ljudi tri stoljeća premještali vodu unaokolo.
Svi u prostoriji željeli su pravu stvar. Podatkovni tim želio je dosljednost. Operativa je željela predvidivo opterećenje. Pravna služba željela je jednako postupanje. Uprava je željela sustav koji se može objasniti bez sazivanja malog zbora stručnjaka. No tvrdnja o neutralnosti učinila je prvi razgovor o dizajnu prelakim. Omogućila je organizaciji da automatizaciju tretira kao čišću verziju prosudbe, umjesto kao prosudbu preseljenu u strojeve.
To je mit o neutralnoj automatizaciji. Stroj ne ulazi u instituciju kao filozofski vakuum. On nasljeđuje kategorije, zapise, pragove, poticaje, nedostajuće vrijednosti, povijesne navike, proračunska ograničenja, korisnička sučelja, putove eskalacije i stare bolne točke za koje su se svi nadali da će ih novi sustav tiho civilizirati. Automatizacija te odluke može učiniti dosljednijima. Može ih učiniti bržima. Može ih učiniti lakšima za praćenje. Ne čini ih neutralnima.
Neutralno nije isto što i dosljedno
Dosljednost je vrijedna. Sustav koji primjenjuje isto pravilo u istoj situaciji lakše je testirati, nadzirati i osporavati. Može smanjiti proizvoljno postupanje pojedinih službenika. Može učiniti opterećenje manje ovisnim o osobnom stilu. Svatko tko je vidio da zajednička pristigla pošta postane malo kraljevstvo razumije zašto je dosljednost primamljiva. No dosljednost nije neutralnost. Dosljedno pravilo može biti dosljedno pogrešno, dosljedno slijepo ili dosljedno velikodušno prema ljudima čiji životi odgovaraju dizajnu baze podataka.
Razlika je važna jer automatizacija često posuđuje moralni autoritet od matematike. Ocjena izgleda čišće od razgovora. Prag izgleda čišće od nadzornika koji odlučuje. Nadzorna ploča izgleda čišće od hrpe bilješki. Ta je čistoća dijelom stvarna: manje improvizacije, manje privatnih prečaca, više ponovljivosti. No ista čistoća može sakriti vrijednosne sudove koji su oblikovali ocjenu. Koji su ishodi optimizirani. Koje su štete mjerene. Koje su skupine imale dovoljno zapisa da budu dobro zastupljene. Koja je neugodnost smatrana prihvatljivom jer se dogodila izvan nadzorne ploče.
Uzmimo model za otkrivanje prijevara. Može svaku transakciju tretirati istom funkcijom bodovanja. To ne odgovara na pitanje prekomjerno li podaci za obuku zastupljeni u određenim ponašanjima, nosi li trošak lažno pozitivnih rezultata ljude s manje financijske slobode, postoji li put za žalbu na blokiranu transakciju ili smije li model učiti iz istraga koje su i same bile pristrane. Sustav može biti dosljedan i još uvijek politički opterećen. Može biti i koristan, pod uvjetom da organizacija prestane pretvarati se da korisno znači neutralno.
Bolja riječ je situiran. Automatizacija je situirana u instituciju, povijest, pravni okvir, operativni model i niz ljudskih posljedica. Situiranim sustavom može se upravljati jer su njegovi izbori vidljivi. Neutralan sustav, ili onaj koji se unutar organizacije prodaje kao neutralan, često izmiče upravljanju jer svi pretpostavljaju da su teška pitanja otopljena u kodu. Tako formula postaje alibi.
Podaci su već odluka
Podaci djeluju činjenično jer stižu u tablicama. Tablice su vrlo dobre u tome da izgledaju nevino. Imaju retke, stupce, tipove i smireno držanje uredskog namještaja. Ipak, svaki je skup podataka pun odluka. Što je prikupljeno. Tko je upitan. Koji su obrasci bili obvezni. Koje su pogreške ispravljene. Koje su kategorije bile dopuštene. Koji su događaji zabilježeni. Koji su ljudi naučili izbjegavati sustav jer im je rijetko pomagao. Podaci koji nedostaju nisu šutnja. Često su to priča s ugašenim mikrofonom.
Automatizacija izgrađena na institucionalnim podacima nasljeđuje sjećanje institucije. Ako je organizacija povijesno više nadzirala neke slučajeve od drugih, podaci će pokazati više problema na tim mjestima. Ako su neki ljudi imali bolji pristup dokumentaciji, sustav će ih vidjeti kao potpunije. Ako je osoblje različito koristilo bilješke slobodnog teksta u različitim timovima, jezični model ili klasifikator može zamijeniti stil pisanja za rizik. Ako je polje bilo neobvezno jer ga je stari postupak smatrao nezgrapnim, novi postupak može tretirati odsutnost kao dokaz. To nije zlonamjernost stroja. To je računovodstvo s duhovima.
Upravljanje podacima stoga pripada na početak upravljanja umjetnom inteligencijom, a ne u podrum naknadno. Pitanje nije samo je li podatak točan. Pitanje je predstavlja li podatak domenu odlučivanja dovoljno pošteno za namjeravanu upotrebu. Pitanje je je li razumljiva pojava nedostajućih vrijednosti. Pitanje je jesu li zamjenske varijable imenovane. Pitanje je jesu li oznake došle iz pouzdanih ishoda ili iz prošlih institucionalnih izbora. Model obučen na starim odlukama može reproducirati stare prioritete s ljepšim sučeljem. Ponekad je to upravo problem koji su ljudi pokušavali riješiti.
Praktičan je zadatak učiniti izbore o podacima vidljivima. Dokumentirajte što polje znači, odakle dolazi, koliko često nedostaje, tko u njemu nedostaje i što sustav smije zaključiti iz njega. Imenujte osjetljive zamjenske varijable. Tretirajte izvedene značajke kao odluke, a ne kao bezazlena tehnička poboljšanja. Kad netko kaže da model koristi samo objektivne podatke, pitajte znači li objektivno izmjereno uređajem, zabilježeno službenikom, zaključeno modelom ili samo zgodno za obranu na sastanku.
Pragovi su politika odjevena u brojeve
Svaki automatizirani tijek rada na kraju dođe do točke presjeka. Pošalji ili zadrži. Proslijedi višoj razini ili čekaj. Odobri ili odbij. Ljudski pregled ili izravna obrada. Točka presjeka može biti prag pouzdanosti modela, ocjena rizika, grana u mehanizmu pravila, ograničenje kapaciteta reda čekanja ili ograničenje troškova skriveno u logici raspoređivanja. Kakav god oblik imala, ona je politika. Govori koje pogreške institucija preferira, koja kašnjenja prihvaća i čiji teret postaje operativno nevidljiv.
Pragovi često izgledaju tehnički jer se podešavaju pomoću grafikona. Tim crta preciznost i odziv, lažno pozitivne i lažno negativne rezultate, krivulje troškova i pokrivenost. To je dobar posao. Ali nije cijeli posao. Odabir praga nije samo zadatak optimizacije. To je odluka o upravljanju koja se tiče štete, napora i odgovornosti. Tim za borbu protiv prijevara može tolerirati više lažno pozitivnih rezultata kako bi spriječio gubitke. Služba za trijažu u zdravstvu može tolerirati više lažno pozitivnih rezultata kako ne bi propustila opasnost. Agencija za socijalna davanja može odabrati ljudski pregled pri nižoj razini pouzdanosti jer trošak pogrešnog odbijanja snose ljudi koji si ne mogu priuštiti čekanje. Ispravan prag ovisi o misiji, a ne samo o metrici.
Nezgodan dio je to što se pragovi mogu tiho pomaknuti. Red čekanja raste, pa se prag za ljudski pregled podiže. Proračun se steže, pa se manje slučajeva prosljeđuje višoj razini. Model se u prosjeku poboljša, pa netko pretpostavi da se nadzor može smanjiti. Svaka promjena može biti razumna. Zajedno mogu promijeniti ponašanje institucije bez javne odluke. Nadzorna ploča i dalje prikazuje učinkovitost automatizacije. Javnost doživljava klizanje politike. Nizozemska papirologija za to negdje ima termin, vjerojatno u obrascu za koji treba tražiti pogrešan obrazac.
Dobra upravljanja umjetnom inteligencijom tretira pragove kao kontrolirane objekte. Oni imaju vlasnike, razloge, datume stupanja na snagu, testove i cikluse pregleda. Promjene se bilježe. Njihovi se učinci uzorkuju po skupinama i vrstama slučajeva. Operateri mogu vidjeti koji je prag primijenjen na pojedini slučaj. Ljudi na koje odluke utječu mogu dobiti objašnjenje koje uključuje relevantno pravilo. Broj koji pomiče posljedice nikada se ne smije ponašati kao privatna preferencija.
Sučelje je upravljanje
Ljudi često tretiraju korisničko sučelje kao uljudnu površinu automatizacije, nešto što se dotjeruje nakon što su model i pravila riješeni. To je krivo. Sučelje odlučuje što operateri vide, što mogu dovesti u pitanje, koje zadane postavke prihvaćaju i koliko trenja postoji između strojne preporuke i ljudske alternative. Gumb može biti instrument politike. To je deprimirajuće samo ako ste se nadali da će upravljanje ostati u dokumentima gdje ga gumbi ne mogu pronaći.
Ako je preporučena radnja velika i zelena, dok je opcija pregleda siva i skrivena pod opcijom "više", sustav je napravio izbor upravljanja. Ako se pouzdanost prikazuje kao jedan postotak bez objašnjenja kvalitete izvora ili opsega, sučelje poziva na lažnu preciznost. Ako se radnici mjere prema propusnosti dok obrazac za nadjačavanje zahtijeva pet polja i odobrenje voditelja, institucija je objavila sklonost slaganju. Možda i dalje tvrdi da su ljudi u petlji. Petlja je, međutim, opremljena okretištem.
Dizajn sučelja također oblikuje žalbu. Osoba pogođena automatizacijom mora znati da se odluka dogodila, kakva je vrsta dokaza bila važna i kako je osporiti. Ako sustav daje samo generičku poruku, pravo na žalbu postaje dekorativno. Ako osoblje ne može vidjeti relevantni lanac dokaza, ne može pomoći. Ako se ispravci ne vraćaju u automatizirani proces, ista se pogreška može ponoviti sa strpljenjem stroja koji nikada nije upoznao sram.
Dobro upravljanje pregledava zaslone, ne samo modele. Pita što radnik vidi prema zadanim postavkama. Pita je li nesigurnost vidljiva. Pita razlikuje li sučelje preporuku modela, zahtjev politike i ljudsku prosudbu. Pita može li korisnik pronaći put žalbe bez karte s blagom. Pita jesu li objašnjenja korisna na mjestu radnje, ne samo u prilogu o usklađenosti. Sučelje je mjesto gdje institucionalne vrijednosti postaju mišićna memorija.
Povratna informacija može poboljšati ili otrovati sustav
Automatizacija uči iz povratnih informacija, bilo formalno kroz ponovno treniranje modela ili neformalno kroz način na koji se ljudi prilagođavaju. Povratna informacija nije automatski zdrava. Sustav može učiti iz vlastitih prethodnih pogrešaka. Može učiti iz ljudskih odluka oblikovanih pritiskom. Može učiti iz ishoda koji nikada nisu mjereni za ljude preusmjerene drugamo. Može naučiti da su slučajevi niskog rizika jer nitko nije imao vremena istražiti ih. To nije inteligencija. To je ogledalo u slabo osvijetljenoj prostoriji.
Povratne petlje trebaju upravljanje jer automatizirani sustavi mijenjaju okruženje koje promatraju. Model rizika može povećati broj inspekcija u jednom području, što proizvodi više nalaza ondje, što zatim opravdava još inspekcija. Sustav preporuka može složene slučajeve usmjeravati specijalistima, zbog čega opći timovi izgledaju uspješniji, a specijalisti sporiji. Sustav rasporeda može dati niži prioritet osobama koje često propuštaju termine, iako je upravo lokacija ili vrijeme termina razlog zbog kojeg ih propuštaju. Model bilježi ponašanje. Institucija stvara dio tog ponašanja. Ta je razlika nezgodna i bitna.
Zdrave povratne petlje odvajaju promatranje od potvrđivanja. Uzimaju uzorke slučajeva koje bi model zanemario. Prate žalbe i ispravke. Mjere lažno negativne rezultate gdje je to moguće, ne samo potvrđeno pozitivne. Bilježe kada se osoblje ne slaže s preporukom i zašto. Ispituju utječe li pritisak opterećenja na odluke. Pitaju poboljšava li sustav misiju ili samo vlastitu metriku. Metrike su izvrsni sluge i iznimno samodopadni gospodari.
Upravo tu ljudska stručnost mora ostati aktivna. Stručnjaci ne smiju postati tvornice oznaka za model. Trebaju pomagati u tumačenju načina otkazivanja, definiranju neprihvatljive štete i prepoznavanju slučajeva u kojima sustav postavlja pogrešno pitanje. Dobra povratna petlja nije cijev od ishoda do ponovnog treniranja. To je nadzirani razgovor između dokaza, politika, operacija i pogođenih ljudi. Spor, da. Također manje vjerojatno da će tri godine automatizirati nesporazum.
Neutralan jezik skriva odgovorne odluke
Organizacije koriste neutralan jezik jer snižava temperaturu. Kažemo vođeno podacima, objektivno, automatizirano, standardizirano, skalabilno, optimizirano. Te riječi nisu pogrešne, ali su nepotpune. Opisuju metodu, a odgovornost ostavljaju nejasnom. Vođeno podacima od koga. Objektivno prema kojem mjerenju. Standardizirano prema čijoj normi. Skalabilno preko koje štete. Optimizirano za što. Rečenica može zvučati moderno dok pažljivo izbjegava subjekt.
Protulijek je jasan jezik. Sustav daje prednost slučajevima s potpunim zapisima jer je potpune zapise lakše provjeriti. Sustav usmjerava slučajeve niske pouzdanosti na ljudski pregled jer bi odbijanje bez pregleda stvorilo neprihvatljivu štetu. Sustav ne koristi taj pokazatelj jer je previše povezan sa zaštićenim obilježjem. Sustav uzima uzorke odobrenih i odbijenih slučajeva jer obje vrste mogu biti pogrešne. Takve rečenice manje sjaje. No sadrže više upravljanja.
Jasan jezik ima i drugu prednost: omogućuje netehničkim osobama da se ne slažu s pravom stvari. Mnoga politička neslaganja skrivena su unutar tehničkih opisa jer osobe na koje se politika odnosi ne mogu vidjeti izbor. Ako se prag opisuje kao kalibracija modela, u razgovor ulaze samo stručnjaci. Ako se opiše kao točka u kojoj institucija prestaje s ručnom provjerom, više ljudi razumije zašto je to važno. Tehnička točnost i javna jasnoća ne bi trebale biti neprijatelji. Kada postanu neprijatelji, jasnoća bi trebala upitati što točnost pokušava sakriti.
To ne znači da svaki unutarnji detalj pripada u javni tekst. Sigurnost, privatnost i operativna zlouporaba su važni. No glavni izbori trebali bi biti objašnjivi. Ako organizacija ne može opisati vrijednosnu prosudbu iza automatizirane odluke jasnim jezikom, vjerojatno nije upravljala tom odlukom. Samo ju je provela i nadala se da će rječnik obaviti etiku.
Što odgovorna automatizacija priznaje
Odgovorna automatizacija počinje priznanjem da je automatizacija institucionalni čin. To nije samo model, tijek rada, značajka dobavljača, nadzorna ploča ili program učinkovitosti. To je institucija koja odlučuje da određeni signali trebaju proizvesti određene posljedice u velikom opsegu. Ta odluka može biti dobra. Može ubrzati uslugu, smanjiti proizvoljne varijacije, otkriti skriveno radno opterećenje i osloboditi kvalificirane ljude ponavljajućeg posla. Poanta nije ne voljeti automatizaciju. Poanta je prestati se pretvarati da dolazi bez vrijednosti.
Odgovoran dizajn imenuje odluku koja se automatizira. Imenuje pogođene skupine. Imenuje izvore podataka i poznate nedostatke. Prepoznaje zamjenske pokazatelje i osjetljive zaključke. Kontrolira pragove. Dizajnira sučelje operatera kao dio upravljanja. Stvara putove za žalbu i ispravak. Uzorkuje ishode. Bilježi promjene. Daje vlasnicima dovoljno ovlasti da zaustave sustav kada dokazi postanu loši. To nisu ceremonijalni zadaci. To su radni uvjeti pod kojima automatizacija zaslužuje povjerenje.
Također tretira neslaganje kao korisno. Ako operateri često nadjačaju sustav, to je dokaz. Ako pogođene osobe uspješno podnesu žalbu, to je dokaz. Ako jedna skupina doživljava više kašnjenja, to je dokaz. Ako model dobro radi u prosjeku, ali loše na granici gdje su odluke najvažnije, to je dokaz. Upravljanje ne bi trebalo brusiti te signale dok nadzorna ploča ne izgleda mirno. Mirne nadzorne ploče sakrile su mnoge energične probleme.
Zrela tvrdnja nije da je ova automatizacija neutralna. Zrela tvrdnja je uža i jača: ova automatizacija ima proglašene izbore, izmjerena ograničenja, kontrolirane pragove, vidljivu žalbu i zapise koji nam omogućuju da učimo kada zakaže. Ta rečenica ne pristaje tako uredno na slajd. Dobro. Važne stvari trebale bi povremeno otežati dizajn slajdova.
Lekcija
Mit o neutralnoj automatizaciji opstaje jer je zgodan. Omogućuje vođama da kupe brzinu bez imenovanja kompromisa. Omogućuje inženjerima da rješavaju probleme prema metrikama bez preuzimanja cijelog moralnog vokabulara institucije. Omogućuje operaterima da okrive sustav, a sustavu da okrivi podatke. Omogućuje svima da uživaju u čistom osjećaju dosljednosti dok se teške odluke i dalje donose u tišim sobama.
Ali automatizacija nije neutralna. Ona je uređena. Uređuje pozornost, teret, dokaze, vrijeme i autoritet. Ispravan odgovor nije panika ili nostalgija za ručnim radom. Ručni sustavi imaju vlastitu nepravdu, vlastita neformalna pravila, vlastite tajanstvene ladice. Ispravan odgovor je izričito upravljanje: imenovati odluke, mjeriti posljedice, očuvati mogućnost prigovora i tretirati tehničke postavke kao institucionalne obveze.
Kada se predloži automatizirani red čekanja, klasifikator, preporučitelj ili agent, korisno pitanje nije uklanja li on ljudsku prosudbu. Ne uklanja je. Korisno pitanje je gdje se prosudba preselila, tko je može pregledati, tko je može mijenjati i tko se može žaliti kada pogriješi. Ako je odgovor nejasan, sustav nije neutralan. On je samo tih.
Tihi sustavi mogu prouzročiti veliku štetu prije nego što ih itko čuje. Također mogu učiniti mnogo dobra kada su njihove odluke dovoljno vidljive da se nadziru. Razlika je u upravljanju. Ne upravljanju kao teatru odbora, već upravljanju kao praktičnoj disciplini činjenja institucionalne prosudbe čitljivom prije nego što počne putovati strojnom brzinom.