Mýtus neutrálnej automatizácie
Front, ktorý vyzeral objektívne
Oddelenie sťažností dostalo nový front. Prípady vstupovali cez formulár, boli obohatené o záznamy z troch interných systémov, ohodnotené podľa naliehavosti a smerované do jedného zo štyroch tímov. Starý proces bol chaotický. Ľudia používali úsudok, úsudok používal náladu, nálada používala počasie a celé to občas záviselo od toho, či už seniorný pracovník mal kávu. Nový front bol opísaný ako neutrálny, pretože s každým prípadom zaobchádzal rovnako. Toto je upokojujúca veta, najmä keď sa ešte nikto nespýtal, čo znamená rovnako.
Prvý mesiac vyzeral dashboard skvele. Priemerný čas spracovania klesol. Počet nepriradených prípadov sa znížil. Manažéri mali graf, ktorý mohli dať do prezentácie bez ospravedlňovania sa za veľkosť písma. Potom sa objavil vzorec. Prípady ľudí bez stabilnej adresy boli častejšie smerované na pomalšiu cestu. Nie preto, že by niekto napísal pravidlo, že nestabilná adresa znamená nižšiu prioritu. Systém sa naučil, že neúplné polia adresy korelovali s chýbajúcimi záznamami o ďalšom postupe a chýbajúce záznamy znižovali dôveru v skóre naliehavosti. Front bol neutrálny rovnako, ako je kanál prirodzený po tom, čo ľudia tri storočia presúvali vodu.
Všetci v miestnosti chceli správnu vec. Dátový tím chcel konzistentnosť. Prevádzka chcela predvídateľné pracovné zaťaženie. Právne oddelenie chcelo rovnaké zaobchádzanie. Manažment chcel systém, ktorý by sa dal vysvetliť bez zvolávania malého zboru špecialistov. Ale tvrdenie o neutralite urobilo prvý dizajnérsky rozhovor príliš ľahkým. Umožnilo organizácii považovať automatizáciu za čistejšiu verziu úsudku, nie za úsudok presunutý do strojov.
To je mýtus neutrálnej automatizácie. Stroj nevstupuje do inštitúcie ako filozofické vákuum. Dedičí kategórie, záznamy, prahy, stimuly, chýbajúce hodnoty, historické návyky, rozpočtové limity, používateľské rozhrania, eskalačné cesty a staré bolestivé body, ktoré každý dúfal, že nový systém potichu skultúrni. Automatizácia môže tieto voľby urobiť konzistentnejšími. Môže ich urobiť rýchlejšími. Môže ich urobiť ľahšie monitorovateľnými. Nerobí ich neutrálnymi.
Neutrálny nie je to isté ako konzistentný
Konzistentnosť je cenná. Systém, ktorý aplikuje rovnaké pravidlo v rovnakej situácii, sa ľahšie testuje, dohliada a napáda. Môže znížiť svojvoľné zaobchádzanie jednotlivými pracovníkmi. Môže spôsobiť, že pracovné zaťaženie bude menej závislé od osobného štýlu. Každý, kto videl zdieľanú schránku stať sa malým kráľovstvom, chápe, prečo je konzistentnosť lákavá. Ale konzistentnosť nie je neutralita. Konzistentné pravidlo môže byť konzistentne nesprávne, konzistentne slepé alebo konzistentne štedré k ľuďom, ktorých životy zapadajú do dizajnu databázy.
Rozdiel je dôležitý, pretože automatizácia si často požičiava morálnu autoritu z matematiky. Skóre vyzerá čistejšie ako rozhovor. Hranica vyzerá čistejšie ako rozhodnutie nadriadeného. Dashboard vyzerá čistejšie ako stoh poznámok. Táto čistota je čiastočne skutočná: menej improvizácie, menej osobných skratiek, väčšia opakovateľnosť. No rovnaká čistota môže skryť hodnotové súdy, ktoré skóre formovali. Ktoré výsledky sa optimalizovali. Ktoré škody sa merali. Ktoré skupiny mali dostatok záznamov na to, aby boli dobre zastúpené. Ktoré nepohodlie sa považovalo za prijateľné, pretože sa odohrávalo mimo dashboardu.
Zoberme si model na odhaľovanie podvodov. Môže každú transakciu posudzovať rovnakou skórovacou funkciou. To však neodpovedá na otázku, či tréningové dáta nadmerne zastupujú určité správanie, či náklady na falošne pozitívne výsledky znášajú ľudia s menšou finančnou rezervou, či zablokovaná transakcia má cestu odvolania, alebo či sa model môže učiť z vyšetrovaní, ktoré boli samy osebe zaujaté. Systém môže byť konzistentný a napriek tomu politicky zaťažený. Môže byť aj užitočný, ak organizácia prestane predstierať, že užitočné znamená neutrálne.
Lepšie slovo je situovaný. Automatizácia je situovaná v inštitúcii, histórii, právnom rámci, prevádzkovom modeli a v súbore ľudských dôsledkov. Situovaný systém možno riadiť, pretože jeho voľby sú viditeľné. Neutrálny systém, alebo systém prezentovaný ako neutrálny v rámci organizácie, často uniká riadeniu, pretože každý predpokladá, že ťažké otázky kód rozpustil. Takto sa vzorec stáva alibi.
Dáta sú už rozhodnutím
Dáta pôsobia fakticky, pretože prichádzajú v tabuľkách. Tabuľky sú veľmi dobré vo vyzieraní nevinne. Majú riadky, stĺpce, typy a pokojné držanie kancelárskeho nábytku. Napriek tomu je každý dataset plný rozhodnutí. Čo sa zbieralo. Koho sa pýtali. Ktoré formuláre boli povinné. Ktoré chyby sa opravovali. Ktoré kategórie boli povolené. Ktoré udalosti sa zaznamenávali. Ktorí ľudia sa naučili systému vyhýbať, pretože im málokedy pomohol. Chýbajúce dáta nie sú ticho. Často sú príbehom s vypnutým mikrofónom.
Automatizácia postavená na inštitucionálnych dátach dedí pamäť inštitúcie. Ak organizácia historicky kontrolovala niektoré prípady viac ako iné, dáta ukážu viac problémov na týchto miestach. Ak mali niektorí ľudia lepší prístup k dokumentácii, systém ich bude vnímať ako úplnejších. Ak personál používal poznámky vo voľnom texte naprieč tímami rozdielne, jazykový model alebo klasifikátor si môže pomýliť štýl písania s rizikom. Ak bolo pole nepovinné, pretože ho starý proces považoval za nevhodné, nový proces môže považovať jeho absenciu za dôkaz. Toto nie je zloba stroja. Je to účtovníctvo s duchmi.
Riadenie dát preto patrí na začiatok riadenia umelej inteligencie, nie do suterénu až potom. Otázkou nie je len to, či sú dáta presné. Je to, či dáta reprezentujú rozhodovaciu oblasť dostatočne spravodlivo na zamýšľané použitie. Je to, či sa chýbajúce hodnoty chápu. Je to, či sú proxy premenné pomenované. Je to, či označenia pochádzajú zo spoľahlivých výsledkov alebo z minulých inštitucionálnych rozhodnutí. Model trénovaný na starých rozhodnutiach môže reprodukovať staré priority s krajším rozhraním. Niekedy je to presne ten problém, ktorý sa ľudia snažili vyriešiť.
Praktickou úlohou je urobiť dátové voľby preskúmateľnými. Zdokumentujte, čo pole znamená, odkiaľ pochádza, ako často chýba, kto v ňom chýba a čo z neho systém môže odvodzovať. Pomenujte citlivé proxy premenné. S odvodenými vlastnosťami zaobchádzajte ako s rozhodnutiami, nie ako s neškodnými technickými vylepšeniami. Keď niekto povie, že model používa iba objektívne dáta, opýtajte sa, či objektívne znamená merané prístrojom, zaznamenané úradníkom, odvodené modelom, alebo len vhodné na obhajobu na porade.
Hranice sú politika oblečená do čísel
Každý automatizovaný pracovný postup sa nakoniec dostane k bodu rozhodnutia. Odoslať alebo podržať. Eskalovať alebo čakať. Schváliť alebo odmietnuť. Ľudská kontrola alebo priame spracovanie. Bodom rozhodnutia môže byť prah spoľahlivosti modelu, skóre rizika, vetva pravidlového motora, limit kapacity frontu alebo nákladový strop skrytý v logike plánovania. Nech už má akúkoľvek podobu, je to politika. Hovorí, ktoré chyby inštitúcia uprednostňuje, ktoré oneskorenia akceptuje a koho bremeno sa stane prevádzkovo neviditeľným.
Prahové hodnoty často vyzerajú technicky, pretože sa nastavujú pomocou grafov. Tím vykresľuje presnosť a úplnosť, falošne pozitívne a falošne negatívne prípady, nákladové krivky a pokrytie. Toto je dobrá práca. Nie je to celá práca. Výber prahovej hodnoty nie je len optimalizačná úloha. Je to rozhodnutie o správe a riadení týkajúce sa škody, úsilia a zodpovednosti. Tím pre podvody môže tolerovať viac falošne pozitívnych prípadov, aby zabránil stratám. Služba triedenia v zdravotníctve môže tolerovať viac falošne pozitívnych prípadov, aby nezmeškala nebezpečenstvo. Agentúra pre dávky sa môže rozhodnúť pre ľudskú kontrolu pri nižšej spoľahlivosti, pretože náklady na nesprávne odmietnutie znášajú ľudia, ktorí si nemôžu dovoliť čakať. Správna prahová hodnota závisí od poslania, nielen od metriky.
Nepríjemná vec je, že prahové hodnoty sa môžu potichu meniť. Narastie backlog, takže sa zvýši prah pre ľudskú kontrolu. Utiahne sa rozpočet, takže sa eskaluje menej prípadov. Model sa v priemere zlepší, takže niekto predpokladá, že dohľad možno znížiť. Každá zmena môže byť rozumná. Spoločne môžu posunúť správanie inštitúcie bez verejného rozhodnutia. Dashboard stále ukazuje výkonnosť automatizácie. Verejnosť zažíva posun politiky. Holandská byrokracia má na to niekde termín, pravdepodobne vo formulári, na ktorého vyžiadanie treba použiť nesprávny formulár.
Dobrá správa umelej inteligencie zaobchádza s prahovými hodnotami ako s riadenými objektmi. Majú vlastníkov, dôvody, dátumy účinnosti, testy a cykly preskúmania. Zmeny sa zaznamenávajú. Ich účinky sa vzorkujú naprieč skupinami a typmi prípadov. Operátori vidia, ktorá prahová hodnota sa použila na daný prípad. Ľudia dotknutí rozhodnutiami môžu dostať vysvetlenie, ktoré zahŕňa príslušné pravidlo. Číslo, ktoré hýbe dôsledkami, by sa nikdy nemalo správať ako súkromná preferencia.
Rozhranie je správa systému
Ľudia často vnímajú používateľské rozhranie ako zdvorilý povrch automatizácie, niečo, čo sa doladí až po tom, čo sú model a pravidlá hotové. To je naopak. Rozhranie určuje, čo operátori vidia, čo môžu spochybniť, aké predvolené hodnoty akceptujú a koľko trenia existuje medzi odporúčaním stroja a ľudskou alternatívou. Tlačidlo môže byť nástrojom politiky. Toto je deprimujúce len vtedy, ak ste dúfali, že správa systému zostane v dokumentoch, kde ju tlačidlá nemôžu nájsť.
Ak je odporúčaná akcia veľká a zelená, zatiaľ čo možnosť kontroly je sivá a skrytá pod položkou „viac", systém urobil rozhodnutie o správe. Ak sa spoľahlivosť zobrazuje ako jediné percento bez vysvetlenia kvality zdroja alebo rozsahu, rozhranie pozýva k falošnej presnosti. Ak sú pracovníci hodnotení podľa priepustnosti, zatiaľ čo formulár na prepísanie rozhodnutia vyžaduje päť polí a súhlas manažéra, inštitúcia oznámila preferenciu súhlasu. Môže stále tvrdiť, že ľudia sú v slučke. Slučka je však vybavená turniketom.
Dizajn rozhrania tiež formuje odvolanie. Osoba dotknutá automatizáciou potrebuje vedieť, že sa rozhodnutie stalo, aký druh dôkazov bol dôležitý a ako ho možno napadnúť. Ak systém poskytne iba všeobecnú správu, právo na odvolanie sa stáva dekoratívnym. Ak zamestnanci nevidia relevantný reťazec dôkazov, nemôžu pomôcť. Ak sa opravy nevracajú späť do automatizovaného procesu, rovnaká chyba sa môže opakovať s trpezlivosťou stroja, ktorý nikdy nepoznal hanbu.
Dobrá správa systému kontroluje obrazovky, nielen modely. Pýta sa, čo pracovník vidí štandardne. Pýta sa, či je neistota viditeľná. Pýta sa, či rozhranie rozlišuje medzi odporúčaním modelu, požiadavkou politiky a ľudským úsudkom. Pýta sa, či používateľ nájde cestu odvolania bez mapy pokladu. Pýta sa, či sú vysvetlenia užitočné v bode konania, nielen v prílohe o zhode. Rozhranie je miesto, kde sa inštitucionálne hodnoty stávajú svalovou pamäťou.
Spätná väzba môže systém zlepšiť alebo otráviť
Automatizácia sa učí zo spätnej väzby, či už formálne prostredníctvom preškoľovania modelu, alebo neformálne spôsobom, akým sa jej ľudia prispôsobujú. Spätná väzba nie je automaticky zdravá. Systém sa môže učiť z vlastných predchádzajúcich chýb. Môže sa učiť z ľudských rozhodnutí formovaných tlakom. Môže sa učiť z výsledkov, ktoré nikdy neboli merané pre ľudí presmerovaných inam. Môže sa naučiť, že prípady sú nízkorizikové, pretože nikto nemal čas ich vyšetriť. To nie je inteligencia. To je zrkadlo v zle osvetlenej miestnosti.
Spätné väzby potrebujú riadenie, pretože automatizované systémy menia prostredie, ktoré pozorujú. Model rizika môže zvýšiť počet inšpekcií v jednej oblasti, čo tam prinesie viac zistení, čo potom ospravedlňuje ďalšie inšpekcie. Odporúčací systém môže smerovať zložité prípady na špecialistov, vďaka čomu všeobecné tímy vyzerajú úspešnejšie a špecialisti pomalší. Plánovací systém môže uprednostňovať ľudí, ktorí často zmeškajú stretnutia, hoci dôvodom ich zmeškania je miesto alebo čas stretnutia. Model zaznamenáva správanie. Inštitúcia časť tohto správania vytvára. Toto rozlíšenie je nepohodlné a nevyhnutné.
Zdravé spätné väzby oddeľujú pozorovanie od potvrdenia. Vzorkujú prípady, ktoré by model ignoroval. Sledujú odvolania a opravy. Tam, kde je to možné, merajú falošne negatívne výsledky, nielen potvrdené pozitívne. Zaznamenávajú, keď zamestnanci nesúhlasia s odporúčaním, a prečo. Skúmajú, či tlak pracovného zaťaženia mení rozhodnutia. Pýtajú sa, či systém zlepšuje poslanie, alebo len zlepšuje svoju vlastnú metriku. Metriky sú výborní sluhovia a mimoriadne namyslení páni.
Práve tu musí zostať aktívna aj ľudská odbornosť. Odborníci by sa nemali stať len továrňou na označovanie pre model. Mali by pomáhať interpretovať spôsoby zlyhania, definovať neprijateľné škody a identifikovať prípady, keď systém kladie nesprávnu otázku. Dobrá spätná väzba nie je potrubie od výsledku k preškoľovaniu. Je to riadený rozhovor medzi dôkazmi, politikou, prevádzkou a dotknutými ľuďmi. Pomalý, áno. Tiež menej pravdepodobné, že na tri roky zautomatizuje nedorozumenie.
Neutrálny jazyk skrýva zodpovedné rozhodnutia
Organizácie používajú neutrálny jazyk, pretože znižuje teplotu. Hovoríme dátami riadený, objektívny, automatizovaný, štandardizovaný, škálovateľný, optimalizovaný. Tieto slová nie sú nesprávne, ale sú neúplné. Opisujú metódu, no zodpovednosť nechávajú nejasnú. Riadený dátami kým. Objektívny podľa akého merania. Štandardizovaný okolo čej normy. Škálovateľný cez aké škody. Optimalizovaný na čo. Veta môže znieť moderne a zároveň sa starostlivo vyhýbať subjektu.
Protijedom je obyčajný jazyk. Systém uprednostňuje prípady s úplnými záznamami, pretože úplné záznamy sa ľahšie overujú. Systém smeruje prípady s nízkou istotou na ľudské posúdenie, pretože odmietnutie bez posúdenia by spôsobilo neprijateľnú škodu. Systém nepoužíva tento ukazovateľ, pretože príliš úzko sleduje chránený atribút. Systém vzorkuje schválené aj odmietnuté prípady, pretože oba druhy môžu byť nesprávne. Takéto vety sú menej lesklé. Obsahujú však viac riadenia.
Jasný jazyk má aj druhú výhodu: umožňuje ľuďom bez technického vzdelania nesúhlasiť s tou správnou vecou. Mnohé politické nezhody sú skryté v technických opisoch, pretože ľudia, ktorých sa politika týka, nevidia, o čom sa rozhoduje. Ak je prah opísaný ako kalibrácia modelu, do konverzácie vstúpia len špecialisti. Ak je opísaný ako bod, v ktorom inštitúcia prestáva kontrolovať manuálne, viac ľudí pochopí, prečo na ňom záleží. Technická presnosť a verejná zrozumiteľnosť by nemali byť nepriateľmi. Keď sa nimi stanú, zrozumiteľnosť by sa mala opýtať, čo sa presnosť snaží skryť.
To neznamená, že každý interný detail patrí do verejného textu. Bezpečnosť, súkromie a zneužívanie prevádzky sú dôležité. Hlavné rozhodnutia by však mali byť vysvetliteľné. Ak organizácia nedokáže opísať hodnotový úsudok za automatizovaným rozhodnutím jasným jazykom, pravdepodobne rozhodnutie neriadila. Len ho implementovala a dúfala, že slovná zásoba vykoná etiku.
Čo zodpovedná automatizácia priznáva
Zodpovedná automatizácia začína priznaním, že automatizácia je inštitucionálny akt. Nie je to len model, pracovný postup, funkcia dodávateľa, dashboard alebo program efektívnosti. Je to inštitúcia, ktorá sa rozhoduje, že určité signály by mali vo veľkom rozsahu vyvolávať určité dôsledky. Toto rozhodnutie môže byť dobré. Môže zrýchliť služby, znížiť svojvoľné rozdiely, odhaliť skryté pracovné zaťaženie a uvoľniť kvalifikovaných ľudí od opakujúcej sa práce. Nejde o to nemieť radi automatizáciu. Ide o to prestať predstierať, že prichádza bez hodnôt.
Zodpovedný návrh pomenúva rozhodnutie, ktoré sa automatizuje. Pomenúva dotknuté skupiny. Pomenúva zdroje údajov a známe medzery. Identifikuje náhradné ukazovatele a citlivé odvodenia. Kontroluje prahy. Navrhuje rozhranie pre operátorov ako súčasť riadenia. Vytvára cesty pre odvolanie a nápravu. Vzorkuje výsledky. Zaznamenáva zmeny. Dáva vlastníkom dostatočnú právomoc zastaviť systém, keď sa dôkazy pokazia. Toto nie sú ceremoniálne úlohy. Sú to prevádzkové podmienky, za ktorých si automatizácia zaslúži dôveru.
Zodpovedná automatizácia tiež považuje nesúhlas za užitočný. Ak operátori často prepisujú systém, je to dôkaz. Ak sa dotknutí ľudia úspešne odvolajú, je to dôkaz. Ak jedna skupina zažíva viac oneskorení, je to dôkaz. Ak model funguje dobre v priemere, ale zle na hranici, kde sú rozhodnutia najdôležitejšie, je to dôkaz. Riadenie by nemalo tieto signály obrúsiť, kým dashboard nevyzerá pokojne. Pokojné dashboardy skryli mnoho energických problémov.
Zrelé tvrdenie nie je, že táto automatizácia je neutrálna. Zrelé tvrdenie je užšie a silnejšie: táto automatizácia má deklarované rozhodnutia, merané limity, kontrolované prahy, viditeľné odvolanie a záznamy, ktoré nám umožňujú učiť sa, keď zlyhá. Táto veta sa na slide nehodí tak úhľadne. Dobre. Dôležité veci by mali občas skomplikovať dizajn slidov.
Lekcia
Mýtus o neutrálnej automatizácii prežíva, pretože je pohodlný. Umožňuje lídrom kupovať rýchlosť bez pomenovania kompromisov. Umožňuje inžinierom riešiť metriky bez toho, aby niesli celý morálny slovník inštitúcie. Umožňuje operátorom obviňovať systém a systému obviňovať dáta. Umožňuje každému užívať si čistý pocit konzistentnosti, zatiaľ čo ťažké rozhodnutia pokračujú v tichších miestnostiach.
Automatizácia však nie je neutrálna. Je usporiadaná. Usporiadava pozornosť, bremeno, dôkazy, čas a autoritu. Správnou reakciou nie je panika ani nostalgia za manuálnou prácou. Manuálne systémy majú vlastnú nespravodlivosť, vlastné neformálne pravidlá, vlastné záhadné zásuvky. Správnou reakciou je explicitné riadenie: pomenovať rozhodnutia, merať dôsledky, zachovať možnosť spochybnenia a zaobchádzať s technickými nastaveniami ako s inštitucionálnymi záväzkami.
Keď sa navrhne automatizovaný front, klasifikátor, odporúčací systém alebo agent, užitočná otázka nie je, či odstraňuje ľudský úsudok. Neodstraňuje. Užitočná otázka je, kam sa úsudok presunul, kto ho môže preskúmať, kto ho môže zmeniť a kto sa môže odvolať, keď zlyhá. Ak odpoveď nie je jasná, systém nie je neutrálny. Je len tichý.
Tiché systémy môžu napáchať veľa škody skôr, než ich niekto začuje. Môžu tiež priniesť veľa dobrého, keď sú ich rozhodnutia dostatočne viditeľné na dohľad. Rozdiel je v riadení. Nie riadení ako divadle výborov, ale riadení ako praktickej disciplíne, ktorá robí inštitucionálny úsudok čitateľným skôr, než sa začne pohybovať strojovou rýchlosťou.