Ľudská kontrola nie je formalita
Upokojujúca veta
Najdrahšia veta v riadení umelej inteligencie je často tá najkratšia: človek zostáva v slučke. Znie to obozretne. Pekne zapadne do hodnotenia rizík. Upokojí riadiaci výbor, pretože naznačuje, že nech stroj urobí čokoľvek, zodpovedná osoba bude stáť nablízku s morálnym postojom a možno aj kávou. Táto veta sama osebe nie je nepravdivá. Je jednoducho neúplná tak, ako je neúplný most, keď niekto nakreslil len zábradlie.
V jednej organizácii sa táto veta objavila v každom projektovom dokumente. Systém umelej inteligencie by klasifikoval prichádzajúce prípady, navrhoval odporúčanie a posielal citlivé položky na ľudské posúdenie. Pilot vyzeral zodpovedne. Posudzovatelia videli front, preklikávali návrhy modelu a väčšinu z nich schválili. Potom vzrástol produkčný objem. Front sa stal hlučným. Niektorým prípadom chýbali dôkazy zo zdrojov. Niektoré návrhy boli hodnoverné, ale nesprávne. Niektorí posudzovatelia mali právomoc zmeniť výsledok a iní len pridávali komentáre, ktoré nikto nečítal. Človek bol stále v slučke. Slučka sa stala práčkou.
Ľudské posudzovanie zlyháva, keď sa používa ako dekoratívna kontrola. Osoba umiestnená na konci slabého pracovného postupu dedí chýbajúce dôkazy, vágne pravidlá, uponáhľaný čas, slabé nástroje, nejednoznačnú právomoc a zodpovednosť za chyby spáchané vyššie v procese. To nie je riadenie. To je podanie detektora dymu osobe stojacej v dyme. Posudzovateľ môže stále zabrániť škode, ale systém si pomýlil osobu s návrhom kontroly.
Skutočná funkcia posudzovania má štruktúru. Definuje, ktoré prípady potrebujú posúdenie, prečo ho potrebujú, aké dôkazy posudzovateľ dostane, akú rozhodovaciu právomoc má, ako sa zaznamenáva nesúhlas, ako funguje eskalácia, ako sa meria kvalita posudzovania a ako sa systém učí z posudzovania. Bez týchto častí nie je ľudské posudzovanie zodpovednosťou. Je to zaškrtávacie políčko so stoličkou.
Slučka je práca, nie miesto
Existuje zvyk zaobchádzať so slučkou ako s pozíciou v diagrame. Stroj koná, potom človek skontroluje. Šípka vyzerá úhľadne. Žiaľ, skutočná práca rešpektuje šípky menej. Posudzovatelia potrebujú prípravu predtým, než prípad príde, kontext, kým ho skúmajú, právomoc, keď nesúhlasia, spätnú väzbu po svojom konaní a ochranu, keď objem presahuje kapacitu. Slučka nie je miesto, kde človek sedí. Je to súbor zodpovedností, nástrojov, práv a dôsledkov okolo tejto osoby.
Recenzia má tiež rôzne účely. Niektorá recenzia je kontrola kvality: overenie, či je odpoveď užitočná. Niektorá je kontrola rizík: zabránenie škodlivému konaniu. Niektorá je právna kontrola: zabezpečenie, že rozhodnutie možno obhájiť. Niektorá je prevádzková kontrola: smerovanie výnimiek. Niektorá je učenie sa: premena chýb na lepšie dáta, výzvy, pravidlá alebo modely. Tieto účely sa môžu prekrývať, ale nemali by sa ticho spájať. Recenzent, ktorý má za deväťdesiat sekúnd zlepšiť model, chrániť používateľov, splniť ciele priepustnosti a vytvoriť dôkaz pre audit, nemá žiadnu právomoc. Využíva sa ako kompostovisko správy.
Návrh začína výberom prípadov. Ktoré prípady idú na recenziu, pretože je nízka miera istoty. Ktoré preto, že je vysoký dosah. Ktoré preto, že chýbajú dôkazy. Ktoré preto, že pravidlá vyžadujú ľudský úsudok, aj keď je model presvedčený. Ktoré idú ako náhodné vzorky na zistenie odchýlok. Ktoré nikdy nejdú, pretože automatizácia sa ich nesmie dotknúť. Ak sa všetky neisté prípady hodia do jedného radu, recenzia sa stáva triedením bez mapy. Ľudia môžu chvíľu improvizovať dobre. Potom sa miestne návyky stvrdnú na tieňové pravidlá.
Vyspelý cyklus rozlišuje roly recenzentov. Odborník v danej oblasti môže posúdiť význam. Pracovník pre súlad môže posúdiť pravidlá. Nadriadený môže schváliť výnimky. Správca dát môže opraviť kvalitu zdroja. Vlastník produktu môže meniť prahy. Jedna osoba môže niekedy zastávať viac rolí, najmä v malých organizáciách, ale roly stále potrebujú názvy. Inak systém nedokáže rozlíšiť medzi odborným úsudkom a niekým, kto klikne na schválenie, pretože rad žiari načerveno.
Právomoc je chýbajúca kontrola
Mnohé návrhy recenzií dávajú človeku viditeľnosť, ale nie právomoc. Recenzent vidí odporúčanie, ale nemôže zmeniť základný záznam. Môže odmietnuť výstup, ale nemôže spustiť opravu zdroja. Môže zanechať komentár, ale nemôže pozastaviť pracovný postup. Môže si všimnúť opakujúci sa vzor, ale nemôže požiadať o zmenu prahu. To vytvára divadlo dohľadu. Osoba je prítomná, kontrola existuje na papieri a systém pokračuje presne ako predtým, čo je veľmi efektívne, ak je cieľom zbierať podpisy.
Právomoc by mala zodpovedať dosahu. Ak výsledok recenzie ovplyvňuje práva, peniaze, zdravie, bezpečnosť, zamestnanie, vzdelanie alebo prístup, recenzent potrebuje moc zmeniť výsledok, požadovať viac dôkazov, postúpiť prípad a zaznamenať dôvod. Ak je výstup modelu len odporúčací, rozhranie by nemalo recenzenta tlačiť k tomu, aby ho považoval za štandard. Ak recenzent môže zrušiť rozhodnutie, organizácia by ho mala chrániť pred trestom za pomalšie, ale opodstatnené rozhodnutia. Zodpovednosť bez chráneného uváženia je len tlak s peknejším nadpisom.
Právomoc tiež potrebuje hranice. Recenzent by nemal vymýšľať pravidlá prípad od prípadu. Potrebuje zverejnené kritériá, verzované pravidlá, postupy na postúpenie a príklady podobných rozhodnutí. Potrebuje vedieť, kedy odmietnuť, kedy požiadať o viac informácií, kedy postúpiť a kedy mu systém prípad nikdy nemal poslať. Dobré hranice neoslabujú úsudok. Bránia tomu, aby sa úsudok stal súkromným počasím.
Systém by mal zaznamenávať typ ľudského konania. Schválenie sa líši od opravy. Oprava sa líši od postúpenia. Postúpenie sa líši od sporu o pravidlá. Spor o pravidlá sa líši od chyby v zdrojových dátach. Tieto rozdiely sú dôležité, pretože organizácii hovoria, čo opraviť. Rad plný chýb zdroja si vyžaduje správu dát. Rad plný sporov o pravidlá si vyžaduje správu a riadenie. Rad plný nízkej istoty si vyžaduje prácu na modeli alebo vyhľadávaní. Rad plný unáhlených schválení si vyžaduje rozhovor o personálnom obsadení, ktorý môže pokaziť prezentáciu.
Čas je súčasťou etiky
O ľudskej kontrole sa často hovorí jazykom morálky, ale navrhuje sa jazykom personálneho plánovania, a práve tam sa mnohé ušľachtilé zámery menia na fronty. Recenzent, ktorý má na prípad tri minúty, nemôže vykonávať rovnaký úsudok ako recenzent, ktorý má pätnásť. Recenzent, ktorý čelí stovkám takmer identických schválení, nezostane naveky rovnako skeptický. Recenzent hodnotený iba podľa priepustnosti sa naučí dôverovať modelu viac, než si riziko zaslúži. Etika, ktorá ignoruje čas, je len dekorácia s vážnym písmom.
Na fronte záleží. Keď sa príchody stanú variabilnejšími a náročnosť prípadov variabilnejšou, čakacia doba môže prudko stúpnuť, aj keď priemerný objem vyzerá zvládnuteľne. Systémy umelej inteligencie často vytvárajú presne tento vzorec: veľa jednoduchých prípadov, menší počet zvláštnych prípadov a občasné návaly, keď sa zmení zdrojový kanál alebo sa model odchýli. Kontrolný tím sa potom stáva tlmičom nárazov. Tlmiče nárazov sú užitočné. Tiež sa opotrebúvajú, keď je cesta navrhnutá optimistami.
Kapacita kontroly by sa mala plánovať podľa triedy prípadov, nie podľa priemerného počtu. Jednoduché vzorkovanie môže trvať sekundy. Vysoko rizikové zrušenia rozhodnutí môžu vyžadovať starostlivé čítanie, komunikáciu a podpis nadriadeného. Spory o zdrojové údaje môžu vyžadovať ďalší tím. Právne okrajové prípady môžu trvať dni. Ak sa všetko meria ako jedna položka kontroly, manažment bude veriť, že kapacita existuje, až kým sa náročné prípady nenahromadia. Front sa potom stane morálnym úzkym miestom maskovaným ako produktivita.
Návrh času zahŕňa aj návrh pozornosti. Rozhranie by malo ukazovať, čo sa zmenilo od poslednej verzie, ktoré zdroje podporujú odporúčanie, ktoré zdroje sú v konflikte, ktoré ustanovenia politiky sa uplatňujú a čím si bol model neistý. Malo by skrývať irelevantný šum. Malo by spomaliť rizikovú akciu viac ako bezpečnú, keď sú dôkazy slabé. Nemalo by používať zelené tlačidlá a veselé predvolené nastavenia, aby schvaľovanie pôsobilo ako upratovanie. Ľudia nie sú imúnni voči gravitácii rozhrania, najmä neskoro v piatok, keď sa systém rozhodne byť poučný.
Automatizačná zaujatosť je navrhnutá, nielen trpená
Automatizačná zaujatosť sa často opisuje ako ľudská slabosť: ľudia príliš dôverujú strojom. To je pravda, ale neúplná. Systémy môžu navrhnúť nadmernú dôveru priamo do pracovného postupu. Ak sa výstup modelu zobrazí ako prvý, napísaný sebavedomo, bez viditeľnej neistoty a s veľkým tlačidlom schválenia, rozhranie vytvorilo odporúčanie aj spoločenskú požiadavku. Ak sú zdroje skryté za kliknutiami, recenzent platí daň za skepticizmus. Ak zrušenie rozhodnutia modelu vyžaduje viac vysvetlenia ako jeho schválenie, organizácia ocenila nesúhlas.
Možný je aj opačný zlyhávajúci scenár. Recenzenti môžu systému natoľko nedôverovať, že všetku prácu prerobia manuálne, a z automatizácie sa stane drahý návrhový nástroj. Často sa to stáva po skorých chybách, zlom zobrazení dôkazov alebo pri pocite, že model je skôr vnucovaný, než aby si dôveru zaslúžil. Dôvera nie je nastavenie. Je to záznam o tom, či sa systém v priebehu času správa čestne.
Dobrý dizajn recenzie kalibruje dôveru. Ukazuje istotu tam, kde má zmysel, nie ako dekoratívne percento. Ukazuje dôkazy, chýbajúce dôkazy a nezhody. Odhaľuje obmedzenia modelu v kontexte úlohy. Označuje, či je výstup návrh, odporúčanie alebo akcia. Prepísanie rozhodnutia robí normálnym, nie hanebným. Zaznamenáva, prečo sa recenzenti nezhodujú, a mení vzorce na produktovú prácu. Kalibrovaná dôvera nie je príjemný pocit. Je to stabilná schopnosť spoľahnúť sa na systém v správnych veciach a odmietnuť ho v nesprávnych.
Školenie pomáha, ale nedokáže napraviť manipulatívny pracovný postup. Recenzenti by mali rozumieť úlohe, triede modelu, zdrojom údajov, bežným spôsobom zlyhania, hraniciam politík, postupom eskalácie a vlastnej právomoci. Mali by tiež vidieť príklady, kde mal model pravdu a kde sa mýlil. Ak však produkčná obrazovka skrýva zdroje a odmeňuje rýchlosť nad úsudkom, školenie sa stane spomienkou z lepšej krajiny. Dizajn poráža prezentácie.
Dôkazy musia prežiť posudzovanie
Výsledok recenzie by mal vytvoriť trvalý záznam. Nie vágna poznámka, že sa to skontrolovalo. Nie snímka obrazovky vložená do dokumentu s názvom final-final. Záznam. Mal by uviesť, čo systém navrhol, aké dôkazy použil, aká politika sa uplatnila, čo recenzent rozhodol, prečo to rozhodol, či bol model opravený, či sa našla chyba v zdroji, či došlo k eskalácii a ktorá verzia pracovného postupu bola aktívna. Toto nie je byrokracia sama osebe. Je to pamäť, ktorá umožňuje zodpovednosť aj potom, čo sa prípad posunul ďalej.
Záznam je dôležitý pre človeka, ktorého sa rozhodnutie týka. Ak sa niekto pýta, prečo bola zamietnutá dávka, prečo bol eskalovaný lekársky alert, prečo bol označený úverový prípad, prečo bol presmerovaný študentský záznam alebo prečo bola zablokovaná žiadosť zamestnanca, organizácia potrebuje viac než tvrdenie, že to človek skontroloval. Potrebuje dôvody, ktoré sa dajú prečítať, spochybniť a opraviť. Ľudská recenzia bez odôvodneného záznamu môže interne pôsobiť zodpovedne, ale pre človeka mimo systému zostáva zbytočná.
Záznamy sú dôležité aj pre organizáciu. Vzorce v revíziách sú dôkazom o kvalite systému. Prepísania môžu odhaliť zlé vyhľadávanie, skreslené tréningové dáta, nejasné pravidlá, krehké výzvy, chýbajúce polia alebo zmätok v rozhraní. Ak sú výsledky revízií uložené ako neštruktúrované komentáre vo fronte, ktorú nikto neanalyzuje, organizácia vzala svoj najlepší signál na učenie a premenila ho na izoláciu v podkroví. Veľmi útulné. Nie veľmi múdre.
Je tu rovnováha medzi súkromím a prácou. Protokoly revízií by nemali vystavovať citlivé údaje širšie, než je potrebné. Nemali by sa stať sledovaním revízorov bez riadneho procesu. Nemali by trestať primeraný nesúhlas. Ale odpoveďou sú riadené záznamy, nie chýbajúce záznamy. Zodpovednosť potrebuje dôkazy s pravidlami prístupu. Inak inštitúcii zostane viera a viera je známa tým, že prejde auditmi len v príbehoch ľudí, ktorí audítorov nikdy nestretli.
Revízia by mala meniť systém
Najsilnejším znakom zdravej revíznej funkcie je, že rovnaký problém, ktorému sa dá predísť, sa časom vyskytuje menej často. Ak revízori stále opravujú to isté pole, zmluva so zdrojom by sa mala zmeniť. Ak stále zamietajú odporúčania z rovnakého dôvodu, výzva, vyhľadávanie, model alebo hranica pravidiel by sa mali zmeniť. Ak stále eskalujú určitú kategóriu, vlastníctvo by sa malo zmeniť. Ak stále schvaľujú bez zmien, vzorkovanie by malo potvrdiť, či je front užitočný alebo len ceremoniálny. Revízia nie je koniec pracovného postupu. Je to jedno z miest, kde sa pracovný postup učí.
Učenie si vyžaduje taxonómiu. Systém by mal rozlišovať medzi faktickou opravou, chýbajúcim dôkazom, nejednoznačnosťou pravidiel, eskaláciou rizika, ujmou používateľa, halucináciou modelu, konfliktom zdrojov, zmätkom v rozhraní a oneskorením procesu. Pole pre voľný text môže byť užitočné, ale nemalo by niesť celú záťaž. Kategórie robia vzorce viditeľnými. Tiež zabraňujú známemu vládnemu cvičeniu, kde všetci súhlasia, že problémy existujú, ale nikto ich nevie spočítať bez týždňa a silného nápoja.
Učenie si tiež vyžaduje vlastníctvo. Tím modelov môže opraviť niektoré problémy. Dátový tím môže opraviť iné. Vlastník pravidiel musí opraviť nejasné pravidlá. Prevádzka musí opraviť dizajn frontu. Právne oddelenie môže potrebovať objasniť povinnosti týkajúce sa záznamov. Produkt môže potrebovať prerobiť rozhranie. Bez vlastníctva sa poznatky z revízií stanú pozorovaniami a pozorovania sú miestom, kde problémy idú, aby sa stali slušnými.
Revízia s uzavretou slučkou mení stimuly. Revízori vidia, že ich práca má zmysel. Inžinieri vidia skutočné spôsoby zlyhania namiesto abstraktných sťažností. Manažéri vidia náklady nejednoznačnosti. Vlastníci pravidiel vidia, kde pravidlá zlyhávajú v praxi. Používatelia dostávajú lepšie vysvetlenia. Systém umelej inteligencie sa stáva menej záhadným, pretože inštitúcia prestane zaobchádzať s ľudským úsudkom ako s mopom a začne s ním zaobchádzať ako s meracím prístrojom.
Recenzent nie je štít proti zodpovednosti
Existuje inštitucionálne pokušenie zaradiť do procesu ľudského recenzenta, aby sa dalo ukázať na osobu, ktorá nesie zodpovednosť. Systém odporučil, ale človek schválil. Toto je právne, morálne aj prevádzkovo slabé. Ak bol človek uponáhľaný, nedostatočne vyškolený, bez dostatočných právomocí, zavádzaný rozhraním, bez prístupu k dôkazom alebo trestaný za nesúhlas, schválenie vypovedá viac o organizácii ako o recenzentovi. Podpis nevyčistí zlý proces. Len dokazuje, kde bolo pero.
Dobré riadenie chráni recenzentov, pretože recenzenti chránia všetkých ostatných. Potrebujú eskaláciu bez odvety, čas na náročné prípady, prístup k odborným znalostiam a kultúru, ktorá považuje nesúhlas za signál. Potrebujú jasné pokyny, kedy je model poradný a kedy nie. Potrebujú právo povedať, že prípad nie je možné posúdiť, pretože chýbajú dôkazy. Potrebujú podporu, keď dotknutí ľudia napadnú výsledky. Inak organizácia vytvorí osamelý bod viny a nazve ho zodpovednosťou.
Dobrý stav recenzenta nie je mäkký doplnok. Únava, morálny stres, opakované vystavenie náročným prípadom a tlak na vybavovanie frontov ovplyvňujú kvalitu. V oblastiach, ako je zdravotníctvo, financie, sociálne služby, moderovanie, vzdelávanie a verejná správa, môžu recenzenti čeliť rozhodnutiam, ktoré majú vplyv na skutočné životy. Považovať ich prácu za posledné kliknutie znamená nepochopiť systém aj človeka. Unavený recenzent so zlým rozhraním nie je rámec riadenia. Je to predvídateľný incident so stoličkou.
Vedúci by si mali klásť priame otázky. Čo môžu recenzenti odmietnuť. Čo sa stane, keď nesúhlasia s modelom. Kto posudzuje rozhodnutia recenzentov. Ako sa rieši nekonzistentnosť. Koľko prípadov dokážu bezpečne spracovať. Ktoré rozhodnutia vyžadujú posúdenie dvoma ľuďmi. Ktoré úkony potrebujú eskaláciu špecialistovi. Ktoré metriky by odhalili mechanické odklepávanie. Tieto otázky nie sú proti automatizácii. Sú cenou za to, aby automatizácia bola zodpovedná.
Ľudský úsudok si zaslúži lepšie systémy
Argument proti revízii formou zaškrtávania nie je argumentom proti ľuďom v pracovných postupoch s umelou inteligenciou. Je presne naopak. Ľudský úsudok je vzácny, drahý, kontextový a hodnotný. Mal by sa využívať tam, kde mení význam, chráni práva, rieši nejednoznačnosť, spracúva sporné prípady, prináša odborné znalosti a prijíma zodpovedné rozhodnutia. Nemal by sa plytvať na kompenzáciu chýbajúcich polí, nejasných dôkazov, zlého smerovania alebo modelu, ktorému bolo dovolené premeniť neistotu na front.
Dobré systémy rešpektujú ľudský úsudok tým, že pripravia prácu. Triedia prípady pred posúdením. Zhromažďujú dôkazy. Poctivo označujú neistotu. Poskytujú kontext politík. Oddeľujú návrh od rozhodnutia. Umožňujú opravu. Zachovávajú dôvody. Smerujú opakujúce sa chyby ich vlastníkom. Merajú kvalitu a únavu. Robia eskaláciu bežnou. Robia schvaľovanie zmysluplným, pretože odmietnutie bolo možné.
Toto je menej efektné ako vyhlásenie ľudského dohľadu v prezentácii o riadení. Je to však užitočnejšie. Verejnosť nebude dôverovať systémom umelej inteligencie preto, že snímka hovorí, že je do procesu zapojený človek. Zamestnanci im nebudú dôverovať preto, že politika hovorí, že zodpovednosť zostáva na ľuďoch. Dôvera rastie, keď ľudia vidia, že posudzovanie má zuby: dosť času, dosť dôkazov, dosť právomocí a dosť pamäte na opravu toho, čo sa pokazí. Zuby nie sú vždy príťažlivé v diagramoch. Sú užitočné, keď príde na skutočnosť.
Ponaučenie je jednoduché. Ľudské posudzovanie nie je zaškrtávacie políčko. Je to prevádzková schopnosť. Má personál, nástroje, právomoci, dôkazy, záznamy, učiace sa slučky a kultúru. Ak sa s ním zaobchádza ako so zaškrtávacím políčkom, organizácia dostane rituálne schvaľovanie s ľudskými odtlačkami na strojovej neistote. Ak sa s ním zaobchádza ako so schopnosťou, človek robí to, na čo sú ľudia určení: posudzuje, spochybňuje, opravuje, chráni a učí systém tam, kde jeho sebadôvera prekročila jeho oprávnenie.