Cena sistemov, ki ne znajo reči ne
Stroj, ki je vedno pomagal
Prvi znak težav ni bila okvara. Bila je ustrežljivost. Servisna ekipa je uvedla avtomatiziranega asistenta za usmerjanje zahtevkov, pripravo osnutkov odgovorov, predlaganje naslednjih korakov in zapiranje preprostih primerov. Pilotni projekt je potekal gladko. Sistem je odgovoril na vsako vprašanje, pripravil pot za vsak zahtevek in se nikoli ni zdel prizadet zaradi manjkajočega konteksta. Imel je vedro vzdržljivost programske opreme in družbeno samozavest mlajšega svetovalca, ki še ni spoznal produkcije.
Nekaj tednov je bila nadzorna plošča boljša. Manj zahtevkov je čakalo nedotaknjenih. Povprečni odzivni čas se je skrajšal. Zaposlenim je bilo všeč, da so imeli osnutek za začetek. Vodjem je bila všeč čista črta v poročilu. Nato je prišlo delo drugega reda. Primeri so bili ponovno odprti, ker prvi odgovor ni dejansko rešil težave. Zahtevni zahtevki so bili usmerjeni kot preprosti, ker je asistent vrzeli zapolnil s verjetno strukturo. Stranke so se naučile, da povedati malo manj včasih prinese hitrejši odgovor. Zaposleni so se naučili, da zavrnitev osnutka vzame več časa kot poznejše popravilo. Sistem ni rekel da natanko. Ni znal reči ne.
Ta okvara je draga. Sistem, ki ne more zavrniti, ne postane zgolj nenatančen. Spremeni delo okoli sebe. Manjkajoče dokaze spremeni v samozavestno gibanje. Negotovost pretvori v napredek v čakalni vrsti. Ljudje v nadaljevanju morajo prevzeti dvoumnost, ki bi morala biti ustavljena že na začetku. Uporabnike in operaterje nagrajuje za vztrajanje namesto za upočasnitev. Strošek se pokaže kot predelava, tveganje, šibkost pri reviziji, utrujenost zaposlenih in tiha škoda, ki se nikoli lepo ne prilega metrikam.
Zavrnitev se pogosto obravnava kot težava s tonom. Naj bo asistent bolj previden. Dodajte izjavo o omejitvi odgovornosti. Prosimo ga, naj pove, da ni prepričan. Toda prava zavrnitev ni stavek. Je stanje sistema. Je zmožnost zaznati, da je dejanje neveljavno, nevarno, premalo podprto z dokazi, zunaj pooblastil, preveč negotovo ali nemogoče pod trenutnimi omejitvami, in nato usmeriti delo na varnejšo pot. To je arhitektura, ne vljudnost.
Ne je nadzor, ne razpoloženje
Dobri sistemi rečejo ne na več različnih načinov. Zavrnejo neveljavne vnose. Blokirajo dejanja zunaj pooblastil vloge. Se ustavijo, ko so dokazi zastareli. Zavrnejo, ko manjka politika. Zahtevajo človeški pregled, ko je negotovost previsoka. Vrnejo neizvedljivo, ko so omejitve v nasprotju. Zmanjšajo zmogljivost, ko je odvisnost nedosegljiva. Ohranijo zapis, ko odločitve ni mogoče dokončati. Površina je lahko sporočilo, a pomemben del je nadzor za njo.
To je lahko pozabljeno, ker uporabniki doživljajo zavrnitev kot trenje. Obrazec zavrne polje. Delovni postopek zahteva še en dokument. Model noče odgovoriti. Načrtovalec reče, da poti ni mogoče izvesti. Skladnostni pomočnik noče pripraviti končne izjave brez vira. Trenje je lahko nadležno. Lahko pa je tudi edina stvar, ki stoji med običajnim primerom in preprečljivim incidentom. Naloga ni odstraniti trenje. Naloga je postaviti trenje tja, kjer ga realnost zahteva, in ga odstraniti tam, kjer je le okras.
Sistem, ki ne zna reči ne, ima običajno zabrisano mejo med prošnjo, priporočilom in dejanjem. Nekdo zaprosi za pomoč. Sistem ustvari nekaj, kar je videti uporabno. Delovni postopek to obravnava kot napredek. Naslednja oseba to sprejme kot dejstvo. Do trenutka, ko je šibkost opažena, je več ljudi na njej že zgradilo svoje delo. Zavrnitev bi se morala zgoditi, preden šibek material postane nosilen.
Obstaja razlog, zakaj varnostno kritični sistemi uporabljajo blokade, omejitve, kontrolne sezname, preverjanja in stanja zaustavitve. Ne zanašajo se le na vljudna opozorila. Nekatere premike naredijo nemogoče, dokler pogoji niso izpolnjeni. Delovni postopki, ki jih poganja umetna inteligenca, potrebujejo enako oblikovalsko miselnost. Če izhod modela ni utemeljen, sistem ne bi smel le šepetati opozorila, medtem ko nadaljnji proces obravnava izhod kot pripravljenega.
Šest uporabnih zavrnitev
Vse zavrnitve niso enake. Neveljavno je najpreprostejše. Vnos je nepravilno oblikovan, prošnja je nepopolna, identiteta ni znana ali zapis ne izpolnjuje osnovnih zahtev. Neveljavna zavrnitev mora biti dolgočasna in hitra. Uporabniku povejte, kaj manjka, ohranite stanje in si ne izmišljujte ostalega. Dolgočasno preverjanje preprečuje razkošne napake pozneje.
Nevarno je drugače. Sistem razume prošnjo, vendar bi ukrepanje ustvarilo nesprejemljivo tveganje. Medicinski pomočnik ne bi smel dati končnega kliničnega priporočila brez klinika v ustreznem delovnem postopku. Orodje za načrtovanje ne bi smelo ustvariti urnika, ki krši pravila o počitku. Sistem javnih storitev ne bi smel zaključiti primera brez zahtevanega obvestila. Nevarna zavrnitev potrebuje pot: posredovati navzgor, zahtevati odobritev, zmanjšati dejanje ali ustaviti.
Premalo dokazano je pogosto pri umetni inteligenci. Model lahko odgovori, vendar viri odgovora ne podpirajo dovolj močno. Sistem za iskanje je našel povezane dokumente, ne pa tudi odločilne klavzule. Povzetek temelji na zastarelih podatkih. Klasifikator je zunaj svojega kalibracijskega območja. Pravilno vedenje ni samozavesten najboljši trud. Pravilno je poimenovati vrzel v dokazih in zaprositi za več, zmanjšati posledice ali preusmeriti v pregled.
Zunaj pooblastil je organizacijsko. Sistem ali uporabnik ima morda podatke in zmogljivost, vendar ne pravice do ukrepanja. To ni le problem nadzora dostopa. Pooblastila so odvisna od vloge, konteksta, politike in posledic. Osnutek je lahko dovoljen, končna odobritev ne. Priporočilo je lahko dovoljeno za notranjo triažo, zunanja razlaga ne. Sistem, ki ne razlikuje zmogljivosti od pooblastil, bo sčasoma dovolil, da moč potuje po poti najmanjšega odpora.
Preveč negotovo je zavrnitev, ki jo zreli sistemi najbolj potrebujejo. Odgovor je morda pravilen, vendar je negotovost dovolj velika glede na posledice, da bi se morala dejanja upočasniti. To ni neuspeh. To je kalibracija, ki se sreča s presojo. Preveč negotovo mora sprožiti sorazmerno pot: zastaviti pojasnjevalno vprašanje, zbrati drug vir, zahtevati pregled, razširiti varnostno rezervo ali za zdaj reči ne.
Nemogoče je zavrnitev reševalca. Vseh omejitev ni mogoče izpolniti. Zahtevani rok, proračun, kadri, pravno pravilo in cilj kakovosti se ne ujemajo. Nemogoče ni negativnost. Je dokaz, da izjava o problemu vsebuje konflikt. Dober sistem pokaže, kaj bi se moralo spremeniti, ne da bi se pretvarjal, da je optimizem vir.
Vljudnost lahko skrije pritrditev
Številni vmesniki z umetno inteligenco so dobri v tem, da zvenijo previdno, hkrati pa še vedno omogočajo nevarno pot. Rečejo, da je odgovor morda nepopoln, nato pa ponudijo podroben načrt. Rečejo, da bi moral uporabnik preveriti, nato pa kopiranje naredijo brez napora. Rečejo, da je sistem le pomočnik, nato pa priporočilo pomočnika postavijo kot privzeto možnost. Pokažejo majhno oznako negotovosti poleg velikega zelenega gumba za dejanje. Jezik pravi previdnost. Delovni tok pravi pojdi.
Uporabniki bolj verjamejo delovnim tokovom kot opozorilom. Opozorilo, ki se pojavi pri vsakem odgovoru, postane tapeta. Pridržek, ki ne spremeni razpoložljivih dejanj, postane pravni parfum. Ocena zaupanja, ki ni povezana s pragovi, pregledom ali zavrnitvijo, postane okras. Vmesnik ljudi uči, kaj organizacija resnično ceni. Če je pot sprejema hitra in pot izpodbijanja nejasna, se bodo ljudje naučili lekcije.
Zato mora biti zavrnitev povezana z zmogljivostjo. Ko so dokazi nezadostni, mora biti končno dejanje onemogočeno ali znižano. Ko je negotovost velika, naj sistem preusmeri na pregled ali zahteva več informacij. Ko uporabnik nima pooblastila, naj sistem ustavi dejanje, namesto da bi uporabnika prosil, naj si zapomni politiko. Ko je zahteva zunaj obsega, sistem ne sme ustvariti privlačnega odgovora s sramežljivo opombo.
Dobro oblikovana zavrnitev ni sovražna. Je natančna. Pojasni stanje, poimenuje manjkajoči pogoj, ponudi veljavne naslednje korake, ohrani že opravljeno delo in se izogne sramotenju uporabnika. Najboljše zavrnitve delujejo kot kompetenten sodelavec, ki reče: še ne, tukaj je zakaj, tukaj je, kaj bi to naredilo varno. Najslabše zavrnitve delujejo kot zaklenjena vrata z diplomo iz poezije.
Cena odsotnosti zavrnitve
Prvi strošek je ponovno delo. Ko sistem premakne šibke primere naprej, mora nekdo pozneje znova odpreti, popraviti, se opravičiti, preusmeriti ali obnoviti. Ponovno delo se pogosto pojavi v drugi proračunski postavki kot avtomatizacija, ki ga je ustvarila. To je priročno za avtomatizacijo in nepošteno do vseh drugih. Čakalna vrsta je lahko videti cenejša, ker so njeni stroški preneseni na ekipe nižje v verigi.
Drugi strošek je izguba dokazov. Če sistem nikoli ne vstopi v stanje zavrnitve, morda nikoli ne zabeleži, kaj je manjkalo. Pozneje nihče ne ve, ali je bil vir odsoten, zastarel, negotov ali prezrt. Revizija postane pripovedovanje zgodb. Organizacija lahko pokaže, da se je odločitev zgodila, ne pa tudi, zakaj je bilo dovoljeno, da se zgodi. Ta razlika je pomembna, ko so vpleteni pravice, varnost, denar ali javno zaupanje.
Tretji strošek je človeška utrujenost. Ljudje v nadaljevanju postanejo mehanizem zavrnitve po ročni poti. Preverjajo tisto, kar bi moralo biti že potrjeno, popravljajo tisto, kar bi moralo biti blokirano, in nosijo družbeno nelagodje, ko morajo reči ne, potem ko je sistem namignil, da je odgovor da. To je slaba uporaba strokovnega znanja. Prav tako ljudi uči, da sistemu na splošno ne zaupajo, vključno z deli, ki so lahko resnično uporabni.
Četrti strošek je moralni zdrs. Sistem, ki vedno proizvede odgovor, spremeni občutek organizacije o tem, kaj je sprejemljivo. Manjkajoči dokazi postanejo običajni. Šibka gotovost postane dovolj. Privzete nastavitve postanejo odločitve. Izjeme postanejo osebno breme. Nihče ne razglasi nove politike. Delovni proces jo preprosto nauči. Če želite suho nizozemsko zadržanost, to ni idealno.
Peti strošek je strateška krhkost. Permisiven sistem postane težko obvladljiv, ker nima jasnih stanj. Vse je v teku, predlagano, osnutek, v usmerjanju ali skoraj končano. Ni jasnega signala, da je zahteva neveljavna, nevarna, nemogoča ali zunaj pooblastil. Vodje zato nimajo dokazov, potrebnih za odpravo vzrokov na višji ravni. Kupijo več zmogljivosti za čiščenje v nadaljevanju in to imenujejo širitev.
Umetna inteligenca potrebuje meje pred avtonomijo
Avtonomno vedenje brez zavrnitve ni avtonomija. Je pospeševanje. Sistem lahko naredi več stvari hitreje, vključno s stvarmi, ki jih ne bi smel. Agenti, ki kličejo orodja, načrtovalci, ki razporejajo delo, pomočniki, ki pošiljajo sporočila, in modeli, ki sprožajo delovne procese, potrebujejo zavrnitvena stanja, preden potrebujejo več svobode. V nasprotnem primeru vsako novo orodje postane nova pot za nepodprto dejanje.
Uporaba orodij naredi vprašanje konkretno. Model morda ve, kako poizvedovati po podatkovni bazi, pripraviti osnutek e-pošte, posodobiti zapis in načrtovati nalogo. Vprašanje ni, ali to zmore. Vprašanje je, kdaj sme. Ali dokazi izpolnjujejo prag. Ali je dejanje povratno. Ali je prejemnik pravilen. Ali je uporabnik pooblaščen. Ali je model v okviru. Ali je podobno dejanje že povzročilo incidente. Ali bi moral človek odobriti. Zavrnitvena plast odgovori na ta vprašanja, preden zmogljivost postane vedenje.
Načrtovalni sistemi potrebujejo enako disciplino. Načrt, ki uporablja razpoložljiva orodja, lahko še vedno krši politiko, preobremeni ljudi, ustvari nasprotujoče si zaveze ali zmanjša odpornost. Načrtovalec bi moral poznati trde omejitve, mehke nastavitve, pragove tveganja in zahteve za rezervne možnosti. Vrniti bi moral neizvedljivo, kadar zahteve ni mogoče izpolniti. Ne bi smel proizvesti junaškega načrta, ki deluje le, če se ljudje, podatki, dobavitelji in fizika obnašajo prijazno.
Avtonomija potrebuje tudi pogoj za zaustavitev. Ko sistem zazna odmik, ponavljajočo se negotovost, nasprotujoče si dokaze, manjkajoče pooblastilo ali nepričakovane izide, bi moral upočasniti ali se ustaviti. Sistem, ki se ne more ustaviti sam, bo pozneje ustavljen zaradi incidenta, predpisov, izčrpanosti ali upora strank. Te metode so na voljo, vendar imajo slabo uporabniško izkušnjo.
Merjenje zavrnitve brez kaznovanja
Če je zavrnitev pomembna, bi jo morale organizacije meriti. Toda meriti morajo previdno. Visoka stopnja zavrnitev lahko pomeni, da je sistem pretirano previden, da je kakovost vnosa slaba, da uporabniki postavljajo vprašanja zunaj okvira, da podatki manjkajo, da je politika nejasna ali da je model slabo umerjen. Številka sama ne sodi sistema. Odpre preiskavo.
Uporabne metrike zavrnitev vključujejo vrsto zavrnitve, manjkajoči pogoj, vlogo uporabnika, izid v nadaljevanju, stopnjo preglasitev, poznejši pritožbeni postopek, preprečeno ponovno delo in čas do popravila. Če je veliko zahtev premalo podprtih z dokazi, odpravite vire. Če je veliko zunaj pooblastil, izboljšajte oblikovanje vlog ali usposabljanje. Če je veliko nemogočih, ponovno preučite kadrovanje, obljube ali omejitve. Če ljudje preglasijo veliko zavrnitev in so izidi dobri, je zavrnitev morda prestroga. Če ljudje preglasijo in so izidi slabi, so spodbude morda pokvarjene.
Nevarna metrika je zmanjševanje zavrnitev kot cilj. Če so ekipe nagrajene za to, da sistem reče »ne« manj pogosto, lahko oslabijo nadzore namesto da bi izboljšale delo. Cilj ni manj zavrnitev. Cilj so ustrezne zavrnitve, manj neveljavnih zahtevkov, jasnejši obseg, boljši dokazi in varnejše delovanje. Požarni alarm, ki manj zvoni, ker je nekdo odstranil baterijo, ni izboljšal varnosti stavbe. Izboljšal je zvočno kuliso.
Zavrnitve bi morale biti vidne tudi vodstvu. Ne kot številka za sramoto, ampak kot operativna inteligenca. Zavrnitve pokažejo, kje obljube organizacije presegajo njene podatke, pooblastila, kadrovske zasedbe, jasnost politik ali zasnovo sistema. Drage so, če jih spregledamo, ker so zgodnji signali. Številni incidenti so le zavrnitve, ki jim ni bilo dovoljeno, da bi se zgodile pravočasno.
Ljudje, ki jim mora biti dovoljeno reči ne
Sistemi prevzemajo kulturo od organizacij. Če so ljudje kaznovani za zavračanje šibkega dela, zavračanje v programski opremi prav tako ne bo preživelo. Delavec, ki izpodbija priporočilo, upočasni čakalno vrsto, zahteva dokaze ali stopnjuje nevaren primer, potrebuje podporo. V nasprotnem primeru formalni nadzor obstaja, praktični nadzor pa umre. Ljudje se bodo naučili ohranjati metriko zeleno in negotovost premikati naprej.
To je še posebej pomembno pri delovnih tokovih z umetno inteligenco, ker lahko sistem ustvarja družbeni pritisk. Stroj deluje samozavestno. Vodja vidi pretočnost. Stranka pričakuje hitrost. Pregledovalec postane počasen človek na sredini. Če organizacija dobrega zavračanja ni izrecno zaščitila, bo pregledovalec sčasoma popustil. Ne zato, ker je malomaren. Zato, ker je delovni tok pogum naredil neučinkovit.
Vodje bi si zato morali zastavljati drugačna vprašanja. Ne le, koliko primerov je bilo zaključenih, ampak koliko jih ne bi smelo biti zaključenih. Ne le, kako pogosto so ljudje sprejeli priporočila, ampak kdaj je nestrinjanje izboljšalo izid. Ne le, ali je zavrnitev upočasnila delo, ampak ali je preprečila predelavo ali škodo. Ne le, ali je model odgovoril, ampak ali je imel sistem pooblastila in dokaze, da ukrepa na podlagi odgovora.
Usposabljanje pomaga, kadar uporablja resnične primere. Pokažite osebju, kako so videti neveljavno, nevarno, premalo dokazano, izven pooblastil, preveč negotovo in nemogoče delo v njihovem okolju. Pokažite ustrezno pot za vsako od teh. Pokažite primere, kjer je reči ne zaščitilo uporabnike, in primere, kjer je nepotrebna zavrnitev blokirala koristno storitev. Ljudje ne potrebujejo pridig o odgovornosti. Potrebujejo skupno presojo in delovni tok, ki to presojo spoštuje.
Oblikovanje vljudnega ne
Dostojanstven »ne« ima štiri lastnosti. Je natančen. Pove, kaj je blokiralo dejanje. Je sorazmeren. Ustavi končno dejanje, ne da bi nujno ustavil učenje, osnutke ali zbiranje dokazov. Je popravljiv. Ponuja veljaven naslednji korak. Je zabeležen. Prihodnji ljudje lahko vidijo, da je sistem zavrnil, zakaj je zavrnil in kaj se je zgodilo zatem.
Natančnost preprečuje frustracijo. Sistem ne sme reči, da ne more nadaljevati, če je pravi problem pomanjkanje svežine vira, odsotna pooblastila, nasprotujoče si omejitve ali uporaba izven obsega. Sorazmernost preprečuje paralizo. Osnutek se lahko nadaljuje, medtem ko je končno pošiljanje blokirano. Razpored se lahko raziskuje, medtem ko je odprema blokirana. Povzetek je lahko označen kot informativen, medtem ko je odločitev zavrnjena. Popravljivost preprečuje slepe ulice. Uporabniki morajo vedeti, kako dodati dokaze, zahtevati pregled, spremeniti cilj ali sprejeti pošten zaključek.
Zapisovanje preprečuje pozabo. Stanja zavrnitve so dokaz o sistemu in organizaciji. Pokažejo vrzeli v kakovosti podatkov, nejasne politike, preobremenjene ekipe, manjkajoče vloge, nerealne obljube in tvegano vedenje. Če zavrnitve niso zabeležene, organizacija izgubi enega svojih najboljših diagnostičnih instrumentov. Isti problem bo nato odkrila pozneje, običajno v dražji preobleki.
V dobrem »ne« je dostojanstvo. Ne pretvarja se, da je negotovost gotovost. Ne sili ljudi nižje v verigi, da čistijo za dvoumnostjo višje v verigi. Ne kaznuje uporabnikov, ker so naleteli na mejo. Ohranja možnost boljšega »da« pozneje. Sistemi, ki to zmorejo, delujejo resneje, ne manj koristno.
Nauk
Cena sistemov, ki ne znajo reči »ne«, ni en sam dramatičen neuspeh. Je nenehno prenašanje negotovosti v delo drugih. To je ponovno odprt primer, nevarno priporočilo, manjkajoča revizijska sled, utrujeni pregledovalec, stranka, ki neha zaupati procesu, in vodja, ki vidi zelene številke, medtem ko tla postajajo spolzka.
Uporabni sistemi ne zavračajo, ker bi bili neprijazni. Zavračajo, ker dejanje zahteva pogoje. Podatki morajo biti prisotni. Pooblastila morajo obstajati. Dokazi morajo biti dovolj močni. Omejitve se morajo ujemati. Posledica se mora ujemati z zaupanjem. Okrevanje mora biti možno. Ko ti pogoji niso izpolnjeni, dober sistem reče še ne, ne tukaj, ne s temi dokazi, ne pod tem pooblastilom ali ni mogoče pod temi omejitvami.
Tovrsten »ne« ni nasprotje storitve. Je storitev z držo. Ščiti uporabnike pred samozavestnimi nesmisli, osebje pred skritim čiščenjem in organizacije pred odločitvami, ki jih ne morejo zagovarjati. Omogoča tudi boljši »da«, ker sistem lahko pokaže, kaj se mora spremeniti, preden je dejanje upravičeno.
Sistem, ki vedno odgovori, je lahko videti radodaren. Sistem, ki zna zavrniti, je običajno tisti, ki delo jemlje resno.