Razložljivost brez ponovitve je gledališče
Pojasnilo, ki je prišlo prepozno
Neprijetno pojasnilo običajno pride, ko je odločitev že imela posledice. Stranka je bila zavrnjena. Pacient je bil preusmerjen. Študent je bil označen. Pošiljka je bila zamujena. Državljan je dobil navodilo, naj počaka. Sistem umetne inteligence je odgovor ustvaril pred dnevi ali tedni, vsi so bili zaposleni, čakalna vrsta se je premaknila naprej, zdaj pa nekdo želi vedeti, zakaj je do odgovora prišlo. Takrat organizacija odkrije, ali ima razložljivost ali le službo za pojasnjevanje.
Prva različica je pogosto videti razumna. Nadzorna plošča prikazuje stopnjo zaupanja. Kartica modela pravi, da je bil sistem preizkušen. Ustvarjen odstavek pojasni, da je k izidu prispevalo več dejavnikov. Pregledovalec se spomni, da so bili dokazi takrat videti v redu. Izvoz dnevnika vsebuje veliko vrstic in zato deluje resno. Ljudje se zberejo okoli artefaktov in začnejo pripovedovati. Morda so pošteni. Morda so usposobljeni. Morda imajo celo prav. Toda če poti ni mogoče ponoviti, je pojasnilo predstava z rekviziti.
Ponovitev spremeni merilo. Vpraša, ali lahko organizacija rekonstruira pot odločanja iz dejanskih sestavin: zahteve, identitete, stanja podatkov, rezultatov pridobivanja, poziva ali navodila, različice modela, nastavitev, klicev orodij, preverjanj pravilnikov, človeških dejanj, časovnega okvira in izida. Ne podobne poti. Ne verjetne poti. Poti, ki je ustvarila odgovor, ali nadzorovanega opisa, zakaj natančna ponovitev ni mogoča in katerega dela ni mogoče obnoviti. To je manj privlačno kot plošča s pojasnili. Je pa tudi veliko težje ponarediti.
Razložljivost brez ponovitve je gledališče, ker ljudi vabi, da občudujejo zgodbo, namesto da bi preučevali sistem. Gledališče ni neuporabno. Dobro gledališče lahko poučuje, tolaži, opozarja in občasno ohranja vaško dvorano pri življenju. Ne bi pa smelo odločati o tem, ali je bila avtomatizirana odločitev zakonita, poštena, sorazmerna ali pravilna. Za to občinstvo potrebuje stroje v zakulisju.
Zakaj tekoče pojasnilo ni dovolj
Veliki jezikovni modeli so zelo dobri pri ustvarjanju razlogov. To je del njihove uporabnosti in del težave. Razlog je lahko jasen, verjeten, vljuden in ločen od dejanske poti, ki je ustvarila odgovor. Sistem lahko razloži klasifikacijo z navedbo dejavnikov, ki zvenijo pomembno, medtem ko je dejanski vpliv prišel iz zastarelega vira, veje poziva, skrite privzete nastavitve ali rezultata orodja, ki se v besedilu nikoli ne pojavi. Besedilo je lahko v pomoč. Ni pa samodejno dokaz.
To ni posebna moralna napaka umetne inteligence. Tudi ljudje se naknadno pojasnjujemo z veliko mero ustvarjalnosti in selektivnega spomina. Razlika je v obsegu in teksturi. Sistemi umetne inteligence lahko ustvarijo na tisoče odločitev, vsako s svojo urejeno razlago, medtem ko je operativna pot odvisna od premikanja podatkov, različic, predpomnilnikov, pravilnikov in storitev. Sloj razlag lahko ostane miren, medtem ko se osnovni proces obnaša kot predal za jedilni pribor med potresom.
Uporabna razlaga mora odgovoriti na dve vprašanji. Katere razloge lahko oseba razume. Kateri dokazi kažejo, da so ti razlogi povezani s tem, kar se je dejansko zgodilo. Prvo vprašanje zadeva komunikacijo. Drugo zadeva ponovno predvajanje. Če organizacija lahko odgovori le na prvo, ima morda dobro uporabniško izkušnjo, a šibko površino odgovornosti. To je nevarno, ker lahko razlaga postane prepričljivejša ravno takrat, ko bi morala postati skromnejša.
Obstajajo situacije, kjer je preprosta razlaga dovolj. Če asistent z nizkim tveganjem predlaga popravek črkovanja, nihče ne potrebuje forenzične rekonstrukcije ekonomike samoglasnikov. Toda ko izid vpliva na pravice, denar, dostop, varnost, strokovno presojo ali javno zaupanje, organizacija potrebuje več kot tekoč razlog. Potrebuje pot nazaj skozi sistem. Oseba bi morala lahko vprašati: pokaži mi, kaj je sistem videl, kaj mu je bilo dovoljeno storiti, katera različica je tekla, katero pravilo je veljalo, kdo se je nanj zanesel in kako lahko to izpodbijam.
Ponovno predvajanje ni le determinizem
Ljudje pogosto slišijo ponovno predvajanje in si predstavljajo, da pomeni pritisniti gumb in dobiti popolnoma enako zaporedje žetonov. Včasih je to mogoče. Včasih ni. Modeli so lahko stohastični. Zunanje storitve se lahko spremenijo. Indeksi za iskanje se lahko osvežijo. Časovno občutljivi podatki lahko potečejo. Orodje je lahko odvisno od omejitve hitrosti, tržne cene, stanja koledarja ali človeškega vnosa. Natančno ponavljanje bit za bitom je uporabno, kadar je na voljo, vendar je ponovno predvajanje širša disciplina kot deterministična nostalgija.
Ponovno predvajanje pomeni, da lahko sistem rekonstruira pot odločanja na ravni, ki je potrebna za vprašanje. Za dejanski odgovor to lahko pomeni vire, razvrstitve, izrezke, poziv, različico modela in izid. Za dejanje orodja to lahko pomeni pooblastilo, parametre, preverjanja pravilnikov, stanje odobritve, rezultat izvedbe in zapis v nadaljnjih sistemih. Za odločitev s človeško pomočjo to lahko pomeni priporočilo modela, paket dokazov, dejanje pregledovalca, nestrinjanje in končni izid. Cilj je narediti preteklost pregledno, ne pa se pretvarjati, da je bila preteklost laboratorijski vzorec pod steklom.
To razlikovanje je pomembno, ker lahko natančno ponovno predvajanje postane izgovor za nedejavnost. Ekipa reče, da je model nedeterminističen, zato je ponovno predvajanje nemogoče, zato bodo razlage ustvarjene sproti. To je podobno, kot če bi rekli, da vremena ni mogoče zavrteti nazaj, zato ni smisla imeti letalskega zapisovalnika podatkov. Morda ne moremo poustvariti vsake molekule turbulence. Še vedno lahko zabeležimo višino, smer, krmiljenje, opozorila in odločitve. Sistemi umetne inteligence si zaslužijo enako skromnost in enako disciplino.
Ponovno predvajanje potrebuje tudi obseg. Zapisovati vse za vedno ni odgovorno. To ustvarja tveganje za zasebnost, stroške in upravljavsko meglo. Zasnova ponovnega predvajanja bi morala zajeti najmanj dokazov, potrebnih za rekonstrukcijo pomembnih poti, pri čemer sta hramba in dostop usklajena s tveganjem. Izbira ni med popolnim spominom in teatralno amnezijo. Resni sistemi živijo vmes, kjer so dokazi namenski, omejeni in dovolj trdni, da odgovorijo na poznejša vprašanja.
Kje ponovno predvajanje odpove
Ponovno predvajanje se običajno prekine na mejah. Klic modela si je lahko zapomniti, ker vsi strmijo vanj. Okoliški kontekst je tisti, kjer dejstva uidejo. Vloga uporabnika se je spremenila. Izvorni dokument je bil prepisan. Indeks za iskanje je bil znova zgrajen brez posnetka. Predloga poziva je bila urejena na mestu. Pravilniški mehanizem je pri vprašanju o preteklem mesecu uporabil trenutno pravilo. Orodje je vrnilo vrednost iz današnjega dne. Človeški pregledovalec je videl zaslon, ki ne obstaja več. Sistemska ura je bila v eni storitvi napačna in v drugi pravilna, kar je majhen darilo porazdeljenih sistemov prihodnjim sestankom.
Gnitje konteksta je še posebej pogosto v sistemih za iskanje. Ustvarjen odgovor navaja stran s pravilnikom. Čez šest mesecev se stran spremeni. Navedba še vedno deluje, vendar ne pove več tistega, kar je povedala. Pojasnilo pravi, da se je sistem zanašal na pravilnik, kar je res v najbolj neuporabnem smislu. Brez zgoščene vrednosti vsebine, različice, posnetka ali arhivske reference organizacija ne more pokazati, kateri pravilnik je oblikoval odgovor. Lahko pokaže le trenutno stran in upa, da bo zgodovina sodelovala.
Uporaba orodij ustvari še en prelom. Model se lahko odloči, da bo poklical orodje, vendar pojasnilo morda ne ohrani parametrov, preverjanja dovoljenj, odziva, poti ponovnega poskusa ali stranskega učinka. Rezultat je potem videti kot odgovor, medtem ko se je pomembno dejanje zgodilo drugje. Če je orodje spremenilo zapis, poslalo sporočilo, ocenilo tveganje ali sprožilo potek dela, mora ponovno predvajanje slediti tej meji. V nasprotnem primeru pojasnilo opisuje govoreči del in spregleda roko, ki je premaknila vzvod.
Tudi človeški pregled lahko prekine ponovno predvajanje. Pregledovalec lahko vidi dokaze, sprejme presojo in pusti le končni status. Kasneje organizacija reče, da je bil človek vključen. To je res in tanko. Katere dokaze je pregledovalec videl. Ali so spremenili rezultat. Ali so sprejeli priporočilo ali sprejeli neodvisno odločitev. Ali so imeli čas. Ali so zabeležili dvom. Ali je vmesnik prikazal zaupanje na način, ki jih je usmeril. Če stanje človeka ni zabeleženo, človeški pregled postane zavesa. Z občinstva je videti pomirjujoče. Za njo nihče ne more najti stola.
Pojasnilo naj bo pogled na dokaze
Boljši vzorec je, da pojasnilo obravnavamo kot pogled na dokaze ponovnega predvajanja. Paket dokazov je temeljni zapis. Pojasnilo je upodobitev izbranih delov tega zapisa, namenjena ljudem. Državljan lahko vidi kratek opis kategorij virov, pravne podlage, avtomatizirane podpore, človeškega pregleda in poti do pritožbe. Upravljavec lahko vidi izseke virov, zaupanje, preverjanja pravilnikov in rezultate orodij. Revizor lahko vidi zgoščene vrednosti, različice, časovne žige, dogodke odobritev in politiko hrambe. Različni pogledi, ista hrbtenica dokazov.
To s preprečuje, da bi pojasnila postala izmišljena proza. Sistem ne sme modela prositi, naj pojasni preteklo odločitev iz spomina ali iz povzetka samega sebe. Pojasnilo mora ustvariti ali sestaviti iz zabeleženih dokazov. Če dokazi manjkajo, mora pojasnilo to povedati. Manjkajoči dokazi niso nevšečnost uporabniškega vmesnika. So dejstvo o odgovornosti odločitve. Skrivanje pod bolj gladkim odstavkom je način, kako gledališče postane drago.
Pojasnilo, podprto z dokazi, izboljšuje tudi dostopnost. Ljudje, na katere odločitve vplivajo, ne potrebujejo surovih dnevnikov. Potrebujejo razumljive razloge, poti do popravka in dovolj podrobnosti za ugovor. Razvijalci in revizorji potrebujejo globlje plasti. Ločevanje dokazov od pogledov sistemu omogoča, da služi obojim, ne da bi zamenjeval preglednost z odlaganjem tehničnega gradiva na ljudi, dokler ne obupajo. Tisočvrstični izpis je lahko prav tako nepregleden kot črna škatla, če ga damo napačnemu občinstvu.
Pogled se mora tudi izogibati pretiravanju. Pojasnilo modela ne sme delovati, kot da razkriva notranje psihološke motive. Pojasnilo ocene ne sme prevajati korelacije v moralno sodbo. Pojasnilo iskanja ne sme namigovati, da neuporabljeni viri niso bili pomembni, če sploh niso bili pridobljeni. Dobro pojasnilo uporablja suhoparen jezik: ta zahteva je uporabila te različice virov, pod temi pravili, s to nastavitvijo modela, kar je dalo ta rezultat, ki ga je pregledala ta vloga in pripeljal do tega dejanja. Suhoparen jezik je podcenjen. Ima manj prostora za skrivanje nesmisla.
Predvajanje zapira učno zanko
Predvajanje ni namenjeno le revizijam in pritožbam. Je način, kako se sistemi učijo, ne da bi si lagali. Če se pojavi slab rezultat, predvajanje ekipi omogoči pregled poti. Ali je vir manjkal. Ali je bil vir prisoten, a uvrščen prenizko. Ali je poziv potlačil negotovost. Ali je model prezrl pravilo. Ali je orodje vrnilo napačno stanje. Ali je človeški pregledovalec odobril, ker je bil paket dokazov slabo zasnovan. Ali je spor politik prisilil v krhko pot. Vsak odgovor kaže na drugačno popravilo.
Brez predvajanja postane izboljševanje vraževerje. Ekipa spremeni poziv, ker so pozivi vidni. Zamenja model, ker so modeli vznemirljivi. Doda opozorilo, ker so opozorila poceni. Pravi problem je morda bil zastarel indeks, pravilo brez različice, tiha napaka pri dovoljenjih ali vmesnik za pregledovalce, ki je skril nestrinjanje. Vraževerje lahko povzroči gibanje. Le redko povzroči nadzor. Organizacija se počuti zaposleno in ostaja zmedena, priljubljen, a utrujajoč način delovanja.
Zanka predvajanja lahko napaja vrednotenje. Neuspešni primeri postanejo testni primeri z ohranjenim kontekstom. Človeški popravki postanejo označeni primeri. Izidi pritožb postanejo signali upravljanja. Napake pri svežini virov postanejo meritve kakovosti podatkov. Napake orodij postanejo pogodbeni testi. Sistem dobi spomin na svoje napake, ki je bogatejši od kupa pritožb. Ta spomin ekipam omogoča, da naredijo spremembe in nato primerjajo novo pot s staro.
Predvajanje ščiti tudi pred gledališčem izboljšav. Nova različica lahko ustvari lepša pojasnila, hkrati pa sprejema slabše odločitve. Druga lahko izboljša natančnost, a oslabi vedenje zavrnitve. Tretja lahko zmanjša zakasnitev z opustitvijo dokazov o virih. Če organizacija beleži in predvaja primere, lahko vidi kompromise. Če vzorči le polepšana pojasnila, jo bo zamikalo, da bi verjela različici z najlepšimi manirami.
Pomislek o zasebnosti je resničen
Replay je mogoče slabo zasnovati. Leni način beleži vse: celotne pozive, celotne dokumente, osebne podatke, izhode orodij, notranje zapiske, pripombe pregledovalcev in morda tudi barvo stola, če je bil v bližini senzor. Organizacija to nato imenuje sledljivost in si ustvari drugo tvegano področje. To ni zrelo. To je kopičenje z značko o skladnosti.
Odgovorna zasnova replaya se začne z namenom. Katere odločitve potrebujejo replay. Kateri dokazi so nujni. Na katere dele se je mogoče sklicevati s stabilnim identifikatorjem namesto s kopiranjem. Katere vrednosti je treba zgoščevati. Katero vsebino je treba prekriti. Kateri profili lahko dostopajo do globljih plasti. Katero obdobje hrambe ustreza pravni in človeški vrednosti postopka. Katerih dokazov ne bi smeli nikoli zajeti, ker tveganje odtehta korist. Ta vprašanja niso ovira za pojasnljivost. So njen del.
Replay, ki varuje zasebnost, pogosto pomeni plastenje. Javno pojasnilo lahko vsebuje kategorije in razloge. Notranji pregled lahko vsebuje identifikatorje virov in izseke. Revizijska plast lahko vsebuje zgoščene vrednosti, časovne žige in podpise. Plast za incidente lahko zahteva začasno širši dostop pod strogim nadzorom. Plasti naj bodo povezane, vendar se ne smejo zliti v en sam velik arhiv, dostopen vsakomur, ki ve, kje je gumb za izvoz. Gumbi za izvoz niso upravljanje. So vrata, vrata pa potrebujejo ključavnice.
Obstaja tudi razlog pravičnosti za skrbno načrtovanje replaya. Če so podrobni zapisi narejeni le za nekatere primere, ker so visoko tvegani ali visoko vredni, mora organizacija to vedeti in utemeljiti. Če so primeri z nizkim tveganjem premalo zabeleženi, imajo ljudje morda manj možnosti izpodbijati napake v teh tokovih. Če so primeri z visokim tveganjem preveč zabeleženi, so lahko občutljive skupine pod večjim nadzorom. Replay ni nevtralen spomin. Je oblikovalska odločitev o tem, čigavo preteklost je mogoče pregledati in kdo jo lahko pregleda.
Replay spreminja način pisanja pozivov v ekipah
Ko replay postane pomemben, pozivi prenehajo biti zasebno izročilo. Poziv postane del poti odločanja. Potrebuje različice, lastništvo, teste in razmerje do politik. To ne pomeni, da vsaka sprememba besedila zahteva slovesnost s piškoti. Pomeni pa, da pomembnega poziva ne bi smeli urejati na mestu brez zapisa. Če se je poziv spremenil med odločitvijo in pritožbo, mora organizacija vedeti, kateri je veljal.
Replay poskrbi tudi, da so pozivi manjši na pravih mestih. Ekipe pogosto natlačijo politike, oblikovanje, pravila zavračanja, podatkovna navodila, ton, uporabo orodij, primere in operativne omejitve v en sam dolg poziv. Nato od njega pričakujejo, da bo hkrati upravljanje, vmesnik in spomin. Ponovljiv sistem lahko del te strukture prestavi v izrecne kontrole: politična vrata, filtre virov, preverjevalnike shem, dovoljenja za orodja in prehode stanj. Poziv lahko opravlja jezikovno delo, namesto da se pretvarja, da je ustava.
To izboljša razlage, ker lahko sistem pokaže na konkretne kontrole. Odgovor je bil zavrnjen, ker so politična vrata blokirala zdravniški nasvet zunaj vloge, ne zato, ker je imel model nejasen občutek. Vir je bil izključen, ker ga je podatkovna pogodba označila kot izven namena, ne zato, ker je poziv rekel, bodite previdni z zasebnostjo. Orodje se ni zagnalo, ker je bilo dejanje nepovratno brez odobritve, ne zato, ker je stavek v pozivu upal na preudarnost. Upati je lepa človeška lastnost. Ni nadzorna ravnina.
Pozivi so še vedno pomembni. Oblikujejo okvir, negotovost, ton in način razmišljanja. Replay jim preprosto prepreči, da bi bili edino mesto, kjer se skriva odgovornost. To je bolj zdravo za vse, tudi za osebo, ki mora poziv vzdrževati šest mesecev pozneje, ko je ta postal občutljiv fosil preteklih sestankov.
Cena uporabne razlage
Uporabna razlaga ima svojo ceno. Zajemanje dokazov stane prostor za shranjevanje in inženirski čas. Različice virov zahtevajo disciplino. Shranjevanje posnetkov stane denar. Oblikovanje pogledov za posamezne vloge stane oblikovanje izdelka. Pregled zasebnosti zahteva pozornost. Testi Replay stanejo čas izvajanja. Človeku berljive kode razlogov zahtevajo strokovno delo na področju. Ti stroški so resnični. Pretvarjanje, da niso, je način, kako organizacije končajo bodisi s preveč zgrajenimi arhivi bodisi s šarmantno neuporabnimi razlagami.
Pravo vprašanje je, kakšno raven Replay si odločitev zasluži. Priložnostni pomočnik pri pisanju morda potrebuje lahke sledi in kratko hrambo. Klinična pomoč pri triaži potrebuje močnejše dokaze, posnetke virov, zapise pregledov in podporo za pritožbe. Odločitev o javnih prejemkih potrebuje potrdila za posamezne primere in pravno različčenje. Sistem za preiskovanje goljufij potrebuje skrbno ravnovesje med razložljivostjo, varnostjo in izpodbojnostjo. Ena sama drža Replay za vse sisteme je prav tako nesmiselna kot ena številka čevljev za vsak sestanek.
Kompromisi morajo biti izrecni. Več podrobnosti izboljša pregled, vendar lahko poveča tveganje za zasebnost. Močni posnetki izboljšajo Replay, vendar stanejo denar. Hitrejši sistemi lahko zajamejo manj. Bogatejše razlage lahko razkrijejo občutljivo logiko. Človeški zapiski lahko pojasnijo presojo, vendar ustvarijo tudi zapise, ki potrebujejo upravljanje. To so oblikovalske odločitve, ne izgovori. Resne ekipe jih poimenujejo pred uvedbo. Manj resne ekipe jih odkrijejo med pritožbami in temu nato rečejo pridobljene izkušnje, kar je tradicionalna fraza, ki pomeni morda naslednjič.
Najboljši sistemi Replay so skromni in zanesljivi. Zajamejo dokaze, potrebne za vprašanja, na katera mora in želi organizacija odgovarjati. Izogibajo se beleženju vsega. Razlage ustvarjajo iz dokazov, ne iz občutkov. Priznajo negotovost. Naredijo manjkajoče dokaze vidne. Ekipam omogočajo izboljšave. To ni bleščeče. Dobro upravljanje redko je. Njegov najvišji dosežek je pogosto to, da je na težko vprašanje mogoče odgovoriti, ne da bi vsi postali teatralični.
Sporočilo
Razložljivost brez predvajanja je gledališče, ker prepričljivo poročilo zamenjuje za preverljivo. Ustvarjen razlog, nadzorna plošča, kartica modela in samozavesten pregledovalec lahko vsi pomagajo. Nobeden od njih ni dovolj, ko je treba rekonstruirati odločitev z velikim vplivom. Sistem potrebuje pot: kontekst, vire, navodila, stanje modela, preverjanja pravilnikov, dejanja orodij, človeško presojo, rezultat in učinek.
Predvajanje ne zahteva popolne determiniranosti. Zahteva discipliniran spomin. Zahteva stabilne reference, različice, posnetke, kjer so potrebni, poglede glede na vlogo, meje zasebnosti in zapise, ki povedo, kdaj dokazi manjkajo. Razlago obravnava kot pogled na dokaze, ne kot zgodbo, izmišljeno naknadno. Prizadetim daje nekaj, kar lahko izpodbijajo, operaterjem nekaj, kar lahko popravijo, in revizorjem nekaj boljšega od vodenega ogleda upanja.
Prihodnost razložljive umetne inteligence ne bo zmagala zgolj z lepšim besedilom razlag. Zmagali bodo sistemi, ki se lahko vrnejo po lastnem delu. Če je pot mogoče predvajati, je razlago mogoče preizkusiti. Če poti ni mogoče predvajati, je razlaga morda še vedno zgovorna. Morda je celo resnična. Toda v resnih okoliščinah je zgovornost slab nadomestek za stroje, ki lahko pokažejo svoje delo.