Objašnjivost bez ponavljanja je teatar.
Objašnjenje koje je stiglo prekasno
Neugodno objašnjenje obično stigne nakon što je odluka već imala posljedice. Kupac je odbijen. Pacijent je preusmjeren. Student je označen. Pošiljka je odgođena. Građanin je dobio uputu da pričeka. AI sustav proizveo je odgovor prije nekoliko dana ili tjedana, svi su bili zauzeti, red se pomaknuo, a sada netko želi znati zašto se odgovor dogodio. Tada organizacija otkriva ima li objašnjivost ili samo odjel za objašnjenja.
Prva verzija često izgleda razumno. Nadzorna ploča prikazuje pouzdanost. Kartica modela kaže da je sustav testiran. Generirani odlomak objašnjava da je nekoliko čimbenika doprinijelo ishodu. Recenzent se sjeća da su dokazi u to vrijeme izgledali dobro. Izvoz zapisa sadrži mnogo redaka i stoga djeluje ozbiljno. Ljudi se okupljaju oko artefakata i počinju pripovijedati. Možda su iskreni. Možda su vješti. Možda su čak i u pravu. Ali ako se put ne može ponovno reproducirati, objašnjenje je predstava s rekvizitima.
Reprodukcija mijenja standard. Postavlja pitanje može li organizacija rekonstruirati put odluke iz stvarnih sastavnica: zahtjeva, identiteta, stanja podataka, rezultata pretraživanja, upute ili instrukcije, verzije modela, postavki, poziva alata, provjera politika, ljudskih radnji, vremenskog slijeda i izlaza. Ne sličan put. Ne uvjerljiv put. Put koji je proizveo odgovor ili kontrolirani prikaz zašto je točna reprodukcija nemoguća i koji se dio ne može povratiti. To je manje glamurozno od ploče s objašnjenjima. Također je mnogo teže lažirati.
Objašnjivost bez reprodukcije kazalište je jer poziva ljude da se dive priči umjesto da ispituju sustav. Kazalište nije beskorisno. Dobro kazalište može poučiti, utješiti, upozoriti i povremeno održati seosku dvoranu živom. No ne bi trebalo odlučivati je li automatizirana odluka bila zakonita, poštena, proporcionalna ili ispravna. Za to publici treba strojarija iza pozornice.
Zašto tečan razlog nije dovoljan
Veliki jezični modeli vrlo su dobri u stvaranju razloga. To je dio njihove korisnosti i dio problema. Razlog može biti jasan, uvjerljiv, pristojan i odvojen od stvarnog puta koji je proizveo odgovor. Sustav može objasniti klasifikaciju navodeći čimbenike koji zvuče relevantno, dok je stvarni utjecaj došao iz zastarjelog izvora, grane upute, skrivene zadane vrijednosti ili rezultata alata koji se nikada ne pojavljuje u tekstu. Tekst može biti koristan. Ali nije automatski dokaz.
To nije posebna moralna mana umjetne inteligencije. I ljudi naknadno objašnjavaju svoje postupke s velikom dozom kreativnosti i selektivnog pamćenja. Razlika je u razmjeru i teksturi. AI sustavi mogu generirati tisuće odluka, svaku s urednim objašnjenjem, dok operativni put ovisi o premještanju podataka, verzija, predmemorija, pravila i usluga. Sloj objašnjenja može ostati miran dok se temeljni proces ponaša poput ladice s priborom za jelo tijekom potresa.
Korisno objašnjenje mora odgovoriti na dva pitanja. Koje razloge osoba može razumjeti. Koji dokazi pokazuju da su ti razlozi povezani s onim što se stvarno dogodilo. Prvo se pitanje odnosi na komunikaciju. Drugo se odnosi na reprodukciju. Ako organizacija može odgovoriti samo na prvo, možda ima dobro korisničko iskustvo, ali slabu površinu za odgovornost. To je opasno jer objašnjenje može postati uvjerljivije upravo onda kada bi trebalo postati skromnije.
Postoje situacije u kojima je jednostavno objašnjenje dovoljno. Ako pomoćnik niskog rizika predloži ispravak pravopisa, nikome ne treba forenzička rekonstrukcija ekonomije samoglasnika. No kada ishod utječe na prava, novac, pristup, sigurnost, profesionalnu prosudbu ili povjerenje javnosti, organizaciji treba više od tečnog razloga. Treba joj put natrag kroz sustav. Osoba bi trebala moći pitati: pokaži mi što je sustav vidio, što mu je bilo dopušteno učiniti, koja je verzija radila, koje je pravilo primijenjeno, tko se na njega oslonio i kako to mogu osporiti.
Reprodukcija nije samo determinizam
Kada ljudi čuju reprodukciju, često pomisle na pritiskanje gumba i dobivanje potpuno istog niza tokena. Ponekad je to moguće. Ponekad nije. Modeli mogu biti stohastični. Vanjske usluge mogu se promijeniti. Indeksi za pretraživanje mogu se osvježiti. Vremenski osjetljivi podaci mogu isteći. Alat može ovisiti o ograničenju stope, tržišnoj cijeni, stanju kalendara ili ljudskom unosu. Točno ponavljanje bit po bit korisno je kada je dostupno, ali reprodukcija je šira disciplina od determinističke nostalgije.
Reprodukcija znači da sustav može rekonstruirati put odlučivanja na razini potrebnoj za pitanje. Za činjenični odgovor to može značiti izvore, rangiranja, isječke, upit, verziju modela i izlaz. Za radnju alata to može značiti ovlasti, parametre, provjere pravila, stanje odobrenja, rezultat izvršenja i zapis u nizvodnom sustavu. Za odluku uz pomoć čovjeka to može značiti preporuku modela, paket dokaza, radnju recenzenta, neslaganje i konačni ishod. Cilj je učiniti prošlost dostupnom za uvid, a ne pretvarati se da je prošlost bila laboratorijski uzorak pod staklom.
Ova razlika je važna jer točna reprodukcija može postati izgovor za nedjelovanje. Tim kaže da je model nedeterminističan, stoga je reprodukcija nemoguća, stoga će se objašnjenja generirati na zahtjev. To je kao reći da se vrijeme ne može premotati unatrag, stoga nema smisla čuvati zapis leta. Možda ne možemo reproducirati svaku molekulu turbulencije. I dalje možemo zabilježiti visinu, smjer, komande, upozorenja i odluke. AI sustavi zaslužuju istu skromnost i istu disciplinu.
Reprodukcija također treba opseg. Snimati sve zauvijek nije odgovorno. To stvara rizik za privatnost, trošak i upravljačku maglu. Dizajn reprodukcije trebao bi prikupiti minimalne dokaze potrebne za rekonstrukciju važnih putova, uz zadržavanje i pristup usklađene s rizikom. Izbor nije između potpunog pamćenja i teatralne amnezije. Ozbiljni sustavi žive u sredini, gdje su dokazi svrhoviti, ograničeni i dovoljno čvrsti da odgovore na kasnija pitanja.
Gdje reprodukcija puca
Replay se obično prekida na granicama. Poziv modela lako je zapamtiti jer svi gledaju u njega. Okolni kontekst je mjesto gdje činjenice pobjegnu. Uloga korisnika se promijenila. Izvorni dokument je prepisan. Indeks za pretraživanje je ponovno izgrađen bez snimke. Predložak upita je uređivan na mjestu. Politički mehanizam koristio je trenutno pravilo kada se pitalo o prošlom mjesecu. Alat je vratio vrijednost od danas. Ljudski recenzent vidio je zaslon koji više ne postoji. Sat sustava bio je pogrešan u jednoj usluzi, a točan u drugoj, mali dar distribuiranih sustava budućim sastancima.
Truljenje konteksta posebno je često u sustavima za pretraživanje. Generirani odgovor citira stranicu s politikom. Šest mjeseci kasnije stranica se promijenila. Citat se i dalje razrješava, ali više ne kaže ono što je govorio. Objašnjenje kaže da se sustav oslanjao na politiku, što je istinito na najbeskorisniji način. Bez hash sadržaja, verzije, snimke ili arhivske reference, organizacija ne može pokazati koja je politika oblikovala odgovor. Može samo pokazati trenutnu stranicu i nadati se da će povijest biti suradljiva.
Korištenje alata stvara još jedan prekid. Model može odlučiti pozvati alat, ali objašnjenje možda neće sačuvati parametre, provjeru dopuštenja, odgovor, put ponavljanja ili nuspojavu. Izlaz tada izgleda kao odgovor dok se važna radnja dogodila negdje drugdje. Ako je alat promijenio zapis, poslao poruku, ocijenio rizik ili pokrenuo tijek rada, replay mora pratiti tu granicu. Inače objašnjenje opisuje dio koji govori, a propušta ruku koja je pomaknula polugu.
Ljudska recenzija također može prekinuti replay. Recenzent može vidjeti dokaze, donijeti prosudbu i ostaviti samo konačni status. Kasnije organizacija kaže da je čovjek bio uključen. To je istinito i tanko. Koje je dokaze recenzent vidio. Jesu li promijenili izlaz. Jesu li prihvatili preporuku ili donijeli neovisnu odluku. Jesu li imali vremena. Jesu li zabilježili sumnju. Je li sučelje pokazalo povjerenje na način koji ih je gurnuo. Ako ljudsko stanje nije zabilježeno, ljudska recenzija postaje zavjesa. Izgleda umirujuće iz publike. Iza nje nitko ne može pronaći stolicu.
Objašnjenje bi trebalo biti pogled na dokaze
Bolji obrazac je tretirati objašnjenje kao pogled na dokaze replaya. Paket dokaza je temeljni zapis. Objašnjenje je prikaz odabranih dijelova tog zapisa namijenjen ljudima. Građanin može vidjeti kratak prikaz kategorija izvora, osnove pravila, automatske podrške, ljudske recenzije i puta žalbe. Operater može vidjeti isječke izvora, povjerenje, provjere politike i rezultate alata. Revizor može vidjeti hash vrijednosti, verzije, vremenske oznake, događaje odobrenja i stanje čuvanja. Različiti pogledi, ista okosnica dokaza.
To sprječava da objašnjenja postanu izmišljena proza. Sustav ne bi trebao tražiti od modela da objasni prošlu odluku iz sjećanja ili iz sažetka o samome sebi. Objašnjenje bi trebalo generirati ili sastaviti iz zabilježenih dokaza. Ako dokazi nedostaju, objašnjenje bi to trebalo reći. Nedostatak dokaza nije neugodnost korisničkog sučelja. To je činjenica o odgovornosti odluke. Sakriti ga pod glađim odlomkom način je na koji kazalište postaje skupo.
Objašnjenje utemeljeno na dokazima također poboljšava pristupačnost. Ljudi na koje odluke utječu ne trebaju sirove zapise. Trebaju razumljive razloge, putove do ispravka i dovoljno pojedinosti za osporavanje. Programeri i revizori trebaju dublje slojeve. Odvajanje dokaza od prikaza omogućuje sustavu da posluži oboje bez brkanja transparentnosti s izbacivanjem tehničkog materijala na ljude dok ne odustanu. Trag od tisuću redaka može biti jednako neproziran kao crna kutija ako ga se da pogrešnoj publici.
Prikaz također mora izbjegavati pretjerivanje. Objašnjenje modela ne bi smjelo pretvarati se da otkriva unutarnje psihološke motive. Objašnjenje rezultata ne bi smjelo prevoditi korelaciju u moralnu osudu. Objašnjenje dohvaćanja ne bi smjelo implicirati da su necitirani izvori bili nevažni ako nikada nisu ni dohvaćeni. Dobro objašnjenje koristi suhoparan jezik: ovaj je zahtjev koristio ove verzije izvora, prema ovim pravilima, s ovom postavkom modela, proizvevši ovaj rezultat, pregledan od strane ove uloge, što je dovelo do ove radnje. Suhoparan jezik je podcijenjen. Ima manje mjesta za skrivanje besmislica.
Ponavljanje zatvara krug učenja
Ponavljanje nije samo za revizije i pritužbe. To je način na koji sustavi uče bez laganja samima sebi. Ako se pojavi loš rezultat, ponavljanje omogućuje timu da pregleda put. Je li izvor nedostajao. Je li izvor bio prisutan, ali rangiran prenisko. Je li upit potisnuo nesigurnost. Je li model zanemario pravilo. Je li alat vratio pogrešno stanje. Je li ljudski recenzent odobrio jer je paket dokaza bio loše osmišljen. Je li sukob politika prisilio na krhki put. Svaki odgovor upućuje na drugi popravak.
Bez ponavljanja, poboljšanje postaje praznovjerje. Tim mijenja upit jer su upiti vidljivi. Zamjenjuje model jer su modeli uzbudljivi. Dodaje upozorenje jer su upozorenja jeftina. Stvarni problem mogao je biti zastarjeli indeks, neverzionirano pravilo, tihi kvar dopuštenja ili sučelje recenzenta koje je skrivalo neslaganje. Praznovjerje može proizvesti kretanje. Rijetko proizvodi kontrolu. Organizacija se osjeća zaposlenom i ostaje zbunjena, popularan, ali iscrpljujući operativni model.
Krug ponavljanja može hraniti evaluaciju. Neuspjeli slučajevi postaju testni slučajevi s očuvanim kontekstom. Ljudske ispravke postaju označeni primjeri. Ishodi žalbi postaju signali upravljanja. Kvarovi svježine izvora postaju metrike kvalitete podataka. Pogreške alata postaju testovi ugovora. Sustav dobiva sjećanje na svoje pogreške koje je bogatije od hrpe pritužbi. To sjećanje omogućuje timovima da unesu promjene i zatim usporede novi put sa starim.
Ponavljanje također štiti od kazališta poboljšanja. Nova verzija može proizvesti ljepša objašnjenja dok donosi lošije odluke. Druga može poboljšati točnost, ali oslabiti ponašanje odbijanja. Treća može smanjiti latenciju izbacivanjem dokaza iz izvora. Ako organizacija bilježi i ponavlja slučajeve, može vidjeti kompromise. Ako samo uzorkuje uglađena objašnjenja, bit će u iskušenju povjerovati verziji s najboljim manirima.
Prigovor o privatnosti je stvaran
Replay može biti loše osmišljen. Lijena verzija bilježi sve: cijele upite, cijele dokumente, osobne podatke, izlaze alata, interne bilješke, komentare recenzenata, a možda i boju stolice ako je senzor bio u blizini. Zatim organizacija to naziva revizijom i stvara drugi rizični prostor. To nije zrelo. To je gomilanje sa značkom usklađenosti.
Odgovoran dizajn replayja počinje svrhom. Koje odluke trebaju replay. Koji su dokazi nužni. Koji se dijelovi mogu referencirati stabilnim identifikatorom umjesto kopiranjem. Koje vrijednosti treba hashirati. Koji sadržaj treba redigirati. Koje uloge mogu pristupiti dubljim slojevima. Koje razdoblje zadržavanja odgovara pravnoj i ljudskoj vrijednosti procesa. Koje dokaze nikada ne treba snimati jer rizik nadmašuje korist. Ta pitanja nisu prepreke objašnjivosti. Ona su njezin dio.
Replay koji čuva privatnost često znači slojevitost. Javno objašnjenje može sadržavati kategorije i razloge. Interna revizija može sadržavati identifikatore izvora i isječke. Revizijski sloj može sadržavati hashove, vremenske oznake i potpise. Sloj incidenata može zahtijevati privremeni širi pristup pod strogom kontrolom. Slojevi bi se trebali povezivati, ali se ne bi trebali stopiti u jedan golemi arhiv dostupan svima koji znaju gdje je gumb za izvoz. Gumbi za izvoz nisu upravljanje. Oni su vrata, a vrata zahtijevaju brave.
Postoji i razlog pravednosti za pažljivo osmišljavanje replayja. Ako samo neki slučajevi dobiju detaljne zapise jer su visokorizični ili visokovrijedni, organizacija bi to trebala znati i opravdati. Ako su slučajevi niskog rizika nedovoljno zabilježeni, ljudi bi mogli imati manje mogućnosti osporiti pogreške u tim procesima. Ako su visokorizični slučajevi prekomjerno zabilježeni, osjetljive skupine mogle bi nositi teži nadzor. Replay nije neutralno pamćenje. To je dizajnerski izbor o tome čija se prošlost može pregledavati i tko to može činiti.
Replay mijenja način na koji timovi pišu upite
Kada replay postane važan, upiti prestaju biti privatni folklor. Upit postaje dio puta odlučivanja. Treba mu verzioniranje, vlasništvo, testovi i odnos prema politici. To ne znači da svaka izmjena formulacije zahtijeva ceremoniju s keksima. To znači da se važan upit ne bi trebao uređivati na mjestu bez ostavljanja zapisa. Ako se upit promijenio između odluke i žalbe, organizacija mora znati koji je primijenjen.
Replay također čini upite manjima na pravim mjestima. Timovi često strpaju politike, oblikovanje, pravila odbijanja, upute o podacima, ton, korištenje alata, primjere i operativna ograničenja u jedan dugačak upit. Zatim od njega traže da bude upravljanje, sučelje i memorija. Sustav koji se može reproducirati može dio te strukture premjestiti u eksplicitne kontrole: političke kapije, filtre izvora, validatore sheme, dopuštenja za alate i prijelaze stanja. Upit može raditi jezični posao umjesto da se pretvara da je ustav.
To poboljšava objašnjenja jer sustav može pokazati na konkretne kontrole. Odgovor je odbijen jer je politička kapija blokirala medicinski savjet izvan uloge, a ne zato što je model imao nejasan osjećaj. Izvor je isključen jer ga je ugovor o podacima označio kao izvan svrhe, a ne zato što je upit rekao da treba biti oprezan s privatnošću. Alat se nije pokrenuo jer je radnja bila nepovratna bez odobrenja, a ne zato što je rečenica u upitu nadala razboritosti. Nada je lijepa ljudska osobina. Nije upravljačka ravnina.
Upiti i dalje imaju značaja. Oblikuju okvir, nesigurnost, ton i ponašanje zaključivanja. Replay ih jednostavno sprječava da budu jedino mjesto gdje se skriva odgovornost. To je zdravije za sve, uključujući i osobu koja održava upit šest mjeseci kasnije, kada je postao delikatan fosil prošlih sastanaka.
Cijena korisnog objašnjenja
Korisno objašnjenje ima svoju cijenu. Prikupljanje dokaza košta pohranu i inženjersko vrijeme. Verzioniranje izvora zahtijeva disciplinu. Čuvanje snimaka košta novac. Izgradnja prikaza specifičnih za ulogu košta dizajn proizvoda. Pregled privatnosti košta pažnju. Testovi reprodukcije koštaju vrijeme izvođenja. Kodovi razloga čitljivi ljudima koštaju domenski rad. Ti su troškovi stvarni. Pretvaranje da nisu način je na koji organizacije završe ili s prekomjerno izgrađenim arhivima ili sa šarmantno beskorisnim objašnjenjima.
Pravo je pitanje koja razina reprodukcije zaslužuje odluku. Ležerni pomoćnik za pisanje možda treba lagane tragove i kratko zadržavanje. Klinički alat za trijažu treba čvršće dokaze, snimke izvora, zapise o pregledu i podršku za žalbe. Odluka o javnoj naknadi treba potvrde na razini slučaja i pravno verzioniranje. Sustav za istragu prijevara treba pažljivu ravnotežu između objašnjivosti, sigurnosti i osporivosti. Jedan stav prema reprodukciji za svaki sustav jednako je besmislen kao jedna veličina cipela za svaki sastanak.
Kompromisi trebaju biti eksplicitni. Više detalja poboljšava uvid, ali može povećati rizik za privatnost. Jake snimke poboljšavaju reprodukciju, ali koštaju novac. Brži sustavi mogu zabilježiti manje. Bogatija objašnjenja mogu otkriti osjetljivu logiku. Ljudske bilješke mogu pojasniti prosudbu, ali i stvoriti zapise kojima je potrebno upravljanje. To su dizajnerske odluke, ne isprike. Ozbiljni timovi imenuju ih prije implementacije. Manje ozbiljni timovi otkriju ih tijekom pritužbi i onda to nazovu naučenim lekcijama, što je tradicionalni izraz koji znači sljedeći put, možda.
Najbolji sustavi za reprodukciju skromni su i pouzdani. Bilježe dokaze potrebne za pitanja na koja je organizacija vjerojatno i dužna odgovoriti. Izbjegavaju bilježiti sve. Proizvode objašnjenja iz dokaza, ne iz osjećaja. Priznaju nesigurnost. Čine nedostatak dokaza vidljivim. Omogućuju timovima da se poboljšaju. To nije blještavo. Dobro upravljanje rijetko jest. Njegovo najveće postignuće često je to da se na teško pitanje može odgovoriti bez da svi postanu teatralni.
Pouka
Objašnjivost bez ponovnog prikaza kazalište je jer uvjerljiv prikaz pogrešno smatra provjerljivim. Generirani razlog, nadzorna ploča, kartica modela i samouvjereni recenzent mogu svi pomoći. Nijedan od njih nije dovoljan kada se odluka s velikim učinkom mora rekonstruirati. Sustav treba put: kontekst, izvore, upute, stanje modela, provjere politika, radnje alata, ljudsku prosudbu, izlaz i učinak.
Ponovni prikaz ne zahtijeva savršeni determinizam. Zahtijeva discipliniranu memoriju. Zahtijeva stabilne reference, verzije, snimke gdje je potrebno, prikaze specifične za ulogu, granice privatnosti i zapise koji kažu kada dokazi nedostaju. Objašnjenje tretira kao prikaz nad dokazima, a ne kao priču izmišljenu naknadno. Daje pogođenima nešto što mogu osporiti, operaterima nešto što mogu popraviti, a revizorima nešto bolje od vođenog obilaska nade.
Budućnost objašnjive umjetne inteligencije neće se osvojiti samo ljepšim tekstom objašnjenja. Osvojit će je sustavi koji se mogu vratiti kroz vlastiti rad. Ako se put može ponovno prikazati, objašnjenje se može testirati. Ako se put ne može ponovno prikazati, objašnjenje i dalje može biti rječito. Može čak biti i istinito. Ali u ozbiljnim okruženjima rječitost je loša zamjena za stroj koji može pokazati svoj rad.