Színház a magyarázhatóság visszajátszás nélkül
A magyarázat, amely túl későn érkezett
A kínos magyarázat általában akkor érkezik meg, amikor a döntésnek már tétje volt. Egy ügyfelet elutasítottak. Egy beteget átirányítottak. Egy diákot megjelöltek. Egy szállítmány késik. Egy állampolgárt arra kértek, hogy várjon. Az AI-rendszer napokkal vagy hetekkel korábban adott választ, mindenki elfoglalt volt, a sor továbbhaladt, és most valaki tudni szeretné, miért született az a válasz. Ilyenkor derül ki, hogy a szervezetnek van-e magyarázhatósága, vagy csak egy magyarázatokat gyártó részlege.
Az első változat gyakran elfogadhatónak tűnik. Egy irányítópult megmutatja a megbízhatóságot. Egy modellkártya azt állítja, hogy a rendszert tesztelték. Egy generált bekezdés elmagyarázza, hogy több tényező is hozzájárult az eredményhez. Egy felülvizsgáló emlékszik, hogy az adatok akkor rendben lévőnek tűntek. Egy naplóexport sok sort tartalmaz, és ezért komolynak tűnik. Az emberek az artefaktumok köré gyűlnek, és elkezdik a történetet mesélni. Lehetnek őszinték. Lehetnek hozzáértők. Akár igazuk is lehet. De ha az út nem játszható újra, a magyarázat nem más, mint kellékekkel előadott produkció.
Az újrajátszás megváltoztatja a mércét. Azt kérdezi, hogy a szervezet képes-e rekonstruálni a döntési utat a tényleges összetevőkből: kérés, azonosító, adatállapot, lekérdezési eredmények, utasítás vagy parancs, modellverzió, beállítások, eszközhívások, szabályzatellenőrzések, emberi műveletek, időzítés és kimenet. Nem hasonló utat. Nem plauzibilis utat. Hanem azt az utat, amely a választ létrehozta, vagy egy ellenőrzött beszámolót arról, hogy miért lehetetlen a pontos újrajátszás, és melyik rész nem állítható helyre. Ez kevésbé látványos, mint egy magyarázópanel. Sokkal nehezebb is hamisítani.
A magyarázhatóság újrajátszás nélkül színház, mert arra hívja az embereket, hogy egy történetet csodáljanak, ahelyett hogy egy rendszert vizsgálnának. A színház nem haszontalan. A jó színház taníthat, vigasztalhat, figyelmeztethet, és időnként életben tarthat egy falusi művelődési házat. De nem az a feladata, hogy eldöntse, egy automatizált döntés jogszerű, méltányos, arányos vagy helyes volt-e. Ehhez a közönségnek a kulisszák mögötti gépezetre van szüksége.
Miért nem elég a gördülékeny indoklás
A nagy nyelvi modellek nagyon jól tudnak indokokat gyártani. Ez a hasznosságuk része, és egyben a probléma része is. Egy indok lehet világos, plauzibilis, udvarias, és teljesen független attól az úttól, amely a választ létrehozta. A rendszer magyarázhat egy osztályozást olyan tényezők felsorolásával, amelyek relevánsnak hangzanak, miközben a valódi befolyás egy elavult forrásból, egy utasításágazatból, egy rejtett alapértelmezésből vagy egy eszközeredményből származott, amely soha nem jelenik meg a szövegben. A szöveg lehet hasznos. De nem automatikusan bizonyíték.
Ez nem az MI sajátos erkölcsi hiányossága. Az emberek is nagy kreativitással és szelektív emlékezettel magyarázzák meg utólag a tetteiket. A különbség a méretben és a szerkezetben van. Az MI-rendszerek több ezer döntést képesek generálni, mindegyikhez egy rendezett magyarázattal, miközben a működési út az adatok, verziók, gyorsítótárak, szabályzatok és szolgáltatások mozgásától függ. A magyarázati réteg nyugodt maradhat, miközben a mögöttes folyamat úgy viselkedik, mint egy evőeszköztartó egy földrengésben.
Egy használható magyarázatnak két kérdésre kell választ adnia. Milyen okokat tud egy ember megérteni. Milyen bizonyíték mutatja, hogy ezek az okok kapcsolatban állnak azzal, ami valójában történt. Az első kérdés a kommunikációról szól. A második a visszajátszásról. Ha a szervezet csak az elsőre tud válaszolni, lehet, hogy jó felhasználói élményt nyújt, de gyenge az elszámoltathatósági felülete. Ez veszélyes, mert a magyarázat pont akkor válhat meggyőzőbbé, amikor szerényebbnek kellene lennie.
Vannak helyzetek, amikor egy egyszerű magyarázat is elegendő. Ha egy alacsony kockázatú asszisztens helyesírási javítást javasol, senkinek nincs szüksége a magánhangzó-gazdaság törvényszéki rekonstrukciójára. De amikor egy kimenet jogokat, pénzt, hozzáférést, biztonságot, szakmai ítélőképességet vagy közbizalmat érint, a szervezetnek többre van szüksége egy gördülékeny indoknál. Visszavezethető útra van szüksége a rendszeren keresztül. Egy embernek tudnia kell kérdeznie: mutasd meg, mit látott a rendszer, mit tehetett meg, melyik verzió futott, melyik szabály vonatkozott rá, ki támaszkodott rá, és hogyan tudom megóvni.
A visszajátszás nem csak determinizmus
Az emberek gyakran úgy hallják a visszajátszást, hogy megnyomnak egy gombot, és pontosan ugyanazt a tokensorozatot kapják. Néha ez lehetséges. Néha nem. A modellek lehetnek sztochasztikusak. A külső szolgáltatások változhatnak. A keresési indexek frissülhetnek. Az időérzékeny adatok lejárhatnak. Egy eszköz függhet egy sebességkorláttól, egy piaci ártól, egy naptárállapottól vagy egy emberi bemenettől. A pontos, bitről bitre történő ismétlés hasznos, ha elérhető, de a visszajátszás tágabb fegyelem, mint a determinisztikus nosztalgia.
A visszajátszás azt jelenti, hogy a rendszer képes rekonstruálni a döntési utat a kérdéshez szükséges szinten. Egy tényszerű válasz esetén ez jelentheti a forrásokat, rangsorokat, részleteket, a promptot, a modellverziót és a kimenetet. Egy eszközművelet esetén jelentheti a jogosultságot, a paramétereket, a szabályzatellenőrzéseket, a jóváhagyási állapotot, a végrehajtási eredményt és a későbbi nyilvántartást. Egy emberi segítséggel hozott döntés esetén jelentheti a modellajánlást, a bizonyítékcsomagot, a felülvizsgáló intézkedését, a nézeteltérést és a végső eredményt. A cél az, hogy a múlt vizsgálható legyen, nem pedig az, hogy úgy tegyünk, mintha a múlt egy üveg alatt tartott laboratóriumi minta lett volna.
Ez a megkülönböztetés azért fontos, mert a pontos visszajátszás kifogássá válhat a tétlenségre. Egy csapat azt mondja, hogy a modell nem determinisztikus, ezért a visszajátszás lehetetlen, ezért a magyarázatokat igény szerint generálják. Ez olyan, mintha azt mondanánk, hogy az időjárást nem lehet visszatekergetni, ezért nincs értelme repülési adatrögzítőt vezetni. Lehet, hogy nem reprodukáljuk a turbulencia minden molekuláját. Mégis rögzíthetjük a magasságot, az irányt, a vezérléseket, a figyelmeztetéseket és a döntéseket. Az MI-rendszerek ugyanazt az alázatot és ugyanazt a fegyelmet érdemlik.
A visszajátszásnak terjedelmi korlátokra is szüksége van. Mindent örökre rögzíteni nem felelős magatartás. Adatvédelmi kockázatot, költséget és irányítási ködöt teremt. A visszajátszási tervezésnek a minimális bizonyítékot kell rögzítenie, amely a következményekkel járó utak rekonstruálásához szükséges, a megőrzés és a hozzáférés a kockázathoz igazítva. A választás nem a teljes emlékezet és a színpadi amnézia között van. A komoly rendszerek a középúton élnek, ahol a bizonyíték célirányos, korlátozott és elég erős ahhoz, hogy későbbi kérdésekre válaszoljon.
Hol törik meg a visszajátszás
Az újrajátszás általában a határoknál törik meg. A modellhívást könnyű megjegyezni, mert mindenki arra figyel. A környező kontextus az, ahol a tények elillannak. A felhasználói szerep megváltozott. A forrásdokumentumot felülírták. A keresési indexet pillanatkép nélkül építették újra. A prompt sablont a helyén szerkesztették meg. A szabálymotor a jelenlegi szabályt használta, amikor a múlt hónapról kérdezték. Az eszköz a mai napról adott vissza egy értéket. Az emberi ellenőr olyan képernyőt látott, amely már nem létezik. A rendszeróra az egyik szolgáltatásban rossz volt, a másikban pedig helyes, egy kis ajándék az elosztott rendszerektől a jövőbeli megbeszéléseknek.
A kontextusromlás különösen gyakori a keresőrendszerekben. Egy generált válasz hivatkozik egy szabályzati oldalra. Hat hónappal később az oldal megváltozott. A hivatkozás továbbra is működik, de már nem azt mondja, amit korábban. A magyarázat azt állítja, hogy a rendszer a szabályzatra támaszkodott, ami a lehető leghaszontalanabb értelemben igaz. Tartalmi hash, verzió, pillanatkép vagy archivált hivatkozás nélkül a szervezet nem tudja megmutatni, melyik szabályzat alakította a választ. Csak a jelenlegi oldalt tudja megmutatni, és remélni, hogy a történelem együttműködő lesz.
Az eszközhasználat újabb törést okoz. A modell úgy dönthet, hogy meghív egy eszközt, de a magyarázat nem feltétlenül őrzi meg a paramétereket, az engedélyellenőrzést, a választ, az újrapróbálkozási útvonalat vagy a mellékhatást. Az eredmény ezután úgy néz ki, mint egy válasz, miközben a fontos művelet máshol történt. Ha az eszköz módosított egy rekordot, üzenetet küldött, kockázatot értékelt vagy munkafolyamatot indított, az újrajátszásnak követnie kell ezt a határt. Ellenkező esetben a magyarázat a beszélő részt írja le, és elmulasztja a kezet, amely a kart mozdította.
Az emberi ellenőrzés is megtörheti az újrajátszást. Az ellenőr láthat bizonyítékot, ítéletet hozhat, és csak egy végső státuszt hagyhat hátra. Később a szervezet azt mondja, hogy ember is részt vett. Ez igaz, de vékony. Melyik bizonyítékot látta az ellenőr. Megváltoztatták-e a kimenetet. Elfogadtak-e egy ajánlást, vagy önálló döntést hoztak. Volt-e idejük. Rögzítették-e a kételyt. Az interfész olyan módon mutatta-e a bizalmat, amely befolyásolta őket. Ha az emberi állapot nincs rögzítve, az emberi ellenőrzés függönnyé válik. A közönség felől megnyugtatónak tűnik. Mögötte senki sem találja a széket.
A magyarázatnak a bizonyítékok nézete kell lennie
A jobb minta az, ha a magyarázatot az újrajátszási bizonyítékok nézeteként kezeljük. A bizonyítékcsomag az alapul szolgáló rekord. A magyarázat a rekord kiválasztott részeinek emberi olvasásra szánt megjelenítése. Egy állampolgár láthat egy rövid összefoglalót a forráskategóriákról, a szabályalapról, az automatizált támogatásról, az emberi ellenőrzésről és a fellebbezési útról. Egy üzemeltető láthat forrásrészleteket, bizalmi szinteket, szabályzatellenőrzéseket és eszközeredményeket. Egy auditor láthat hash-eket, verziókat, időbélyegeket, jóváhagyási eseményeket és megőrzési állapotot. Különböző nézetek, ugyanaz a bizonyítékgerinc.
Ez megakadályozza, hogy a magyarázatok kitalált prózává váljanak. A rendszernek nem szabad arra kérnie egy modellt, hogy emlékezetből vagy önmaga összefoglalójából magyarázzon el egy múltbeli döntést. A magyarázatot rögzített bizonyítékokból kell előállítania vagy összeállítania. Ha hiányoznak a bizonyítékok, a magyarázatnak ezt ki kell mondania. A hiányzó bizonyíték nem felhasználói felületi kellemetlenség. Ez a döntés elszámoltathatóságának ténye. Ha egy gördülékenyebb bekezdés alá rejtjük, attól lesz drága a teátrális mutatvány.
A bizonyítékokon alapuló magyarázat a hozzáférhetőséget is javítja. Azoknak, akiket a döntések érintenek, nem nyers naplókra van szükségük. Érthető indokokra, a korrekció útjaira és a fellebbezéshez elegendő részletre van szükségük. A fejlesztőknek és az ellenőröknek mélyebb rétegekre van szükségük. A bizonyítékok és a nézetek szétválasztása lehetővé teszi, hogy a rendszer mindkettőt kiszolgálja anélkül, hogy az átláthatóságot összekeverné a technikai anyagok emberekre zúdításával, amíg fel nem adják. Egy ezersoros nyomkövetési napló ugyanolyan átláthatatlan lehet, mint egy fekete doboz, ha rossz közönség kezébe kerül.
A nézetnek a túlzott állításokat is kerülnie kell. Egy modellmagyarázat ne tegyen úgy, mintha belső pszichológiai indítékokat tárna fel. Egy pontszám-magyarázat ne alakítsa át a korrelációt erkölcsi ítéletté. Egy lekérdezési magyarázat ne sugallja, hogy a nem hivatkozott források lényegtelenek voltak, ha soha nem is kerültek lekérdezésre. A jó magyarázat száraz nyelvezetet használ: ez a kérés ezeket a forrásverziókat használta, ezekkel a szabályokkal, ezzel a modellbeállítással, ezt a kimenetet állította elő, ezt a szerepet ellenőrizte, és ehhez a művelethez vezetett. A száraz nyelvezet alulértékelt. Kevesebb helye van a hülyeség elrejtésére.
A visszajátszás bezárja a tanulási kört
A visszajátszás nem csak ellenőrzésekre és panaszokra való. Így tanulnak a rendszerek anélkül, hogy hazudnának maguknak. Ha rossz kimenet jelenik meg, a visszajátszás lehetővé teszi a csapat számára az útvonal vizsgálatát. Hiányzott a forrás. A forrás jelen volt, de túl alacsonyra volt rangsorolva. A prompt elnyomta a bizonytalanságot. A modell figyelmen kívül hagyott egy szabályt. Egy eszköz rossz állapotot adott vissza. Egy emberi ellenőr azért hagyta jóvá, mert a bizonyítékcsomag rosszul volt megtervezve. Egy szabályzatütközés törékeny útvonalat kényszerített ki. Minden válasz más-más javításra mutat.
Visszajátszás nélkül a fejlesztés babonává válik. A csapat azért módosítja a promptot, mert a promptok láthatók. Lecseréli a modellt, mert a modellek izgalmasak. Hozzáad egy figyelmeztetést, mert a figyelmeztetések olcsók. A valódi probléma lehetett egy elavult index, egy verzió nélküli szabály, egy csendes engedélyezési hiba vagy egy ellenőrző felület, amely elrejtette a nézeteltérést. A babona mozgást tud produkálni. Ritkán produkál irányítást. A szervezet elfoglaltnak érzi magát, és zavart marad, ami népszerű, de fárasztó működési modell.
A visszajátszási kör táplálhatja az értékelést. A sikertelen esetekből megőrzött kontextusú tesztesetek lesznek. Az emberi javításokból címkézett példák lesznek. A fellebbezési eredményekből irányítási jelzések lesznek. A forrásfrissességi hibákból adatminőségi mutatók lesznek. Az eszközhibákból szerződéses tesztek lesznek. A rendszer emlékezetet kap a hibáiról, amely gazdagabb, mint egy halom panasz. Ez az emlékezet lehetővé teszi a csapatok számára, hogy változtatásokat hajtsanak végre, majd összehasonlítsák az új útvonalat a régivel.
A visszajátszás a fejlesztési teátrum ellen is véd. Egy új verzió szebb magyarázatokat produkálhat, miközben rosszabb döntéseket hoz. Egy másik javíthatja a pontosságot, de gyengítheti a visszautasítási viselkedést. Egy harmadik csökkentheti a késleltetést azáltal, hogy kihagyja a forrásbizonyítékokat. Ha a szervezet rögzíti és visszajátssza az eseteket, látni fogja a kompromisszumokat. Ha csak kipolírozott magyarázatokat mintavételez, akkor kísértésbe esik, hogy elhiggye, hogy a legjobb modorú verzió a legjobb.
A magánéletre vonatkozó kifogás valós
A replayt rosszul is meg lehet tervezni. A lusta változat mindent rögzít: teljes promptokat, teljes dokumentumokat, személyes adatokat, eszközök kimeneteit, belső jegyzeteket, bírálói megjegyzéseket, és talán még a szék színét is, ha a közelben volt egy érzékelő. Aztán a szervezet ezt auditálhatóságnak nevezi, és létrehoz egy második kockázati állományt. Ez nem érett működés. Ez felhalmozás megfelelőségi jelvénnyel.
A felelős replay-tervezés a céllal kezdődik. Mely döntéseknél van szükség replayre. Mely bizonyítékok szükségesek. Mely részekre lehet stabil azonosítóval hivatkozni másolás helyett. Mely értékeket kell hash-elni. Mely tartalmakat kell szerkeszteni. Mely szerepkörök férhetnek hozzá a mélyebb rétegekhez. Mely megőrzési idő illik a folyamat jogi és emberi értékéhez. Mely bizonyítékokat soha nem szabad rögzíteni, mert a kockázat meghaladja a hasznot. Ezek a kérdések nem akadályai a magyarázhatóságnak. Részei annak.
A magánéletet megőrző replay gyakran rétegzést jelent. A nyilvános magyarázat tartalmazhat kategóriákat és okokat. A belső felülvizsgálat tartalmazhat forrásazonosítókat és részleteket. Az auditréteg tartalmazhat hash-eket, időbélyegeket és aláírásokat. Az incidensréteg szigorú ellenőrzés mellett ideiglenesen szélesebb hozzáférést igényelhet. A rétegeknek kapcsolódniuk kell egymáshoz, de nem szabad egyetlen óriási archívumba összeomlaniuk, amelyhez bárki hozzáfér, aki tudja, hol van az exportgomb. Az exportgombok nem irányítás. Ajtók, az ajtókhoz pedig zárak kellenek.
A replay gondos megtervezésének méltányossági oka is van. Ha csak egyes esetekről készül részletes feljegyzés, mert magas kockázatúak vagy nagy értékűek, a szervezetnek ezt tudnia kell és meg kell indokolnia. Ha az alacsony kockázatú eseteket alulrögzítik, az embereknek kevesebb lehetőségük lehet az ilyen folyamatok hibáinak megkérdőjelezésére. Ha a magas kockázatú eseteket túlrögzítik, az érzékeny csoportok nagyobb megfigyelés alá kerülhetnek. A replay nem semleges emlékezet. Tervezési döntés arról, hogy kinek a múltját lehet átvizsgálni, és ki által.
A replay megváltoztatja, hogyan írnak a csapatok promptokat
Ha a replay számít, a promptok megszűnnek magánjellegű folklórnak lenni. A prompt a döntési út részévé válik. Verziókezelésre, tulajdonosra, tesztekre és a szabályzathoz való viszonyra van szüksége. Ez nem azt jelenti, hogy minden szövegmódosításhoz kekszestányérral járó ceremónia kell. Azt viszont jelenti, hogy egy jelentőségteljes promptot nem szabad nyom nélkül a helyén szerkeszteni. Ha a prompt megváltozott egy döntés és egy fellebbezés között, a szervezetnek tudnia kell, melyik volt érvényben.
Az ismétlés (replay) emellett a megfelelő helyeken kisebbé teszi a promptokat. A csapatok gyakran zsúfolnak egyetlen hosszú promptba politikákat, formázási szabályokat, elutasítási előírásokat, adatkezelési utasításokat, hangnemet, eszközhasználatot, példákat és működési korlátokat. Aztán elvárják tőle, hogy egyszerre legyen irányítási keret, felület és memória. Egy ismételhető rendszer ebből a struktúrából egy részt explicit vezérlőelemekbe helyezhet át: politikai kapukba, forrásszűrőkbe, sémaellenőrzőkbe, eszközengedélyekbe és állapotátmenetekbe. A prompt így a nyelvi feladatokra összpontosíthat, ahelyett hogy alkotmányként viselkedne.
Ez javítja a magyarázatokat, mert a rendszer konkrét vezérlőelemekre tud mutatni. A választ azért utasították el, mert a politikai kapu a szerepkörön kívülre eső orvosi tanácsot blokkolta, nem pedig azért, mert a modellnek homályos érzése volt. A forrást azért zárták ki, mert az adatszerződés a céltól eltérőnek minősítette, nem pedig azért, mert a prompt óvatosságot kért az adatvédelem kapcsán. Az eszköz azért nem futott le, mert a művelet jóváhagyás nélkül visszafordíthatatlan lett volna, nem pedig azért, mert egy mondat a promptban körültekintésre számított. A remény csodálatos emberi tulajdonság. Nem vezérlési sík.
A promptok továbbra is számítanak. Meghatározzák a keretet, a bizonytalanság kezelését, a hangnemet és az érvelési viselkedést. Az ismétlés csupán megakadályozza, hogy a prompt legyen az egyetlen hely, ahol a felelősség elrejtőzhet. Ez mindenki számára egészségesebb, beleértve azt is, akinek hat hónappal később kell karbantartania a promptot, amikor az már a korábbi megbeszélések kényes fosszíliájává vált.
A hasznos magyarázat ára
A hasznos magyarázatnak ára van. A bizonyítékok rögzítése tárhelyet és fejlesztési időt igényel. A források verziózása fegyelmet követel. A pillanatképek tárolása pénzbe kerül. A szerepkör-specifikus nézetek kialakítása terméktervezést igényel. Az adatvédelmi felülvizsgálat figyelmet igényel. Az ismétlési tesztek futási időt emésztenek fel. Az emberek számára olvasható okkódok szakterületi munkát igényelnek. Ezek a költségek valósak. Ha valaki úgy tesz, mintha nem lennének, azzal a szervezetek vagy túlméretezett archívumokat, vagy bájosan használhatatlan magyarázatokat hoznak létre.
A helyes kérdés az, hogy a döntés milyen szintű ismétlést érdemel. Egy alkalmi fogalmazósegédnek elegendőek lehetnek a könnyű nyomok és a rövid megőrzési idő. Egy klinikai osztályozó segédeszköznek erősebb bizonyítékokra, forráspillanatképekre, felülvizsgálati nyilvántartásokra és fellebbezési támogatásra van szüksége. Egy közellátási döntés esetében esetszintű bizonylatokra és jogi verziózásra van szükség. Egy csalásvizsgáló rendszernek gondos egyensúlyt kell teremtenie a magyarázhatóság, a biztonság és a megtámadhatóság között. Egyetlen ismétlési mód minden rendszerhez ugyanolyan ostobaság, mint egyetlen cipőméret minden alkalomra.
A kompromisszumoknak explicitnek kell lenniük. A részletesebb adatok javítják az ellenőrizhetőséget, de növelhetik az adatvédelmi kockázatot. Az erős pillanatképek javítják az ismétlést, de pénzbe kerülnek. A gyorsabb rendszerek kevesebbet rögzíthetnek. A gazdagabb magyarázatok érzékeny logikát tárhatnak fel. Az emberi megjegyzések tisztázhatják a döntést, de olyan nyilvántartásokat is létrehoznak, amelyeket irányítani kell. Ezek tervezési döntések, nem kifogások. A komoly csapatok a bevezetés előtt megnevezik őket. A kevésbé komoly csapatok a panaszok során fedezik fel őket, majd tanulságnak hívják, ami egy hagyományos kifejezés, és annyit tesz: legközelebb, talán.
A legjobb ismétlőrendszerek szerények és megbízhatók. Rögzítik azokat a bizonyítékokat, amelyekre a szervezetnek valószínűleg és kötelessége szerint is választ kell adnia a felmerülő kérdésekre. Kerülik a minden rögzítését. Bizonyítékokból állítanak elő magyarázatokat, nem megérzésekből. Elismerik a bizonytalanságot. Láthatóvá teszik a hiányzó bizonyítékokat. Lehetővé teszik a csapatok fejlődését. Ez nem feltűnő. A jó irányítás ritkán az. Legnagyobb eredménye gyakran az, hogy egy nehéz kérdésre választ lehet adni anélkül, hogy mindenki színészkedésbe kezdene.
A tanulság
A magyarázhatóság visszajátszás nélkül csak színház, mert a meggyőző beszámolót összetéveszti az ellenőrizhetővel. Egy generált indoklás, egy irányítópult, egy modellkártya és egy magabiztos felülvizsgáló mind segíthet. Egyik sem elég, ha egy nagy horderejű döntést rekonstruálni kell. A rendszernek szüksége van az útra: kontextusra, forrásokra, utasításokra, modellállapotra, szabályzatellenőrzésekre, eszközműveletekre, emberi ítéletre, kimenetre és hatásra.
A visszajátszás nem követel tökéletes determinizmust. Fegyelmezett emlékezetet követel. Stabil hivatkozásokat, verziókat, szükség szerinti pillanatképeket, szerepkör-specifikus nézeteket, adatvédelmi határokat és olyan nyilvántartásokat követel, amelyek jelzik, ha bizonyíték hiányzik. A magyarázatot a bizonyítékok feletti nézetként kezeli, nem pedig utólag kitalált történetként. Lehetőséget ad az érintetteknek a kifogásra, az üzemeltetőknek a javításra, az ellenőröknek pedig valami jobbat, mint egy reményvezérelt körbevezetés.
A magyarázható mesterséges intelligencia jövőjét nem a szebb magyarázó szövegek önmagukban nyerik meg. Azok a rendszerek nyerik meg, amelyek képesek visszalépkedni saját munkájukon. Ha az út visszajátszható, a magyarázat tesztelhető. Ha az út nem játszható vissza, a magyarázat lehet még ékesszóló. Lehet, hogy még igaz is. De komoly környezetben az ékesszólás gyenge pótléka annak a gépezetnek, amely meg tudja mutatni a munkáját.