Selitettävyys ilman toistoa on teatteria
Selitys, joka saapui liian myöhään
Epämiellyttävä selitys saapuu yleensä vasta sen jälkeen, kun päätöksellä on jo ollut merkitystä. Asiakas on saanut kieltävän vastauksen. Potilas on ohjattu väärään paikkaan. Opiskelija on merkitty lipulla. Lähetys on myöhästynyt. Kansalaista on pyydetty odottamaan. Järjestelmä tuotti vastauksen päiviä tai viikkoja sitten, kaikilla oli kiire, jono eteni, ja nyt joku haluaa tietää, miksi vastaus syntyi. Silloin organisaatio huomaa, onko sillä selitettävyyttä vai vain selitysosasto.
Ensimmäinen versio näyttää usein järkevältä. Koontinäyttö kertoo luottamuksesta. Mallikortti kertoo, että järjestelmä on testattu. Tuotettu kappale selittää, että lopputulokseen vaikutti useita tekijöitä. Arvioija muistaa, että todisteet näyttivät silloin hyviltä. Lokivienti sisältää paljon rivejä ja vaikuttaa siksi vakavalta. Ihmiset kerääntyvät artefaktien ympärille ja alkavat kertoa tarinaa. He saattavat olla rehellisiä. He saattavat olla taitavia. He saattavat jopa olla oikeassa. Mutta jos polkua ei voi toistaa, selitys on esitys rekvisiittoineen.
Toisto muuttaa vaatimustason. Se kysyy, pystyykö organisaatio rekonstruoimaan päätöspolun todellisista aineksista: pyyntö, identiteetti, datan tila, hakutulokset, kehote tai ohje, mallin versio, asetukset, työkalujen kutsut, käytäntötarkistukset, ihmisen toimet, ajoitus ja tuotos. Ei samankaltaista polkua. Ei uskottavaa polkua. Vaan polku, joka tuotti vastauksen, tai kontrolloitu kuvaus siitä, miksi tarkka toisto on mahdotonta ja mitä osaa ei voida palauttaa. Tämä on vähemmän näyttävää kuin selityspaneeli. Sitä on myös paljon vaikeampi väärentää.
Selitettävyys ilman toistoa on teatteria, koska se kutsuu ihmiset ihailemaan tarinaa järjestelmän tutkimisen sijaan. Teatteri ei ole hyödytöntä. Hyvä teatteri voi opettaa, lohduttaa, varoittaa ja silloin tällöin pitää kylätalon elossa. Sen ei pitäisi ratkaista, oliko automatisoitu päätös lainmukainen, oikeudenmukainen, oikeasuhtainen tai oikea. Sitä varten yleisö tarvitsee koneiston kulissien takaa.
Miksi sujuva perustelu ei riitä
Suuret kielimallit ovat erittäin hyviä tuottamaan perusteluja. Se on osa niiden hyödyllisyyttä ja osa ongelmaa. Perustelu voi olla selkeä, uskottava, kohtelias ja irrallaan varsinaisesta polusta, joka tuotti vastauksen. Järjestelmä voi selittää luokittelun nimeämällä tekijöitä, jotka kuulostavat olennaisilta, vaikka todellinen vaikutus tuli vanhentuneesta lähteestä, kehotteen haarasta, piilotetusta oletusarvosta tai työkalun tuloksesta, joka ei koskaan näy tekstissä. Teksti voi olla hyödyllistä. Se ei automaattisesti ole todistetta.
Tämä ei ole tekoälyn erityinen moraalinen puute. Ihmisetkin selittävät toimintaansa jälkikäteen suurella luovuudella ja valikoivalla muistilla. Ero on mittakaavassa ja rakenteessa. Tekoälyjärjestelmät voivat tuottaa tuhansia päätöksiä, joista jokaisella on siisti selitys, samalla kun toiminnallinen polku riippuu liikkuvasta datasta, versioista, välimuisteista, käytännöistä ja palveluista. Selityskerros voi pysyä tyynenä, vaikka taustalla oleva prosessi käyttäytyy kuin ruokailuvälinelaatikko maanjäristyksessä.
Hyödyllisen selityksen on vastattava kahteen kysymykseen. Mitkä syyt ihminen voi ymmärtää. Mikä näyttö osoittaa, että nämä syyt liittyvät siihen, mitä todella tapahtui. Ensimmäinen kysymys koskee viestintää. Toinen koskee toistoa. Jos organisaatio pystyy vastaamaan vain ensimmäiseen, sillä voi olla hyvä käyttökokemus mutta heikko vastuuvelvollisuuden pinta. Tämä on vaarallista, koska selityksestä voi tulla sitä vakuuttavampi, mitä nöyremmäksi sen pitäisi tulla.
On tilanteita, joissa yksinkertainen selitys riittää. Jos matalan riskin avustaja ehdottaa oikeinkirjoituksen korjausta, kukaan ei tarvitse oikeuslääketieteellistä rekonstruktiota vokaalitaloudesta. Mutta kun tuotos vaikuttaa oikeuksiin, rahaan, pääsyyn, turvallisuuteen, ammatilliseen harkintaan tai yleiseen luottamukseen, organisaatio tarvitsee muutakin kuin sujuvan syyn. Se tarvitsee reitin takaisin järjestelmän läpi. Ihmisen pitäisi voida kysyä: näytä minulle, mitä järjestelmä näki, mitä sen oli sallittua tehdä, mikä versio suoritettiin, mitä sääntöä sovellettiin, kuka siihen luotti ja miten voin haastaa sen.
Toisto ei ole vain determinismiä
Kun ihmiset kuulevat sanan toisto, he ajattelevat usein, että se tarkoittaa painikkeen painamista ja täsmälleen saman token-sarjan saamista. Joskus se on mahdollista. Joskus ei. Mallit voivat olla stokastisia. Ulkoiset palvelut voivat muuttua. Hakemistot voivat päivittyä. Aikaherkkä data voi vanhentua. Työkalu voi riippua nopeusrajasta, markkinahinnasta, kalenterin tilasta tai ihmisen syötteestä. Täsmällinen bitti bitiltä -toisto on hyödyllistä, kun se on mahdollista, mutta toisto on laajempi käytäntö kuin deterministinen nostalgia.
Toisto tarkoittaa, että järjestelmä pystyy rekonstruoimaan päätöspolun kysymyksen edellyttämällä tasolla. Faktapohjaisessa vastauksessa se voi tarkoittaa lähteitä, järjestystä, katkelmia, kehotetta, malliversiota ja tuotosta. Työkalutoiminnon kohdalla se voi tarkoittaa valtuutusta, parametreja, käytäntötarkistuksia, hyväksynnän tilaa, suorituksen tulosta ja jälkikäteen tehtyä merkintää. Ihmisen avustamassa päätöksessä se voi tarkoittaa mallin suositusta, näyttöpakettia, arvioijan toimintaa, erimielisyyttä ja lopullista lopputulosta. Tavoitteena on tehdä menneisyydestä tarkasteltavissa, ei teeskennellä, että menneisyys oli lasin alla säilytetty laboratorionäyte.
Tämä erottelu on tärkeä, koska täydellinen toisto voi muuttua tekosyyksi olla tekemättä mitään. Tiimi sanoo, että malli on epädeterministinen, joten toisto on mahdotonta, joten selitykset tuotetaan pyynnöstä. Se on kuin sanoisi, että säätä ei voi kelata taaksepäin, joten lennonrekisteröijän pitämisessä ei ole järkeä. Emme ehkä pysty toistamaan jokaista turbulenssimolekyyliä. Voimme silti tallentaa korkeuden, suunnan, ohjaimet, varoitukset ja päätökset. Tekoälyjärjestelmät ansaitsevat saman nöyryyden ja saman kurinalaisuuden.
Toistolla on myös rajansa. Kaiken tallentaminen ikuisesti ei ole vastuullista. Se luo yksityisyyden riskin, kustannuksia ja hallinnon sumua. Toistosuunnitelman tulisi tallentaa vähimmäismäärä näyttöä, joka tarvitaan merkittävien polkujen rekonstruoimiseen, ja säilytys ja pääsy tulee sovittaa riskiin. Valinta ei ole täydellisen muistin ja teatraalisen muistinmenetyksen välillä. Vakavat järjestelmät elävät keskellä, missä näyttö on tarkoituksenmukaista, rajattua ja riittävän vahvaa vastaamaan myöhempiin kysymyksiin.
Kohdat, joissa toisto pettää
Toisto katkeaa yleensä rajoista. Mallikutsu on helppo muistaa, koska kaikki tuijottavat sitä. Ympäröivä konteksti on se, mistä faktat karkaavat. Käyttäjärooli muuttui. Lähdeasiakirja ylikirjoitettiin. Hakuhakemisto rakennettiin uudelleen ilman tilannekuvaa. Kehote-pohjaa muokattiin paikan päällä. Käytäntömoottori käytti nykyistä sääntöä, kun siltä kysyttiin viime kuusta. Työkalu palautti arvon tästä päivästä. Ihmisarvioija näki ruudun, jota ei enää ole olemassa. Järjestelmän kello oli väärässä yhdessä palvelussa ja oikeassa toisessa, pieni lahja hajautetuilta järjestelmiltä tuleville kokouksille.
Kontekstin mätäneminen on erityisen yleistä hakujärjestelmissä. Luotu vastaus viittaa käytäntösivulle. Kuusi kuukautta myöhemmin sivu on muuttunut. Viittaus toimii edelleen, mutta se ei enää sano sitä, mitä se sanoi. Selitys sanoo, että järjestelmä tukeutui käytäntöön, mikä on totta kaikkein hyödyttömimmässä mielessä. Ilman sisältötiivistettä, versiota, tilannekuvaa tai arkistoviittausta organisaatio ei voi osoittaa, mikä käytäntö muokkasi vastauksen. Se voi näyttää vain nykyisen sivun ja toivoa, että historia tuntuu yhteistyöhaluiselta.
Työkalujen käyttö luo toisen katkoksen. Malli voi päättää kutsua työkalua, mutta selitys ei välttämättä säilytä parametreja, käyttöoikeustarkistusta, vastausta, uudelleenyrityspolkua tai sivuvaikutusta. Tulos näyttää sitten vastaukselta, kun taas tärkeä toiminta tapahtui muualla. Jos työkalu muutti tietuetta, lähetti viestin, pisteytti riskin tai käynnisti työnkulun, toiston on seurattava sitä rajaa. Muuten selitys kuvaa puhuvan osan ja jättää huomiotta käden, joka liikutti vipua.
Ihmisarviointi voi myös rikkoa toiston. Arvioija voi nähdä todisteita, tehdä arvion ja jättää vain lopullisen tilan. Myöhemmin organisaatio sanoo, että ihminen oli mukana. Se on totta ja ohutta. Mitkä todisteet arvioija näki. Muuttivatko he tulosta. Hyväksyivätkö he suosituksen vai tekivätkö he itsenäisen päätöksen. Oliko heillä aikaa. Tallensivatko he epäilyksen. Näyttikö käyttöliittymä luottamuksen tavalla, joka ohjasi heitä. Jos ihmisen tilaa ei tallenneta, ihmisarvioinnista tulee verho. Se näyttää rauhoittavalta yleisöstä. Sen takana kukaan ei löydä tuolia.
Selityksen tulisi olla näkymä todisteisiin
Parempi malli on käsitellä selitystä näkymänä toistotodisteisiin. Todistepaketti on taustalla oleva tietue. Selitys on ihmiselle suunnattu renderöinti valituista osista tuota tietuetta. Kansalainen voi nähdä lyhyen kuvauksen lähdeluokista, sääntöperustasta, automaattisesta tuesta, ihmisarvioinnista ja muutoksenhakutiestä. Operaattori voi nähdä lähdeotteita, luottamuksen, käytäntötarkistukset ja työkalujen tulokset. Tilintarkastaja voi nähdä tiivisteet, versiot, aikaleimat, hyväksyntätapahtumat ja säilytyskäytännön. Eri näkymät, sama todisteiden selkäranka.
Tämä estää selityksiä muuttumasta keksityksi proosaksi. Järjestelmän ei pitäisi pyytää mallia selittämään aiempaa päätöstä muistista tai yhteenvedosta itsestään. Sen pitäisi tuottaa tai koota selitys tallennetusta todisteaineistosta. Jos todisteita puuttuu, selityksen pitäisi sanoa se. Puuttuva todiste ei ole käyttöliittymän haitta. Se on tosiasia päätöksen vastuullisuudesta. Sen piilottaminen sulavamman kappaleen alle on sitä, mistä teatterista tulee kallista.
Todisteisiin perustuva selitys parantaa myös saavutettavuutta. Päätösten vaikutuspiirissä olevat ihmiset eivät tarvitse raakoja lokitietoja. He tarvitsevat ymmärrettäviä syitä, reittejä korjaukseen ja riittävästi yksityiskohtia kiistämistä varten. Kehittäjät ja auditoijat tarvitsevat syvempiä tasoja. Todisteiden erottaminen näkymistä antaa järjestelmän palvella molempia sekoittamatta läpinäkyvyyttä teknisen materiaalin kaatamiseen ihmisten päälle, kunnes he luovuttavat. Tuhannen rivin jäljitys voi olla yhtä läpinäkymätön kuin musta laatikko, jos se annetaan väärälle yleisölle.
Näkymän on myös vältettävä liioittelua. Mallin selityksen ei pitäisi teeskennellä paljastavansa sisäisiä psykologisia motiiveja. Pistemäärän selityksen ei pitäisi kääntää korrelaatiota moraaliseksi arvostelmaksi. Haun selityksen ei pitäisi vihjata, että lähteet, joihin ei viitata, olivat epäolennaisia, jos niitä ei koskaan haettu. Hyvä selitys käyttää kuivaa kieltä: tämä pyyntö käytti näitä lähdeversioita näiden sääntöjen alla tällä malliasetuksella, tuottaen tämän tulosteen, jonka tämä rooli tarkasti, johtaen tähän toimenpiteeseen. Kuiva kieli on aliarvostettua. Siinä on vähemmän paikkoja piilottaa hölynpölyä.
Toisto sulkee oppimissilmukan
Toisto ei ole vain auditointeja ja valituksia varten. Se on tapa, jolla järjestelmät oppivat valehtelematta itselleen. Jos huono tulos ilmestyy, toisto antaa tiimin tutkia reitin. Puuttuiko lähde. Oliko lähde läsnä mutta sijoitettu liian alas. Vaimentiko kehote epävarmuuden. Jättikö malli huomiotta säännön. Palauttiko työkalu väärän tilan. Hyväksyikö ihmistarkastaja, koska todistepaketti oli huonosti suunniteltu. Pakottiko käytäntöristiriita hauraaseen reittiin. Jokainen vastaus osoittaa eri korjaukseen.
Ilman toistoa parantamisesta tulee taikauskoa. Tiimi muuttaa kehotetta, koska kehotteet ovat näkyviä. Se vaihtaa mallia, koska mallit ovat jännittäviä. Se lisää varoituksen, koska varoitukset ovat halpoja. Todellinen ongelma on voinut olla vanhentunut indeksi, versioimaton sääntö, hiljainen käyttöoikeusvirhe tai tarkastelukäyttöliittymä, joka piilotti erimielisyyden. Taikausko voi tuottaa liikettä. Se tuottaa harvoin hallintaa. Organisaatio tuntee olevansa kiireinen ja pysyy hämmentyneenä, suosittu mutta väsyttävä toimintamalli.
Toistosilmukka voi ruokkia arviointia. Epäonnistuneista tapauksista tulee testitapauksia säilytetyn kontekstin kanssa. Ihmiskorjauksista tulee merkittyjä esimerkkejä. Valitustuloksista tulee hallinnan signaaleja. Lähdetuoreuden epäonnistumisista tulee datan laatumittareita. Työkaluvirheistä tulee sopimustestejä. Järjestelmä saa muistin virheistään, joka on rikkaampi kuin valituskasa. Se muisti antaa tiimien tehdä muutoksia ja sitten verrata uutta reittiä vanhaan.
Toisto suojaa myös parannusteatterilta. Uusi versio voi tuottaa kauniimpia selityksiä samalla kun se tekee huonompia päätöksiä. Toinen voi parantaa tarkkuutta mutta heikentää kieltäytymiskäyttäytymistä. Kolmas voi vähentää viivettä pudottamalla lähdetodisteita. Jos organisaatio tallentaa ja toistaa tapauksia, se voi nähdä kompromissit. Jos se vain poimii kiillotettuja selityksiä, se houkutellaan uskomaan versioon, jolla on parhaat käytöstavat.
Yksityisyysvastaväite on todellinen
Toisto voidaan suunnitella väärin. Laiska versio tallentaa kaiken: täydet kehotteet, täydet asiakirjat, henkilötiedot, työkalujen tulosteet, sisäiset muistiinpanot, arvioijien kommentit ja ehkä myös tuolin värin, jos lähellä oli anturi. Sitten organisaatio kutsuu tätä jäljitettävyydeksi ja luo toisen riskikokonaisuuden. Tämä ei ole kypsää. Se on hamstraamista, jossa on vaatimustenmukaisuusmerkki.
Vastuullinen toiston suunnittelu alkaa tarkoituksesta. Mitkä päätökset tarvitsevat toistoa. Mikä näyttö on välttämätöntä. Mitkä osat voidaan viitata vakaalla tunnisteella kopioimisen sijaan. Mitkä arvot tulisi hajauttaa. Mikä sisältö tarvitsee poistamisen. Mitkä roolit voivat käyttää syvempiä tasoja. Mikä säilytysaika sopii prosessin oikeudelliseen ja inhimilliseen arvoon. Mitä näyttöä ei tulisi koskaan tallentaa, koska riski on hyötyä suurempi. Nämä kysymykset eivät ole esteitä selitettävyydelle. Ne ovat osa sitä.
Yksityisyyttä säilyttävä toisto tarkoittaa usein kerrostamista. Julkinen selitys voi sisältää luokkia ja syitä. Sisäinen tarkastelu voi sisältää lähdetunnisteita ja katkelmia. Auditointitaso voi sisältää hajautteita, aikaleimoja ja allekirjoituksia. Tapauskohtainen taso voi vaatia tilapäistä laajempaa pääsyä tiukassa valvonnassa. Tasojen tulisi olla yhteydessä toisiinsa, mutta niiden ei tulisi romahtaa yhdeksi jättimäiseksi arkistoksi, joka on saatavilla kaikille, jotka tietävät, missä vientipainike sijaitsee. Vientipainikkeet eivät ole hallintoa. Ne ovat ovia, ja ovet vaativat lukkoja.
On myös oikeudenmukaisuussyistä syytä suunnitella toisto huolellisesti. Jos vain jotkin tapaukset saavat yksityiskohtaiset tallenteet, koska ne ovat suuren riskin tai suuren arvon tapauksia, organisaation tulisi tietää tämä ja perustella se. Jos matalan riskin tapaukset ovat alitallennettuja, ihmisillä voi olla vähemmän mahdollisuuksia haastaa virheitä näissä prosesseissa. Jos suuren riskin tapaukset ovat ylitallennettuja, herkät ryhmät voivat kantaa raskaampaa valvontaa. Toisto ei ole neutraalia muistia. Se on suunnitteluvalinta siitä, kenen menneisyyttä voidaan tarkastella ja kenen toimesta.
Toisto muuttaa tapaa, jolla tiimit kirjoittavat kehotteita
Kun toistolla on merkitystä, kehotteet lakkaavat olemasta yksityistä perimätietoa. Kehotteesta tulee osa päätöspolkua. Se tarvitsee versioinnin, omistajuuden, testit ja suhteen politiikkaan. Tämä ei tarkoita, että jokainen sanamuodon muutos vaatisi seremonian kekseineen. Se tarkoittaa, että merkittävää kehotetta ei tulisi muokata paikallaan jättämättä jälkeä. Jos kehote muuttui päätöksen ja valituksen välillä, organisaation on tiedettävä, kumpaa sovellettiin.
Replay tekee myös kehotteista pienempiä oikeissa kohdissa. Tiimit tunkevat usein käytännöt, muotoilun, kieltäytymissäännöt, dataohjeet, sävyn, työkalujen käytön, esimerkit ja toiminnalliset rajoitteet yhteen pitkään kehotteeseen. Sitten he pyytävät sitä toimimaan hallintona, käyttöliittymänä ja muistina. Toistettava järjestelmä voi siirtää osan tästä rakenteesta erillisiin hallintakeinoihin: käytäntöportteihin, lähdesuodattimiin, skeemavalidaattoreihin, työkaluoikeuksiin ja tilasiirtymiin. Kehote voi hoitaa kielellisen työn sen sijaan, että se teeskentelisi olevansa perustuslaki.
Tämä parantaa selityksiä, koska järjestelmä voi viitata konkreettisiin hallintakeinoihin. Vastaus evättiin, koska käytäntöportti esti lääketieteellisen neuvon roolin ulkopuolella, ei siksi, että mallilla oli epämääräinen tunne. Lähde jätettiin pois, koska datakontrakti merkitsi sen käyttötarkoituksen ulkopuolelle, ei siksi, että kehote kehotti olemaan varovainen yksityisyyden kanssa. Työkalu ei käynnistynyt, koska toimenpide oli peruuttamaton ilman hyväksyntää, ei siksi, että kehotteen lause toivoi varovaisuutta. Toivo on ihana inhimillinen ominaisuus. Se ei ole hallintataso.
Kehotteilla on silti merkitystä. Ne muovaavat kehystystä, epävarmuutta, sävyä ja päättelykäyttäytymistä. Replay vain estää niitä olemasta ainoa paikka, johon vastuu piiloutuu. Se on terveellisempää kaikille, myös sille, jota pyydetään ylläpitämään kehotetta kuusi kuukautta myöhemmin, kun siitä on tullut menneiden kokousten hauras fossiili.
Hyödyllisen selityksen hinta
Hyödyllisellä selityksellä on hintansa. Todisteiden tallentaminen maksaa tallennustilaa ja suunnittelutyötä. Lähteiden versiointi vaatii kurinalaisuutta. Tilannekuvien säilyttäminen maksaa rahaa. Roolikohtaisten näkymien rakentaminen vaatii tuotesuunnittelua. Yksityisyyden tarkistus vaatii huomiota. Replay-testit maksavat suoritusaikaa. Ihmisen luettavat syykoodit vaativat alan osaamista. Nämä kustannukset ovat todellisia. Niiden kieltäminen on tapa, jolla organisaatiot päätyvät joko ylimitoitettuihin arkistoihin tai hurmaavan hyödyttömiin selityksiin.
Oikea kysymys on, minkä tason replayta päätös ansaitsee. Satunnainen luonnosteluavustaja voi tarvita kevyet jäljet ja lyhyen säilytysajan. Kliininen lajitteluapu tarvitsee vahvemmat todisteet, lähdetilannekuvat, tarkastelutiedot ja muutoksenhakutuksen. Julkisen etuuden päätös tarvitsee tapauskohtaiset kuitit ja lainmukaisen versioinnin. Petostutkintajärjestelmä tarvitsee huolellisen tasapainon selitettävyyden, tietoturvan ja riitautettavuuden välillä. Yksi replay-asetus kaikille järjestelmille on yhtä typerää kuin yksi kengänkoko kaikkiin kokouksiin.
Kompromisseista pitää puhua avoimesti. Lisää yksityiskohtia parantaa tarkastettavuutta, mutta voi lisätä yksityisyyden riskiä. Vahvat tilannekuvat parantavat replayta, mutta maksavat rahaa. Nopeammat järjestelmät voivat tallentaa vähemmän. Rikkaammat selitykset voivat paljastaa arkaluonteista logiikkaa. Ihmisen muistiinpanot voivat selventää harkintaa, mutta luovat myös tietueita, jotka vaativat hallintaa. Nämä ovat suunnittelupäätöksiä, eivät tekosyitä. Vakavat tiimit nimeävät ne ennen käyttöönottoa. Vähemmän vakavat tiimit huomaavat ne valitusten aikana ja kutsuvat sitä sitten opiksi, mikä on perinteinen ilmaus, joka tarkoittaa ensi kerralla, ehkä.
Parhaat replay-järjestelmät ovat vaatimattomia ja luotettavia. Ne tallentavat todisteet, joita tarvitaan kysymyksiin, joihin organisaation on todennäköisesti ja velvollisuutensa mukaan vastattava. Ne välttävät kaiken tallentamista. Ne tuottavat selityksiä todisteista, eivät tunnelmista. Ne myöntävät epävarmuuden. Ne tekevät puuttuvat todisteet näkyviksi. Ne antavat tiimien kehittyä. Se ei ole näyttävää. Hyvä hallinto on harvoin sitä. Sen suurin saavutus on usein se, että vaikeaan kysymykseen voidaan vastata ilman, että kaikista tulee teatraalisia.
Opetus
Selitettävyys ilman toistoa on teatteria, koska se sekoittaa vakuuttavan selityksen tarkastettavaan. Tuotettu perustelu, kojelauta, mallikortti ja itsevarma arvioija voivat kaikki auttaa. Yksikään niistä ei riitä, kun vaikutukseltaan merkittävä päätös on rekonstruoitava. Järjestelmä tarvitsee polun: kontekstin, lähteet, ohjeet, mallin tilan, käytäntötarkistukset, työkalujen toimet, ihmisen harkinnan, tuloksen ja vaikutuksen.
Toisto ei edellytä täydellistä determinismiä. Se edellyttää kurinalaista muistia. Se edellyttää vakaita viitteitä, versioita, tilannekuvia tarvittaessa, roolikohtaisia näkymiä, yksityisyyden rajoja ja tallenteita, jotka kertovat, milloin todisteita puuttuu. Se kohtelee selitystä näkymänä todisteisiin eikä jälkikäteen keksittynä tarinana. Se antaa asianosaisille jotakin, jota haastaa, ylläpitäjille jotakin, jota korjata, ja tilintarkastajille jotakin parempaa kuin toivon opastetun kierroksen.
Selitettävän tekoälyn tulevaisuutta ei ratkaista yksinään kauniimmalla selitystekstillä. Sen ratkaisevat järjestelmät, jotka pystyvät kävelemään takaisin oman työnsä läpi. Jos polku voidaan toistaa, selitys voidaan testata. Jos polkua ei voida toistaa, selitys voi silti olla kaunopuheinen. Se voi jopa olla totta. Mutta vakavissa yhteyksissä kaunopuheisuus on huono korvike koneistolle, joka pystyy näyttämään työnsä.