Selgitavus ilma taasesituseta on teater
Hiline selgitus
Ebamugav selgitus jõuab kohale tavaliselt siis, kui otsus on juba tagajärgi toonud. Klient on saanud keeldumise. Patsient on suunatud edasi. Õpilane on märgistatud. Saadetis on hilinenud. Kodanikule on öeldud, et ta peab ootama. AI-süsteem andis vastuse päevi või nädalaid tagasi, kõigil oli kiire, järjekord liikus edasi ja nüüd tahab keegi teada, miks see vastus tekkis. Siis selgub organisatsiooni jaoks, kas tal on selgitatavus või ainult selgituste osakond.
Esimene versioon tundub sageli mõistlik. Töölaual kuvatakse usaldusväärsust. Mudelikaart ütleb, et süsteemi on testitud. Loodud lõik selgitab, et tulemusele aitasid kaasa mitmed tegurid. Ülevaataja mäletab, et tõendid tundusid tol ajal korras olevat. Logi eksport sisaldab palju ridu ja mõjub seetõttu tõsiseltvõetavana. Inimesed kogunevad artefaktide ümber ja hakkavad jutustama. Nad võivad olla ausad. Nad võivad olla oskuslikud. Neil võib isegi õigus olla. Aga kui teed ei saa taasesitada, on selgitus etendus rekvisiitidega.
Taasesitus muudab standardit. See küsib, kas organisatsioon suudab otsustee rekonstrueerida tegelikest koostisosadest: päring, identiteet, andmeseisund, otsingutulemused, viip või juhend, mudeliversioon, seaded, tööriistakutsed, poliitikakontrollid, inimtegevused, ajastus ja väljund. Mitte sarnane tee. Mitte usutav tee. Vaid tee, mis vastuse tekitas, või kontrollitud ülevaade sellest, miks täpne taasesitus on võimatu ja millist osa ei saa taastada. See on vähem glamuurne kui selgituspaneel. Seda on ka palju raskem võltsida.
Selgitatavus ilma taasesituseta on teater, sest see kutsub inimesi imetlema lugu selle asemel, et süsteemi uurida. Teater pole kasutu. Hea teater võib õpetada, lohutada, hoiatada ja aeg-ajalt külaliskoja elus hoida. See ei tohiks otsustada, kas automatiseeritud otsus oli seaduslik, õiglane, proportsionaalne või õige. Selleks vajab publik tagalava masinavärki.
Miks sujuv põhjendus ei piisa
Suured keelemudelid on väga head põhjuste tootmises. See on osa nende kasulikkusest ja osa probleemist. Põhjus võib olla selge, usutav, viisakas ja tegelikust vastuse tekitanud teest lahus. Süsteem võib klassifikatsiooni selgitada teguritega, mis kõlavad asjakohaselt, samal ajal kui tegelik mõju tuli aegunud allikast, viipade harust, peidetud vaikeseadest või tööriista tulemusest, mis proosas kunagi ei ilmu. Proosa võib olla abistav. See ei ole automaatselt tõend.
See ei ole AI eriline moraalne puudus. Ka inimesed selgitavad oma tegevust tagantjärele suure loovuse ja valikulise mäluga. Erinevus seisneb ulatuses ja tekstuuris. AI-süsteemid suudavad genereerida tuhandeid otsuseid, millest igaühel on korralik selgitus, samas kui tegevuse tee sõltub andmete, versioonide, vahemälude, poliitikate ja teenuste liikumisest. Selgituste kiht võib jääda rahulikuks, samal ajal kui alusprotsess käitub nagu söögiriistade sahtel maavärina ajal.
Kasulik selgitus peab vastama kahele küsimusele. Milliseid põhjuseid saab inimene mõista. Milline tõendus näitab, et need põhjused on seotud sellega, mis tegelikult juhtus. Esimene küsimus puudutab suhtlust. Teine puudutab taasesitust. Kui organisatsioon suudab vastata ainult esimesele, võib tal olla hea kasutajakogemus, kuid nõrk vastutuspind. See on ohtlik, sest selgitus võib muutuda veenvamaks just siis, kui see peaks muutuma tagasihoidlikumaks.
On olukordi, kus lihtsast selgitusest piisab. Kui madala riskiga assistent soovitab õigekirjaparandust, ei vaja keegi täheliste majanduse kohtuekspertiisi rekonstruktsiooni. Kuid kui väljund mõjutab õigusi, raha, juurdepääsu, ohutust, professionaalset hinnangut või avalikku usaldust, vajab organisatsioon enamat kui sujuvat põhjendust. See vajab teed tagasi süsteemi. Inimene peaks saama küsida: näidake mulle, mida süsteem nägi, mida tal oli lubatud teha, milline versioon töötas, millist reeglit rakendati, kes sellele tugines ja kuidas ma saan seda vaidlustada.
Taasesitus ei ole ainult determinism
Inimesed kuulevad sageli taasesitusest ja arvavad, et see tähendab nupu vajutamist ja täpselt sama märgijada saamist. Mõnikord on see võimalik. Mõnikord mitte. Mudelid võivad olla stohhastilised. Välised teenused võivad muutuda. Otsinguindeksid võivad värskeneda. Ajatundlikud andmed võivad aeguda. Tööriist võib sõltuda päringulimiidist, turuhinnast, kalendri seisundist või inimese sisendist. Täpne bitikaupa kordamine on kasulik, kui see on võimalik, kuid taasesitus on laiem distsipliin kui deterministlik nostalgi.
Taasesitus tähendab, et süsteem suudab rekonstrueerida otsuse tee küsimuse jaoks vajalikul tasemel. Faktilise vastuse puhul võib see tähendada allikaid, järjestusi, väljavõtteid, viipa, mudeli versiooni ja väljundit. Tööriista toimingu puhul võib see tähendada volitusi, parameetreid, poliitikakontrolle, kinnituse olekut, täitmise tulemust ja allavoolu kirjet. Inimese abiga tehtud otsuse puhul võib see tähendada mudeli soovitust, tõendusmaterjali paketti, hindaja tegevust, erimeelsust ja lõpptulemust. Eesmärk on muuta minevik kontrollitavaks, mitte teeselda, et minevik oli klaasi all hoitud laboriproov.
See eristus on oluline, sest täpne taasesitus võib saada ettekäändeks mitte midagi teha. Meeskond ütleb, et mudel on mittedeterministlik, seetõttu on taasesitus võimatu, seetõttu genereeritakse selgitused nõudmisel. See on nagu öelda, et ilma ei saa tagasi kerida, seetõttu pole mõtet lennurekordrit pidada. Me ei pruugi reprodutseerida iga turbulentsi molekuli. Me saame siiski salvestada kõrguse, suuna, juhtimisseadised, hoiatused ja otsused. AI-süsteemid väärivad sama tagasihoidlikkust ja sama distsipliini.
Taasesitus vajab ka ulatust. Kõige salvestamine igavesti ei ole vastutustundlik. See loob privaatsusriski, kulusid ja haldusudu. Taasesituse kujundus peaks jäädvustama minimaalse tõendusmaterjali, mis on vajalik oluliste teede rekonstrueerimiseks, kusjuures säilitamine ja juurdepääs on vastavuses riskiga. Valik ei ole täieliku mälu ja teatraalse amneesia vahel. Tõsised süsteemid elavad keskel, kus tõendusmaterjal on eesmärgipärane, piiritletud ja piisavalt tugev, et vastata hilisematele küsimustele.
Kohad, kus taasesitus puruneb
Taasesitus katkeb tavaliselt piiridel. Mudelikutset on lihtne meeles pidada, sest kõik vaatavad seda. Ümbritsev kontekst on see, kust faktid kaovad. Kasutaja roll muutus. Lähtedokument kirjutati üle. Otsinguindeks ehitati ümber ilma hetktõmmiseta. Malli muudeti kohapeal. Reeglimootor kasutas praegust reeglit, kui küsiti eelmise kuu kohta. Tööriist tagastas tänase väärtuse. Inimretsensent nägi ekraani, mida enam ei eksisteeri. Süsteemikell oli ühes teenuses vale ja teises õige, väike kingitus hajutatud süsteemidelt tulevastele koosolekutele.
Konteksti roiskumine on eriti levinud otsingusüsteemides. Loodud vastus viitab poliitikalehele. Kuus kuud hiljem on leht muutunud. Viide lahendub endiselt, kuid see ei ütle enam seda, mida varem ütles. Selgitus ütleb, et süsteem tugines poliitikale, mis on tõsi kõige kasutumal moel. Ilma sisuräsi, versiooni, hetktõmmise või arhiiviviiteta ei saa organisatsioon näidata, milline poliitika vastust kujundas. Ta saab näidata ainult praegust lehte ja loota, et ajalugu on koostööaldis.
Tööriista kasutamine loob teise katkestuse. Mudel võib otsustada tööriista kutsuda, kuid selgitus ei pruugi säilitada parameetreid, õiguste kontrolli, vastust, uuesti proovimise teed ega kõrvalmõju. Väljund näeb siis välja nagu vastus, samal ajal kui oluline tegevus toimus mujal. Kui tööriist muutis kirjet, saatis sõnumi, hindas riski või käivitas töövoo, peab taasesitus järgima seda piiri. Vastasel juhul kirjeldab selgitus rääkivat osa ja jätab märkamata käe, mis hooba liigutas.
Ka inimretsensioon võib taasesituse katkestada. Retsensent võib näha tõendeid, teha hinnangu ja jätta ainult lõpliku staatuse. Hiljem ütleb organisatsioon, et inimene oli kaasatud. See on tõsi ja õhuke. Milliseid tõendeid retsensent nägi. Kas ta muutis väljundit. Kas ta aktsepteeris soovituse või tegi iseseisva otsuse. Kas tal oli aega. Kas ta jäädvustas kahtluse. Kas liides näitas enesekindlust viisil, mis teda mõjutas. Kui inimese olekut ei salvestata, muutub inimretsensioon kardinaks. See näeb publiku jaoks rahustav välja. Selle taga ei leia keegi tooli.
Selgitus peaks olema vaade tõenditele
Parem muster on käsitleda selgitust vaatena taasesituse tõenditele. Tõendipakett on aluseks olev kirje. Selgitus on inimesele suunatud valitud osade kujutis sellest kirjest. Kodanik võib näha lühikest ülevaadet allikakategooriatest, reegli alusest, automatiseeritud toest, inimretsensioonist ja edasikaebamise teest. Operaator võib näha allikakatkendeid, enesekindlust, poliitikakontrolle ja tööriista tulemusi. Audiitor võib näha räsisid, versioone, ajatempleid, kinnitussündmusi ja säilituspoliitikat. Erinevad vaated, sama tõendite selgroog.
See hoiab ära selle, et selgitustest ei saaks väljamõeldud proosa. Süsteem ei tohiks paluda mudelil selgitada varasemat otsust mälust või enda kokkuvõttest. See peaks genereerima või koostama selgituse salvestatud tõendusmaterjali põhjal. Kui tõendusmaterjal puudub, peaks selgitus seda ütlema. Puuduv tõendusmaterjal ei ole kasutajaliidese ebamugavus. See on fakt otsuse vastutuse kohta. Selle peitmine sujuvama lõigu alla on see, kuidas teatrist saab kallis ettevõtmine.
Tõenduspõhine selgitus parandab ka juurdepääsetavust. Inimesed, keda otsused mõjutavad, ei vaja tooreid logisid. Nad vajavad arusaadavaid põhjuseid, parandusvõimalusi ja piisavalt üksikasju, et vaidlustada. Arendajad ja audiitorid vajavad sügavamaid kihte. Tõendusmaterjali ja vaadete eraldamine võimaldab süsteemil teenindada mõlemat ilma läbipaistvust segamata tehnilise materjali kallamisega inimestele, kuni nad alla annavad. Tuhanderealine jälg võib olla sama läbipaistmatu kui must kast, kui see antakse vale publikuni.
Vaade peab vältima ka üle väitmist. Mudeli selgitus ei tohiks teeselda, et see paljastab sisemisi psühholoogilisi motiive. Skoori selgitus ei tohiks tõlkida korrelatsiooni moraalseks hinnanguks. Otsingu selgitus ei tohiks vihjata, et viitamata allikad olid ebaolulised, kui neid kunagi ei otsitud. Hea selgitus kasutab kuiva keelt: see taotlus kasutas neid allikaversioone, nende reeglite alusel, selle mudeliseadega, andes selle väljundi, mida vaatas üle see roll, viies selle toiminguni. Kuiv keel on alahinnatud. Selles on vähem kohti, kus mõttetust peita.
Taasesitus sulgeb õppimisahela
Taasesitus ei ole ainult audititeks ja kaebusteks. See on see, kuidas süsteemid õpivad ilma endale valetamata. Kui ilmub halb väljund, võimaldab taasesitus meeskonnal teekonda uurida. Kas allikas puudus. Kas allikas oli olemas, kuid reastati liiga madalale. Kas päring surus maha ebakindluse. Kas mudel eiras reeglit. Kas tööriist tagastas vale oleku. Kas inimretsensent kiitis heaks, sest tõendusmaterjali pakett oli halvasti kujundatud. Kas poliitikakonflikt sundis haprale teekonnale. Iga vastus osutab erinevale parandusele.
Ilma taasesituseta muutub täiustamine ebausuks. Meeskond muudab päringuid, sest päringud on nähtavad. See vahetab mudelit, sest mudelid on põnevad. See lisab hoiatusi, sest hoiatused on odavad. Tegelik probleem võis olla aegunud indeks, versioonimata reegel, vaikne õiguste tõrge või retsensendi liides, mis peitis erimeelsuse. Ebausk võib tekitada liikumist. See loob harva kontrolli. Organisatsioon tunneb end hõivatuna ja jääb segadusse, mis on populaarne, kuid väsitav töömudel.
Taasesitussilmus võib toita hindamist. Ebaõnnestunud juhtumitest saavad testjuhtumid koos säilitatud kontekstiga. Inimeste parandustest saavad märgistatud näited. Apellatsioonitulemustest saavad juhtimissignaalid. Allika värskuse tõrgetest saavad andmekvaliteedi mõõdikud. Tööriistavigadest saavad lepingutestid. Süsteem saab mälestuse oma vigadest, mis on rikkalikum kui hunnik kaebusi. See mälestus võimaldab meeskondadel muudatusi teha ja seejärel uut teekonda vanaga võrrelda.
Taasesitus kaitseb ka täiustusteatri eest. Uus versioon võib toota kenamaid selgitusi, tehes samal ajal halvemaid otsuseid. Teine võib parandada täpsust, kuid nõrgendada keeldumiskäitumist. Kolmas võib vähendada latentsust, jättes välja allika tõendusmaterjali. Kui organisatsioon salvestab ja taasesitab juhtumeid, näeb see kompromisse. Kui see proovib ainult poleeritud selgitusi, kiusatakse seda uskuma versiooni, millel on kõige paremad kombed.
Privaatsusvastuväide on tõeline
Replay’t saab valesti kujundada. Laisk versioon salvestab kõik: täispikad päringud, täispikad dokumendid, isikuandmed, tööriistade väljundid, sisemised märkmed, retsensentide kommentaarid ja võib-olla ka tooli värvi, kui läheduses oli andur. Seejärel nimetab organisatsioon seda auditeeritavuseks ja loob teise riskikogumi. See ei ole küps. See on varumine vastavusmärgiga.
Vastutustundlik replay-kujundus algab eesmärgist. Milliste otsuste puhul on replay vajalik. Milline tõendusmaterjal on vajalik. Millistele osadele saab viidata stabiilse identifikaatori kaudu, mitte neid kopeerides. Milliseid väärtusi tuleks räsida. Milline sisu vajab redigeerimist. Millistel rollidel on juurdepääs sügavamatele kihtidele. Milline säilitusaeg sobib protsessi õigusliku ja inimliku väärtusega. Millist tõendusmaterjali ei tohiks kunagi salvestada, sest risk kaalub üles kasu. Need küsimused ei ole takistused selgitatavusele. Need on osa sellest.
Privaatsust säilitav replay tähendab sageli kihistamist. Avalik selgitus võib sisaldada kategooriaid ja põhjuseid. Sisemine ülevaatus võib sisaldada allikaidentifikaatoreid ja väljavõtteid. Auditikiht võib sisaldada räsisid, ajatempleid ja allkirju. Juhtumikiht võib nõuda ajutist laiemat juurdepääsu range kontrolli all. Kihid peaksid olema ühendatud, kuid need ei tohiks kokku vajuda üheks hiiglaslikuks arhiiviks, mis on kättesaadav kõigile, kes teavad, kus ekspordinupp asub. Ekspordinupud ei ole valitsemine. Need on uksed ja uksed vajavad lukke.
On ka õigluspõhjus replay hoolikaks kujundamiseks. Kui ainult mõned juhtumid saavad üksikasjalikud andmed, sest need on suure riski või suure väärtusega, peaks organisatsioon seda teadma ja põhjendama. Kui väikese riskiga juhtumeid salvestatakse vähem, võib inimestel olla vähem võimalusi nendes voogudes esinevaid vigu vaidlustada. Kui suure riskiga juhtumeid salvestatakse rohkem, võivad tundlikud rühmad kanda raskemat järelevalvet. Replay ei ole neutraalne mälu. See on kujundusotsus selle kohta, kelle minevikku saab uurida ja kes seda teha võib.
Replay muudab seda, kuidas meeskonnad päringuid kirjutavad
Kui replay muutub oluliseks, lakkavad päringud olemast privaatne folkloor. Päringust saab osa otsustusrajast. See vajab versioonihaldust, omanikku, teste ja seost poliitikaga. See ei tähenda, et iga sõnastuse muudatus vajaks tseremooniat küpsistega. See tähendab, et olulist päringut ei tohiks kohapeal muuta ilma jälge jätmata. Kui päring muutus otsuse ja edasikaebuse vahel, peab organisatsioon teadma, kumb neist kehtis.
Replay muudab ka viipade sisu õigetes kohtades väiksemaks. Meeskonnad topivad tihti poliitika, vorminduse, keeldumisreeglid, andmejuhised, tooni, tööriistakasutuse, näited ja operatiivsed piirangud ühte pikka viipa. Seejärel paluvad nad sellel olla korraga haldus, liides ja mälu. Taasesitatav süsteem saab osa sellest struktuurist viia selgetesse juhtnuppudesse: poliitikaväravad, allikafiltrid, skeemivalideerijad, tööriistaõigused ja olekusiirded. Viip saab tegeleda keeletööga, selle asemel et teeselda põhiseadust.
See parandab selgitusi, sest süsteem saab viidata konkreetsetele juhtnuppudele. Vastus keelduti, sest poliitikavärav blokeeris meditsiinilise nõuande väljaspool rolli, mitte sellepärast, et mudelil oli ähmane tunne. Allikas jäeti välja, sest andmeleping märkis selle eesmärgist väljapoole, mitte sellepärast, et viip ütles olla privaatsusega ettevaatlik. Tööriist ei käivitunud, sest tegevus oli ilma kinnituseta pöördumatu, mitte sellepärast, et viip sisaldas lauset, mis lootis ettevaatlikkusele. Lootus on ilus inimlik omadus. See ei ole juhtimistasand.
Viipadel on siiski tähtsus. Need kujundavad raamistust, ebakindlust, tooni ja arutluskäitumist. Replay lihtsalt takistab neil olemast ainus koht, kus vastutus peitub. See on tervislikum kõigile, sealhulgas inimesele, kelle ülesanne on viipa kuus kuud hiljem hooldada, kui sellest on saanud õrn fossiil varasematest koosolekutest.
Kasuliku selgituse hind
Kasulikul selgitusel on hind. Tõendite kogumine nõuab salvestusruumi ja arendusaega. Allikate versioonimine nõuab distsipliini. Hetktõmmiste säilitamine maksab raha. Rollipõhiste vaadete loomine nõuab tootedisaini. Privaatsusülevaatus nõuab tähelepanu. Replay-testid nõuavad käitusaega. Inimloetavad põhjusekoodid nõuavad valdkondlikku tööd. Need kulud on reaalsed. Nende eitamine on see, kuidas organisatsioonid jõuavad kas ülehinnatud arhiivide või veetlevate, kuid kasutute selgitusteni.
Õige küsimus on, millist replay-taset otsus väärib. Juhuslik mustandite abiline võib vajada kergeid jälgi ja lühikest säilitusaega. Kliiniline triaažiabiline vajab tugevamaid tõendeid, allikahetktõmmiseid, ülevaatusprotokolle ja edasikaebamise tuge. Avaliku hüvitise otsus vajab juhtumipõhiseid kviitungeid ja juriidilist versioonimist. Pettuseuurimise süsteem vajab hoolikat tasakaalu selgitatavuse, turvalisuse ja vaidlustatavuse vahel. Üks replay-holak kõigi süsteemide jaoks on sama rumal kui üks kinganumber kõigi koosolekute jaoks.
Kompromissid peaksid olema selgesõnalised. Rohkem üksikasju parandab kontrollitavust, kuid võib suurendada privaatsusriski. Tugevad hetktõmmised parandavad replayt, kuid maksavad raha. Kiiremad süsteemid võivad jäädvustada vähem. Rikkalikumad selgitused võivad paljastada tundlikku loogikat. Inimeste märkused võivad selgitada otsustusprotsessi, kuid loovad ka andmeid, mis vajavad haldust. Need on disainiotsused, mitte vabandused. Tõsised meeskonnad nimetavad need enne kasutuselevõttu. Vähem tõsised meeskonnad avastavad need kaebuste käigus ja nimetavad seda õppetundideks, mis on traditsiooniline väljend, mis tähendab järgmine kord ehk.
Parimad replay-süsteemid on tagasihoidlikud ja usaldusväärsed. Need jäädvustavad tõendid, mida on vaja küsimuste jaoks, millele organisatsioon tõenäoliselt ja kohustatud vastama peab. Need väldivad kõige salvestamist. Need toodavad selgitusi tõenditest, mitte tunnetest. Need tunnistavad ebakindlust. Need teevad puuduvad tõendid nähtavaks. Need lasevad meeskondadel paraneda. See pole särtsakas. Hea haldus harva on. Selle kõrgeim saavutus on sageli see, et keerulisele küsimusele saab vastata ilma, et kõik muutuksid teatraalseks.
Õppetund
Selgitatavus ilma taasesituseta on teater, sest see ajab veenva kirjelduse segi kontrollitavaga. Loodud põhjendus, armatuurlaud, mudelikaart ja enesekindel retsensent võivad kõik aidata. Ükski neist ei piisa, kui olulise otsuse puhul tuleb rekonstrueerida, mis juhtus. Süsteem vajab rada: kontekst, allikad, juhised, mudeli olek, poliitikakontrollid, tööriistatoimingud, inimese otsustus, väljund ja mõju.
Taasesitus ei nõua täiuslikku determinismi. See nõuab distsiplineeritud mälu. See nõuab stabiilseid viiteid, versioone, vajaduse korral hetktõmmiseid, rollipõhiseid vaateid, privaatsuspiire ja kirjeid, mis näitavad, millal tõendusmaterjal puudub. See käsitleb selgitust vaatena tõendusmaterjalile, mitte loona, mis on pärast sündmust välja mõeldud. See annab mõjutatud inimestele midagi, mida vaidlustada, operaatoritele midagi, mida parandada, ja audiitoritele midagi paremat kui lootuse giidituur.
Selgitatava tehisintellekti tulevikku ei võideta ainult ilusama selgitustekstiga. Selle võidavad süsteemid, mis suudavad oma töös tagasi käia. Kui rada on taasesitatav, saab selgitust testida. Kui rada ei ole taasesitatav, võib selgitus olla endiselt kõnekas. See võib isegi tõene olla. Kuid tõsistes olukordades on kõnekus kehv aseaine masinavärgile, mis suudab oma tööd näidata.