Vysvetliteľnosť bez prehrávania je divadlo
Vysvetlenie, ktoré prišlo príliš neskoro
Nepríjemné vysvetlenie zvyčajne príde až potom, keď už rozhodnutie malo svoje dôsledky. Zákazník bol odmietnutý. Pacient bol presmerovaný. Študent bol označený. Zásielka bola oneskorená. Občan dostal pokyn čakať. Systém umelej inteligencie vytvoril odpoveď pred dňami alebo týždňami, všetci boli zaneprázdnení, front sa posunul ďalej a teraz niekto chce vedieť, prečo k odpovedi došlo. Vtedy organizácia zistí, či má vysvetliteľnosť, alebo len oddelenie vysvetlení.
Prvá verzia často vyzerá rozumne. Dashboard zobrazuje mieru spoľahlivosti. Modelová karta uvádza, že systém bol testovaný. Vygenerovaný odsek vysvetľuje, že k výsledku prispelo niekoľko faktorov. Recenzent si pamätá, že dôkazy v tom čase vyzerali dobre. Export logov obsahuje mnoho riadkov, a preto pôsobí seriózne. Ľudia sa zhromaždia okolo artefaktov a začnú rozprávať príbeh. Môžu byť čestní. Môžu byť zruční. Môžu mať dokonca pravdu. Ale ak sa cesta nedá prehrať, vysvetlenie je predstavenie s rekvizitami.
Prehratie mení štandard. Pýta sa, či organizácia dokáže zrekonštruovať rozhodovaciu cestu zo skutočných ingrediencií: požiadavka, identita, stav údajov, výsledky vyhľadávania, prompt alebo inštrukcia, verzia modelu, nastavenia, volania nástrojov, kontroly politík, ľudské kroky, načasovanie a výstup. Nie podobnú cestu. Nie hodnovernú cestu. Cestu, ktorá vytvorila odpoveď, alebo kontrolovaný opis toho, prečo je presné prehratie nemožné a ktorá časť sa nedá obnoviť. Toto je menej efektné ako panel vysvetlení. Je to tiež oveľa ťažšie sfalšovať.
Vysvetliteľnosť bez prehratia je divadlo, pretože pozýva ľudí obdivovať príbeh namiesto toho, aby skúmali systém. Divadlo nie je zbytočné. Dobré divadlo vie poučiť, potešiť, varovať a občas udržať komunitný dom pri živote. Nemalo by však rozhodovať o tom, či bolo automatizované rozhodnutie zákonné, spravodlivé, primerané alebo správne. Na to publikum potrebuje strojové zázemie.
Prečo plynulý dôvod nestačí
Veľké jazykové modely sú veľmi dobré vo vytváraní dôvodov. To je súčasť ich užitočnosti aj súčasť problému. Dôvod môže byť jasný, hodnoverný, zdvorilý a oddelený od skutočnej cesty, ktorá vytvorila odpoveď. Systém môže vysvetliť klasifikáciu uvedením faktorov, ktoré znejú relevantne, zatiaľ čo skutočný vplyv pochádzal zo zastaraného zdroja, vetvy promptu, skrytého predvoleného nastavenia alebo výsledku nástroja, ktorý sa v texte nikdy neobjaví. Text môže byť užitočný. Automaticky to však nie je dôkaz.
Toto nie je osobitná morálna chyba AI. Aj ľudia sa dodatočne vysvetľujú s veľkou kreativitou a selektívnou pamäťou. Rozdiel je v rozsahu a štruktúre. Systémy AI dokážu vygenerovať tisíce rozhodnutí, pričom každé má úhľadné vysvetlenie, zatiaľ čo prevádzková cesta závisí od presúvania dát, verzií, vyrovnávacích pamätí, politík a služieb. Vrstva vysvetlení môže zostať pokojná, zatiaľ čo základný proces sa správa ako zásuvka na príbory počas zemetrasenia.
Užitočné vysvetlenie musí odpovedať na dve otázky. Aké dôvody dokáže človek pochopiť. Aké dôkazy ukazujú, že tieto dôvody súvisia s tým, čo sa skutočne stalo. Prvá otázka sa týka komunikácie. Druhá sa týka prehratia. Ak organizácia dokáže odpovedať len na prvú, môže mať dobrú používateľskú skúsenosť, ale slabú zodpovednostnú plochu. To je nebezpečné, pretože vysvetlenie sa môže stať presvedčivejším práve vtedy, keď by malo byť skromnejšie.
Existujú situácie, keď jednoduché vysvetlenie stačí. Ak asistent s nízkym rizikom navrhne opravu pravopisu, nikto nepotrebuje forenznú rekonštrukciu ekonomiky samohlások. Ale keď výstup ovplyvňuje práva, peniaze, prístup, bezpečnosť, odborný úsudok alebo dôveru verejnosti, organizácia potrebuje viac než plynulý dôvod. Potrebuje cestu späť cez systém. Človek by mal mať možnosť opýtať sa: ukážte mi, čo systém videl, čo mu bolo dovolené urobiť, ktorá verzia bežala, ktoré pravidlo sa použilo, kto sa naň spoľahol a ako to môžem napadnúť.
Prehratie nie je len determinizmus
Ľudia často počujú prehratie a myslia si, že to znamená stlačiť tlačidlo a dostať presne rovnakú postupnosť tokenov. Niekedy je to možné. Niekedy nie. Modely môžu byť stochastické. Externé služby sa môžu meniť. Indexy vyhľadávania sa môžu obnovovať. Časovo citlivé dáta môžu expirovať. Nástroj môže závisieť od limitov rýchlosti, trhovej ceny, stavu kalendára alebo ľudského vstupu. Presné bitové opakovanie je užitočné, keď je dostupné, ale prehratie je širšia disciplína než deterministická nostalgia.
Prehratie znamená, že systém dokáže zrekonštruovať cestu rozhodnutia na úrovni potrebnej pre danú otázku. Pre faktickú odpoveď to môže znamenať zdroje, poradie, úryvky, prompt, verziu modelu a výstup. Pre akciu nástroja to môže znamenať oprávnenie, parametre, kontroly politík, stav schválenia, výsledok vykonania a následný záznam. Pre rozhodnutie s ľudskou asistenciou to môže znamenať odporúčanie modelu, balík dôkazov, činnosť recenzenta, nesúhlas a konečný výsledok. Cieľom je urobiť minulosť preskúmateľnou, nie predstierať, že minulosť bola laboratórna vzorka uchovávaná pod sklom.
Tento rozdiel je dôležitý, pretože presné prehratie sa môže stať výhovorkou na nerobenie ničoho. Tím povie, že model je nedeterministický, preto je prehratie nemožné, preto sa vysvetlenia budú generovať na požiadanie. To je ako povedať, že počasie sa nedá pretočiť, preto nemá zmysel viesť letový zapisovač. Nemusíme reprodukovať každú molekulu turbulencie. Stále môžeme zaznamenať výšku, smer, ovládanie, varovania a rozhodnutia. Systémy AI si zaslúžia rovnakú pokoru a rovnakú disciplínu.
Prehratie tiež potrebuje rozsah. Zaznamenávať všetko navždy nie je zodpovedné. Vytvára riziko pre súkromie, náklady a riadiacu hmlu. Dizajn prehratia by mal zachytávať minimálne dôkazy potrebné na rekonštrukciu dôležitých ciest, pričom uchovávanie a prístup by mali byť prispôsobené riziku. Voľba nie je medzi totálnou pamäťou a divadelnou amnéziou. Seriózne systémy žijú v strede, kde sú dôkazy účelové, ohraničené a dostatočne silné na zodpovedanie neskorších otázok.
Kde sa prehratie láme
Prehrávanie sa zvyčajne láme na hraniciach. Volanie modelu je ľahké si zapamätať, pretože naň všetci pozerajú. Okolitý kontext je miesto, kde fakty unikajú. Zmenila sa rola používateľa. Zdrojový dokument bol prepísaný. Index vyhľadávania bol prestavaný bez snímky. Šablóna výzvy bola upravená na mieste. Politický engine použil aktuálne pravidlo, keď sa pýtal na minulý mesiac. Nástroj vrátil hodnotu z dneška. Ľudský recenzent videl obrazovku, ktorá už neexistuje. Systémové hodiny boli v jednej službe nesprávne a v druhej správne, malý darček distribuovaných systémov budúcim stretnutiam.
Hnitie kontextu je obzvlášť časté v systémoch vyhľadávania. Vygenerovaná odpoveď cituje stránku s politikou. O šesť mesiacov neskôr sa stránka zmenila. Citácia stále funguje, ale už nehovorí to, čo hovorila. Vysvetlenie hovorí, že systém sa spoliehal na politiku, čo je pravda v tom najneužitočnejšom zmysle. Bez hašu obsahu, verzie, snímky alebo archívneho odkazu organizácia nemôže ukázať, ktorá politika formovala odpoveď. Môže ukázať iba aktuálnu stránku a dúfať, že história bude spolupracovať.
Používanie nástrojov vytvára ďalšiu trhlinu. Model sa môže rozhodnúť zavolať nástroj, ale vysvetlenie nemusí zachovať parametre, kontrolu povolení, odpoveď, cestu opakovania alebo vedľajší účinok. Výstup potom vyzerá ako odpoveď, zatiaľ čo dôležitá akcia sa stala inde. Ak nástroj zmenil záznam, poslal správu, ohodnotil riziko alebo spustil pracovný postup, prehrávanie musí nasledovať túto hranicu. Inak vysvetlenie opisuje hovoriacu časť a chýba ruka, ktorá pohla pákou.
Ľudská kontrola môže tiež prelomiť prehrávanie. Recenzent môže vidieť dôkazy, urobiť úsudok a zanechať iba konečný status. Neskôr organizácia povie, že bol zapojený človek. To je pravda a zároveň plytké. Ktoré dôkazy recenzent videl. Zmenili výstup. Prijali odporúčanie alebo urobili nezávislé rozhodnutie. Mali čas. Zaznamenali pochybnosť. Rozhranie ukazovalo dôveru spôsobom, ktorý ich ovplyvnil. Ak stav človeka nie je zaznamenaný, ľudská kontrola sa stáva oponou. Z publika to vyzerá upokojujúco. Za ňou nikto nemôže nájsť stoličku.
Vysvetlenie by malo byť pohľadom na dôkazy
Lepší vzor je považovať vysvetlenie za pohľad na dôkazy prehrávania. Balík dôkazov je základný záznam. Vysvetlenie je ľudsky čitateľné zobrazenie vybraných častí tohto záznamu. Občan môže vidieť krátky opis kategórií zdrojov, základu pravidiel, automatickej podpory, ľudskej kontroly a postupu odvolania. Operátor môže vidieť úryvky zdrojov, dôveru, kontroly politiky a výsledky nástrojov. Audítor môže vidieť haše, verzie, časové pečiatky, udalosti schválenia a postoj k uchovávaniu. Rôzne pohľady, rovnaká chrbtica dôkazov.
Týmto sa zabráni tomu, aby sa vysvetlenia stali vymyslenou prózou. Systém by nemal žiadať model, aby vysvetľoval minulé rozhodnutie z pamäte alebo zo zhrnutia o sebe samom. Vysvetlenie by malo byť vytvorené alebo zostavené zo zaznamenaných dôkazov. Ak dôkazy chýbajú, vysvetlenie by to malo povedať. Chýbajúce dôkazy nie sú nepríjemnosťou používateľského rozhrania. Sú faktom o zodpovednosti rozhodnutia. Skryť ich pod hladší odsek je spôsob, ako sa divadlo predraží.
Vysvetlenie založené na dôkazoch tiež zlepšuje prístupnosť. Ľudia, ktorých sa rozhodnutia týkajú, nepotrebujú surové záznamy. Potrebujú zrozumiteľné dôvody, možnosti nápravy a dostatok detailov na to, aby sa mohli odvolať. Vývojári a audítori potrebujú hlbšie vrstvy. Oddelenie dôkazov od zobrazení umožňuje systému slúžiť obom bez toho, aby sa transparentnosť zamieňala s vystavením ľudí technickému materiálu, až kým to nevzdajú. Výpis s tisíckou riadkov môže byť rovnako nepriehľadný ako čierna skrinka, ak sa dostane k nesprávnemu publiku.
Zobrazenie sa tiež musí vyhnúť nadhodnoteniu. Vysvetlenie modelu by nemalo predstierať, že odhaľuje vnútorné psychologické pohnútky. Vysvetlenie skóre by nemalo pretaviť koreláciu na morálny úsudok. Vysvetlenie vyhľadávania by nemalo naznačovať, že necitované zdroje boli irelevantné, ak neboli nikdy vyhľadané. Dobré vysvetlenie používa suchý jazyk: táto požiadavka použila tieto verzie zdrojov, podľa týchto pravidiel, s týmto nastavením modelu, vytvorila tento výstup, posúdila ju táto rola, čo viedlo k tejto akcii. Suchý jazyk je nedocenený. Má menej miest, kde sa dá ukryť nezmysel.
Prehrávanie uzatvára cyklus učenia
Prehrávanie nie je len pre audity a sťažnosti. Je to spôsob, ako sa systémy učia bez toho, aby klamali samy seba. Ak sa objaví zlý výstup, prehrávanie umožní tímu preskúmať cestu. Chýbal zdroj. Zdroj bol prítomný, ale bol hodnotený príliš nízko. Potlačila výzva neistotu. Ignoroval model pravidlo. Vrátil nástroj nesprávny stav. Schválil ľudský recenzent rozhodnutie, pretože balík dôkazov bol zle navrhnutý. Vynútil konflikt politík krehkú cestu. Každá odpoveď ukazuje na inú opravu.
Bez prehrávania sa zlepšovanie stáva poverou. Tím mení výzvy, pretože výzvy sú viditeľné. Vymieňa model, pretože modely sú vzrušujúce. Pridáva varovanie, pretože varovania sú lacné. Skutočný problém mohol byť zastaraný index, neverzionované pravidlo, tiché zlyhanie povolenia alebo rozhranie recenzenta, ktoré skrývalo nesúhlas. Povera môže vytvoriť pohyb. Málokedy vytvorí kontrolu. Organizácia sa cíti zaneprázdnená a zostáva zmätená, čo je populárny, ale únavný prevádzkový model.
Slučka prehrávania môže napájať vyhodnocovanie. Neúspešné prípady sa stávajú testovacími prípadmi so zachovaným kontextom. Ľudské opravy sa stávajú označenými príkladmi. Výsledky odvolaní sa stávajú signálmi pre riadenie. Zlyhania čerstvosti zdrojov sa stávajú metrikami kvality údajov. Chyby nástrojov sa stávajú testami zmlúv. Systém získa pamäť svojich chýb, ktorá je bohatšia ako kopa sťažností. Táto pamäť umožňuje tímom vykonať zmeny a potom porovnať novú cestu so starou.
Prehrávanie tiež chráni pred divadlom zlepšovania. Nová verzia môže vytvárať krajšie vysvetlenia a zároveň robiť horšie rozhodnutia. Iná môže zlepšiť presnosť, ale oslabiť správanie pri odmietaní. Tretia môže znížiť latenciu vynechaním dôkazov zo zdrojov. Ak organizácia zaznamenáva a prehráva prípady, môže vidieť kompromisy. Ak vzorkuje iba vyleštené vysvetlenia, bude v pokušení veriť verzii s najlepšími spôsobmi.
Námietka ochrany súkromia je reálna
Replay sa dá navrhnúť zle. Lenivá verzia zaznamenáva všetko: celé výzvy, celé dokumenty, osobné údaje, výstupy nástrojov, interné poznámky, komentáre recenzentov a možno aj farbu stoličky, ak bol nablízku senzor. Organizácia to potom nazve auditovateľnosťou a vytvorí si druhé rizikové prostredie. Toto nie je zrelé. Je to hromadenie s odznakom zhody.
Zodpovedný návrh replayu začína účelom. Ktoré rozhodnutia potrebujú replay. Ktoré dôkazy sú nevyhnutné. Ktoré časti možno odkazovať stabilným identifikátorom namiesto kopírovania. Ktoré hodnoty by sa mali hashovať. Ktorý obsah si vyžaduje redakciu. Ktoré roly majú prístup k hlbším vrstvám. Ktorá doba uchovávania zodpovedá právnej a ľudskej hodnote procesu. Ktoré dôkazy by sa nikdy nemali zaznamenávať, pretože riziko prevyšuje prínos. Tieto otázky nie sú prekážkami vysvetliteľnosti. Sú jej súčasťou.
Replay šetriaci súkromie často znamená vrstvenie. Verejné vysvetlenie môže obsahovať kategórie a dôvody. Interný prehľad môže obsahovať identifikátory zdrojov a úryvky. Audítorská vrstva môže obsahovať hashe, časové pečiatky a podpisy. Incidentová vrstva môže vyžadovať dočasný širší prístup za prísnej kontroly. Vrstvy by mali byť prepojené, ale nemali by sa zlúčiť do jedného obrovského archívu prístupného každému, kto vie, kde je tlačidlo exportu. Tlačidlá exportu nie sú riadenie. Sú to dvere a dvere si vyžadujú zámky.
Existuje aj dôvod spravodlivosti na starostlivý návrh replayu. Ak sa podrobné záznamy vedú len o niektorých prípadoch, pretože sú vysoko rizikové alebo vysoko hodnotné, organizácia by to mala vedieť a zdôvodniť. Ak sú prípady s nízkym rizikom nedostatočne zaznamenané, ľudia môžu mať menšiu schopnosť napadnúť chyby v týchto tokoch. Ak sú vysoko rizikové prípady nadmerne zaznamenané, citlivé skupiny môžu niesť ťažší dohľad. Replay nie je neutrálna pamäť. Je to dizajnové rozhodnutie o tom, koho minulosť možno skúmať a kto to môže robiť.
Replay mení spôsob, akým tímy píšu výzvy
Keď replay začne byť dôležitý, výzvy prestanú byť súkromným folklórom. Výzva sa stáva súčasťou rozhodovacej cesty. Potrebuje verzovanie, vlastníctvo, testy a vzťah k pravidlám. To neznamená, že každá zmena formulácie si vyžaduje ceremóniu s keksíkmi. Znamená to, že dôležitá výzva by sa nemala upravovať na mieste bez zanechania záznamu. Ak sa výzva zmenila medzi rozhodnutím a odvolaním, organizácia musí vedieť, ktorá sa použila.
Replay tiež zmenšuje výzvy na správnych miestach. Tímy často napchajú politiku, formátovanie, pravidlá odmietania, pokyny pre dáta, tón, používanie nástrojov, príklady a prevádzkové obmedzenia do jednej dlhej výzvy. Potom od nej chcú, aby bola riadením, rozhraním aj pamäťou. Replayovateľný systém môže časť tejto štruktúry presunúť do explicitných ovládacích prvkov: politických brán, filtrov zdrojov, validátorov schém, povolení nástrojov a prechodov stavov. Výzva sa potom môže venovať jazykovej práci namiesto toho, aby sa tvárila ako ústava.
Toto zlepšuje vysvetlenia, pretože systém môže ukázať na konkrétne ovládacie prvky. Odpoveď bola odmietnutá, pretože politická brána zablokovala lekársku radu mimo rolu, nie preto, že model mal neurčitý pocit. Zdroj bol vylúčený, pretože dátová zmluva ho označila ako mimo účel, nie preto, že výzva hovorila o opatrnosti so súkromím. Nástroj sa nespustil, pretože akcia bola bez schválenia nezvratná, nie preto, že veta vo výzve dúfala v obozretnosť. Nádej je krásna ľudská vlastnosť. Nie je to riadiaca rovina.
Výzvy stále záležia. Formujú rámec, neistotu, tón a spôsob uvažovania. Replay ich jednoducho prestane nechať byť jediným miestom, kde sa skrýva zodpovednosť. To je zdravšie pre všetkých, vrátane človeka, ktorý má výzvu udržiavať o šesť mesiacov neskôr, keď sa z nej stane krehká skamenelina minulých stretnutí.
Cena užitočného vysvetlenia
Užitočné vysvetlenie má svoje náklady. Zachytávanie dôkazov stojí úložisko a inžiniersky čas. Verzionovanie zdrojov stojí disciplínu. Uchovávanie snímok stojí peniaze. Budovanie pohľadov špecifických pre roly stojí dizajn produktu. Preskúmanie súkromia stojí pozornosť. Replay testy stoja výpočtový čas. Zrozumiteľné kódy dôvodov stoja doménovú prácu. Tieto náklady sú reálne. Tvárí sa, že nie sú, je spôsob, akým organizácie skončia buď s predimenzovanými archívmi, alebo s očarujúco zbytočnými vysvetleniami.
Správna otázka je, akú úroveň replayu si rozhodnutie zaslúži. Bežný asistent na písanie môže potrebovať ľahké stopy a krátke uchovávanie. Klinický triediaci nástroj potrebuje silnejšie dôkazy, snímky zdrojov, záznamy o preskúmaní a podporu pre odvolania. Rozhodnutie o verejných dávkach potrebuje potvrdenia na úrovni prípadu a právne verzionovanie. Systém na vyšetrovanie podvodov potrebuje starostlivú rovnováhu medzi vysvetliteľnosťou, bezpečnosťou a možnosťou napadnutia. Jedna replay pozícia pre každý systém je rovnako hlúpa ako jedna veľkosť topánok pre každé stretnutie.
Kompromisy by mali byť explicitné. Viac detailov zlepšuje kontrolu, ale môže zvýšiť riziko pre súkromie. Silné snímky zlepšujú replay, ale stoja peniaze. Rýchlejšie systémy môžu zachytávať menej. Bohatšie vysvetlenia môžu odhaliť citlivú logiku. Ľudské poznámky môžu objasniť úsudok, ale tiež vytvárajú záznamy, ktoré treba riadiť. Toto sú dizajnérske rozhodnutia, nie výhovorky. Seriózne tímy ich pomenujú pred nasadením. Menej seriózne tímy ich objavia počas sťažností a potom to nazvú poučením, čo je tradičný výraz znamenajúci nabudúce, možno.
Najlepšie replay systémy sú skromné a spoľahlivé. Zachytávajú dôkazy potrebné na otázky, ktoré je organizácia pravdepodobne povinná zodpovedať. Vyhýbajú sa zaznamenávaniu všetkého. Produkujú vysvetlenia z dôkazov, nie z pocitov. Priznávajú neistotu. Zviditeľňujú chýbajúce dôkazy. Umožňujú tímom zlepšovať sa. To nie je efektné. Dobré riadenie zriedka býva. Jeho najvyšším úspechom je často to, že na ťažkú otázku možno odpovedať bez toho, aby sa všetci stali teatrálnymi.
Ponaučenie
Vysvetliteľnosť bez replayu je divadlo, pretože si mýli presvedčivý výklad s overiteľným. Vygenerovaný dôvod, dashboard, modelová karta a sebavedomý recenzent môžu všetci pomôcť. Žiadny z nich nestačí, keď sa musí rekonštruovať rozhodnutie s veľkým dosahom. Systém potrebuje cestu: kontext, zdroje, inštrukcie, stav modelu, politické kontroly, akcie nástrojov, ľudský úsudok, výstup a účinok.
Replay nevyžaduje dokonalý determinizmus. Vyžaduje disciplinovanú pamäť. Vyžaduje stabilné referencie, verzie, snímky tam, kde sú potrebné, pohľady špecifické pre roly, hranice súkromia a záznamy, ktoré hovoria, keď dôkaz chýba. S výkladom zaobchádza ako s pohľadom na dôkazy, nie ako s príbehom vymysleným dodatočne. Dotknutým ľuďom dáva niečo, čo môžu spochybniť, operátorom niečo, čo môžu opraviť, a audítorom niečo lepšie ako prehliadku nádeje.
Budúcnosť vysvetliteľnej umelej inteligencie nevyhrá samotný krajší text vysvetlení. Vyhrajú ju systémy, ktoré sa vedia vrátiť k vlastnej práci. Ak sa cesta dá prehrať, vysvetlenie sa dá otestovať. Ak sa cesta prehrať nedá, vysvetlenie môže byť stále výrečné. Môže byť dokonca pravdivé. Ale vo vážnych prostrediach je výrečnosť chabou náhradou za mechanizmus, ktorý vie ukázať svoju prácu.