Vysvětlitelnost bez přehrávání je divadlo
Vysvětlení, které přišlo pozdě
Nepříjemné vysvětlení obvykle přichází až poté, co rozhodnutí už mělo své důsledky. Zákazník byl odmítnut. Pacient byl přesměrován. Student byl označen. Zásilka se zpozdila. Občan dostal pokyn čekat. Systém umělé inteligence vygeneroval odpověď před dny či týdny, všichni byli zaneprázdněni, fronta se posunula dál a teď někdo chce vědět, proč k té odpovědi došlo. Tehdy organizace zjistí, zda má vysvětlitelnost, nebo jen oddělení pro vysvětlování.
První verze často vypadá rozumně. Dashboard ukazuje míru spolehlivosti. Modelová karta říká, že systém byl testován. Vygenerovaný odstavec vysvětluje, že k výsledku přispělo několik faktorů. Recenzent si pamatuje, že důkazy tehdy vypadaly dobře. Export logů obsahuje mnoho řádků, a proto působí důvěryhodně. Lidé se shromáždí kolem artefaktů a začnou vyprávět příběh. Mohou být čestní. Mohou být zkušení. Mohou mít dokonce pravdu. Pokud ale cestu nelze přehrát, je vysvětlení představením s rekvizitami.
Přehrání mění standard. Ptá se, zda organizace dokáže rekonstruovat rozhodovací cestu ze skutečných ingrediencí: požadavku, identity, stavu dat, výsledků vyhledávání, promptu či instrukce, verze modelu, nastavení, volání nástrojů, kontrol politik, lidských kroků, načasování a výstupu. Ne podobnou cestu. Ne věrohodnou cestu. Cestu, která odpověď vytvořila, nebo kontrolovaný popis toho, proč je přesné přehrání nemožné a která část nelze obnovit. To je méně efektní než panel vysvětlení. Je to také mnohem těžší předstírat.
Vysvětlitelnost bez přehrání je divadlo, protože vybízí lidi, aby obdivovali příběh, místo aby zkoumali systém. Divadlo není k ničemu. Dobré divadlo umí poučit, utěšit, varovat a občas udržet při životě obecní sál. Nemělo by ale rozhodovat o tom, zda bylo automatizované rozhodnutí zákonné, spravedlivé, přiměřené nebo správné. K tomu publikum potřebuje strojové zázemí v zákulisí.
Proč plynulý důvod nestačí
Velké jazykové modely jsou velmi dobré v produkci důvodů. To je součást jejich užitečnosti i součást problému. Důvod může být jasný, věrohodný, zdvořilý a odtržený od skutečné cesty, která odpověď vytvořila. Systém může vysvětlit klasifikaci uvedením faktorů, které znějí relevantně, zatímco skutečný vliv měl zastaralý zdroj, větev promptu, skryté výchozí nastavení nebo výsledek nástroje, který se v textu nikdy neobjeví. Text může být užitečný. Není ale automaticky důkazem.
Toto není nějaký zvláštní morální defekt umělé inteligence. Lidé také vysvětlují své činy zpětně s velkou dávkou kreativity a selektivní paměti. Rozdíl je v měřítku a struktuře. Systémy umělé inteligence dokážou vygenerovat tisíce rozhodnutí, každé s úhledným vysvětlením, zatímco provozní cesta závisí na pohybu dat, verzí, mezipamětí, zásad a služeb. Vrstva vysvětlení může zůstat klidná, zatímco základní proces se chová jako zásuvka na příbory při zemětřesení.
Užitečné vysvětlení musí odpovědět na dvě otázky. Jaké důvody může člověk pochopit. Jaké důkazy ukazují, že tyto důvody souvisejí s tím, co se skutečně stalo. První otázka se týká komunikace. Druhá se týká přehrání. Pokud organizace umí odpovědět jen na první otázku, může mít dobrou uživatelskou zkušenost, ale slabou plochu odpovědnosti. To je nebezpečné, protože vysvětlení se může stát přesvědčivějším právě ve chvíli, kdy by mělo být skromnější.
Existují situace, kdy jednoduché vysvětlení stačí. Pokud asistent s nízkým rizikem navrhne opravu pravopisu, nikdo nepotřebuje forenzní rekonstrukci ekonomie samohlásek. Ale když výstup ovlivňuje práva, peníze, přístup, bezpečnost, profesní úsudek nebo důvěru veřejnosti, organizace potřebuje víc než plynulý důvod. Potřebuje cestu zpět systémem. Člověk by se měl umět zeptat: ukaž mi, co systém viděl, co mu bylo dovoleno udělat, která verze běžela, které pravidlo se použilo, kdo se na něj spoléhal a jak to mohu napadnout.
Přehrání není jen determinismus
Lidé si pod pojmem přehrání často představí stisknutí tlačítka a obdržení přesně stejné sekvence tokenů. Někdy to možné je. Někdy ne. Modely mohou být stochastické. Externí služby se mohou měnit. Indexy pro vyhledávání se mohou obnovovat. Časově citlivá data mohou vypršet. Nástroj může záviset na limitu požadavků, tržní ceně, stavu kalendáře nebo lidském vstupu. Přesné opakování bit po bitu je užitečné, když je k dispozici, ale přehrání je širší disciplína než deterministická nostalgie.
Přehrání znamená, že systém dokáže rekonstruovat cestu rozhodnutí na úrovni potřebné pro danou otázku. U faktické odpovědi to může znamenat zdroje, pořadí, úryvky, prompt, verzi modelu a výstup. U akce nástroje to může znamenat oprávnění, parametry, kontroly zásad, stav schválení, výsledek provedení a následný záznam. U rozhodnutí s lidskou asistencí to může znamenat doporučení modelu, balíček důkazů, akci recenzenta, neshodu a konečný výsledek. Cílem je učinit minulost zkoumatelnou, ne předstírat, že minulost byla laboratorní vzorek uchovávaný pod sklem.
Tento rozdíl je důležitý, protože přesné přehrání se může stát výmluvou pro nedělání ničeho. Tým řekne, že model je nedeterministický, proto je přehrání nemožné, proto budou vysvětlení generována na vyžádání. To je jako říkat, že počasí nelze přetočit zpět, a proto nemá smysl uchovávat letový zapisovač. Možná nedokážeme reprodukovat každou molekulu turbulence. Stále můžeme zaznamenat nadmořskou výšku, kurz, řízení, varování a rozhodnutí. Systémy umělé inteligence si zaslouží stejnou skromnost a stejnou disciplínu.
Přehrání také potřebuje rozsah. Zaznamenávat vše navždy není odpovědné. Vytváří to riziko pro soukromí, náklady a řídicí mlhu. Návrh přehrání by měl zachytit minimální důkazy potřebné k rekonstrukci důležitých cest, přičemž uchovávání a přístup odpovídají riziku. Volba není mezi totální pamětí a divadelní amnézií. Seriózní systémy žijí uprostřed, kde jsou důkazy účelné, ohraničené a dostatečně silné, aby odpověděly na pozdější otázky.
Místa, kde přehrání selhává
Replay se obvykle rozpadá na hranicích. Volání modelu si snadno zapamatujete, protože na něj všichni zírají. Okolní kontext je místo, kde fakta unikají. Změnila se role uživatele. Zdrojový dokument byl přepsán. Index pro vyhledávání byl přestavěn bez snímku. Šablona promptu byla upravena na místě. Pravidlový engine použil aktuální pravidlo, když se ptal na minulý měsíc. Nástroj vrátil hodnotu z dneška. Lidský recenzent viděl obrazovku, která už neexistuje. Systémové hodiny byly v jedné službě špatně a v jiné správně, malý dárek od distribuovaných systémů budoucím schůzkám.
Hniloba kontextu je obzvlášť častá v systémech pro vyhledávání. Vygenerovaná odpověď cituje stránku s pravidly. O šest měsíců později se stránka změnila. Citace stále funguje, ale už neříká to, co říkala. Vysvětlení říká, že se systém opíral o pravidla, což je pravda v tom nejméně užitečném smyslu. Bez hash obsahu, verze, snímku nebo archivního odkazu organizace nemůže ukázat, která pravidla odpověď utvářela. Může jen ukázat aktuální stránku a doufat, že historie bude spolupracovat.
Použití nástrojů vytváří další zlom. Model se může rozhodnout zavolat nástroj, ale vysvětlení nemusí zachovat parametry, kontrolu oprávnění, odpověď, cestu opakování ani vedlejší účinek. Výstup pak vypadá jako odpověď, zatímco důležitá akce se odehrála jinde. Pokud nástroj změnil záznam, poslal zprávu, vyhodnotil riziko nebo spustil pracovní postup, replay musí tuto hranici sledovat. Jinak vysvětlení popisuje mluvící část a přehlíží ruku, která pohnula pákou.
Lidská recenze může replay také rozbít. Recenzent může vidět důkazy, učinit úsudek a zanechat jen konečný status. Později organizace řekne, že byl zapojen člověk. To je pravda, ale hubená. Které důkazy recenzent viděl. Změnil výstup. Přijal doporučení, nebo učinil nezávislé rozhodnutí. Měl čas. Zaznamenal pochybnosti. Rozhraní ukazovalo jistotu způsobem, který ho ovlivnil. Pokud lidský stav není zaznamenán, lidská recenze se stane oponou. Z publika vypadá uklidňující. Za ní nikdo nemůže najít židli.
Vysvětlení by mělo být pohledem na důkazy
Lepší vzor je zacházet s vysvětlením jako s pohledem na důkazy z replaye. Balíček důkazů je základní záznam. Vysvětlení je zobrazení vybraných částí tohoto záznamu pro lidi. Občan může vidět krátký přehled kategorií zdrojů, základu pravidel, automatické podpory, lidské recenze a cesty odvolání. Operátor může vidět úryvky zdrojů, jistotu, kontroly pravidel a výsledky nástrojů. Auditor může vidět hashe, verze, časová razítka, události schválení a postoj k uchovávání. Různé pohledy, stejná páteř důkazů.
Tím se vysvětlení nestane smyšlenou prózou. Systém by neměl model žádat, aby vysvětloval minulé rozhodnutí zpaměti nebo ze shrnutí sebe sama. Vysvětlení by mělo být vytvořeno nebo sestaveno ze zaznamenaných důkazů. Pokud důkazy chybí, mělo by to vysvětlení říci. Chybějící důkazy nejsou nepříjemností uživatelského rozhraní. Jsou skutečností o odpovědnosti rozhodnutí. Skrýt je pod hladší odstavec je způsob, jak divadlo prodražit.
Vysvětlení podložené důkazy také zlepšuje přístupnost. Lidé, kterých se rozhodnutí týkají, nepotřebují surové záznamy. Potřebují srozumitelné důvody, cesty k nápravě a dostatek podrobností pro odvolání. Vývojáři a auditoři potřebují hlubší vrstvy. Oddělení důkazů od zobrazení umožňuje systému sloužit oběma skupinám, aniž by se transparentnost zaměňovala za sypání technického materiálu na lidi, dokud se nevzdají. Výpis o tisíci řádcích může být stejně neprůhledný jako černá skříňka, pokud se dostane do nesprávných rukou.
Zobrazení se také musí vyvarovat přehánění. Vysvětlení modelu by nemělo předstírat, že odhaluje vnitřní psychologické pohnutky. Vysvětlení skóre by nemělo převádět korelaci na morální soud. Vysvětlení vyhledávání by nemělo naznačovat, že necitované zdroje byly irelevantní, pokud nikdy nebyly vyhledány. Dobré vysvětlení používá suchý jazyk: tento požadavek použil tyto verze zdrojů, za těchto pravidel, s tímto nastavením modelu, vytvořil tento výstup, zkontroloval ho tato role a vedl k této akci. Suchý jazyk je nedoceněný. Méně se v něm skrývá nesmyslů.
Přehrání uzavírá smyčku učení
Přehrání není jen pro audity a stížnosti. Je to způsob, jak se systémy učí, aniž by si lhaly. Pokud se objeví špatný výstup, přehrání umožní týmu prozkoumat cestu. Chyběl zdroj. Zdroj byl přítomen, ale byl hodnocen příliš nízko. Potlačil prompt nejistotu. Ignoroval model pravidlo. Vrátil nástroj nesprávný stav. Schválil lidský recenzent rozhodnutí, protože balíček důkazů byl špatně navržen. Vynutil konflikt zásad křehkou cestu. Každá odpověď ukazuje na jinou opravu.
Bez přehrání se zlepšování stává pověrou. Tým mění prompt, protože prompty jsou viditelné. Vymění model, protože modely jsou vzrušující. Přidá varování, protože varování jsou levná. Skutečný problém mohl být v zastaralém indexu, neverzovaném pravidle, tichém selhání oprávnění nebo v rozhraní recenzenta, které skrývalo neshodu. Pověra může vyvolat pohyb. Málokdy přinese kontrolu. Organizace se cítí zaneprázdněná a zůstává zmatená, což je oblíbený, ale únavný provozní model.
Smyčka přehrání může napájet vyhodnocování. Neúspěšné případy se stávají testovacími případy se zachovaným kontextem. Lidské opravy se stávají označenými příklady. Výsledky odvolání se stávají signály pro řízení. Selhání čerstvosti zdrojů se stávají metrikami kvality dat. Chyby nástrojů se stávají testy smluv. Systém získá paměť svých chyb, která je bohatší než hromada stížností. Tato paměť umožňuje týmům provádět změny a poté porovnat novou cestu se starou.
Přehrání také chrání před divadlem zlepšování. Nová verze může vytvářet hezčí vysvětlení, ale zároveň činit horší rozhodnutí. Jiná může zlepšit přesnost, ale oslabit chování při odmítání. Třetí může snížit latenci tím, že vypustí důkazy ze zdrojů. Pokud organizace případy zaznamenává a přehrává, může vidět kompromisy. Pokud pouze vzorkuje vyleštěná vysvětlení, bude v pokušení věřit verzi s nejlepšími způsoby.
Námitka soukromí je oprávněná
Přehrávání lze navrhnout špatně. Líná verze zaznamenává všechno: celé výzvy, celé dokumenty, osobní údaje, výstupy nástrojů, interní poznámky, komentáře recenzentů a možná i barvu židle, pokud byl poblíž senzor. Organizace to pak nazve auditovatelností a vytvoří si druhý rizikový majetek. To není zralé. To je hromadění s odznakem shody.
Odpovědný návrh přehrávání začíná účelem. Která rozhodnutí potřebují přehrávání. Které důkazy jsou nezbytné. Které části lze odkazovat stabilním identifikátorem místo kopírování. Které hodnoty by měly být hashovány. Který obsah potřebuje redakci. Které role mají přístup do hlubších vrstev. Která doba uchování odpovídá právní a lidské hodnotě procesu. Které důkazy by se nikdy neměly zachycovat, protože riziko převažuje nad přínosem. Tyto otázky nejsou překážkou vysvětlitelnosti. Jsou její součástí.
Přehrávání šetrné k soukromí často znamená vrstvení. Veřejné vysvětlení může obsahovat kategorie a důvody. Interní přezkum může obsahovat identifikátory zdrojů a úryvky. Vrstva auditu může obsahovat hashe, časová razítka a podpisy. Vrstva incidentů může vyžadovat dočasný širší přístup za přísné kontroly. Vrstvy by měly být propojené, ale neměly by se slévat do jednoho obřího archivu přístupného každému, kdo ví, kde je tlačítko exportu. Tlačítka exportu nejsou řízení. Jsou to dveře a dveře vyžadují zámky.
Existuje také důvod spravedlnosti, proč přehrávání navrhovat pečlivě. Pokud jen některé případy dostávají podrobné záznamy, protože jsou vysoce rizikové nebo vysoce hodnotné, organizace by to měla vědět a zdůvodnit. Pokud jsou nízko rizikové případy nedostatečně zaznamenané, lidé mohou mít menší schopnost zpochybnit chyby v těchto tocích. Pokud jsou vysoce rizikové případy nadměrně zaznamenané, citlivé skupiny mohou nést těžší dohled. Přehrávání není neutrální paměť. Je to návrhové rozhodnutí o tom, čí minulost lze zkoumat a kým.
Přehrávání mění, jak týmy píší výzvy
Jakmile na přehrávání záleží, výzvy přestávají být soukromým folklorem. Výzva se stává součástí rozhodovací cesty. Potřebuje verzování, vlastnictví, testy a vztah k pravidlům. To neznamená, že každá změna formulace potřebuje ceremonii se sušenkami. Znamená to, že důsledná výzva by se neměla upravovat na místě bez zanechání záznamu. Pokud se výzva změnila mezi rozhodnutím a odvoláním, organizace musí vědět, která se použila.
Replay také zmenšuje prompty na správných místech. Týmy často nacpou do jednoho dlouhého promptu pravidla pro politiky, formátování, odmítání, instrukce pro data, tón, použití nástrojů, příklady a provozní omezení. Pak od něj chtějí, aby byl governance, rozhraním i pamětí. Replayovatelný systém může část této struktury přesunout do explicitních kontrol: brány politik, filtry zdrojů, validátory schémat, oprávnění nástrojů a přechody stavů. Prompt se pak může věnovat jazykové práci, místo aby předstíral, že je ústavou.
To zlepšuje vysvětlení, protože systém může ukázat na konkrétní kontroly. Odpověď byla odmítnuta, protože brána politik zablokovala lékařskou radu mimo roli, ne proto, že měl model neurčitý pocit. Zdroj byl vyloučen, protože datová smlouva jej označila jako mimo účel, ne proto, že prompt říkal, ať si dává pozor na soukromí. Nástroj se nespustil, protože akce byla bez schválení nevratná, ne proto, že věta v promptu doufala v obezřetnost. Naděje je krásná lidská vlastnost. Není to řídicí rovina.
Prompty stále záleží. Utvářejí rámec, nejistotu, tón a způsob uvažování. Replay jen brání tomu, aby byly jediným místem, kde se skrývá odpovědnost. To je zdravější pro všechny, včetně člověka, který má prompt udržovat o šest měsíců později, když se z něj stal křehký fosilní otisk minulých schůzek.
Cena užitečného vysvětlení
Užitečné vysvětlení něco stojí. Zaznamenávání důkazů stojí úložiště a inženýrský čas. Verzování zdrojů stojí disciplínu. Uchovávání snímků stojí peníze. Návrh pohledů pro jednotlivé role stojí práci na produktu. Přezkum soukromí stojí pozornost. Testy replaye stojí běhový čas. Čitelné kódy důvodů stojí doménovou práci. Tyto náklady jsou skutečné. Předstírat, že nejsou, je způsob, jak organizace skončí buď s předimenzovanými archivy, nebo s okouzlujícími, ale k ničemu vysvětleními.
Správná otázka zní, jakou úroveň replaye si dané rozhodnutí zaslouží. Příležitostný asistent pro psaní může potřebovat lehké stopy a krátkou dobu uchování. Pomůcka pro klinické třídění potřebuje silnější důkazy, snímky zdrojů, záznamy o přezkumu a podporu odvolání. Rozhodnutí o veřejných dávkách potřebuje účtenky na úrovni případu a právní verzování. Systém pro vyšetřování podvodů potřebuje pečlivou rovnováhu mezi vysvětlitelností, bezpečností a možností napadnout rozhodnutí. Jedna úroveň replaye pro všechny systémy je stejně nesmyslná jako jedna velikost bot pro všechny schůzky.
Kompromisy by měly být explicitní. Více detailů zlepšuje kontrolu, ale může zvýšit riziko pro soukromí. Silné snímky zlepšují replay, ale stojí peníze. Rychlejší systémy mohou zachytávat méně. Bohatší vysvětlení mohou odhalit citlivou logiku. Lidské poznámky mohou objasnit úsudek, ale také vytvářejí záznamy, které vyžadují správu. To jsou návrhová rozhodnutí, ne výmluvy. Seriózní týmy je pojmenují před nasazením. Méně seriózní týmy je objeví během stížností a pak to nazvou poučením, což je tradiční výraz znamenající příště, možná.
Nejlepší replayové systémy jsou skromné a spolehlivé. Zachycují důkazy potřebné pro otázky, na které organizace pravděpodobně bude muset odpovídat a je povinna odpovídat. Vyhýbají se zaznamenávání všeho. Vytvářejí vysvětlení z důkazů, ne z pocitů. Přiznávají nejistotu. Zviditelňují chybějící důkazy. Umožňují týmům se zlepšovat. To není efektní. Dobrá správa málokdy je. Jejím nejvyšším úspěchem často je, že na obtížnou otázku lze odpovědět, aniž by se všichni začali chovat teatrálně.
Poučení
Vysvětlitelnost bez replaye je divadlo, protože si plete přesvědčivé vyprávění s tím, co lze prověřit. Vygenerovaný důvod, dashboard, modelová karta i sebevědomý recenzent mohou pomoci. Žádný z nich nestačí, když je třeba rekonstruovat rozhodnutí s dalekosáhlými důsledky. Systém potřebuje cestu: kontext, zdroje, instrukce, stav modelu, kontroly politik, akce nástrojů, lidský úsudek, výstup a účinek.
Replay nevyžaduje dokonalou determinističnost. Vyžaduje disciplinovanou paměť. Vyžaduje stabilní reference, verze, snímky tam, kde je to potřeba, pohledy podle rolí, hranice soukromí a záznamy, které říkají, kdy důkazy chybí. Na vysvětlení pohlíží jako na pohled na důkazy, ne jako na příběh vymyšlený dodatečně. Dává dotčeným lidem něco, co mohou zpochybnit, operátorům něco, co mohou opravit, a auditorům něco lepšího než prohlídku naděje s průvodcem.
Budoucnost vysvětlitelné umělé inteligence nevyhraje jen hezčí text vysvětlení. Vyhrají ji systémy, které se dokážou vrátit po vlastních stopách. Pokud lze cestu přehrát, lze vysvětlení otestovat. Pokud cestu přehrát nelze, může být vysvětlení stále výmluvné. Může být dokonce pravdivé. Ale ve vážných souvislostech je výmluvnost chudým náhradníkem za stroj, který umí ukázat svou práci.