Stroj stavů odpovědné umělé inteligence
Formulář, který se nespustil
První workshop o odpovědné umělé inteligenci často končí formulářem. Formulář bývá obvykle pěkný tak, jak vnitřní formuláře pěkné být umějí, když výbor objeví mezery. Ptá se na účel, dopad, data, riziko, zaujatost, lidský dohled, závislost na dodavateli, uchovávání a eskalaci. Lidé ho pečlivě vyplní. Zaškrtne se políčko. Dozorčí rada přikývne. Projekt postoupí dál. Někde dostane složka další dokument a začne si o sobě o něco víc myslet.
O tři měsíce později je systém v provozu a formulář už není tam, kde se věci dějí. Přijde požadavek na podporu s chybějícími poli. Model vrátí sebevědomou odpověď se slabými důkazy. Volání nástroje by mělo aktualizovat záznam zákazníka. Mezi návrhem a konečnou akcí se změní pravidla. Lidský recenzent je nemocný. Index vyhledávání je zastaralý. Navrhne se nový zdroj dat, protože by to bylo pohodlné, a právě tak se mnoho špatných nápadů zdvořile představí.
V tu chvíli není odpovědná umělá inteligence principem. Je přechodem mezi stavy. Systém je v jednom stavu a chce přejít do jiného. Od návrhu k rozhodnutí. Od podnětu k akci. Od nízkého dopadu k vysokému. Od interní pomůcky k externí komunikaci. Od přezkoumáno k provedeno. Od povoleno k zablokováno. Od dočasné výjimky k trvalé cestě, pokud se nikdo nedívá. Otázka zní, jestli má přechod ochranu, záznam, vlastníka a cestu ven.
Tohle je stavový stroj za odpovědnou umělou inteligencí. Ne proto, že by se etika dala zredukovat na políčka a šipky. To by bylo podivné přesvědčení a ještě podivnější by bylo si ho pořizovat. Jde o něco jednoduššího. Seriózní systémy už stavy procházejí. Pokud tyto stavy nemají jména, model se stejně pohne, pracovní postup stejně postoupí a organizace objeví své řízení náhodou. Pojmenovávat stavy není byrokratická úzkostlivost. Je to způsob, jak odpovědnost získá podobu za běhu.
Proč principy potřebují hranice
Principy jsou na začátku užitečné, protože dávají směr. Spravedlnost, transparentnost, odpovědnost, soukromí, bezpečnost, lidská rozhodovací pravomoc, robustnost, možnost napadnout rozhodnutí. Tato slova nejsou prázdná. Ale sama o sobě nejsou ani spustitelná. Systém nemůže za běhu zavolat princip a zeptat se, jestli je další akce povolená. Vývojář může napsat prompt, který říká buď spravedlivý, ale pracovní postup stejně potřebuje vědět, kdy zastavit, kdy se zeptat, kdy zaznamenat a kdy odmítnout.
Hrany jsou místem, kde se principy stávají užitečnými. Princip spravedlnosti se stává požadavkem, že určitá kategorie rozhodnutí musí před zveřejněním projít hodnocením na úrovni skupiny a po zveřejnění musí vytvářet kódy důvodů na úrovni případu. Princip transparentnosti se stává účtenkou, která uvádí zdroje, verzi modelu, verzi politiky a roli člověka. Princip soukromí se stává strážcem, který odmítá vyhledávání mimo účel, uchování, souhlas nebo právní základ. Odpovědnost se stává stavem, který se nemůže posunout vpřed bez vlastníka. Námitka se stává odvolací cestou, která existuje před první stížností, ne až po prvním telefonátu do novin.
Bez hran se odpovědná AI stává souborem přívlastků kolem systému, který se stále chová tak, jak mu pracovní postup dovolí. Tým může upřímně věřit, že má lidský dohled, protože člověk se může dívat na výstupy. Ale pokud systém může jednat dřív, než ten člověk viděl důkazy, je dohled pouze ozdobný. Tým může věřit, že má transparentnost, protože model se sám vysvětluje. Ale pokud vysvětlení nelze spojit se zdroji a stavem, transparentnost se proměnila v divadlo. Tým může věřit, že je v bezpečí, protože model odmítá nebezpečné výzvy. Ale pokud brána nástrojů uděluje širokou pravomoc, je odmítnutí jen jedněmi dveřmi v domě s velmi nadšenými okny.
Stavový stroj není náhradou za úsudek. Je to způsob, jak úsudek někam umístit. Nutí tým odpovídat na praktické otázky. V jakém stavu je tento případ. Které přechody jsou odtud možné. Jaké důkazy jsou vyžadovány. Která role může schválit. Který přechod je nevratný. Který přechod vytváří záznam. Který přechod vytváří povinnost informovat, uchovat, smazat nebo eskalovat. Tyto otázky jsou méně poetické než prohlášení o hodnotách. Je také těžší se jim vyhnout.
Skrytý stroj existuje vždy
Každý pracovní postup AI už má stavový stroj, i když ho nikdo nenakreslil. Skrytá verze žije ve stavech tiketů, sloupcích tabulek, frontách opakování, větvích výzev, návycích recenzentů, zprávách na Slacku, databázových příznacích, tabulkách výjimek a v paměti toho jediného člověka, na kterého se všichni ptají, protože tam byl, když probíhal pilot. Toto není okouzlující distribuovaná architektura. Je to institucionální folklór s latencí.
Skrytý stroj je nebezpečný, protože vytváří zdání kontroly, zatímco přesouvá odpovědnost na místa, která nelze přezkoumat. Výzva může říkat, že citlivé případy by měly být eskalovány, ale fronta nemusí uchovat důvod. Systém případů může ukazovat schváleno, ale ne to, zda se schválení vztahovalo na odpověď modelu, volání nástroje nebo externí komunikaci. Recenzent může odmítnout výstup, ale odmítnutí se nemusí nikdy dostat do sady hodnocení. Případ může být uzavřen, ale odvozená data mohou stále žít v úložišti funkcí. Model může být nahrazen, ale čekající případy mohou stále nést výstup ze starší verze. Systém se pohybuje; záznam za ním kulhá s kravatou.
Zpřehlednění stavového stroje nevyžaduje přeměnu organizace na laboratoř formálních metod. Vyžaduje dostatek disciplíny k oddělení stavů, které mají různé povinnosti. Koncept není přezkoumán. Přezkoumáno není provedeno. Provedeno není uzavřeno. Uzavřeno není vymazáno. Vymazáno není archivováno. Blokováno politikou není selhání infrastruktury. Vyžaduje lidský úsudek není nízká spolehlivost. Podezření na incident není potvrzený incident. Tyto rozdíly znějí obyčejně, dokud audit nepoloží otázku, který z nich nastal, kdy a proč.
Pojmenované stavy také zastavují časté selhání automatizace: pozvolný skluz od asistence k rozhodování. Systém začíná jako pomocník při tvorbě návrhu. Lidé mu důvěřují. Návrh se stane výchozím stavem. Výchozí stav se stane doporučením. Doporučení se stane akcí. Nikdo nehlasoval pro plnou automatizaci. Nikdo nenavrhl nový povrch odpovědnosti. K přechodu došlo prostřednictvím pohodlí, které je nejúspěšnějším lobbistou v softwaru. Stavový stroj může tento pohyb přinutit, aby se stal viditelným.
Stráže nejsou nálady
Přechod potřebuje stráž. Stráž je podmínka, která musí být pravdivá, než se systém může pohnout. V běžném softwaru to může být booleovská kontrola, vyhodnocení politiky, hranice oprávnění, výsledek validace nebo lidský souhlas. V odpovědné AI je to také místo, kde se institucionální sliby stávají operativními. Stráž se ptá, zda je účel povolen, zda jsou data v rozsahu, zda má výstup dostatek důkazů, zda je model schválen pro toto použití, zda je akce vratná, zda má osoba pravomoc, zda jsou náklady ohraničené a zda má dotčený uživatel cestu zpět.
Praktický trik spočívá v tom, udržet stráže blízko přechodu, který chrání. Pokud stráž žije pouze v dokumentu politiky, běhové prostředí na ni zapomene působivou rychlostí. Pokud žije pouze v promptu, bude obtížné ji testovat a snadné ji obejít. Pokud žije pouze v lidském zvyku, selže ve dnech nemoci, o svátcích, při reorganizacích a v týdnu, kdy se všichni snaží vydat. Dobrá stráž je dostatečně explicitní na testování a dostatečně lokální, aby měla význam.
To neznamená, že každá stráž musí být automatizovaná. Některé stráže jsou lidské, protože otázka je skutečně kontextuální. Ale i lidské stráže potřebují stav. Recenzent by měl vidět důkazy, použitelnou politiku, klasifikaci rizik, navrhovanou akci a důsledky schválení. Systém by měl zaznamenat rozhodnutí jako přechod, ne jako komentář, který budoucí archeologie možná objeví a možná ne. Lidský dohled bez změny stavu je často jen schůzka s uživatelským rozhraním.
Existuje také nudný, ale důležitý bod o negativních strážích. Odpovědná AI není jen o tom říkat ano odpovědně. Je o tom říkat ne jasně. Ne, protože účel chybí. Ne, protože zdroj je zastaralý. Ne, protože model je mimo svou schválenou doménu. Ne, protože uživatel nemá pravomoc. Ne, protože je vyžadována lidská revize. Ne, protože akce je příliš důsledná na dostupné důkazy. Odmítnutí s důvodem je lepší stav systému než vágní selhání, které vybízí k opakování, dokud se něco nepohne.
Stavy činí odpovědnost přiřaditelnou
Jedním z důvodů, proč se odpovědnost za umělou inteligenci rozplývá, je to, že se o ní mluví na úrovni celého systému. Odpovědná je organizace. Odpovědný je dodavatel. Odpovědný je vlastník produktu. Odpovědný je pověřenec pro ochranu osobních údajů. Odpovědný je model, což je formulace, při které by právníkovi mělo dojít, že si potřebuje sednout. Za běhu systému potřebuje odpovědnost menší úchyt.
Stavy tento úchyt vytvářejí. Při příjmu může být za účel a rozsah odpovědný vlastník služby. Při vyhledávání může být za kvalitu zdroje a oprávnění odpovědný vlastník dat. Při generování modelem může být za schválené verze a nastavení odpovědný technický vlastník. Při kontrole může být za posouzení odpovědná lidská role. Při akci může být za vnější dopady odpovědný vlastník pracovního postupu. Při uzavření může být za uchování a výmaz odpovědná správa záznamů. Přesná mapa se bude lišit, ale princip platí: odpovědnost se lépe váže k přechodům než k mlze.
To je důležité, když se něco pokazí. Pokud byl výstup špatný kvůli zastaralému zdroji, měl by stavový automat ukázat, kde se aktuálnost kontrolovala nebo kde se na ni zapomnělo. Pokud člověk schválil riskantní akci, měl by záznam ukázat, jaké důkazy viděl. Pokud se změnila politika, měly by čekající případy odhalit, která verze se na ně vztahovala. Pokud byl model aktualizován, měly by být přechody přes hranici vydání kontrolovatelné. Nejde o to najít viníka rychleji. Jde o to umožnit nápravu, aniž bychom předstírali, že celý systém selhal jedním nediferencovaným pokrčením ramen.
Přiřaditelná odpovědnost také zlepšuje každodenní práci. Týmy vědí, který stav vlastní. Metriky se stávají méně divadelními. Místo oznámení, že program odpovědné umělé inteligence je zralý, může organizace měřit blokace kvůli zastaralým zdrojům, odmítnutí kvůli chybějícímu účelu, přehlasování při kontrole, výsledky odvolání, přechody při incidentech a zpoždění uzavření. To se méně hodí na lesklý slajd. O to víc se to hodí pro provoz systému.
Špatné stavy si zaslouží vlastní jména
Většina selhání odpovědné umělé inteligence není zlotřilá. Jsou to obyčejné stavy se špatnými jmény nebo beze jmen. Návrh odpovědi se považuje za konečnou odpověď. Dočasná výjimka se stane cestou. Výstup s nízkou jistotou se stane akcí s velkým dopadem, protože pracovní postup neměl žádný mezistav. Model vidí data, která vidět neměl, protože stav vyhledávání nenesl účel. Lidský kontrolor se stane razítkem, protože stav zvaný kontrola nevyžadoval zachycení důkazů ani nesouhlasu.
Dávat špatným stavům vlastní jména je nepříjemné a užitečné. Tichý návrh. Rozšiřování rozsahu. Zastaralý zdroj. Chybějící vlastník. Nekontrolovaný úkon. Žádné východisko. To samo o sobě nejsou kořenové příčiny, ale jsou to místa, kam umístit kontroly. Systém může odhalit tichý návrh, když se vygenerovaný text zkopíruje do externí komunikace bez schválení. Může odhalit rozšiřování rozsahu, když pracovní postup vyžádá zdroj mimo deklarovaný účel. Může odhalit zastaralý zdroj, když je citace starší, než politika dovoluje. Může odhalit stav bez východiska, když zablokované případy leží věčně, protože nikdo nenavrhl lidské odmítnutí.
Tento zvyk také brání morální přehnané reakci. Ne každé selhání je etická krize. Někdy je to stav fronty bez vlastníka. Někdy je to stav uchování, který nikdo nepropojil s výmazem. Někdy je to práh jistoty, který předstírá, že je úsudkem. Pojmenování stavu umožní týmu opravit mechanismus. Bez jmen se z každého incidentu stane debata o kultuře. Kultura je důležitá, ale je špatnou náhražkou za to vědět, který přechod prosakoval.
Je v tom suchá komedie, když sledujeme organizace, které se bojí slova stavový automat, protože zní příliš technicky, a přitom vesele provozují bludiště schvalovacích e-mailů, statusů v tabulkách a výjimek známých jen třem lidem a jedné pozvánce do kalendáře. Formální verze je často jednodušší. Má jen tu neslušnost, že je viditelná.
Důkazy patří k přechodu
Má-li stavový stroj dávat smysl, potřebuje důkazy. Záznam by neměl pouze říkat, že je případ schválen. Měl by uvádět, co přechod spustilo, která ochrana byla vyhodnocena, která data byla použita, které verze modelu a zásad byly aplikovány, kdo nebo co schválil, jaký účinek následoval a jak lze případ přehrát nebo zpochybnit. Důkazy nejsou ozdobou po akci. Jsou součástí toho, aby se akce stala odpovědnou.
To je důležité zejména u umělé inteligence, protože výstupy mohou být přesvědčivé, zatímco jejich cesta je křehká. Shrnutí může být správné, ale založené na zdroji, k němuž uživatel neměl povolen přístup. Doporučení může být rozumné, ale mimo schválené použití modelu. Klasifikace může být přesná, ale vytvořená po termínu stanoveném zásadami. Odmítnutí může být bezpečné, ale právně nepoužitelné, pokud nenabízí žádnou cestu k nápravě. Samotná odpověď vám tyto věci neřekne. Záznam o přechodu ano.
Kvalitní důkazy také dávají týmům odvahu automatizovat tam, kde je automatizace vhodná. Odpovědná umělá inteligence není trvalou omluvou za používání strojů. Pokud je úkol málo rizikový, dobře ohraničený, vratný, řádně otestovaný a správně zaznamenaný, může být automatizace odpovědnou cestou. Pokud je úkol vysoce rizikový, sporný, nový nebo nevratný, měl by ho stavový stroj zpomalit. Nejde o uctívání lidské kontroly. Jde o to směrovat práci podle rizika, důkazů a nápravy.
Díky důkazům je toto směrování méně politické. Tým může ukázat, že je stav bezpečný pro automatizaci, protože předchozí přechody byly přesné, odvolání byla vzácná, opravy byly zapracovány a kontroly zachytily správné případy. Nebo může ukázat, že stav vyžaduje více lidského úsudku, protože vzorce chyb zůstávají obtížné, dotčení lidé zpochybňují výsledky nebo je kvalita dat slabá. To je lepší argument než obvyklé divadlo, kdy jedna strana říká inovace a druhá riziko, dokud všichni nepotřebují kávu.
Lidská revize je stav, ne gesto
Lidská revize se často uvádí, jako by sama existence člověka řešila odpovědnost. Člověk je ve smyčce. Dobrá. Které smyčce. V jakém stavu. S jakými důkazy. S jakou pravomocí. Může člověk nesouhlasit. Změní nesouhlas systém. Je revize výběrová, povinná, spouštěná rizikem, nebo kosmetická. Vidí revidující zdrojový materiál, nebo jen úhlednou prózu modelu. Je čas přemýšlet. Existuje školení. Existuje záznam. Frázi člověk ve smyčce je třeba brát jako úvodní otázku, ne jako závěrečný argument.
Stavový stroj dělá lidskou revizi konkrétní. Dokáže rozlišit revizi vyžadovanou od revize dobrovolné, revizi probíhající od revize dokončené, výstup změněný člověkem od výstupu člověkem potvrzeného, eskalaci potřebnou od eskalace provedené. Dokáže také rozlišit druh posuzování, o který jde. Některé revize kontrolují faktické použití zdrojů. Některé kontrolují soulad s pravidly. Některé kontrolují empatii a tón. Některé kontrolují právní oprávnění. Některé kontrolují, zda je výjimka oprávněná. Jediné políčko s názvem schváleno je pro seriózní práci jen málokdy dostatečné.
Navrhnout revizi jako stav také chrání lidi před tím, aby byli používáni jako morální výplň. Pokud systém posílá každý nepříjemný případ člověku bez důkazů, prioritizace nebo zpětné vazby, stává se z člověka skládka nejistoty. To není dohled. To je personální model s připojenou vinou. Odpovědný revizní stav zabalí případ, pojmenuje požadované rozhodnutí, zachová nesouhlas a vrací výsledky do vyhodnocování. Dává člověku práci hodnou člověka.
Platí to i naopak. Některé systémy používají lidskou revizi tam, kde by byla laskavější lepší ochrana. Pokud případu chybí právní základ, neposílejte ho revidujícímu, aby to zjišťoval ručně. Zablokujte ho. Pokud je zdroj zastaralý, obnovte ho, nebo odmítněte. Pokud uživatel nemá oprávnění, řekněte to. Lidé by se měli zabývat posuzováním, ne kompenzovat chybějící infrastrukturu. Strávili jsme desetiletí vynalézáním strojů. Bylo by nezdvořilé nutit lidi, aby se chovali jako validační skripty.
Nevratnost mění stroj
Ne všechny přechody jsou stejné. Některé jsou vratné. Koncept lze upravit. Trasu lze změnit. Doporučení lze stáhnout. Jiné přechody se vracejí hůře: zpráva je odeslána, dávka zamítnuta, rizikový příznak změní pořadí ve frontě, záznam je aktualizován, osoba nahlášena, platba provedena, zákazník uzamčen. Odpovědná umělá inteligence potřebuje vědět, které přechody překračují hranici do reálného světa.
Nevratnost by měla změnit strážce. Systém by měl před nevratnými účinky vyžadovat více důkazů, silnější autoritu, jasnější lidský úsudek, lepší oznámení a viditelnější cestu odvolání. Měl by také tam, kde je to možné, upřednostňovat postupné přechody. Návrh před odesláním. Doporučení před rozhodnutím. Podržení před odmítnutím. Oznámení před vynucením. Přezkum před zprávou. To není pomalost sama o sobě. Je to rozdíl mezi systémem, který se dokáže opravit, a systémem, který s sebevědomou tváří vytváří práci navíc.
Stavový automat také pomáhá s částečnou vratností. Některé škody lze opravit technicky, ale ne společensky. Špatné interní shrnutí lze opravit. Špatné externí obvinění může přetrvávat i po opravě. Opožděný prospěch lze vyplatit později, ale nájem byl splatný dříve. Smazaný záznam lze někdy obnovit, ale důvěra už ne. Automat by měl k těmto přechodům přistupovat s vážností jejich lidského dopadu, ne pouze jejich databázového rollbacku.
Právě zde odpovědná umělá inteligence uniká fantazii, že etika je oddělená od provozu. Provozní detail je etický povrch. Návrh fronty ovlivňuje spravedlnost. Politika opakování ovlivňuje duplicitu. Chování při časovém limitu ovlivňuje přístup. Uchovávání ovlivňuje soukromí. Pracovní zátěž přezkumu ovlivňuje důstojnost. Přechody stavů nejsou neutrální instalatérství. Jsou tím, jak systém vychází vstříc lidem.
Hodnocení jako důkaz přechodu
Hodnocení často stojí mimo pracovní postup, jako by to byla školní zkouška předtím, než systém absolvuje. V odpovědném stavovém automatu se hodnocení stává průběžným důkazem přechodu. Každý přechod může vytvářet signály: jak často strážce blokoval, jak často lidé přehlasovali, jak často byla odvolání úspěšná, jak často byly zdroje zastaralé, jak často se modelový úsudek neshodoval s lidským, jak často údajně nízko riziková cesta vytvářela stížnosti.
Tyto signály by měly napájet automat. Přechod, který vytváří opakovaná odvolání, může potřebovat silnější strážce nebo jasnější oznámení. Stav lidského přezkumu s vysokou shodou a nízkým dopadem může být způsobilý pro větší automatizaci, pokud náprava zůstane skutečná. Stav odmítnutí, který uvězní uživatele, může potřebovat cestu opravy. Politická stráž, která blokuje příliš mnoho oprávněných případů, může odhalit špatnou politiku, ne špatný model. Automat není odpovědný proto, že je statický. Je odpovědný proto, že se může učit, aniž by skrýval minulost.
Toto učení vyžaduje verzování. Stavy, strážci, prahy, výzvy, modely, politiky, zdroje dat a pokyny pro přezkum se mění. Záznam musí říkat, která verze se vztahovala na který přechod. Jinak může organizace hodnotit pouze polévku minulých rozhodnutí. Polévka má kulinářské využití. Není to metoda řízení, bez ohledu na to, kolik řídicích panelů na ní plave.
Verzované důkazy přechodu také udržují zlepšování čestné. Tým může říci, že nový strážce snížil nepřezkoumané akce, ale zvýšil zpoždění. Může říci, že nový zdroj zlepšil přesnost, ale zvýšil tření v oblasti soukromí. Může říci, že upgrade modelu zlepšil shrnutí, ale oslabil disciplínu odmítání. Kompromisy nejsou selhání. Skryté kompromisy jsou selhání čekající na pozvánku do kalendáře.
Poučení
Stavový automat za odpovědnou umělou inteligencí není výzvou k chladnějším systémům. Je výzvou k systémům, které vědí, co dělají, zatímco to dělají. Pojmenovaný stav není morální úspěch. Strážce není spravedlnost. Účtenka není důvěra. Ale bez těchto věcí zůstává odpovědná umělá inteligence na úrovni záměru a záměr má špatný záznam o dostupnosti.
Odpovědná umělá inteligence potřebuje účel, autoritu, důkazy, limity, lidský úsudek, odvolání, nápravu, uchovávání a učení. Tato slova se stávají funkčními prostřednictvím stavů a přechodů. Ty rozhodují o tom, kdy se případ posune dál, kdy se zastaví, kdo jej vlastní, jaký záznam se vytvoří, jaká náprava existuje a co by si měl systém příště zapamatovat. Toto není celá etika. Je to ta část, která může zastavit špatný čin dříve, než se stane velmi dobře zdokumentovanou lítostí.
Formulář na začátku má stále hodnotu. Klade správné úvodní otázky. Formulář ale musí vést ke stroji, který funguje: pojmenované stavy, explicitní zábrany, trvalé důkazy, skutečný přezkum a východiska pro lidi dotčené systémem. Odpovědná umělá inteligence se neprokazuje existencí politiky. Prokazuje se, nebo vyvrací, při přechodu, kdy systém rozhoduje, co se stane dál.