Veřejná AI potřebuje důkazy
Přepážka bez stvrzenky
Úřad bez stvrzenek by působil absurdně. Představte si, že si prodlužujete povolení, odevzdáváte dokumenty, platíte poplatek a od úředníka se vám dostane jen přátelského přikývnutí. Žádné číslo jednací. Žádné datum. Žádná zmínka o tom, co bylo přijato. Žádná cesta k odvolání. Úředník se usměje a řekne, že si to systém pamatuje. I v té nejtrpělivější obci by se v řadě našel někdo, kdo by začal dělat obličej, který naznačuje, že se z demokracie stává úřední šiml.
Stvrzenky jsou drobnosti, ale nesou institucionální váhu. Říkají lidem, že se něco stalo, že žádost vstoupila do řízení, že došlo k předání peněz, že bylo použito nějaké pravidlo, že začala běžet lhůta, že lze znovu dohledat rozhodnutí. Nejsou okouzlující. Jsou lepší než okouzlující. Jsou skromným důkazem, že stát váš případ jen tak nepohltil do béžového stroje a nepožádal vás, abyste mu věřili.
Veřejná umělá inteligence nyní potřebuje stejný návyk. Když algoritmus shrne spis, navrhne nárok na dávku, seřadí kontroly, navrhne odpověď, označí riziko, nasměruje občana nebo podpoří rozhodnutí, měla by být veřejná instituce schopna vydat stvrzenku. Ne divadelní vysvětlení vygenerované dodatečně. Ne snímek obrazovky z dashboardu. Ne příslib, že dodavatel pravděpodobně dokáže něco zrekonstruovat, pokud v úředních hodinách kontaktujete podporu. Stvrzenka: stručný, strukturovaný, srozumitelný důkaz toho, co se stalo a proč se to mohlo stát.
Není to proto, že by každý krok umělé inteligence byl zlověstný. Většinou je problém méně dramatický a více všední. Systémy jsou složité. Zdroje se mění. Pravidla se aktualizují. Modely se nahrazují. Lidé přecházejí mezi odděleními. Občan se o šest měsíců později odvolá proti výsledku. Auditor se ptá, která verze pravidel byla použita. Ministr chce před slyšením ujištění. Bez stvrzenek musí organizace znovu vytvořit minulost ze vzpomínek, logů, exportů a optimismu někoho, kdo trvá na tom, že diagram architektury je téměř aktuální.
Důvěra není nálada
Veřejné instituce často mluví o důvěře, jako by to byla příjemná atmosféra obklopující služby. Buďte transparentní, buďte lidští, buďte inovativní, a důvěra se dostaví sama s taškou přes rameno. To je na umělou inteligenci příliš měkké. Veřejná důvěra není nálada. Je to institucionální stav vytvářený právy, postupy, záznamy, přezkumem, limity a schopností říci, co se stalo, když je výsledek zpochybněn.
AI to ztěžuje tím, že administrativní práci může zdánlivě zjednodušit, ale zároveň znesnadňuje kontrolu nad jejím rozhodovacím postupem. Pracovník úřadu může obdržet shrnutí, které je dostatečně přesné, aby bylo užitečné. Plánovač může obdržet skóre rizika, které šetří čas. Občan může obdržet odpověď od chatbota, která ušetří telefonát. To mohou být skutečné přínosy. Ale když odpověď ovlivňuje léčbu, prioritu, nárok, vymáhání nebo přístup ke službě, instituce potřebuje víc než užitečnost. Potřebuje odpovědnost na úrovni veřejné služby.
Odpovědnost na úrovni veřejné služby znamená, že instituce dokáže propojit výstup se svým mandátem. Dokáže ukázat, která data byla použita a která použita být nesměla. Dokáže ukázat, zda model fungoval jako pomocník při návrhu, doporučovací nástroj, třídicí pomůcka nebo součást automatizovaného rozhodování. Dokáže ukázat verzi pravidel a schválení odpovědnou osobou tam, kde to vyžadují předpisy. Dokáže vysvětlit, jak může dotčená osoba výsledek napadnout. Toto nejsou ozdoby kolem AI. Toto je základ, na kterém musí stát.
Existuje pokušení řešit obavy o důvěru širokými ujištěními. Systém je testovaný. Model je bezpečný. Dodavatel je certifikovaný. Proces má řízení. Tato tvrzení mohou být pravdivá, a přesto nedostatečná. Veřejná správa funguje případ od případu. Občan nežije uvnitř souhrnného benchmarku. Žije uvnitř svého rozhodnutí, svého spisu, svého termínu, své nevyplacené dávky, své kontroly, své schůzky, své nezodpovězené otázky. Účtenky přenášejí odpovědnost na úroveň, kde je veřejná moc skutečně pociťována.
Účtenka není jen log
První chybou je zaměňovat účtenky s logy. Logy jsou cenné, ale jsou psané pro stroje, operátory, bezpečnostní týmy nebo pro budoucí objasnění nejasností. Mohou být příliš podrobné, příliš citlivé, příliš technické, příliš roztříštěné nebo příliš závislé na dodavateli. Účtenka je tvarovaný artefakt. Je navržena tak, aby odpovídala na otázky veřejné odpovědnosti, aniž by odhalovala všechna tajemství, zahltila každého čtenáře nebo vyžadovala víkendový kurz o distribuovaném trasování.
Užitečná účtenka má vrstvy. Veřejná vrstva může obsahovat kontext služby, datum, referenci rozhodnutí, kategorie dat na vysoké úrovni, právní základ a možnost odvolání. Interní vrstva může obsahovat identifikátory zdrojů, verzi modelu, šablonu promptu, parametry vyhledávání, kontroly politik, řízení přístupu a identitu recenzenta. Vrstva auditu může obsahovat hashe, časová razítka, podpisy, pravidla uchovávání a odkazy na neměnný důkaz. Vrstvy chrání soukromí a zároveň zachovávají možnost kontroly. Ne každý potřebuje vidět stejné detaily. Někdo ale musí být schopen vidět dost.
Tento rozdíl je důležitý, protože veřejné účtenky AI se musí vyhnout tomu, aby se staly dohledem pod jiným jménem. Odpovědí na neprůhlednost není zaznamenávat vše navždy. Tak se z problému správy stane problém soukromí s lepšími složkami. Účtenky by měly být minimální, vázané na účel, uchovávané po jasně stanovenou dobu, oddělené od nepotřebného obsahu a přístupné prostřednictvím definovaných rolí. Test je jednoduchý: dokáže instituce vysvětlit výsledek a podpořit nápravu, aniž by vytvářela trvalý deník každé interakce s občanem?
Logy jsou surový materiál. Účtenky jsou produkt, za který nese instituce odpovědnost. Ve vyspělém systému jsou propojené. Účtenka může odkazovat na podrobnější logy, pokud to vyžaduje oprávněné vyšetřování. Log může dokázat, že účtenka nebyla vymyšlena až poté, co spor začal. Ale účtenka je to, co může veřejná služba předat svým vlastním procesům a někdy i dotčené osobě, aniž by žádala všechny, aby obdivovali JSON objekt v jeho přirozeném prostředí.
Občan vidí hranici
Diagramy architektury se obvykle kreslí zevnitř. Boxíky, šipky, služby, fronty, modely, databáze, pravidlové enginy, portály pro úředníky. Občan nic z toho nezažívá. Občan zažívá hranici. Žádost je přijata, nebo zamítnuta. Příznak rizika se objeví, nebo ne. Termín je volný, nebo není. Dokument je dostatečný, nebo není. Odpověď říká ano, ne, počkejte, nahrajte, zavolejte, odvolejte se, odejděte.
Právě na této hranici záleží na potvrzeních nejvíc. Pokud je občan informován, že žádost nelze zpracovat automaticky, potvrzení by mělo uvádět, která podmínka selhala a jak ji napravit. Pokud shrnutí z umělé inteligence ovlivnilo rozhodnutí, záznam by měl ukázat, že je posoudil člověk a jaký zdrojový materiál byl k dispozici. Pokud chatbot poskytuje procedurální rady, potvrzení by mělo identifikovat verzi veřejného zdroje a objasnit, zda byla rada závazná. Pokud model rizik upřednostňuje inspekci, potvrzení by mělo ukázat právní základ, kategorie údajů a cestu přezkumu, aniž by odhalilo metody, které by samotnou inspekci podkopaly.
Nejde o to proměnit každou interakci s veřejnou správou v právní pojednání. Lidé by neměli potřebovat právníka, aby porozuměli parkovacímu oprávnění. Ale veřejná moc dluží lidem srozumitelnou rukojeť. Potvrzení může být krátké a přitom smysluplné: vaše žádost byla posouzena podle této verze pravidel, s použitím těchto záznamů, s touto automatizovanou podporou, přezkoumána touto rolí a lze se proti ní odvolat touto cestou. To není poezie, a to je dobře. Poezie má v servisních portálech špatnou bilanci.
Hranice je důležitá i pro úředníky. Pracovníci případů, inspektoři, učitelé, plánovači, kliničtí pracovníci a pracovníci přepážek by neměli zůstat s výstupy umělé inteligence, jejichž původ nedokážou vysvětlit. Potvrzení je chrání před tím, aby se stali lidskými obaly záhadných strojů. Dává jim možnost říct, co systém udělal, kde vstoupil jejich úsudek a kdy musí případ opustit automatizaci. To není byrokracie pro byrokracii. Je to profesionální důstojnost s referenčním číslem.
Řádný proces v čase strojů
Veřejná správa už má tradice řádného procesu: oznámení, odůvodnění, přístup ke spisům, slyšení, odvolání, proporcionalita, rovné zacházení, pravidla uchovávání a jmenovaný orgán. Umělá inteligence tyto tradice nenahrazuje. Stlačuje čas, v němž musí fungovat. Model může zpracovat tisíc spisů před obědem. Pravidlo směrování může ovlivnit celé čtvrti, než si toho někdo všimne. Chyba ve shrnutí se může pracovním postupem šířit rychleji než oprava. Čas strojů činí stará práva naléhavějšími, ne méně.
Účtenky jsou jedním ze způsobů, jak zajistit, aby řádný proces přežil rychlost. Vytvářejí pauzy v záznamu, i když je pracovní postup rychlý. Ve chvíli, kdy se systém umělé inteligence dotkne případu, může účtenka zaznamenat účel, oprávnění, rozsah zdrojů, stav modelu, kontroly politik a stav přezkumu. Ve chvíli, kdy se člověk spoléhá na výstup, může účtenka zaznamenat roli a akci. Ve chvíli, kdy občan obdrží výsledek, může účtenka poskytnout referenci a trasu. To dává procesu paměť.
Paměť je důležitá, protože veřejné chyby se často odhalují pozdě. Člověk nemusí vědět, že chybějící datové pole mělo význam, dokud mu není zamítnuta dávka. Inspektor nemusí vědět, že zdroj byl zastaralý, dokud se návštěva na místě nezdá podivně cílená. Učitel nemusí vědět, že rizikový příznak pochází z vadného zdroje docházky, dokud se rodič nezeptá přímo. Bez účtenek se pozdní odhalení stává pozdním hádáním. S účtenkami se pozdní odhalení může stát nápravou.
To neznamená, že každý krok s asistencí umělé inteligence lze samostatně napadnout. Veřejný proces musí zůstat funkční. Ale řetězec musí uchovat dostatek důkazů pro smysluplné napadení ve správném okamžiku. Pokud systém dá návrh, který člověk ignoruje, účtenka by to měla odrážet. Pokud systém dá doporučení, které člověk přijme, účtenka by to měla odrážet také. Rozdíl je důležitý. Veřejnost nemůže napadnout přízrak a úředníci nemohou přízrak bránit.
Účtenky bez sledování
Nejsilnější námitkou proti účtenkám je, že by mohly vytvořit nová rizika pro data. Tato námitka je závažná. Veřejné instituce by neměly řešit neprůhlednost umělé inteligence tím, že pro každého občana shromáždí druhý stínový soubor. Systém účtenek, který navždy ukládá zbytečné výzvy, celé konverzace, citlivé výňatky ze zdrojů, interní poznámky, výstupy nástrojů a stopy chování, není odpovědnost. Je to velmi organizovaný problém.
Účtenky chránící soukromí vyžadují disciplínu v návrhu. Kde je to možné, ukládejte identifikátory místo plného obsahu. Pro integritu používejte hash. Oddělte účtenky určené občanům od interních auditních záznamů. Uchovávejte důkazy podle právní hodnoty procesu, ne podle chuti úložných systémů. Redigujte nebo agregujte interakce s nízkým rizikem. Chraňte identity přezkoumávajících tam, kde to vyžaduje osobní bezpečnost nebo nezávislost, a přitom zachovejte odpovědnost rolí. Uchovávejte přístupové protokoly pro samotné úložiště účtenek, protože důkazy o důkazech mají nepříjemný zvyk stát se důležitými.
Návrh by se také měl vyhnout vytváření falešné přesnosti. Účtenka by neměla tvrdit, že model uvažoval jako člověk, pokud tomu tak nebylo. Neměla by překládat pravděpodobnostní výstup do morálního soudu. Neměla by předstírat, že vysoké skóre je fakt. Měla by říci, co systém udělal: získal tyto zdroje, použil toto pravidlo, vytvořil tento výstup, označil tento rozsah spolehlivosti, předal této roli, obdržel tuto lidskou akci. Suchý jazyk je občanskou službou. Veřejný sektor už má dost dekorativní mlhy.
Je zde užitečná pokora. Účtenky nedělají umělou inteligenci dokonale spravedlivou, přesnou ani zákonnou. Dělají systém více kontrolovatelným. Snižují náklady na hledání chyb. Vytvářejí prostor pro nápravu. Ztěžují institucím schovávat se za frázi systém to řekl. Ve veřejné práci to není maličkost. Je to rozdíl mezi automatizací jako správou a automatizací jako zamčenou zásuvkou.
Pořízení rozhraní účtenek
Pokud na záznamech záleží, musí se nakoupit a vybudovat, ne si je přát do existence až po nasazení. Veřejní zadavatelé by se měli dodavatelů ptát, jak systém vytváří důkazy na úrovni jednotlivých případů. Lze ukotvit verze modelů. Jsou verze šablon promptů. Vracejí se identifikátory zdrojů. Lze exportovat rozhodnutí o vyhledávání. Jsou zaznamenávány kontroly politik. Lze oddělit logy podle účelu. Jsou audituí záznamy podepsané nebo chráněné proti manipulaci. Lze generovat souhrny pro občany ze stejných důkazů, aniž by byly odhaleny citlivé interní informace. Může instituce odejít se svými záznamy v pořádku.
Tyto otázky mohou znít náročně, ale jsou méně náročné než rekonstrukce sporného automatizovaného procesu poté, co se o něj začne zajímat noviny, soud, rada, parlament nebo ombudsman. Dodatečné doplňování záznamů je obtížné, protože chybějící důkazy často nebyly nikdy zachyceny. Nemůžete připnout záznam k včerejší neviditelné transakci. Můžete jen provádět interpretační tanec kolem telemetrie. To se jako metoda správy nedoporučuje.
Rozhraní pro záznamy pomáhají také interním týmům. Usnadňují vyhodnocování, protože výstupy lze porovnávat se zdrojem a stavem pravidel. Urychlují reakci na incidenty, protože lze dohledat dotčené případy. Zpřesňují měření změn politik, protože týmy vidí, která pravidla způsobují tření. Činí školení bezpečnější, protože příklady lze vybírat s ohledem na původ. Činí mazání a opravy méně divadelními, protože odvozené artefakty lze najít.
Veřejné instituce nepotřebují, aby každý dodavatel odhaloval každé interní tajemství. Některé komponenty zůstanou na jedné úrovni černou skříňkou. Ale služba jako celek musí na veřejném rozhraní vytvářet použitelné záznamy. Pokud to dodavatel nedokáže podpořit, měla by instituce pochopit, co kupuje: nejen schopnost, ale i mezeru ve vlastní schopnosti zodpovídat se za výkon moci.
Když záznamy odhalí špatnou politiku
Záznamy někdy odhalí, že hlavní problém není systém umělé inteligence. To je užitečné a nepříjemné. Záznam může ukázat, že model správně dodržel pravidlo, ale pravidlo bylo zastaralé. Může ukázat, že člověk systém často přehlasoval, protože politika byla příliš rigidní. Může ukázat, že chybějící data z jiného oddělení způsobovala opakovaná zamítnutí. Může ukázat, že příznak rizika byl technicky přesný a společensky absurdní. Kvalitní důkazy mají nezdvořilý zvyk rozšiřovat konverzaci.
To je jeden z důvodů, proč instituce mohou odolávat potvrzením, aniž by to přímo přiznaly. Potvrzení vytvářejí odpovědnost nejen pro technologické týmy, ale také pro vlastníky politik, správce dat, manažery, dodavatele a volené představitele. Ztěžují svalování viny na algoritmus za rozhodnutí, které ve skutečnosti navrhla politika, rozpočet, personální obsazení nebo tabulka s heroickým počtem skrytých sloupců. Tento pocit nepohodlí je vlastnost. Veřejná AI by neměla poskytovat nové útočiště pro stará rozhodnutí.
Potvrzení také podporují učení. Pokud mnoho případů selže u stejného požadavku na důkazy, formulář může být nejasný. Pokud zaměstnanci opravují mnoho výstupů AI, extrakce zdrojů může být slabá. Pokud se odvolání opakovaně rozhodují ve prospěch občanů u případů týkajících se konkrétního pravidla, měla by být politika přezkoumána. Pokud se občané po obdržení potvrzení ptají na stejnou otázku, vysvětlení není dostatečně dobré. Odpovědnost se stává smyčkou, ne svatyní minulého nasazení.
Veřejné instituce mají právo být nedokonalé. Nemají právo být nekontrolovatelné, když vykonávají moc. Potvrzení činí nedokonalost zvládnutelnou. Dávají lidem něco, co mohou napadnout, a organizacím něco, co mohou zlepšit. To je méně romantické než slibovat důvěryhodnou AI ve strategickém dokumentu. Je to také mnohem užitečnější, což je známé riziko praktických opatření.
Veřejné rozhodnutí s pamětí
Nejlepší systémy potvrzení nejsou pasivní archivy. Napájejí rozhodovací smyčku. Vstoupí žádost. Ověří se oprávnění a účel. Vyberou se zdroje. Model nebo pravidlový engine podporuje práci v rámci stanovených limitů. Lidská role výstup přijme, odmítne nebo upraví tam, kde je to nutné. Občan obdrží výsledek a cestu, kudy se vydat. Námitky a opravy se vracejí do systému jako podklad pro zlepšení. Potvrzení je nití procházející celou smyčkou.
Tato smyčka je důležitá, protože se veřejné služby mění. Zákony se novelizují. Formuláře se přepracovávají. Datové sady se čistí. Modely se vylepšují. Hranice organizací se posouvají. Potvrzení z loňského roku může být nutné číst v kontextu letošního procesu. To vyžaduje stabilní identifikátory, verzovaná pravidla, záznamy o migraci a disciplínu v uchovávání. Jinak může veřejný orgán uchovat potvrzení, které odkazuje na zaniklý systém slovníkem, jemuž nikdo nerozumí. To není odpovědnost. To je digitální archeologie s lepší kávou.
Potvrzení by proto měla být spravována jako záznamy. Potřebují vlastnictví, plány uchovávání, přístupová práva, exportní formáty, kontroly integrity, pravidla mazání a postupy přezkumu. Neměla by zůstat vedlejším produktem té které logovací knihovny, která byla zrovna módní v době spuštění služby. Veřejné záznamy jsou občanskou technologií. Potvrzení AI jsou součástí této tradice, i když obsahují verze modelů místo podpisů plnicím perem.
Existuje také demokratický přínos. Potvrzení umožňují souhrnný dohled bez odhalování každého jednotlivce. Instituce mohou měřit, které služby využívají AI, kde automatizovaná podpora utváří výsledky, jak často lidé zasahují, kde jsou odvolání úspěšná, které zdroje způsobují tření a zda jsou některé skupiny nepřiměřeně zasaženy. Takto se může veřejná AI posunout od vágních ujištění k řízené praxi. Ne tím, že požádá společnost, aby obdivovala model, ale tím, že učiní veřejnou moc dostatečně měřitelnou, aby mohla být zpochybňována.
Poučení
Veřejná umělá inteligence potřebuje potvrzení, protože veřejná moc potřebuje záznamy. Plynulá odpověď modelu nestačí. Užitečné skóre rizika nestačí. Úspěšný pilot nestačí. Když se umělá inteligence dotýká práv, služeb, přednosti, peněz, vymáhání, péče, vzdělávání nebo přístupu, musí být instituce schopna prokázat oprávnění, zdroje, stav modelu, pravidla, roli člověka a cestu přezkumu, které stojí za výsledkem.
To nevyžaduje proměnit každou interakci v papírování. Vyžaduje to navrhnout důkazy do systému na správné úrovni. Veřejná potvrzení by měla být kompaktní, vrstevnatá, chránící soukromí, citlivá k rolím, zjevně neporušená a propojená se skutečným přezkumem. Měla by občanům pomáhat chápat hranice, úředníkům pomáhat vykonávat úsudek, auditorům pomáhat rekonstruovat události a institucím pomáhat učit se z výzev.
Veřejný sektor nepotřebuje umělou inteligenci, která předstírá důvěru. Potřebuje umělou inteligenci, kterou lze volat k odpovědnosti. Potvrzení jsou skromnou technologií této odpovědnosti. Jsou malá, nudná a tvrdohlavě užitečná. Ve veřejné správě tato kombinace unesla víc než většina manifestů. Budoucnost veřejné umělé inteligence nebude rozhodnuta pouze schopnostmi modelu. Bude také rozhodnuta tím, zda instituce, když se jí zeptáte, co se stalo, dokáže předložit něco lepšího než sebevědomé pokrčení ramen.