Co je důkazem, když je stroj pravděpodobnostní?
Pravděpodobnost není rozsudek
Když stroj vrátí hodnotu 0,87, první otázka je obvykle příliš úzká. Lidé se ptají, zda je 0,87 vysoká. Vysoká ve srovnání s čím, pro který výsledek, nad kterými případy a pro jaké rozhodnutí? Číslo vytištěné vedle výstupu vypadá jako vlastnost tohoto výstupu. Často tomu tak není. Je to pokus popsat vztah mezi modelem, definovanou populací případů a výsledkem pozorovaným v čase. Tento vztah může být užitečný. Může řídit frontu na kontrolu, nastavit práh nebo operátorovi sdělit, kdy si výsledek zaslouží druhý pohled. Ale nepromění jednotlivou predikci ve fakt s připojeným desetinným číslem.
Toto je nepříjemný bod v centru pravděpodobnostních systémů. Jejich výstupy jsou často informativnější než holý štítek, protože dokážou vyjádřit míru podpory nebo nejistoty. Zároveň se snáze přeceňují. Skóre lze považovat za výpověď svědka, právní závěr, diagnózu nebo povolení. Ve výchozím stavu není ničím z toho. Důkaz začíná tehdy, když organizace dokáže říci, co číslo představuje, jak bylo ověřeno, kde toto ověření platí a jakou akci smí číslo změnit.
Tento rozdíl je důležitý dlouho předtím, než se systém setká s regulátorem. Tým se může rozhodovat, zda navržený dokument potřebuje lidskou kontrolu. Kupující může porovnávat dva dodavatele, kteří oba inzerují míry spolehlivosti. Operátor může nastavovat pravidlo eskalace. Veřejný orgán se může ptát, zda je seřazený seznam dost dobrý na to, aby ovlivnil, kam pozornost zamíří jako první. V každém případě je úspěšné spuštění důkazem jedné věci: že jedno spuštění vytvořilo výstup. Zatím to není důkaz, že si systém zaslouží pravomoc, která je k němu připojena.
Rozumnou reakcí není zakázat pravděpodobnosti v důležitých činnostech. Je to dát jim řádný popis práce. Pravděpodobnost může podpořit rozhodnutí, když je vázána na definovanou událost, relevantní populaci, metodu pozorování, hranici nejistoty a pravidlo pro to, co se stane, když jsou důkazy slabé. Je to pomalejší než obdivovat jediné číslo a mnohem rychlejší než později zjistit, že nikdo nedokáže vysvětlit, co číslo mělo dělat.
Důkaz musí pojmenovat svou otázku
Důkazy nejsou nikdy jednoduše přítomné. Jsou důkazem pro určité tvrzení. Výsledek testu může podporovat tvrzení, že součástka produkuje pro určitý vstup při určité konfiguraci určitý výstup. Může podporovat tvrzení, že model dobře řadí příklady na vyhrazené datové sadě. Může podporovat tvrzení, že odhad pravděpodobnosti rozumně odpovídá pozorovaným četnostem v definované vyhodnocovací sadě. Tato tvrzení se liší. Disciplína začíná tím, že tvrzení zapíšeme dříve, než zvolíme metriku.
Vezměme si zdánlivě jednoduché tvrzení, že systém je přesný. Přesný v čem? Přesnost klasifikace může popisovat, jak často se nejvýše hodnocená třída shodovala se štítkem. Neříká nic o tom, zda byla uvedená pravděpodobnost dobře kalibrovaná. Metrika pořadí může popisovat pořadí, nikoli kvalitu stupnice skóre. Nízká průměrná chyba může koexistovat se škodlivým vzorcem chyb v určité podskupině nebo na prahu, který spouští akci. Metrika není špatně. Problém obvykle začíná skokem od metriky k provoznímu závěru.
Práce OECD na vyhodnocovacích nástrojích je užitečná právě proto, že se vzdává představy, že jediné skóre může nést celé vysvětlení. Její rámec rozlišuje aspekty včetně pokrytí, účelu, realističnosti, spolehlivosti, reprodukovatelnosti, objektivity a zaujatosti. Nejsou to byrokratické ozdoby kolem benchmarku. Popisují, zda má výsledek správný vztah k položené otázce. Výzkumné srovnání, posouzení shody a rozhodnutí o provozním nasazení mohou všechny používat testy. Nežádají od těchto testů totéž.
Začněte tedy větou, se kterou lze nesouhlasit. Například: tento systém může směrovat případy k lidskému přezkumu, pokud jeho zdokumentovaný odhad pravděpodobnosti pro definovaný výsledek překročí stanovenou hranici, za předpokladu, že vstup odpovídá ověřenému rozsahu a přezkoumávající osoba si zachovává pravomoc návrh odmítnout. To je obhajitelné provozní tvrzení. Pojmenovává akci, podmínku a hranici. Nepředstírá, že si skóre samo zvolilo svou roli ve světě.
Opačná věta je povědomá, protože je pohodlná: model je z 87 procent přesvědčený. I když model skutečně vydává pravděpodobnost, tato věta vynechává událost, důkazy o kalibraci, populaci, období a rozhodnutí. Mění vztah na rys osobnosti. Stroje není třeba popisovat jako plaché nebo přesvědčené. Je třeba je popisovat jako systémy, jejichž výstupy mají definované významy a definované meze.
Důvěra není totéž co správnost
Systém může být přesvědčený a přesto se mýlit. Může být také správný, i když vyjadřuje nízkou důvěru. Tyto dvě skutečnosti nepřekvapí, pokud pojmy držíme oddělené. Správnost se ptá, zda výsledek odpovídá zvolené referenci pro jeden případ. Důvěra je tvrzení připojené k výstupu, často odvozené ze skóre modelu nebo z jeho transformace. Kalibrace klade další otázku napříč mnoha případy: když systém přiřazuje podobné pravděpodobnosti, nastávají výsledky přibližně v uvedené míře? Jsou to související otázky, ale jedna dobrá odpověď nenahrazuje ostatní.
Představme si sadu případů, pro které klasifikátor hlásí pravděpodobnost 0,80 pro jednu definovanou událost. Pokud v přiměřeně popsané a dostatečně velké sadě srovnatelných případů událost nastane přibližně v osmi případech z deseti, lze odhad označit za dobře kalibrovaný pro tuto populaci a podmínku. To neznamená, že další případ s hodnotou 0,80 má osmdesátiprocentní osud. Znamená to, že skóre prokázalo vztah k pozorovaným výsledkům napříč uvedeným souborem. Slovní spojení napříč uvedeným souborem nese většinu intelektuální práce.
Kalibrace také není univerzálním osvědčením. Skóre může být dobře kalibrované na historických datech a špatně kalibrované poté, co se změní zdroj vstupů, populace uživatelů, pracovní postup, proces označování nebo podmínky nasazení. Může být dobře kalibrované celkově, ale chovat se odlišně v části populace, která je pro službu důležitá. Může vypadat dobře v široké kategorii, ale zakrývat strmý rozdíl poblíž rozhodovacího prahu. Kalibrační graf není diplom v rámu nad produkčním systémem. Je to datované pozorování s vymezeným rozsahem.
Literatura o kalibraci modelů toto oddělení konkretizuje. Guo a kolegové studovali kalibraci důvěry u moderních neuronových sítí a ukázali, že samotná přesnost nerozhoduje o tom, zda odhady důvěry odpovídají pozorované pravděpodobnosti správnosti. Jejich práce také hodnotí metody kalibrace po zpracování. Důležité provozní ponaučení je užší než recept: u skóre modelu by se nemělo předpokládat, že má odpovídající pravděpodobnostní význam, pouze proto, že je dodáváno ve vhodném rozsahu mezi nulou a jedničkou.
Pečlivá organizace proto zaznamenává tři různé věci. Zaznamenává výkonnost úlohy, aby mohla posoudit, zda výstupy splňují definovanou úlohu. Zaznamenává kalibraci nebo jinou explicitní vlastnost nejistoty, aby mohla posoudit, co skóre v praxi znamená. A zaznamenává důsledek jednání na daném prahu, aby mohla posoudit, zda je rozhodovací pravidlo vhodné. Sloučení všech tří do jediného zeleného ukazatele může zjednodušit přehledovou desku. Nezjednodušuje to svět.
Kalibrace má jmenovatele
Každé tvrzení o kalibraci má jmenovatele. Jmenovatelem není pouze počet záznamů v souboru. Je to soubor případů, které byly způsobilé k započítání, způsob jejich seskupení, definice výsledku, časové období, vyloučení a proces, který vytvořil referenční označení. Odstraňte tyto podmínky a diagram spolehlivosti se stane příjemnou křivkou bez pravomoci nad rozhodnutím.
Předpokládejme, že hodnocení seskupuje predikce podle uvedené důvěry. Pozorovaná míra v každé skupině závisí na případech přijatých do skupiny a na definici výsledku. Byly nejednoznačné případy vyloučeny? Byly zdržení se hodnocení považovány za chyby, bezpečná odmítnutí nebo něco jiného? Představovalo označení okamžitou událost, pozdější přezkum nebo konečné odvolání? Byly duplicity zachovány? Zahrnovalo hodnocení pouze záznamy, které prošly předchozím validačním krokem? Každá odpověď může být rozumná. Každá odpověď mění význam výsledného tvrzení o kalibraci.
Proto může mít model slušný globální výsledek kalibrace a přesto být nevhodný pro konkrétní použití. Globální výsledek může slučovat jazyky, délky vstupů, regiony, typy zařízení, cesty zákazníků nebo provozní režimy, které nesdílejí stejnou strukturu chyb. Sloučený údaj může být poctivým souhrnem a přesto nedostatečným důkazem pro místní rozhodnutí. Správnou reakcí není požadovat samostatný model pro každého člověka. Je to testovat předpoklady o seskupení, které samo rozhodnutí činí podstatnými.
Hodnotící rámec OECD to nazývá pokrytím. Rámec se ptá, zda hodnotící nástroj pokrývá zkreslené nebo reprezentativní rozložení toho, co má měřit, a rozlišuje výkonnost úlohy od širšího tvrzení o schopnostech. Tato rozlišení jsou užitečná pro důkazy o pravděpodobnosti. Skóre může být důkazem o výkonnosti na rozložení úloh. Nemělo by se tiše stát důkazem o schopnosti, dotčené populaci nebo budoucím kontextu, který hodnocení nepokrylo.
Jmenovatel má také svou sociální stránku. Když organizace rozhoduje, které případy jsou natolik jednoduché, že je lze automatizovat, a které musí počkat na člověka, definice určují, kdo ponese zbývající nejistotu. Agregované skóre může zakrýt skutečnost, že menší skupina má méně příkladů, méně stabilní popisky nebo jiný provozní kontext. To není důvod slibovat stejné statistiky tam, kde jsou důkazy slabé. Je to důvod, proč slabé důkazy jasně vykázat a vytvořit kolem nich opatrné rozhodovací pravidlo.
Úspěšný běh je vzorek, ne závěr
Pravděpodobnostní systémy vybízejí k určité formě přehnané sebedůvěry, protože se tak snadno demonstrují. Zadejte vstup, získejte působivý výstup, zopakujte to s podobným vstupem, získejte další. Demonstrace může ukázat, že systém daný úkol zvládne. Může dokonce ukázat něco, co stojí za prozkoumání. Nemůže ukázat rozložení výsledků, stabilitu skóre, reakci na hraniční případy, kvalitu referenčních popisků ani vliv změněných podmínek nasazení. Vzorek může zahájit zkoumání. Nemůže ho dokončit.
Totéž platí pro jediný běh benchmarku. Výsledek mohl být shromážděn správně, na dobře popsaném systému, s legitimní metrikou. Pokud byl spuštěn pouze jednou, je důkazem hodnoty pozorované jednou za těchto podmínek. Není automaticky důkazem stabilní vlastnosti systému. Opakování pomáhá odhalit variabilitu. Neodstraňuje potřebu ptát se, zda test představuje zamýšlené použití. Reprodukovatelnost a validita řeší různé problémy a obě si zaslouží místo v záznamu.
Rámec OECD toto oddělení výslovně uvádí. Spolehlivost se týká toho, zda hodnocení předkládá dostatek opakování, dostatečnou délku epizod nebo dostatek instancí, aby při opětovném použití vykazovalo nízkou variabilitu. Reprodukovatelnost se týká toho, zda lze stejný test znovu vytvořit, včetně toho, zda stochastické komponenty mění interakce. Test může být přesně reprodukovatelný a přesto odpovídat na neužitečnou otázku. Může být realistický a obtížně přesně reprodukovatelný, protože se prostředí změnilo. Ani jedna z těchto podmínek není sama o sobě chybou. Záznam musí uvést, která podmínka platí a co z ní může čtenář vyvozovat.
Existuje zde skromný, ale cenný provozní návyk: ponechte si úspěšný běh, ale nenechte ho nést víc, než unese. Uchovejte vstup, konfiguraci, verzi, seed, pokud je relevantní, závislosti, výstup a rozhodnutí o vyhodnocení. Pak jej postavte vedle opakovaných měření, protipříkladů, zdržení se odpovědi a změněných podmínek. Výsledek, který zůstane užitečný i poté, co se setkal se svými nepohodlnými sousedy, je cennější než výsledek, který před nimi musel být chráněn.
U generativních systémů je úspěšná odpověď obzvláště slabým důkazem opakovatelnosti, pokud není zaznamenána smlouva o interakci. Nastavení vzorkování, prompt, načtený materiál, dostupnost nástrojů, verze modelu, bezpečnostní politika a okolní pracovní postup mohou všechny utvářet výsledek. Přehrání řetězce slov bez příslušného stavu může reprodukovat vzhled testu, ale chybí mu podmínka, která mu dávala smysl. V práci s důkazy není podobnost totéž co přehrání.
Opakovatelnost není synonymem důvěry
Deterministické přehrání může být vynikajícím důkazem pro jednu úzkou tezi: při stejných zaznamenaných vstupech, konfiguraci a podmínkách implementace systém vyprodukoval stejný výsledek. Díky tomu jsou vyšetřování, regresní testy a porovnávání verzí snazší. Nezakládá to tvrzení, že výsledek byl správný, že vstup byl vhodný, že systém měl být pro rozhodnutí použit, nebo že se výsledek zobecní za hranice svého zaznamenaného rozsahu. Opakovatelnost je vlastností experimentu. Důvěra je úsudek o širším uspořádání.
Stochastické chování mění záznam, místo aby omlouvalo jeho absenci. Pokud se výstup mění, musí hodnocení zaznamenat, které části se mění, jak často, v jakém rozsahu a jak tato změna ovlivňuje rozhodnutí. Systém, který navrhuje alternativní formulace, může tolerovat širší rozsah než systém, který řadí případy podle pozornosti. Systém, který radí člověku, může vyžadovat jiné důkazy než systém, který umožňuje nevratnou akci. Pravděpodobnost sama o sobě není provozní kategorií. O tom, kolik nejistoty může proces bezpečně unést, rozhodují důsledky.
Na obou stranách se snadno udělá chyba. Jeden tým požaduje pevný výstup od nástroje, jehož deklarovaným účelem je průzkum, a pak si výsledný determinismus splete s kvalitou. Jiný tým přijímá proměnlivý výstup ze systému na podporu rozhodování a pak tuto proměnlivost označí za kreativitu, když je obtížné ji vyhodnotit. Ani jeden postoj není seriózní. Otázkou je, zda je variace očekávaná, ohraničená, pozorovatelná a slučitelná s pravomocí přidělenou systému.
Evropská regulace tuto otázku nesvádí na jediné univerzální skóre. U vysoce rizikových systémů umělé inteligence vyžaduje článek 15 aktu o umělé inteligenci odpovídající úroveň přesnosti, robustnosti a kybernetické bezpečnosti a konzistentní výkon v těchto ohledech po celou dobu životního cyklu. Rovněž uvádí, že úrovně přesnosti a příslušné metriky přesnosti musí být uvedeny v návodu k použití, a podporuje benchmarky a metody měření pro technické aspekty měření výkonu. Toto ustanovení neříká, že jeden opakovaný test věc vyřeší. Požaduje, aby byl výkon specifikován a udržován v kontextu.
To je rozumný postoj pro každé seriózní hodnocení. Opakovatelný test je součástí řetězce důkazů. Potřebuje vlastníka, hranici verze, spouštěč změn a propojení s provozním rozhodnutím, které podporuje. Bez toho se reprodukovatelnost může stát dalším atraktivním slovem, které cestuje dál než samotný experiment.
Nejistota potřebuje provozní cestu
Praktickým účelem nejistoty není, aby dashboard vypadal sofistikovaně. Je jím změnit to, co systém smí dělat. Pokud skóre nemá žádný vliv na směrování, přezkum, vysvětlení, monitorování nebo zastavení, může být spíše technickou zajímavostí než provozním signálem. Pokud akci mění, musí organizace uvést cestu od skóre k pravomoci.
Práh je jednou takovou cestou, ale není to kouzelná hranice. Nastavení prahu vybírá kompromis mezi druhy chyb, pracovní zátěží, zpožděním a potenciální újmou. Práh může být vhodný pro prioritizaci fronty přezkumu s nízkými důsledky a nevhodný pro odepření přístupu osoby ke službě. Stejný číselný práh může znamenat různé věci, když se změní základní míra, náklady na chybu, dostupná náprava a kvalita následného přezkumu. V příručce dodavatele nečeká žádné univerzální obezřetné číslo.
Z tohoto důvodu by rozhodovací pravidlo mělo popisovat více než jen hraniční hodnotu. Mělo by pojmenovat odhadovaný výsledek, důkazy podporující skóre, případy mimo rozsah, okolnosti, které vynucují zdržení se rozhodnutí, lidskou pravomoc, která zůstává, záznam, který bude veden, a podmínky pro přehodnocení pravidla. Práh bez těchto doprovodných prvků je rozhodnutí maskované jako konfigurace.
Užitečný hypotetický příklad ilustruje tento bod, aniž by vymýšlel veřejný incident. Představte si službu, která používá skóre modelu k třídění příchozích žádostí pro vyškoleného recenzenta. Důkazy mohou podporovat omezené tvrzení: skóre může pomoci seřadit srovnatelné žádosti v rámci uvedené kategorie příjmu, zatímco veškerá konečná prioritizace zůstává na recenzentovi. Stejné důkazy nepodporují automatické odmítání žádostí s nízkým skóre, protože to je jiná akce s jinými důsledky a jinými nároky na důkazy. Výstup se nezměnil. Změnila se jeho pravomoc.
Zdržení se hodnocení si zaslouží stejnou vážnost. Systém, který dokáže říci, že jeho důkazy jsou nedostatečné, může krátkodobě vytvořit více práce a dlouhodobě snížit nezachycené chyby. Zdržení se je ale užitečné pouze tehdy, když má kam odpovědně směřovat. Pokud se nejisté případy ztratí ve frontě, o kterou se nikdo nestará, systém jednoduše přeměnil nejistotu v prodlení. Dobrá cesta určuje, kdo případ převezme, co může vidět, jak jej opraví a jak tato oprava ovlivní pozdější vyhodnocení.
Kauzální tvrzení potřebují víc než graf před a po
Odhady pravděpodobnosti se často používají k podpoře tvrzení o tom, co se stane, pokud organizace něco udělá. To je jiný důkazní úkol než předpovídání toho, co se stalo v historických datech. Model může odhadnout, že se případ podobá jiným případům s určitým výsledkem. Tím však neprokazuje, že změna případu, změna politiky nebo dodržení doporučení způsobí změnu výsledku. Predikci a intervenci bychom neměli slučovat jen proto, že graf vypadá úhledně.
Grafy před a po jsou obzvlášť lákavé. Tým zavede nástroj, výsledek se změní a nástroj dostane uznání nebo vinu. Mnoho dalších věcí se mohlo změnit: populace vstupující do služby, dokumentace, personální obsazení, politika, sezónní podmínky, předchozí filtry nebo samotné měření. Pozorování může stát za pozornost. Není to kauzální závěr, dokud nejsou řešeny srovnání, alternativní vysvětlení a zbývající nejistota.
To je důležité pro správu AI, protože systém může být provozně vlivný dlouho předtím, než je formálně rozhodující. Pořadí může změnit, který záznam člověk otevře jako první. Indikátor spolehlivosti může přimět recenzenta, aby výstup přijal. Doporučená akce se může stát rutinou, protože je fronta plná. Kauzální cesta zahrnuje lidskou interpretaci, návrh rozhraní, pobídky, časový tlak a dostupnou cestu opravy. Hodnocení samotného modelu nemůže vyprávět celý příběh.
Když na kauzálním tvrzení záleží, plán důkazů by měl říci, jaké srovnání by tvrzení učinilo důvěryhodnějším a co by stále nemohl vyloučit. To může zahrnovat kontrolovaný test, postupné nasazení, nezávislý přezkum, pečlivě sestavený observační design nebo rozhodnutí se kauzálnímu tvrzení úplně vyhnout. Nejde o to vyžadovat od každé provozní změny akademickou dokonalost. Jde o to sladit sebevědomí tvrzení s důkazy, které jsou skutečně k dispozici.
Je v tom jistý nizozemský selský rozum, i když se dobře uplatní i jinde: pokud jste změřili jen to, že se změnil vítr, neoznamujte, že jste přepracovali počasí. Predikce může být cenná, aniž by se stala příběhem o příčinnosti. Upřímnost není ústup. Je to to, co výsledek činí použitelným pro někoho, kdo se musí rozhodnout, co udělat dál.
Přesnost může skrývat špatné rozhodovací pravidlo
Přesnost je často užitečná a často nedostatečná. Systém může dosáhnout vysoké přesnosti tam, kde je jeden výsledek běžný, ale nabídnout jen malou pomoc u případů, na kterých nejvíce záleží. Může mít silný průměr, ale špatně fungovat poblíž hranice rozhodování. Může vytvářet správné predikce, aniž by nabízel odhady pravděpodobnosti, které podporují rozumné prahy. Může vypadat úspěšně, protože referenční štítek je snadné předpovědět, i když samotný štítek je slabou náhražkou rozhodnutí, které služba potřebuje učinit.
Nic z toho neznamená, že přesnost je bezvýznamná. Znamená to, že by se čtenář měl ptát, co přesnost měří a co zůstává mimo záběr. Nařízení o umělé inteligenci tuto potřebu kontextu uznává ve svých požadavcích na návod k použití: dokumentace vysoce rizikových systémů musí obsahovat charakteristiky výkonnosti a omezení, zamýšlený účel, příslušné metriky přesnosti použité k testování a validaci systému a známé nebo předvídatelné okolnosti, které mohou ovlivnit očekávanou výkonnost. Hodnota přesnosti se stává užitečnější, když zůstanou připojeny i okolnosti, za kterých byla získána.
Dobrý operační přezkum se proto ptá na vzorce chyb, nejen na součty. Které typy případů byly chybně klasifikovány? Které byly nejisté? Které případy byly vyloučeny nebo odeslány k přezkumu? Co se stane s falešně pozitivním výsledkem, falešně negativním výsledkem, opožděnou odpovědí nebo neoprávněným zdržením se odpovědi? Kdo může výsledek odhalit, zpochybnit a opravit záznam? Tyto otázky vracejí hodnocení zpět ke službě, místo aby ho nechávaly u modelu.
Může být také užitečné rozlišovat důkazy o komponentě od důkazů o pracovním postupu. Test komponenty může prokázat vlastnosti modelu při definovaných vstupech. Hodnocení pracovního postupu může prokázat, jak model, rozhraní, data, lidé a politika vzájemně působí. Komponenta může mít silnou kalibraci skóre, zatímco pracovní postup vede k automatizačnímu zkreslení, protože rozhraní skrývá nejistotu. Pracovní postup může mít vynikající proces přezkumu, ale spoléhat se na komponentu, jejíž zdrojová data již neodpovídají deklarovanému rozsahu. Testy se musí někde setkat.
Výsledné důkazy nemusí být nutně velkolepá zpráva. Pokud je rozhodnutí úzce zaměřené, může jít o stručný, verzovaný záznam. Důležité je, aby jiná osoba mohla prozkoumat tvrzení, populaci, metodu, výsledek, omezení a rozhodnutí. Velikost souboru neurčuje kvalitu uvažování. Krátký záznam může být důkladný. Rozsáhlá prezentace může být z velké části prázdná.
Změna mění včerejší důkazy v otázku
Každý výsledek hodnocení má datum, i když je datum skryté. Modely se mění. Výzvy se mění. Zdroje dat se mění. Nadřazený formulář získá nové pole. Dodavatel změní politiku. Tým přesune službu do jiného prostředí. Nová skupina začne systém používat. Metrika se vypočítá po změněném procesu přezkumu. Každá změna může pozměnit tvrzení, které předchozí důkazy podporovaly.
Správnou reakcí není spouštět všechny testy znovu po každé úpravě. Je jí definovat, které změny jsou podstatné pro která tvrzení. Změna barvy nemusí ovlivnit kalibraci pravděpodobnosti. Nový vstupní kanál ji ovlivnit může. Revidovaná politika označování může změnit definici výsledku. Nová verze modelu může změnit výkonnost i interpretaci jeho skóre. Změna pravomocí udělených systému může zneplatnit rozhodovací pravidlo, i když model zůstane bajt po bajtu stejný. Plán testů by měl tyto vztahy zviditelnit dříve, než je vydání pohodlné.
Článek 9 nařízení o umělé inteligenci popisuje průběžný, iterativní proces řízení rizik pro vysoce rizikové systémy v průběhu jejich životního cyklu. Tento proces zahrnuje identifikaci a analýzu známých a přiměřeně předvídatelných rizik, odhad a vyhodnocení rizik při použití systému v souladu s určeným účelem a za přiměřeně předvídatelného nesprávného použití a přijetí opatření pro řízení rizik. Pro hodnocení z toho plyne přímé ponaučení: důkazy nejsou jednorázovým obřadem při uvedení na trh. Patří do operačního systému přezkumu, změn a reakcí.
Monitorování neznamená sbírat každý dostupný signál a doufat, že se nějaký vzorec sám ukáže. Znamená to rozhodnout, které pozorování by mohlo znovu otevřít nárok. Kalibrační kontrola může být naplánována podle období, objemu nebo změněného mixu vstupů. Práh může být přezkoumán, když tlak na frontu změní kvalitu lidského dohledu. Změna zdroje může pozastavit použití, dokud se příslušný test nezopakuje. Seriózní plán monitorování říká, co je sledováno, kým, vůči jaké referenci a jaká akce následuje.
To je náročnější než modelový list archivovaný v den pořízení, ale také užitečnější. Statický dokument může uchovat, co bylo tvrzeno. Živý záznam důkazů může ukázat, zda tvrzení stále má své místo. U pravděpodobnostního systému je tento rozdíl rozdílem mezi tím, že víte, že skóre existovalo, a tím, že víte, zda stále znamená to, co si služba myslí, že znamená.
Záznamy umožňují pozdějšímu čtenáři řádně nesouhlasit
Důkazy potřebují paměť. Pozdější recenzent nemůže posoudit tvrzení ze snímku obrazovky skóre a vzpomínky na schůzi. Potřebuje verzovaný objekt: otázku, vstupní podmínky, metodu testu nebo pozorování, výsledek, vyloučení, nejistotu, rozhodnutí a vlastníka. Může také potřebovat vědět, co nebylo zachyceno. Záznam, který činí své slepé skvrny viditelnými, je užitečnější než dokonale vypadající záznam, který ponechává stav systému na dohadech.
U vysoce rizikových systémů AI vyžaduje nařízení o AI automatické zaznamenávání událostí po celou dobu životnosti systému, s možnostmi protokolování odpovídajícími zamýšlenému účelu a užitečnými pro identifikaci rizik, podporu monitorování po uvedení na trh a sledování provozu. Rovněž vyžaduje, aby byla technická dokumentace vypracována před uvedením systému na trh a průběžně aktualizována. Tyto požadavky nejsou pouze výzvou k vedení více protokolů. Jsou výzvou k tomu, aby protokoly byly srozumitelné ve vztahu k systému, účelu a rozhodnutí.
Vysledovatelnost je obzvláště důležitá tam, kde pravděpodobnost interpretuje člověk. Pokud recenzent vidí skóre, měl by záznam důkazů umožnit rekonstruovat, k čemu bylo skóre připojeno, jak bylo prezentováno, jaká data nebo zdroje byly v rozsahu, co recenzent rozhodl a zda došlo k pozdější opravě. Bez tohoto řetězce se tým může dozvědět, že výsledek byl chybný, ale ne to, zda problém spočíval ve vstupu, modelu, rozhraní, rozhodovacím pravidle nebo v lidském procesu kolem něj.
Ve společnosti Dweve je AION malým, relevantním příkladem širšího principu, nikoli tvrzením, že důkazy lze redukovat na kryptografii. Jeho veřejný popis říká, že producent může vydat typovaný certifikát spolu s výsledkem a že AION nezávisle ověřuje certifikát proti původním premisám. Takový ověřitelný záznam může posílit úzké tvrzení o tom, zda výsledek vyplývá ze zaznamenaných premis. Nedokazuje, že premisy byly vhodné, že úkol byl spravedlivý nebo že použití bylo přiměřené. Důkazy potřebují jak ověření, tak úsudek.
Toto omezení stojí za to zachovat, protože zabraňuje běžné kategoriální chybě. Dokonale zachovaná stopa může ukázat, co se stalo. Nemůže udělat špatně formulovanou otázku dobrou. Reprodukovatelné rozhodnutí může být stále rozhodnutím, které nikdy nemělo být automatizováno. Záznam by měl pomoci pozdějšímu čtenáři položit obě otázky, ne předčasně odpovědět na tu druhou.
Důvěra může být poctivá, a přesto nepoužitelná
Dobře kalibrovaná pravděpodobnost může být stále nepřínosná. Může být příliš široká na to, aby oddělila případy, které vyžadují odlišné zacházení. Může přijít příliš pozdě na to, aby ovlivnila rozhodnutí. Může být vázána na výsledek, se kterým nelze pracovat. Může být tak nejistá, že každý případ vyžaduje stejnou revizi. To nejsou selhání poctivosti. Jsou to omezení užitečnosti, a měla by být přiznána včas, nikoli objevena až poté, co byl kolem skóre vybudován pracovní postup.
Naopak užitečný systém nemusí předstírat jistotu. Skromný signál může zlepšit organizaci práce, má-li úzký účel a jasnou cestu revize. Může operátorovi pomoci rozpoznat, které případy si zaslouží další kontrolu zdroje. Může vybrat malou množinu pro zajištění kvality. Může odhalit konflikt mezi záznamy. Při těchto použitích se požadavek na důkazy týká toho, zda signál zlepšuje konkrétní rozhodovací proces, aniž by zaváděl nepřijatelné nové chyby nebo závislost. Signál se nemusí stát orákulem, aby si získal místo.
Proto musí zamýšlený účel řídit hodnocení. Principy AI organizace OECD vyžadují smysluplné informace o schopnostech a omezeních systémů a vysledovatelnost ve vztahu k datovým souborům, procesům a rozhodnutím, aby bylo možné analyzovat výstupy a odpovídat na dotazy. Principy rovněž vyžadují odpovídající lidskou kontrolu a dohled. Praktický důsledek není ten, že každé rozhraní potřebuje zobrazení pravděpodobnosti. Je jím to, že důkazy a vysvětlení systému by měly odpovídat osobě a rozhodnutí, kterých se týkají.
Neexistuje žádná odměna za vystavení hodnoty nejistoty, kterou uživatel nedokáže interpretovat ani na ni reagovat. Číslo bez rozhodovací cesty může vytvořit divadlo transparentnosti. Dává lidem něco, na co mohou ukázat, a žádný způsob, jak to zpochybnit. Lepší je ukázat příslušnou hranici prostým jazykem, například tento návrh je mimo validovanou kategorii, nebo tento výsledek vyžaduje revizi, protože dostupné důkazy jsou neúplné. Vhodná prezentace následuje operační řízení, ne naopak.
Ze stejného důvodu by skóre důvěry nemělo být považováno za měřítko morální hodnoty, důvěryhodnosti nebo oprávnění. Je to technické tvrzení s omezeným důkazním závazkem. Může pomoci procesu. Nemělo by se stát vágním společenským žebříčkem jen proto, že jeho číselná podoba působí rozhodně.
Organizace vlastní odvozený závěr
Dodavatelé mohou poskytovat modely, dokumentaci, skóre a výsledky testů. Nemohou však mlčky vlastnit význam rozhodnutí učiněného ve službě někoho jiného. Organizace, která propojuje pravděpodobnostní výstup s akcí, musí rozhodnout, na kterou propozici se spoléhá, která populace je relevantní, který práh je přijatelný, kdo přezkoumává výjimky, které záznamy se uchovávají a kdy důkazy pozbývají platnosti. Smlouvy mohou rozdělit úkoly. Neodstraňují však potřebu úsudku.
Toto se projevuje v zadávání veřejných zakázek. Kupující by se měl potenciálního dodavatele ptát nejen na hlavní metriku, ale také na hodnotící otázku, populaci, popisky, vyloučení, verze, variabilitu, metodu kalibrace, pokud je uváděno tvrzení o pravděpodobnosti, známé limity a politiku změn. Smyslem není požadovat zveřejnění informací, které dodavatel nemůže právně poskytnout. Smyslem je zjistit, zda kupující dokáže dostatečně porozumět hranicím tvrzení, aby je mohl odpovědně používat v evropském provozním kontextu.
Odpověď může někdy znít, že důkazy nejsou pro zamýšlené použití dostatečné. To není selhání procesu zadávání zakázek. Je to proces zadávání zakázek, který plní svou skutečnou funkci dříve, než se organizace stane závislou na nevysvětleném skóre. Menší, kontrolovatelné použití může být stále možné. Jiný dodavatel může být vhodnější. Nebo rozhodnutí může zůstat na lidech, protože důkazy a cesta k nápravě nejsou dostatečně silné, aby ospravedlnily automatizaci. Říci ne je součástí disciplíny práce s důkazy.
Důkazy také potřebují jmenovaného vlastníka i po spuštění. Někdo musí odpovídat za to, že zkontroluje, zda se populace neposunula, zda přezkumy neodhalují nový vzorec chyb, zda práh stále odpovídá pracovní zátěži, zda lze záznamy interpretovat a zda změna nevyvolává přehodnocení. Vlastník nemusí osobně provádět každý test. Pokud však žádná role nevlastní inferenci, systém postupně získá autoritu prostřednictvím zvyku. Zvyk je špatnou náhradou za záznam o rozhodnutí.
Nejtěžší je často kultura. Týmy jsou zvyklé prezentovat úspěšné modely jako produkty a neúspěšné modely jako výzkum. Pravděpodobnostní důkazy od nich žádají, aby zachovaly nejednoznačnost mezi tím: užitečné, ohraničené, monitorované a zatím neoprávněné stát se více, než důkazy podporují. To může znít méně vzrušující. Je to trvanlivější.
Co obsahuje přiměřený záznam o důkazech
Vhodný záznam závisí na použití. Pomůcka pro psaní používaná autorem má jiné důsledky než systém, který ovlivňuje přístup k veřejné službě. Přesto má přiměřený záznam rozpoznatelnou podobu. Identifikuje tvrzení a zamýšlený účel. Identifikuje model, konfiguraci a okolní pracovní postup. Definuje výsledek a populaci použité k vyhodnocení tvrzení. Zachovává metodu, výsledek a smysluplné limity. Identifikuje rozhodovací pravidlo, vlastníka, cestu přezkumu a spouštěče změn. Každé pole dává pozdějšímu čtenáři místo, kde začít.
Záznam by měl rozlišovat mezi měřením a interpretací. Naměřené pozorování může říci, že na určitém souboru dat a za určité období odpovídala stanovená sada skóre pozorovaným výsledkům v popsaném rozsahu. Interpretace může říci, že to podporuje použití jako signál pro řazení přezkumu za stanovených kontrol. Rozhodnutí může říci, že systém může být pro tento účel používán, dokud nenastane stanovený spouštěč změny. Uvést všechny tři věty pod nadpis s názvem výkon je efektivní pouze tehdy, pokud nikdo nikdy nebude muset zpochybnit odůvodnění.
Měl by také učinit neznámé použitelnými. Třeba jsou štítky opožděné. Třeba malá jazyková skupina nemá dostatek případů pro stabilní posouzení kalibrace. Třeba je nasazení nové a zatím neexistují žádné provozní důkazy. Záznam to může uvést, dočasně omezit použití, zajistit další pozorování nebo zachovat lidskou cestu. Předstírat, že neznámé bylo vyřešeno, protože model vygeneroval číslo, pouze přemění nejistotu v nedokumentovaný závazek.
Vizuální disciplína je zde užitečná. Nakreslete řetězec od vstupu ke skóre, od skóre k zobrazenému vysvětlení, od vysvětlení k lidské akci a od akce k pozorovanému výsledku a nápravě. Nakreslete, kde je stav zachycen, kde je ztracen a kde může člověk cestu zastavit nebo zvrátit. Pokud tým nedokáže cestu nakreslit, pravděpodobně ji nedokáže ani vyhodnotit. Diagramy nenahrazují důkazy. Zabrání tomu, aby byly důkazy přiřazeny nesprávné části systému.
Především zapište, co záznam neprokazuje. Nemusí prokazovat příčinnou souvislost. Nemusí prokazovat spravedlnost napříč všemi skupinami. Nemusí prokazovat chování po změně dodavatele. Nemusí prokazovat vhodnost pro závažnější akci. Tato ne-tvrzení nejsou omluvou. Jsou tím, co brání tomu, aby bylo ohraničené hodnocení použito jako univerzální autorizace.
Důkazy si zaslouží právo zůstat nejisté
Existuje pokušení si myslet, že cílem hodnocení je odstranit nejistotu. Často je lepším cílem ji lokalizovat. Pravděpodobnostní systém není vadný proto, že nedokáže přeměnit každý případ v jistotu. Stává se nebezpečným, když organizace zachází s nejistotou jako se soukromým technickým detailem, zatímco výstupu uděluje veřejnou autoritu. Práce spočívá v rozhodnutí, která nejistota je pro daný účel tolerovatelná, viditelná a napravitelná.
Toto rozhodnutí by se mělo zpřísňovat s rostoucími důsledky. Návrh s nízkými důsledky může potřebovat jasný rozsah, viditelné omezení a snadnou nápravu. Systém, který ovlivňuje práva, bezpečnost, přístup nebo materiální příležitosti, potřebuje silnější důkazy o celém procesu, pečlivější monitorování, smysluplnou lidskou autoritu a cestu k odvolání a nápravě. Skóre modelu samo o sobě tento standard neurčuje. Určuje ho účinek jednání na základě něj.
Jediný úspěšný běh může stále stát za uchování. Může to být první vzorek v užitečném záznamu. Může odhalit schopnost, způsob selhání nebo otázku, která si zaslouží řádné hodnocení. Ale měl by zůstat vzorkem, dokud organizace neotestuje tvrzení, na které se chce spolehnout. Vzdálenost mezi těmito dvěma věcmi je místem, kde žije odpovědné inženýrství.
Takže odpověď na to, co se počítá jako důkaz, když je stroj pravděpodobnostní, není skóre, graf nebo štítek shody. Je to ohraničený argument: tento výstup, pro tuto otázku, v této populaci a období, za těchto podmínek, byl pozorován tímto způsobem; toto můžeme odvodit; toto odvodit nemůžeme; a toto je akce, kterou jsme připraveni, nebo nejsme připraveni, nechat změnit. Tento argument není okouzlující. Je kontrolovatelný, což je lepší.