Čo sa považuje za dôkaz, keď je stroj pravdepodobnostný?
Pravdepodobnosť nie je rozsudok
Keď stroj vráti hodnotu 0,87, prvá otázka je zvyčajne príliš malá. Ľudia sa pýtajú, či je 0,87 vysoká. Vysoká v porovnaní s čím, pre ktorý výsledok, nad ktorými prípadmi a pre aké rozhodnutie? Číslo vytlačené vedľa výstupu vyzerá ako vlastnosť tohto výstupu. Často ním nie je. Je to pokus opísať vzťah medzi modelom, definovanou populáciou prípadov a výsledkom pozorovaným v čase. Tento vzťah môže byť užitočný. Môže viesť poradie na kontrolu, nastaviť prah alebo povedať operátorovi, kedy si výsledok zaslúži druhý pohľad. Ale nepremení individuálnu predpoveď na fakt s desatinným číslom.
Toto je nepríjemný bod v centre pravdepodobnostných systémov. Ich výstupy sú často informatívnejšie ako holý štítok, pretože dokážu vyjadriť mieru podpory alebo neistoty. Sú tiež ľahšie čitateľné nad rámec toho, čo hovoria. Skóre sa môže považovať za výpoveď svedka, právny záver, diagnózu alebo povolenie. Nič z toho nie je štandardne. Dôkaz začína vtedy, keď organizácia dokáže povedať, čo číslo predstavuje, ako bolo overené, kde toto overenie platí a akú činnosť môže číslo zmeniť.
Tento rozdiel je dôležitý dávno predtým, než sa systém stretne s regulátorom. Tím sa môže rozhodovať, či navrhovaný dokument potrebuje ľudskú kontrolu. Kupujúci môže porovnávať dvoch dodávateľov, ktorí obaja inzerujú miery spoľahlivosti. Operátor môže nastavovať pravidlo eskalácie. Verejný orgán sa môže pýtať, či je zoradený zoznam dostatočne dobrý na to, aby ovplyvnil, kam pôjde pozornosť ako prvá. V každom prípade je úspešné spustenie dôkazom jednej veci: že jedno spustenie vytvorilo výstup. Zatiaľ to nie je dôkaz, že si systém zaslúži autoritu, ktorá je s ním spojená.
Rozumnou odpoveďou nie je zakázať pravdepodobnosti v závažnej práci. Je to dať im poriadny popis práce. Pravdepodobnosť môže podporiť rozhodnutie, keď je viazaná na definovanú udalosť, relevantnú populáciu, metódu pozorovania, hranicu neistoty a pravidlo pre to, čo sa stane, keď sú dôkazy slabé. Toto je pomalšie ako obdivovať jedno číslo a oveľa rýchlejšie ako neskôr zistiť, že nikto nedokáže vysvetliť, čo malo číslo robiť.
Dôkaz musí pomenovať svoju otázku
Dôkazy nikdy nie sú jednoducho prítomné. Sú dôkazom pre tvrdenie. Výsledok testu môže podporovať tvrdenie, že komponent vytvára konkrétny výstup pre konkrétny vstup pri konkrétnej konfigurácii. Môže podporovať tvrdenie, že model dobre zoraďuje príklady na vyhradenej dátovej sade. Môže podporovať tvrdenie, že odhad pravdepodobnosti zodpovedá primerane presne pozorovaným frekvenciám v definovanej vyhodnocovacej sade. Tieto tvrdenia sú rozdielne. Disciplína začína napísaním tvrdenia pred výberom metriky.
Zoberme si zdanlivo jednoduché tvrdenie, že systém je presný. Presný v čom? Presnosť klasifikácie môže opisovať, ako často sa trieda s najvyšším skóre zhodovala s označením. Nehovorí nič o tom, či bola uvedená pravdepodobnosť dobre kalibrovaná. Metrika zoraďovania môže opisovať poradie, nie kvalitu stupnice skóre. Nízka priemerná chyba môže koexistovať so škodlivým vzorcom chýb v podskupine alebo pri prahovej hodnote, ktorá spúšťa akciu. Metrika nie je nesprávna. Skok od metriky k prevádzkovému záveru je miesto, kde sa zvyčajne začína problém.
Práca OECD na vyhodnocovacích nástrojoch je užitočná práve preto, že sa vzdáva fantázie, že jedno skóre môže niesť celé vysvetlenie. Jej rámec rozlišuje aspekty vrátane pokrytia, účelu, realizmu, spoľahlivosti, reprodukovateľnosti, objektívnosti a strannosti. Toto nie sú byrokratické ozdoby okolo benchmarku. Opisujú, či má výsledok správny vzťah k položenej otázke. Výskumné porovnanie, posudzovanie zhody a rozhodnutie o prevádzkovom vydaní môžu všetky používať testy. Nežiadajú od týchto testov to isté.
Začnite teda vetou, s ktorou možno nesúhlasiť. Napríklad: tento systém môže smerovať prípady na ľudské preskúmanie, keď jeho zdokumentovaný odhad pravdepodobnosti pre definovaný výsledok prekročí stanovenú prahovú hodnotu, za predpokladu, že vstup zodpovedá overenému rozsahu a preskúmavajúci si zachováva právomoc odmietnuť návrh. To je diskutovateľné prevádzkové tvrdenie. Pomenúva akciu, podmienku a hranicu. Nepredstiera, že si skóre nezávisle zvolilo svoju úlohu vo svete.
Opačná veta je známa, pretože je pohodlná: model je na 87 percent presvedčený. Aj keď model skutočne vydáva pravdepodobnosť, veta vynecháva udalosť, dôkazy o kalibrácii, populáciu, obdobie a rozhodnutie. Premieňa vzťah na črtu osobnosti. Stroje netreba opisovať ako hanblivé alebo presvedčené. Treba ich opisovať ako systémy, ktorých výstupy majú definované významy a definované hranice.
Presvedčenie nie je to isté ako správnosť
Systém môže byť presvedčený a nesprávny. Môže byť tiež správny a zároveň vyjadrovať nízke presvedčenie. Tieto dve skutočnosti nie sú prekvapujúce, keď sa pojmy držia oddelene. Správnosť sa pýta, či sa výsledok zhodoval so zvolenou referenciou pre jeden prípad. Presvedčenie je vyhlásenie pripojené k výstupu, často odvodené zo skóre modelu alebo z jeho transformácie. Kalibrácia sa pýta na ďalšiu otázku naprieč mnohými prípadmi: keď systém priradí podobné pravdepodobnosti, vyskytujú sa výsledky približne v uvedenej miere? Toto sú súvisiace otázky, ale jedna dobrá odpoveď nedodáva ostatné.
Predstavme si sadu prípadov, pre ktoré klasifikátor hlási pravdepodobnosť 0,80 pre jednu definovanú udalosť. Ak sa pri primerane opísanej a dostatočne veľkej sade porovnateľných prípadov udalosť vyskytne približne osemkrát z desiatich, odhad možno nazvať dobre kalibrovaným pre túto populáciu a podmienku. To neznamená, že ďalší prípad s hodnotou 0,80 má osemdesiatpercentný osud. Znamená to, že skóre preukázalo vzťah k pozorovaným výsledkom naprieč uvedenou kolekciou. Fráza naprieč uvedenou kolekciou vykonáva väčšinu intelektuálnej práce.
Kalibrácia tiež nie je univerzálny odznak. Skóre môže byť dobre kalibrované na historickom súbore údajov a zle kalibrované po zmene zdroja vstupov, populácie používateľov, pracovného postupu, procesu označovania alebo podmienok nasadenia. Môže byť dobre kalibrované celkovo, ale správať sa inak v rámci časti populácie, ktorá je pre službu dôležitá. Môže vyzerať dobre v širokej kategórii, pričom zakrýva strmý rozdiel v blízkosti rozhodovacieho prahu. Kalibračný graf nie je diplom zarámovaný nad produkčným systémom. Je to datované pozorovanie s vymedzeným rozsahom.
Literatúra o kalibrácii modelov robí toto oddelenie konkrétnym. Guo a kolegovia študovali kalibráciu spoľahlivosti v moderných neurónových sieťach a ukázali, že samotná presnosť nerozhoduje o tom, či odhady spoľahlivosti predstavujú pozorované pravdepodobnosti správnosti. Ich práca tiež hodnotí post-processingové kalibračné metódy. Dôležité prevádzkové ponaučenie je užšie ako recept: skóre modelu by sa nemalo považovať za majúce vhodný pravdepodobnostný význam len preto, že je dodávané vo vhodnom rozsahu medzi nulou a jednotkou.
Starostlivá organizácia preto zaznamenáva tri rôzne veci. Zaznamenáva výkonnosť úlohy, aby mohla posúdiť, či výstupy spĺňajú definovanú úlohu. Zaznamenáva kalibráciu alebo inú explicitnú vlastnosť neistoty, aby mohla posúdiť, čo skóre v praxi znamená. A zaznamenáva dôsledok konania pri danom prahu, aby mohla posúdiť, či je rozhodovacie pravidlo vhodné. Spojenie všetkých troch do jedného zeleného indikátora môže zjednodušiť dashboard. Nezjednodušuje to svet.
Kalibrácia má menovateľa
Každé tvrdenie o kalibrácii má menovateľa. Menovateľ nie je len počet záznamov v súbore. Je to súbor prípadov, ktoré boli oprávnené byť započítané, spôsob ich zoskupenia, definícia výsledku, časové obdobie, vylúčenia a proces, ktorý vytvoril referenčné označenia. Odstráňte tieto podmienky a diagram spoľahlivosti sa stane príjemnou krivkou bez právomoci nad rozhodnutím.
Predpokladajme, že hodnotenie zoskupuje predikcie podľa uvedenej spoľahlivosti. Pozorovaná miera v každej skupine závisí od prípadov prijatých do skupiny a od definície výsledku. Boli nejednoznačné prípady vylúčené? Boli abstencie považované za chyby, bezpečné odmietnutia alebo niečo iné? Predstavovalo označenie okamžitú udalosť, neskoršie preskúmanie alebo konečné odvolanie? Boli duplicitné záznamy zachované? Zahŕňalo hodnotenie len záznamy, ktoré prešli krokom predbežnej validácie? Každá odpoveď môže byť rozumná. Každá odpoveď mení význam výsledného vyhlásenia o kalibrácii.
To je dôvod, prečo model môže mať slušný globálny výsledok kalibrácie a napriek tomu byť nevhodný na konkrétne použitie. Globálny výsledok môže spájať jazyky, dĺžky vstupov, regióny, typy zariadení, cesty zákazníkov alebo prevádzkové režimy, ktoré nezdieľajú rovnakú štruktúru chýb. Súhrnný údaj môže byť čestným zhrnutím a napriek tomu nedostatočným dôkazom pre miestne rozhodnutie. Správnou reakciou nie je požadovať samostatný model pre každého človeka. Je to testovať predpoklady o zoskupení, ktoré samotné rozhodnutie robí dôležitými.
Hodnotiaci rámec OECD to nazýva pokrytie. Rámec sa pýta, či hodnotiaci nástroj pokrýva skreslené alebo reprezentatívne rozdelenie toho, čo má merať, a rozlišuje výkonnosť úlohy od širšieho tvrdenia o schopnosti. Tieto rozdiely sú užitočné pre dôkazy o pravdepodobnosti. Skóre môže byť dôkazom o výkonnosti na rozdelení úloh. Nemalo by sa ticho stať dôkazom o schopnosti, dotknutej populácii alebo budúcom kontexte, ktorý hodnotenie nepokrylo.
Menovateľ má aj sociálnu stránku. Keď organizácia rozhoduje, ktoré prípady sú dosť jednoduché na automatizáciu a ktoré musia počkať na človeka, definície určujú, kto nesie zostávajúcu neistotu. Súhrnné skóre môže zakryť skutočnosť, že menšia skupina má menej príkladov, menej stabilné označenia alebo iný prevádzkový kontext. To nie je dôvod sľubovať rovnaké štatistiky tam, kde sú dôkazy slabé. Je to dôvod, prečo slabé dôkazy jasne uviesť a vytvoriť okolo nich opatrné rozhodovacie pravidlo.
Úspešný beh je vzorka, nie záver
Pravdepodobnostné systémy vyvolávajú osobitnú formu prehnanej sebadôvery, pretože sa tak ľahko demonštrujú. Zadajte vstup, získajte pôsobivý výstup, zopakujte s podobným vstupom, získajte ďalší. Ukážka môže preukázať, že systém dokáže vykonať úlohu. Môže dokonca naznačiť niečo, čo stojí za preskúmanie. Nemôže však ukázať rozdelenie výsledkov, stabilitu skóre, reakciu na hraničné prípady, kvalitu referenčných označení ani vplyv zmenených podmienok nasadenia. Vzorka môže začať skúmanie. Nemôže ho ukončiť.
To isté platí pre jediný benchmarkový beh. Výsledok mohol byť zhromaždený správne, na dobre opísanom systéme, s legitímnou metrikou. Ak sa vykonal iba raz, je dôkazom hodnoty pozorovanej raz za týchto podmienok. Nie je automaticky dôkazom stabilnej vlastnosti systému. Opakovanie pomáha odhaliť variabilitu. Neodstraňuje potrebu pýtať sa, či test predstavuje zamýšľané použitie. Reprodukovateľnosť a validita riešia rôzne problémy a obe si zaslúžia miesto v zázname.
Rámec OECD toto oddelenie výslovne uvádza. Spoľahlivosť sa týka toho, či hodnotenie obsahuje dostatok opakovaní, dostatočnú dĺžku epizód alebo dostatok inštancií na to, aby pri opätovnom použití vykazovalo nízku variabilitu. Reprodukovateľnosť sa týka toho, či možno rovnaký test znova vytvoriť, vrátane toho, či stochastické komponenty menia interakcie. Test môže byť presne reprodukovateľný a napriek tomu odpovedať na neužitočnú otázku. Môže byť realistický a ťažko presne reprodukovateľný, pretože prostredie sa zmenilo. Ani jedna podmienka sama osebe nie je chybou. Záznam musí uviesť, ktorá podmienka platí a čo čitateľovi umožňuje vyvodiť.
Existuje tu skromný, ale hodnotný prevádzkový návyk: ponechajte si úspešný beh, ale nezaťažujte ho viac, než unesie. Zachovajte vstup, konfiguráciu, verziu, prípadne seed, závislosti, výstup a rozhodnutie o hodnotení. Potom ho umiestnite vedľa opakovaných meraní, protipríkladov, zdržaní sa a zmenených podmienok. Výsledok, ktorý zostane užitočný aj po stretnutí so svojimi nepohodlnými susedmi, je hodnotnejší ako výsledok, ktorý bolo treba pred nimi chrániť.
Pri generatívnych systémoch je úspešná odpoveď obzvlášť slabým dôkazom opakovateľnosti, pokiaľ nie je zaznamenaná zmluva o interakcii. Nastavenia vzorkovania, výzvy, získaný materiál, dostupnosť nástrojov, verzia modelu, bezpečnostná politika a okolitý pracovný postup môžu všetky ovplyvniť výsledok. Prehratie reťazca slov bez príslušného stavu môže reprodukovať vzhľad testu, ale chýba mu podmienka, ktorá ho robila zmysluplným. V práci s dôkazmi podobnosť nie je prehratie.
Opakovateľnosť nie je synonymom dôvery
Deterministické prehratie môže byť vynikajúcim dôkazom pre jeden úzky výrok: pri rovnakých zaznamenaných vstupoch, konfigurácii a podmienkach implementácie systém vyprodukoval rovnaký výsledok. To uľahčuje vyšetrovania, regresné testy a porovnávanie verzií. Neustanovuje však, že výsledok bol správny, že vstup bol vhodný, že sa systém mal použiť na rozhodnutie alebo že sa výsledok zovšeobecní za zaznamenanú hranicu. Opakovateľnosť je vlastnosťou experimentu. Dôvera je úsudok o širšom usporiadaní.
Stochastické správanie mení záznam, nie ospravedlňuje jeho absenciu. Ak sa výstup mení, hodnotenie musí zaznamenať, ktoré časti sa menia, ako často, v akom rozsahu a ako táto zmena ovplyvňuje rozhodnutie. Systém, ktorý navrhuje alternatívne formulácie, môže tolerovať širší rozsah ako systém, ktorý zoraďuje prípady podľa pozornosti. Systém, ktorý radí človeku, môže vyžadovať iné dôkazy ako systém, ktorý umožňuje nezvratnú akciu. Pravdepodobnosť sama osebe nie je prevádzkovou kategóriou. Dôsledok rozhoduje o tom, koľko neistoty môže proces bezpečne niesť.
Na oboch stranách je ľahká chyba. Jeden tím požaduje pevný výstup od nástroja, ktorého uvedený účel zahŕňa prieskum, a potom si mýli výsledný determinizmus s kvalitou. Druhý tím akceptuje premenlivý výstup od systému na podporu rozhodovania a potom túto premenlivosť nazýva kreativitou, keď sa stane ťažko vyhodnotiteľnou. Ani jedna pozícia nie je seriózna. Otázkou je, či je variácia očakávaná, ohraničená, pozorovateľná a zlučiteľná s právomocou pridelenou systému.
Európska regulácia neredukuje túto otázku na jeden univerzálny skóre. Pre systémy AI s vysokým rizikom článok 15 aktu o AI vyžaduje primeranú úroveň presnosti, robustnosti a kybernetickej bezpečnosti a konzistentný výkon v týchto ohľadoch počas celého životného cyklu. Zároveň uvádza, že úrovne presnosti a príslušné metriky presnosti musia byť uvedené v návode na použitie, a podporuje benchmarky a metódy merania technických aspektov merania výkonu. Ustanovenie nehovorí, že jeden opakovaný test vec uzavrie. Žiada, aby bol výkon špecifikovaný a udržiavaný v kontexte.
To je rozumný postoj pre každé seriózne hodnotenie. Opakovateľný test je súčasťou reťazca dôkazov. Potrebuje vlastníka, hranicu verzie, spúšťač zmeny a prepojenie na prevádzkové rozhodnutie, ktoré podporuje. Bez nich sa reprodukovateľnosť môže stať ďalším príťažlivým slovom, ktoré cestuje ďalej ako experiment.
Neistota potrebuje prevádzkovú cestu
Praktickým účelom neistoty nie je urobiť dashboard sofistikovanejším. Je ňou zmena toho, čo systém smie robiť. Ak skóre nemá žiadny vplyv na smerovanie, kontrolu, vysvetlenie, monitorovanie alebo zastavenie, môže byť technickou kuriozitou, nie prevádzkovým signálom. Ak mení akciu, organizácia musí uviesť cestu od skóre k právomoci.
Prah je jednou takouto cestou, ale nie je magickou hranicou. Nastavenie prahu vyberá kompromis medzi druhmi chýb, pracovným zaťažením, oneskorením a potenciálnou škodou. Prah môže byť vhodný na prioritizáciu frontu kontroly s nízkymi dôsledkami a nevhodný na odopretie prístupu osoby k službe. Rovnaký číselný prah môže znamenať rôzne veci, keď sa zmení základná miera, náklady na chybu, dostupná náprava a kvalita následnej kontroly. Neexistuje univerzálne obozretné číslo čakajúce v príručke dodávateľa.
Z tohto dôvodu by rozhodovacie pravidlo malo opísať viac než len hranicu. Malo by uviesť výsledok, ktorý sa odhaduje, dôkazy, ktoré podporujú skóre, prípady mimo rozsahu, okolnosti, ktoré nútia k zdržaniu sa, ľudskú právomoc, ktorá zostáva, záznam, ktorý sa bude viesť, a podmienky na prehodnotenie pravidla. Prah bez týchto sprievodných prvkov je rozhodnutie maskované ako konfigurácia.
Užitočná hypotéza ilustruje tento bod bez vymýšľania verejného incidentu. Predstavte si službu, ktorá používa skóre modelu na triedenie prichádzajúcich žiadostí pre vyškoleného posudzovateľa. Dôkazy môžu podporiť obmedzené tvrdenie: skóre môže pomôcť zoradiť porovnateľné žiadosti v rámci uvedenej kategórie príjmu, pričom všetka konečná prioritizácia zostáva na posudzovateľovi. Rovnaké dôkazy nepodporujú automatické zamietanie žiadostí s nízkym skóre, pretože ide o inú akciu s inými dôsledkami a inými požiadavkami na dôkazy. Výstup sa nezmenil. Zmenila sa jeho právomoc.
Abstencia si zaslúži rovnakú vážnosť. Systém, ktorý dokáže povedať, že jeho dôkazy sú nedostatočné, môže krátkodobo vytvoriť viac práce a dlhodobo znížiť nezaznamenané chyby. Abstencia je však užitočná len vtedy, keď má kam zodpovedne smerovať. Ak neisté prípady zmiznú vo fronte, o ktorý sa nikto nestará, systém jednoducho premenil neistotu na oneskorenie. Dobrá cesta určuje, kto prípad dostane, čo môže vidieť, ako ho opraví a ako táto oprava ovplyvní neskoršie hodnotenie.
Kauzálne tvrdenia potrebujú viac než graf pred a po
Odhady pravdepodobnosti sa často používajú na podporu tvrdení o tom, čo sa stane, ak organizácia zareaguje. To je iná dôkazná úloha než predpovedanie toho, čo sa stalo v historických údajoch. Model môže odhadnúť, že prípad sa podobá na iné prípady s určitým výsledkom. Tým však nepreukazuje, že zmena prípadu, zmena politiky alebo dodržanie odporúčania spôsobí zmenu výsledku. Predikcia a intervencia by sa nemali spájať len preto, že graf vyzerá upravene.
Grafy pred a po sú obzvlášť lákavé. Tím zavedie nástroj, výsledok sa zmení a nástroj dostane zásluhu alebo vinu. Mnohé iné veci sa mohli zmeniť: populácia vstupujúca do služby, dokumentácia, personál, politika, sezónne podmienky, horné filtre alebo samotné meranie. Pozorovanie môže stáť za pozornosť. Nie je to kauzálny záver, kým sa nevyrieši porovnanie, alternatívne vysvetlenia a zostávajúca neistota.
Toto je dôležité pre riadenie umelej inteligencie, pretože systém môže byť operačne vplyvný dávno predtým, než je formálne rozhodujúci. Poradie môže zmeniť, ktorý záznam človek otvorí ako prvý. Indikátor spoľahlivosti môže posunúť recenzenta k prijatiu výstupu. Odporúčaná akcia sa môže stať rutinou, pretože front je plný. Kauzálna cesta zahŕňa ľudskú interpretáciu, dizajn rozhrania, stimuly, časový tlak a dostupnú cestu opravy. Hodnotenie samotného modelu nemôže povedať celý príbeh.
Keď na kauzálnom tvrdení záleží, plán dôkazov by mal určiť, aké porovnanie by tvrdenie urobilo dôveryhodnejším a čo by stále nedokázalo vylúčiť. To môže zahŕňať kontrolovaný test, fázové nasadenie, nezávislé preskúmanie, starostlivo navrhnutý observačný dizajn alebo rozhodnutie zdržať sa kauzálneho tvrdenia úplne. Nejde o to, aby sa od každej operačnej zmeny vyžadovala akademická dokonalosť. Ide o to, aby sa sebadôvera tvrdenia zladila s dôkazmi, ktoré sú skutočne k dispozícii.
Je v tom istý holandský sedliacky rozum, hoci funguje všade: ak ste namerali len to, že sa zmenil vietor, neoznamujte, že ste prenavrhli počasie. Predikcia môže byť hodnotná bez toho, aby sa stala príbehom o príčinnosti. Táto úprimnosť nie je ústupok. Je to to, čo robí výsledok použiteľným pre niekoho, kto sa musí rozhodnúť, čo urobiť ďalej.
Presnosť môže skrývať zlé rozhodovacie pravidlo
Presnosť je často užitočná a často nedostatočná. Systém môže dosiahnuť vysokú presnosť tam, kde je jeden výsledok bežný, a zároveň ponúkať malú pomoc pri prípadoch, na ktorých najviac záleží. Môže mať silný priemer, ale slabý výkon v blízkosti hranice konania. Môže robiť správne predikcie bez toho, aby ponúkal odhady pravdepodobnosti, ktoré podporujú rozumné prahy. Môže vyzerať úspešne, pretože referenčný štítok sa dá ľahko predpovedať, hoci samotný štítok je slabou náhradou za rozhodnutie, ktoré služba potrebuje urobiť.
Nič z toho neznamená, že presnosť je nezmyselná. Znamená to, že čitateľ by sa mal pýtať, čo presnosť meria a čo necháva mimo záber. Akt o umelej inteligencii túto potrebu kontextu uznáva vo svojich požiadavkách na návod na použitie: dokumentácia vysokorizikových systémov musí obsahovať charakteristiky výkonnosti a obmedzenia, zamýšľaný účel, relevantné metriky presnosti použité na testovanie a validáciu systému, ako aj známe alebo predvídateľné okolnosti, ktoré môžu ovplyvniť očakávanú výkonnosť. Hodnota presnosti sa stáva užitočnejšou, keď sú k nej pripojené podmienky, za ktorých vznikla.
Dobrý operačný prehľad sa preto pýta na vzorce chýb, nielen na celkové čísla. Ktoré typy prípadov boli nesprávne klasifikované? Ktoré boli neisté? Ktoré prípady boli vylúčené alebo poslané na posúdenie? Čo sa stane s falošne pozitívnym výsledkom, falošne negatívnym výsledkom, oneskorenou odpoveďou alebo neoprávneným zdržaním sa odpovede? Kto môže výsledok odhaliť, spochybniť ho a opraviť záznam? Tieto otázky vracajú hodnotenie k službe, namiesto toho, aby ho nechávali na modeli.
Môže byť tiež užitočné rozlíšiť dôkazy o komponente od dôkazov o pracovnom postupe. Test komponentu môže stanoviť vlastnosti modelu pri definovaných vstupoch. Hodnotenie pracovného postupu môže stanoviť, ako model, rozhranie, dáta, ľudia a politika navzájom interagujú. Komponent môže mať silnú kalibráciu skóre, zatiaľ čo pracovný postup vytvára automatizačné skreslenie, pretože rozhranie skrýva neistotu. Pracovný postup môže mať vynikajúci proces posudzovania, ale spolieha sa na komponent, ktorého zdrojové dáta už nezodpovedajú deklarovanému rozsahu. Testy sa musieť niekde stretnúť.
Výsledné dôkazy nemusia byť nevyhnutne veľkolepou správou. Ak je rozhodnutie úzke, môže ísť o stručný, verzovaný záznam. Dôležité je, aby iná osoba mohla preskúmať tvrdenie, populáciu, metódu, výsledok, limit a rozhodnutie. Veľkosť súboru neurčuje kvalitu uvažovania. Krátky záznam môže byť prísny. Rozsiahla prezentácia môže byť z väčšej časti prázdna.
Zmena mení včerajšie dôkazy na otázku
Každý výsledok hodnotenia má dátum, aj keď je dátum skrytý. Modely sa menia. Výzvy sa menia. Zdroje dát sa menia. Nadradený formulár získa nové pole. Dodávateľ zmení politiku. Tím presunie službu do iného prostredia. Nová skupina začne systém používať. Metrika sa vypočíta po zmenenom procese posudzovania. Každá zmena môže zmeniť tvrdenie, ktoré predchádzajúce dôkazy podporovali.
Správnou reakciou nie je spustiť každý test znova po každej úprave. Je ňou definovať, ktoré zmeny sú podstatné pre ktoré tvrdenia. Zmena farby nemusí ovplyvniť kalibráciu pravdepodobnosti. Nový vstupný kanál môže. Revidovaná politika označovania môže zmeniť definíciu výsledku. Nová verzia modelu môže zmeniť výkonnosť aj interpretáciu jeho skóre. Zmena právomoci udelenej systému môže zneplatniť rozhodovacie pravidlo, aj keď model zostane bajtovo identický. Plán testov by mal tieto vzťahy zviditeľniť skôr, ako bude vydanie vhodné.
Článok 9 Aktu o umelej inteligencii opisuje nepretržitý, iteratívny proces riadenia rizík pre vysokorizikové systémy počas celého ich životného cyklu. Proces zahŕňa identifikáciu a analýzu známych a primerane predvídateľných rizík, odhad a vyhodnotenie rizík pri používaní systému na zamýšľaný účel a za primerane predvídateľného nesprávneho používania, ako aj prijatie opatrení na riadenie rizík. Pre hodnotenie je to priame: dôkazy nie sú jednorazovým obradom pri uvedení na trh. Patria do operačného systému posudzovania, zmeny a reakcie.
Monitorovanie neznamená zbierať každý dostupný signál a dúfať, že sa vzor sám predstaví. Znamená to rozhodnúť, ktoré pozorovanie by mohlo znovu otvoriť nárok. Kalibračná kontrola môže byť naplánovaná podľa obdobia, objemu alebo zmeneného vstupného mixu. Prahová hodnota môže byť preskúmaná, keď tlak vo fronte zmení kvalitu ľudského dohľadu. Zmena zdroja môže pozastaviť používanie, kým sa príslušný test nezopakuje. Seriózny plán monitorovania hovorí, čo sa sleduje, kto to sleduje, voči akej referencii a aká akcia nasleduje.
To je náročnejšie ako modelová karta archivovaná v deň obstarania, ale je to aj užitočnejšie. Statický dokument môže zachovať to, čo bolo tvrdené. Živý záznam dôkazov môže ukázať, či nárok má stále svoje miesto. Pre pravdepodobnostný systém je tento rozdiel rozdielom medzi vedomosťou, že skóre existovalo, a vedomosťou, či stále znamená to, čo si služba myslí, že znamená.
Záznamy umožňujú neskoršiemu čitateľovi riadne nesúhlasiť
Dôkazy potrebujú pamäť. Neskorší recenzent nemôže posúdiť nárok zo snímky obrazovky skóre a spomienky na stretnutie. Potrebujú verzovaný objekt: otázku, vstupné podmienky, metódu testu alebo pozorovania, výsledok, vylúčenia, neistotu, rozhodnutie a vlastníka. Môžu tiež potrebovať vedieť, čo nebolo zachytené. Záznam, ktorý robí svoje slepé miesta viditeľnými, je užitočnejší ako dokonale vyzerajúci záznam, ktorý necháva stav systému na dohady.
Pre systémy umelej inteligencie s vysokým rizikom zákon o umelej inteligencii vyžaduje automatické zaznamenávanie udalostí počas životnosti systému, s možnosťami protokolovania primeranými zamýšľanému účelu a užitočnými na identifikáciu rizika, podporu monitorovania po uvedení na trh a monitorovanie prevádzky. Vyžaduje tiež vypracovanie technickej dokumentácie pred uvedením systému na trh a jej priebežnú aktualizáciu. Tieto požiadavky nie sú len pozvaním na uchovávanie väčšieho množstva protokolov. Sú pozvaním na to, aby boli protokoly zrozumiteľné vo vzťahu k systému, účelu a rozhodnutiu.
Sledovateľnosť je obzvlášť dôležitá tam, kde pravdepodobnosť interpretuje človek. Ak recenzent vidí skóre, záznam dôkazov by mal umožniť rekonštruovať, k čomu bolo skóre priradené, ako bolo prezentované, aké údaje alebo zdroje boli v rozsahu, čo recenzent rozhodol a či neskôr došlo k oprave. Bez tohto reťazca sa tím môže dozvedieť, že výsledok bol nesprávny, ale nie to, či problém spočíval vo vstupe, modeli, rozhraní, rozhodovacom pravidle alebo ľudskom procese okolo neho.
V spoločnosti Dweve je AION malým, relevantným príkladom širšieho princípu, nie tvrdením, že dôkazy možno zredukovať na kryptografiu. Jeho verejný opis hovorí, že producent môže vydať typovaný certifikát spolu s výsledkom a že AION nezávisle kontroluje certifikát voči pôvodným premisám. Takýto kontrolovateľný záznam môže posilniť úzku tézu o tom, či výsledok vyplýva zo zaznamenaných premís. Nedokazuje, že premisy boli vhodné, že úloha bola spravodlivá alebo že použitie bolo primerané. Dôkazy potrebujú overenie aj úsudok.
Toto obmedzenie stojí za to si zapamätať, pretože zabraňuje bežnej kategorickej chybe. Dokonale zachovaná stopa môže ukázať, čo sa stalo. Nemôže urobiť zle formulovanú otázku dobrou. Reprodukovateľné rozhodnutie môže byť stále rozhodnutím, ktoré nikdy nemalo byť automatizované. Záznam by mal pomôcť neskoršiemu čitateľovi položiť obe otázky, nie predčasne odpovedať na druhú.
Dôvera môže byť čestná bez toho, aby bola užitočná
Dobre kalibrovaná pravdepodobnosť môže byť stále nepomocná. Môže byť príliš široká na to, aby oddelila prípady, ktoré si vyžadujú rozdielne zaobchádzanie. Môže prísť príliš neskoro na to, aby ovplyvnila rozhodnutie. Môže byť viazaná na výsledok, ktorý nie je akčný. Môže byť taká neistá, že každý prípad si vyžaduje rovnaké preskúmanie. Toto nie sú zlyhania čestnosti. Sú to obmedzenia užitočnosti a mali by byť priznané skoro, nie objavené až po tom, čo sa okolo skóre vybudoval pracovný postup.
Naopak, užitočný systém nemusí predstierať istotu. Skromný signál môže zlepšiť organizáciu práce, ak má úzky účel a jasnú cestu preskúmania. Môže operátorovi pomôcť vidieť, ktoré prípady si zaslúžia ďalšiu kontrolu zdroja. Môže vybrať malú skupinu na zabezpečenie kvality. Môže odhaliť konflikt medzi záznamami. Pri takomto použití sa požiadavka na dôkazy týka toho, či signál zlepšuje konkrétny rozhodovací proces bez zavádzania neprijateľných nových chýb alebo závislostí. Signál sa nemusí stať orákulom, aby si zaslúžil miesto.
Preto musí zamýšľaný účel riadiť hodnotenie. Princípy AI OECD vyžadujú zmysluplné informácie o schopnostiach a obmedzeniach systémov a vysledovateľnosť vo vzťahu k dátovým súborom, procesom a rozhodnutiam, aby bolo možné analyzovať výstupy a odpovedať na otázky. Princípy tiež vyžadujú primeranú ľudskú kontrolu a dohľad. Praktický dôsledok nie je v tom, že každé rozhranie potrebuje zobrazenie pravdepodobnosti. Je v tom, že dôkazy a vysvetlenie systému by mali zodpovedať osobe a rozhodnutiu, ktorých sa týkajú.
Neexistuje žiadna odmena za vystavenie hodnoty neistoty, ktorú používateľ nedokáže interpretovať ani podľa nej konať. Číslo bez rozhodovacej cesty môže vytvoriť divadlo transparentnosti. Dáva ľuďom niečo, na čo môžu ukazovať, a žiadny spôsob, ako to spochybniť. Lepšie je ukázať príslušnú hranicu v jednoduchom jazyku, napríklad tento návrh je mimo overenej kategórie, alebo tento výsledok si vyžaduje preskúmanie, pretože dostupné dôkazy sú neúplné. Vhodná prezentácia nasleduje po operačnej kontrole, nie naopak.
Z rovnakého dôvodu by sa skóre dôvery nemalo považovať za mieru morálnej hodnoty, dôveryhodnosti alebo nároku. Je to technické vyhlásenie s obmedzenou dôkaznou zmluvou. Môže pomôcť procesu. Nemalo by sa stať vágne sociálnym hodnotením len preto, že jeho číselná forma vyzerá rozhodujúco.
Organizácia vlastní odvodenie
Dodávatelia môžu poskytnúť modely, dokumentáciu, skóre a výsledky testov. Nemôžu však mlčky vlastniť význam rozhodnutia prijatého v službe niekoho iného. Organizácia, ktorá spája pravdepodobnostný výstup s konaním, musí rozhodnúť, o ktoré tvrdenie sa opiera, ktorá populácia je relevantná, ktorý prah je prijateľný, kto preskúmava výnimky, ktoré záznamy sa uchovávajú a kedy dôkazy stratili platnosť. Zmluvy môžu prideľovať úlohy. Neodstraňujú však potrebu úsudku.
Toto sa prejavuje pri obstarávaní. Kupujúci by sa nemal potenciálneho dodávateľa pýtať len na hlavnú metriku, ale aj na hodnotiacu otázku, populáciu, označenia, vylúčenia, verzie, variabilitu, metódu kalibrácie, ak sa uvádza tvrdenie o pravdepodobnosti, známe obmedzenia a politiku zmien. Nejde o to požadovať zverejnenie, ktoré dodávateľ nemôže zákonne poskytnúť. Ide o to zistiť, či kupujúci dokáže pochopiť hranice tvrdenia natoľko, aby ho mohol zodpovedne používať v európskom prevádzkovom kontexte.
Odpoveď môže byť niekedy taká, že dôkazy nie sú dostatočné na zamýšľané použitie. To nie je zlyhaný proces obstarávania. Je to proces obstarávania, ktorý plní svoju skutočnú úlohu skôr, než sa organizácia stane závislou od nevysvetleného skóre. Menšie a kontrolovateľné použitie môže byť stále možné. Iný dodávateľ môže byť vhodnejší. Alebo rozhodnutie môže zostať na človeku, pretože dôkazy a spôsob nápravy nie sú dostatočne silné na to, aby ospravedlnili automatizáciu. Povedať nie je súčasťou disciplíny pri práci s dôkazmi.
Dôkazy potrebujú aj menovaného vlastníka po spustení. Niekto musí byť zodpovedný za kontrolu, či sa populácia nezmenila, či preskúmania neodhalili nový vzorec chýb, či prah stále zodpovedá pracovnej záťaži, či sú záznamy interpretovateľné a či zmena spúšťa prehodnotenie. Vlastník nemusí osobne vykonávať každý test. Ak však žiadna rola nevlastní inferenciu, systém postupne získa autoritu prostredníctvom zvyku. Zvyk je chabou náhradou za záznam o rozhodnutiach.
Najťažšia je často kultúrna stránka. Tímy sú zvyknuté prezentovať úspešné modely ako produkty a neúspešné modely ako výskum. Pravdepodobnostné dôkazy od nich žiadajú, aby zachovali nejednoznačnosť medzi tým: užitočné, ohraničené, monitorované a zatiaľ nepovolené na to, aby sa stali viac, než dôkazy podporujú. To môže znieť menej vzrušujúco. Je to trvácnejšie.
Čo obsahuje primeraný záznam o dôkazoch
Vhodný záznam závisí od použitia. Pomôcka na písanie používaná autorom má iné dôsledky ako systém, ktorý ovplyvňuje prístup k verejnej službe. Napriek tomu má primeraný záznam rozpoznateľnú podobu. Identifikuje tvrdenie a zamýšľaný účel. Identifikuje model, konfiguráciu a okolitý pracovný postup. Definuje výsledok a populáciu použitú na vyhodnotenie tvrdenia. Zachováva metódu, výsledok a zmysluplné obmedzenia. Identifikuje rozhodovacie pravidlo, vlastníka, spôsob preskúmania a spúšťače zmien. Každé pole dáva neskoršiemu čitateľovi miesto, kde začať.
Záznam by mal rozlišovať medzi meraním a interpretáciou. Merané pozorovanie môže uviesť, že na určitom súbore údajov a v určitom období stanovený súbor skóre zodpovedal pozorovaným výsledkom v rámci opísaného rozsahu. Interpretácia môže uviesť, že to podporuje použitie ako signál na zoraďovanie preskúmaní za stanovených kontrol. Rozhodnutie môže uviesť, že systém sa môže používať na tento účel, kým nenastane stanovený spúšťač zmeny. Umiestniť všetky tri vety pod nadpis výkon je efektívne len vtedy, ak nikto nikdy nemusí spochybniť zdôvodnenie.
Malo by tiež sprístupniť neznáme hodnoty. Možno sú označenia oneskorené. Možno malá jazyková skupina nemá dostatok prípadov na stabilné posúdenie kalibrácie. Možno je nasadenie nové a zatiaľ neexistujú žiadne prevádzkové dôkazy. Záznam to môže uviesť, dočasne obmedziť použitie, zabezpečiť ďalšie pozorovanie alebo ponechať ľudskú cestu. Predstierať, že neznáme bolo vyriešené, pretože model vytvoril číslo, len premieňa neistotu na nedokumentovaný záväzok.
Vizuálna disciplína je tu užitočná. Nakreslite reťazec od vstupu k skóre, od skóre k zobrazenému vysvetleniu, od vysvetlenia k ľudskej akcii a od akcie k pozorovanému výsledku a náprave. Nakreslite, kde sa stav zachytáva, kde sa stráca a kde môže človek cestu zastaviť alebo zvrátiť. Ak tím nedokáže cestu nakresliť, pravdepodobne ju nedokáže ani vyhodnotiť. Diagramy nenahrádzajú dôkazy. Zabraňujú tomu, aby sa dôkazy priradili nesprávnej časti systému.
Predovšetkým zapíšte, čo záznam nepreukazuje. Nemusí preukazovať príčinnú súvislosť. Nemusí preukazovať spravodlivosť voči každej skupine. Nemusí preukazovať správanie po zmene dodávateľa. Nemusí preukazovať vhodnosť na závažnejšiu akciu. Tieto ne-tvrdenia nie sú ospravedlnením. Sú tým, čo bráni tomu, aby sa ohraničené hodnotenie používalo ako univerzálne povolenie.
Dôkazy si zaslúžia právo zostať neisté
Existuje pokušenie myslieť si, že cieľom hodnotenia je odstrániť neistotu. Často je lepším cieľom ju lokalizovať. Pravdepodobnostný systém nie je chybný, pretože nedokáže premeniť každý prípad na istotu. Stáva sa nebezpečným, keď organizácia považuje neistotu za súkromný technický detail, pričom výstupu udeľuje verejnú autoritu. Prácou je rozhodnúť, ktorá neistota je pre daný účel tolerovateľná, viditeľná a napraviteľná.
Toto rozhodnutie by sa malo sprísňovať so zvyšujúcimi sa dôsledkami. Návrh s nízkymi dôsledkami môže potrebovať jasný rozsah, viditeľné obmedzenie a jednoduchú nápravu. Systém, ktorý ovplyvňuje práva, bezpečnosť, prístup alebo materiálne príležitosti, potrebuje silnejšie dôkazy o celom procese, starostlivejšie monitorovanie, zmysluplnú ľudskú autoritu a cestu k napadnutiu a náprave. Skóre modelu samo o sebe neurčuje túto normu. Určuje ju účinok konania na základe neho.
Jediný úspešný beh môže stále stáť za uchovanie. Môže byť prvým exemplárom v užitočnom zázname. Môže odhaliť schopnosť, spôsob zlyhania alebo otázku, ktorá si zaslúži riadne hodnotenie. Ale mal by zostať exemplárom, kým organizácia netestuje tvrdenie, na ktoré sa chce spoľahnúť. Vzdialenosť medzi týmito dvoma vecami je miestom, kde žije zodpovedné inžinierstvo.
Takže odpoveď na to, čo sa považuje za dôkaz, keď je stroj pravdepodobnostný, nie je skóre, graf ani štítok o zhode. Je to ohraničený argument: tento výstup, pre túto otázku, v tejto populácii a období, za týchto podmienok, bol pozorovaný týmto spôsobom; toto môžeme odvodiť; toto nemôžeme odvodiť; a toto je akcia, ktorú sme pripravení, alebo nie sme pripravení, nechať ju zmeniť. Tento argument nie je okázalý. Je preskúmateľný, čo je lepšie.