Što se smatra dokazom kad je stroj probabilistički?
Vjerojatnost nije presuda
Kada stroj vrati 0.87, prvo pitanje obično je premalo. Ljudi pitaju je li 0.87 visok. Visok u usporedbi s čime, za koji ishod, nad kojim slučajevima i za koju odluku? Broj ispisan uz rezultat izgleda kao svojstvo tog rezultata. Često nije. To je pokušaj opisivanja odnosa između modela, definirane populacije slučajeva i ishoda promatranog tijekom vremena. Taj odnos može biti koristan. Može usmjeravati red za pregled, postaviti prag ili reći operateru kada rezultat zaslužuje drugi pogled. Ali ne pretvara pojedinačno predviđanje u činjenicu s decimalom.
To je nezgodna točka u središtu probabilističkih sustava. Njihovi su rezultati često informativniji od gole oznake jer mogu izraziti stupanj potpore ili nesigurnosti. Također ih je lakše prečesto čitati. Ocjena se može tretirati kao iskaz svjedoka, pravni zaključak, dijagnoza ili dopuštenje. Ništa od toga nije prema zadanim postavkama. Dokazi počinju kada organizacija može reći što broj predstavlja, kako je provjeren, gdje se ta provjera primjenjuje i koju radnju broj smije promijeniti.
Ta razlika je važna mnogo prije nego sustav dođe pred regulatora. Tim možda odlučuje treba li predloženi dokument ljudsku provjeru. Kupac možda uspoređuje dva dobavljača koji obojica reklamiraju mjere pouzdanosti. Operater možda postavlja pravilo eskalacije. Javno tijelo možda se pita je li rangirana lista dovoljno dobra da utječe na to kamo pažnja ide prva. U svakom slučaju, uspješno pokretanje dokaz je jedne stvari: da je jedno pokretanje proizvelo rezultat. To još nije dokaz da sustav zaslužuje ovlast koja mu se pripisuje.
Razuman odgovor nije zabraniti vjerojatnosti u poslovima s velikim posljedicama. To je dati im pravilan opis posla. Vjerojatnost može poduprijeti odluku kada je vezana uz definirani događaj, relevantnu populaciju, metodu promatranja, granicu nesigurnosti i pravilo o tome što se događa kada su dokazi slabi. To je sporije od divljenja jednom broju i mnogo brže od otkrivanja kasnije da nitko ne može objasniti što je broj trebao činiti.
Dokazi moraju imenovati svoje pitanje
Dokazi nikada nisu jednostavno prisutni. Oni su dokazi za tvrdnju. Rezultat testa može poduprijeti tvrdnju da komponenta proizvodi određeni izlaz za određeni ulaz pod određenom konfiguracijom. Može poduprijeti tvrdnju da model dobro rangira primjere na izdvojenom skupu podataka. Može poduprijeti tvrdnju da procjena vjerojatnosti odgovara razumno blisko promatranim učestalostima u definiranom skupu za evaluaciju. Te su tvrdnje različite. Disciplina počinje zapisivanjem tvrdnje prije odabira metrike.
Razmotrimo naizgled jednostavnu tvrdnju da je sustav točan. Točan u čemu? Točnost klasifikacije može opisivati koliko često se najviše ocijenjena klasa podudarala s oznakom. Ne govori je li navedena vjerojatnost bila dobro kalibrirana. Metrika rangiranja može opisivati poredak, ne i kvalitetu ljestvice rezultata. Niska prosječna pogreška može koegzistirati sa štetnim obrascem pogrešaka u podskupini ili na pragu koji pokreće radnju. Metrika nije pogrešna. Skok s metrike na operativni zaključak mjesto je gdje problemi obično počinju.
Rad OECD-a o instrumentima za evaluaciju koristan je upravo zato što odustaje od fantazije da jedan rezultat može nositi cijelo objašnjenje. Njegov okvir razlikuje aspekte uključujući pokrivenost, svrhu, realističnost, pouzdanost, ponovljivost, objektivnost i pristranost. To nisu birokratski ukrasi oko mjerila. Oni opisuju ima li rezultat ispravan odnos prema pitanju koje se postavlja. Istraživačka usporedba, ocjena sukladnosti i operativna odluka o objavi mogu svi koristiti testove. Oni ne traže isto od tih testova.
Počnite, dakle, s rečenicom s kojom se može ne složiti. Na primjer: ovaj sustav može proslijediti slučajeve na ljudski pregled kada njegova dokumentirana procjena vjerojatnosti za definirani ishod premaši određeni prag, pod uvjetom da ulaz odgovara validiranom opsegu i da recenzent zadržava ovlast odbiti prijedlog. To je osporiva operativna tvrdnja. Imenuje radnju, uvjet i granicu. Ne pretvara se da je rezultat samostalno izabrao svoju ulogu u svijetu.
Suprotna rečenica poznata je jer je zgodna: model je 87 posto uvjeren. Čak i kada model doista emitira vjerojatnost, rečenica izostavlja događaj, dokaze o kalibraciji, populaciju, razdoblje i odluku. Pretvara odnos u crtu ličnosti. Strojeve ne treba opisivati kao stidljive ili uvjerene. Treba ih opisivati kao sustave čiji izlazi imaju definirana značenja i definirane granice.
Uvjerenost nije isto što i točnost
Sustav može biti uvjeren i pogrešan. Također može biti točan dok izražava nisku uvjerenost. Te dvije činjenice nisu iznenađujuće kada se pojmovi drže odvojenima. Točnost pita je li ishod odgovarao odabranoj referenci za jedan slučaj. Uvjerenost je izjava pridodana izlazu, često izvedena iz rezultata modela ili transformacije istog. Kalibracija postavlja daljnje pitanje kroz mnoge slučajeve: kada sustav dodjeljuje slične vjerojatnosti, javljaju li se ishodi otprilike po navedenoj stopi? To su povezana pitanja, ali jedan dobar odgovor ne pruža ostale.
Zamislite skup slučajeva za koje klasifikator izvještava vjerojatnost od 0,80 za jedan definirani događaj. Ako se, kroz adekvatno opisan i dovoljno velik skup usporedivih slučajeva, događaj javlja otprilike osam puta od deset, procjena se može nazvati dobro kalibriranom za tu populaciju i uvjet. To ne znači da sljedeći slučaj s 0,80 ima osamdesetpostotnu sudbinu. To znači da je rezultat pokazao odnos prema promatranim ishodima kroz navedeni skup. Fraza kroz navedeni skup nosi najveći dio intelektualnog posla.
Kalibracija također nije univerzalna značka. Rezultat može biti dobro kalibriran na povijesnom skupu podataka, a loše kalibriran nakon što se promijeni izvor ulaznih podataka, populacija korisnika, tijek rada, proces označavanja ili uvjeti primjene. Može biti dobro kalibriran u cjelini, a ponašati se drugačije unutar dijela populacije koji je važan za uslugu. Može izgledati dobro u širokoj kategoriji, a prikrivati strmu razliku blizu praga odlučivanja. Dijagram kalibracije nije diploma uokvirena iznad produkcijskog sustava. To je datirano opažanje s opsegom.
Literatura o kalibraciji modela čini tu razliku konkretnom. Guo i suradnici proučavali su kalibraciju pouzdanosti u modernim neuronskim mrežama i pokazali da sama točnost ne određuje predstavljaju li procjene pouzdanosti stvarne vjerojatnosti točnosti. Njihov rad također vrednuje metode naknadne kalibracije. Važna operativna pouka uža je od recepta: ne treba pretpostaviti da rezultat modela ima odgovarajuće značenje vjerojatnosti samo zato što je isporučen u prikladnom rasponu između nule i jedan.
Pažljiva organizacija stoga bilježi tri različite stvari. Bilježi izvedbu zadatka kako bi mogla postaviti pitanje zadovoljavaju li rezultati definirani zadatak. Bilježi kalibraciju ili drugo eksplicitno svojstvo nesigurnosti kako bi mogla postaviti pitanje što rezultat znači u praksi. I bilježi posljedicu djelovanja na zadanom pragu kako bi mogla postaviti pitanje je li pravilo odlučivanja primjereno. Spajanje te tri stvari u jedan zeleni pokazatelj može pojednostaviti nadzornu ploču. Ne pojednostavljuje svijet.
Kalibracija ima nazivnik
Svaka tvrdnja o kalibraciji ima nazivnik. Nazivnik nije samo broj zapisa u datoteci. To je skup slučajeva koji su bili prihvatljivi za brojanje, način na koji su grupirani, definicija ishoda, vremensko razdoblje, isključenja i proces koji je proizveo referentne oznake. Uklonite te uvjete i dijagram pouzdanosti postaje ugodna krivulja bez nadležnosti nad odlukom.
Pretpostavimo da evaluacija grupira predviđanja prema navedenoj pouzdanosti. Promatrana stopa u svakoj skupini ovisi o slučajevima uključenima u skupinu i o definiciji ishoda. Jesu li dvosmisleni slučajevi bili isključeni? Jesu li suzdržanosti tretirane kao pogreške, sigurna odbijanja ili nešto treće? Je li oznaka predstavljala neposredan događaj, kasniji pregled ili konačnu žalbu? Jesu li duplikati zadržani? Je li evaluacija uključila samo zapise koji su prošli korak prethodne validacije? Svaki odgovor može biti razuman. Svaki odgovor mijenja značenje rezultirajuće izjave o kalibraciji.
Zato model može imati respektabilan globalni rezultat kalibracije, a i dalje biti neprikladan za specifičnu upotrebu. Globalni rezultat može objediniti jezike, duljine ulaznih podataka, regije, vrste uređaja, putovanja korisnika ili načine rada koji ne dijele istu strukturu pogrešaka. Objedinjena brojka može biti iskren sažetak i još uvijek nedovoljan dokaz za lokalnu odluku. Ispravan odgovor nije zahtijevati zaseban model za svaku osobu. To je testirati pretpostavke o grupiranju koje sama odluka čini važnima.
OECD-ov okvir evaluacije to naziva pokrivenošću. Okvir postavlja pitanje pokriva li instrument evaluacije pristranu ili reprezentativnu distribuciju onoga što bi trebao mjeriti te razlikuje izvedbu zadatka od šire tvrdnje o sposobnosti. Te su razlike korisne za dokaze o vjerojatnosti. Rezultat može biti dokaz o izvedbi na distribuciji zadatka. Ne bi trebao tiho postati dokaz o sposobnosti, pogođenoj populaciji ili budućem kontekstu koje evaluacija nije pokrila.
Nazivnik ima i društvenu stranu. Kada organizacija odlučuje koji su slučajevi dovoljno jednostavni za automatizaciju, a koji moraju čekati na čovjeka, definicije određuju tko nosi preostalu neizvjesnost. Zbirni rezultat može prikriti činjenicu da manja skupina ima manje primjera, manje stabilne oznake ili drugačiji operativni kontekst. To nije razlog da se obećaju jednake statistike tamo gdje su dokazi oskudni. To je razlog da se oskudni dokazi jasno prijave i da se oko njih donese oprezno pravilo odlučivanja.
Uspješan pokus je uzorak, a ne zaključak
Probabilistički sustavi potiču poseban oblik pretjeranog samopouzdanja jer ih je tako lako demonstrirati. Unesite ulaz, dobijete dojmljiv izlaz, ponovite s bliskim ulazom, dobijete drugi. Demonstracija može pokazati da sustav može obaviti zadatak. Može čak pokazati nešto vrijedno istraživanja. Ne može pokazati raspodjelu rezultata, stabilnost rezultata, odgovor na rubne slučajeve, kvalitetu referentnih oznaka ili učinak promijenjenih uvjeta implementacije. Uzorak može započeti istraživanje. Ne može ga dovršiti.
Isto vrijedi i za pojedinačno pokretanje benchmarka. Rezultat je možda ispravno prikupljen, na dobro opisanom sustavu, s legitimnom metrikom. Ako je pokrenut samo jednom, to je dokaz vrijednosti opažene jednom pod tim uvjetima. To nije automatski dokaz stabilnog svojstva sustava. Ponavljanje pomaže otkriti varijacije. Ne uklanja potrebu da se zapitamo predstavlja li test namjeravanu upotrebu. Ponovljivost i valjanost rješavaju različite probleme i obje zaslužuju mjesto u evidenciji.
Okvir OECD-a čini to razdvajanje eksplicitnim. Pouzdanost se odnosi na to pruža li evaluacija dovoljno ponavljanja, duljinu epizoda ili instanci da bi dala nisku varijaciju pri ponovnoj primjeni. Ponovljivost se odnosi na to može li se isti test ponovno generirati, uključujući mijenjaju li stohastičke komponente interakcije. Test može biti točno ponovljiv, a ipak odgovarati na beskorisno pitanje. Može biti realističan i teško ga je točno ponoviti jer se okruženje promijenilo. Nijedan od tih uvjeta sam po sebi nije nedostatak. Evidencija mora navesti koji uvjet vrijedi i što čitatelju omogućuje zaključiti.
Ovdje postoji skromna, ali vrijedna operativna navika: zadržite uspješan pokus, ali ne dopustite mu da nosi više nego što može. Sačuvajte ulaz, konfiguraciju, verziju, sjeme gdje je primjenjivo, ovisnosti, izlaz i odluku o evaluaciji. Zatim ih postavite uz ponovljena mjerenja, protuprimjere, suzdržavanja i promijenjene uvjete. Rezultat koji ostaje koristan nakon što se susreo sa svojim nezgodnim susjedima vrijedniji je od rezultata koji je od njih morao biti zaštićen.
Za generativne sustave uspješan odgovor posebno je slab dokaz ponovljivosti osim ako se ne zabilježi ugovor o interakciji. Postavke uzorkovanja, upiti, dohvaćeni materijal, dostupnost alata, verzija modela, sigurnosna politika i okolni tijek rada mogu svi oblikovati rezultat. Ponavljanje niza riječi bez relevantnog stanja može reproducirati izgled testa, a pritom izostaviti uvjet koji ga je činio smislenim. U radu s dokazima sličnost nije ponavljanje.
Ponovljivost nije sinonim za povjerenje
Determinističko ponavljanje može biti izvrstan dokaz za jednu usku tvrdnju: uz iste zabilježene ulaze, konfiguraciju i uvjete implementacije, sustav je proizveo isti rezultat. To čini istrage, regresijska testiranja i usporedbe verzija lakšima. Ne utvrđuje da je rezultat bio točan, da je ulaz bio prikladan, da je sustav trebao biti korišten za odluku ili da će se rezultat generalizirati izvan svoje zabilježene granice. Ponovljivost je svojstvo eksperimenta. Povjerenje je prosudba o širem uređenju.
Stohastičko ponašanje mijenja zapis, a ne opravdava njegov izostanak. Ako se izlaz mijenja, evaluacija mora zabilježiti koji se dijelovi mijenjaju, koliko često, unutar kojeg raspona i kako ta varijacija utječe na odluku. Sustav koji predlaže alternativne formulacije može tolerirati širi raspon od sustava koji rangira slučajeve prema važnosti. Sustav koji savjetuje čovjeka može zahtijevati drugačije dokaze od onoga koji omogućuje nepovratnu radnju. Vjerojatnost sama po sebi nije operativna kategorija. Posljedica određuje koliko nesigurnosti proces smije nositi.
Postoji laka pogreška na obje strane. Jedan tim zahtijeva fiksni izlaz od alata čija navedena svrha uključuje istraživanje, pa zatim zamijeni rezultirajući determinizam za kvalitetu. Drugi tim prihvaća varijabilni izlaz od sustava za podršku odlučivanju, pa varijabilnost nazove kreativnošću kada je postane teško evaluirati. Nijedna pozicija nije ozbiljna. Pitanje je je li varijacija očekivana, ograničena, vidljiva i kompatibilna s ovlastima dodijeljenima sustavu.
Europska regulativa ne svodi ovo pitanje na jednu univerzalnu ocjenu. Za visokorizične AI sustave, članak 15. Akta o umjetnoj inteligenciji zahtijeva odgovarajuću razinu točnosti, robusnosti i kibersigurnosti te dosljednu izvedbu u tim aspektima tijekom cijelog životnog ciklusa. Također navodi da se razine točnosti i relevantne metrike točnosti moraju naznačiti u uputama za uporabu te potiče mjerila i metode mjerenja za tehničke aspekte mjerenja izvedbe. Odredba ne kaže da jedan ponovljeni test rješava stvar. Traži da se izvedba specificira i održava u kontekstu.
To je razuman stav za svaku ozbiljnu evaluaciju. Ponovljiv test dio je lanca dokaza. Treba imati vlasnika, granicu verzije, okidač promjene i vezu s operativnom odlukom koju podržava. Bez toga, ponovljivost može postati još jedna privlačna riječ koja putuje dalje od eksperimenta.
Nesigurnost treba operativni put
Praktična svrha nesigurnosti nije učiniti nadzornu ploču sofisticiranom. Ona je promijeniti što sustav smije raditi. Ako ocjena nema učinka na usmjeravanje, pregled, objašnjenje, praćenje ili zaustavljanje, može biti tehnička zanimljivost, a ne operativni signal. Ako mijenja radnju, organizacija mora navesti put od ocjene do ovlasti.
Prag je jedan takav put, ali nije čarobna linija. Postavljanje praga bira kompromis između vrsta pogrešaka, opterećenja, kašnjenja i potencijalne štete. Prag može biti prikladan za prioritizaciju reda čekanja za pregled niske posljedičnosti, a neprikladan za uskraćivanje pristupa usluzi osobi. Isti brojčani prag može značiti različite stvari kada se promijene osnovna stopa, trošak pogreške, dostupna pravna zaštita i kvaliteta naknadnog pregleda. Ne postoji univerzalni razborit broj koji čeka u priručniku dobavljača.
Iz tog razloga, pravilo odlučivanja treba opisati više od granične vrijednosti. Treba imenovati ishod koji se procjenjuje, dokaze koji podržavaju ocjenu, slučajeve izvan opsega, okolnosti koje prisiljavaju na suzdržavanje, ljudsku ovlast koja ostaje, zapis koji će se voditi i uvjete za reviziju pravila. Prag bez tih pratilaca odluka je prerušena u konfiguraciju.
Korisna hipotetska situacija ilustrira poantu bez izmišljanja javnog incidenta. Razmotrite uslugu koja koristi ocjenu modela za sortiranje dolaznih zahtjeva za obučenog recenzenta. Dokazi bi mogli podržati ograničenu tvrdnju: ocjena može pomoći u redoslijedu usporedivih zahtjeva unutar navedene kategorije zaprimanja, dok sva konačna prioritizacija ostaje na recenzentu. Isti dokazi ne podržavaju automatsko odbijanje zahtjeva s niskom ocjenom, jer je to drugačija radnja s drugačijim posljedicama i drugačijim potrebama za dokazima. Izlaz se nije promijenio. Njegova ovlast jest.
Apstinencija zaslužuje jednaku ozbiljnost. Sustav koji može reći da su mu dokazi nedostatni može kratkoročno stvoriti više posla, ali dugoročno smanjiti neprimijećene pogreške. No apstinencija je korisna samo ako ima odgovorno mjesto na koje može otići. Ako nesigurni slučajevi nestanu u redu bez vlasnika, sustav je jednostavno pretvorio nesigurnost u odgodu. Dobar put navodi tko prima slučaj, što može vidjeti, kako ga ispravlja i kako ta ispravka utječe na kasniju evaluaciju.
Uzročne tvrdnje zahtijevaju više od grafa prije i poslije
Procjene vjerojatnosti često se koriste za potporu tvrdnjama o tome što će se dogoditi ako organizacija nešto poduzme. To je drugačiji dokazni zadatak od predviđanja onoga što se dogodilo u povijesnim podacima. Model može procijeniti da slučaj nalikuje drugim slučajevima s određenim ishodom. Time ne pokazuje da će promjena slučaja, promjena politike ili slijeđenje preporuke uzrokovati promjenu ishoda. Predviđanje i intervencija ne smiju se spajati samo zato što graf izgleda uredno.
Prikazi prije i poslije osobito su primamljivi. Tim uvede alat, ishod se promijeni, a alat dobije zaslugu ili krivnju. Mnoge druge stvari mogle su se promijeniti: populacija koja ulazi u uslugu, dokumentacija, osoblje, politika, sezonski uvjeti, filteri uzvodno ili samo mjerenje. Opažanje može zasluživati pozornost. Ono nije uzročni zaključak dok se ne obrade usporedba, alternativna objašnjenja i preostala nesigurnost.
To je važno za upravljanje umjetnom inteligencijom jer sustav može biti operativno utjecajan mnogo prije nego što je formalno odlučujući. Rangiranje može promijeniti koji zapis osoba prva otvori. Pokazatelj pouzdanosti može potaknuti recenzenta da prihvati rezultat. Preporučena radnja može postati rutina jer je red pun. Uzročni put uključuje ljudsku interpretaciju, dizajn sučelja, poticaje, vremenski pritisak i dostupan put ispravke. Vrednovanje samog modela ne može ispričati cijelu priču.
Kada je uzročna tvrdnja važna, plan dokaza treba navesti koja bi usporedba učinila tvrdnju vjerodostojnijom i što još uvijek ne bi mogla isključiti. To može uključivati kontrolirani test, postupno uvođenje, neovisnu reviziju, pažljivo osmišljen opservacijski dizajn ili odluku da se uopće ne iznosi uzročna tvrdnja. Poanta nije zahtijevati akademsko savršenstvo od svake operativne promjene. Poanta je uskladiti pouzdanost tvrdnje s dokazima koji su stvarno dostupni.
U tome postoji nizozemska vrsta zdravog razuma, iako se dobro prenosi: ako si samo izmjerio da se vjetar promijenio, nemoj objavljivati da si redizajnirao vrijeme. Predviđanje može biti vrijedno i bez pretvaranja u priču o uzročnosti. Iskrenost nije povlačenje. Ona je ono što rezultat čini upotrebljivim za nekoga tko mora odlučiti što učiniti sljedeće.
Točnost može prikriti loše pravilo odlučivanja
Točnost je često korisna i često nedostatna. Sustav može postići visoku točnost tamo gdje je jedan ishod čest, a pritom pružati malo pomoći na slučajevima koji su najvažniji. Može imati jak prosjek, a loše raditi blizu granice djelovanja. Može davati točna predviđanja bez procjena vjerojatnosti koje podržavaju razumne pragove. Može izgledati uspješno jer je referentnu oznaku lako predvidjeti, iako je sama oznaka slaba zamjena za odluku koju usluga treba donijeti.
Ništa od ovoga ne znači da je točnost besmislena. Znači da bi čitatelj trebao pitati što ona mjeri, a što ostaje izvan okvira. AI Act prepoznaje tu potrebu za kontekstom u svojim zahtjevima za upute za uporabu: dokumentacija za sustave visokog rizika mora uključivati karakteristike i ograničenja izvedbe, namjenu, relevantne metrike točnosti korištene za testiranje i validaciju sustava te poznate ili predvidive okolnosti koje mogu utjecati na očekivanu izvedbu. Brojka točnosti postaje korisnija kada su uvjeti u kojima je dobivena i dalje priloženi uz nju.
Dobra operativna provjera stoga ispituje obrasce pogrešaka, a ne samo ukupne rezultate. Koje su vrste slučajeva pogrešno klasificirane? Koji su bili nesigurni? Koji su slučajevi isključeni ili poslani na provjeru? Što se događa s lažno pozitivnim rezultatom, lažno negativnim rezultatom, odgođenim odgovorom ili neopravdanim suzdržavanjem od odgovora? Tko može uočiti rezultat, osporiti ga i ispraviti zapis? Ta pitanja vraćaju evaluaciju u službu umjesto da je ostavljaju modelu.
Također može biti korisno razlikovati dokaze o komponenti od dokaza o tijeku rada. Test komponente može utvrditi svojstva modela pod definiranim ulazima. Evaluacija tijeka rada može utvrditi kako model, sučelje, podaci, ljudi i politika međusobno djeluju. Komponenta može imati dobru kalibraciju rezultata dok tijek rada proizvodi pristranost automatizacije jer sučelje skriva nesigurnost. Tijek rada može imati izvrstan postupak provjere dok se oslanja na komponentu čiji izvorni podaci više ne odgovaraju navedenom opsegu. Testovi se moraju negdje susresti.
Rezultirajući dokazi nisu nužno veliko izvješće. Mogu biti sažet, verzioniran zapis ako je odluka uska. Bitno je da druga osoba može pregledati tvrdnju, populaciju, metodu, rezultat, ograničenje i odluku. Veličina datoteke ne određuje kvalitetu obrazloženja. Kratak zapis može biti rigorozan. Velika prezentacija može biti uglavnom prazna.
Promjena pretvara jučerašnje dokaze u pitanje
Svaki rezultat evaluacije ima datum, čak i kada je datum skriven. Modeli se mijenjaju. Prompti se mijenjaju. Izvori podataka se mijenjaju. Obrazac na višoj razini dobiva novo polje. Dobavljač mijenja politiku. Tim premješta uslugu u drugo okruženje. Nova skupina počinje koristiti sustav. Metrika se izračunava nakon promijenjenog postupka provjere. Svaka promjena može izmijeniti tvrdnju koju su prethodni dokazi podupirali.
Ispravan odgovor nije ponovno pokretanje svakog testa nakon svake izmjene. Treba definirati koje su promjene materijalne za koje tvrdnje. Promjena boje možda neće utjecati na kalibraciju vjerojatnosti. Novi ulazni kanal može. Revidirana politika označavanja može promijeniti definiciju ishoda. Nova verzija modela može promijeniti i izvedbu i tumačenje njegovih rezultata. Promjena ovlasti dane sustavu može poništiti pravilo odlučivanja čak i ako model ostane bajt za bajtom isti. Plan testiranja trebao bi učiniti te odnose vidljivima prije nego što objavljivanje postane zgodno.
Članak 9. AI Acta opisuje kontinuiran, iterativan proces upravljanja rizicima za sustave visokog rizika tijekom njihova životnog ciklusa. Proces uključuje identificiranje i analizu poznatih i razumno predvidivih rizika, procjenu i vrednovanje rizika kada se sustav koristi prema namjeni i pod razumno predvidivom zlouporabom te poduzimanje mjera za upravljanje rizicima. Implikacija za evaluaciju je izravna: dokazi nisu jednokratna ceremonija pri pokretanju. Oni pripadaju operativnom sustavu provjere, promjene i odgovora.
Praćenje ne znači prikupljanje svakog dostupnog signala i nadu da će se obrazac sam predstaviti. Znači odlučiti koje bi opažanje ponovno otvorilo zahtjev. Provjera kalibracije može biti zakazana prema razdoblju, količini ili promijenjenom sastavu ulaza. Prag se može revidirati kada pritisak u redu čekanja promijeni kvalitetu ljudskog nadzora. Promjena izvora može obustaviti upotrebu dok se relevantni test ne ponovi. Ozbiljan plan praćenja govori što se prati, tko prati, prema kojem referentnom standardu i koja radnja slijedi.
To je zahtjevnije od kartice modela arhivirane na dan nabave, ali je i korisnije. Statički dokument može sačuvati ono što je tvrđeno. Živi zapis dokaza može pokazati ima li tvrdnja još uvijek svoje mjesto. Za probabilistički sustav ta je razlika razlika između znanja da je rezultat postojao i znanja znači li on još uvijek ono što usluga misli da znači.
Zapisi omogućuju kasnijem čitatelju da se pravilno ne složi
Dokazi trebaju pamćenje. Kasniji recenzent ne može procijeniti tvrdnju iz snimke zaslona rezultata i sjećanja na sastanak. Trebaju im inačicu objekta: pitanje, ulazne uvjete, metodu testa ili opažanja, rezultat, isključenja, nesigurnost, odluku i vlasnika. Možda će također trebati znati što nije zabilježeno. Zapis koji čini slijepe točke vidljivima korisniji je od zapisa koji izgleda savršeno, a stanje sustava ostavlja nagađanju.
Za sustave umjetne inteligencije visokog rizika, Akt o umjetnoj inteligenciji zahtijeva automatsko bilježenje događaja tijekom životnog vijeka sustava, s mogućnostima evidentiranja primjerenima namjeni i korisnima za prepoznavanje rizika, podršku praćenju nakon stavljanja na tržište i praćenje rada. Također zahtijeva da se tehnička dokumentacija sastavi prije stavljanja sustava na tržište i da se održava ažurnom. Ti zahtjevi nisu samo poziv na vođenje većeg broja zapisa. Oni su poziv da zapisi budu razumljivi u odnosu na sustav, namjenu i odluku.
Sljedivost je posebno važna kada vjerojatnost tumači osoba. Ako recenzent vidi rezultat, zapis dokaza trebao bi omogućiti rekonstrukciju na što se rezultat odnosio, kako je predstavljen, koji su podaci ili izvori bili u opsegu, što je recenzent odlučio i je li došlo do kasnije ispravke. Bez tog lanca, tim može saznati da je ishod bio pogrešan, ali ne i je li problem bio u ulazu, modelu, sučelju, pravilu odlučivanja ili ljudskom procesu oko njega.
U Dweveu, AION je mali, relevantan primjer šireg načela, a ne tvrdnja da se dokazi mogu svesti na kriptografiju. Njegov javni opis kaže da proizvođač može izdati tipiziranu potvrdu uz rezultat i da AION potvrdu neovisno provjerava u odnosu na izvorne premise. Takva provjerljiva evidencija može ojačati usku tvrdnju o tome slijedi li rezultat iz zabilježenih premisa. Ne dokazuje da su premise bile primjerene, da je zadatak bio opravdan ili da je upotreba bila prikladna. Dokazi zahtijevaju i provjeru i prosudbu.
To ograničenje vrijedi zadržati jer sprječava uobičajenu kategorijsku pogrešku. Savršeno sačuvan trag može pokazati što se dogodilo. Ne može loše postavljeno pitanje učiniti dobrim. Ponovljiva odluka i dalje može biti odluka koja se nikada nije smjela automatizirati. Zapis bi trebao pomoći kasnijem čitatelju da postavi oba pitanja, a ne da prerano odgovori na drugo.
Pouzdanost može biti iskrena, a da ne bude korisna
Dobro kalibrirana vjerojatnost i dalje može biti beskorisna. Može biti preširoka da bi razdvojila slučajeve kojima treba različit tretman. Može stići prekasno da bi utjecala na odluku. Može biti vezana uz ishod koji nije provediv. Može biti toliko nesigurna da svaki slučaj zahtijeva isti pregled. To nisu propusti iskrenosti. To su ograničenja korisnosti i treba ih priznati rano, a ne otkriti nakon što je tijek rada izgrađen oko rezultata.
Obrnuto, koristan sustav ne mora pretvarati se da je siguran. Skroman signal može poboljšati organizaciju rada ako ima usku svrhu i jasan put pregleda. Može pomoći operateru da vidi koji slučajevi zaslužuju dodatnu provjeru izvora. Može odabrati mali skup za osiguranje kvalitete. Može otkriti sukob među zapisima. U tim uporabama zahtjev za dokazima odnosi se na to poboljšava li signal konkretan proces odlučivanja bez uvođenja neprihvatljivih novih pogrešaka ili ovisnosti. Signal ne mora postati proročište da bi zaslužio svoje mjesto.
Zato namjeravana svrha mora upravljati procjenom. Načela umjetne inteligencije OECD-a pozivaju na smislene informacije o mogućnostima i ograničenjima sustava te na sljedivost u odnosu na skupove podataka, procese i odluke kako bi se rezultati mogli analizirati i na upite odgovoriti. Načela također pozivaju na odgovarajuću ljudsku djelatnost i nadzor. Praktična implikacija nije da svako sučelje treba prikaz vjerojatnosti. To je da dokazi i objašnjenja sustava trebaju odgovarati osobi i odluci na koje utječu.
Nema nagrade za izlaganje vrijednosti nesigurnosti koju korisnik ne može protumačiti ili na temelju koje ne može djelovati. Broj bez puta odlučivanja može stvoriti kazalište transparentnosti. Ljudi dobiju nešto na što mogu pokazati, a nemaju načina to osporiti. Bolje je prikazati relevantnu granicu običnim jezikom, primjerice ovaj je prijedlog izvan potvrđene kategorije ili ovaj rezultat zahtijeva pregled jer su dostupni dokazi nepotpuni. Odgovarajuća prezentacija slijedi operativnu kontrolu, a ne obrnuto.
Iz istog razloga rezultat pouzdanosti ne treba tretirati kao mjeru moralne vrijednosti, vjerodostojnosti ili prava. To je tehnička izjava s ograničenim dokaznim ugovorom. Može pomoći procesu. Ne bi trebao postati nejasna društvena rang-lista samo zato što njegov brojčani oblik izgleda odlučno.
Organizacija je vlasnik zaključka
Dobavljači mogu pružiti modele, dokumentaciju, rezultate i rezultate testiranja. Oni ne mogu tiho prisvojiti značenje odluke donesene u tuđoj usluzi. Organizacija koja povezuje probabilistički rezultat s radnjom mora odlučiti na koju se tvrdnju oslanja, koja populacija je relevantna, koji prag je prihvatljiv, tko pregledava iznimke, koji se zapisi čuvaju i kada je dokaz istekao. Ugovori mogu raspodijeliti zadatke. Oni ne uklanjaju potrebu za prosudbom.
To postaje vidljivo u nabavi. Kupac bi trebao od potencijalnog dobavljača tražiti ne samo glavnu metriku, već i pitanje evaluacije, populaciju, oznake, isključenja, verzije, varijaciju, metodu kalibracije ako se tvrdi vjerojatnost, poznata ograničenja i politiku promjena. Poanta nije zahtijevati otkrivanje podataka koje dobavljač zakonski ne može pružiti. Poanta je utvrditi može li kupac dovoljno dobro razumjeti granice tvrdnje da bi je odgovorno koristio u europskom operativnom kontekstu.
Odgovor ponekad može biti da dokazi nisu primjereni za namjeravanu upotrebu. To nije neuspješan postupak nabave. To je postupak nabave koji obavlja svoj stvarni posao prije nego što se organizacija učini ovisnom o neobjašnjenom rezultatu. Manja upotreba koja se može provjeriti i dalje može biti moguća. Drugi dobavljač može biti prikladan. Ili odluka može ostati ljudska jer dokazi i put ispravljanja nisu dovoljno snažni da opravdaju automatizaciju. Reći ne dio je discipline dokaza.
Dokazi također trebaju imenovanog vlasnika nakon pokretanja. Netko mora biti odgovoran za provjeru je li se populacija promijenila, otkrivaju li pregledi novi obrazac pogrešaka, odgovara li prag opterećenju, mogu li se zapisi protumačiti i pokreće li promjena ponovnu procjenu. Vlasnik ne mora osobno izvršiti svaki test. Ali ako nijedna uloga ne posjeduje zaključak, sustav će postupno steći autoritet kroz naviku. Navika je loša zamjena za zapis o odluci.
Najteži dio često je kulturološki. Timovi su navikli predstavljati uspješne modele kao proizvode, a neuspješne modele kao istraživanje. Probabilistički dokazi od njih traže da sačuvaju dvosmislenost između: korisno, ograničeno, nadzirano i još neovlašteno da postane više nego što dokazi podržavaju. To možda zvuči manje uzbudljivo. Trajnije je.
Što sadrži proporcionalan zapis o dokazima
Odgovarajući zapis ovisi o upotrebi. Pomoćno sredstvo za pisanje koje koristi autor ima drugačije posljedice od sustava koji utječe na pristup javnoj usluzi. Ipak, proporcionalan zapis ima prepoznatljiv oblik. Identificira tvrdnju i namjeravanu svrhu. Identificira model, konfiguraciju i okolni tijek rada. Definirа ishod i populaciju korištene za evaluaciju tvrdnje. Čuva metodu, rezultat i značajna ograničenja. Identificira pravilo odlučivanja, vlasnika, put pregleda i okidače promjena. Svako polje daje kasnijem čitatelju mjesto za početak.
Zapis bi trebao razlikovati mjerenje od tumačenja. Izmjereno opažanje moglo bi reći da su, na određenom skupu podataka i razdoblju, navedeni rezultati odgovarali opaženim ishodima unutar opisanog raspona. Tumačenje bi moglo reći da to podržava upotrebu kao signal za redoslijed pregleda pod navedenim kontrolama. Odluka bi mogla reći da se sustav može koristiti u tu svrhu dok se ne dogodi navedeni okidač promjene. Stavljanje sve tri rečenice pod naslov koji se zove performanse učinkovito je samo ako nitko nikada ne mora dovesti u pitanje obrazloženje.
Trebalo bi također omogućiti upotrebu nepoznanica. Možda oznake kasne. Možda mala jezična skupina nema dovoljno slučajeva za stabilnu procjenu kalibracije. Možda je implementacija nova i još nema operativnih dokaza. Zapis to može reći, postaviti privremeno ograničenje upotrebe, dogovoriti dodatno promatranje ili zadržati ljudski put. Pretvaranje da je nepoznanica riješena jer je model proizveo broj samo pretvara nesigurnost u nedokumentiranu odgovornost.
Vizualna disciplina ovdje je korisna. Nacrtajte lanac od ulaza do rezultata, od rezultata do prikazanog objašnjenja, od objašnjenja do ljudske radnje te od radnje do promatranog ishoda i ispravka. Nacrtajte gdje se stanje bilježi, gdje se gubi i gdje osoba može zaustaviti ili preokrenuti put. Ako tim ne može nacrtati put, vjerojatno ga neće moći ni vrednovati. Dijagrami ne zamjenjuju dokaze. Oni sprječavaju da se dokazi pripišu pogrešnom dijelu sustava.
Iznad svega, zapišite što zapis ne utvrđuje. Možda ne utvrđuje uzročnost. Možda ne utvrđuje pravednost u svakoj skupini. Možda ne utvrđuje ponašanje nakon promjene dobavljača. Možda ne utvrđuje prikladnost za značajniju radnju. Te ne-tvrdnje nisu isprika. One su ono što sprječava da se ograničeno vrednovanje koristi kao univerzalno odobrenje.
Dokazi zaslužuju pravo na nesigurnost
Postoji iskušenje misliti da je cilj vrednovanja uklanjanje nesigurnosti. Često je bolji cilj locirati je. Probabilistički sustav nije neispravan zato što svaki slučaj ne može pretvoriti u izvjesnost. Postaje opasan kada organizacija tretira nesigurnost kao privatni tehnički detalj, a izlazu daje javni autoritet. Posao je odlučiti koja je nesigurnost prihvatljiva, vidljiva i popravljiva za danu svrhu.
Ta odluka trebala bi postajati stroža kako posljedice rastu. Prijedlog s niskim posljedicama može zahtijevati jasan opseg, vidljivo ograničenje i jednostavan ispravak. Sustav koji utječe na prava, sigurnost, pristup ili materijalne prilike zahtijeva jače dokaze o cijelom procesu, pažljivije praćenje, smisleni ljudski autoritet te put do prigovora i pravne zaštite. Rezultat modela sam ne određuje taj standard. Učinak postupanja po njemu ga određuje.
Jedan uspješan pokret može ipak vrijediti zadržati. Može biti prvi primjerak u korisnom zapisu. Može otkriti sposobnost, način kvara ili pitanje koje zaslužuje pravo vrednovanje. Ali trebao bi ostati primjerak dok organizacija ne testira tvrdnju na koju se želi osloniti. Razmak između te dvije stvari mjesto je gdje živi odgovorno inženjerstvo.
Dakle, odgovor na pitanje što se računa kao dokaz kada je stroj probabilistički nije rezultat, grafikon ili oznaka usklađenosti. To je ograničen argument: ovaj izlaz, za ovo pitanje, u ovoj populaciji i razdoblju, pod ovim uvjetima, promatran je na ovaj način; to je ono što možemo zaključiti; to je ono što ne možemo zaključiti; i to je radnja koju smo spremni ili nismo spremni dopustiti da promijeni. Taj argument nije glamurozan. Može se provjeriti, što je bolje.