Kaj šteje kot dokaz, ko je stroj verjetnosten?
Verjetnost ni sodba
Ko stroj vrne 0,87, je prvo vprašanje običajno premajhno. Ljudje se sprašujejo, ali je 0,87 visoka. Visoka glede na kaj, za kateri izid, nad katerimi primeri in za kakšno odločitev? Število, natisnjeno poleg izhoda, je videti kot lastnost tega izhoda. Pogosto ni. Je poskus opisa razmerja med modelom, opredeljeno populacijo primerov in izidom, opazovanim skozi čas. To razmerje je lahko uporabno. Lahko usmerja čakalno vrsto za pregled, določi prag ali pove operaterju, kdaj si rezultat zasluži drugi pogled. Vendar posamezne napovedi ne spremeni v dejstvo s pripeto decimalko.
To je nerodna točka v središču verjetnostnih sistemov. Njihovi izhodi so pogosto bolj informativni kot gola oznaka, ker lahko izražajo stopnjo podpore ali negotovosti. Prav tako jih je lažje preceniti. Oceno je mogoče obravnavati kot izjavo priče, pravni sklep, diagnozo ali dovoljenje. Nobena od teh ni privzeto. Dokaz se začne, ko lahko organizacija pove, kaj število predstavlja, kako je bilo preverjeno, kje to preverjanje velja in katero dejanje število sme spremeniti.
To razlikovanje je pomembno že dolgo preden sistem sreča regulatorja. Ekipa se lahko odloča, ali predlagani dokument potrebuje človeški pregled. Kupec lahko primerja dva dobavitelja, ki oba oglašujeta mere zaupanja. Operater lahko nastavlja pravilo za eskalacijo. Javni organ se lahko sprašuje, ali je razvrščeni seznam dovolj dober, da vpliva na to, kam gre pozornost najprej. V vsakem primeru je uspešen zagon dokaz ene stvari: da je en zagon ustvaril izhod. Še ni dokaz, da si sistem zasluži pooblastilo, ki mu je pripisano.
Smiseln odziv ni prepoved verjetnosti pri pomembnem delu. Smiselno je, da jim damo pravi opis delovnega mesta. Verjetnost lahko podpira odločitev, ko je vezana na opredeljen dogodek, ustrezno populacijo, metodo opazovanja, mejo negotovosti in pravilo za to, kaj se zgodi, ko so dokazi šibki. To je počasneje kot občudovanje enega števila in veliko hitreje kot poznejše odkritje, da nihče ne more pojasniti, kaj naj bi število počelo.
Dokaz mora poimenovati svoje vprašanje
Dokazi nikoli niso preprosto prisotni. So dokazi za trditev. Rezultat testa lahko podpira trditev, da komponenta za določen vhod ob določeni konfiguraciji proizvede določen izhod. Lahko podpira trditev, da model dobro razvršča primere na izločenem naboru podatkov. Lahko podpira trditev, da ocena verjetnosti razumno natančno ustreza opazovanim frekvencam v opredeljenem naboru za vrednotenje. Te trditve so različne. Disciplina se začne s pisanjem trditve, preden izberemo metriko.
Poglejmo navidez preprosto trditev, da je sistem točen. Točen pri čem? Točnost klasifikacije lahko opisuje, kako pogosto se je najvišje ocenjeni razred ujemal z oznako. Ne pove pa, ali je bila navedena verjetnost dobro umerjena. Metrika razvrščanja lahko opisuje vrstni red, ne pa kakovosti lestvice ocen. Nizka povprečna napaka lahko sobiva s škodljivim vzorcem napak v podskupini ali pri pragu, ki sproži ukrepanje. Metrika ni napačna. Težave se običajno začnejo pri preskoku od metrike do operativnega zaključka.
Delo OECD na področju instrumentov za vrednotenje je koristno prav zato, ker opusti domišljijo, da lahko ena ocena nosi celotno razlago. Njegov okvir razlikuje vidike, vključno s pokritostjo, namenom, realističnostjo, zanesljivostjo, ponovljivostjo, objektivnostjo in pristranskostjo. To niso birokratski okraski okoli merila uspešnosti. Opisujejo, ali ima rezultat pravo razmerje do zastavljenega vprašanja. Raziskovalna primerjava, ugotavljanje skladnosti in odločitev o operativni objavi lahko vsi uporabljajo teste. Od teh testov pa ne pričakujejo istega.
Začnite torej s stavkom, s katerim se je mogoče ne strinjati. Na primer: ta sistem lahko usmeri primere v človeški pregled, kadar njegova dokumentirana ocena verjetnosti za opredeljeni izid preseže določen prag, pod pogojem, da se vhod ujema z veljavnim obsegom in da ima pregledovalec pooblastilo, da predlog zavrne. To je sporna operativna trditev. Poimenuje dejanje, pogoj in mejo. Ne pretvarja se, da je ocena samostojno izbrala svojo vlogo v svetu.
Nasprotni stavek je znan, ker je priročen: model je 87-odstotno prepričan. Tudi če model resnično izraža verjetnost, stavek izpusti dogodek, dokaze o umerjenosti, populacijo, obdobje in odločitev. Razmerje spremeni v osebnostno lastnost. Strojev ni treba opisovati kot plašnih ali prepričanih. Opisati jih je treba kot sisteme, katerih izhodi imajo opredeljene pomene in opredeljene meje.
Prepričanost ni isto kot pravilnost
Sistem je lahko prepričan in hkrati napačen. Prav tako je lahko pravilen, medtem ko izraža nizko prepričanost. Ti dve dejstvi nista presenetljivi, če pojma držimo ločeno. Pravilnost sprašuje, ali se je izid ujemal z izbranim referenčnim merilom za posamezen primer. Prepričanost je izjava, pritrjena k izhodu, pogosto izpeljana iz ocene modela ali njene transformacije. Umerjenost postavlja nadaljnje vprašanje v mnogih primerih: ko sistem pripiše podobne verjetnosti, ali se izidi pojavljajo približno po navedeni stopnji? To so povezana vprašanja, vendar en dober odgovor ne zagotovi ostalih.
Predstavljajmo si nabor primerov, za katere klasifikator poroča verjetnost 0,80 za en opredeljeni dogodek. Če se v ustrezno opisanem in dovolj velikem naboru primerljivih primerov dogodek zgodi približno osemkrat od desetih, lahko oceno imenujemo dobro umerjena za to populacijo in pogoj. To ne pomeni, da ima naslednji primer z oceno 0,80 osemdesetodstotno usodo. Pomeni, da je ocena pokazala razmerje do opazovanih izidov v navedenem naboru. Besedna zveza v navedenem naboru opravi večino intelektualnega dela.
Kalibracija tudi ni univerzalna značka. Rezultat je lahko dobro kalibriran na zgodovinskem naboru podatkov in slabo kalibriran, ko se spremenijo vir vnosa, populacija uporabnikov, delovni tok, postopek označevanja ali pogoji uvajanja. Lahko je dobro kalibriran na splošno, a se obnaša drugače znotraj dela populacije, ki je za storitev pomemben. Lahko je videti dober v širokem razredu, hkrati pa prikriva strmo razliko v bližini praga odločanja. Kalibracijski grafikon ni diploma, obešena nad produkcijskim sistemom. Je datirano opazovanje z določenim obsegom.
Literatura o kalibraciji modelov to ločitev konkretizira. Guo in sodelavci so preučevali kalibracijo zaupanja v sodobnih nevronskih mrežah in pokazali, da sama točnost ne določa, ali ocene zaupanja predstavljajo opazovane verjetnosti pravilnosti. Njihovo delo ovrednoti tudi metode naknadne kalibracije. Pomembna operativna lekcija je ožja od recepta: rezultatu modela ne bi smeli pripisati ustreznega verjetnostnega pomena zgolj zato, ker je podan v priročnem obsegu med nič in ena.
Skrbna organizacija zato beleži tri različne stvari. Beleži uspešnost naloge, da lahko vpraša, ali rezultati izpolnjujejo opredeljeno nalogo. Beleži kalibracijo ali drugo izrecno lastnost negotovosti, da lahko vpraša, kaj rezultat pomeni v praksi. In beleži posledico delovanja pri določenem pragu, da lahko vpraša, ali je pravilo odločanja ustrezno. Združevanje vseh treh v en sam zeleni indikator lahko poenostavi nadzorno ploščo. Ne poenostavi pa sveta.
Kalibracija ima imenovalec
Vsaka trditev o kalibraciji ima imenovalec. Imenovalec ni zgolj število zapisov v datoteki. Je zbirka primerov, ki so bili upravičeni do štetja, način njihovega združevanja, opredelitev izida, časovno obdobje, izključitve in postopek, ki je ustvaril referenčne oznake. Če te pogoje odstranimo, postane diagram zanesljivosti prijetna krivulja brez pristojnosti nad odločitvijo.
Recimo, da ovrednotenje združuje napovedi glede na navedeno zaupanje. Opazovana stopnja v vsaki skupini je odvisna od primerov, sprejetih v skupino, in od opredelitve izida. Ali so bili dvoumni primeri izključeni? Ali so bile vzdržanosti obravnavane kot napake, varna zavrnitev ali kaj drugega? Ali je oznaka predstavljala takojšnji dogodek, poznejši pregled ali končno pritožbo? Ali so bili podvojeni zapisi ohranjeni? Ali je ovrednotenje vključevalo samo zapise, ki so prestali korak predhodnega preverjanja? Vsak odgovor je lahko razumen. Vsak odgovor spremeni pomen nastale izjave o kalibraciji.
Zato ima lahko model spoštljiv globalni rezultat kalibracije in je še vedno neprimeren za določeno uporabo. Globalni rezultat lahko združuje jezike, dolžine vnosov, regije, vrste naprav, poti strank ali načine delovanja, ki si ne delijo enake strukture napak. Združena številka je lahko pošten povzetek in še vedno nezadosten dokaz za lokalno odločitev. Pravi odziv ni zahtevati ločen model za vsako osebo. Je preizkusiti predpostavke o združevanju, ki jih odločitev sama naredi pomembne.
OECD-jev okvir vrednotenja to imenuje pokritost. Okvir sprašuje, ali instrument vrednotenja pokriva pristransko ali reprezentativno porazdelitev tistega, kar naj bi meril, in razlikuje uspešnost naloge od širše trditve o zmogljivosti. Te razlike so uporabne za dokaze o verjetnosti. Rezultat je lahko dokaz o uspešnosti pri porazdelitvi nalog. Ne bi smel tiho postati dokaz o zmogljivosti, prizadeti populaciji ali prihodnjem kontekstu, ki ga vrednotenje ni pokrilo.
Imenovalec ima tudi družbeno plat. Ko se organizacija odloča, kateri primeri so dovolj preprosti za avtomatizacijo in kateri morajo počakati na človeka, definicije določajo, kdo nosi preostalo negotovost. Skupni rezultat lahko prikrije dejstvo, da ima manjša skupina manj primerov, manj stabilne oznake ali drugačen delovni kontekst. To ni razlog za obljubljanje enakih statistik tam, kjer so dokazi šibki. Je razlog, da šibke dokaze jasno poročamo in okoli njih oblikujemo previdno odločitveno pravilo.
Uspešen zagon je vzorec, ne zaključek
Verjetnostni sistemi vabijo k posebni obliki pretirane samozavesti, ker jih je tako enostavno prikazati. Vnesite vhod, dobite impresiven izhod, ponovite s podobnim vhodom, dobite še enega. Prikaz lahko pokaže, da sistem zmore opraviti nalogo. Lahko celo pokaže nekaj, kar je vredno raziskati. Ne more pokazati porazdelitve rezultatov, stabilnosti rezultata, odziva na robne primere, kakovosti referenčnih oznak ali učinka spremenjenih pogojev uvajanja. Vzorec lahko začne preiskavo. Ne more je končati.
Enako velja za posamezen zagon primerjalnega testa. Rezultat je morda bil pravilno zbran, na dobro opisanem sistemu, z legitimno metriko. Če je bil izveden le enkrat, je dokaz o vrednosti, opaženi enkrat pod temi pogoji. Ni samodejno dokaz o stabilni lastnosti sistema. Ponavljanje pomaga razkriti variabilnost. Ne odpravlja potrebe po vprašanju, ali test predstavlja predvideno uporabo. Ponovljivost in veljavnost rešujeta različna problema in obe si zaslužita mesto v zapisniku.
Okvir OECD to ločitev izrecno opredeljuje. Zanesljivost se nanaša na to, ali vrednotenje vključuje dovolj ponovitev, dolžino epizod ali primerov, da ob ponovni uporabi zagotavlja nizko variabilnost. Ponovljivost se nanaša na to, ali je mogoče isti test znova ustvariti, vključno s tem, ali stohastične komponente spremenijo interakcije. Test je lahko povsem ponovljiv in še vedno odgovarja na neuporabno vprašanje. Lahko je realističen in težko natančno ponovljiv, ker se je okolje spremenilo. Noben pogoj sam po sebi ni pomanjkljivost. Zapisnik mora povedati, kateri pogoj velja in kaj bralcu omogoča sklepati.
Tu je skromna, a dragocena operativna navada: obdržite uspešen zagon, vendar mu ne naložite več, kot zmore. Shranite vhod, konfiguracijo, različico, seme, kjer je ustrezno, odvisnosti, izhod in odločitev vrednotenja. Nato ga postavite poleg ponovljenih meritev, protiprimerov, vzdržanj in spremenjenih pogojev. Rezultat, ki ostane uporaben, potem ko se je srečal s svojimi nerodnimi sosedi, je dragocenejši od rezultata, ki ga je bilo treba pred njimi zaščititi.
Pri generativnih sistemih je uspešen odgovor še posebej šibek dokaz ponovljivosti, če pogodba o interakciji ni zabeležena. Nastavitve vzorčenja, pozivi, pridobljeno gradivo, razpoložljivost orodij, različica modela, varnostna politika in okoliški potek dela lahko vsi oblikujejo rezultat. Ponovno predvajanje niza besed brez ustreznega stanja lahko poustvari videz testa, medtem ko manjka pogoj, ki ga je naredil smiselnega. Pri delu z dokazi podobnost ni ponovno predvajanje.
Ponovljivost ni sopomenka za zaupanje
Deterministično ponovno predvajanje je lahko odličen dokaz za eno ozko trditev: ob enakih zabeleženih vhodih, konfiguraciji in pogojih izvedbe je sistem proizvedel enak rezultat. To naredi preiskave, regresijske teste in primerjave različic bolj obvladljive. Ne dokazuje, da je bil rezultat pravilen, da je bil vhod ustrezen, da bi sistem moral biti uporabljen za odločitev ali da se bo rezultat posplošil prek zabeležene meje. Ponovljivost je lastnost poskusa. Zaupanje je presoja o širši ureditvi.
Stohastično vedenje spremeni zapis, namesto da bi opravičevalo njegovo odsotnost. Če se izhod spreminja, mora vrednotenje zabeležiti, kateri deli se spreminjajo, kako pogosto, v kakšnem razponu in kako ta variacija vpliva na odločitev. Sistem, ki predlaga alternativne formulacije, lahko dopušča širši razpon kot sistem, ki razvršča primere po pomembnosti. Sistem, ki svetuje človeku, lahko zahteva drugačne dokaze kot sistem, ki omogoča nepreklicno dejanje. Verjetnost sama po sebi ni operativna kategorija. Posledice odločajo o tem, koliko negotovosti lahko proces varno prenese.
Na obeh straneh obstaja lahka napaka. Ena ekipa zahteva fiksen izhod od orodja, katerega navedeni namen vključuje raziskovanje, nato pa zamenjuje posledično determinističnost s kakovostjo. Druga ekipa sprejema spremenljiv izhod sistema za podporo odločanju, nato pa variabilnost imenuje ustvarjalnost, ko postane težko ocenljiva. Nobeno stališče ni resno. Vprašanje je, ali je variacija pričakovana, omejena, opazna in združljiva s pooblastilom, dodeljenim sistemu.
Evropska ureditev tega vprašanja ne reducira na en univerzalen rezultat. Za visokotvegane sisteme umetne inteligence 15. člen Akta o umetni inteligenci zahteva ustrezno raven točnosti, robustnosti in kibernetske varnosti ter dosledno delovanje v teh pogledih skozi celoten življenjski cikel. Prav tako določa, da je treba v navodilih za uporabo navesti ravni točnosti in ustrezne metrike točnosti, ter spodbuja merila uspešnosti in metode merjenja za tehnične vidike merjenja delovanja. Določba ne pravi, da en ponovljen test razreši zadevo. Zahteva, da je delovanje opredeljeno in vzdrževano v kontekstu.
To je smiselno stališče za vsako resno vrednotenje. Ponovljiv test je del verige dokazov. Potrebuje lastnika, mejo različice, sprožilec spremembe in povezavo z operativno odločitvijo, ki jo podpira. Brez tega lahko ponovljivost postane še ena privlačna beseda, ki potuje dlje kot eksperiment.
Negotovost potrebuje operativno pot
Praktični namen negotovosti ni, da bi nadzorna plošča delovala prefinjeno. Namen je spremeniti, kaj sistem sme početi. Če rezultat nima učinka na usmerjanje, pregled, pojasnilo, spremljanje ali zaustavitev, je lahko tehnična zanimivost in ne operativni signal. Če spremeni dejanje, mora organizacija navesti pot od rezultata do pooblastila.
Prag je ena takšna pot, vendar ni čarobna črta. Določitev praga izbere kompromis med vrstami napak, delovno obremenitvijo, zamudo in potencialno škodo. Prag je lahko primeren za razvrščanje čakalne vrste pregledov z nizkimi posledicami in neprimeren za odrekanje dostopa osebe do storitve. Isti številčni prag lahko pomeni različne stvari, ko se spremenijo osnovna stopnja, stroški napake, razpoložljivo pravno sredstvo in kakovost nadaljnjega pregleda. Univerzalne preudarne številke, ki čaka v priročniku prodajalca, ni.
Zato mora pravilo odločanja opisati več kot le mejo. Navesti mora izid, ki se ocenjuje, dokaze, ki podpirajo rezultat, primere zunaj področja uporabe, okoliščine, ki zahtevajo vzdržanje, človeško pooblastilo, ki ostaja, zapis, ki bo ohranjen, in pogoje za ponovni pregled pravila. Prag brez teh spremljevalcev je odločitev, prikrita kot konfiguracija.
Uporaben hipotetični primer ponazarja poanto brez izmišljanja javnega incidenta. Predstavljajte si storitev, ki uporablja rezultat modela za razvrščanje dohodnih zahtevkov za usposobljenega pregledovalca. Dokazi lahko podpirajo omejeno trditev: rezultat lahko pomaga pri urejanju primerljivih zahtevkov znotraj navedene kategorije sprejema, medtem ko končno razvrščanje po pomembnosti ostaja v rokah pregledovalca. Isti dokazi ne podpirajo samodejnega zavračanja zahtevkov z nizkim rezultatom, ker je to drugačno dejanje z drugačnimi posledicami in drugačnimi dokaznimi potrebami. Izhod se ni spremenil. Spremenilo se je njegovo pooblastilo.
Vzdržanost si zasluži enako resnost. Sistem, ki lahko prizna, da so njegovi dokazi nezadostni, lahko kratkoročno ustvari več dela, dolgoročno pa zmanjša neopažene napake. A vzdržanost je uporabna le, če ima kam odgovorno napotiti. Če negotovi primeri izginejo v čakalno vrsto brez lastnika, je sistem negotovost preprosto spremenil v zamudo. Dobra pot pove, kdo prevzame primer, kaj lahko vidi, kako ga popravi in kako ta popravek vpliva na poznejše vrednotenje.
Vzročne trditve potrebujejo več kot graf pred in po
Ocene verjetnosti se pogosto uporabljajo za podporo trditvam o tem, kaj se bo zgodilo, če organizacija ukrepa. To je drugačna dokazna naloga kot napovedovanje tega, kaj se je zgodilo v zgodovinskih podatkih. Model lahko oceni, da je primer podoben drugim primerom z določenim izidom. S tem pa ne pokaže, da bo sprememba primera, sprememba politike ali upoštevanje priporočila povzročila spremembo izida. Napovedovanja in poseganja ne bi smeli združevati samo zato, ker graf izgleda urejeno.
Grafi pred in po so še posebej mamljivi. Ekipa uvede orodje, izid se spremeni in orodje dobi zaslugo ali krivdo. Marsikaj drugega se je lahko spremenilo: populacija, ki vstopa v storitev, dokumentacija, kadri, politika, sezonske razmere, zgornji filtri ali sama meritev. Opazovanje je lahko vredno pozornosti. Ni pa vzročni sklep, dokler niso obravnavani primerjava, alternativne razlage in preostala negotovost.
To je pomembno za upravljanje umetne inteligence, ker je sistem lahko operativno vpliven veliko preden je formalno odločilen. Razvrstitev lahko spremeni, kateri zapis oseba odpre najprej. Indikator zaupanja lahko pregledovalca spodbudi, da sprejme izhod. Priporočeno dejanje lahko postane rutina, ker je čakalna vrsta polna. Vzročna pot vključuje človeško razlago, oblikovanje vmesnika, spodbude, časovni pritisk in razpoložljivo pot popravka. Samo vrednotenje modela ne more povedati celotne zgodbe.
Kadar je vzročna trditev pomembna, bi moral načrt dokazov povedati, kakšna primerjava bi trditev naredila verodostojnejšo in česa še vedno ne bi mogla izključiti. To lahko vključuje nadzorovan preizkus, postopno uvajanje, neodvisen pregled, skrbno zasnovano opazovalno študijo ali odločitev, da se vzročne trditve sploh ne postavi. Bistvo ni zahtevati akademske popolnosti od vsake operativne spremembe. Bistvo je uskladiti samozavest trditve z dejansko razpoložljivimi dokazi.
V tem je nekaj nizozemske zdrave pameti, čeprav se dobro prenaša: če si izmeril le, da se je veter spremenil, ne razglašaj, da si preoblikoval vreme. Napoved je lahko dragocena, ne da bi postala zgodba o vzročnosti. Iskrenost ni umik. Prav to omogoča, da rezultat uporabi nekdo, ki se mora odločiti, kaj storiti naprej.
Natančnost lahko prikrije slabo odločitveno pravilo
Natančnost je pogosto uporabna in pogosto nezadostna. Sistem lahko doseže visoko natančnost, kadar je en izid pogost, hkrati pa nudi malo pomoči pri primerih, ki so najpomembnejši. Lahko ima močno povprečje, a slabo deluje blizu meje ukrepanja. Lahko daje pravilne napovedi brez ocen verjetnosti, ki bi podpirale smiselne pragove. Lahko je videti uspešen, ker je referenčno oznako lahko napovedati, čeprav je oznaka sama šibek približek za odločitev, ki jo mora storitev sprejeti.
Nič od tega ne pomeni, da je točnost brez pomena. Pomeni, da se mora bralec vprašati, kaj meri in kaj pušča zunaj okvirja. Akt o umetni inteligenci to potrebo po kontekstu prepoznava v zahtevah za navodila za uporabo: dokumentacija sistemov z visokim tveganjem mora vključevati značilnosti in omejitve delovanja, predvideni namen, ustrezne metrike točnosti, uporabljene za preizkušanje in validacijo sistema, ter znane ali predvidljive okoliščine, ki lahko vplivajo na pričakovano delovanje. Številka točnosti postane uporabnejša, če ostanejo z njo povezane tudi okoliščine, v katerih je bila dosežena.
Dober operativni pregled se zato sprašuje o vzorcih napak, ne le o skupnih številkah. Katere vrste primerov so bile napačno razvrščene? Kateri so bili negotovi? Kateri primeri so bili izključeni ali poslani v pregled? Kaj se zgodi z lažno pozitivnim rezultatom, lažno negativnim rezultatom, zakasnelim odzivom ali neupravičeno opustitvijo odgovora? Kdo lahko rezultat zazna, ga izpodbija in popravi zapis? Ta vprašanja vračajo vrednotenje k storitvi, namesto da bi ga prepuščala modelu.
Koristno je lahko tudi razlikovati med dokazi o komponenti in dokazi o delovnem toku. Preizkus komponente lahko ugotovi lastnosti modela pri določenih vhodih. Vrednotenje delovnega toka lahko ugotovi, kako medsebojno delujejo model, vmesnik, podatki, ljudje in politika. Komponenta ima lahko dobro umerjenost rezultatov, medtem ko delovni tok povzroča pristranskost zaradi avtomatizacije, ker vmesnik skriva negotovost. Delovni tok ima lahko odličen postopek pregleda, a se opira na komponento, katere izvorni podatki ne ustrezajo več navedenemu obsegu. Preizkusi se morajo nekje srečati.
Nastali dokazi niso nujno obsežno poročilo. Če je odločitev ozka, je lahko jedrnat, različicen zapis. Pomembno je, da lahko druga oseba preveri trditev, populacijo, metodo, rezultat, omejitev in odločitev. Velikost datoteke ne določa kakovosti sklepanja. Kratek zapis je lahko strog. Obsežna predstavitev je lahko večinoma prazna.
Sprememba včerajšnje dokaze spremeni v vprašanje
Vsak rezultat vrednotenja ima datum, tudi če je skrit. Modeli se spreminjajo. Pozivi se spreminjajo. Viri podatkov se spreminjajo. Obrazec pri ponudniku dobi novo polje. Dobavitelj spremeni politiko. Ekipa preseli storitev v drugo okolje. Nova skupina začne uporabljati sistem. Metrika se izračuna po spremenjenem postopku pregleda. Vsaka sprememba lahko spremeni trditev, ki so jo podpirali prejšnji dokazi.
Pravilen odziv ni ponovno zagnati vsakega preizkusa po vsaki spremembi. Treba je opredeliti, katere spremembe so pomembne za katere trditve. Sprememba barve morda ne vpliva na umerjenost verjetnosti. Nov vhodni kanal pa lahko. Spremenjena politika označevanja lahko spremeni opredelitev izida. Nova različica modela lahko spremeni tako delovanje kot razlago njegovih rezultatov. Sprememba pooblastil, danih sistemu, lahko razveljavi pravilo odločanja, tudi če model ostane povsem enak. Načrt preizkušanja mora ta razmerja pokazati, preden je izdaja priročna.
Člen 9 Akta o umetni inteligenci opisuje stalen, ponavljajoč se proces obvladovanja tveganj za sisteme z visokim tveganjem v celotnem življenjskem ciklu. Proces vključuje prepoznavanje in analizo znanih ter razumno predvidljivih tveganj, ocenjevanje tveganj, ko se sistem uporablja, kot je predvideno, in ob razumno predvidljivi zlorabi, ter sprejetje ukrepov za obvladovanje tveganj. Pomen za vrednotenje je neposreden: dokazi niso enkraten obred ob zagonu. Spadajo v operativni sistem pregleda, sprememb in odzivanja.
Nadzorovanje ne pomeni zbiranja vsakega razpoložljivega signala in upanja, da se bo vzorec pokazal sam. Pomeni odločitev, katero opazovanje bi odprlo zahtevek znova. Kalibracijsko preverjanje je lahko načrtovano po obdobju, obsegu ali spremenjeni mešanici vložkov. Prag je lahko pregledan, ko pritisk v čakalni vrsti spremeni kakovost človeškega nadzora. Sprememba vira lahko začasno ustavi uporabo, dokler se ustrezen test ne ponovi. Resen načrt nadzorovanja pove, kaj se spremlja, kdo to spremlja, glede na katero referenco in katero dejanje sledi.
To je zahtevnejše od kartice modela, arhivirane na dan nabave, a tudi bolj uporabno. Statični dokument lahko ohrani, kaj je bilo zatrjevano. Živi dokazni zapis lahko pokaže, ali zahtevek še vedno ima svoje mesto. Pri verjetnostnem sistemu je ta razlika razlika med tem, da vemo, da je rezultat obstajal, in tem, da vemo, ali še vedno pomeni to, kar storitev misli, da pomeni.
Zapisi omogočajo poznejšemu bralcu, da se pravilno ne strinja
Dokazi potrebujejo spomin. Poznejši pregledovalec ne more oceniti zahtevka iz posnetka zaslona rezultata in spomina na sestanek. Potrebujejo različico predmeta: vprašanje, vhodne pogoje, metodo preizkusa ali opazovanja, rezultat, izključitve, negotovost, odločitev in lastnika. Morda morajo vedeti tudi, kaj ni bilo zajeto. Zapis, ki naredi svoje slepe pege vidne, je bolj uporaben kot popolnoma videti zapis, ki stanje sistema prepušča ugibanju.
Za visokotvegane sisteme umetne inteligence uredba o umetni inteligenci zahteva samodejno beleženje dogodkov v celotni življenjski dobi sistema, z zmogljivostmi beleženja, primernimi za predvideni namen in uporabnimi za prepoznavanje tveganj, podporo tržnemu nadzoru po dajanju na trg ter spremljanje delovanja. Prav tako zahteva, da se tehnična dokumentacija pripravi pred dajanjem sistema na trg in da se sproti posodablja. Te zahteve niso zgolj povabilo k vodenju več dnevnikov. So povabilo, da se dnevniki naredijo razumljivi v povezavi s sistemom, namenom in odločitvijo.
Sledljivost je še posebej pomembna, kadar verjetnost razlaga človek. Če pregledovalec vidi rezultat, bi moral dokazni zapis omogočiti rekonstrukcijo tega, na kaj je bil rezultat vezan, kako je bil predstavljen, kateri podatki ali viri so bili vključeni, kaj se je pregledovalec odločil in ali je prišlo do poznejšega popravka. Brez te verige se lahko ekipa nauči, da je bil izid napačen, ne pa tudi, ali je bila težava v vhodu, modelu, vmesniku, pravilu odločanja ali človeškem procesu okoli tega.
Pri Dweve je AION majhen, ustrezen primer širšega načela, ne pa trditev, da je mogoče dokaze reducirati na kriptografijo. Njegov javni opis pravi, da lahko proizvajalec ob rezultatu izda tipizirano potrdilo in da AION potrdilo neodvisno preveri glede na prvotne predpostavke. Tovrstna preverljiva evidenca lahko okrepi ozko trditev o tem, ali rezultat izhaja iz zabeleženih predpostavk. Ne dokazuje, da so bile predpostavke ustrezne, da je bila naloga pravična ali da je bila uporaba primerna. Dokazi potrebujejo tako preverjanje kot presojo.
To omejitev je vredno ohraniti, ker preprečuje pogosto kategorijsko napako. Popolnoma ohranjena sled lahko pokaže, kaj se je zgodilo. Ne more narediti slabo zastavljenega vprašanja dobrega. Ponovljiva odločitev je lahko še vedno odločitev, ki ne bi smela biti nikoli avtomatizirana. Zapis bi moral poznejšemu bralcu pomagati zastaviti obe vprašanji, ne pa prezgodaj odgovoriti na drugo.
Zaupanje je lahko pošteno, ne da bi bilo uporabno
Dobro umerjena verjetnost je lahko še vedno neuporabna. Lahko je preširoka, da bi ločila primere, ki potrebujejo različno obravnavo. Lahko pride prepozno, da bi vplivala na odločitev. Lahko je vezana na izid, ki ni izvedljiv. Lahko je tako negotova, da vsak primer zahteva enak pregled. To niso napake poštenosti. To so omejitve uporabnosti, ki jih je treba priznati zgodaj in ne šele potem, ko je bil delovni proces zgrajen okoli ocene.
Nasprotno pa uporaben sistem ni treba, da se pretvarja, da je gotov. Skromen signal lahko izboljša organizacijo dela, če ima ozek namen in jasno pot pregleda. Operaterju lahko pomaga videti, kateri primeri si zaslužijo dodatno preverjanje vira. Lahko izbere majhen nabor za zagotavljanje kakovosti. Lahko razkrije nasprotje med zapisi. Pri teh uporabah se zahteva po dokazih nanaša na to, ali signal izboljša določen postopek odločanja, ne da bi vnesel nesprejemljive nove napake ali odvisnosti. Signalu ni treba postati prerok, da bi si prislužil mesto.
Zato mora predvideni namen voditi vrednotenje. Načela OECD o umetni inteligenci zahtevajo smiselne informacije o zmogljivostih in omejitvah sistemov ter sledljivost v zvezi z nabori podatkov, postopki in odločitvami, da je mogoče rezultate analizirati in odgovoriti na vprašanja. Načela prav tako zahtevajo ustrezno človeško delovanje in nadzor. Praktična posledica ni, da vsak vmesnik potrebuje prikaz verjetnosti. Je ta, da morata biti dokazi in razlaga sistema prilagojena osebi in odločitvi, na katero vplivata.
Ni nagrade za razkritje vrednosti negotovosti, ki je uporabnik ne more razumeti ali po njej ravnati. Število brez poti odločanja lahko ustvari gledališče preglednosti. Ljudem daje nekaj, na kar lahko kažejo, in nobenega načina, da bi to izpodbijali. Bolje je prikazati ustrezno mejo v preprostem jeziku, na primer ta predlog je zunaj potrjene kategorije ali ta rezultat zahteva pregled, ker so razpoložljivi dokazi nepopolni. Ustrezna predstavitev sledi operativnemu nadzoru in ne obratno.
Iz istega razloga ocene zaupanja ne bi smeli obravnavati kot merilo moralne vrednosti, verodostojnosti ali upravičenosti. Gre za tehnično izjavo z omejeno dokazno pogodbo. Procesu lahko pomaga. Ne bi smela postati nejasna družbena razvrstitev samo zato, ker njena številčna oblika deluje odločilno.
Organizacija je lastnica sklepanja
Dobavitelji lahko zagotovijo modele, dokumentacijo, rezultate in rezultate testov. Ne morejo tiho prevzeti lastništva nad pomenom odločitve, sprejete v nečiji drugi storitvi. Organizacija, ki povezuje verjetnostni rezultat z dejanjem, se mora odločiti, na katero trditev se zanaša, katera populacija je pomembna, kateri prag je sprejemljiv, kdo pregleduje izjeme, kateri zapisi se hranijo in kdaj so dokazi zastarali. Pogodbe lahko razdelijo naloge. Ne odpravijo pa potrebe po presoji.
To postane vidno pri javnem naročanju. Kupec bi moral morebitnega dobavitelja vprašati ne le po glavni metrik, ampak tudi po vprašanju vrednotenja, populaciji, oznakah, izključitvah, različicah, variabilnosti, metodi umerjanja, če gre za trditev o verjetnosti, znanih omejitvah in politiki sprememb. Bistvo ni zahtevati razkritja, ki ga dobavitelj zakonito ne more zagotoviti. Bistvo je ugotoviti, ali kupec lahko razume meje trditve dovolj dobro, da jo lahko odgovorno uporablja v evropskem operativnem okolju.
Odgovor je lahko včasih ta, da dokazi niso ustrezni za predvideno uporabo. To ni neuspešen postopek javnega naročanja. To je postopek javnega naročanja, ki opravlja svoje dejansko delo, preden organizacija postane odvisna od nepojasnjenega rezultata. Manjša, pregledna uporaba je lahko še vedno mogoča. Drug dobavitelj je lahko primernejši. Ali pa odločitev ostane človeška, ker dokazi in pot popravkov niso dovolj močni, da bi upravičili avtomatizacijo. Reči ne je del dokazne discipline.
Dokazi potrebujejo tudi imenovanega lastnika po uvedbi. Nekdo mora biti odgovoren za preverjanje, ali se je populacija spremenila, ali pregledi razkrivajo nov vzorec napak, ali prag še vedno ustreza delovni obremenitvi, ali je zapise mogoče interpretirati in ali sprememba sproži ponovno oceno. Lastniku ni treba osebno izvesti vsakega testa. Toda če nobena vloga ne lastni sklepanja, bo sistem postopoma pridobil avtoriteto skozi navado. Navada je slab nadomestek za zapis odločitev.
Najtežji del je pogosto kulturni. Ekipe so vajene predstavljati uspešne modele kot izdelke in neuspešne modele kot raziskave. Verjetnostni dokazi od njih zahtevajo, da ohranijo dvoumnost vmes: uporabno, omejeno, spremljano in še ne pooblaščeno, da postane več, kot dokazi podpirajo. To morda zveni manj razburljivo. Je bolj trajno.
Kaj vsebuje sorazmeren zapis dokazov
Ustrezen zapis je odvisen od uporabe. Pripomoček za osnutke, ki ga uporablja avtor, ima drugačne posledice kot sistem, ki vpliva na dostop do javne storitve. Kljub temu ima sorazmeren zapis prepoznavno obliko. Opredeli trditev in predvideni namen. Opredeli model, konfiguracijo in okoliški potek dela. Opredeli izid in populacijo, uporabljeno za vrednotenje trditve. Ohranja metodo, rezultat in pomembne omejitve. Opredeli pravilo odločanja, lastnika, pot pregleda in sprožilce sprememb. Vsako polje da poznejšemu bralcu izhodišče.
Zapis mora razlikovati med merjenjem in interpretacijo. Izmerjeno opazovanje bi lahko reklo, da je na določenem naboru podatkov in v določenem obdobju navedeni niz rezultatov ustrezal opazovanim izidom v opisanem razponu. Interpretacija bi lahko rekla, da to podpira uporabo kot signal za razvrščanje pregledov pod določenimi nadzori. Odločitev bi lahko rekla, da se sistem lahko uporablja za ta namen, dokler ne nastopi navedeni sprožilec spremembe. Vse tri stavke dati pod naslov z imenom uspešnost je učinkovito le, če nikomur nikoli ni treba izpodbijati utemeljitve.
Prav tako naj omogoči uporabo neznank. Morda so oznake zakasnele. Morda majhna jezikovna skupina nima dovolj primerov za stabilno oceno umerjanja. Morda je uvedba nova in operativnih dokazov še ni. Zapis lahko to pove, začasno omeji uporabo, načrtuje več opazovanj ali ohrani človeško pot. Pretvarjanje, da je neznanka rešena, ker je model izdelal številko, negotovost le spremeni v nedokumentirano odgovornost.
Vizualna disciplina je tu koristna. Narišite verigo od vnosa do ocene, od ocene do prikazane razlage, od razlage do človeškega dejanja ter od dejanja do opazovanega izida in popravka. Označite, kje je stanje zajeto, kje se izgubi in kje lahko oseba pot ustavi ali obrne. Če ekipa poti ne more narisati, je verjetno tudi ne more ovrednotiti. Diagrami ne nadomeščajo dokazov. Preprečujejo, da bi bili dokazi pripisani napačnemu delu sistema.
Predvsem pa zapišite, česa zapis ne dokazuje. Morda ne dokazuje vzročnosti. Morda ne dokazuje pravičnosti v vseh skupinah. Morda ne dokazuje vedenja po spremembi dobavitelja. Morda ne dokazuje primernosti za pomembnejše dejanje. Te nedokazane trditve niso opravičilo. Prav te zagotavljajo, da se omejena evalvacija ne uporabi kot splošno pooblastilo.
Dokazi si prislužijo pravico do negotovosti
Obstaja skušnjava, da bi menili, da je cilj evalvacije odpraviti negotovost. Pogosto je boljši cilj, da jo lociramo. Verjetnostni sistem ni pomanjkljiv, ker vsakega primera ne more spremeniti v gotovost. Nevaren postane, ko organizacija negotovost obravnava kot zasebno tehnično podrobnost, izidu pa podeli javno avtoriteto. Delo je v tem, da se odločimo, katera negotovost je sprejemljiva, vidna in popravljiva za dani namen.
Ta odločitev naj postaja zahtevnejša, ko se posledice večajo. Predlog z majhnimi posledicami morda potrebuje jasen obseg, vidno omejitev in preprost popravek. Sistem, ki vpliva na pravice, varnost, dostop ali materialne priložnosti, potrebuje močnejše dokaze o celotnem procesu, skrbnejše spremljanje, smiselno človeško avtoriteto ter pot do izpodbijanja in popravka. Ocena modela tega standarda ne določa sama. Določa ga učinek delovanja na podlagi te ocene.
En sam uspešen zagon je lahko še vedno vreden ohranitve. Morda je prvi primerek v uporabnem zapisu. Morda razkrije zmožnost, način odpovedi ali vprašanje, ki si zasluži pravo evalvacijo. A ostati mora primerek, dokler organizacija ne preizkusi trditve, na katero se želi zanesti. Razdalja med tema dvema stvarema je prostor, kjer živi odgovorno inženirstvo.
Odgovor na vprašanje, kaj šteje kot dokaz, kadar je stroj verjetnosten, torej ni ocena, grafikon ali oznaka skladnosti. Je omejen argument: ta izid, za to vprašanje, v tej populaciji in obdobju, pod temi pogoji, je bil opazovan na ta način; to lahko sklepamo; tega ne moremo sklepati; in to je dejanje, ki mu dovolimo ali ne dovolimo, da ga spremeni. Ta argument ni glamurozen. Je pregleden, kar je bolje.