Probabilistliku masina puhul: mis loeb tõendusmaterjaliks?
Tõenäosus ei ole otsus
Kui masin tagastab 0,87, on esimene küsimus tavaliselt liiga väike. Inimesed küsivad, kas 0,87 on kõrge. Kõrge millega võrreldes, millise tulemuse puhul, milliste juhtumite lõikes ja millise otsuse jaoks? Väljundi kõrvale trükitud number näeb välja nagu selle väljundi omadus. Tihti see nii ei ole. See on katse kirjeldada suhet mudeli, määratletud juhtumite populatsiooni ja aja jooksul täheldatud tulemuse vahel. See suhe võib olla kasulik. See võib suunata ülevaatejärjekorda, seada läve või öelda operaatorile, millal tulemus väärib teist pilku. Kuid see ei muuda üksikut ennustust faktiks, mille küljes on koma.
See on ebamugav punkt tõenäosuslike süsteemide keskmes. Nende väljundid on sageli informatiivsemad kui paljas silt, sest need võivad väljendada toetuse või määramatuse astet. Neid on ka lihtsam üle lugeda. Skoori võib käsitleda tunnistaja ütlusena, õigusliku järeldusena, diagnoosina või loana. Vaikimisi pole see ükski neist. Tõendid algavad siis, kui organisatsioon suudab öelda, mida number tähistab, kuidas seda kontrolliti, kus see kontroll kehtib ja millist tegevust tohib number muuta.
See eristus on oluline juba ammu enne seda, kui süsteem kohtub regulaatoriga. Meeskond võib otsustada, kas soovitatud dokument vajab inimese kontrolli. Ostja võib võrrelda kahte tarnijat, kes mõlemad reklaamivad usaldusväärsuse mõõdikuid. Operaator võib seada eskalatsioonireegli. Avalik asutus võib küsida, kas järjestatud loend on piisavalt hea, et mõjutada seda, kuhu tähelepanu kõigepealt suunatakse. Igal juhul on edukas käitamine tõend ühest asjast: et see üks käitamine andis väljundi. See ei ole veel tõend, et süsteem väärib talle omistatud autoriteeti.
Mõistlik vastus ei ole keelata tõenäosused olulises töös. See on anda neile korralik töökirjeldus. Tõenäosus võib toetada otsust, kui see on seotud määratletud sündmuse, asjakohase populatsiooni, vaatlusmeetodi, määramatuse piiri ja reegliga selle kohta, mis juhtub siis, kui tõendid on nõrgad. See on aeglasem kui ühe numbri imetlemine ja palju kiirem kui hiljem avastamine, et keegi ei oska selgitada, mida number pidi tegema.
Tõendid peavad nimetama oma küsimuse
Evidence ei ole kunagi lihtsalt olemas. See on evidence mingi väite jaoks. Testitulemus võib toetada väidet, et komponent toodab teatud sisendi ja teatud konfiguratsiooni korral teatud väljundi. See võib toetada väidet, et mudel järjestab näiteid hästi eraldatud andmestikul. See võib toetada väidet, et tõenäosushinnang vastab mõistlikult hästi vaadeldud sagedustele kindlaksmääratud hindamisandmestikus. Need väited on erinevad. Distsipliin algab väite kirjutamisest enne mõõdiku valimist.
Vaatleme pealtnäha lihtsat väidet, et süsteem on täpne. Täpne mille suhtes? Klassifitseerimistäpsus võib kirjeldada, kui sageli kõrgeima skooriga klass ühtis märgisega. See ei ütle, kas esitatud tõenäosus oli hästi kalibreeritud. Järjestusmõõdik võib kirjeldada järjekorda, mitte skooriskaala kvaliteeti. Madal keskmine viga võib esineda koos kahjuliku veamustriga alarühmas või läviväärtusel, mis käivitab tegevuse. Mõõdik pole vale. Hüpe mõõdikult operatiivsele järeldusele on koht, kust probleemid tavaliselt alguse saavad.
OECD töö hindamisvahenditega on abiks just seetõttu, et loobub fantaasiast, et üks skoor suudab kanda kogu selgitust. Selle raamistik eristab tahke, sealhulgas katvus, eesmärk, realistlikkus, usaldusväärsus, reprodutseeritavus, objektiivsus ja erapooletus. Need pole bürokraatlikud kaunistused võrdlusuuringu ümber. Need kirjeldavad, kas tulemus on õiges suhtes esitatud küsimusega. Teaduslik võrdlus, vastavushindamine ja operatiivne väljalaskeotsus võivad kõik kasutada teste. Nad ei küsi testidelt sama asja.
Alustage siis lausega, millega saab mitte nõustuda. Näiteks: see süsteem võib suunata juhtumeid inimese ülevaatamisele, kui selle dokumenteeritud tõenäosushinnang kindlaksmääratud tulemuse kohta ületab määratud läviväärtuse, eeldusel et sisend vastab valideeritud ulatusele ja ülevaatajal säilib õigus soovitus tagasi lükata. See on vaieldav operatiivne väide. See nimetab tegevuse, tingimuse ja piiri. See ei teeskle, et skoor on iseseisvalt valinud oma rolli maailmas.
Vastupidine lause on tuttav, sest see on mugav: mudel on 87 protsenti kindel. Isegi kui mudel tõesti väljastab tõenäosuse, jätab lause välja sündmuse, kalibreerimistõendid, populatsiooni, perioodi ja otsuse. See muudab suhte isiksuseomaduseks. Masinaid ei pea kirjeldama häbelike või kindlatena. Neid tuleb kirjeldada süsteemidena, mille väljunditel on määratletud tähendused ja määratletud piirid.
Enesekindlus ei ole sama mis õigsus
Süsteem võib olla enesekindel ja eksida. See võib olla ka õige, väljendades samal ajal madalat enesekindlust. Need kaks fakti pole üllatavad, kui mõisteid hoitakse lahus. Õigsus küsib, kas tulemus ühtis valitud võrdlusega ühe juhtumi puhul. Enesekindlus on väljundile külge pandud väide, mis on sageli tuletatud mudeli skoorist või selle teisendusest. Kalibreerimine küsib täiendava küsimuse paljude juhtumite lõikes: kui süsteem omistab sarnaseid tõenäosusi, kas tulemused esinevad ligikaudu märgitud määraga? Need on seotud küsimused, kuid üks hea vastus ei asenda teisi.
Kujutage ette juhtumite kogumit, mille puhul klassifikaator teatab ühe kindlaksmääratud sündmuse tõenäosuseks 0,80. Kui piisavalt kirjeldatud ja piisavalt suure võrreldavate juhtumite kogumi puhul esineb sündmus umbes kaheksal juhul kümnest, võib hinnangut nimetada hästi kalibreerituks selle populatsiooni ja tingimuse jaoks. See ei tähenda, et järgmisel 0,80 juhtumil on kaheksakümne protsendi saatus. See tähendab, et skoor on näidanud seost vaadeldud tulemustega nimetatud kogumis. Väljend nimetatud kogumis teeb suurema osa intellektuaalsest tööst.
Kalibreerimine ei ole samuti universaalne tunnusmärk. Skoor võib olla hästi kalibreeritud ajaloolise andmestiku puhul ja halvasti kalibreeritud pärast seda, kui sisendallikas, kasutajapopulatsioon, töövoog, märgistusprotsess või kasutuskeskkonna tingimused muutuvad. See võib olla tervikuna hästi kalibreeritud, käitudes samal ajal erinevalt selles populatsiooni osas, mis on teenuse jaoks oluline. See võib laias vahemikus hea välja näha, varjates samal ajal järsku erinevust otsusläve lähedal. Kalibreerimisgraafik ei ole tootmissüsteemi kohale raamitud diplom. See on dateeritud tähelepanek kindla ulatusega.
Mudeli kalibreerimise kirjandus teeb selle eristuse konkreetseks. Guo ja kolleegid uurisid usaldusväärsuse kalibreerimist kaasaegsetes närvivõrkudes ja näitasid, et ainult täpsusest ei piisa, et otsustada, kas usaldusväärsuse hinnangud kajastavad täheldatud õigsuse tõenäosusi. Nende töö hindab ka järeltöötluse kalibreerimismeetodeid. Oluline operatiivne õppetund on kitsam kui retsept: mudeli skoori ei tohiks eeldada, et sellel on sobiv tõenäosustähendus pelgalt seetõttu, et see esitatakse mugavas vahemikus nulli ja ühe vahel.
Hoolikas organisatsioon registreerib seetõttu kolm erinevat asja. See registreerib ülesande soorituse, et saaks küsida, kas väljundid vastavad määratletud ülesandele. See registreerib kalibreerimise või mõne muu selgesõnalise määramatuse omaduse, et saaks küsida, mida skoor praktikas tähendab. Ja see registreerib antud lävel tegutsemise tagajärje, et saaks küsida, kas otsustusreegel on asjakohane. Nende kolme ühendamine üheks roheliseks indikaatoriks võib lihtsustada juhtpaneeli. See ei lihtsusta maailma.
Kalibreerimisel on nimetaja
Igal kalibreerimisväitel on nimetaja. Nimetaja ei ole pelgalt failis olevate kirjete arv. See on kogum juhtudest, mis olid loendamiseks kõlblikud, viis, kuidas need rühmitati, tulemuse määratlus, ajaperiood, välistused ja protsess, mis lõi võrdlusmärgised. Eemaldage need tingimused ja usaldusväärsuse diagramm muutub meeldivaks kõveraks, millel puudub mõju otsuse üle.
Oletame, et hindamine rühmitab ennustused esitatud usaldusväärsuse järgi. Täheldatud määr igas rühmas sõltub rühma lubatud juhtudest ja tulemuse määratlusest. Kas mitmetähenduslikud juhtumid jäeti välja? Kas hoidumisi käsitleti vigadena, ohutute keeldumistena või millegi muuna? Kas märgis esindas vahetut sündmust, hilisemat ülevaatust või lõplikku edasikaebust? Kas duplikaadid säilitati? Kas hindamine hõlmas ainult kirjeid, mis läbisid ülesvoolu valideerimisetapi? Iga vastus võib olla mõistlik. Iga vastus muudab seda, mida saadud kalibreerimisväide tähendab.
Seetõttu võib mudelil olla auväärne üldine kalibreerimistulemus ja see võib siiski olla konkreetseks kasutuseks sobimatu. Üldine tulemus võib koondada keeli, sisendpikkusi, piirkondi, seadmetüüpe, klienditeekondi või töörežiime, millel ei ole sama veastruktuur. Koondatud arv võib olla aus kokkuvõte ja siiski ebapiisav tõend kohaliku otsuse jaoks. Õige vastus ei ole nõuda iga inimese jaoks eraldi mudelit. See on testida rühmitamiseeldusi, mille otsus ise oluliseks muudab.
OECD hindamisraamistik nimetab seda katvuseks. Raamistik küsib, kas hindamisvahend katab kallutatud või esindusliku jaotuse sellest, mida see peaks mõõtma, ja see eristab ülesande sooritust laiemast võimekuse väitest. Need eristused on kasulikud tõenäosustõendite jaoks. Skoor võib olla tõend ülesande jaotuse soorituse kohta. See ei tohiks vaikselt muutuda tõendiks võimekuse, mõjutatud populatsiooni või tulevase konteksti kohta, mida hindamine ei hõlmanud.
Nimetajal on ka sotsiaalne külg. Kui organisatsioon otsustab, millised juhtumid on piisavalt lihtsad automatiseerimiseks ja millised peavad ootama inimest, määravad definitsioonid selle, kes kannab ülejäänud ebakindlust. Koondskoor võib varjata asjaolu, et väiksemal rühmal on vähem näiteid, ebastabiilsemad märgendid või erinev töökontekst. See ei ole põhjus lubada võrdseid statistikuid seal, kus tõendid on hõredad. See on põhjus hõredaid tõendeid selgesõnaliselt välja tuua ja nende ümber kujundada ettevaatlik otsustusreegel.
Edukas käitus on näidis, mitte järeldus
Probabilistlikud süsteemid kutsuvad esile teatud vormi ülbusest, sest neid on nii lihtne demonstreerida. Sisesta sisend, saa muljetavaldav väljund, korda lähedase sisendiga, saa jälle. Demonstratsioon võib näidata, et süsteem suudab ülesannet täita. See võib isegi näidata midagi, mida tasub uurida. See ei saa näidata tulemuste jaotust, skoori stabiilsust, reaktsiooni piirjuhtumitele, referentsmärgendite kvaliteeti ega muutunud kasutuskeskkonna mõju. Näidis võib alustada uurimist. See ei saa seda lõpetada.
Sama kehtib ühe benchmark-käituse kohta. Tulemus võib olla kogutud õigesti, hästi kirjeldatud süsteemi kohta, legitiimse mõõdikuga. Kui see käitati üks kord, on see tõend väärtuse kohta, mida vaadeldi üks kord nendes tingimustes. See ei ole automaatselt tõend süsteemi stabiilse omaduse kohta. Kordamine aitab varieeruvust paljastada. See ei eemalda vajadust küsida, kas test esindab kavandatud kasutust. Reprodutseeritavus ja valiidsus lahendavad erinevaid probleeme ja mõlemad väärivad kohta protokollis.
OECD raamistik teeb selle eristuse selgeks. Usaldusväärsus puudutab seda, kas hindamine esitab piisavalt kordusi, episoodi pikkust või juhtumeid, et anda uuesti rakendamisel väikest varieeruvust. Reprodutseeritavus puudutab seda, kas sama testi saab uuesti genereerida, sealhulgas seda, kas stohhastilised komponendid muudavad interaktsioone. Test võib olla täpselt reprodutseeritav ja vastata siiski ebakasulikule küsimusele. See võib olla realistlik ja raskesti täpselt reprodutseeritav, sest keskkond on muutunud. Kumbki tingimus ei ole iseenesest viga. Protokoll peab ütlema, milline tingimus kehtib ja mida see lugejal lubab järeldada.
Siin on tagasihoidlik, kuid väärtuslik tööharjumus: hoia edukat käitust alles, kuid ära lase sellel kanda rohkem, kui see suudab. Säilita sisend, konfiguratsioon, versioon, seeme, kui see on asjakohane, sõltuvused, väljund ja hindamisotsus. Seejärel aseta see kordusmõõtmiste, vastunäidete, hoidumiste ja muutunud tingimuste kõrvale. Tulemus, mis jääb kasulikuks ka pärast seda, kui ta on kohanud oma ebamugavaid naabreid, on väärtuslikum kui tulemus, mida tuli nende eest kaitsta.
Generatiivsete süsteemide puhul on edukas vastus eriti nõrk tõend korratavuse kohta, välja arvatud juhul, kui interaktsioonileping on protokollitud. Valimisseadistused, viibad, hangitud materjal, tööriistade kättesaadavus, mudeli versioon, ohutuspoliitika ja ümbritsev töövoog võivad kõik kujundada tulemust. Sõnajada taasesitamine ilma asjakohase olekuta võib reprodutseerida testi välimuse, kuid jätta vahele tingimuse, mis muutis selle tähenduslikuks. Tõendustöös ei ole sarnasus taasesitus.
Korratavus ei ole usalduse sünonüüm
Deterministlik taasesitus võib olla suurepärane tõend ühe kitsa väite kohta: samade protokollitud sisendite, konfiguratsiooni ja rakendustingimuste korral tootis süsteem sama tulemuse. See muudab uurimised, regressioonitestid ja versioonivõrdlused paremini käsitletavaks. See ei tõesta, et tulemus oli õige, et sisend oli sobiv, et süsteemi oleks tulnud otsuse jaoks kasutada või et tulemus üldistub väljapoole selle protokollitud piiri. Korratavus on katse omadus. Usaldus on hinnang laiemale korraldusele.
Stohhastiline käitumine muudab tulemuste kirjendamist, mitte ei vabanda selle puudumist. Kui väljund varieerub, peab hindamine kirjendama, millised osad varieeruvad, kui sageli, millises vahemikus ja kuidas see varieerumine otsust mõjutab. Süsteem, mis pakub alternatiivseid sõnastusi, võib taluda laiemat vahemikku kui süsteem, mis järjestab juhtumeid tähelepanu saamiseks. Süsteem, mis nõustab inimest, võib vajada teistsuguseid tõendeid kui süsteem, mis teeb kättesaadavaks pöördumatu toimingu. Tõenäosus ei ole omaette operatiivne kategooria. Tagajärg otsustab, kui palju ebakindlust protsess ohutult kanda võib.
Mõlemal poolel on kerge viga teha. Üks meeskond nõuab fikseeritud väljundit tööriistalt, mille väljakuulutatud eesmärk hõlmab avastamist, ja peab seejärel saadud determinismi kvaliteediks. Teine meeskond aktsepteerib muutuvat väljundit otsustust toetavalt süsteemilt ja nimetab varieeruvust loovuseks, kui seda muutub raskeks hinnata. Kumbki seisukoht pole tõsine. Küsimus on selles, kas varieerumine on ootuspärane, piiritletud, jälgitav ja kooskõlas süsteemile antud volitusega.
Euroopa regulatsioon ei taanda seda küsimust üheks universaalseks skooriks. Kõrge riskiga tehisintellektisüsteemide puhul nõuab AI-määruse artikkel 15 asjakohast täpsuse, robustsuse ja küberturvalisuse taset ning nende aspektide järjepidevat toimivust kogu elutsükli vältel. Samuti sätestab see, et kasutusjuhendis tuleb märkida täpsuse tasemed ja asjakohased täpsusmõõdikud, ning julgustab kasutama võrdlusnäitajaid ja mõõtmismeetodeid toimivuse mõõtmise tehniliste aspektide jaoks. Sättest ei tulene, et üks korduv test lahendab küsimuse. See nõuab, et toimivus oleks kontekstis määratletud ja säilitatud.
See on mõistlik hoiak igasuguse tõsise hindamise puhul. Korratav test on üks osa tõendite ahelast. Sellel peab olema omanik, versioonipiir, muudatuse käivitaja ja seos operatiivse otsusega, mida see toetab. Ilma nendeta võib korratavus muutuda veel üheks atraktiivseks sõnaks, mis liigub kaugemale kui eksperiment ise.
Ebakindlus vajab operatiivset teed
Ebakindluse praktiline eesmärk ei ole muuta juhtpaneeli keerukamaks. See on muuta seda, mida süsteemil on lubatud teha. Kui skooril puudub mõju suunamisele, ülevaatusele, selgitusele, jälgimisele või peatamisele, võib see olla tehniline uudishimu, mitte operatiivne signaal. Kui see aga muudab toimingut, peab organisatsioon sõnastama tee skoorilt volitusele.
Läviväärtus on üks selline tee, kuid see ei ole maagiline piir. Läviväärtuse määramine valib kompromissi vigade liikide, töökoormuse, viivituse ja võimaliku kahju vahel. Läviväärtus võib sobida madala tagajärjega ülevaatejärjekorra prioriseerimiseks ja olla sobimatu inimese juurdepääsu keelamiseks teenusele. Sama numbriline läviväärtus võib tähendada erinevaid asju, kui baasmäär, vea hind, kättesaadav õiguskaitsevahend ja järelülevaatuse kvaliteet muutuvad. Universaalset mõistlikku arvu ei leidu müüja käsiraamatus.
Seetõttu peaks otsustusreegel kirjeldama enamat kui piirväärtust. See peaks nimetama hinnatava tulemuse, skoori toetavad tõendid, ulatusest välja jäävad juhtumid, asjaolud, mis sunnivad hoiduma, allesjääva inimese volituse, peetava kirje ja tingimused reegli uuesti läbivaatamiseks. Läviväärtus ilma nende kaaslasteta on otsus, mis on maskeeritud konfiguratsiooniks.
Kasulik hüpoteetiline näide illustreerib seda punkti ilma avalikku juhtumit välja mõtlemata. Kujutage ette teenust, mis kasutab mudeli skoori sissetulevate taotluste sorteerimiseks koolitatud ülevaatajale. Tõendid võivad toetada piiratud väidet: skoor võib aidata järjestada sarnaseid taotlusi kindlaksmääratud vastuvõtukategoorias, samas kui lõplik prioriseerimine jääb ülevaatajale. Samad tõendid ei toeta madala skooriga taotluste automaatset tagasilükkamist, sest see on erinev toiming, millel on erinevad tagajärjed ja erinevad tõendusvajadused. Väljund ei muutunud. Muutus selle volitus.
Erapooletu hoidumine väärib sama tõsidust. Süsteem, mis suudab öelda, et tema tõendusmaterjal on ebapiisav, võib lühiajaliselt luua rohkem tööd, kuid vähendada pikas perspektiivis märkamata jäänud vigu. Kuid hoidumine on kasulik ainult siis, kui sellel on vastutustundlik sihtkoht. Kui ebakindlad juhtumid kaovad omanikuta järjekorda, on süsteem lihtsalt muutnud ebakindluse viivituseks. Hea marsruut nimetab, kes juhtumi saab, mida nad näevad, kuidas nad seda parandavad ja kuidas see parandus mõjutab hilisemat hindamist.
Põhjuslikud väited vajavad enamat kui enne-ja-pärast graafikut
Tõenäosushinnanguid kasutatakse sageli väidete toetamiseks selle kohta, mis juhtub, kui organisatsioon tegutseb. See on erinev tõendamisülesanne kui ajalooliste andmete põhjal juhtunu ennustamine. Mudel võib hinnata, et juhtum sarnaneb teiste juhtumitega, millel on teatud tulemus. See ei näita siiski, et juhtumi muutmine, poliitika muutmine või soovituse järgimine põhjustab tulemuse muutumise. Ennustamist ja sekkumist ei tohiks ühte sulatada ainult sellepärast, et graafik näeb kena välja.
Enne-ja-pärast joonised on eriti ahvatlevad. Meeskond võtab kasutusele tööriista, tulemus muutub ja tööriistale omistatakse tunnustus või süü. Palju muud võis samal ajal muutuda: teenust kasutav elanikkond, dokumentatsioon, personal, poliitika, hooajalised tingimused, ülesvoolu filtrid või mõõtmine ise. Tähelepanek võib väärida tähelepanu. See ei ole põhjuslik järeldus enne, kui võrdlus, alternatiivsed selgitused ja järelejäänud ebakindlus on käsitletud.
See on AI-halduse jaoks oluline, sest süsteem võib olla operatiivselt mõjukas kaua enne, kui see on formaalselt otsustav. Järjestus võib muuta seda, millise kirje inimene kõigepealt avab. Enesekindluse indikaator võib suunata retsensenti väljundit aktsepteerima. Soovitatud tegevus võib muutuda rutiinseks, sest järjekord on hõivatud. Põhjuslik tee hõlmab inimese tõlgendust, liidese kujundust, stiimuleid, ajasurvet ja saadaolevat parandusmarsruuti. Ainult mudeli hindamine ei suuda kogu lugu rääkida.
Kui põhjuslik väide on oluline, peaks tõendusplaan ütlema, milline võrdlus muudaks väite usutavamaks ja mida see endiselt välistada ei suudaks. See võib hõlmata kontrollitud katset, faasipõhist kasutuselevõttu, sõltumatut ülevaadet, hoolikalt koostatud vaatlusuuringut või otsust põhjuslikust väitest üldse loobuda. Asi ei ole nõuda akadeemilist täiuslikkust igalt operatiivselt muudatuselt. Asi on viia väite enesekindlus vastavusse tegelikult kättesaadava tõendusmaterjaliga.
Selles on hollandi laadi tervet mõistust, kuigi see kandub hästi edasi: kui olete mõõtnud ainult seda, et tuul muutus, ärge kuulutage, et olete ilma ümber kujundanud. Ennustus võib olla väärtuslik ka ilma põhjusliku loona. Ausus ei ole taganemine. See on see, mis muudab tulemuse kasutatavaks kellegi jaoks, kes peab otsustama, mida edasi teha.
Täpsus võib varjata halba otsustusreeglit
Täpsus on sageli kasulik ja sageli ebapiisav. Süsteem võib saavutada kõrge täpsuse, kui üks tulemus on sage, pakkudes samal ajal vähe abi kõige olulisemates juhtumites. See võib olla tugev keskmiselt, kuid toimida halvasti tegevuspiiri lähedal. See võib teha õigeid ennustusi ilma tõenäosushinnanguteta, mis toetaksid mõistlikke lävesid. See võib tunduda edukas, sest võrdlusmärgendit on lihtne ennustada, kuigi märgend ise on nõrk aseaine otsusele, mida teenus peab tegema.
Miski sellest ei tähenda, et täpsus oleks mõttetu. See tähendab, et lugeja peaks küsima, mida see mõõdab ja mis jääb raamist välja. AI-määrus tunnustab seda konteksti vajadust kasutusjuhendite nõuetes: kõrge riskiga süsteemi dokumentatsioon peab sisaldama jõudlusnäitajaid ja piiranguid, sihtotstarvet, asjakohaseid täpsusmõõdikuid, mida on kasutatud süsteemi testimiseks ja valideerimiseks, ning teadaolevaid või prognoositavaid asjaolusid, mis võivad mõjutada eeldatavat jõudlust. Täpsusnäitaja muutub kasulikumaks, kui sellega koos säilitatakse ka seda ümbritsevad tingimused.
Seetõttu küsib hea operatiivne ülevaade vigade mustrite, mitte ainult kogusummade kohta. Milliseid juhtumeid klassifitseeriti valesti? Millised olid ebakindlad? Millised juhtumid jäeti välja või saadeti ülevaatusele? Mis juhtub valepositiivse, valenegatiivse, hilinenud vastuse või põhjendamatu hoidumisega? Kes saab tulemust tuvastada, selle vaidlustada ja andmeid parandada? Need küsimused viivad hindamise tagasi teenuse juurde, mitte ei jäta seda mudeli hooleks.
Samuti võib olla kasulik eristada komponendi tõendusmaterjali töövoo tõendusmaterjalist. Komponendi test võib kindlaks teha mudeli omadused määratletud sisendite korral. Töövoo hindamine võib kindlaks teha, kuidas mudel, liides, andmed, inimesed ja poliitika omavahel suhtlevad. Komponendil võib olla tugev skoori kalibreering, samas kui töövoog tekitab automatiseerimise kallutatuse, sest liides varjab ebakindlust. Töövoolul võib olla suurepärane ülevaatusprotsess, kuid see võib tugineda komponendile, mille lähteandmed ei vasta enam märgitud ulatusele. Testid peavad kuskil kokku saama.
Saadud tõendusmaterjal ei pruugi olla suur aruanne. See võib olla lühike, versioonitud kirje, kui otsus on kitsas. Oluline on see, et teine inimene saaks uurida väidet, populatsiooni, meetodit, tulemust, piirangut ja otsust. Faili suurus ei määra arutluskäigu kvaliteeti. Lühike kirje võib olla põhjalik. Suur esitlus võib olla enamasti tühi.
Muutus muudab eilse tõendusmaterjali küsimuseks
Igal hindamistulemusel on kuupäev, isegi kui see on peidetud. Mudelid muutuvad. Päringud muutuvad. Andmeallikad muutuvad. Ülemvoolu vormile lisandub väli. Tarnija muudab poliitikat. Meeskond viib teenuse teise keskkonda. Uus grupp hakkab süsteemi kasutama. Mõõdik arvutatakse pärast muudetud ülevaatusprotsessi. Iga muutus võib muuta väidet, mida varasem tõendusmaterjal toetas.
Õige vastus ei ole iga testi uuesti käivitamine pärast iga muudatust. See on määratleda, millised muudatused on olulised milliste väidete jaoks. Värvimuutus ei pruugi mõjutada tõenäosuse kalibreeringut. Uus sisendkanal võib seda mõjutada. Muudetud märgistuspoliitika võib muuta tulemuse määratlust. Uus mudeliversioon võib muuta nii jõudlust kui ka selle skooride tõlgendust. Muutus süsteemile antud volitustes võib muuta otsustusreegli kehtetuks isegi siis, kui mudel jääb bait-baidilt samaks. Testiplaan peaks need seosed nähtavaks tegema enne, kui väljalase on mugav.
AI-määruse artikkel 9 kirjeldab pidevat, korduvat riskijuhtimisprotsessi kõrge riskiga süsteemidele kogu nende elutsükli vältel. Protsess hõlmab teadaolevate ja mõistlikult prognoositavate riskide tuvastamist ja analüüsimist, riskide hindamist ja kaalumist, kui süsteemi kasutatakse ettenähtud otstarbel ja mõistlikult prognoositava väärkasutuse korral, ning riskijuhtimismeetmete rakendamist. Punkt hindamise jaoks on otsene: tõendusmaterjal ei ole ühekordne tseremoonia käivitamisel. See kuulub ülevaatuse, muutuse ja reageerimise operatiivsüsteemi.
Jälgimine ei tähenda kõigi kättesaadavate signaalide kogumist ja lootmist, et muster ise end tutvustab. See tähendab otsustamist, milline vaatlus avaks hüvitisnõude uuesti. Kalibreerimiskontrolli võib ajastada perioodi, mahu või muutunud sisendisegu järgi. Läve võib üle vaadata, kui järjekorra surve muudab inimjärelevalve kvaliteeti. Allikamuudatus võib kasutuse peatada, kuni asjakohane test on korratud. Tõsine jälgimisplaan ütleb, mida jälgitakse, kes seda teeb, millise võrdlusaluse järgi ja milline tegevus sellele järgneb.
See on nõudlikum kui mudelikaart, mis arhiveeriti hankepäeval, kuid ka kasulikum. Staatiline dokument võib säilitada selle, mida väideti. Elav tõendusregister võib näidata, kas väitel on endiselt koht. Tõenäosusliku süsteemi puhul on see erinevus sama mis erinevus teadmisel, et skoor eksisteeris, ja teadmisel, kas see tähendab endiselt seda, mida teenus arvab, et see tähendab.
Registrid võimaldavad hilisemal lugejal korrektselt eriarvamusele jääda
Tõendid vajavad mälu. Hilisem hindaja ei saa hinnata väidet skoori kuvatõmmise ja koosoleku mälestuse põhjal. Nad vajavad versioonitud objekti: küsimust, sisendtingimusi, testi või vaatlusmeetodit, tulemust, välistusi, määramatust, otsust ja omanikku. Nad võivad vajada ka teadmist, mida ei jäädvustatud. Register, mis muudab oma pimekohad nähtavaks, on kasulikum kui täiuslikuna näiv register, mis jätab süsteemi seisundi oletuste hooleks.
Kõrge riskiga tehisintellektisüsteemide puhul nõuab AI-määrus sündmuste automaatset salvestamist süsteemi kogu eluea jooksul, logimisvõimalustega, mis on asjakohased kavandatud eesmärgi suhtes ja kasulikud riski tuvastamiseks, turustusjärgse jälgimise toetamiseks ja toimimise jälgimiseks. Samuti nõuab see tehnilise dokumentatsiooni koostamist enne süsteemi turule laskmist ja selle ajakohasena hoidmist. Need nõuded ei ole pelgalt kutse rohkem logisid pidada. Need on kutse muuta logid arusaadavaks seoses süsteemi, eesmärgi ja otsusega.
Jälgitavus on eriti oluline seal, kus tõenäosust tõlgendab inimene. Kui hindaja näeb skoori, peaks tõendusregister võimaldama rekonstrueerida, mille külge skoor oli kinnitatud, kuidas seda esitati, millised andmed või allikad olid hõlmatud, mida hindaja otsustas ja kas hiljem tehti parandus. Ilma selle ahelata võib meeskond teada saada, et tulemus oli vale, kuid mitte seda, kas probleem oli sisendis, mudelis, liideses, otsustusreeglis või seda ümbritsevas inimprotsessis.
Dweve'is on AION väike, asjakohane näide laiemast põhimõttest, mitte väide, et tõendid on taandatavad krüptograafiale. Selle avalik kirjeldus ütleb, et tootja saab tulemuse kõrvale väljastada tüpiseeritud sertifikaadi ja AION kontrollib sertifikaati iseseisvalt algsete eelduste vastu. Selline kontrollitav register võib tugevdada kitsast väidet selle kohta, kas tulemus tuleneb salvestatud eeldustest. See ei tõesta, et eeldused olid sobivad, ülesanne oli õiglane või kasutus oli asjakohane. Tõendid vajavad nii kontrollimist kui ka otsustusvõimet.
Seda piirangut tasub meeles pidada, sest see hoiab ära levinud kategooriavea. Täiuslikult säilitatud jälg võib näidata, mis juhtus. See ei saa muuta halvasti sõnastatud küsimust heaks. Reprodutseeritav otsus võib siiski olla otsus, mida poleks tohtinud kunagi automatiseerida. Register peaks aitama hilisemal lugejal küsida mõlemat küsimust, mitte enneaegselt vastama teisele.
Enesekindlus võib olla aus, ilma et see oleks kasulik
Hästi kalibreeritud tõenäosus võib siiski olla kasutu. See võib olla liiga lai, et eristada juhtumeid, mis vajavad erinevat käsitlust. See võib jõuda liiga hilja, et otsust mõjutada. See võib olla seotud tulemusega, mis pole rakendatav. See võib olla nii ebakindel, et iga juhtum nõuab sama ülevaatust. Need ei ole aususe puudujäägid. Need on kasulikkuse piirid, mida tuleks tunnistada varakult, mitte avastada alles pärast seda, kui töövoog on skoori ümber üles ehitatud.
Vastupidi, kasulik süsteem ei pea teesklema kindlust. Tagasihoidlik signaal võib parandada töö korraldust, kui sellel on kitsas eesmärk ja selge ülevaatusrada. See võib aidata operaatoril näha, millised juhtumid väärivad täiendavat allikakontrolli. See võib valida kvaliteeditagamiseks väikese hulga juhtumeid. See võib tuua esile vastuolu kirjete vahel. Nendes kasutustes puudutab tõendusnõue seda, kas signaal parandab konkreetset otsustusprotsessi ilma vastuvõetamatuid uusi vigu või sõltuvusi tekitamata. Signaal ei pea muutuma oraakliks, et oma koha ära teenida.
Seetõttu peab kavandatud eesmärk juhtima hindamist. OECD AI-põhimõtted nõuavad sisukat teavet süsteemide võimaluste ja piirangute kohta ning jälgitavust andmekogumite, protsesside ja otsuste osas, et väljundeid saaks analüüsida ja päringutele vastata. Põhimõtted nõuavad ka asjakohast inimese tegutsemisvabadust ja järelevalvet. Praktiline järeldus ei ole see, et iga liides vajab tõenäosuse kuvamist. See on see, et süsteemi tõendusmaterjal ja selgitus peaksid sobima inimesele ja otsusele, mida need mõjutavad.
Pole mingit auhinda ebakindluse väärtuse paljastamise eest, mida kasutaja ei suuda tõlgendada ega mille järgi tegutseda. Arv ilma otsuseteeta võib luua läbipaistvuse teatri. See annab inimestele midagi, millele osutada, ja mitte mingit võimalust seda vaidlustada. Parem on näidata asjakohast piiri lihtsas keeles, näiteks see soovitus on väljaspool valideeritud kategooriat või see tulemus nõuab ülevaatust, kuna kättesaadav tõendusmaterjal on puudulik. Asjakohane esitus järgib operatiivset kontrolli, mitte vastupidi.
Samal põhjusel ei tohiks usaldusskoori käsitleda moraalse väärtuse, usaldusväärsuse ega õigustatuse mõõdikuna. See on tehniline väide piiratud tõenduslepinguga. See võib protsessi aidata. See ei tohiks muutuda ähmaseks sotsiaalseks reitinguks lihtsalt sellepärast, et selle arvuline vorm muudab selle otsustava välimusega.
Organisatsioon omab järeldust
Tarneettevõtjad saavad pakkuda mudeleid, dokumentatsiooni, tulemusi ja testitulemusi. Nad ei saa vaikselt omastada otsuse tähendust, mis on tehtud kellegi teise teenuses. Organisatsioon, kes ühendab tõenäosusliku väljundi tegevusega, peab otsustama, millisele väitele ta toetub, milline populatsioon on oluline, milline läviväärtus on vastuvõetav, kes vaatab erandid läbi, milliseid andmeid säilitatakse ja millal on tõendid aegunud. Lepingutega saab ülesandeid jagada. Need ei välista otsustusvajadust.
See ilmneb hankeprotsessis. Ostja peaks potentsiaalselt tarneettevõtjalt küsima mitte ainult peamist mõõdikut, vaid ka hindamisküsimust, populatsiooni, märgendeid, välistusi, versioone, varieeruvust, kalibreerimismeetodit, kui esitatakse tõenäosusväide, teadaolevaid piiranguid ja muudatuste poliitikat. Eesmärk ei ole nõuda avalikustamist, mida tarneettevõtja seaduslikult pakkuda ei saa. Eesmärk on kindlaks teha, kas ostja suudab väite piire piisavalt mõista, et seda Euroopa tegevuskontekstis vastutustundlikult kasutada.
Vastus võib mõnikord olla see, et tõendid ei ole kavandatud kasutuse jaoks piisavad. See ei ole ebaõnnestunud hankeprotsess. See on hankeprotsess, mis täidab oma tegelikku ülesannet enne, kui organisatsioon on muutunud sõltuvaks seletamatust tulemusest. Väiksem, kontrollitav kasutus võib siiski olla võimalik. Teine tarneettevõtja võib olla sobiv. Või võib otsus jääda inimese teha, sest tõendid ja parandusmeetmed ei ole automatiseerimise õigustamiseks piisavalt tugevad. Ei ütlemine on osa tõendusdistsipliinist.
Tõenditel peab olema ka nimetatud omanik pärast kasutuselevõttu. Keegi peab vastutama selle eest, et kontrollitakse, kas populatsioon on muutunud, kas ülevaated toovad esile uue veamustri, kas läviväärtus sobib endiselt töökoormusega, kas andmeid saab tõlgendada ja kas muudatus käivitab ümberhindamise. Omanik ei pea ise iga testi läbi viima. Kuid kui ükski roll ei oma järeldust, omandab süsteem järk-järgult autoriteedi harjumuse kaudu. Harjumus on otsuste protokolli kehv aseaine.
Kõige raskem osa on sageli kultuuriline. Meeskonnad on harjunud esitlema edukaid mudeleid toodetena ja ebaõnnestunud mudeleid teadustööna. Tõenäosuslikud tõendid nõuavad neilt vahepealse ebaselguse säilitamist: kasulik, piiritletud, jälgitud ja veel mitte volitatud saama rohkemaks, kui tõendid toetavad. See võib kõlada vähem põnevana. See on püsivam.
Mida proportsionaalne tõendite register sisaldab
Sobiv register sõltub kasutusest. Autorile mõeldud kirjutamisabi omab erinevaid tagajärgi kui süsteem, mis mõjutab juurdepääsu avalikule teenusele. Siiski on proportsionaalsel registril äratuntav kuju. See tuvastab väite ja kavandatud eesmärgi. See tuvastab mudeli, konfiguratsiooni ja ümbritseva töövoogu. See määratleb tulemuse ja populatsiooni, mida väite hindamiseks kasutati. See säilitab meetodi, tulemuse ja olulised piirangud. See tuvastab otsustusreegli, omaniku, läbivaatamise tee ja muudatuste käivitajad. Iga väli annab hilisemale lugejale koha, kust alustada.
Register peaks eristama mõõtmist tõlgendusest. Mõõdetud tähelepanek võib öelda, et kindlaksmääratud andmestiku ja perioodi puhul vastas kindlaksmääratud skooride kogum kirjeldatud vahemikus täheldatud tulemustele. Tõlgendus võib öelda, et see toetab kasutamist ülevaate järjestamise signaalina kindlaksmääratud kontrollide all. Otsus võib öelda, et süsteemi võib sel eesmärgil kasutada kuni kindlaksmääratud muudatuse käivitumiseni. Kõigi kolme lause paigutamine pealkirja „tulemuslikkus" alla on tõhus ainult siis, kui keegi ei pea kunagi põhjendust vaidlustama.
See peaks muudab ka tundmatud kasutatavaks. Võib-olla on märgised hilinenud. Võib-olla on väikesel keelerühmal puudu piisavalt juhtumeid stabiilseks kalibreerimishinnanguks. Võib-olla on juurutus uus ja operatiivseid tõendeid veel pole. Kirje võib seda öelda, seada kasutamisele ajutise piirangu, korraldada rohkem vaatlust või säilitada inimese kaasatuse tee. Teeselda, et tundmatu on lahendatud, sest mudel tootis numbri, muudab ebakindluse vaid dokumenteerimata kohustuseks.
Visuaalne distsipliin on siin kasulik. Joonista ahel sisendist skoorini, skoorist kuvatud selgituseni, selgitusest inimese tegevuseni ja tegevusest vaadeldud tulemuse ning paranduseni. Joonista, kus olek jäädvustatakse, kus see kaob ja kus inimene saab tee peatada või tagasi pöörata. Kui meeskond ei suuda teed joonistada, ei suuda ta seda tõenäoliselt ka hinnata. Diagrammid ei asenda tõendeid. Need hoiavad ära tõendite omistamise süsteemi valele osale.
Eelkõige pane kirja see, mida kirje ei tõenda. See ei pruugi tõendada põhjuslikkust. See ei pruugi tõendada õiglust kõigi rühmade lõikes. See ei pruugi tõendada käitumist pärast tarnija vahetust. See ei pruugi tõendada sobivust mõneks kaalukamaks tegevuseks. Need mitteväited ei ole vabandus. Need on see, mis hoiab piiritletud hinnangut kasutamast universaalse volitusena.
Tõendid annavad õiguse jääda ebakindlaks
On kiusatus arvata, et hindamise eesmärk on ebakindluse kõrvaldamine. Tihti on parem eesmärk see paika panna. Tõenäosuslik süsteem ei ole puudulik seepärast, et see ei suuda igat juhtumit kindluseks muuta. See muutub ohtlikuks siis, kui organisatsioon kohtleb ebakindlust eratehnilise üksikasjana, andes samal ajal väljundile avaliku autoriteedi. Töö on otsustada, milline ebakindlus on antud eesmärgi jaoks talutav, nähtav ja parandatav.
See otsus peaks muutuma nõudlikumaks, kui tagajärjed kasvavad. Madala tagajärjega soovitus võib vajada selget ulatust, nähtavat piirangut ja lihtsat parandust. Süsteem, mis mõjutab õigusi, ohutust, juurdepääsu või materiaalseid võimalusi, vajab tugevamaid tõendeid kogu protsessi kohta, hoolikamat järelevalvet, tähenduslikku inimese autoriteeti ning võimalust vaidlustamiseks ja heastamiseks. Mudeli skoor ei määra seda standardit üksi. Selle mõju, milleks seda kasutatakse, määrab.
Üks õnnestunud käitus võib siiski olla säilitamist väärt. See võib olla esimene näidis kasulikus kirjes. See võib paljastada võime, tõrkerežiimi või küsimuse, mis väärib korralikku hindamist. Kuid see peaks jääma näidiseks, kuni organisatsioon on testinud väidet, millele ta tahab toetuda. Vahemaa nende kahe asja vahel on see, kus elab vastutustundlik inseneritöö.
Nii et vastus küsimusele, mis loeb tõendina, kui masin on tõenäosuslik, ei ole skoor, graafik ega vastavussilt. See on piiritletud argument: seda väljundit, selle küsimuse jaoks, selles populatsioonis ja perioodis, nendel tingimustel, on vaadeldud sel viisil; see on see, mida me saame järeldada; see on see, mida me ei saa järeldada; ja see on tegevus, mida me oleme valmis laskma sellel muuta või mitte. See argument ei ole glamuurne. See on kontrollitav, mis on parem.