Mitä lasketaan todisteeksi, kun kone on todennäköisyyksiin perustuva?
Todennäköisyys ei ole tuomio
Kun kone palauttaa luvun 0,87, ensimmäinen kysymys on yleensä liian pieni. Ihmiset kysyvät, onko 0,87 korkea. Korkea verrattuna mihin, mihin lopputulokseen, minkä tapausten osalta ja mihin päätökseen? Tulosteen vieressä oleva luku näyttää tulosteen ominaisuudelta. Usein se ei ole sitä. Se on yritys kuvata suhdetta mallin, määritellyn tapausjoukon ja ajan mittaan havaitun lopputuloksen välillä. Tämä suhde voi olla hyödyllinen. Se voi ohjata käsittelyjonon priorisointia, asettaa kynnyksen tai kertoa käyttäjälle, milloin tulos ansaitsee toisen tarkastelun. Mutta se ei muuta yksittäistä ennustetta tosiasiaksi, johon on liitetty desimaali.
Tämä on todennäköisyyspohjaisten järjestelmien keskiössä oleva hankala seikka. Niiden tulokset ovat usein informatiivisempia kuin pelkkä tunniste, koska ne voivat ilmaista tuen tai epävarmuuden asteita. Ne on myös helpompi tulkita yli. Pistemäärää voidaan kohdella todistajanlausuntona, oikeudellisena johtopäätöksenä, diagnoosina tai lupalappuna. Se ei ole oletuksena mitään näistä. Näyttö alkaa siitä, kun organisaatio osaa kertoa, mitä luku edustaa, miten se tarkistettiin, mihin tarkistus soveltuu ja mihin toimiin luku saa johtaa.
Tämä erottelu on tärkeä jo kauan ennen kuin järjestelmä kohtaa sääntelijän. Tiimi voi päättää, tarvitseeko ehdotettu asiakirja ihmisen tarkistuksen. Ostaja voi verrata kahta toimittajaa, jotka molemmat mainostavat luottamusmittareitaan. Käyttäjä voi asettaa eskalaatiosäännön. Julkinen toimija voi kysyä, onko järjestetty lista riittävän hyvä ohjaamaan huomion kohdentumista. Kaikissa tapauksissa onnistunut suoritus on näyttöä yhdestä asiasta: että kyseinen suoritus tuotti tuloksen. Se ei ole vielä näyttöä siitä, että järjestelmä ansaitsee sille annetun toimivallan.
Järkevä vastaus ei ole kieltää todennäköisyyksiä merkittävissä tehtävissä. Se on antaa niille kunnollinen toimenkuva. Todennäköisyys voi tukea päätöstä, kun se on sidottu määriteltyyn tapahtumaan, relevanttiin perusjoukkoon, havainnointimenetelmään, epävarmuuden rajaan ja sääntöön siitä, mitä tapahtuu, kun näyttö on heikkoa. Tämä on hitaampaa kuin yksittäisen luvun ihailu ja paljon nopeampaa kuin se, että myöhemmin huomataan, ettei kukaan osaa selittää, mitä luvun oli tarkoitus tehdä.
Näytön on nimettävä kysymyksensä
Näyttö ei ole koskaan vain läsnä. Se on näyttöä jonkin väitteen puolesta. Testitulos voi tukea väitettä, jonka mukaan komponentti tuottaa tietyn tuloksen tietylle syötteelle tietyssä kokoonpanossa. Se voi tukea väitettä, jonka mukaan malli asettaa esimerkit hyvin järjestykseen pidätetyllä aineistolla. Se voi tukea väitettä, jonka mukaan todennäköisyysarvio vastaa kohtuullisen tarkasti havaittuja frekvenssejä määritellyssä arviointiaineistossa. Nämä väitteet ovat erilaisia. Kurinalaisuus alkaa siitä, että väite kirjoitetaan ennen kuin mittari valitaan.
Tarkastellaan näennäisen yksinkertaista väitettä, jonka mukaan järjestelmä on tarkka. Tarkka missä suhteessa? Luokittelun tarkkuus voi kuvata, kuinka usein korkeimman pistemäärän saanut luokka vastasi merkintää. Se ei kerro, oliko ilmoitettu todennäköisyys hyvin kalibroitu. Järjestysmittari voi kuvata järjestystä, ei pisteytysasteikon laatua. Pieni keskimääräinen virhe voi esiintyä yhdessä haitallisen virhekuvion kanssa jossakin alaryhmässä tai jollakin toiminnon käynnistävällä kynnysarvolla. Mittari ei ole väärässä. Hyppy mittarista operatiiviseen johtopäätökseen on se kohta, josta ongelmat yleensä alkavat.
OECD:n työ arviointivälineiden parissa on hyödyllistä juuri siksi, että se luopuu fantasioista, joiden mukaan yksi pistemäärä voi kantaa koko selityksen. Sen viitekehys erottaa toisistaan osa-alueita, kuten kattavuuden, tarkoituksen, realistisuuden, luotettavuuden, toistettavuuden, objektiivisuuden ja puolueettomuuden. Nämä eivät ole byrokraattisia koristeita vertailuarvon ympärillä. Ne kuvaavat, onko tuloksella oikea suhde esitettyyn kysymykseen. Tutkimusvertailu, vaatimustenmukaisuuden arviointi ja operatiivinen julkaisupäätös voivat kaikki käyttää testejä. Ne eivät kysy testeiltä samaa asiaa.
Aloita siis lauseesta, josta voidaan olla eri mieltä. Esimerkiksi: tämä järjestelmä voi ohjata tapauksia ihmisen tarkasteluun, kun sen dokumentoitu todennäköisyysarvio määritellylle lopputulokselle ylittää määritellyn kynnysarvon, edellyttäen että syöte vastaa validoitua soveltamisalaa ja että tarkastajalla säilyy oikeus hylätä ehdotus. Tämä on perusteltavissa oleva operatiivinen väite. Se nimeää toiminnon, ehdon ja rajan. Se ei teeskentele, että pistemäärä olisi itsenäisesti valinnut roolinsa maailmassa.
Vastakkainen lause on tuttu, koska se on kätevä: malli on 87 prosenttia varma. Vaikka malli todella tuottaisi todennäköisyyden, lause jättää pois tapahtuman, kalibrointinäytön, perusjoukon, ajanjakson ja päätöksen. Se muuttaa suhteen persoonallisuuden piirteeksi. Koneita ei tarvitse kuvata ujoiksi tai varmoiksi. Ne on kuvattava järjestelminä, joiden tuotoksilla on määritellyt merkitykset ja määritellyt rajat.
Varmuus ei ole sama asia kuin oikeellisuus
Järjestelmä voi olla varma ja väärässä. Se voi myös olla oikeassa, vaikka se ilmaisee alhaista varmuutta. Nämä kaksi seikkaa eivät ole yllättäviä, kun käsitteet pidetään erillään. Oikeellisuus kysyy, vastasiko lopputulos valittua vertailukohtaa yhden tapauksen osalta. Varmuus on tuotokseen liitetty ilmaus, joka on usein johdettu mallin pistemäärästä tai sen muunnoksesta. Kalibrointi kysyy laajemman kysymyksen monen tapauksen yli: kun järjestelmä antaa samankaltaisia todennäköisyyksiä, esiintyvätkö lopputulokset suunnilleen ilmoitetulla osuudella? Nämä ovat toisiinsa liittyviä kysymyksiä, mutta yksi hyvä vastaus ei korvaa muita.
Kuvittele joukko tapauksia, joille luokittelija ilmoittaa 0,80 todennäköisyyden yhdelle määritellylle tapahtumalle. Jos tapahtuma esiintyy riittävän kattavasti kuvatussa ja riittävän suuressa vertailukelpoisten tapausten joukossa noin kahdeksan kertaa kymmenestä, arviota voidaan kutsua hyvin kalibroiduksi kyseiselle perusjoukolle ja ehdolle. Tämä ei tarkoita, että seuraavalla 0,80 tapauksella olisi kahdeksankymmenen prosentin kohtalo. Se tarkoittaa, että pistemäärä on osoittanut suhteen havaittuihin lopputuloksiin kuvatun joukon yli. Ilmaus kuvatun joukon yli tekee suurimman osan älyllisestä työstä.
Kalibrointi ei myöskään ole universaali merkki. Pisteet voivat olla hyvin kalibroidut historiallisessa aineistossa ja huonosti kalibroidut, kun syötelähde, käyttäjäjoukko, työnkulku, merkintäprosessi tai käyttöolosuhteet muuttuvat. Pisteet voivat olla hyvin kalibroidut kokonaisuutena, mutta käyttäytyä eri tavalla palvelun kannalta merkityksellisen väestönosan sisällä. Ne voivat näyttää hyvältä laajassa luokassa, mutta samalla peittää jyrkän eron päätöskynnyksen lähellä. Kalibrointikuvaaja ei ole kehystetty tutkinto tuotantojärjestelmän yläpuolella. Se on päivätty havainto, jolla on rajauksensa.
Mallien kalibrointia käsittelevä kirjallisuus tekee erottelun konkreettiseksi. Guo kollegoineen tutki luottamuskalibrointia nykyaikaisissa neuroverkoissa ja osoitti, että tarkkuus yksinään ei ratkaise, vastaavatko luottamusarviot havaittuja oikeellisuuden todennäköisyyksiä. Heidän työnsä arvioi myös jälkikäsittelyn kalibrointimenetelmiä. Tärkein operatiivinen opetus on suppeampi kuin resepti: mallin pisteitä ei tulisi olettaa omaavan asianmukaisen todennäköisyysmerkityksen pelkästään siksi, että ne tarjotaan kätevässä nollan ja yhden välisessä asteikossa.
Huolellinen organisaatio kirjaa siksi kolme eri asiaa. Se kirjaa tehtäväsuorituskyvyn, jotta se voi kysyä, täyttävätkö tuotokset määritellyn tehtävän. Se kirjaa kalibroinnin tai muun eksplisiittisen epävarmuusominaisuuden, jotta se voi kysyä, mitä pisteet käytännössä tarkoittavat. Ja se kirjaa tietyn kynnyksen mukaisen toiminnan seurauksen, jotta se voi kysyä, onko päätössääntö asianmukainen. Näiden kolmen yhdistäminen yhdeksi vihreäksi indikaattoriksi voi yksinkertaistaa kojelautaa. Se ei yksinkertaista maailmaa.
Kalibroinnilla on nimittäjä
Jokaisella kalibrointiväitteellä on nimittäjä. Nimittäjä ei ole pelkästään tiedostossa olevien tietueiden määrä. Se on joukko tapauksia, jotka olivat kelpoisia laskettaviksi, tapa, jolla ne ryhmiteltiin, lopputuloksen määritelmä, ajanjakso, poissulkemiset ja prosessi, joka tuotti referenssimerkinnät. Poista nämä ehdot, ja luotettavuuskaaviosta tulee miellyttävä käyrä, jolla ei ole toimivaltaa päätöksen suhteen.
Oletetaan, että arviointi ryhmittelee ennusteet ilmoitetun luottamuksen mukaan. Kussakin ryhmässä havaittu osuus riippuu ryhmään hyväksytyistä tapauksista ja lopputuloksen määritelmästä. Jätettiinkö epäselvät tapaukset pois? Käsiteltiinkö pidättäytymiset virheinä, turvallisina kieltäytymisinä vai jotenkin muuten? Edustiko merkintä välitöntä tapahtumaa, myöhempää tarkistusta vai lopullista valitusta? Säilytettiinkö kaksoiskappaleet? Sisällyttikö arviointi vain tietueet, jotka pääsivät läpi ylävirran validointivaiheen? Jokainen vastaus voi olla järkevä. Jokainen vastaus muuttaa sitä, mitä tuloksena oleva kalibrointilausuma tarkoittaa.
Tästä syystä mallilla voi olla kunnioitettava globaali kalibrointitulos ja se voi silti olla soveltumaton tiettyyn käyttötarkoitukseen. Globaali tulos voi yhdistää kieliä, syötteen pituuksia, alueita, laiteluokkia, asiakaspolkuja tai toimintatiloja, joilla ei ole samaa virherakenne. Yhdistetty luku voi olla rehellinen yhteenveto ja silti riittämätön näyttö paikalliselle päätökselle. Oikea vastaus ei ole vaatia erillistä mallia jokaiselle henkilölle. Se on testata ryhmittelyoletuksia, jotka päätös itse tekee merkityksellisiksi.
OECD:n arviointikehys kutsuu tätä kattavuudeksi. Kehys kysyy, kattaako arviointiväline vinoutuneen vai edustavan jakauman siitä, mitä sen on tarkoitus mitata, ja se erottaa tehtäväsuorituskyvyn laajemmasta kyvykkyysväitteestä. Nämä erottelut ovat hyödyllisiä todennäköisyysnäytön kannalta. Pisteet voivat olla näyttöä suorituskyvystä tehtäväjakaumalla. Niiden ei pitäisi huomaamatta muuttua näytöksi kyvykkyydestä, vaikutusten kohteena olevasta väestöstä tai tulevasta kontekstista, jota arviointi ei kattanut.
Nimittäjällä on myös sosiaalinen puolensa. Kun organisaatio päättää, mitkä tapaukset ovat riittävän helppoja automatisoitaviksi ja mitkä on jätettävä ihmisen käsiteltäviksi, määritelmät ratkaisevat, kuka kantaa jäljelle jäävän epävarmuuden. Kokonaispistemäärä voi peittää alleen sen, että pienemmällä ryhmällä on vähemmän esimerkkejä, epävakaammat merkinnät tai erilainen toimintaympäristö. Tämä ei ole syy luvata yhtäläisiä tilastoja silloin, kun näyttö on ohutta. Se on syy raportoida ohut näyttö avoimesti ja rakentaa sen ympärille varovainen päätössääntö.
Onnistunut suoritus on näyte, ei johtopäätös
Todennäköisyyspohjaiset järjestelmät houkuttelevat erityiseen yli-itsevarmuuteen, koska niiden osoittaminen on niin helppoa. Syötä tieto, saat vaikuttavan tuloksen, toista läheisellä syötteellä, saat toisen. Esittely voi osoittaa, että järjestelmä pystyy suorittamaan tehtävän. Se voi jopa osoittaa jotain tutkimisen arvoista. Se ei voi osoittaa tulosten jakaumaa, pistemäärän vakautta, reaktiota rajatapauksiin, viitemerkintöjen laatua tai muuttuneen käyttöönotto-olosuhteen vaikutusta. Näyte voi aloittaa tutkimuksen. Se ei voi päättää sitä.
Sama pätee yksittäiseen vertailuajoon. Tulos on voitu kerätä oikein, hyvin kuvatusta järjestelmästä, hyväksyttävällä mittarilla. Jos se on ajettu kerran, se on näyttöä arvosta, joka havaittiin kerran näissä olosuhteissa. Se ei automaattisesti ole näyttöä järjestelmän vakaasta ominaisuudesta. Toisto auttaa tuomaan esiin vaihtelua. Se ei poista tarvetta kysyä, edustaako testi aiottua käyttöä. Toistettavuus ja validiteetti ratkaisevat eri ongelmia, ja molemmat ansaitsevat paikkansa dokumentoinnissa.
OECD:n viitekehys tekee tämän eron näkyväksi. Luotettavuus koskee sitä, sisältääkö arviointi riittävästi toistoja, episodin pituuksia tai tapauksia, jotta vaihtelu on pientä, kun se toistetaan. Toistettavuus koskee sitä, voidaanko sama testi tuottaa uudelleen, mukaan lukien se, muuttavatko stokastiset komponentit vuorovaikutuksia. Testi voi olla täsmälleen toistettava ja silti vastata hyödyttömään kysymykseen. Se voi olla realistinen ja vaikea toistaa täsmälleen, koska ympäristö on muuttunut. Kumpikaan ehto ei ole itsessään virhe. Dokumentoinnissa on kerrottava, kumpi ehto pätee ja mitä se antaa lukijalle mahdollisuuden päätellä.
Tässä on vaatimaton mutta arvokas toimintatapa: säilytä onnistunut suoritus, mutta älä anna sen kantaa enempää kuin se pystyy. Säilytä syöte, konfiguraatio, versio, siemen, jos sellainen on, riippuvuudet, tulos ja arviointipäätös. Aseta se sitten toistettujen mittausten, vastaesimerkkien, pidättäytymisten ja muuttuneiden olosuhteiden viereen. Tulos, joka pysyy hyödyllisenä myös kohdattuaan hankalat naapurinsa, on arvokkaampi kuin tulos, jota on pitänyt suojella niiltä.
Generatiivisissa järjestelmissä onnistunut vastaus on erityisen heikkoa näyttöä toistettavuudesta, ellei vuorovaikutussopimusta ole dokumentoitu. Näytteenottoasetukset, kehotteet, haettu materiaali, työkalujen saatavuus, mallin versio, turvallisuuskäytäntö ja ympäröivä työnkulku voivat kaikki muokata tulosta. Merkkijonon toistaminen ilman olennaista tilaa voi tuottaa testin näköisen tuloksen, mutta siitä puuttuu ehto, joka teki siitä merkityksellisen. Näyttötyössä samankaltaisuus ei ole toistoa.
Toistettavuus ei ole synonyymi luottamukselle
Deterministinen toisto voi olla erinomaista näyttöä yhdestä kapeasta väitteestä: samoilla dokumentoiduilla syötteillä, konfiguraatiolla ja toteutusolosuhteilla järjestelmä tuotti saman tuloksen. Tämä tekee tutkimuksista, regressiotesteistä ja versiovertailuista hallittavampia. Se ei osoita, että tulos oli oikea, että syöte oli sopiva, että järjestelmää olisi pitänyt käyttää päätöksentekoon tai että tulos yleistyy dokumentoidun rajansa ulkopuolelle. Toistettavuus on kokeen ominaisuus. Luottamus on arvio laajemmasta kokonaisuudesta.
Stokastinen käyttäytyminen muuttaa tallennetta sen sijaan, että se selittäisi tallenteen puuttumisen. Jos tuotos vaihtelee, arvioinnissa on kirjattava, mitkä osat vaihtelevat, kuinka usein, millä vaihteluvälillä ja miten vaihtelu vaikuttaa päätökseen. Järjestelmä, joka ehdottaa vaihtoehtoisia sanamuotoja, voi sallia laajemman vaihteluvälin kuin järjestelmä, joka luokittelee tapauksia huomion mukaan. Järjestelmä, joka neuvoo ihmistä, voi vaatia erilaista näyttöä kuin järjestelmä, joka mahdollistaa peruuttamattoman toimenpiteen. Todennäköisyys ei yksinään ole operatiivinen kategoria. Seuraukset ratkaisevat, kuinka paljon epävarmuutta prosessi voi turvallisesti kantaa.
Molemmilla puolilla on helppo virhe. Toinen tiimi vaatii kiinteää tuotosta työkalulta, jonka ilmoitettuun tarkoitukseen kuuluu tutkiminen, ja erehtyy pitämään tuloksena syntyvää determinismiä laadusta. Toinen tiimi hyväksyy vaihtelevan tuotoksen päätöksenteon tukijärjestelmästä ja kutsuu vaihtelua luovuudeksi, kun sen arviointi käy vaikeaksi. Kumpikaan kanta ei ole vakavasti otettava. Kysymys on siitä, onko vaihtelu odotettua, rajattua, havaittavaa ja yhteensopivaa järjestelmälle annetun toimivallan kanssa.
Eurooppalainen sääntely ei supista tätä kysymystä yhdeksi yleispäteväksi pistemääräksi. Korkean riskin tekoälyjärjestelmien osalta tekoälyasetuksen 15 artikla edellyttää asianmukaista tarkkuutta, vankkuutta ja kyberturvallisuutta sekä johdonmukaista suorituskykyä näiltä osin koko elinkaaren ajan. Siinä myös edellytetään, että tarkkuustasot ja asiaankuuluvat tarkkuusmittarit ilmoitetaan käyttöohjeissa, ja se kannustaa käyttämään vertailuarvoja ja mittausmenetelmiä suorituskyvyn mittaamisen teknisissä näkökohdissa. Säännös ei sano, että yksi toistettu testi ratkaisee asian. Se edellyttää, että suorituskyky määritellään ja säilytetään asiayhteydessään.
Tämä on järkevä asenne kaikessa vakavassa arvioinnissa. Toistettava testi on osa näyttöketjua. Sillä on oltava omistaja, versioraja, muutoksen laukaisin ja yhteys operatiiviseen päätökseen, jota se tukee. Ilman näitä toistettavuudesta voi tulla jälleen yksi houkutteleva sana, joka kulkee pidemmälle kuin kokeilu.
Epävarmuus tarvitsee operatiivisen reitin
Epävarmuuden käytännön tarkoitus ei ole saada kojelautaa näyttämään hienostuneelta. Sen tarkoitus on muuttaa sitä, mitä järjestelmä saa tehdä. Jos pistemäärällä ei ole vaikutusta reititykseen, tarkasteluun, selitykseen, seurantaan tai pysäyttämiseen, se voi olla tekninen kuriositeetti eikä operatiivinen signaali. Jos se muuttaa toimenpidettä, organisaation on kuvattava reitti pistemäärästä toimivaltaan.
Kynnysarvo on yksi tällainen reitti, mutta se ei ole taikaviiva. Kynnysarvon asettaminen valitsee kompromissin virhetyyppien, työmäärän, viiveen ja mahdollisen haitan välillä. Kynnysarvo voi sopia matalan seurauksen tarkastelujonon priorisointiin ja olla sopimaton henkilön pääsyn epäämiseen palveluun. Sama numeerinen kynnysarvo voi tarkoittaa eri asioita, kun perustaso, virheen hinta, käytettävissä oleva oikaisu ja jälkikäteisen tarkastelun laatu muuttuvat. Toimittajan käsikirjassa ei odota yleispätevää varovaista lukua.
Tästä syystä päätössäännön tulisi kuvata muutakin kuin katkaisupisteen. Sen tulisi nimetä arvioitava tulos, pistemäärää tukeva näyttö, soveltamisalan ulkopuoliset tapaukset, olosuhteet, jotka pakottavat pidättäytymään, jäljellä olevan ihmisen toimivallan, säilytettävän tallenteen ja edellytykset säännön uudelleentarkastelulle. Kynnysarvo ilman näitä kumppaneita on päätös, joka on naamioitu konfiguraatioksi.
Hyödyllinen hypoteettinen esimerkki havainnollistaa asian keksimättä julkista tapausta. Tarkastellaan palvelua, joka käyttää mallin pistemäärää koulutetun tarkastajan saapuvien pyyntöjen lajitteluun. Näyttö voi tukea rajattua väitettä: pistemäärä voi auttaa järjestämään vertailukelpoisia pyyntöjä ilmoitetun saantikategorian sisällä, kun taas kaikki lopullinen priorisointi jää tarkastajalle. Sama näyttö ei tue matalan pistemäärän pyyntöjen automaattista hylkäämistä, koska se on eri toimenpide, jolla on eri seuraukset ja erilaiset näyttövaatimukset. Tuotos ei muuttunut. Sen toimivalta muuttui.
Väittäytymiselle on annettava sama vakavuus. Järjestelmä, joka osaa sanoa, että sen näyttö ei riitä, voi lyhyellä aikavälillä lisätä työtä, mutta pitkällä aikavälillä vähentää havaitsemattomia virheitä. Väittäytyminen on kuitenkin hyödyllistä vain, jos sillä on vastuullinen kohde. Jos epävarmat tapaukset katoavat jonoon, jolla ei ole omistajaa, järjestelmä on vain muuttanut epävarmuuden viiveeksi. Hyvä reitti kertoo, kuka tapauksen vastaanottaa, mitä he näkevät, miten he korjaavat sen ja miten korjaus vaikuttaa myöhempään arviointiin.
Syyväitteet tarvitsevat muutakin kuin ennen-jälkeen-kuvaajan
Todennäköisyysarvioita käytetään usein tukemaan väitteitä siitä, mitä tapahtuu, jos organisaatio toimii. Se on erilainen näytön tehtävä kuin sen ennustaminen, mitä historiallisessa aineistossa tapahtui. Malli voi arvioida, että tapaus muistuttaa muita tapauksia, joilla on tietty lopputulos. Se ei kuitenkaan osoita, että tapauksen muuttaminen, käytännön muuttaminen tai suosituksen noudattaminen saa lopputuloksen muuttumaan. Ennustamista ja interventiota ei pidä yhdistää vain siksi, että kuvaaja näyttää siistiltä.
Ennen-jälkeen-kuvaajat ovat erityisen houkuttelevia. Tiimi ottaa työkalun käyttöön, lopputulos muuttuu, ja työkalu saa kiitoksen tai syytöksen. Moni muu asia on voinut muuttua: palveluun tuleva väestö, dokumentaatio, henkilöstö, käytännöt, kausiluonteiset olosuhteet, ylävirran suodattimet tai itse mittaus. Havainto voi ansaita huomiota. Se ei ole syyjohtopäätös ennen kuin vertailu, vaihtoehtoiset selitykset ja jäljellä oleva epävarmuus on käsitelty.
Tämä on tärkeää tekoälyn hallinnoinnissa, koska järjestelmä voi olla toiminnallisesti vaikutusvaltainen kauan ennen kuin se on muodollisesti ratkaiseva. Luokittelu voi muuttaa sitä, minkä tietueen henkilö avaa ensin. Luottamusindikaattori voi työntää tarkastajan hyväksymään tuotoksen. Suositeltu toimenpide voi muuttua rutiiniksi, koska jono on kiireinen. Syypolkuun kuuluvat ihmisen tulkinta, käyttöliittymän suunnittelu, kannustimet, aikapaine ja käytettävissä oleva korjausreitti. Pelkän mallin arviointi ei voi kertoa koko tarinaa.
Kun syyväitteellä on merkitystä, näyttösuunnitelman pitäisi kertoa, mikä vertailu tekisi väitteestä uskottavamman ja mitä se ei vieläkään voisi sulkea pois. Kyseessä voi olla kontrolloitu testi, vaiheittainen käyttöönotto, riippumaton arviointi, huolellisesti rakennettu havainnoiva tutkimusasetelma tai päätös pidättäytyä syyväitteestä kokonaan. Tarkoitus ei ole vaatia akateemista täydellisyyttä jokaiselta toiminnalliselta muutokselta. Tarkoitus on sovittaa väitteen varmuus yhteen sen näytön kanssa, jota todella on saatavilla.
Tässä on hollantilaista maalaisjärkeä, vaikka se kantaa hyvin: jos olet mitannut vain, että tuuli muuttui, älä ilmoita suunnitelleesi sään uudelleen. Ennuste voi olla arvokas ilman, että siitä tulee tarina kausaliteetista. Rehellisyys ei ole perääntymistä. Se tekee tuloksesta käyttökelpoisen sellaiselle, jonka on päätettävä, mitä tehdä seuraavaksi.
Tarkkuus voi kätkeä huonon päätössäännön
Tarkkuus on usein hyödyllistä ja usein riittämätöntä. Järjestelmä voi saavuttaa korkean tarkkuuden silloin, kun yksi lopputulos on yleinen, mutta tarjota vain vähän apua tapauksissa, joilla on eniten merkitystä. Sillä voi olla vahva keskiarvo, mutta se toimii huonosti toiminnan rajan lähellä. Se voi tehdä oikeita ennusteita tarjoamatta todennäköisyysarvioita, jotka tukevat järkeviä kynnysarvoja. Se voi näyttää menestyvältä, koska vertailuarvolabeli on helppo ennustaa, vaikka itse labeli on heikko korvike sille päätökselle, joka palvelun on tehtävä.
Mikään tästä ei tarkoita, että tarkkuus olisi merkityksetöntä. Se tarkoittaa, että lukijan tulisi kysyä, mitä se mittaa ja mitä se jättää kehyksen ulkopuolelle. AI-asetus tunnustaa tämän kontekstin tarpeen käyttöohjeita koskevissa vaatimuksissaan: korkean riskin järjestelmien dokumentaation on sisällettävä suorituskykyominaisuudet ja rajoitukset, aiottu käyttötarkoitus, asiaankuuluvat tarkkuusmittarit, joita on käytetty järjestelmän testaamiseen ja validoimiseen, sekä tunnetut tai ennakoitavissa olevat olosuhteet, jotka voivat vaikuttaa odotettuun suorituskykyyn. Tarkkuusluvusta tulee hyödyllisempi, kun sen ympäröivät olosuhteet pysyvät mukana.
Hyvä toiminnallinen arviointi kysyy siis virhekuvioista, ei vain kokonaismääristä. Millaiset tapaukset luokiteltiin väärin? Mitkä olivat epävarmoja? Mitkä tapaukset jätettiin pois tai lähetettiin uudelleenarvioitaviksi? Mitä tapahtuu väärälle positiiviselle, väärälle negatiiviselle, viivästyneelle vastaukselle tai aiheettomalle pidättäytymiselle? Kuka voi havaita tuloksen, haastaa sen ja korjata tiedot? Nämä kysymykset palauttavat arvioinnin palvelun yhteyteen sen sijaan, että se jäisi mallille.
Voi myös olla hyödyllistä erottaa komponenttia koskeva näyttö työnkulun näytöstä. Komponenttitesti voi osoittaa mallin ominaisuuksia määritellyillä syötteillä. Työnkulun arviointi voi osoittaa, miten malli, käyttöliittymä, data, ihmiset ja käytäntö ovat vuorovaikutuksessa. Komponentilla voi olla vahva pisteytyskalibrointi, kun taas työnkulku tuottaa automaatioharhaa, koska käyttöliittymä piilottaa epävarmuuden. Työnkululla voi olla erinomainen arviointiprosessi, mutta se voi tukeutua komponenttiin, jonka lähdedata ei enää vastaa ilmoitettua soveltamisalaa. Testien on kohdattava jossakin.
Tuloksena oleva näyttö ei välttämättä ole suuri raportti. Se voi olla ytimekäs, versioitu tallenne, jos päätös on rajattu. Olennaista on, että toinen henkilö voi tarkastella väitettä, perusjoukkoa, menetelmää, tulosta, rajaa ja päätöstä. Tiedoston koko ei määrää päättelyn laatua. Lyhyt tallenne voi olla perusteellinen. Suuri esitys voi olla enimmäkseen tyhjää.
Muutos muuttaa eilisen näytön kysymykseksi
Jokaisella arviointituloksella on päivämäärä, myös silloin, kun päivämäärä on piilotettu. Mallit muuttuvat. Kehotteet muuttuvat. Datapohjat muuttuvat. Ylävirran lomake saa uuden kentän. Toimittaja muuttaa käytäntöä. Tiimi siirtää palvelun toiseen ympäristöön. Uusi ryhmä alkaa käyttää järjestelmää. Mittari lasketaan muuttuneen arviointiprosessin jälkeen. Jokainen muutos voi muuttaa väitettä, jota aiempi näyttö tuki.
Oikea vastaus ei ole ajaa kaikki testit uudelleen jokaisen muokkauksen jälkeen. On määriteltävä, mitkä muutokset ovat olennaisia millekin väitteille. Värin muutos ei välttämättä vaikuta todennäköisyyden kalibrointiin. Uusi syöttökanava voi vaikuttaa. Tarkistettu merkintäkäytäntö voi muuttaa tuloksen määritelmää. Uusi malliversio voi muuttaa sekä suorituskykyä että sen pisteiden tulkintaa. Järjestelmälle annetun toimivallan muutos voi mitätöidä päätössäännön, vaikka malli pysyisi bittitasolla samana. Testisuunnitelman tulisi tehdä nämä suhteet näkyviksi ennen kuin julkaisu on kätevää.
AI-asetuksen 9 artikla kuvaa jatkuvaa, iteratiivista riskinhallintaprosessia korkean riskin järjestelmille niiden koko elinkaaren ajan. Prosessiin kuuluu tunnettujen ja kohtuudella ennakoitavissa olevien riskien tunnistaminen ja analysointi, riskien arviointi ja arvioiminen, kun järjestelmää käytetään aiottuun käyttötarkoitukseen ja kohtuudella ennakoitavissa olevan väärinkäytön vallitessa, sekä riskinhallintatoimenpiteiden käyttöönotto. Arvioinnin kannalta asia on suora: näyttö ei ole kertaluonteinen seremonia julkaisun yhteydessä. Se kuuluu arvioinnin, muutoksen ja vastaamisen toimintajärjestelmään.
Seuranta ei tarkoita, että kerätään kaikki saatavilla olevat signaalit ja toivotaan, että jokin kaava esittäytyy itsestään. Se tarkoittaa, että päätetään, mikä havainto avaisi väitteen uudelleen käsittelyyn. Kalibrointitarkistus voidaan ajoittaa jakson, volyymin tai muuttuneen syöteseoksen mukaan. Kynnysarvoa voidaan tarkastella, kun jonopaine heikentää inhimillisen valvonnan laatua. Lähdemuutos voi keskeyttää käytön, kunnes asiaankuuluva testi on toistettu. Vakava seurantasuunnitelma kertoo, mitä seurataan, kuka seuraa, mihin viitearvoon verrattuna ja mitä toimia seuranta edellyttää.
Tämä on vaativampaa kuin mallikortti, joka on arkistoitu hankintapäivänä, mutta myös hyödyllisempää. Staattinen asiakirja voi säilyttää sen, mitä on väitetty. Elävä näyttörekisteri voi osoittaa, onko väitteellä edelleen sijaa. Todennäköisyyksiin perustuvassa järjestelmässä tämä ero on sama kuin ero sen välillä, että tietää tuloksen olleen olemassa, ja sen välillä, että tietää, tarkoittaako se edelleen sitä, mitä palvelu sen olettaa tarkoittavan.
Rekisterit antavat myöhemmälle lukijalle mahdollisuuden olla asiallisesti eri mieltä
Näyttö tarvitsee muistia. Myöhempi arvioija ei voi arvioida väitettä tuloksen kuvakaappauksen ja palaverimuiston perusteella. Hän tarvitsee versioidun kohteen: kysymyksen, syöttöolosuhteet, testaus- tai havainnointimenetelmän, tuloksen, rajaukset, epävarmuuden, päätöksen ja vastuuhenkilön. Hän saattaa myös tarvita tiedon siitä, mitä ei tallennettu. Rekisteri, joka tekee sokeat pisteensä näkyviksi, on hyödyllisempi kuin täydelliseltä näyttävä rekisteri, joka jättää järjestelmän tilan arvailujen varaan.
Suuririskisille tekoälyjärjestelmille AI-asetus edellyttää tapahtumien automaattista kirjaamista järjestelmän koko elinkaaren ajalta, ja kirjausominaisuuksien on oltava tarkoitukseen soveltuvia sekä hyödyllisiä riskien tunnistamisessa, markkinoille saattamisen jälkeisen seurannan tukemisessa ja toiminnan valvonnassa. Se edellyttää myös, että tekniset asiakirjat laaditaan ennen järjestelmän saattamista markkinoille ja että niitä pidetään ajan tasalla. Nämä vaatimukset eivät ole pelkkä kehotus kerätä enemmän lokitietoja. Ne ovat kehotus tehdä lokitiedoista ymmärrettäviä suhteessa järjestelmään, tarkoitukseen ja päätökseen.
Jäljitettävyys on erityisen tärkeää silloin, kun todennäköisyyttä tulkitsee ihminen. Jos arvioija näkee tuloksen, näyttörekisterin pitäisi mahdollistaa sen selvittäminen, mihin tulos liittyi, miten se esitettiin, mitkä tiedot tai lähteet olivat soveltamisalassa, mitä arvioija päätti ja tapahtuiko myöhempi korjaus. Ilman tätä ketjua tiimi voi saada tietää, että lopputulos oli väärä, mutta ei sitä, oliko ongelma syötteessä, mallissa, käyttöliittymässä, päätössäännössä vai sitä ympäröivässä inhimillisessä prosessissa.
Dwevellä AION on pieni ja osuva esimerkki laajemmasta periaatteesta, ei väite siitä, että näyttö voitaisiin pelkistää kryptografiaan. Sen julkinen kuvaus kertoo, että tuottaja voi lähettää tyypitetyn sertifikaatin tuloksen yhteydessä ja että AION tarkistaa sertifikaatin itsenäisesti alkuperäisiä lähtökohtia vasten. Tällainen tarkistettava rekisteri voi vahvistaa suppean väitteen siitä, seuraako tulos tallennetuista lähtökohdista. Se ei todista, että lähtökohdat olivat soveltuvia, että tehtävä oli oikeudenmukainen tai että käyttö oli asianmukaista. Näyttö vaatii sekä varmentamista että harkintaa.
Tämä rajoitus on syytä pitää mielessä, koska se estää yleisen kategoriavirheen. Täydellisesti säilynyt jälki voi osoittaa, mitä tapahtui. Se ei voi tehdä huonosti asetetusta kysymyksestä hyvää. Toistettavissa oleva päätös voi silti olla päätös, jota ei olisi koskaan pitänyt automatisoida. Rekisterin pitäisi auttaa myöhempää lukijaa esittämään molemmat kysymykset, ei vastata toiseen niistä ennenaikaisesti.
Luottamus voi olla rehellistä ilman, että se on hyödyllistä
Hyvin kalibroitu todennäköisyys voi silti olla hyödytön. Se voi olla liian laaja erottamaan tapaukset, jotka tarvitsevat erilaista käsittelyä. Se voi saapua liian myöhään vaikuttaakseen päätökseen. Se voi liittyä lopputulokseen, johon ei voi tarttua. Se voi olla niin epävarma, että jokainen tapaus vaatii saman tarkastelun. Nämä eivät ole rehellisyyden puutteita. Ne ovat hyödyllisyyden rajoja, ja ne tulisi myöntää varhain eikä vasta sitten, kun työnkulku on jo rakennettu pistemäärän ympärille.
Kääntäen, hyödyllisen järjestelmän ei tarvitse teeskennellä varmuutta. Vaatimaton signaali voi parantaa työn organisointia, jos sillä on kapea tarkoitus ja selkeä tarkastelureitti. Se voi auttaa operaattoria näkemään, mitkä tapaukset ansaitsevat toisen lähdetarkistuksen. Se voi valita pienen joukon laadunvarmistukseen. Se voi tuoda esiin ristiriidan tietueiden välillä. Näissä käytöissä näyttövaatimus koskee sitä, parantaako signaali kyseistä päätösprosessia tuomatta mukanaan hyväksymättömiä uusia virheitä tai riippuvuuksia. Signaalin ei tarvitse muuttua oraakkeliksi ansaitakseen paikkansa.
Siksi aiottu tarkoitus on ohjattava arviointia. OECD:n tekoälyperiaatteet edellyttävät merkityksellistä tietoa järjestelmien kyvyistä ja rajoituksista sekä jäljitettävyyttä suhteessa tietoaineistoihin, prosesseihin ja päätöksiin, jotta tuotoksia voidaan analysoida ja kyselyihin vastata. Periaatteet edellyttävät myös asianmukaista ihmisen toimijuutta ja valvontaa. Käytännön seuraus ei ole se, että jokainen käyttöliittymä tarvitsee todennäköisyysnäytön. Se on se, että järjestelmän näytön ja selityksen tulisi sopia henkilölle ja päätökselle, johon se vaikuttaa.
Epävarmuusarvon paljastamisesta ei ole palkintoa, jos käyttäjä ei voi tulkita tai hyödyntää sitä. Luku ilman päätösreittiä voi luoda läpinäkyvyyden teatteria. Se antaa ihmisille jotakin, mihin osoittaa, eikä mitään tapaa haastaa sitä. Parempi on näyttää olennainen raja selkokielellä, kuten tämä ehdotus on validoidun luokan ulkopuolella tai tämä tulos vaatii tarkastelua, koska käytettävissä oleva näyttö on puutteellista. Sopiva esitystapa seuraa operatiivista hallintaa, ei toisin päin.
Samasta syystä luottamuspistemäärää ei tulisi kohdella moraalisen arvon, uskottavuuden tai oikeutuksen mittana. Se on tekninen lausuma, jolla on rajallinen näyttösopimus. Se voi auttaa prosessia. Siitä ei tulisi tulla epämääräistä sosiaalista luokitusta vain siksi, että sen numeerinen muoto saa sen näyttämään ratkaisevalta.
Organisaatio omistaa päättelyn
Toimittajat voivat tarjota malleja, dokumentaatiota, pistemääriä ja testituloksia. He eivät voi hiljaa omistaa jonkun toisen palvelussa tehdyn päätöksen merkitystä. Organisaation, joka yhdistää todennäköisyyspohjaisen tuotoksen toimintaan, on päätettävä, mihin väitteeseen se luottaa, mikä populaatio on merkityksellinen, mikä kynnysarvo on hyväksyttävä, kuka tarkistaa poikkeukset, mitkä tiedot säilytetään ja milloin näyttö on vanhentunut. Sopimuksilla voidaan jakaa tehtäviä. Ne eivät poista harkinnan tarvetta.
Tämä tulee näkyväksi hankinnoissa. Ostajan tulisi kysyä mahdolliselta toimittajalta pelkän päämittarin lisäksi myös arviointikysymystä, populaatiota, merkintöjä, poissulkuja, versioita, vaihtelua, kalibrointimenetelmää, jos todennäköisyysväite esitetään, tunnettuja rajoitteita ja muutospolitiikkaa. Tarkoitus ei ole vaatia sellaista tietojen luovutusta, jota toimittaja ei voi lainmukaisesti antaa. Tarkoitus on selvittää, pystyykö ostaja ymmärtämään väitteen rajat riittävän hyvin käyttääkseen sitä vastuullisesti eurooppalaisessa toimintaympäristössä.
Vastaus voi joskus olla, että näyttö ei riitä aiottuun käyttöön. Se ei ole epäonnistunut hankintaprosessi. Se on hankintaprosessi, joka tekee varsinaisen työnsä ennen kuin organisaatio on tehnyt itsensä riippuvaiseksi selittämättömästä pistemäärästä. Pienempi ja tarkastettavissa oleva käyttö voi silti olla mahdollista. Toinen toimittaja voi olla sopiva. Tai päätös voi jäädä ihmiselle, koska näyttö ja korjausreitti eivät ole riittävän vahvoja automatisoinnin oikeuttamiseksi. Kielteisen vastauksen antaminen on osa näytön kurinalaisuutta.
Näytöllä on oltava nimetty omistaja myös käyttöönoton jälkeen. Jonkun on oltava vastuussa sen tarkistamisesta, onko populaatio muuttunut, paljastavatko tarkastukset uuden virhekuvion, sopiiko kynnysarvo edelleen työmäärään, voidaanko tietoja tulkita ja käynnistääkö muutos uudelleenarvioinnin. Omistajan ei tarvitse henkilökohtaisesti suorittaa jokaista testiä. Mutta jos mikään rooli ei omista päättelyä, järjestelmä saa vähitellen auktoriteettia tottumuksen kautta. Tottumus on huono korvike päätöstietueelle.
Vaikein osa on usein kulttuurillinen. Tiimit ovat tottuneet esittelemään onnistuneet mallit tuotteina ja epäonnistuneet mallit tutkimuksena. Todennäköisyyspohjainen näyttö pyytää heitä säilyttämään väliin jäävän epäselvyyden: hyödyllinen, rajattu, seurattu ja ei vielä valtuutettu laajenemaan pidemmälle kuin näyttö tukee. Se voi kuulostaa vähemmän jännittävältä. Se on kestävämpää.
Mitä oikeasuhtainen näyttötietue sisältää
Sopiva tietue riippuu käytöstä. Kirjoittajan käyttämä luonnosteluapu on erilaisin seurauksin kuin järjestelmä, joka vaikuttaa pääsyyn julkiseen palveluun. Silti oikeasuhtaisella tietueella on tunnistettava muoto. Se yksilöi väitteen ja aiottuun tarkoitukseen. Se yksilöi mallin, konfiguraation ja ympäröivän työnkulun. Se määrittelee lopputuloksen ja populaation, joita käytettiin väitteen arviointiin. Se säilyttää menetelmän, tuloksen ja merkitykselliset rajoitteet. Se yksilöi päätössäännön, omistajan, tarkastusreitin ja muutoksen laukaisevat tekijät. Jokainen kenttä antaa myöhemmälle lukijalle paikan, josta aloittaa.
Tietueen tulee erottaa mittaus tulkinnasta. Mitattu havainto voi sanoa, että tietyllä aineistolla ja ajanjaksolla ilmoitettu pistemäärien joukko vastasi havaittuja lopputuloksia kuvatulla vaihteluvälillä. Tulkinta voi sanoa, että tämä tukee käyttöä tarkastelun järjestyssignaalina määrätyin rajoittein. Päätös voi sanoa, että järjestelmää saa käyttää tähän tarkoitukseen, kunnes ilmoitettu muutoksen laukaiseva tekijä tapahtuu. Kaikkien kolmen lauseen sijoittaminen otsikon suorituskyky alle on tehokasta vain, jos kenenkään ei tarvitse koskaan haastaa päättelyä.
Sen pitäisi myös tehdä tuntemattomista käytettäviä. Ehkä merkinnät viivästyvät. Ehkä pienellä kieliryhmällä ei ole riittävästi tapauksia vakaaseen kalibrointiarviointiin. Ehkä käyttöönotto on uusi, eikä operatiivista näyttöä ole vielä. Tietue voi todeta tämän, asettaa käytölle väliaikaisen rajoituksen, järjestää lisää havainnointia tai säilyttää ihmisen tekemän reitin. Tuntemattoman teeskenteleminen ratkaistuksi vain siksi, että malli tuotti luvun, muuttaa epävarmuuden dokumentoimattomaksi vastuuksi.
Visuaalinen kurinalaisuus on hyödyllistä tässä. Piirrä ketju syötteestä pistemäärään, pistemäärästä näytettyyn selitykseen, selityksestä ihmisen toimintaan ja toiminnasta havaittuun lopputulokseen ja korjaukseen. Piirrä, missä tila tallennetaan, missä se menetetään ja missä ihminen voi pysäyttää tai kääntää polun. Jos tiimi ei pysty piirtämään reittiä, se ei todennäköisesti pysty arvioimaan sitä. Kaaviot eivät korvaa näyttöä. Ne estävät näytön kohdistamisen järjestelmän väärään osaan.
Ennen kaikkea kirjoita ylös, mitä tietue ei vahvista. Se ei välttämättä vahvista kausaalisuutta. Se ei välttämättä vahvista oikeudenmukaisuutta kaikkien ryhmien välillä. Se ei välttämättä vahvista käyttäytymistä toimittajan vaihdoksen jälkeen. Se ei välttämättä vahvista soveltuvuutta merkittävämpään toimenpiteeseen. Nämä ei-väitteet eivät ole anteeksipyyntö. Ne pitävät rajatun arvioinnin käyttämättä yleisenä valtuutuksena.
Näyttö ansaitsee oikeuden pysyä epävarmana
On houkutus ajatella, että arvioinnin tavoite on poistaa epävarmuus. Usein parempi tavoite on paikantaa se. Todennäköisyyksiin perustuva järjestelmä ei ole puutteellinen siksi, että se ei pysty muuttamaan jokaista tapausta varmuudeksi. Siitä tulee vaarallinen, kun organisaatio kohtelee epävarmuutta yksityisenä teknisenä yksityiskohtana samalla kun se antaa tulokselle julkisen auktoriteetin. Työnä on päättää, mikä epävarmuus on siedettävää, näkyvää ja korjattavissa käsillä olevaan tarkoitukseen.
Päätöksen pitäisi tulla vaativammaksi seurausten kasvaessa. Vähämerkityksinen ehdotus voi tarvita selkeän soveltamisalan, näkyvän rajoituksen ja helpon korjauksen. Järjestelmä, joka vaikuttaa oikeuksiin, turvallisuuteen, pääsyyn tai aineelliseen mahdollisuuteen, tarvitsee vahvempaa näyttöä koko prosessista, huolellisempaa seurantaa, merkityksellistä ihmisen auktoriteettia sekä reitin haastamiseen ja hyvitykseen. Mallin pistemäärä ei yksin määritä tuota standardia. Sen vaikutus, mitä sen perusteella tehdään, määrittää.
Yksittäinen onnistunut suoritus voi silti olla säilyttämisen arvoinen. Se voi olla ensimmäinen näyte hyödyllisessä tietueessa. Se voi paljastaa kyvyn, vikatilan tai kysymyksen, joka ansaitsee asianmukaisen arvioinnin. Mutta sen pitäisi pysyä näytteenä, kunnes organisaatio on testannut väitteen, johon se haluaa luottaa. Etäisyys näiden kahden asian välillä on se, missä vastuullinen suunnittelu elää.
Joten vastaus siihen, mitä lasketaan näytöksi, kun kone on todennäköisyyksiin perustuva, ei ole pistemäärä, kaavio tai vaatimustenmukaisuusmerkintä. Se on rajattu argumentti: tämä tulos, tähän kysymykseen, tässä populaatiossa ja ajanjaksossa, näissä olosuhteissa, on havaittu tällä tavalla; tämä on se, mitä voimme päätellä; tämä on se, mitä emme voi päätellä; ja tämä on se toimenpide, jonka muuttaa olemme tai emme ole valmiita sallimaan. Tuo argumentti ei ole loistokas. Se on tarkastettavissa, mikä on parempi.