Mallin luottamus ei ole institutionaalista luottamusta
Varma vastaus, jonka omistajuutta kukaan ei halunnut ottaa
Malli oli varma. Hyvin varma. Se palautti arvon 0,94, nosti esiin kolme tukevia kohtia ja suositteli, että tapaus voitaisiin sulkea ilman eskalaatiota. Operatiivinen tiimi oli odottanut tätä hetkeä. Työjonossa oli rumaa jälkeä, palveluikkuna oli kapea ja uusi avustaja oli koulutettu, arvioitu, viritetty, siunattu ohjausryhmän toimesta ja esitelty kaaviolla, joka nousi kohteliaasti vasemmalta oikealle. Pisteet 0,94 tuntuivat luvalliselta hengähdystauolta.
Sitten tapauskäsittelijä rypisti otsaansa. Tukevat kohdat olivat peräisin oikeasta politiikka-asiakirjasta, mutta eivät siitä versiosta, joka oli tullut voimaan edellisellä viikolla. Asiakastietueesta puuttui äskettäinen korjaus. Eskalaatiosääntö riippui paikallisesta poikkeuksesta, jota ei ollut hakuhakemistossa. Malli oli vastannut kysymykseen, jonka se näki. Laitoksen oli vastattava toiminnasta, joka seuraisi. Nämä eivät ole sama asia.
Huone teki sen, mitä huoneet tekevät, kun luottamus kohtaa vastuun. Joku kysyi, oliko pistemäärä kalibroitu. Joku muu kysyi, oliko mallilla pääsy uuteen politiikkaan. Esimies kysyi, mitä tapahtuisi, jos tapaus suljettaisiin ja valitus saapuisi. Kehittäjä sanoi, että avustajalla ei ollut kirjoitusoikeutta, mikä oli totta ja ei aivan olennaista. Järjestelmä saattoi silti muokata ihmisen päätöstä. Se saattoi painaa peukalolla operatiiviseen vaakakuppiin koskematta teknisesti mihinkään. Tämä on suosittu temppu vakavien työkalujen keskuudessa.
Mallin luottamus ei ole institutionaalista luottamusta. Mallin luottamus kertoo jotakin järjestelmän arviosta omasta tuotoksestaan niissä olosuhteissa, joita sen koulutus, haku, kehote tai pisteytysmenetelmä edustaa. Institutionaalinen luottamus kysyy, onko organisaatiolla perusteita toimia tuon tuotoksen pohjalta tässä tapauksessa, tällä hetkellä, tämän politiikan mukaisesti, tämän näytön kanssa, tämän työnkulun kautta, tälle henkilölle, tämän palautumispolun kanssa. Toinen on signaali. Toinen on vastuu.
Mitä mallin luottamus itse asiassa kertoo
Luottamus on ylikuormitettu sana. Luokittimessa se voi olla todennäköisyyden kaltainen pistemäärä, joka on annettu parhaalle luokalle. Kielimallijärjestelmässä se voi olla johdettu arvio, samankaltaisuuspistemäärä, uudelleenjärjestäjän tulos, epävarmuuden heuristiikka, kalibroitu kääre tai yksinkertaisesti tuotetun vastauksen näkyvä kiillotus. Joskus se on matemaattisesti merkityksellinen. Joskus se on merkki, joka on tehty tunnelmista ja desimaaleista. Desimaali on vaarallinen osa. Ihmisistä tulee tottelevaisia, kun numerossa on kaksi desimaalia.
Kunnollinen luottamusluku vaatii kalibroinnin. Jos järjestelmä ilmoittaa olevansa 80 prosentin varma tietystä tapausjoukosta, noin 80 prosentin näistä ennusteista pitäisi olla oikeita sillä tavalla kuin mittari määrittelee oikeellisuuden. Kalibrointi ei ole taikatemppu. Se riippuu arviointiaineistosta, perusjoukosta, tehtävän määrittelystä, aineiston laadusta ja siitä, muistuttaako todellinen käyttö vielä testiolosuhteita. Hyvin kalibroitu malli yhdellä alueella voi muuttua huonosti kalibroiduksi, kun työnkulku muuttuu, käyttäjäkunta muuttuu tai lähdeasiakirjat alkavat kantaa uusia nimiä, koska komitea löysi brändäyksen.
Kalibroitu luottamus on silti kapea käsite. Se voi kertoa, että malli valitsee usein oikean tunnisteen, kun sille annetaan täydellistä, tuttua aineistoa. Se ei kerro, että toimintatapa on ajantasainen, että aineisto on lainmukaisesti soveltamisalassa, että jatkotoimi on oikeasuhtainen, että ihmiskäyttäjä ymmärtää epävarmuuden tai että organisaatio pystyy korjaamaan vahingon. Malli voi olla tilastollisesti varma ja toiminnallisesti epäpätevä. Luku on hyödyllinen todistaja. Se ei ole tuomari, kirjaaja, haastemies ja valitusvirasto.
Kielimallijärjestelmät mutkistavat tätä entisestään, koska sujuvuus naamioituu luottamukseksi. Malli voi kirjoittaa huolellisen vastauksen ylijohtajan sävyyn ja olla silti väärässä siitä ainoasta kohdasta, jolla on merkitystä. Epäröivä vastaus voi olla oikea. Varma vastaus voi olla hyvin puettu arvaus. Toiminnallisessa suunnittelussa on siksi erotettava mallin ilmaisu mallin takeesta. Kysymys ei ole siitä, kuinka varmalta tuotos kuulostaa. Kysymys on siitä, mikä näyttö oikeuttaa laitoksen käyttämään sitä.
Institutionaaliseen luottamukseen kuuluu enemmän osia
Laitos tulee varmaksi automatisoidusta tai avustetusta päätöksestä vasta, kun useat edellytykset täyttyvät. Näyttö on olennaista ja ajantasaista. Malli tai sääntö on pätevä tämänkaltaisessa tapauksessa. Toimintatapa on tiedossa ja voimassa. Työnkululla on valtuudet toimia. Käyttäjä näkee epävarmuuden. Tietue on tarkastettavissa myöhemmin. Asianosaisella on mahdollisuus riitauttaa tai korjata lopputulos, kun kyseessä ovat oikeudet tai merkittävät edut. Toiminta pystyy havaitsemaan poikkeamat, pysäyttämään järjestelmän ja toipumaan virheistä. Yksikään näistä edellytyksistä ei sisälly raakaan mallin luottamuslukuun.
Siksi 0,94:n vastaus voi silti olla ei. Jos lähdetietue on vanhentunut, laitoksen ei pidä toimia. Jos malli on soveltamisalan ulkopuolella, sen ei pidä toimia. Jos luottamusluku kalibroitiin eri perusjoukolla, sen ei pidä toimia ilman lisätarkistuksia. Jos jatkotoimi on peruuttamaton, institutionaalisen luottamuksen kynnys nousee. Jos ihminen ei ymmärrä, miksi suositus tehtiin, laitoksella voi olla tarvetta arviointipolulle, vaikka luku olisi korkea. Luku on ainesosa, ei ateria.
Myös päinvastoin on totta. Malli, jonka luottamus on vaatimaton, voi tukea korkeaa institutionaalista luottamusta, kun työnkulku on suunniteltu asianmukaisesti. 0,62:n suositus voi riittää tapauksen ohjaamiseen asiantuntijalle, koska seuraus on huomio eikä kieltäytyminen. Matalan luottamuksen yhteenveto voi auttaa työntekijää löytämään olennaiset asiakirjat nopeammin, jos käyttöliittymä merkitsee sen selvästi oppaaksi eikä johtopäätökseksi. Epävarmuus ei ole epäonnistumista, kun järjestelmä tietää, minkälaista toimintaa epävarmuus saa tukea.
Institutionaalinen luottamus on siis toimintakohtaista. Sama mallin tuotos voi olla hyväksyttävä hakutoiminnon avuksi, kyseenalainen priorisointiin ja mahdoton automaattiseen hylkäämiseen. Se voi sopia sisäiseen seulontaan mutta ei ulkoiseen selittämiseen. Se voi olla hyödyllinen tutkinnan aikana mutta ei riittävä täytäntöönpanoon. Vakava tekoälytoiminta ei kysy, onko malli yleisesti varma. Se kysyy, mihin organisaatio on riittävän varma ryhtyäkseen.
Luottamuksen pesun vaara
Luottamuksen pesua tapahtuu, kun epävarmuus muuttuu toimivallaksi sen kulkiessa organisaation läpi. Malli tuottaa todennäköisyyden. Koontinäyttö pyöristää sen. Työnkulku muuttaa sen vihreäksi. Esimies kutsuu sitä suositukseksi. Työntekijä kokee sen odotettuna. Myöhemmin auditoija lukee tapahtuman kuvauksen ja näkee, että päätöstä tuki tekoäly. Jokaisessa vaiheessa epävarmuus menettää hieman painoaan ja saa hieman asemaa. Lopulta tilastollinen vihje on pukeutunut pukuun.
Tämä pesu on harvoin tahallista. Sitä tapahtuu, koska organisaatiot pitävät selkeistä tiloista. Jonot tarvitsevat prioriteetteja. Henkilöstö tarvitsee ohjeita. Esimiehet tarvitsevat raportteja. Järjestelmät tarvitsevat painikkeita. Niinpä pisteestä tulee merkintä, merkinnästä reitti, reitistä suoritustavoite ja suoritustavoitteesta kulttuurinen odotus. Mallia voidaan edelleen kutsua neuvoa-antavaksi, mutta neuvo, jonka huomiotta jättämisestä kaikkia rangaistaan, ei ole neuvo. Se on käsky pehmeämmässä hatussa.
Käyttöliittymät voivat nopeuttaa pesua. Vihreät merkit, varmat sanamuodot, oletuksena valitut hyväksymispainikkeet, piilotetut näyttöpaneelit ja puuttuvat epävarmuuden selitykset saavat mallin ehdotuksen tuntumaan todellista arvovaltaisemmalta. Mittarit voivat tehdä samoin. Jos tiimejä palkitaan läpimenosta, ne oppivat hyväksymään suositukset, ellei järjestelmä tee eri mieltä olemisesta helppoa ja hyväksyttävää. Koulutus voi myös vaikuttaa, etenkin kun ihmisille kerrotaan mallin tulleen validoitua kertomatta, missä validointi päättyy.
Luottamuksen pesun estäminen vaatii kitkaa oikeissa kohdissa. Ei satunnaista byrokratiaa, vaan merkityksellistä erottelua signaalin ja päätöksen välillä. Käyttöliittymän tulisi näyttää luottamus yhdessä lähteen laadun, politiikan soveltamisalan ja tunnettujen rajoitusten kanssa. Työnkulun tulisi erottaa suositus, vaatimus ja toimi. Ohituksen tulisi olla mahdollista ja informatiivista. Arvioinnin tulisi käynnistyä seurausten, ei vain alhaisen pistemäärän perusteella. Kirjauksen tulisi säilyttää se, mitä malli sanoi ja mitä instituutio päätti, koska ne voivat erota ja usein niiden pitäisikin erota.
Luottamus pettää toiminnallisilla tavoilla
Mallin luottamus voi pettää syistä, jotka eivät koskaan näy vertailuarvossa. Malli voi olla kalibroitu täydellisille tapauksille, kun taas tuotanto on täynnä osittaisia tietueita. Haku voi jättää huomaamatta sen yhden asiakirjan, joka muutti vastauksen. Politiikkapäivitys voi jäädä indeksistä jälkeen. Lomakekenttää voidaan käyttää eri tavalla yhdellä alueella. Käännös voi tasoittaa oikeudellisen eron. Toimittaja voi muuttaa ylävirran taksonomiaa. Ihmistiimi voi sopeutua malliin ja muuttaa datan jakautumaa. Tuotannolla on lahja löytää se osa arvioinnista, jota kukaan ei kutsunut kokoukseen.
Nämä epäonnistumiset ovat toiminnallisia, eivät pelkästään tilastollisia. Ne johtuvat datan tuoreudesta, työnkulun kytköksistä, luovutuksen ajoituksesta, käyttöoikeuksista, versiohallinnasta, koulutuksesta, kannustimista ja tukiprosesseista. Mallin arviointi voi varoittaa joistakin niistä, mutta tekoälyoperaatioiden on hallittava niitä päivittäin. Se tarkoittaa muutakin kuin tarkkuuden seurantaa. Seuraa lähteen tuoreutta, puuttuvia kenttiä, hakukattavuutta, ohitusprosentteja, valitusten lopputuloksia, kohorttieroja, viivettä, jonovaikutuksia ja sitä, käytetäänkö mallia tehtäviin, jotka ovat sen ilmoitetun käyttötarkoituksen ulkopuolella.
Luottamus voi myös pettää, koska seuraukset ovat muuttuneet. Luonnosteluun käytetyllä mallilla on yksi riskiprofiili. Samalla mallilla päätöksentekoon on toinen. Luokittelijalla, jota käytetään sisäisen huomion priorisointiin, on yksi riskiprofiili. Samalla luokittelijalla palvelun epäämiseen on toinen. Pistemäärä ei muuttunut, mutta institutionaalinen merkitys muuttui. Siksi käyttötarkoituksen rajaaminen on tärkeää. Mallikortti tai arviointiraportti ei ole pysyvä passi. Se on lausunto käytöstä tietyissä olosuhteissa. Kun käyttö muuttuu, lausunto on tarkistettava.
Tylsimmät epäonnistumiset ovat usein tärkeimpiä. Malli on kunnossa, mutta hälytys menee postilaatikkoon, jota kukaan ei omista. Kynnysarvo on oikea, mutta poikkeusjono on alimiehitetty. Käytäntö on ajantasainen, mutta välimuistissa oleva kehote ei ole. Palautussuunnitelma on olemassa, mutta vain yksi henkilö osaa toteuttaa sen, ja tämä henkilö on konferenssissa oppimassa resilienssistä. Alankomaalaisella suunnittelulla on taipumus sellaiseen ajoitukseen. Institutionaalinen luottamus riippuu tylsistä kontrolleista juuri siksi, että tylsillä epäonnistumisilla on todellisia seurauksia.
Kalibrointi on tapa, ei todistus
Tiimit pitävät todistuksista, koska todistukset tulevat valmiiksi. Kalibrointi ei tule valmiiksi. Malli voi olla kalibroitu tammikuussa ja epäkalibroitu huhtikuussa, koska tapausten rakenne muuttui, henkilöstö muutti toimintaansa, toimintatapa muuttui tai ylävirran dataputki lakkasi hiljaa täyttämästä kenttää. Kalibrointi on tapa tarkistaa, vastaako järjestelmän epävarmuus edelleen havaittuja tuloksia nykyisessä käytössä.
Tämä tapa vaatii osa-alueita. Kokonaistarkkuus on liian karkea mittari. Malli voi toimia hyvin keskimäärin, mutta epäonnistua tietyllä alueella, kielellä, tapaustyypillä, asiakirjan laatutasolla tai rajaehdolla. Institutionaalinen luottamus syntyy siitä, että tiedetään, missä malli on luotettava, missä se on heikko ja missä sitä ei pitäisi käyttää lainkaan. Ilmaus ei pitäisi käyttää lainkaan on tärkeä. Kaikkia heikkouksia ei tarvitse ratkaista paremmalla mallilla. Joistakin heikkouksista pitäisi tulla käytön rajoituksia.
Kalibrointi vaatii myös tulosten määrittelyä. Oikein mihin nähden. Yhteenveto voi olla asiallisesti oikea, mutta jättää pois sen tiedon, jota työntekijä tarvitsi. Suositus voi vastata aiempia päätöksiä, vaikka ne päätökset eivät olleet oikeudenmukaisia. Riskipistemäärä voi ennustaa tutkinnan tuloksia, vaikka tutkinnat kohdennettiin epätasaisesti. Institution on määriteltävä onnistuminen suhteessa tehtävään ja oikeuksiin, ei vain historialliseen yhdenmukaisuuteen. Muuten mallista tulee erinomainen toistamaan sitä, mitä organisaatio ennen teki. Monilla instituutioilla on jo henkilöitä sitä varten.
Lopuksi kalibrointi vaatii omistajuutta. Jonkun on vastattava sen seuraamisesta, selittämisestä ja siihen reagoimisesta, kun se muuttuu. Omistajalla on oltava valtuudet säätää kynnysarvoja, keskeyttää työnkulku, vaatia ihmisen tekemää tarkistusta, päivittää tietolähteitä tai nostaa hallintopäätöksiä ylemmälle tasolle. Seuranta ilman valtuuksia on teatteria. Valtuudet ilman seurantaa ovat optimismia. Näiden pitäisi kohdata ennen välikohtausta, mieluiten huoneessa, jossa on vähemmän leivoksia ja enemmän lokitietoja.
Suunnittelu asianmukaista luottamista varten
Tavoitteena ei ole saada ihmisiä epäluottamaan malleja. Kaikenkattava epäluottamus on laiskuutta vastakkaiseen suuntaan. Tavoitteena on asianmukainen luottaminen: ihmisten ja työnkulkujen tulisi luottaa järjestelmään siinä määrin kuin näyttö, soveltamisala ja seuraukset oikeuttavat. Se määrä muuttuu. Se voi olla korkea päällekkäisyyksien tunnistuksessa, keskitasoinen seulonnassa, matala lopullisissa päätöksissä ja nolla soveltamisalan ulkopuolisissa tapauksissa. Kypsä toiminta voi pitää kaikki nämä asemat samanaikaisesti tuntematta filosofista epäsiisteyttä.
Asianmukainen luottaminen asettaa vaatimuksia käyttöliittymälle. Näytä, mitä malli tekee ja mitä se ei tee. Esitä luottamus rajallisena signaalina, ei tuomiona. Näytä lähteiden kattavuus ja tuoreus silloin, kun niillä on merkitystä. Merkitse selkeästi tapaukset, jotka ovat soveltamisalan ulkopuolella. Tee eriävä mielipide mahdolliseksi ilman, että se vahingoittaa uraa. Tallenna erimielisyyden syyt, jotta järjestelmä voi kehittyä ja organisaatio voi oppia. Ihminen silmukassa on hyödyllinen vain, jos silmukka antaa ihmiselle tilaa olla oikeassa.
Se asettaa vaatimuksia myös työnkululle. Käytä toimintakynnyksiä seurausten perusteella. Vähäriskinen ehdotus voi edetä nopeammin kuin suuren vaikutuksen kieltävä päätös. Vaadi tarkistusta, kun näyttö on puutteellista, soveltamisala on epäselvä tai tulos on ristiriidassa tunnetun politiikan kanssa. Erota luonnosteluapu päätösvaltuudesta. Pidä mallipäivitykset ja politiikkapäivitykset koordinoituina. Suorita varjokokeita ennen käytön laajentamista. Testaa palautus. Harjoittele pysäytystä. Pysäytyspainike on hallintaväline, ei tunnustus epäonnistumisesta.
Asianmukainen luottaminen asettaa vaatimuksia myös kulttuurille. Henkilöstö on koulutettava ymmärtämään, mitä luottamus tarkoittaa ja mitä se ei tarkoita. Heille on annettava lupa haastaa järjestelmä. Esimiesten on kohdeltava ohituksia signaalina, ei tottelemattomuutena. Hallintotiimien on esitettävä toiminnallisia kysymyksiä, ei vain vaatimustenmukaisuuskysymyksiä. Insinöörien on tiedettävä, että korkea vertailuarvo ei lopeta keskustelua. Kaikki saavat hieman lisää työtä. Näin aikuismaiset järjestelmät tehdään.
Luottamusrekisteri
Käytännöllinen työkalu tekoälytoimintaan on luottamusrekisteri. Ei suurta asiakirjaa, vaan ylläpidetty kartta siitä, mistä institutionaalinen luottamus syntyy kunkin automatisoidun tai avustetun toiminnon kohdalla. Tiettyä työnkulkua varten rekisteri nimeää mallin tai säännön, sallitun käytön, näytelähteet, kalibrointinäytön, tunnetut rajoitteet, toimintakynnykset, vaaditut ihmistarkistukset, seurantasignaalit, omistajan ja palautuspolun. Jos tämä kuulostaa itsestäänselvyydeltä, onnittelut. Itsestäänselvät asiat ovat usein niitä, jotka puuttuvat häiriötilanteissa.
Rekisterin on erotettava mallin luottamus päätöksen luottamuksesta. Sen on sanottava esimerkiksi, että mallin pistemäärä yli 0,85 riittää reitin ehdottamiseen, kun lähteen tuoreus on alle 24 tuntia, tapaustyyppi on soveltamisalan sisällä, mikään poissulkusääntö ei laukea ja käyttäjä näkee näyttöpaneelin. Sen on myös sanottava, että sama pistemäärä ei riitä tapauksen automaattiseen sulkemiseen tai että automaattinen sulkeminen edellyttää lisäpolitiikkatarkistuksia ja valitusilmoitusta. Arvo on pistemäärän ympärillä olevissa ehdoissa.
Tällainen rekisteri auttaa muutoksessa. Kun tietolähde muuttuu, vaikutuksen alaiset luottamusväitteet ovat näkyvissä. Kun kynnys liikkuu, syy kirjataan. Kun valitusmalli ilmaantuu, työnkulku voidaan tarkistaa. Kun mallipäivitys julkaistaan, rekisteri näyttää, mitkä toiminnot tarvitsevat tuoreen kalibroinnin. Kun esimies kysyy, miksi korkean luottamuksen vastaus vaatii silti tarkistuksen, vastaus ei ole, että hallinto niin sanoo. Vastaus on, että institutionaalisella luottamuksella on ehtoja, ja yksi niistä puuttuu.
Rekisteri auttaa myös välttämään ylilupaamista. Se antaa organisaatiolle mahdollisuuden sanoa, missä järjestelmä on vahva, teeskentelemättä että vahvuus on yleismaailmallista. Tämä on toiminnallisesti hyödyllistä. Ihmiset voivat luottaa järjestelmään siellä, missä se on ansainnut luottamuksen, ja kiertää sen siellä, missä se ei ole. Luottamuksesta tulee vähemmän iskulause ja enemmän ylläpidettyjen oikeuksien joukko. Hieman vähemmän sankarillista, paljon vähemmän kallista.
Opetus
Mallin luottamuspiste on hyödyllinen. Se voi auttaa luokittelemaan, reitittämään, varoittamaan ja päättämään, kun se yhdistetään oikeisiin hallintakeinoihin. Se voi näyttää epävarmuuden rehellisemmin kuin ihmisen arvaus. Se voi tukea parempaa toimintaa, kun se on kalibroitu, valvottu ja asetettu työnkulkuun, joka ymmärtää seuraukset. Ongelma alkaa, kun pisteeltä vaaditaan auktoriteettia, jota se ei ole koskaan ansainnut.
Institutionaalinen luottamus on painavampi asia. Se sisältää mallin suorituskyvyn, mutta myös näytön laadun, politiikan sopivuuden, oikeudellisen soveltamisalan, toimijan ymmärryksen, auditoitavuuden, oikaisumahdollisuudet, seurannan, omistajuuden ja palautumisen. Se kysyy, voiko organisaatio seisoa toiminnon takana, selittää sen, haastaa sen ja korjata sen. Tämä on laajempi testi kuin se, kuulostiko malli varmalta.
Käytännön kuri on pitää nämä kaksi luottamusta erillään. Anna mallin raportoida epävarmuutensa. Anna instituution päättää, mitä tuo epävarmuus saa tehdä. Kirjaa olosuhteet. Seuraa niitä. Käy ne uudelleen läpi. Opeta ihmisille, että korkea luottamus ei ole käsky eikä matala luottamus ole aina hyödytön. Luottamuksesta tulee hyödyllistä, kun se liitetään toimintaan huolellisesti.
Asiakastyöntekijä kokouksessa oli oikeassa rypistäessään otsaansa. Malli ei ollut epäonnistunut tuottaessaan 0,94. Instituutio olisi epäonnistunut, jos se olisi kohdellut 0,94:a lupana lopettaa ajattelu. Vakava tekoälytoiminta alkaa siinä pienessä tauossa varman vastauksen ja vastuullisen toiminnan välillä. Se ei ole glamouria. Siellä luottamus todella rakennetaan.