Zaupanje modela ni institucionalno zaupanje
Samozavesten odgovor, ki ga ni hotel nihče prevzeti
Model je bil samozavesten. Zelo samozavesten. Vrnil je 0,94, označil tri podporne odlomke in priporočil, da se zadeva lahko zaključi brez eskalacije. Operativna ekipa je čakala na ta trenutek. Zaostanek je bil grd, servisno okno ozko, novi asistent pa je bil usposobljen, ovrednoten, prilagojen, blagoslovljen s strani usmerjevalne skupine in predstavljen z grafom, ki se je vljudno dvigal od leve proti desni. Ocena 0,94 je delovala kot dovoljenje za dihanje.
Potem se je delavec za zadeve namrščil. Podporni odlomki so prihajali iz pravega pravilnika, vendar ne iz različice, ki je začela veljati prejšnji teden. V zapisu stranke je manjkal nedavni popravek. Pravilo eskalacije je bilo odvisno od lokalne izjeme, ki je ni bilo v indeksu za iskanje. Model je odgovoril na vprašanje, ki ga je videl. Institucija je morala odgovarjati za dejanje, ki bi sledilo. To nista ista stvar.
Prostor je naredil to, kar prostori naredijo, ko se samozavest sreča z odgovornostjo. Nekdo je vprašal, ali je bila ocena umerjena. Nekdo drug je vprašal, ali je imel model dostop do novega pravilnika. Vodja je vprašal, kaj bi se zgodilo, če bi zadevo zaključili in bi prispela pritožba. Razvijalec je rekel, da asistent nima dovoljenja za pisanje, kar je bilo res in ne povsem pomembno. Sistem bi še vedno lahko oblikoval človeško odločitev. Lahko bi pritisnil na operativno tehtnico, medtem ko se tehnično ničesar ne dotakne. To je priljubljen trik med resnimi orodji.
Samozavest modela ni institucionalna samozavest. Samozavest modela pove nekaj o oceni sistema glede lastnega izhoda pod pogoji, ki jih predstavljajo njegovo usposabljanje, iskanje, poziv ali metoda točkovanja. Institucionalna samozavest sprašuje, ali je organizacija upravičena, da deluje na podlagi tega izhoda v tem primeru, v tem času, v skladu s tem pravilnikom, s temi dokazi, skozi ta delovni tok, za to osebo, s to potjo za okrevanje. Eno je signal. Drugo je odgovornost.
Kaj samozavest modela dejansko pove
Samozavest je preobremenjena beseda. Pri klasifikatorju je lahko verjetnostna ocena, dodeljena najboljši oznaki. Pri sistemu jezikovnega modela je lahko izpeljana ocena, ocena podobnosti, izhod preurejevalnika, hevristika negotovosti, umerjen ovoj ali preprosto vidna dovršenost ustvarjenega odgovora. Včasih je matematično smiselna. Včasih je značka iz občutkov in decimalk. Decimalka je nevarni del. Ljudje postanemo poslušni, ko ima število dve števki za decimalno vejico.
Pravilna ocena zanesljivosti potrebuje umerjanje. Če sistem v nizu primerov navaja 80-odstotno zanesljivost, mora biti približno 80 odstotkov teh napovedi pravilnih na način, kot ga opredeljuje metrika. Umerjanje ni čarovnija. Odvisno je od nabora za vrednotenje, populacije, opredelitve naloge, kakovosti oznak in od tega, ali dejansko delovanje še vedno ustreza pogojem testiranja. Dobro umerjen model na enem področju lahko postane slabo umerjen, ko se spremeni delovni proces, spremeni se populacija uporabnikov ali pa izvorni dokumenti začnejo nositi nova imena, ker je odbor odkril blagovno znamko.
Tudi umerjena zanesljivost je ozka. Lahko pove, da model ob popolnih podatkih znane vrste pogosto izbere pravilno oznako. Ne pove pa, ali je politika aktualna, ali so podatki pravno v obsegu, ali je nadaljnji ukrep sorazmeren, ali človeški operater razume negotovost ali ali lahko organizacija popravi škodo. Model je lahko statistično zanesljiv in operativno neusposobljen. Ocena je uporabna priča. Ni sodnik, pisar, izvršitelj in pritožbeni urad.
Jezikovni modeli to dodatno zapletejo, ker tekočnost nastopa kot zanesljivost. Model lahko napiše skrben odgovor s tonom višjega državnega uradnika in še vedno zgreši tisti klavzuli, ki je pomembna. Oklevajoč odgovor je lahko pravilen. Zanesljiv odgovor je lahko lepo oblečena ugibanje. Operativno načrtovanje mora zato razlikovati med modelnim izražanjem in modelnim jamstvom. Vprašanje ni, kako prepričljivo zveni izhod. Vprašanje je, kateri dokazi institucijo pooblaščajo, da ga uporabi.
Institucionalna zanesljivost ima več delov
Institucija postane zanesljiva pri avtomatizirani ali podprti odločitvi šele, ko se ujema več pogojev. Dokazi so ustrezni in aktualni. Model ali pravilo velja za to vrsto primera. Politika je znana in aktivna. Delovni proces ima pooblastilo za ukrepanje. Operater lahko vidi negotovost. Zapis je mogoče pozneje pregledati. Prizadeta oseba ima možnost izpodbijati ali popraviti izid, kadar so vključene pravice ali resni interesi. Operacije lahko zaznajo odmik, začasno ustavijo sistem in odpravijo napake. Noben od teh pogojev ni vsebovan v surovi oceni zanesljivosti modela.
Zato je odgovor z vrednostjo 0,94 lahko še vedno ne. Če je izvorni zapis zastarel, institucija ne sme ukrepati. Če je model izven obsega, ne sme ukrepati. Če je bila ocena zanesljivosti umerjena na drugi populaciji, ne sme ukrepati brez dodatnih preverjanj. Če je nadaljnji ukrep nepovraten, se prag za institucionalno zanesljivost dvigne. Če človek ne more razumeti, zakaj je bilo priporočilo podano, lahko institucija potrebuje pot pregleda tudi pri visoki oceni. Ocena je sestavina, ne obrok.
Velja tudi obratno. Model z zmerno zanesljivostjo lahko podpira visoko institucionalno zanesljivost, če je delovni proces ustrezno zasnovan. Priporočilo z vrednostjo 0,62 je lahko dovolj za napotitev primera k strokovnjaku, ker je posledica pozornost in ne zavrnitev. Povzetek z nizko zanesljivostjo lahko delavcu pomaga hitreje najti ustrezne dokumente, če vmesnik jasno označi, da gre za vodnik in ne za zaključek. Negotovost ni neuspeh, kadar sistem ve, kakšno vrsto ukrepanja negotovost sme podpirati.
Institucionalna zanesljivost je zato specifična za ukrep. Isti izhod modela je lahko sprejemljiv za pomoč pri iskanju, vprašljiv za razvrščanje po prednosti in nesprejemljiv za samodejno zavrnitev. Lahko je primeren za notranjo razvrstitve, ne pa za zunanjo razlago. Lahko je uporaben med preiskavo, ne pa zadosten za uveljavljanje. Resno delovanje umetne inteligence ne sprašuje, ali je model na splošno zanesljiv. Sprašuje, kaj si organizacija upa storiti.
Nevarnost pranja zaupanja
Do pranja zaupanja pride, ko se negotovost med potovanjem skozi organizacijo spremeni v avtoriteto. Model izda verjetnost. Nadzorna plošča jo zaokroži. Delovni tok jo obarva zeleno. Vodja jo označi kot priporočilo. Delavec jo doživi kot pričakovano. Revizor kasneje prebere zapis primera in vidi, da je odločitev podpirala umetna inteligenca. Na vsakem koraku negotovost izgubi malo teže in pridobi malo statusa. Na koncu statistični namig obleče kravato.
To pranje je redko zlonamerno. Zgodi se, ker imajo organizacije rade jasna stanja. Čakalne vrste potrebujejo prednostne naloge. Osebje potrebuje navodila. Vodje potrebujejo poročila. Sistemi potrebujejo gumbe. Ocena tako postane oznaka, oznaka postane pot, pot postane cilj uspešnosti, cilj uspešnosti pa kulturno pričakovanje. Model je morda še vedno opisan kot svetovalen, a nasvet, ki ga vsi ignorirajo pod grožnjo kazni, ni nasvet. To je ukaz z mehkejšim klobukom.
Vmesniki lahko pranje pospešijo. Zeleni znaki, samozavestno besedilo, privzeti gumbi za sprejem, skriti dokazni paneli in manjkajoče razlage negotovosti dajejo modelovemu predlogu občutek večje avtoritete, kot jo ima. Enako lahko storijo metrike. Če so ekipe nagrajene za pretočnost, se bodo naučile sprejemati priporočila, razen če sistem nestrinjanje naredi enostavno in legitimno. Enako lahko stori usposabljanje, še posebej, ko ljudem povedo, da je bil model potrjen, ne povedo pa jim, kje se potrjevanje konča.
Preprečevanje pranja zaupanja zahteva trenje na pravih mestih. Ne naključno birokracijo, temveč smiselno ločitev med signalom in odločitvijo. Vmesnik mora prikazovati zaupanje skupaj s kakovostjo virov, obsegom politike in znanimi omejitvami. Delovni tok mora razlikovati med priporočilom, zahtevo in ukrepom. Nadzor mora biti mogoč in informativen. Pregled mora sprožiti posledica, ne le nizka ocena. Zapis mora ohraniti, kaj je model povedal in kaj se je institucija odločila, saj se ta dva lahko razlikujeta in pogosto bi se morala.
Zaupanje odpove na operativne načine
Zaupanje modela lahko odpove iz razlogov, ki se v merilih uspešnosti nikoli ne pojavijo. Model je lahko umerjen na popolnih primerih, medtem ko je produkcija polna delnih zapisov. Pridobivanje lahko zgreši tisti dokument, ki je spremenil odgovor. Posodobitev politike lahko zaostaja za indeksom. Polje obrazca lahko ena regija uporablja drugače. Prevajanje lahko splošči pravno razliko. Dobavitelj lahko spremeni taksonomijo višje v verigi. Človeška ekipa se lahko prilagodi modelu in spremeni porazdelitev podatkov. Produkcija ima dar za iskanje tistega dela vrednotenja, ki ga nihče ni povabil na sestanek.
Te napake so operativne, ne le statistične. Izvirajo iz svežine podatkov, povezanosti delovnih tokov, časovnega usklajevanja predaj, pravic dostopa, nadzora različic, usposabljanja, spodbud in podpornih procesov. Vrednotenje modela lahko na nekatere od njih opozori, vendar mora operativa umetne inteligence z njimi upravljati iz dneva v dan. To pomeni spremljanje več kot le točnosti. Spremljajte svežino vira, manjkajoča polja, pokritost pridobivanja, stopnje preglasitev, izide pritožb, razlike med skupinami, zakasnitve, učinke čakalnih vrst in to, ali se model uporablja za naloge zunaj njegovega opredeljenega obsega.
Zaupanje lahko odpove tudi zato, ker so se posledice spremenile. Model, ki se uporablja za osnutke, ima en profil tveganja. Isti model, ki se uporablja za odločanje, ima drugega. Klasifikator, ki se uporablja za razvrščanje notranje pozornosti, ima en profil tveganja. Isti klasifikator, ki se uporablja za zavrnitev storitve, ima drugega. Ocena se ni spremenila, spremenil pa se je institucionalni pomen. Zato je nadzor obsega pomemben. Kartica modela ali poročilo o vrednotenju nista stalna izkaznica. Sta izjava o uporabi pod določenimi pogoji. Spremenite uporabo in izjavo je treba ponovno preučiti.
Najbolj dolgočasne napake so pogosto najpomembnejše. Model je v redu, vendar opozorilo pride v nabiralnik, ki ga nihče ne upravlja. Prag je pravilen, vendar je čakalna vrsta za izjeme premalo zasedena. Politika je posodobljena, vendar predpomnjen poziv ni. Načrt za povrnitev obstaja, vendar le ena oseba ve, kako ga izvesti, in ta oseba je na konferenci, kjer se uči o odpornosti. Nizozemsko načrtovanje ima talent za tovrstno časovno usklajevanje. Institucionalno zaupanje je odvisno od dolgočasnih kontrol prav zato, ker dolgočasne napake prinašajo resnične posledice.
Umerjanje je navada, ne potrdilo
Ekipe imajo rade potrdila, ker se potrdila končajo. Umerjanje se ne konča. Model je lahko januarja umerjen, aprila pa ne, ker se je spremenila mešanica primerov, ker so zaposleni spremenili vedenje, ker se je spremenila politika ali ker je cevovod za podatke tiho prenehal polniti polje. Umerjanje je navada preverjanja, ali negotovost sistema še vedno ustreza opazovanim izidom pri trenutni uporabi.
Ta navada potrebuje rezine. Splošna točnost je preveč groba. Model je lahko v povprečju dober, hkrati pa odpoveduje za regijo, jezik, vrsto primera, raven kakovosti dokumenta ali robni pogoj. Institucionalno zaupanje izhaja iz vedenja, kje je model zanesljiv, kje je šibek in kje ga sploh ne bi smeli uporabljati. Besedna zveza ga ne bi smeli uporabljati je pomembna. Ni treba vsake šibkosti rešiti z boljšim modelom. Nekatere šibkosti bi morale postati operativne omejitve.
Umerjanje potrebuje tudi opredelitve izidov. Pravilno za kaj. Povzetek je lahko dejansko pravilen, a izpusti dejstvo, ki ga je delavec potreboval. Priporočilo se lahko ujema z zgodovinskimi odločitvami, medtem ko te odločitve niso bile poštene. Ocena tveganja lahko napoveduje izide preiskav, medtem ko so bile preiskave neenakomerno razporejene. Institucija mora uspeh opredeliti glede na poslanstvo in pravice, ne le glede na zgodovinsko ujemanje. V nasprotnem primeru model postane odličen v ponavljanju tega, kar je organizacija počela v preteklosti. Mnoge institucije že imajo ljudi za to.
Nazadnje umerjanje potrebuje lastništvo. Nekdo mora biti odgovoren za spremljanje, pojasnjevanje in ukrepanje, ko se spremeni. Lastnik potrebuje pooblastilo za prilagajanje pragov, začasno ustavitev poteka dela, zahtevo po človeškem pregledu, posodabljanje virov podatkov ali posredovanje pri upravljavskih odločitvah. Spremljanje brez pooblastila je gledališče. Pooblastilo brez spremljanja je optimizem. Oboje bi se moralo srečati pred incidentom, po možnosti v prostoru z manj peciva in več dnevniki.
Oblikovanje za ustrezno zanašanje
Cilj ni vzbuditi nezaupanja do modelov. Splošno nezaupanje je lenoba v nasprotno smer. Cilj je ustrezno zanašanje: ljudje in poteki dela naj se na sistem zanašajo v meri, ki jo upravičujejo dokazi, obseg in posledice. Ta mera se spreminja. Lahko je visoka za odkrivanje dvojnikov, srednja za razvrščanje, nizka za končne odločitve in ničelna za primere zunaj opredeljenega obsega. Zrelo delovanje lahko zavzame vse te položaje hkrati, ne da bi se počutilo filozofsko neurejeno.
Ustrezno zanašanje ima zahteve glede vmesnika. Pokažite, kaj model počne in česa ne počne. Prikažite zaupanje kot omejen signal, ne kot razsodbo. Prikažite pokritost virov in svežino tam, kjer sta pomembni. Jasno označite primere, ki so izven obsega. Omogočite nestrinjanje, ne da bi bilo škodljivo za kariero. Zabeležite razloge za nestrinjanje, da se sistem lahko izboljša in institucija uči. Človek v zanki je uporaben le, če zanka človeku daje prostor, da ima prav.
Ima tudi zahteve glede poteka dela. Uporabite pragove ukrepanja na podlagi posledic. Predlog z nizkim tveganjem se lahko premika hitreje kot zavrnitev z velikim vplivom. Zahtevajte pregled, kadar so dokazi nepopolni, obseg nejasen ali rezultat v nasprotju z znano politiko. Ločite pomoč pri pripravi osnutkov od pooblastila za odločanje. Usklajujte posodobitve modela in posodobitve politike. Pred širitvijo uporabe izvajajte senčne evalvacije. Preizkusite vračanje nazaj. Vadite premor. Gumb za premor je instrument upravljanja, ne priznanje neuspeha.
Ustrezno zanašanje ima tudi kulturne zahteve. Osebje mora biti usposobljeno, da razume, kaj zaupanje pomeni in česa ne pomeni. Potrebujejo dovoljenje, da izpodbijajo sistem. Vodje morajo obravnavati preglasitve kot signal, ne kot neposlušnost. Ekipe za upravljanje morajo postavljati operativna vprašanja, ne le vprašanja o skladnosti. Inženirji morajo vedeti, da visok rezultat na merilih ne konča pogovora. Vsi dobijo malo več dela. Tako se ustvarjajo zreli sistemi.
Register zaupanja
Praktično orodje za operacije z umetno inteligenco je register zaupanja. Ne velik dokument, le vzdrževan zemljevid tega, od kod izvira institucionalno zaupanje za vsako avtomatizirano ali podprto dejanje. Za določen potek dela register navaja model ali pravilo, dovoljeno uporabo, vire dokazov, dokaze o umerjanju, znane omejitve, pragove ukrepanja, zahtevane človeške preglede, signale spremljanja, lastnika in pot okrevanja. Če se to sliši očitno, čestitke. Očitne stvari so pogosto tiste, ki med incidenti manjkajo.
Register mora razlikovati med zaupanjem modela in zaupanjem odločitve. Navesti mora na primer, da je rezultat modela nad 0,85 dovolj za predlog poti, kadar je svežina vira manj kot 24 ur, vrsta primera je v obsegu, nobeno izključitveno pravilo se ne sproži in operater vidi ploščo z dokazi. Prav tako mora navesti, da isti rezultat ni dovolj za samodejno zaprtje primera ali da samodejno zaprtje zahteva dodatna preverjanja politike in obvestilo o pritožbi. Vrednost je v pogojih okoli rezultata.
Tovrsten register pomaga pri spremembah. Ko se vir podatkov spremeni, so prizadete trditve o zaupanju vidne. Ko se prag premakne, je razlog zabeležen. Ko se pojavi vzorec pritožb, je mogoče pregledati potek dela. Ko se posodobi model, register pokaže, katera dejanja potrebujejo sveže umerjanje. Ko vodja vpraša, zakaj odgovor z visokim zaupanjem še vedno zahteva pregled, odgovor ni zato, ker tako pravi upravljanje. Odgovor je, ker ima institucionalno zaupanje pogoje in eden od njih manjka.
Register pomaga tudi pri izogibanju pretiranim trditvam. Organizaciji omogoča, da pove, kje je sistem močan, ne da bi se pretvarjala, da je moč univerzalna. To je operativno uporabno. Ljudje se lahko zanesejo na sistem tam, kjer si je zaslužil zanašanje, in ga obidejo tam, kjer si ga ni. Zaupanje postane manj slogan in bolj niz vzdrževanih dovoljenj. Malo manj junaško, veliko ceneje.
Nauk
Ocena zaupanja modela je uporabna. Lahko pomaga pri razvrščanju, usmerjanju, opozarjanju in odločanju, kadar je povezana s pravimi kontrolami. Negotovost lahko prikaže bolj pošteno kot človeški občutek. Podpira lahko boljše delovanje, kadar je umerjena, spremljana in umeščena v delovni proces, ki razume posledice. Težave se začnejo, ko se od ocene zahteva, da nosi avtoriteto, ki si je ni nikoli prislužila.
Institucionalno zaupanje je težje. Vključuje zmogljivost modela, pa tudi kakovost dokazov, skladnost s politikami, pravni okvir, razumevanje operaterjev, revizijsko sledljivost, popravne mehanizme, spremljanje, lastništvo in obnovo. Sprašuje se, ali organizacija lahko stoji za dejanjem, ga pojasni, izpodbija in popravi. To je širši preizkus kot to, ali je model zvenel prepričljivo.
Praktična disciplina je, da ti dve vrsti zaupanja ostaneta ločeni. Model naj poroča o svoji negotovosti. Institucija naj odloči, kaj ta negotovost sme storiti. Zapiši pogoje. Spremljaj jih. Znova jih obravnavaj. Uči ljudi, da visoko zaupanje ni ukaz in da nizko zaupanje ni vedno neuporabno. Zaupanje postane uporabno, ko je skrbno povezano z dejanjem.
Socialni delavec na sestanku je imel prav, da se je namrščil. Model ni spodletel, ker je ustvaril 0,94. Institucija bi spodletela, če bi 0,94 obravnavala kot dovoljenje za konec razmišljanja. Resno delovanje umetne inteligence se začne v tistem kratkem premoru med samozavestnim odgovorom in odgovornim dejanjem. Ni glamurozno. Tam se dejansko gradi zaupanje.