Dôvera modelu nie je dôvera inštitúcie
Sebavedomá odpoveď, ktorú nechcel nikto prevziať
Model bol sebavedomý. Veľmi sebavedomý. Vrátil hodnotu 0,94, zvýraznil tri podporné pasáže a odporučil, že prípad možno uzavrieť bez eskalácie. Operačný tím na tento moment čakal. Backlog bol škaredý, servisné okno úzke a nový asistent bol vytrénovaný, vyhodnotený, vyladený, požehnaný riadiacou skupinou a prezentovaný s grafom, ktorý sa zdvorilo dvíhal zľava doprava. Skóre 0,94 pôsobilo ako povolenie vydýchnuť si.
Potom sa pracovník prípadu zamračil. Podporné pasáže pochádzali zo správneho politického dokumentu, ale nie z verzie, ktorá nadobudla účinnosť predchádzajúci týždeň. V zázname zákazníka chýbala nedávna oprava. Pravidlo eskalácie záviselo od miestnej výnimky, ktorá nebola v indexe vyhľadávania. Model odpovedal na otázku, ktorú videl. Inštitúcia musela zodpovedať za čin, ktorý by nasledoval. To nie je to isté.
Miestnosť urobila to, čo miestnosti robia, keď sa sebavedomie stretne so zodpovednosťou. Niekto sa spýtal, či je skóre kalibrované. Niekto iný sa spýtal, či má model prístup k novej politike. Manažér sa spýtal, čo by sa stalo, keby prípad uzavreli a prišlo by odvolanie. Vývojár povedal, že asistent nemá povolenie na zápis, čo bola pravda, ale nie celkom relevantné. Systém stále mohol formovať ľudské rozhodnutie. Mohol položiť palec na operačnú váhu, pričom sa technicky ničoho nedotýkal. Toto je obľúbený trik medzi serióznymi nástrojmi.
Sebavedomie modelu nie je inštitucionálne sebavedomie. Sebavedomie modelu hovorí niečo o odhade systému týkajúceho sa jeho vlastného výstupu za podmienok reprezentovaných jeho tréningom, vyhľadávaním, promptom alebo metódou skórovania. Inštitucionálne sebavedomie sa pýta, či je organizácia oprávnená konať na základe tohto výstupu v tomto prípade, v tomto čase, podľa tejto politiky, s týmito dôkazmi, cez tento pracovný postup, pre túto osobu, s touto cestou obnovy. Jedno je signál. Druhé je zodpovednosť.
Čo sebavedomie modelu skutočne hovorí
Sebavedomie je preťažené slovo. V klasifikátore to môže byť skóre podobné pravdepodobnosti priradené najlepšiemu štítku. V systéme jazykového modelu to môže byť odvodený odhad, skóre podobnosti, výstup rerankeru, heuristika neistoty, kalibrovaný obal alebo jednoducho viditeľný lesk vygenerovanej odpovede. Niekedy je to matematicky zmysluplné. Niekedy je to odznak vyrobený z pocitov a desatinných miest. Desatinné miesto je nebezpečná časť. Ľudia sa stávajú poslušnými, keď má číslo dve číslice za desatinnou čiarkou.
Dôveryhodné skóre si vyžaduje kalibráciu. Ak systém pri skupine prípadov uvádza 80-percentnú istotu, približne 80 percent týchto predikcií by malo byť správnych v zmysle definície správnosti podľa metriky. Kalibrácia nie je mágia. Závisí od vyhodnocovacej množiny, populácie, definície úlohy, kvality označení a od toho, či reálna prevádzka stále zodpovedá testovacím podmienkam. Dobre kalibrovaný model v jednej oblasti sa môže stať zle kalibrovaným, keď sa zmení pracovný postup, zmení sa populácia používateľov alebo zdrojové dokumenty začnú niesť nové názvy, pretože výbor objavil branding.
Aj kalibrovaná istota je úzka. Môže hovoriť, že model často vyberie správny štítok, keď dostane úplné údaje známeho druhu. Nehovorí, že politika je aktuálna, že údaje sú právne v rozsahu, že následná činnosť je primeraná, že ľudský operátor rozumie neistote alebo že organizácia dokáže napraviť škodu. Model môže byť štatisticky presvedčený a prevádzkovo nedostatočne kvalifikovaný. Skóre je užitočný svedok. Nie je sudca, úradník, exekútor ani odvolací orgán.
Systémy jazykových modelov to ešte komplikujú, pretože plynulosť sa vydáva za istotu. Model môže napísať starostlivú odpoveď tónom vyššieho štátneho úradníka a napriek tomu sa mýliť v jedinej klauzule, ktorá rozhoduje. Váhajúca odpoveď môže byť správna. Sebavedomá odpoveď môže byť dobre oblečený odhad. Prevádzkový dizajn preto musí rozlišovať medzi vyjadrením modelu a zárukou modelu. Otázkou nie je, ako presvedčivo výstup znie. Otázkou je, aké dôkazy oprávňujú inštitúciu ho použiť.
Inštitucionálna istota má viac častí
Inštitúcia nadobudne istotu v automatizovanom alebo asistovanom rozhodnutí len vtedy, keď sa zhodne niekoľko podmienok. Dôkazy sú relevantné a aktuálne. Model alebo pravidlo je platné pre tento druh prípadu. Politika je známa a aktívna. Pracovný postup má právomoc konať. Operátor vidí neistotu. Záznam možno neskôr preskúmať. Dotknutá osoba má spôsob, ako napadnúť alebo opraviť výsledok, ak sú v hre práva alebo závažné záujmy. Prevádzka dokáže odhaliť odchýlky, pozastaviť systém a zotaviť sa z chýb. Žiadna z týchto podmienok nie je obsiahnutá v surovom skóre istoty modelu.
Preto odpoveď s hodnotou 0,94 môže byť stále nie. Ak je zdrojový záznam zastaraný, inštitúcia by nemala konať. Ak je model mimo rozsahu, nemal by konať. Ak bolo skóre istoty kalibrované na inej populácii, nemal by konať bez dodatočných kontrol. Ak je následná činnosť nezvratná, prah pre inštitucionálnu istotu sa zvyšuje. Ak človek nedokáže pochopiť, prečo bolo odporúčanie vytvorené, inštitúcia môže potrebovať cestu preskúmania, aj keď je skóre vysoké. Skóre je ingrediencia, nie jedlo.
Platí to aj naopak. Model so skromnou istotou môže podporiť vysokú inštitucionálnu istotu, keď je pracovný postup vhodne navrhnutý. Odporúčanie s hodnotou 0,62 môže stačiť na postúpenie prípadu špecialistovi, pretože dôsledkom je pozornosť, nie odmietnutie. Súhrn s nízkou istotou môže pracovníkovi pomôcť rýchlejšie nájsť relevantné dokumenty, ak rozhranie jasne označí, že ide o sprievodcu, nie o záver. Neistota nie je zlyhanie, keď systém vie, aký druh činnosti môže neistota podporiť.
Inštitucionálna istota je preto špecifická pre činnosť. Rovnaký výstup modelu môže byť prijateľný pre asistenciu pri vyhľadávaní, sporný pre prioritizáciu a neprijateľný pre automatické zamietnutie. Môže byť vhodný pre interné triedenie, ale nie pre externé vysvetlenie. Môže byť užitočný počas vyšetrovania, ale nestačiť na presadzovanie práva. Seriózna prevádzka umelej inteligencie sa nepýta, či je model vo všeobecnosti presvedčený. Pýta sa, na čo je organizácia dostatočne presvedčená, aby konala.
Riziko prania dôvery
K praniu dôvery dochádza vtedy, keď sa neistota mení na autoritu pri pohybe organizáciou. Model vydá pravdepodobnosť. Dashboard ju zaokrúhli. Pracovný postup ju zmení na zelenú. Manažér ju nazve odporúčaním. Pracovník ju prežíva ako očakávanie. Audítor neskôr prečíta poznámku k prípadu a vidí, že rozhodnutie bolo podporené AI. Na každom kroku neistota stráca trochu váhy a získava trochu statusu. Na konci si štatistický náznak oblečie kravatu.
Toto pranie je málokedy zlomyseľné. Deje sa preto, lebo organizácie majú radi jasné stavy. Fronty potrebujú priority. Pracovníci potrebujú inštrukcie. Manažéri potrebujú správy. Systémy potrebujú tlačidlá. Tak sa skóre stáva štítkom, štítok sa stáva trasou, trasa sa stáva výkonnostným cieľom a výkonnostný cieľ sa stáva kultúrnym očakávaním. Model môže byť stále opísaný ako poradný, ale rada, ktorú každý ignoruje pod hrozbou trestu, nie je rada. Je to príkaz s mäkším klobúkom.
Rozhrania môžu pranie urýchliť. Zelené odznaky, sebavedomé formulácie, predvolené tlačidlá prijatia, skryté panely s dôkazmi a chýbajúce vysvetlenia neistoty spôsobujú, že návrh modelu pôsobí autoritatívnejšie, než v skutočnosti je. To isté dokážu metriky. Ak sú tímy odmeňované za priepustnosť, naučia sa prijímať odporúčania, pokiaľ systém neuľahčí a neošetrí nesúhlas. Môže to spraviť aj školenie, najmä keď ľuďom povedia, že model bol validovaný, ale nepovedia im, kde validácia končí.
Predchádzanie praniu dôvery si vyžaduje trenie na správnych miestach. Nie náhodnú byrokraciu, ale zmysluplné oddelenie signálu od rozhodnutia. UI by malo ukazovať dôveru spolu s kvalitou zdrojov, rozsahom politiky a známymi obmedzeniami. Pracovný postup by mal rozlišovať odporúčanie, požiadavku a konanie. Prepísanie by malo byť možné a informatívne. Preskúmanie by malo byť spúšťané dôsledkom, nielen nízkym skóre. Záznam by mal zachovať, čo povedal model a čo rozhodla inštitúcia, pretože tieto dve veci sa môžu a často aj majú líšiť.
Dôvera zlyháva prevádzkovými spôsobmi
Dôvera modelu môže zlyhať z dôvodov, ktoré sa v benchmarku nikdy neobjavia. Model môže byť kalibrovaný na úplných prípadoch, zatiaľ čo produkcia je plná čiastočných záznamov. Vyhľadávanie môže prehliadnuť jediný dokument, ktorý zmenil odpoveď. Aktualizácia politiky môže zaostávať za indexom. Pole formulára môže jeden región používať inak. Preklad môže sploštiť právne rozlíšenie. Dodávateľ môže zmeniť upstream taxonómiu. Ľudský tím sa môže prispôsobiť modelu a zmeniť distribúciu dát. Produkcia má dar nájsť tú časť vyhodnotenia, ktorú nikto nepozval na stretnutie.
Ide o prevádzkové zlyhania, nielen štatistické. Vyplývajú z aktuálnosti údajov, previazanosti pracovných postupov, načasovania odovzdávania, prístupových práv, správy verzií, školení, motivácie a podporných procesov. Vyhodnotenie modelu môže na niektoré z nich upozorniť, ale prevádzka umelej inteligencie ich musí riešiť deň čo deň. To znamená sledovať viac než len presnosť. Sledujte aktuálnosť zdrojov, chýbajúce polia, pokrytie vyhľadávania, mieru prepísania, výsledky odvolaní, rozdiely medzi kohortami, latenciu, vplyv frontov a to, či sa model používa na úlohy mimo deklarovaného rozsahu.
Dôvera môže zlyhať aj preto, že sa zmenili dôsledky. Model používaný na návrh má jeden profil rizika. Ten istý model používaný na rozhodovanie má iný. Klasifikátor používaný na zoradenie internej pozornosti má jeden profil rizika. Ten istý klasifikátor používaný na odmietnutie služby má iný. Skóre sa nezmenilo, ale inštitucionálny význam áno. Preto záleží na kontrole rozsahu. Karta modelu alebo správa o vyhodnotení nie je trvalý pas. Je to vyhlásenie o použití za určitých podmienok. Zmeňte použitie a vyhlásenie sa musí prehodnotiť.
Najnudnejšie zlyhania sú často najdôležitejšie. Model je v poriadku, ale upozornenie ide do schránky, ktorú nikto nespravuje. Prah je správny, ale front výnimiek je personálne poddimenzovaný. Politika je aktuálna, ale uložená výzva nie. Plán návratu existuje, ale vie ho spustiť len jeden človek a ten je na konferencii o odolnosti. Holandské plánovanie má na takéto načasovanie talent. Inštitucionálna dôvera závisí od nudných kontrol práve preto, že nudné zlyhania majú reálne dôsledky.
Kalibrácia je návyk, nie certifikát
Tímy majú radi certifikáty, pretože certifikáty sa končia. Kalibrácia sa nekončí. Model môže byť kalibrovaný v januári a v apríli už nie, pretože sa zmenila skladba prípadov, zmenilo sa správanie zamestnancov, zmenila sa politika alebo dátové potrubie ticho prestalo napĺňať pole. Kalibrácia je návyk overovania, či neistota systému stále zodpovedá pozorovaným výsledkom pri súčasnom používaní.
Tento návyk potrebuje výseky. Celková presnosť je príliš hrubá. Model môže fungovať dobre v priemere, ale zlyhávať pre región, jazyk, typ prípadu, úroveň kvality dokumentu alebo hraničnú podmienku. Inštitucionálna dôvera pochádza z poznania, kde je model spoľahlivý, kde je slabý a kde by sa nemal používať vôbec. Slovné spojenie nemal by sa používať vôbec je dôležité. Nie každú slabosť treba vyriešiť lepším modelom. Niektoré slabosti by sa mali stať prevádzkovými limitmi.
Kalibrácia tiež potrebuje definície výsledkov. Správne pre čo. Súhrn môže byť fakticky správny, ale vynechať skutočnosť, ktorú pracovník potreboval. Odporúčanie môže zodpovedať historickým rozhodnutiam, zatiaľ čo tieto rozhodnutia neboli spravodlivé. Skóre rizika môže predpovedať výsledky vyšetrovania, zatiaľ čo vyšetrovania boli prideľované nerovnomerne. Inštitúcia musí definovať úspech vo vzťahu k poslaniu a právam, nielen k historickej zhode. Inak sa model stane výborným v opakovaní toho, čo organizácia robila doteraz. Mnohé inštitúcie už na to ľudí majú.
Napokon, kalibrácia potrebuje vlastníctvo. Niekto musí byť zodpovedný za jej sledovanie, vysvetľovanie a konanie, keď sa zmení. Vlastník potrebuje právomoc upravovať prahy, pozastaviť pracovný postup, vyžadovať ľudské posúdenie, aktualizovať dátové zdroje alebo eskalovať rozhodnutia o správe. Monitorovanie bez právomoci je divadlo. Právomoc bez monitorovania je optimizmus. Tieto dve veci by sa mali stretnúť pred incidentom, najlepšie v miestnosti s menším počtom zákuskov a väčším počtom logov.
Navrhovanie pre primeranú dôveru
Cieľom nie je prinútiť ľudí nedôverovať modelom. Slepá nedôvera je lenivosť opačným smerom. Cieľom je primeraná dôvera: ľudia a pracovné postupy by sa mali na systém spoliehať v miere odôvodnenej dôkazmi, rozsahom a dôsledkami. Táto miera sa mení. Môže byť vysoká pri detekcii duplicít, stredná pri triedení, nízka pri konečných rozhodnutiach a nulová pri prípadoch mimo deklarovaného rozsahu. Zrelá prevádzka dokáže zastávať všetky tieto pozície naraz bez pocitu filozofického neporiadku.
Primeraná miera spoliehania sa má požiadavky na rozhranie. Ukážte, čo model robí a čo nerobí. Zobrazujte mieru istoty ako obmedzený signál, nie ako verdikt. Tam, kde to má význam, ukážte pokrytie zdrojov a ich aktuálnosť. Prípady mimo rozsahu jasne označte. Umožnite nesúhlas bez toho, aby mal kariérne následky. Zaznamenávajte dôvody nesúhlasu, aby sa systém mohol zlepšovať a inštitúcia sa mohla učiť. Človek v slučke je užitočný len vtedy, ak mu slučka dáva priestor na to, aby mal pravdu.
Má aj požiadavky na pracovný postup. Používajte prahové hodnoty konania založené na dôsledkoch. Návrh s nízkym rizikom môže postupovať rýchlejšie ako odmietnutie s veľkým dopadom. Vyžadujte preskúmanie, keď sú dôkazy neúplné, rozsah nejasný alebo výstup je v rozpore so známou politikou. Oddeľte pomoc pri návrhu od rozhodovacej právomoci. Udržiavajte aktualizácie modelu a politiky koordinované. Pred rozšírením používania spúšťajte tieňové hodnotenia. Testujte vrátenie zmien. Precvičujte pozastavenie. Tlačidlo pozastavenia je nástroj riadenia, nie priznanie zlyhania.
Primeraná miera spoliehania sa má aj kultúrne požiadavky. Zamestnanci musia byť vyškolení, aby pochopili, čo miera istoty znamená a čo neznamená. Potrebujú povolenie spochybňovať systém. Manažéri musia vnímať prepísanie rozhodnutia ako signál, nie ako neposlušnosť. Tímy riadenia sa musia pýtať prevádzkové otázky, nielen otázky zhody. Inžinieri musia vedieť, že vysoké skóre v benchmarku neukončuje diskusiu. Každý má o niečo viac práce. Takto sa vytvárajú dospelé systémy.
Register miery istoty
Praktickým nástrojom pre prevádzku AI je register miery istoty. Nie veľkolepý dokument, len udržiavaná mapa toho, odkiaľ pochádza inštitucionálna miera istoty pre každý automatizovaný alebo asistovaný úkon. Pre daný pracovný postup register uvádza model alebo pravidlo, povolené použitie, zdroje dôkazov, dôkazy o kalibrácii, známe obmedzenia, prahové hodnoty konania, požadované ľudské kontroly, monitorovacie signály, vlastníka a cestu obnovy. Ak to znie samozrejme, gratulujeme. Samozrejmé veci často chýbajú počas incidentov.
Register by mal rozlišovať medzi mierou istoty modelu a mierou istoty rozhodnutia. Mal by napríklad uviesť, že skóre modelu nad 0,85 stačí na navrhnutie trasy, keď aktuálnosť zdroja nie je staršia ako 24 hodín, typ prípadu je v rozsahu, neaktivuje sa žiadne vylučovacie pravidlo a operátor vidí panel s dôkazmi. Mal by tiež uviesť, že rovnaké skóre nestačí na automatické uzavretie prípadu, alebo že automatické uzavretie si vyžaduje dodatočné kontroly politiky a oznámenie o odvolaní. Hodnota spočíva v podmienkach okolo skóre.
Takýto register pomáha pri zmenách. Keď sa zmení zdroj údajov, dotknuté tvrdenia o miere istoty sú viditeľné. Keď sa zmení prahová hodnota, dôvod sa zaznamená. Keď sa objaví vzorec odvolaní, pracovný postup sa môže preskúmať. Keď sa vydá aktualizácia modelu, register ukáže, ktoré úkony potrebujú novú kalibráciu. Keď sa manažér opýta, prečo odpoveď s vysokou mierou istoty stále vyžaduje preskúmanie, odpoveď nie je, že to hovorí riadenie. Odpoveď je, že inštitucionálna miera istoty má podmienky a jedna z nich chýba.
Register tiež pomáha vyhnúť sa nadhodnocovaniu. Umožňuje organizácii povedať, kde je systém silný, bez toho, aby predstierala, že sila je univerzálna. Toto je prevádzkovo užitočné. Ľudia sa môžu spoľahnúť na systém tam, kde si spoľahnutie zaslúžil, a obísť ho tam, kde si ho nezaslúžil. Dôvera sa stáva menej sloganom a viac súborom udržiavaných povolení. O niečo menej hrdinské, oveľa menej nákladné.
Ponaučenie
Skóre dôvery modelu je užitočné. Môže pomôcť pri zoraďovaní, smerovaní, varovaní a rozhodovaní, ak je spojené so správnymi kontrolami. Dokáže zobraziť neistotu úprimnejšie ako ľudský odhad. Môže podporiť lepšiu prevádzku, keď je kalibrované, monitorované a umiestnené v pracovnom postupe, ktorý chápe dôsledky. Problém začína, keď sa od skóre žiada, aby nieslo autoritu, ktorú si nikdy nezískalo.
Inštitucionálna dôvera je ťažšia. Zahŕňa výkon modelu, ale aj kvalitu dôkazov, súlad s politikou, právny rozsah, pochopenie zo strany operátorov, auditovateľnosť, nápravu, monitorovanie, vlastníctvo a obnovu. Pýta sa, či organizácia dokáže stáť za činom, vysvetliť ho, spochybniť ho a napraviť ho. To je širší test, než či model znel presvedčivo.
Praktickou disciplínou je držať tieto dve dôvery oddelene. Nech model hlási svoju neistotu. Nech inštitúcia rozhodne, čo táto neistota smie spôsobiť. Zaznamenajte podmienky. Monitorujte ich. Vracajte sa k nim. Učte ľudí, že vysoká dôvera nie je príkaz a nízka dôvera nie je vždy zbytočná. Dôvera sa stáva užitočnou, keď je spojená s činom a starostlivosťou.
Pracovník prípadov na stretnutí mal pravdu, že sa zamračil. Model nezlyhal tým, že vyprodukoval 0,94. Inštitúcia by zlyhala, keby 0,94 považovala za povolenie prestať premýšľať. Seriózna prevádzka umelej inteligencie sa začína v tej malej pauze medzi sebavedomou odpoveďou a zodpovedným činom. Nie je to okázalé. Práve tam sa skutočne buduje dôvera.