Utemeljitev odločitev z dokazi
Odločitev, ki je prispela brez prtljage
Pismo je bilo videti popolno. Imelo je datum, sklicno številko, vljuden uvod, odločitev in pot za pritožbo. Sistem je razvrstil zadevo, uporabil več pravil, pridobil podporno dokumentacijo in predlagal končno besedilo. Človek jo je odobril. Delovni postopek je zabeležil uspeh. Nič ni bilo videti očitno narobe, dokler oseba, ki je pismo prejela, ni zastavila preprostega vprašanja: zakaj ta odločitev, za mojo zadevo, na tisti dan.
Organizacija je lahko odgovorila na dele vprašanja. Lahko je pokazala končno pismo. Lahko je pokazala vlogovni zapis, kakršen je obstajal zdaj. Lahko je pokazala, da je delovni postopek tekel. Lahko je pokazala, da je uslužbenec kliknil odobritev. Lahko je pokazala oceno modela, zaokroženo na dve decimalki, ker imajo decimalke talent za preoblačenje v avtoriteto. Česar ni mogla jasno pokazati, je bila veriga, zaradi katere je bila odločitev upravičena v trenutku, ko je bila sprejeta.
Odločitev je prispela brez prtljage. Ni imela trajnega paketa virov, različic pravil, različice modela, poti pridobivanja, izključenih dokazov, negotovosti, človeške presoje, pooblastila in poti za izpodbijanje. Ljudje so začeli rekonstruirati preteklost iz nadzornih plošč, izvozov, zapiskov vstopnic in spomina. To je arheologija šibkega upravljanja. Vsi trdo delajo. Nihče ni ponosen.
Argument za odločitve z dokazilom se začne tam. Pomembne odločitve ne bi smele potovati kot goli izidi. Nositi bi morale dovolj dokazila, v širšem operativnem smislu, da lahko druga oseba ali sistem preveri, zakaj je bilo dejanje dovoljeno. Dokazilo ni treba, da je v vsaki domeni formalni izrek. Včasih je potrdilo. Včasih je strukturiran paket dokazov. Včasih je ponovljiv zapis odločitve. Načelo je enako: pooblastilo potuje skupaj z odločitvijo.
Dnevniki niso dovolj
Dnevniki so uporabni. Povedo nam, da so se dogodki zgodili, katera storitev je tekla, kateri uporabnik je deloval, kateri končni vmesnik je vrnil odgovor in kateri časovni žig je sistem verjel. Brez dnevnikov poslovanje postane vraževerje z obvestili o incidentih. Toda dnevniki sami po sebi niso dokazilo o odločitvi. Pogosto beležijo gibanje in ne pooblastila. Povedo, da se je zahtevek premaknil iz enega stanja v drugo. Ne povedo pa nujno, ali je bil premik upravičen.
Vrstica dnevnika lahko pove, da je model vrnil oceno. Ne pokaže pa nujno, kateri viri so bili pridobljeni, katerih virov je manjkalo, ali je bila ocena umerjena za to vrsto zadeve ali katera politika je dovolila, da je ocena vplivala na dejanje. Dnevnik lahko pove, da je operater odobril. Ne pokaže pa nujno, kaj je operater videl, katera negotovost je bila vidna, ali je bilo mogoče odstopanje ali ali je bila odobritev smiselna pod pritiskom čakalne vrste. Dnevnik lahko pove, da je izvoz končan. Ne ohrani pa nujno pomenskega konteksta, zaradi katerega je bil zapis razumljiv.
To razlikovanje ni dlakocepljenje. Upravljanje odpove, ko ekipe zamenjujejo sledljivost dogodkov z dokazilom o odločitvi. Časovnica je dragocena, vendar časovnica sama po sebi ne vzpostavi pooblastila. Če se most zruši, poznavanje zaporedja e-poštnih sporočil ni isto kot vedeti, ali je bil izračun obremenitve veljaven. Če odločitev, podprta z umetno inteligenco, nekomu škoduje, vedeti, da je bil delovni postopek zaključen, ni isto kot vedeti, da so dokazi, pooblastila in omejitve podpirali dejanje.
Odločitve, ki nosijo dokaz, ne nadomeščajo dnevnikov. Uporabljajo dnevnike kot eno od sestavin. Paket dokaza postavlja težje vprašanje: glede na stanje sveta in pravila v tistem trenutku, zakaj je bila ta odločitev dovoljena. To vprašanje zahteva strukturo, ne le kronologijo.
Tudi razlaga ni dokaz
Ustvarjene razlage so lahko v pomoč. Povzetek v preprostem jeziku lahko uporabniku pomaga razumeti, kaj se je zgodilo. Utemeljitev lahko delavcu pomaga pri pregledu rezultata. Koda razloga lahko usmerja pritožbo. Težava se začne, ko razlago obravnavamo kot dokaz. Razlaga lahko opisuje odločitev po dejstvu. Dokaz mora odločitev povezati z dokazi in pravili, ki so jo naredila legitimno.
Tu se skriva več pasti. Prva je prepričljivost. Model lahko ustvari verjetno utemeljitev, ki zveni bolj urejeno kot dejanski proces. Druga je selektivnost. Razlaga lahko omeni dejavnike, ki podpirajo odločitev, in izpusti dejavnike, ki so bili odsotni, zastareli, v nasprotju ali zunaj obsega. Tretja je samopotrjevanje. Če isti sistem, ki je sprejel odločitev, ustvari tudi edino razlago, organizacija ni pridobila neodvisnega jamstva. Pridobila je boljšega pripovedovalca.
Dokaz v tem operativnem smislu ni lepši odstavek. Je preverljivo razmerje med trditvijo, dokazi, pooblastilom, metodo in zapisom. Povedati mora, katera dejstva so bila uporabljena, katera izključena, katero pravilo ali model jih je preoblikoval, kakšna negotovost je ostala, katera vloga je sprejela rezultat in kako je mogoče odločitev izpodbijati. Razlaga lahko sedi na vrhu tega. Ne bi smeli od nje zahtevati, da to nadomesti.
To je pomembno tudi za poštenost. Ljudje si zaslužijo več kot samozavestno zgodbo, ko odločitve vplivajo na pravice, dostop, denar, oskrbo, delo ali ugled. Potrebujejo pot, da preverijo, ali je bila odločitev sprejeta v skladu s pravimi pravili in s pravimi dokazi. Razlaga brez dokaza lahko pomiri. Dokaz daje ljudem nekaj, kar lahko izpodbijajo.
Kaj dokaz pomeni v običajnih sistemih
Beseda dokaz lahko zveni preveč formalno, kot da bi morala vsaka organizacija svoj potek dela spremeniti v dokazovalnik izrekov, preden lahko pošlje pismo. To ni trditev. Formalni dokaz je dragocen tam, kjer ga upravičujejo logika, omejitve ali pravila, pomembna za varnost. Toda odločitve, ki nosijo dokaz, lahko obstajajo na več ravneh. Ključno je, da odločitev nosi strukturirano jamstvo, sorazmerno s svojimi posledicami.
Za priporočilo z nizkim tveganjem je dokaz lahko seznam virov, oznaka svežine, razpon zaupanja in opomba, da je rezultat svetovalne narave. Za javno odločitev o upravičenosti lahko dokaz vključuje različice pravil, vire dokazov, preverjanja manjkajočih dokazov, človeški pregled, zahteve glede obveščanja in pot pritožbe. Za priporočilo pri medicinski triaži lahko dokaz vključuje posnetek bolnikovega zapisa, preverjanja kontraindikacij, sklice na smernice, omejitve modela, ukrepanje klinika in pot eskalacije. Za logistično odločitev lahko dokaz vključuje omejitve, zmogljivost, predpostavke o poti, status reševalnika in načrt za izpad.
Vsak paket odgovarja na isto družino vprašanj. Kakšna odločitev je bila sprejeta. Kakšna je bila dovoljena uporaba. Kateri dokazi so obstajali v tistem trenutku. Katera pot preoblikovanja ali sklepanja je bila uporabljena. Katere omejitve so bile zavezujoče. Kakšna negotovost je ostala. Kdo je imel pooblastilo. Kaj se je spremenilo po dejstvu. Kako je mogoče odločitev ponoviti, izpodbijati, popraviti ali se iz nje učiti.
Raven dokaza naj bo sorazmerna s posledicami in reverzibilnostjo. Predlog črkovanja ne potrebuje dosjeja o upravljanju. Samodejna zavrnitev storitve ga potrebuje. Predlog poti lahko potrebuje sled izvedljivosti. Varnostno navodilo lahko potrebuje močnejši zapis. Bistvo ni največja možna papirologija. Bistvo je jamstvo, sorazmerno z dejanjem.
Trenutek zajema je pomemben
Dokaz o odločitvi je treba zajeti v trenutku, ko je odločitev sprejeta. Ne po pritožbi. Ne med revizijo. Ne ko regulator pošlje pismo. V trenutku odločitve ima sistem še vedno dostop do ustreznih podatkov: posnetka zapisa, veljavne politike, različice modela, pridobljenih virov, vloge uporabnika, stanja vmesnika, negotovosti in razpoložljivih alternativ. Kasneje te stvari zaidejo. Zapisi se popravljajo. Politike se spreminjajo. Modeli se posodabljajo. Nadzorne plošče se znova uvajajo. Ljudje pozabljajo. Spomin postane lokalna zbirka podatkov z vprašljivo zanesljivostjo.
Zajem dokazov v trenutku odločitve spremeni tudi vedenje. Če delovni tok ve, da mora ohraniti dokaze, je bolj verjetno, da bo dokaze zahteval pred ukrepanjem. Če mora izhod modela nositi negotovost, jo bo vmesnik manj verjetno skrival. Če mora odobritev zabeležiti, kaj je človek videl, bo sistem bolj verjetno pokazal nekaj, kar je vredno videti. Zajem dokazov ni le arhivsko delo. Oblikuje zasnovo same odločitve.
Zato so posnetki zaslona šibka zamenjava. Posnetek zaslona zabeleži sliko, ne stanja odločitve. Lahko izpusti skrite plošče, svežino virov, različice politik, nastavitve modela ali manjkajoče vnose. Težko ga je poizvedovati, težko ga je preizkusiti in pozneje ga je lahko napačno razumeti. Posnetki zaslona so včasih uporabni pri podpori. Niso resen format dokazov za odločitve, ki so pomembne. Posnetek zaslona je v korporativnem življenju že naredil dovolj. Naj počiva.
Odločitve z dokazi potrebujejo strukturiran zajem. To pomeni, da sistem shranjuje polja, različice, sklice, zgoščene vrednosti, kjer so uporabne, kode razlogov, negotovost, dejanje uporabnika in povezave do nespremenljivih ali neodvisno nadzorovanih zapisov. Natančna shema se razlikuje glede na področje, navada pa ne bi smela: zajemi pooblastilo, dokler obstaja.
Dokazi ščitijo obe strani odgovornosti
Odgovornost je pogosto opisana kot nekaj, kar organizacije dolgujejo prizadetim ljudem. To drži. Prav tako je nekaj, kar organizacije dolgujejo svojim delavcem. Delavec na primeru, klinik, dispečer, analitik ali ocenjevalec ne bi smel ostati sam s skrivnostnim priporočilom in prihodnjo obtožbo. Če organizacija pričakuje, da se bodo ljudje zanašali na sistem, jim mora dati dokaze. Če pričakuje, da bodo sistem izpodbijali, jim mora dati pot.
Odločitve z dokazi ščitijo prizadete ljudi, ker omogočajo izpodbijanje. Ščitijo delavce, ker prikazujejo, katere informacije so bile na voljo in kako jih je sistem okviril. Ščitijo inženirje, ker razlikujejo okvaro podatkov od okvare modela, okvare vmesnika, okvare politike in človeške presoje. Ščitijo vodje, ker razkrivajo, kje je operativni model šibek. Ščitijo revizorje, ker jim dajo nekaj boljšega od ogleda nadzornih plošč.
Ne gre za izogibanje odgovornosti. Gre za natančno lociranje odgovornosti. Slaba odločitev lahko izvira iz napačnih podatkov, neveljavnega pravila, modela zunaj področja uporabe, nejasnega vmesnika, sprevrženih spodbud ali človeške preglasitve. Brez dokazov se krivda premakne k najbližji osebi. Z dokazi lahko organizacija vidi, katera plast je odpovedala. To je pravičnejše in veliko bolj uporabno.
Obstaja tudi zaupanjska korist. Ljudje so bolj pripravljeni sprejeti avtomatizirane ali podprte odločitve, ko vedo, da je možnost ugovora resnična. Ne zato, ker bi bila vsaka odločitev všečna, ampak ker ima postopek ročaje. Odločitev z dokazilom sporoča: tukaj je, kaj smo uporabili, tukaj je, kaj smo storili, tukaj je, kdo je deloval, tukaj je, kako to lahko vprašate. To ni zagotovilo pravilnosti. To je zavrnitev skrivanja za rezultatom.
Dokazilni paket mora potovati
Zapis odločitve, ki ga je mogoče razumeti samo znotraj ene nadzorne plošče ponudnika, ne nosi dokazila. To je dokazilo na kratkem povodcu. Pomembne odločitve potrebujejo dokazilne pakete, ki lahko potujejo skozi čas, sisteme, dobavitelje in kontekste pregleda. Arhiviranje mora biti mogoče. Neodvisno vzorčenje mora biti mogoče. Migracija ne sme uničiti pomena. Revizija ne sme biti odvisna od tega, da je prvotna aplikacija še vedno na spletu in v radodarni volji.
Prenosljivost spremeni oblikovalske izbire. Uporabite dokumentirane sheme. Ohranite identifikatorje. Shranite različice pravil in sklice na vire. Shranite dovolj konteksta za ponovitev odločitve, ne da bi razkrili več osebnih podatkov, kot je potrebno. Ločite zapis dokazil od vmesnika, ki ga je slučajno prikazal. Kadar zasebnost zahteva minimizacijo, shranite zaveze, sklice ali nadzorovane posnetke, namesto da bi vse odlagali za vedno. Nositi dokazilo ne pomeni nepremišljenega kopičenja. Pomeni ohraniti pravo pooblastilo pod pravimi nadzori.
Obstaja tudi vprašanje lokalnosti. Nekatera dokazila morajo ostati pod oblastjo institucije, ki nosi dolžnost. Če mora javni organ pojasniti odločitev, dokazila ne smejo biti na voljo samo prek računa dobavitelja. Če mora bolnišnica zagovarjati pot zdravljenja, ustrezen zapis ne sme izginiti, ko ponudnik modela spremeni politiko hrambe. Če mora podjetje preiskati varnostni incident, ne sme čakati na servisno zahtevo, da bi pridobilo lastno pooblastilo.
Potujoče dokazilo pomaga tudi pri učenju. Ko zapisi odločitev uporabljajo stabilno strukturo, lahko ekipe analizirajo vzorce: katera pravila ustvarjajo pritožbe, kateri viri zastarajo, katere različice modelov povečujejo negotovost, kateri pregledovalci uporabno preglasijo, katere skupine doživljajo več predelav. Dokazilni paket ni samo obrambni. Postane operativni instrument.
Kaj se spremeni pri sistemih umetne inteligence
Umetna inteligenca naredi odločitve z dokazili bolj nujne, ker sistemi umetne inteligence pogosto ustvarjajo vmesne artefakte, ki delujejo manj kot zapisi in bolj kot začasni izračuni. Pozivi, pridobljeni odlomki, vdelave, ocene razvrščevalnika, izhodi varnostnih filtrov, različice modelov, klici orodij, povzetki verig in ocene zaupanja lahko vsi vplivajo na odločitev. Če izginejo, organizacija obdrži rezultat, a izgubi pooblastilo.
Dokazilni paket ne sme ohraniti vsakega notranjega žetona za vedno. To bi bilo drago, vsiljivo in pogosto nepotrebno. Ohraniti mora gradivo, potrebno za pregled odločitve. Kateri viri so bili pridobljeni in izbrani. Kateri viri niso bili na voljo. Kateri model in konfiguracija sta bila uporabljena. Kateri poziv ali predloga naloge je okvirjala delo. Kateri klici orodij so spremenili stanje. Katera negotovost je bila razkrita. Kateri človek je videl kaj. Katera politika je dovolila ali blokirala dejanje.
Umetnointeligenčni sistemi morajo beležiti tudi zavrnitev. Če je sistem zavrnil odgovor, ker so manjkali dokazi, je ta zavrnitev del upravljanja. Če je človek zavrnitev preglasil, je to pomembno. Če je sistem odgovoril kljub nizki zanesljivosti, mora biti razlog viden. Paket dokazil naj ne opisuje le uspešnih odločitev, temveč tudi meje okoli njih. Prav na mejah običajno prebiva varnost.
Drugo vprašanje, značilno za umetno inteligenco, je sprememba modela. Odločitve, sprejete pod eno različico modela, pozneje ne bi smeli pojasnjevati z drugo. Če posodobitev modela spremeni vedenje, zgodovinske odločitve potrebujejo svoj prvotni kontekst. V nasprotnem primeru lahko organizacija pomotoma prepiše preteklost. To je morda priročno v znanstvenofantastičnem filmu. Za revizijsko prakso pa je slabo.
Dokazila nekaj stanejo, a tudi rekonstrukcija
Odločitve z dokazili nekaj stanejo. Zahtevajo načrtovanje sheme, shranjevanje, različice, nadzor dostopa, pregled zasebnosti, delo na vmesniku, lastništvo upravljanja in operativno disciplino. Dodajo lahko nekaj trenja. Lahko razkrijejo, da obstoječi delovni tokovi v resnici ne vedo, zakaj sprejemajo nekatere odločitve. To odkritje je lahko neprijetno. Prav. Neprijetnost pred škodo je ugodna menjava.
Druga možnost je strošek rekonstrukcije. Rekonstrukcija po pritožbi, incidentu, reviziji ali tožbi je počasna, draga, nepopolna in stresna. Ljudje iščejo po starih dnevnikih, sprašujejo, kdo se spominja, sklepajo, katera politika je bila veljavna, zahtevajo izvoze od prodajalcev, primerjajo posnetke zaslona in pišejo previdne stavke, ki so napol dokazi in napol upanje. Rekonstrukcija je kazen za to, da dokazov nismo zajeli, ko je bilo to poceni.
Obstaja tudi korist za kakovost odločitev. Ko je sistem zasnovan tako, da nosi dokazila, sprejema boljše odločitve, ker mora poznati svoje pogoje. Vedeti mora, kateri dokazi so trenutni, katero pravilo velja, katera pooblastila so prisotna, katera negotovost ostaja in katero dejanje je dovoljeno. Zahteva po dokazilih sili k jasnosti na izvoru. Ta jasnost je dragocena, tudi če zapisa nihče nikoli ne revidira.
Dokazila odvračajo tudi od pretiravanja. Ekipa, ki mora ohraniti dokaze, manj verjetno trdi, da je ocena modela dovolj, da je povzetek vir ali da je človeški klik smiseln pregled. Zapis vse drži nekoliko bolj poštene. To lahko zmanjša bleščico predstavitve. Poveča pa možnost, da sistem zaživi zunaj predstavitve.
Naj postane običajno
Odločitve z dokazili bi morale postati običajen vzorec načrtovanja za visoko pomembne avtomatizirane in podprte delovne tokove. Začnite z razvrščanjem vrst odločitev. Katere so nizko tvegani predlogi. Katere so operativna priporočila. Katere vplivajo na pravice, varnost, denar, dostop ali ugled. Uskladite paket dokazil s posledicami. Ne gradite katedrale za vsak namig. Ne pošiljajte pomembnih odločitev golih.
Nato določite shemo dokazov. Kateri viri, različice, pravila, podrobnosti modela, negotovost, človeška dejanja in poti pregleda morajo biti prisotni. Določite, kaj je shranjeno, na kaj se sklicuje, kaj je zgoščeno, kaj je minimizirano in kdo ima dostop. Določite, kako dolgo zapis živi. Določite, kako se premika med selitvijo. Določite, kaj se zgodi, ko manjka obvezno polje. Če je odgovor vseeno nadaljuj, je shema zgolj okrasna.
Nato povežite paket dokazil z vmesnikom. Pregledovalec mora pred odobritvijo videti dokaze. Prizadeta oseba mora prejeti pojasnilo, izpeljano iz dokazov. Revizor mora vzorčiti dokaze. Operater mora iz njih diagnosticirati. Vodja mora iz njih videti vzorce. Dokazi ne smejo živeti v kleti, ki jo skladnostnost obišče enkrat letno z baklo.
Nazadnje vzdržujte vzorec. Pravila se spreminjajo. Modeli se spreminjajo. Viri se spreminjajo. Delovni tokovi se spreminjajo. Paket dokazil naj se razvija z različicami shem in upravljavskim pregledom. Sistem dokazil, ki ni vzdrževan, postane še en fosil, fosili pa so očarljivi le, kadar ne sprejemajo odločitev.
Primer
Primer za odločitve, ki nosijo dokaze, je preprost. Pomembne odločitve ustvarjajo obveznosti. Obveznosti potrebujejo dokaze. Dokaze je treba zajeti, dokler še obstajajo. Če odločitev vpliva na ljudi, denar, varnost, pravice, dostop ali zaupanje v institucije, sam rezultat ni dovolj. Odločitev mora nositi svojo utemeljitev.
To ne pomeni, da je vsaka odločitev pravilna. Pomeni nekaj bolj skromnega in bolj uporabnega. Odločitve postanejo pregledne. Prizadeti lahko ugovarjajo s substanco. Delavci se lahko zanesejo in se ne strinjajo s kontekstom. Inženirji lahko razhroščujejo pravo plast. Vodje lahko vidijo šibke operativne modele. Revizorji lahko preverjajo zapise namesto da občudujejo nadzorne plošče.
Pismo iz uvodne zgodbe nikoli ne bi smelo prispeti samo. Prispelo bi moralo s paketom odločitve, ki bi ga organizacija lahko pregledala: tukaj so bili viri, tukaj je bilo pravilo, tukaj je bilo stanje modela, tukaj je bila negotovost, tukaj je bila človeška presoja, tukaj je pot za pritožbo. Potem vprašanje, zakaj ta odločitev, za moj primer, tistega dne, ne bi sprožilo arheologije. Sprožilo bi pregled.
To je praktična obljuba odločitev, ki nosijo dokaze. Ne popolni sistemi. Sistemi, ki s seboj prinesejo svoje razloge.