Tõenduskohustuslike otsuste põhjendus
Otsus, mis saabus ilma pagasita
Kiri tundus täielik. Sellel oli kuupäev, viitenumber, viisakas sissejuhatus, otsus ja edasikaebamise võimalus. Süsteem oli juhtumi järjestanud, rakendanud mitmeid reegleid, toonud kätte toetavad dokumendid ja pakkunud välja lõpliku teksti. Inimene oli selle heaks kiitnud. Töövoog oli logisse märkinud õnnestumise. Miski ei tundunud ilmselgelt valesti, kuni kirja saanud inimene esitas lihtsa küsimuse: miks see otsus, minu juhtumi kohta, just sel päeval.
Organisatsioon suutis osadele küsimustele vastata. See sai näidata lõplikku kirja. See sai näidata avalduse kirjet sellisena, nagu see praegu eksisteerib. See sai näidata, et töövoog käivitus. See sai näidata, et töötaja klõpsas kinnitamist. See sai näidata mudeli skoori ümardatuna kahe kümnendkohani, sest kümnendkohad oskavad hästi autoriteediks maskeeruda. Mida see ei suutnud puhtalt näidata, oli ahel, mis muutis otsuse õigustatuks selle tegemise hetkel.
Otsus oli saabunud ilma pagasita. Sellel puudus püsiv pakett allikatest, reegliversioonidest, mudeliversioonist, otsinguteest, välistatud tõenditest, ebakindlusest, inimese hinnangust, volitusest ja vaidlustamise teest. Inimesed hakkasid minevikku rekonstrueerima armatuurlaudade, eksportide, piletimärkmete ja mälu põhjal. See on nõrga valitsemise arheoloogia. Kõik töötavad kõvasti. Keegi pole uhke.
Tõendit kandvate otsuste argument algab sealt. Olulised otsused ei tohiks liikuda paljaste väljunditena. Need peaksid kandma piisavalt tõendit, laias operatiivses tähenduses, et teine inimene või süsteem saaks kontrollida, miks tegevus lubatud oli. Tõend ei pea igas valdkonnas olema formaalne teoreem. Mõnikord on see sertifikaat. Mõnikord on see struktureeritud tõendite pakett. Mõnikord on see taasesitatav otsuste register. Põhimõte on sama: õigustus liigub koos otsusega.
Logidest ei piisa
Logid on kasulikud. Need räägivad meile, et sündmused juhtusid, milline teenus käivitus, milline kasutaja tegutses, milline lõpp-punkt vastas ja millist ajatemplit süsteem uskus. Ilma logideta muutub operatsioon ebausuks koos intsidentide kõnedega. Kuid logid ei ole automaatselt otsuse tõend. Need kajastavad sageli liikumist, mitte õigustust. Need ütlevad, et taotlus liikus ühest olekust teise. Need ei ütle tingimata, kas liikumine oli õigustatud.
Logirida võib öelda, et mudel tagastas skoori. See ei pruugi näidata, millised allikad toodi kätte, millised allikad puudusid, kas skoor oli selle juhtumitüübi jaoks kalibreeritud või milline poliitika lubas skooril tegevust mõjutada. Logi võib öelda, et operaator kiitis heaks. See ei pruugi näidata, mida operaator nägi, milline ebakindlus oli nähtav, kas ülekirjutamine oli võimalik või kas heakskiit oli järjekorra surve all tähenduslik. Logi võib öelda, et eksport on lõppenud. See ei pruugi säilitada semantilist konteksti, mis muutis kirje arusaadavaks.
See eristus ei ole pedantsus. Valitsemine ebaõnnestub, kui meeskonnad ajavad segi sündmuste päritolu otsuse tõendiga. Ajajoon on väärtuslik, kuid ajajoon iseenesest ei kehtesta õigustust. Kui sild variseb kokku, ei ole e-kirjade järjestuse teadmine sama, mis teadmine, kas koormusarvutus oli kehtiv. Kui AI-toega otsus kahjustab kedagi, ei ole töövoo lõpetamise teadmine sama, mis teadmine, et tõendid, volitus ja piirangud toetasid tegevust.
Veendunud otsused ei asenda logisid. Nad kasutavad logisid ühe koostisosana. Tõenduspakett esitab keerulisema küsimuse: arvestades maailma seisundit ja reegleid sel hetkel, miks see otsus lubatud oli. See küsimus nõuab struktuuri, mitte ainult kronoloogiat.
Ka selgitus ei ole tõend
Genereeritud selgitused võivad olla abiks. Lihtsas keeles kokkuvõte võib aidata kasutajal mõista, mis juhtus. Põhjendus võib aidata töötajal väljundit üle vaadata. Põhjusekood võib suunata edasikaebust. Probleem algab siis, kui selgitust koheldakse tõendina. Selgitus võib kirjeldada otsust tagantjärele. Tõend peab siduma otsuse tõendite ja reeglitega, mis selle õiguspäraseks tegid.
Siin on mitmeid lõkse. Esimene on sujuvus. Mudel võib toota usutava põhjenduse, mis kõlab korrapärasemalt kui tegelik protsess. Teine on valikulisus. Selgitus võib mainida otsust toetavaid tegureid ja jätta välja tegurid, mis puudusid, olid aegunud, vastuolulised või ulatusest väljas. Kolmas on enesehinnang. Kui sama süsteem, mis otsuse tegi, toodab ka ainsa selgituse, pole organisatsioon saanud sõltumatut kinnitust. Ta on saanud parema jutustaja.
Tõend selles operatiivses tähenduses ei ole ilusam lõik. See on kontrollitav seos väite, tõendite, volituse, meetodi ja kirje vahel. See peaks ütlema, milliseid fakte kasutati, millised jäeti välja, milline reegel või mudel neid teisendas, milline ebakindlus jäi, milline roll tulemuse vastu võttis ja kuidas otsust saab vaidlustada. Selgitus võib selle peal olla. Seda ei tohiks paluda selle asendajana.
See on oluline ka õigluse seisukohast. Inimesed väärivad enamat kui enesekindlat lugu, kui otsused mõjutavad õigusi, juurdepääsu, raha, hoolt, tööd või mainet. Nad vajavad teed, et testida, kas otsus tehti õigete reeglite ja õigete tõendite alusel. Selgitus ilma tõendita võib rahustada. Tõend annab inimestele midagi, mida vaidlustada.
Mida tõend tähendab tavalistes süsteemides
Sõna tõend võib kõlada liiga formaalselt, nagu peaks iga organisatsioon muutma oma töövoo teoreemi tõestajaks enne, kui võib kirja saata. See pole väide. Formaalne tõend on väärtuslik seal, kus loogika, piirangud või ohutuskriitilised reeglid seda õigustavad. Kuid veendunud otsused võivad eksisteerida mitmel tasandil. Võti on see, et otsus kannab struktureeritud volitust, mis on proportsionaalne selle tagajärgedega.
Madala riskiga soovituse puhul võib tõend olla allikate loend, värskuse märge, usaldusvahemik ja märkus, et väljund on nõuandev. Avaliku abikõlblikkuse otsuse puhul võib tõend hõlmata reeglite versioone, tõendite allikaid, puuduvate tõendite kontrolle, inimülevaadet, teatamisnõudeid ja edasikaebamise teed. Meditsiinilise triaažisoovituse puhul võib tõend hõlmata patsiendi andmete hetktõmmist, vastunäidustuste kontrolle, juhiste viiteid, mudeli piiranguid, kliiniku tegevust ja eskaleerimise teed. Logistikaotsuse puhul võib tõend hõlmata piiranguid, võimekust, marsruudi eeldusi, lahendaja olekut ja varuplaan.
Iga pakett vastab samale küsimuste perele. Milline otsus tehti. Mis oli lubatud kasutus. Millised tõendid eksisteerisid sel hetkel. Millist teisendus- või arutluskäiku kasutati. Millised piirangud olid siduvad. Milline ebakindlus jäi. Kellel oli volitus. Mis muutus tagantjärele. Kuidas saab otsust taasesitada, vaidlustada, parandada või sellest õppida.
Tõendite tase peaks skaleeruma tagajärgede ja pöörduvusega. Õigekirjasoovitus ei vaja valitsemisdossiéri. Automaatne teenusest keeldumine vajab. Marsruudisoovitus võib vajada teostatavuse jälge. Ohutusjuhis võib vajada tugevamat kirjet. Mõte pole maksimaalne paberimajandus. Mõte on volitus, mis on proportsionaalne tegevusega.
Jäädvustamise hetk on oluline
Otsuse tõendus tuleks jäädvustada otsuse tegemise hetkel. Mitte pärast kaebust. Mitte auditi ajal. Mitte siis, kui regulaator saadab kirja. Otsuse hetkel on süsteemil endiselt juurdepääs asjakohasele olekule: kirje hetktõmmisele, kehtivale poliitikale, mudeli versioonile, hangitud allikatele, kasutaja rollile, liidese olekule, määramatusele ja kättesaadavatele alternatiividele. Hiljem need asjad triivivad. Kirjeid parandatakse. Poliitikad muutuvad. Mudelid uuenevad. Töölauad laaditakse uuesti. Inimesed unustavad. Mälu muutub kohalikuks andmebaasiks, mille usaldusväärsus on küsitav.
Tõenduse jäädvustamine otsuse hetkel muudab ka käitumist. Kui töövoog teab, et see peab tõendeid säilitama, küsib see tõenäolisemalt tõendeid enne toimingut. Kui mudeli väljund peab kandma määramatust, peidab liides seda vähem tõenäoliselt. Kui heakskiit peab jäädvustama selle, mida inimene nägi, näitab süsteem tõenäolisemalt midagi, mida tasub näha. Tõenduse jäädvustamine ei ole ainult arhiivitöö. See kujundab otsuse enda disaini.
Seetõttu on ekraanipildid nõrgad asendajad. Ekraanipilt jäädvustab pildi, mitte otsuse olekut. See võib jätta välja peidetud paneelid, allikate värskuse, poliitika versioonid, mudeli seaded või puuduvad sisendid. Seda on raske päringutega uurida, raske testida ja hiljem kergesti valesti mõista. Ekraanipildid on mõnikord kasulikud toevõtmes. Need ei ole tõsine tõendusvorming oluliste otsuste jaoks. Ekraanipilt on juba piisavalt ära teinud ettevõtteelus. Las see puhata.
Tõendust kandvad otsused vajavad struktureeritud jäädvustamist. See tähendab, et süsteem salvestab väljad, versioonid, viited, räsid seal, kus need on kasulikud, põhjusekoodid, määramatuse, kasutaja toimingu ja lingid muutumatutele või sõltumatult kontrollitavatele kirjetele. Täpne skeem varieerub valdkonniti, kuid harjumus ei tohiks: jäädvusta volitus selle olemasolu ajal.
Tõendus kaitseb mõlemat vastutuse poolt
Vastutust kirjeldatakse sageli kui midagi, mida organisatsioonid võlgnevad mõjutatud inimestele. See on tõsi. See on ka midagi, mida organisatsioonid võlgnevad oma töötajatele. Juhtumitöötlejat, kliinikut, dispetšerit, analüütikut või retsensenti ei tohiks jätta üksi salapärase soovituse ja tulevase süüdistusega. Kui organisatsioon ootab, et inimesed tugineksid süsteemile, peaks see neile andma tõendeid. Kui see ootab, et nad süsteemi vaidlustaksid, peaks see neile andma tee.
Tõendust kandvad otsused kaitsevad mõjutatud inimesi, muutes vaidlustamise võimalikuks. Need kaitsevad töötajaid, näidates, milline teave oli kättesaadav ja kuidas süsteem seda raamistas. Need kaitsevad insenere, eristades andmetõrke mudelitõrkest, liidese tõrkest, poliitika tõrkest ja inimese hinnangust. Need kaitsevad juhte, paljastades, kus tegevusmudel on nõrk. Need kaitsevad auditeerijaid, andes neile midagi paremat kui ringkäik töölaudadel.
See ei puuduta vastutuse vältimist. See puudutab vastutuse täpset paiknemist. Halb otsus võib tuleneda valedest andmetest, kehtetust reeglist, mudelist väljaspool ulatust, ebaselgest liidesest, perverssetest stiimulitest või inimese ülekirjutamisest. Ilma tõenduseta liigub süü lähima inimese poole. Tõendusega saab organisatsioon näha, milline kiht ebaõnnestus. See on õiglasem ja palju kasulikum.
Usaldus on veel üks kasu. Inimesed on valmis automatiseeritud või abistatud otsuseid kergemini vastu võtma, kui nad teavad, et vaidlustamine on reaalne. Mitte sellepärast, et iga otsus meeldiks, vaid sellepärast, et protsessil on käepidemed. Tõendit kandev otsus ütleb: siin on, mida me kasutasime, siin on, mida me tegime, siin on, kes tegutses, siin on, kuidas seda kahtluse alla seada. See ei ole õigsuse garantii. See on keeldumine peituda tulemuse taha.
Tõendipakend peaks liikuma
Otsuselogi, millest saab aru ainult ühe müüja juhtpaneeli sees, ei kanna tõendit. See on tõend, mida külastatakse lühikese rihma otsas. Oluliste otsuste tõendipakendid peavad saama liikuda üle aja, süsteemide, tarnijate ja läbivaatamise kontekstide. Arhiveerimine peaks olema võimalik. Sõltumatu valimite võtmine peaks olema võimalik. Migreerimine ei tohiks tähendust hävitada. Audit ei tohiks sõltuda sellest, et algne rakendus on endiselt võrgus ja heatahtlikus meeleolus.
Teisaldatavus muudab disainivalikuid. Kasutage dokumenteeritud skeeme. Säilitage identifikaatorid. Hoidke reeglite versioone ja allikaviiteid. Salvestage piisavalt konteksti otsuse taasesitamiseks, ilma et avaldaksite rohkem isikuandmeid kui vaja. Eraldage tõendusmaterjali kirje liidesest, mis seda juhtus kuvama. Kui privaatsus nõuab minimeerimist, salvestage kohustused, viited või kontrollitud hetktõmmised, mitte ei loobuks kõigest igaveseks. Tõendi kandmine ei tähenda hooletut kogumist. See tähendab õige õigustuse säilitamist õigete kontrollide all.
On ka kohalikkuse küsimus. Osa tõenditest peaks jääma asutuse autoriteedi alla, kellel on kohustus. Kui avalik asutus peab otsust selgitama, ei tohiks tõendid olla kättesaadavad ainult tarnija konto kaudu. Kui haigla peab raviteed kaitsma, ei tohiks asjakohane kirje kaduda, kui mudelipakkuja muudab säilituspoliitikat. Kui ettevõte peab ohutusjuhtumit uurima, ei tohiks ta oma õigustuse taastamiseks oodata tugipileti lahendamist.
Liikuv tõend aitab ka õppimisel. Kui otsuselogid kasutavad stabiilset struktuuri, saavad meeskonnad mustreid analüüsida: millised reeglid tekitavad edasikaebusi, millised allikad vananevad, millised mudeliversioonid suurendavad ebakindlust, millised läbivaatajad parandavad kasulikult, millised rühmad kogevad rohkem ümbertööd. Tõendipakend ei ole ainult kaitsev. Sellest saab operatiivne tööriist.
Mis muutub tehisintellektisüsteemide puhul
Tehisintellekt muudab tõendit kandvad otsused pakilisemaks, sest tehisintellektisüsteemid toodavad sageli vahetulemusi, mis tunduvad vähem kirjetena ja rohkem ajutise arvutusena. Päringud, leitud lõigud, manustused, ümberjärjestamise skoorid, turvafiltrite väljundid, mudeliversioonid, tööriistakutsed, ahela kokkuvõtted ja usaldusväärsuse hinnangud võivad kõik otsust mõjutada. Kui need kaovad, jääb organisatsioonile väljund, kuid õigustus läheb kaotsi.
Tõendipakend ei peaks säilitama iga sisemist märki igaveseks. See oleks kallis, pealetükkiv ja sageli tarbetu. See peaks säilitama materjali, mis on vajalik otsuse kontrollimiseks. Millised allikad leiti ja valiti. Millised allikad polnud kättesaadavad. Millist mudelit ja konfiguratsiooni kasutati. Milline päring või ülesande mall raamis töö. Millised tööriistakutsed muutsid olekut. Milline ebakindlus oli avalikustatud. Milline inimene mida nägi. Milline poliitika lubas või blokeeris tegevuse.
AI-süsteemid peavad ka keeldumist registreerima. Kui süsteem keeldus vastamast, sest tõendusmaterjal puudus, on see keeldumine osa haldusest. Kui inimene keeldumise tühistas, on see oluline. Kui süsteem vastas vaatamata madalale kindlusele, peaks põhjus olema nähtav. Tõenduspakett peaks kirjeldama mitte ainult õnnestunud otsuseid, vaid ka nende piire. Piirid on koht, kus turvalisus tavaliselt elab.
Teine AI-spetsiifiline küsimus on mudeli muutumine. Otsust, mis tehti ühe mudeliversiooni alusel, ei tohiks hiljem selgitada teise mudeliversiooni abil. Kui mudeliuuendus muudab käitumist, vajavad ajaloolised otsused oma algset konteksti. Muidu saab organisatsioon kogemata minevikku ümber kirjutada. See võib ulmefilmis mugav olla. Auditeerimistavas on see kehv.
Tõendamine maksab, aga ka rekonstrueerimine
Tõendatud otsused maksavad midagi. Need nõuavad skeemi kavandamist, salvestamist, versioonihaldust, juurdepääsukontrolli, privaatsuse ülevaadet, liidesetööd, haldusvastutust ja operatiivset distsipliini. Need võivad lisada väikese hõõrdumise. Need võivad paljastada, et olemasolevad töövoogud ei tea tegelikult, miks nad mõningaid otsuseid teevad. See avastus võib olla ebamugav. Hea. Ebamugavus enne kahju on soodne tehing.
Alternatiivne kulu on rekonstrueerimine. Rekonstrueerimine pärast kaebust, juhtumit, auditit või kohtuasja on aeglane, kallis, puudulik ja stressirohke. Inimesed otsivad vanu logisid, küsivad, kes mäletab, järeldavad, milline poliitika oli aktiivne, tellivad müüja eksporte, võrdlevad ekraanipilte ja kirjutavad hoolikaid lauseid, mis on pool tõendit ja pool lootust. Rekonstrueerimine on karistus selle eest, et õigustust ei jäädvustatud, kui see oli odav.
On ka otsuse kvaliteedi kasu. Kui süsteem on kavandatud tõendeid kandma, kipub see tegema paremaid otsuseid, sest see peab teadma oma tingimusi. See peab teadma, milline tõendusmaterjal on ajakohane, milline reegel kehtib, milline volitus on olemas, milline ebakindlus jääb ja milline tegevus on lubatud. Tõendamisnõue sunnib selgust ülesvoolu. See selgus on väärtuslik isegi siis, kui keegi kunagi arvestust ei auditeeri.
Tõendamine heidutab ka liialdamist. Meeskond, kes peab õigustust säilitama, vähem tõenäoliselt teeskleb, et mudeli skoor on piisav, kokkuvõte on allikas või inimese klõps on tähendusrikas ülevaade. Arvestus hoiab kõiki veidi ausamana. See võib vähendada demo sära. See parandab võimalust, et süsteem saab elada väljaspool demot.
Muutes selle tavaliseks
Tõendatud otsused peaksid muutuma tavaliseks kavandusmustriks kõrge tagajärjega automatiseeritud ja abistatud töövoogudes. Alustage otsusetüüpide klassifitseerimisest. Millised on madala riskiga soovitused. Millised on operatiivsed soovitused. Millised mõjutavad õigusi, turvalisust, raha, juurdepääsu või mainet. Sobitage tõenduspakett tagajärjega. Ärge ehitage katedraali iga kohtspikri jaoks. Ärge saatke tagajärjega otsuseid alasti.
Seejärel määratlege õigustuse skeem. Millised allikad, versioonid, reeglid, mudeli üksikasjad, ebakindlus, inimese tegevused ja ülevaatusrajad peavad olemas olema. Määratlege, mis salvestatakse, millele viidatakse, mis räsitakse, mis minimeeritakse ja kellel on juurdepääs. Määratlege, kui kaua see elab. Määratlege, kuidas see migratsiooni ajal liigub. Määratlege, mis juhtub, kui nõutud väli puudub. Kui vastus on ikkagi jätkata, on skeem dekoratiivne.
Järgmiseks ühendage tõenduspakett liidesega. Ülevaataja peaks nägema õigustust enne heakskiitmist. Mõjutatud isik peaks saama õigustusest tuletatud selgituse. Audiitor peaks valimit õigustusest kontrollima. Operaator peaks selle põhjal diagnoosima. Juht peaks selle põhjal mustreid nägema. Tõendusmaterjal ei tohiks elada keldris, mida vastavusosakond külastab kord aastas taskulambiga.
Lõpuks hoidke mustrit üleval. Reeglid muutuvad. Mudelid muutuvad. Allikad muutuvad. Töövoogud muutuvad. Tõenduspakett peaks arenema versioonitud skeemide ja haldusülevaatuse kaudu. Tõendussüsteem, mida ei hooldata, muutub järjekordseks fossiiliks ja fossiilid on võluvad ainult siis, kui nad otsuseid ei tee.
Juhtum
Tõendikandvate otsuste juhtum on lihtne. Olulised otsused loovad kohustusi. Kohustused vajavad tõendeid. Tõendid tuleb jäädvustada siis, kui need veel eksisteerivad. Kui otsus mõjutab inimesi, raha, ohutust, õigusi, juurdepääsu või institutsionaalset usaldust, ei piisa ainult väljundist. Otsus peab kandma endas oma põhjendust.
See ei muuda iga otsust õigeks. See teeb midagi tagasihoidlikumat ja kasulikumat. See muudab otsused kontrollitavaks. See võimaldab mõjutatud inimestel esitada sisulisi vastuväiteid. See võimaldab töötajatel toetuda ja eriarvamust avaldada konteksti teades. See võimaldab inseneridel siluda õiget kihti. See võimaldab juhtidel näha nõrku toimimismudeleid. See võimaldab audiitoritel kontrollida andmeid, mitte imetleda armatuurlaudu.
Avatud loo kiri ei oleks tohtinud kunagi üksi kohale jõuda. See oleks pidanud jõudma koos otsusepaketiga, mida organisatsioon saab kontrollida: siin olid allikad, siin oli reegel, siin oli mudeli olek, siin oli määramatus, siin oli inimlik hinnang, siin on edasikaebamise tee. Siis ei käivitaks küsimus, miks see otsus just minu juhtumi puhul sel päeval tehti, arheoloogiat. See käivitaks läbivaatamise.
See on tõendikandvate otsuste praktiline lubadus. Mitte täiuslikud süsteemid. Süsteemid, mis toovad oma põhjused endaga kaasa.