Cesta, bolnišnica in model imajo eno skupno težavo

Sistemi, pomembni za varnost, odpovedujejo različno, a potrebujejo enako disciplino: trditev, vezano na kontekst, dokaze, ki jih je mogoče preveriti, ljudi,...

Cesta, bolnišnica in model imajo eno skupno težavo: dokazi

Dokazi morajo preživeti predajo

Projektant cest, bolnišnična ekipa in ponudnik modelov lahko vsak pripravi prepričljivo predstavitev. Križišče je lahko na načrtu videti urejeno. Klinični zaslon je lahko na delavnici videti miren. Model lahko na skrbno izbranem naboru primerov vrne smiselni odgovor. Nobeno od tega ne odgovori na vprašanje, ki je pomembno, ko sistem vstopi v vsakdanje življenje: kateri dokazi podpirajo to posebno dejanje, za te ljudi, v teh razmerah, in kdo ima pravico spremeniti smer, ko dokazi ne veljajo več?

To vprašanje je uporabnejše od razprave o tem, ali je cesta, bolnišnica ali sistem umetne inteligence »varen«. Varnost ni lastnost, ki pride v kartonski škatli skupaj z napravo. Je nenehen odnos med namenom, okoljem, skupino ljudi, mejami sistema in delom, ki se zgodi, ko je meja dosežena. Cesta mora sprejeti ljudi, ki delajo napake, in razmere, ki se spreminjajo. Klinična služba mora ohraniti presojo, ko so informacije nepopolne, nujne ali sporne. Sistem umetne inteligence mora ostati dovolj razumljiv, da lahko človek vidi, kdaj njegov rezultat ni več koristen prispevek k odločitvi.

Evropa že ima dele te discipline na različnih mestih. Pravila za cestno infrastrukturo zahtevajo postopke, kot so presoja vplivov, revizije, varnostni pregledi in ocenjevanje celotnega omrežja. Akt o umetni inteligenci od visokotveganih sistemov zahteva upravljanje tveganj v življenjskem ciklu, tehnično dokumentacijo, dnevnike, človeški nadzor, ustrezno točnost, robustnost in kibernetsko varnost. Evropske zdravstvene ustanove razpravljajo o varnosti, pravičnosti, upravljanju, pripravljenosti delovne sile in odgovornosti skupaj, namesto da bi klinični model obravnavale kot kos programske opreme, ki postane neškodljiv, ker ima njegov vmesnik stetoskop.

Skupna nit so dokazi. Ne dokazi kot debela mapa, sestavljena enkrat, in ne dokazi kot semafor z laskavim povprečjem. Dokazi kot nekaj, kar je pritrjeno na trditev, kontekst in odločitev. Uporaben zapis dokazov pove, čemu je bil sistem namenjen, kje trditev velja, katera opažanja jo podpirajo, katere predpostavke so pod njo, kaj je še negotovega, kdo lahko posreduje in katera sprememba pomeni, da je treba argument ponovno preučiti.

To je manj glamurozna ideja kot avtonomija. Je pa tudi trajnejša. Inženirjem daje način, kako navesti svoje meje, ne da bi se pretvarjali, da je testni nabor celoten svet. Vodjem daje način, kako vprašati, kaj dejansko sprejemajo. Operaterjem daje nekaj boljšega kot nadzorno ploščo, ki zasveti, ko je odločitev že postala težavna. Najpomembneje pa je, da ljudem, na katere sistem vpliva, daje pot od izida nazaj do razlogov in pogojev, ki so ga ustvarili.

Tri področja, eno nerodno vprašanje

Cesta, bolnišnica in model niso isti sistem. Njihove škode, pravne obveznosti, dokazne podlage in poklicne kulture se razlikujejo. Nihče ne bi smel prenesti cestne revizije v klinični delovni proces ali prilepiti kontrolnega seznama za medicinske pripomočke na jezikovni model in razglasiti dela za končano. Bistvo ni izbrisati razlike. Bistvo je opaziti skupni inženirski problem: avtomatiziran ali delno avtomatiziran sistem deluje prek širše ureditve ljudi, postopkov, vmesnikov, okolij in predpostavk.

Cesta je posebno jasen opomin, ker se ne odloča v človeškem smislu. Odločitve oblikuje. Geometrija, vidne linije, ločevanje prometnih tokov, križišča, označbe, upravljanje hitrosti, vzdrževanje in okoliško omrežje vplivajo na to, kaj ljudje lahko vidijo, kaj lahko popravijo in kako huda postane napaka. Dobra praksa na področju varnosti cest ne temelji na domišljiji o trajno pozornem in popolnoma obveščenem udeležencu v prometu. Prizadeva si, da bi bile predvidljive napake manj verjetne in manj kaznovane. Evropski okvir za upravljanje varnosti cestne infrastrukture to sistemsko perspektivo odraža s ponovljivimi postopki ocenjevanja in pregledovanja, ne pa z enkratno izjavo, da je bila pot odobrena.

Bolnišnica je drugačna, a prav tako živi z vrzeljo med čisto opisom in spreminjajočo se resničnostjo. Klinična pot vključuje vloge osebja, predaje, zapise, opremo, prioritete, prekinitve in osebo, katere stanje morda ni podobno povprečnemu primeru, ki je oblikoval protokol. Priporočilo je lahko uporabno in še vedno nezadostno. Opozorilo je lahko tehnično pravilno in še vedno pride v trenutku, ko nanj ni mogoče varno ukrepati. Sistem lahko izboljša en del delovnega toka, hkrati pa ustvari novo breme drugje. Zato se razprava o umetni inteligenci v zdravstvu ne more ustaviti pri navidezni učinkovitosti modela. Vključevati mora upravljanje, klinično odgovornost, kakovost podatkov, usposabljanje, zaupanje javnosti in načine za prepoznavanje ter odpravo škode.

Model je v enaki vrsti ureditve. Nekje je usposobljen ali konfiguriran, drugje povezan s podatki, oseba mu da poziv ali nalogo, postavljen je za vmesnik, nekateri ga spremljajo, drugi pa ne. Ustvari izhod, vendar ta izhod postane pomemben šele, ko ga nekdo obravnava kot razlog za ukrepanje. Med izhodom in ukrepanjem so pragovi, pooblastila, časovni pritisk, dostop do izvornega gradiva, usposabljanje, spodbude in možnost nestrinjanja. To niso zgolj dekorativne operativne podrobnosti. Odločajo o tem, ali tehnično usposobljena komponenta ostane varna komponenta širšega sistema.

Naslednje obravnavajte kot izrecno hipotetični sestav, ne kot poročilo o resnični cesti, bolnišnici, pacientu, zaposlenem ali incidentu. Lokalna oblast preučuje sistem, ki označuje lokacije za pregled varnosti cest. Bolnišnica preučuje orodje, ki pomaga razvrščati upravne dokumente, preden jih vidijo klinično osebje. Tretja organizacija preučuje model, ki pripravi povzetek tveganj za upravljavca infrastrukture. V vsakem okolju zgodnja predstavitev pokaže, da sistem lahko najde vzorce v obstoječih zapisih. Predstavitev še ne odgovori na vprašanje, ali zapisi predstavljajo razmere, ki jih bo storitev videla naslednji mesec, ali je mogoče prepoznati nenavaden primer, ali imajo ljudje, ki prejmejo priporočilo, dovolj časa in pooblastil, da ga postavijo pod vprašaj, ali pa bo organizacija opazila škodljiv vzorec, preden postane običajno delo. Problem z dokazi se začne natanko tam.

Lahka napaka je zahtevati eno samo številko. Kakšna je natančnost? Koliko časa bo prihranila? Koliko tveganj bo odkrila? Ta vprašanja so upravičena, a nepopolna. Številka potrebuje imenovalec, vzorec, definicijo, datum, predvideno uporabo in navedbo, kaj je bilo izključeno. Potrebuje tudi povezavo z naslednjo odločitvijo. Visoka ocena pri ozki, stabilni nalogi lahko podpre ozko, stabilno trditev. Ne more tiho pooblastiti drugačnega delovnega toka, drugačne populacije ali odločitve z drugačnimi posledicami.

Dokazi niso dekorativni dodatek

Dokazi postanejo uporabni, ko lahko spremenijo nečije mnenje. To se sliši očitno, vendar so številni svežnji dokazov zasnovani tako, da delujejo popolni, namesto da bi odločitev naredili izpodbojno. Vsebujejo posnetke zaslona, izjave o politikah, povzetke testov in podpise, vendar ne pokažejo, katero trditev podpira posamezna postavka, kateri pogoj omejuje trditev ali kaj naj se zgodi, če se pogoj spremeni. Rezultat je dokumentacija s ceremonialno vlogo. Lahko dokaže, da je sestanek potekal. Ne more pa nujno povedati operaterju, kaj naj stori ob 07:40, ko je storitev obremenjena, podatki zamujajo in priporočilo ne ustreza primeru, ki ga ima pred seboj.

Boljše izhodišče je poimenovana odločitev. Ne »odgovorno uvajanje umetne inteligence« in ne »izboljšanje varnosti v cestnem prometu«, temveč trditev z mejo. Na primer: ta sistem lahko daje prednost določeni vrsti pregledovalnega dela v opredeljenem operativnem okolju, medtem ko ostaja za sprejem ali zavrnitev priporočila odgovorna poimenovana vloga. Ali: ta zasnova se lahko odpre za promet, potem ko so bile ugotovljene nevarnosti ocenjene po zahtevanem postopku in so vzpostavljeni ugotovljeni nadzorni ukrepi. Besedilo je namenoma manj vznemirljivo kot objava izdelka. Je pogodba z resničnostjo.

Ko je odločitev poimenovana, se ima preostali del evidence kam pritrditi. Predvideni namen bralcu pove, česa naj ne sklepa. Kontekst mu pove, katero lokacijo, potek dela, uporabnike, podatke, opremo in okoliški proces je treba upoštevati. Dokazi beležijo teste, opažanja, izvorno gradivo, preglede in vaje. Predpostavke naredijo odvisnosti vidne: morda ima operater usposabljanje, morda je register virov posodobljen, morda določen alarm pravočasno doseže določeno vlogo. Lastnik opredeli, kdo lahko razlaga gradivo in posreduje. Sprožilci pregleda povedo, kateri signal, sprememba ali neuspeh predpostavke zahteva ponoven pregled.

Dokazi postanejo operativni, ko lahko bralec sledi trditvi do njenih pogojev, pooblastila in poti pregleda.

Ta struktura ima pomembno posledico. Preprečuje, da bi se dokazi oddaljili od uporabe. Test ni le arhiviran pod oznako »validacija«. Povezan je s trditvijo o določenem vedenju pod navedenimi pogoji. Revizija ni le dokaz, da je revizor obiskal. Postane zapis o tem, kaj je bilo pregledano, kaj je bilo ugotovljeno, kaj je ostalo negotovega in katero pooblastilo je odločilo, kaj se zgodi naprej. Vrednotenje modela ni splošna značka. Je omejeno opazovanje, katerega ustreznost je odvisna od različice modela, naloge, podatkov, konfiguracije in pogojev uvajanja.

Isti zapis naj bi naredil viden tudi izostanek dokazov. Če sistema ni preizkusil nihče z neobičajnim, a pomembnim vnosom, to ni majhna zadrega, ki bi jo bilo treba skriti pod povprečje. To je meja dokazov. Če lahko človek tehnično preglasi priporočilo, a v resničnem delovnem procesu za to nima časa, dostopa ali pooblastila, to ni smiseln nadzor. To je vrzel v zasnovi. Če inšpekcija za varnost v cestnem prometu opazi ponavljajoče se stanje, a nobena organizacija ni odgovorna za odpravo težave, opažanje še ni postalo nadzor. V resnih sistemih je izostanek dokazov rezultat. Organizaciji pove, kje še ne more trditi ničesar.

Varnost v cestnem prometu ponuja praktično lekcijo o ponižnosti

Varnost v cestnem prometu se že desetletja uči, da škodo le redko pojasni en sam slabi akter ali en sam slab del. Vozač, ki vozi prehitro, prehod, ki ga je težko razbrati, vozilo, vreme, osvetlitev, stanje vzdrževanja, mešanica prometa in odziv ob nujnih primerih, vse to je lahko pomembno. To ne razveljavlja posameznikove odgovornosti. Preprečuje pa plitvo ugotovitev, da je mogoče vsako napako odpraviti tako, da ljudem rečemo, naj bodo bolj pozorni. Sistem, ki deluje le, če nihče ne naredi predvidljive napake, ni impresivno strog sistem. Je krhek.

Pravila EU o upravljanju varnosti cestne infrastrukture so koristna protiutež zamisli, da je odobritev enkraten dogodek. Varnostno delo organizirajo okoli postopkov, ki preučujejo predvidene posledice, načrtovanje, delovanje in obstoječe omrežje. Natančen pravni obseg je pomemben in pravila je treba brati kot zakonodajo o cestni infrastrukturi in ne kot splošno predlogo za vsako tehnologijo. Kljub temu je njihova osnovna navada na splošno dragocena: preglejte sistem v razmerah, v katerih bo deloval, iščite vzorce, namesto da čakate na dramatičen dogodek, in obravnavajte znanje kot razlog za prilagoditev ureditve.

Ta navada ni zgolj »zbiranje več podatkov«. Podatki brez vprašanja so zelo učinkovit način shranjevanja zmede. Vprašanje o varnosti v cestnem prometu se lahko nanaša na to, kje prehod ustvarja konflikt, kateri ljudje so mu izpostavljeni, kako pogosto se razmere pojavljajo, kakšna vrsta napake je predvidljiva, kateri fizični ali operativni ukrepi zmanjšajo tveganje in kako bo organizacija vedela, ali je ukrep spremenil položaj. Dokazi, ki so pomembni, so zato mešani. Vključujejo prometne razmere, zapise o načrtovanju, opažanja pri inšpekcijah, informacije o vzdrževanju, poročila o škodi in strokovno presojo. Zemljevid sam ne more nositi trditve. Prav tako ne ena sama statistika o trčenjih.

Tu je koristna točka o človeškem dejavniku. Sistem mora biti zasnovan za ljudi, kakršni so, ne za izmišljenega uporabnika, ki prebere vsak znak, vsako hitrost presodi popolnoma pravilno in nikoli ne pride moten, utrujen, neizkušen, v naglici, bolan ali preprosto presenečen. To ni izgovor za malomarno vedenje. To je priznanje, da mora varnostno inženirstvo delovati v prostoru med namero in dejansko človeško zmožnostjo. Ko sistem računa na to, da bo človek opazil, razumel in ukrepal, ti trije koraki potrebujejo lastne dokaze. Ali je signal viden? Ali je njegov pomen razumljiv? Ali lahko oseba ukrepa pravočasno in z zadostnim pooblastilom?

Ekipe za umetno inteligenco to pogosto spregledajo, ker je človek prikazan kot polje na koncu diagrama poteka. Polje se imenuje »pregledovalec«, »operater« ali »človek v zanki« in zato se zdi, da rešuje težavo. Toda ime vloge ne opisuje interakcije. Uporabna zasnova pregleda mora povedati, kaj oseba vidi, česa ne vidi, katere dokaze lahko preveri, ali lahko zahteva drugo pot, kdaj se od nje pričakuje, da se ne strinja, kaj se zgodi po nestrinjanju in kako se organizacija iz tega uči. Ta vprašanja so tako običajna kot preverjanje, ali je prehod mogoče varno uporabljati v dežju ali temi. Prav tako so veliko bolj informativna kot obljuba, da oseba ostaja vključena.

Bolnišnica ne more odpraviti negotovosti

Zdravstvo naredi problem dokazov še posebej viden, ker so posledice osebne in okolje zapleteno. Uporaben klinični ali administrativni sistem lahko pomaga osebju pri iskanju informacij, zmanjševanju ponavljajočega se dela, opažanju morebitnega vzorca ali pripravi gradiva za pregled. To ga ne spremeni v klinično avtoriteto. Prehod od informacij k zdravljenju, razvrščanju ali zavrnitvi oskrbe nosi obveznosti, ki jih ni mogoče prenesti na vmesnik. Oseba, odgovorna za oskrbo, mora vedeti, kaj je sistem naredil, česa ni naredil in kako se odzvati, ko je rezultat v nasprotju z dejstvi, ki so na voljo v primeru.

Delo WHO/Europe o umetni inteligenci v zdravstvu zadevo uokviri v besedišču, ki si ga zasluži: varnost, učinkovitost, pravičnost, človekove pravice, preglednost, odgovornost, upravljanje in pripravljenost delovne sile. Bistvo ni v tem, da mora vsak klinični delavec postati strokovnjak za strojno učenje. Bistvo je, da sistema ni mogoče odgovorno uporabljati, če ljudje, ki naj bi se nanj zanašali, ga nadzirali ali mu oporekali, nimajo uporabnega opisa njegovih omejitev. Usposabljanje je del nadzornega okolja. Prav tako so poti za eskalacijo, ureditve odgovornosti, dokazi o delovanju v resničnem svetu in način, da pacienti in strokovnjaki izrazijo pomisleke, ne da bi morali najprej postati strokovnjaki za tehnologijo.

Evropska komisija prav tako umešča umetno inteligenco v zdravstvu v širši regulativni in operativni okvir. Njeno gradivo o javnem zdravju ugotavlja, da lahko programska oprema z umetno inteligenco za medicinske namene spada pod zahteve za visoko tveganje iz Akta o umetni inteligenci, vključno z blažitvijo tveganj, kakovostjo podatkov, informacijami za uporabnike in človeškim nadzorom. To ni trditev, da vsako orodje, ki se uporablja v bolnišnici, dobi enako pravno klasifikacijo. Je opomin, da beseda »zdravje« ne omili potrebe po skrbni analizi predvidenega namena. Bolj ko je uporaba pomembna, manj verodostojno je zanašanje na široka zagotovila.

Klinična praksa prav tako kaže, zakaj morajo biti pragovi za poseg izrecni. Sistemu je lahko dovoljeno pridobiti vir, pripraviti povzetek, označiti manjkajoče polje ali predlagati, da primer zasluži pozornost. To so različna dejanja. Vsako se premakne nekoliko dlje od informacij k vplivu. Na neki točki je sistemu morda dovoljeno narediti omejen operativni korak, morda s pravili, ki omejujejo obseg, in z zapisom, ki korak naredi reverzibilen. Onkraj te točke bi ga morda prosili, naj deluje brez sočasne človeške odločitve. Dokazi, avtoriteta in načrt za obnovitev, potrebni na teh ravneh, niso medsebojno zamenljivi.

To ne naredi avtomatizacije nemogoče. Naredi trditve sorazmerne. Organizacija lahko izbere skromno, dobro omejeno nalogo in jo naredi zanesljivo, preden si zamisli široko. Lahko ohrani izvorno gradivo na voljo, namesto da bi povzetek spremenila v edini zapis. Lahko kliniku ali drugemu odgovornemu delavcu zagotovi resnično sredstvo za zaustavitev sistema, ne pa teoretičnega gumba, skritega v priročniku s politikami. Lahko spremlja, kaj se zgodi po uvedbi, in nenavadno vedenje obravnava kot dokaz, da je treba prvotni argument revidirati. To je počasneje kot razglasitev, da je model prevzel nadzor. Na splošno je hitreje kot poskušanje rekonstrukcije odločitve, ko je zaupanje že izgubljeno.

Model ni celoten sistem

Zakon o umetni inteligenci je tu dragocen, ker v določbah o visokem tveganju zavrača obravnavanje modela kot edinega pomembnega predmeta. Člen 9 določa dokumentiran, vzdrževan in stalno ponavljajoč se proces upravljanja tveganj. Člen 10 se nanaša na podatke in upravljanje podatkov. Člen 11 in Priloga IV obravnavata tehnično dokumentacijo. Člen 12 obravnava samodejno beleženje pomembnih dogodkov. Člen 14 obravnava učinkovit človeški nadzor, vključno z zmožnostjo razumevanja ustreznih omejitev, preglasitve ali razveljavitve izida, kadar je to primerno, in varne zaustavitve sistema. Člen 15 se nanaša na točnost, robustnost in kibernetsko varnost. To niso medsebojno zamenljive kategorije dokumentacije. Skupaj kažejo na sistem, ki ga je treba razumeti v celotnem življenjskem ciklu.

Zakon ne sprejema tehnične presoje za vsako organizacijo. Ne razglaša, da je določena meritev uspešnosti zadostna, prav tako ne naredi upravljavca usposobljenega zgolj z imenovanjem v dokumentu. Počne nekaj zahtevnejšega. Zahteva način povezovanja predvidenega namena, tveganja, dokumentacije, zapisov, človeškega nadzora in stalnega spremljanja. Prav ta povezava se izgubi, ko je projekt umetne inteligence opisan kot nakup modela in ne kot operativna sprememba.

Vzemimo pogosto trditev, da lahko človek preglasi model. Preglasi kaj, natančno? Verjetnost, razvrstitev, ustvarjen odstavek, odločitev o usmerjanju, samodejno obvestilo, razporeditev virov ali fizično dejanje? Pred ali po uveljavitvi? S katerimi informacijami? Pod kakšno časovno omejitvijo? Ali človek vidi, zakaj je sistem prišel do izida, ali le to, da je do njega prišel? Ali ima nestrinjanje posledice? Ali je nestrinjanje zabeleženo? Ali se obravnava kot morebitna težava z modelom, podatki ali delovnim procesom? Iskren odgovor na ta vprašanja je bolj pomirjujoč kot bleščeče zagotovilo, ker opisuje nadzor, ki ga je dejansko mogoče izvajati.

Človeški nadzor se včasih obravnava kot moralni dodatek: dodaj osebo v proces in sistem postane človeški. Bolje ga je razumeti kot inženirsko razmerje. Oseba potrebuje smiselno priložnost za odkrivanje omejitve, pooblastilo za posredovanje, dejanje, ki spremeni izid, in stanje sistema, ki ob posredovanju ostane varno. Oseba brez moči je priča. Oseba, ki vidi izid šele, ko je ta že nepovraten, je revizor že sprejete odločitve. Nobena ureditev ni enakovredna nadzoru.

Dokazi bi zato morali rasti z rastjo diskrecije in nepovratnosti. Orodje za iskanje, ki strokovnjaku pomaga najti izvorno gradivo, ima eno vrsto dokaznega bremena. Sistem, ki razvršča delo po pomembnosti, ima drugo, ker razvrščanje vpliva na to, kaj je morda videno pozno ali sploh ne. Omejen sistem, ki samodejno opravlja operativno nalogo, potrebuje jasne meje, spremljanje in pot za okrevanje. Sistem, ki deluje brez žive odločitve, zahteva najstrožji primer: ozek namen, dokaze za delovno okolje, varno obnašanje ob okvari, neodvisno izpodbijanje, kjer je primerno, jasno lastništvo in stalni pregled. Oznaka je manj pomembna od načela. Več avtonomije je večja zahteva, ne marketinška nadgradnja.

Ko avtomatiziran sistem prehaja od obveščanja osebe k samostojnemu delovanju, morajo biti zahteve glede dokazov, posredovanja in obnovitve vedno strožje, ne ohlapnejše.

Mejniki preprečujejo, da bi uporabno orodje postalo odločitev brez lastnika

Mejnik posredovanja je praktičen odgovor na praktično vprašanje: kdaj sme sistem nekaj storiti in kdaj mora zadevo vrniti nazaj? Viden mora biti že pred uvedbo, ne pa ga odkriti šele na podlagi pritožbe. Mejnik je lahko odvisen od zaupanja, vendar samo zaupanje ni dovolj. Odvisen je lahko od vrste odločitve, posledic napake, kakovosti in svežine podatkov, prisotnosti nasprotujočih si dokazov, razpoložljivosti usposobljene osebe, zmožnosti obnovitve in tega, v kolikšni meri primer sodi v opredeljeni namen.

Mejniki niso dokaz, da je sistem varen. So način, kako sistemu preprečiti, da bi si lastil več pooblastil, kot jih njegovi dokazi lahko podprejo. Model lahko povzame zapis, ne more pa oceniti njegove popolnosti. Prepozna lahko izraz, ne more pa določiti njegovega pravnega pomena. Ustvari lahko verjetno razlago, ne more pa potrditi resničnosti te razlage. Prepozna lahko rutinski vzorec, a je še vedno neprimeren za nenavadne primere, nasprotujoče si vire ali situacije, kjer bi bilo majhno napako težko popraviti. Mejnik je mesto, kjer organizacija te razlike pretvori v vedenje.

Pri cestnem organu bi mejnik lahko določal, da kombinacija ugotovitev pregleda in opredeljenih kazalnikov tveganja vodi v formalni pregled, medtem ko druga kombinacija zahteva nujen začasen ukrep. Natančna merila spadajo v ustrezni pravni in strokovni okvir. Prenosljiva zamisel je, da pot od opazovanja do posredovanja ne sme biti odvisna izključno od tega, kdo je trenutno na delu ali katera skrb je v sestanku najbolj živo v spominu. Dokazi ne nadomeščajo strokovne presoje. Presoji dajejo skupen zapis in ponovljivo pot.

V bolnišnici bi mejnik lahko razlikoval med orodjem, ki pripravi gradivo za pregled, in sistemom, ki lahko izvede omejeno administrativno dejanje. Slednji potrebuje jasen zapis svojega obsega, način za odkrivanje izjeme, imenovanega lastnika izjeme in način za obnovitev prejšnjega stanja, če je bilo dejanje napačno. Če sistem posega v klinično pomembno odločitev, mora mejnik upoštevati ustrezne klinične, pravne in strokovne obveznosti. Odgovorne osebe se ne sme prositi, naj popravi nepregleden rezultat avtomatizacije brez sledi vira in brez časa za pregled.

Pri sistemu umetne inteligence v infrastrukturi lahko prag loči napoved od krmilnega dejanja. Napoved lahko operaterja opozori na stanje, ki ga je vredno preveriti. Krmilno dejanje lahko spremeni fizično ali operativno stanje. Druga trditev zahteva precej bolj temeljit opis kakovosti vhodnih podatkov, omejitev sistema, okoljskih pogojev, spremljanja, pooblastil, rezervnih možnosti in obnovitve. To ni birokracija, ki bi jo uvedli zato, da bi inženirje ovirali. To je inženirski opis tega, kaj se zgodi, ko cena napake ni razočarajoč odgovor v oknu za klepet.

Najbolj uporaben prag je pogosto prag zavrnitve. Kaj naj bi sistem spodbudilo, da odkloni ukrepanje? Kateri manjkajoči vhodni podatek, spor, zapozneli zapis, stanje zunaj porazdelitve, nedosegljiv pregledovalec ali nepreizkušena sprememba naj sproži varno prekinitev? Organizacije običajno opisujejo, kaj upajo, da bo njihov sistem počel. Manj pa so pripravljene zapisati, kdaj se mora ustaviti. Vendar vedenje sistema ob ustavitvi pogosto razkrije več o njegovi zrelosti kot njegovo vedenje ob predstavitvi. Sposobnost reči »ta primer je zunaj dokazov« ni pomanjkljivost. Je dokaz, da meja obstaja.

Človeški dejavniki so del dokazov, ne opomba pod črto

Človeške dejavnike včasih skrčimo na ugotovitev, da se ljudje lahko zmotijo. To je res, a samo po sebi ni zelo uporabno. Inženirsko vprašanje je, kako je delo urejeno glede na dejansko človeško pozornost, spomin, zaznavanje, delovno obremenitev, komunikacijo in pooblastila. Opozorilo, ki ga ni mogoče opaziti, ni opozorilo. Zapletena razlaga, ki je ni mogoče razumeti pod časovnim pritiskom, ni smiselna preglednost. Komanda za zaustavitev, ki zahteva odobritev nekoga, ki ni dosegljiv, ni komanda za zaustavitev. Zaslon za pregled, ki skriva osnovni zapis, ni površina z dokazi.

Načrtovanje cest to ponazori. Ljudje se gibljejo po fizičnem okolju z omejenim časom za opazovanje, razlago in ukrepanje. Sistema ni mogoče oceniti le z opisom njegovih predvidenih signalov. Oceniti ga je treba tako, da preverimo, ali ga lahko ustrezni ljudje uporabljajo v dejanskem okolju. Zdravstvo isto sporoča v drugačnem jeziku. Bralec opozorila ali priporočila je lahko prekinjen, se spopada s konkurenčnimi prednostnimi nalogami, nadomešča sodelavca ali pa se sooča s primerom, ki se ne ujema lepo s postopkom. Umetna inteligenca dodaja novo plast, ker lahko tekoč izpis ustvari lažen vtis, da je sistem pretehtal dokaze, ki jih je zgolj ponovil.

Odgovor ni zahtevati nadčloveško zbranost. Odgovor je načrtovati in preizkusiti predajo. Kaj sistem pokaže najprej? Kateri vir lahko oseba preveri? Kako izraža negotovost? Ali lahko oseba zaprosi za drugačno pot? Ali vmesnik razlikuje med potrjenim zapisom in sklepanjem? Ali lahko ugotovijo, ali so se spremenili model, vir podatkov, pravilo ali konfiguracija? Kaj se zgodi s povratnimi informacijami? To so empirična in organizacijska vprašanja. Zaslužijo si vaje, opazovanje, raziskave uporabnikov in pregled po uvedbi, ne le izjave, da je bil vmesnik oblikovan z mislijo na uporabnika.

Odgovoren zapis o dokazih bi moral zajeti človeško ureditev, ne da bi postal dosje o posameznih delavcih. Lahko zabeleži vlogo, pooblastila, zahtevo po usposabljanju, pričakovani poseg, razpoložljivi čas, informacijsko površino, pot eskalacije in rezultat vaje. Lahko zabeleži, da je bil postopek preizkušen v navedenem scenariju, ne da bi se pretvarjal, da scenarij dokazuje vsak prihodnji pogoj. Lahko ohrani sled odločitev, ne da bi spremljanje uporabil kot izgovor za nepotreben nadzor. Ta ravnotežja so težavna. Še vedno jih je bolje obravnavati odkrito kot prepustiti nejasnemu navodilu, naj ljudje »uporabijo svojo presojo«.

Nizozemska nagnjenost k temu, da zapletene sisteme naredijo pregledne, je tu zelo uporabna. Kolesarsko križišče, javni register ali dobro označen postopek ne postane dober zgolj zato, ker je jasen, vendar jasnost ljudem omogoči, da vidijo, kje je odgovornost. Dobro upravljanje ima podobno skromnost. Ne obljublja, da se težke presoje ne bodo pojavile. Pot za težko presojo naredi vidno že pred dnem, ko je potrebna. Za dobro opredeljeno pot eskalacije ni slovesnosti s prerezom traku, kar je morda razlog, zakaj jo tako pogosto puščamo za pozneje.

Dokazi imajo rok trajanja

Najtežji del dela, ki temelji na dokazih, je sprejeti, da so lahko včerajšnji dokazi še vedno točni, a hkrati ne več zadostni. Model se spremeni. Vir podatkov se spremeni. Dobavitelj spremeni komponento. Delovni postopek se reorganizira. Nova skupina ljudi uporablja storitev. Cesta se spremeni, vzdržuje drugače ali je izpostavljena drugačnemu prometnemu vzorcu. Bolnišnica spremeni osebje, programsko opremo, razporeditev triaže ali evidence. Prvotni test lahko ostane veljaven kot zgodovinsko opažanje, vendar lahko trditev, zgrajena na njem, potrebuje drugačne meje.

Zato zgodovina različic ni zgolj upravna podrobnost. Bralec, ki ne more ugotoviti, katera različica modela, konfiguracije, vira podatkov, politike ali vmesnika je ustvarila rezultat, ne more poustvariti pogojev odločitve. Ekipa, ki ne beleži pomembnih sprememb, ne more razlikovati nove težave od stare. Organizacija, ki obravnava izdajo kot konec zagotavljanja kakovosti, bo morala prej ali slej znova odkriti, zakaj je bilo njeno zaupanje upravičeno, in to natanko v trenutku, ko je odgovor najpomembnejši.

Poprodajno spremljanje v skladu z aktom o umetni inteligenci priznava to življenjsko realnost za visoko tvegane sisteme. Zahteva ni obljuba, da spremljanje odpravlja negotovost. Je priznanje, da informacije prispejo po uvedbi in morajo imeti pot nazaj v upravljanje tveganj. Enakovredna lekcija pri varnosti v cestnem prometu je znana: sisteme je treba pregledovati in ocenjevati med delovanjem, namesto da domnevamo, da ostajajo varni, ker so nekoč izpolnjevali načrtovano zahtevo. V zdravstvu so podatki iz resnične uporabe, izkušnje osebja, vpliv na bolnike in ureditve upravljanja pomembni poleg vsake ocene pred uvedbo.

Sprožilec pregleda mora biti dovolj natančen, da se ga lahko uporabi. »Občasno preglejte« je vljuden način, kako prositi prihodnje sodelavce, naj ugibajo. Boljši sprožilec poimenuje pomemben dogodek: novo različico modela, spremembo vhodnega vira, novo lokacijo uvedbe, spremenjeno skupino uporabnikov, nerešeno neskladje, vzorec pritožb, varnostni signal, nezmožnost izvedbe nadzornega koraka ali spremembo organa, ki je lastnik odločitve. Seznam bo za vsak sistem drugačen. Pomembno je, da prvotni argument poimenuje pogoje, zaradi katerih bi lahko postal zastarel.

To spreminja tudi pomen revizijske sledi. Revizijska sled ne bi smela biti skladišče dogodkov, ki jih nihče ne more razlagati. Biti bi morala pot skozi zgodovino sistema. Katera trditev je bila v veljavi? Kateri dokazi so jo takrat podpirali? Katera različica je ustvarila rezultat? Katera oseba ali vloga je izvedla odločilno dejanje? Kaj se je zgodilo, ko je bil sistem postavljen pod vprašaj? Katera težava je bila rešena in katera je ostala odprta? Zapis mora biti sorazmeren. Prav tako mora biti sposoben odgovoriti na resnično vprašanje, ne da bi zahteval junaško arheološko odpravo po dnevnikih aplikacij.

Kako zveni resno vprašanje o dokazih

Ko organizacija ocenjuje varnostno kritičen sistem, uporabno vprašanje redko je »ali deluje?«. Deluje za koga, s kakšnim namenom, pod kakšnimi pogoji, v primerjavi s čim in s kakšno posledico, če odpove? Ta vprašanja se lahko zdijo počasna, ker preprečujejo lahek pritrdilen odgovor. Prav tako so vprašanja, zaradi katerih poznejši pritrdilni odgovor nekaj velja.

Dober pregled zato zahteva verigo, ne zbirke. Od ekipe zahteva, da poimenuje predvideni namen in odločitev, ki mu sledi. Sprašuje, katere škode in načini odpovedi so pomembni. Sprašuje, kateri dokazi podpirajo vsako bistveno trditev in česa ti dokazi ne izkazujejo. Sprašuje, katere predpostavke morajo ostati veljavne. Sprašuje, kdo ima pooblastilo za nadzor, preglasitev, začasno ustavitev in popravilo. Sprašuje, kako se sistem obnaša, kadar dokazi manjkajo ali je primer zunaj okvira. Sprašuje, kaj bo spremljano po objavi in katera sprememba sproži ponovno oceno.

Ni univerzalne ocene, ki bi to nalogo zaključila. Cesta ima en kontekst, bolnišnica drugega, model spet svojega. Dobro zasnovan majhen sistem ima lahko močnejši dokazni primer kot širok sistem, ki je bil opisan z večjo samozavestjo. Ozka trditev z jasno mejo ni šibka trditev. Je začetek poštene trditve.

Zato tudi naše raziskovalne strani opisujejo izrecna vprašanja, meje dokazov in status dostopa, namesto da bi raziskovalno gradivo privzeto predstavljale kot dokončano zmogljivost. Metoda je skromna: opredeliti vprašanje, narediti mejo dokazov vidno in ohraniti status objave razumljiv. Ne dokazuje, da je izdelek primeren za določeno uporabo, in ni nadomestilo za sektorsko specifično zagotavljanje kakovosti. Kljub temu je uporabna navada. Če organizacija ne more povedati, kaj njeni dokazi podpirajo, česa ne podpirajo in kdo jih lahko izpodbija, si še ni prislužila močnejše trditve.

Cesta, bolnišnica in model pa si delijo eno težavo. Vsaka potrebuje način, kako znanje spremeniti v ukrepanje, ne da bi pri tem skrila pogoje, pod katerimi je to ukrepanje upravičeno. Odgovor ni ceremonialna datoteka, povprečna ocena ali gumb z oznako človeški nadzor. Je praksa dokazovanja, ki ostaja povezana z namenom, ljudmi, pooblastili in spremembami. To delo ni glamurozno. Tako sistem postane odgovoren, preden mora postati razložljiv.

Cesta, bolnišnica in model imajo eno skupno težavo: dokazi