Cestu, nemocnicu a model spája jeden problém: dôkazy
Dôkazy musia prežiť odovzdanie
Projektant ciest, nemocničný tím aj poskytovateľ modelov dokážu predviesť presvedčivú ukážku. Križovatka môže na pláne vyzerať usporiadane. Klinická obrazovka môže v rámci workshopu pôsobiť pokojne. Model môže vrátiť rozumnú odpoveď na starostlivo vybranom súbore príkladov. Nič z toho nevyrieši otázku, ktorá je dôležitá, keď systém vstúpi do bežného života: aké dôkazy podporujú tento konkrétny zásah, pre týchto ľudí, za týchto podmienok, a kto má právo zmeniť smer, keď dôkazy prestanú platiť?
Táto otázka je užitočnejšia než debata o tom, či je cesta, nemocnica alebo systém umelej inteligencie „bezpečný“. Bezpečnosť nie je vlastnosť, ktorá príde v kartónovej škatuli spolu so zariadením. Je to nepretržitý vzťah medzi účelom, prostredím, skupinou ľudí, limitmi systému a prácou, ktorá sa vykoná, keď sa limit dosiahne. Cesta musí zohľadniť ľudí, ktorí robia chyby, a podmienky, ktoré sa menia. Klinická služba musí zachovať úsudok, keď sú informácie neúplné, naliehavé alebo sporné. Systém umelej inteligencie musí zostať dostatočne zrozumiteľný na to, aby človek videl, kedy jeho výstup prestal byť užitočným príspevkom k rozhodnutiu.
Európa už má časti tejto disciplíny na rôznych miestach. Pravidlá pre cestnú infraštruktúru vyžadujú postupy, ako je posudzovanie vplyvov, audity, bezpečnostné inšpekcie a hodnotenie celej siete. Akt o umelej inteligencii žiada od vysokorizikových systémov riadenie rizík počas celého životného cyklu, technickú dokumentáciu, protokoly, dohľad človeka, primeranú presnosť, robustnosť a kybernetickú bezpečnosť. Európske zdravotnícke inštitúcie diskutujú o bezpečnosti, spravodlivosti, riadení, pripravenosti pracovnej sily a zodpovednosti spoločne, a nie tak, že klinický model považujú za softvér, ktorý sa stane neškodným, pretože jeho rozhranie má na sebe stetoskop.
Spoločnou niťou sú dôkazy. Nie dôkazy ako hrubý fascikel zostavený raz, a nie dôkazy ako tabuľka s lichotivým priemerom. Dôkazy ako niečo pripojené k tvrdeniu, kontextu a rozhodnutiu. Užitočný záznam dôkazov hovorí, čo mal systém robiť, kde tvrdenie platí, ktoré pozorovania ho podporujú, ktoré predpoklady sú pod ním, čo je stále neisté, kto môže zasiahnuť a ktorá zmena znamená, že argument treba prehodnotiť.
Je to menej efektná myšlienka ako autonómia. Je však aj trvácnejšia. Dáva inžinierom spôsob, ako vyjadriť svoje limity bez toho, aby predstierali, že testovacia sada je úplný svet. Dáva manažérom spôsob, ako sa opýtať, čo vlastne prijímajú. Dáva operátorom niečo lepšie ako dashboard, ktorý sa rozsvieti až po tom, čo sa rozhodovanie už stalo zložitým. A čo je najdôležitejšie, dáva ľuďom, ktorých sa systém týka, cestu od výsledku späť k dôvodom a podmienkam, ktoré ho vytvorili.
Tri oblasti, jedna nepríjemná otázka
Cesta, nemocnica a model nie sú rovnaký systém. Ich škody, právne povinnosti, dôkazové základy a profesijné kultúry sa líšia. Nikto by nemal kopírovať audit ciest do klinického pracovného postupu ani nalepiť kontrolný zoznam pre zdravotnícke pomôcky na jazykový model a vyhlásiť prácu za hotovú. Nejde o to zotrieť rozdiely. Ide o to všimnúť si spoločný inžiniersky problém: automatizovaný alebo poloautomatizovaný systém koná prostredníctvom väčšieho usporiadania ľudí, postupov, rozhraní, prostredí a predpokladov.
Cesta je obzvlášť jasnou pripomienkou, pretože nerozhoduje v ľudskom zmysle slova. Formuje rozhodnutia. Geometria, výhľadové pomery, oddelenie, križovatky, dopravné značenie, riadenie rýchlosti, údržba a okolitá sieť ovplyvňujú to, čo ľudia dokážu vidieť, z čoho sa dokážu spamätať a aké závažné sa stanú následky chyby. Dobrá prax v oblasti bezpečnosti cestnej premávky nespočíva na predstave o permanentne pozornom a dokonale informovanom účastníkovi cestnej premávky. Snaží sa, aby boli predvídateľné chyby menej pravdepodobné a menej trestajúce. Európsky rámec pre riadenie bezpečnosti cestnej infraštruktúry odráža tento systémový pohľad prostredníctvom opakovateľných procesov hodnotenia a kontroly, a nie jediným vyhlásením, že trasa bola schválená.
Nemocnica je iná, ale tiež žije s rozdielom medzi čistým opisom a meniacou sa realitou. Klinická cesta zahŕňa úlohy personálu, odovzdávanie služieb, záznamy, vybavenie, priority, prerušenia a človeka, ktorého stav sa nemusí podobať priemernému prípadu, ktorý formoval protokol. Odporúčanie môže byť užitočné a napriek tomu nedostatočné. Varovanie môže byť technicky správne a napriek tomu prísť v momente, keď sa podľa neho nedá bezpečne konať. Systém môže zlepšiť jednu časť pracovného postupu, ale zároveň vytvoriť novú záťaž inde. Preto sa diskusia o umelej inteligencii v zdravotníctve nemôže zastaviť pri zdanlivom výkone modelu. Musí zahŕňať riadenie, klinickú zodpovednosť, kvalitu údajov, školenia, dôveru verejnosti a prostriedky na identifikáciu a nápravu škôd.
Model sa nachádza v rovnakom druhu usporiadania. Je niekde trénovaný alebo nakonfigurovaný, pripojený k údajom niekde inde, dostane od človeka prompt alebo úlohu, je umiestnený za rozhraním, niektorí ľudia ho sledujú a iní nie. Produkuje výstup, ale výstup sa stáva závažným až vtedy, keď ho niekto považuje za dôvod na konanie. Medzi výstupom a konaním stoja prahy, právomoci, časový tlak, prístup k zdrojovému materiálu, školenia, stimuly a možnosť nesúhlasu. Toto nie sú len dekoratívne prevádzkové detaily. Rozhodujú o tom, či technicky kompetentný komponent zostane bezpečným komponentom väčšieho systému.
Nasledujúce považujte za výslovne hypotetický súhrn, nie za opis skutočnej cesty, nemocnice, pacienta, zamestnanca alebo incidentu. Miestny úrad zvažuje systém, ktorý označuje miesta na preskúmanie bezpečnosti cestnej premávky. Nemocnica zvažuje nástroj, ktorý pomáha triediť administratívne dokumenty skôr, než sa dostanú k klinickému personálu. Tretia organizácia zvažuje model, ktorý vypracúva súhrn rizík pre manažéra infraštruktúry. V každom prostredí skorá ukážka preukáže, že systém dokáže nájsť vzory v existujúcich záznamoch. Ukážka zatiaľ neodpovedá na to, či záznamy predstavujú podmienky, s ktorými sa služba stretne budúci mesiac, či možno rozpoznať nezvyčajný prípad, či ľudia, ktorí dostávajú odporúčanie, majú dostatok času a právomocí ho spochybniť, alebo či organizácia spozoruje škodlivý vzor skôr, než sa stane bežnou prácou. Problém s dôkazmi sa začína presne tu.
Ľahkou chybou je žiadať jedno číslo. Aká je presnosť? Koľko času to ušetrí? Koľko rizík to zachytí? Tieto otázky sú legitímne, ale neúplné. Číslo potrebuje menovateľa, vzorku, definíciu, dátum, zamýšľané použitie a vyhlásenie o tom, čo bolo vylúčené. Potrebuje tiež vzťah k ďalšiemu rozhodnutiu. Vysoké skóre v úzkej, stabilnej úlohe môže podporiť úzke, stabilné tvrdenie. Nemôže ticho oprávniť iný pracovný postup, inú populáciu alebo rozhodnutie s inými následkami.
Dôkazy nie sú dekoratívnym doplnkom
Dôkazy sa stávajú užitočnými, keď dokážu zmeniť názor niekoho. To znie samozrejme, ale mnohé balíky dôkazov sú vytvorené tak, aby vyzerali kompletne, a nie tak, aby spochybnili rozhodnutie. Obsahujú snímky obrazovky, vyhlásenia o politikách, súhrny testov a podpisy, ale neukazujú, ktoré tvrdenie každá položka podporuje, ktorá podmienka tvrdenie obmedzuje, ani čo by sa malo stať, ak sa podmienka zmení. Výsledkom je dokumentácia s ceremoniálnou úlohou. Môže dokázať, že sa stretnutie uskutočnilo. Nemusí však nevyhnutne povedať operátorovi, čo má robiť o 07:40, keď je služba vyťažená, údaje meškajú a odporúčanie nezodpovedá prípadu, ktorý má pred sebou.
Lepším východiskovým bodom je pomenované rozhodnutie. Nie „zavádzať AI zodpovedne“ a nie „zlepšiť bezpečnosť cestnej premávky“, ale tvrdenie s hranicou. Napríklad: tento systém môže uprednostniť definovanú triedu revíznych prác v špecifikovanom prevádzkovom kontexte, pričom pomenovaná rola zostáva zodpovedná za prijatie alebo odmietnutie odporúčania. Alebo: tento návrh môže byť otvorený pre premávku po tom, ako boli identifikované riziká posúdené požadovaným procesom a identifikované opatrenia sú zavedené. Formulácia je zámerne menej vzrušujúca ako oznámenie produktu. Je to zmluva s realitou.
Keď je rozhodnutie pomenované, zvyšok záznamu sa má na čo naviazať. Zamýšľaný účel čitateľovi hovorí, čo si nemá domýšľať. Kontext mu hovorí, ktoré miesto, pracovný postup, používatelia, údaje, zariadenia a okolitý proces sú dôležité. Dôkazy zaznamenávajú testy, pozorovania, zdrojový materiál, revízie a cvičenia. Predpoklady zviditeľňujú závislosti: možno má operátor školenie, možno je register zdrojov aktuálny, možno sa konkrétne upozornenie dostane k konkrétnej role včas. Vlastník identifikuje, kto môže materiál interpretovať a zasiahnuť. Spúšťače revízie hovoria, ktorý signál, zmena alebo zlyhanie predpokladu si vyžaduje ďalší pohľad.
Táto štruktúra má dôležitý dôsledok. Zabraňuje tomu, aby sa dôkazy vzdialili od použitia. Test nie je len zaradený do kategórie „validácia“. Je prepojený s tvrdením o konkrétnom správaní za stanovených podmienok. Audit nie je len dôkazom, že audítor navštívil. Stáva sa záznamom o tom, čo sa skúmalo, čo sa zistilo, čo zostalo neisté a ktorá autorita rozhodla, čo sa stane ďalej. Vyhodnotenie modelu nie je všeobecný odznak. Je to ohraničené pozorovanie, ktorého relevantnosť závisí od verzie modelu, úlohy, údajov, konfigurácie a podmienok nasadenia.
Tá istá evidencia by mala zviditeľniť aj absenciu. Ak nikto netestoval systém so vzácnym, ale závažným vstupom, nie je to malá trápnosť, ktorú treba skryť pod priemer. Je to hranica dôkazov. Ak človek môže technicky prekonať odporúčanie, ale v reálnom pracovnom postupe na to nemá čas, prístup ani právomoc, nie je to zmysluplný dohľad. Je to medzera v návrhu. Ak kontrola bezpečnosti cestnej premávky zistí opakujúci sa stav, ale žiadna organizácia nezodpovedá za nápravu, pozorovanie sa ešte nestalo kontrolným mechanizmom. Vo vážnych systémoch je chýbajúca evidencia výsledkom. Hovorí organizácii, kde ešte nemôže nič tvrdiť.
Bezpečnosť cestnej premávky ponúka praktickú lekciu pokory
Bezpečnosť cestnej premávky sa desaťročia učí, že škodu málokedy spôsobí jediný zlý aktér alebo jediná zlá súčiastka. Vodič idúci príliš rýchlo, priechod, ktorý je ťažko čitateľný, vozidlo, počasie, osvetlenie, stav údržby, zloženie dopravy a reakcia záchranných zložiek, to všetko môže hrať úlohu. To neruší individuálnu zodpovednosť. Ale bráni to plytkému záveru, že každé zlyhanie sa dá napraviť tým, že ľuďom povieme, aby boli pozornejší. Systém, ktorý funguje len vtedy, keď nikto neurobí predvídateľnú chybu, nie je pôsobivo prísny systém. Je krehký.
Pravidlá EÚ pre bezpečnosť cestnej infraštruktúry sú užitočnou protiváhou k predstave, že schválenie je jednorazová udalosť. Organizujú bezpečnostnú prácu okolo postupov, ktoré sa zaoberajú predpokladanými dôsledkami, návrhom, prevádzkou a existujúcou sieťou. Presný právny rozsah je dôležitý a pravidlá by sa mali čítať ako právo cestnej infraštruktúry, nie ako všeobecná šablóna pre každú technológiu. Napriek tomu je ich základný návyk vo všeobecnosti hodnotný: skúmajte systém v podmienkach, v ktorých bude fungovať, hľadajte vzorce namiesto čakania na dramatickú udalosť a považujte poznatky za dôvod na úpravu usporiadania.
Tento návyk nie je len „zbierajte viac údajov“. Údaje bez otázky sú veľmi efektívny spôsob, ako skladovať zmätok. Otázka bezpečnosti cestnej premávky sa môže týkať toho, kde priechod vytvára konflikt, ktorí ľudia sú mu vystavení, ako často sa podmienky vyskytujú, aký druh chyby je predvídateľný, ktoré fyzické alebo prevádzkové opatrenia znižujú riziko a ako organizácia zistí, či opatrenie zmenilo situáciu. Evidencia, ktorá je dôležitá, je preto zmiešaná. Zahŕňa dopravné podmienky, záznamy o návrhu, poznatky z inšpekcií, informácie o údržbe, správy o škodách a odborný úsudok. Samotná mapa nemôže niesť tvrdenie. Ani jediná štatistika nehôd.
Je tu užitočný poznatok z oblasti ľudského faktora. Systém musí byť navrhnutý pre ľudí takých, akí sú, nie pre fiktívneho používateľa, ktorý si prečíta každú značku, dokonale posúdi každú rýchlosť a nikdy nepríde roztržitý, unavený, neskúsený, v zhone, chorý alebo jednoducho prekvapený. To nie je ospravedlnenie pre nedbanlivé správanie. Je to uznanie, že bezpečnostné inžinierstvo musí fungovať v priestore medzi zámerom a skutočnou ľudskou schopnosťou. Keď systém spolieha na to, že človek si všimne, pochopí a zareaguje, tieto tri kroky potrebujú vlastnú evidenciu. Je signál viditeľný? Dá sa pochopiť jeho význam? Dokáže človek konať včas a s dostatočnou právomocou?
Tímy pracujúce s umelou inteligenciou to často prehliadajú, pretože človek je znázornený ako box na konci vývojového diagramu. Box sa volá „recenzent“, „operátor“ alebo „človek v slučke“, a preto sa zdá, že problém rieši. Ale názov roly neopisuje interakciu. Užitočný návrh recenzie musí povedať, čo človek vidí, čo nevidí, aké dôkazy môže preskúmať, či môže požiadať o iný postup, kedy sa od neho očakáva, že bude nesúhlasiť, čo sa stane po nesúhlase a ako sa z toho organizácia poučí. Tieto otázky sú rovnako bežné ako kontrola, či sa priechod dá bezpečne použiť v daždi alebo tme. A sú oveľa informatívnejšie ako sľub, že človek zostane zapojený.
Nemocnica nedokáže odstrániť neistotu
Zdravotná starostlivosť robí problém s dôkazmi obzvlášť viditeľným, pretože dôsledky sú osobné a prostredie je zložité. Užitočný klinický alebo administratívny systém môže pomôcť personálu nájsť informácie, znížiť opakovanú prácu, všimnúť si možný vzor alebo pripraviť materiál na preskúmanie. To z neho nerobí klinickú autoritu. Prechod od informácií k liečbe, stanoveniu priorít alebo odmietnutiu starostlivosti nesie povinnosti, ktoré nemožno presunúť na rozhranie. Osoba zodpovedná za starostlivosť musí vedieť, čo systém urobil, čo neurobil a ako reagovať, keď je výsledok v rozpore so skutočnosťami dostupnými v prípade.
Práca WHO/Europe o umelej inteligencii v zdravotníctve rámcuje túto tému slovami, ktoré si zaslúži: bezpečnosť, účinnosť, spravodlivosť, ľudské práva, transparentnosť, zodpovednosť, riadenie a pripravenosť pracovnej sily. Nejde o to, aby sa každý klinický pracovník stal špecialistom na strojové učenie. Ide o to, že systém nemožno zodpovedne používať, ak ľudia, ktorí sa od neho majú učiť, dohliadať naň alebo ho spochybňovať, nemajú použiteľný opis jeho obmedzení. Školenie je súčasťou kontrolného prostredia. Rovnako aj postupy eskalácie, dojednania o zodpovednosti, dôkazy o výkone v reálnom svete a spôsob, ako môžu pacienti a odborníci vzniesť obavy bez toho, aby sa najprv stali odborníkmi na technológie.
Európska komisia podobne zaraďuje umelú inteligenciu v zdravotníctve do širšieho regulačného a prevádzkového prostredia. Jej materiály o verejnom zdraví uvádzajú, že softvér umelej inteligencie na lekárske účely môže spadať pod požiadavky na vysoké riziko podľa aktu o umelej inteligencii, vrátane zmierňovania rizík, kvality údajov, informácií pre používateľov a ľudského dohľadu. To nie je tvrdenie, že každý nástroj používaný v nemocnici dostane rovnaké právne zaradenie. Je to pripomienka, že slovo „zdravie“ nezmierňuje potrebu starostlivej analýzy zamýšľaného účelu. Čím závažnejšie je použitie, tým menej dôveryhodné je spoliehať sa na všeobecné uistenia.
Klinická prax tiež ukazuje, prečo by prahy zásahu mali byť explicitné. Systém môže mať povolené vyhľadať zdroj, pripraviť zhrnutie, označiť chýbajúce pole alebo navrhnúť, že si prípad zaslúži pozornosť. To sú rôzne činnosti. Každá sa posúva o kúsok ďalej od informácií k vplyvu. V určitom bode môže mať systém povolené vykonať obmedzený prevádzkový krok, možno s pravidlami, ktoré obmedzujú rozsah, a so záznamom, ktorý robí krok vratným. Za týmto bodom by sa od neho mohlo žiadať, aby konal bez súbežného ľudského rozhodnutia. Dôkazy, autorita a dizajn obnovy potrebné na týchto úrovniach nie sú zameniteľné.
To nerobí automatizáciu nemožnou. Robí tvrdenia primeranými. Organizácia si môže vybrať skromnú, dobre ohraničenú úlohu a urobiť ju spoľahlivou skôr, než si predstaví širokú. Môže ponechať zdrojový materiál dostupný namiesto toho, aby sa zhrnutie stalo jediným záznamom. Môže dať klinickému pracovníkovi alebo inému zodpovednému pracovníkovi skutočný prostriedok na pozastavenie systému, nie teoretické tlačidlo skryté v príručke politík. Môže monitorovať, čo sa deje po nasadení, a považovať neočakávané správanie za dôkaz, že pôvodný argument si vyžaduje revíziu. To je pomalšie ako vyhlásiť, že model prevzal kontrolu. Vo všeobecnosti je to rýchlejšie ako pokúsiť sa zrekonštruovať rozhodnutie po tom, čo sa dôvera už stratila.
Model nie je celý systém
Zákon o umelej inteligencii je tu hodnotný, pretože vo svojich ustanoveniach o vysokom riziku odmieta považovať model za jediný relevantný objekt. Článok 9 stanovuje zdokumentovaný, udržiavaný a nepretržite sa opakujúci proces riadenia rizík. Článok 10 sa týka údajov a správy údajov. Článok 11 a príloha IV sa venujú technickej dokumentácii. Článok 12 sa týka automatického zaznamenávania relevantných udalostí. Článok 14 sa týka účinného ľudského dohľadu vrátane schopnosti pochopiť príslušné obmedzenia, v prípade potreby prepísať alebo zvrátiť výstup a bezpečne zastaviť systém. Článok 15 sa týka presnosti, robustnosti a kybernetickej bezpečnosti. Nejde o zameniteľné kategórie dokumentov. Spoločne poukazujú na systém, ktorý treba chápať v celom jeho životnom cykle.
Zákon nerobí technický úsudok za každú organizáciu. Nevyhlasuje, že určitá miera výkonnosti je dostatočná, ani neurobí prevádzkovateľa kompetentným tým, že ho uvedie v dokumente. Robí niečo náročnejšie. Vyžaduje spôsob, ako prepojiť zamýšľaný účel, riziko, dokumentáciu, záznamy, ľudský dohľad a priebežné monitorovanie. Práve toto prepojenie sa stráca, keď sa projekt umelej inteligencie opisuje ako obstaranie modelu, a nie ako prevádzková zmena.
Vezmime si bežné tvrdenie, že človek môže model prepísať. Čo presne? Pravdepodobnosť, poradie, vygenerovaný odsek, rozhodnutie o smerovaní, automatické upozornenie, pridelenie zdrojov alebo fyzickú činnosť? Predtým, alebo až potom, čo nadobudne účinok? S akými informáciami? Za akého časového obmedzenia? Vidí človek, prečo systém dospel k výstupu, alebo len to, že k nemu dospel? Má nesúhlas nejaké dôsledky? Je nesúhlas zaznamenaný? Posudzuje sa ako možný problém modelu, údajov alebo pracovného postupu? Pravdivá odpoveď na tieto otázky upokojí viac než lesklé uistenie, pretože opisuje kontrolu, ktorú možno skutočne vykonávať.
Ľudský dohľad sa niekedy považuje za morálny doplnok: pridajte do procesu človeka a systém sa stane humánnym. Lepšie je chápať ho ako inžiniersky vzťah. Človek potrebuje zmysluplnú príležitosť zistiť obmedzenie, právomoc zasiahnuť, činnosť, ktorá zmení výsledok, a stav systému, ktorý zostane bezpečný, keď dôjde k zásahu. Recenzent bez moci je svedkom. Recenzent, ktorý vidí výstup až po tom, ako sa stal nezvratným, je audítorom už prijatého rozhodnutia. Ani jedno z týchto usporiadaní nie je rovnocenné s dohľadom.
Dôkazy by preto mali pribúdať s rastom voľnosti a nezvratnosti. Vyhľadávací nástroj, ktorý pomáha odborníkovi nájsť zdrojový materiál, má jeden druh dôkazného bremena. Systém, ktorý zoraďuje prácu podľa pozornosti, má iný, pretože zoraďovanie ovplyvňuje to, čo môže byť videné neskoro alebo vôbec. Obmedzený systém, ktorý automaticky vykonáva prevádzkovú úlohu, potrebuje jasné hranice, monitorovanie a cestu obnovy. Systém, ktorý koná bez živého rozhodnutia, si vyžaduje najprísnejší prípad: úzky účel, dôkazy pre prevádzkový kontext, správanie odolné voči poruchám, nezávislé napadnutie tam, kde je to vhodné, jasné vlastníctvo a priebežné preskúmanie. Označenie je menej dôležité ako princíp. Väčšia autonómia je väčší nárok, nie marketingové vylepšenie.
Prahové hodnoty zabránia tomu, aby sa užitočný nástroj stal rozhodnutím bez vlastníka
Prahová hodnota zásahu je praktickou odpoveďou na praktickú otázku: kedy má systém konať a kedy musí vec vrátiť späť? Mala by byť známa ešte pred nasadením, nie objavená až na základe sťažnosti. Prahová hodnota môže závisieť od spoľahlivosti, ale samotná spoľahlivosť nestačí. Môže závisieť od typu rozhodnutia, následkov chyby, kvality a aktuálnosti údajov, prítomnosti protichodných dôkazov, dostupnosti kvalifikovanej osoby, schopnosti obnoviť stav a od toho, do akej miery prípad spadá do stanoveného účelu.
Prahové hodnoty nie sú dôkazom, že je systém bezpečný. Sú spôsobom, ako zabrániť tomu, aby si systém nárokoval väčšiu právomoc, než akú jeho dôkazy dokážu podporiť. Model môže vedieť zhrnúť záznam, ale nie posúdiť jeho úplnosť. Môže identifikovať pojem, ale nie určiť jeho právny význam. Môže vytvoriť vierohodné vysvetlenie, ale nie preukázať jeho pravdivosť. Môže rozpoznať bežný vzor, a napriek tomu byť nevhodný pre nezvyčajné prípady, protichodné zdroje alebo situácie, v ktorých by sa malá chyba ťažko naprávala. Prahová hodnota je miestom, kde organizácia pretaví tieto rozdiely do správania.
Pre správcu ciest by prahová hodnota mohla stanoviť, že kombinácia zistení z kontroly a definovaných indikátorov rizika vedie k formálnemu preskúmaniu, zatiaľ čo iná kombinácia si vyžaduje urýchlené dočasné opatrenie. Presné kritériá patria do príslušného právneho a profesijného rámca. Prenositeľnou myšlienkou je, že cesta od pozorovania k zásahu by nemala závisieť výlučne od toho, kto je práve v službe, ani od toho, ktorý problém si v porade najživšie zapamätajú. Dôkazy nenahrádzajú odborný úsudok. Dávajú úsudku spoločný záznam a opakovateľný postup.
Pre nemocnicu by prahová hodnota mohla rozlišovať medzi nástrojom, ktorý pripravuje materiál na preskúmanie, a systémom, ktorý môže vykonať obmedzenú administratívnu činnosť. Ten druhý potrebuje jasný záznam o svojom rozsahu, spôsob zistenia výnimky, určeného vlastníka výnimky a spôsob obnovenia predchádzajúceho stavu, ak bola činnosť chybná. Ak sa systém dotýka klinicky významného rozhodnutia, prahová hodnota musí zohľadniť príslušné klinické, právne a profesijné povinnosti. Zodpovedná osoba nesmie byť nútená opravovať nepriehľadný výsledok automatizácie bez stopy po zdroji a bez času na jeho preskúmanie.
Pre AI systém v infraštruktúre môže prah rozlišovať medzi predpoveďou a riadiacim zásahom. Predpoveď môže upozorniť operátora na stav, ktorý stojí za kontrolu. Riadiaci zásah môže zmeniť fyzický alebo prevádzkový stav. Druhé tvrdenie si vyžaduje oveľa dôkladnejšie zdôvodnenie kvality vstupov, limitov systému, podmienok prostredia, monitorovania, právomocí, záložných mechanizmov a obnovy. Toto nie je byrokracia zavedená na frustrovanie inžinierov. Je to inžiniersky opis toho, čo sa deje, keď cena za omyl nie je sklamaná odpoveď v okne chatu.
Naj užitočnejším prahom je často prah odmietnutia. Čo by malo spôsobiť, že systém odmietne konať? Ktorý chýbajúci vstup, konflikt, oneskorený záznam, podmienka mimo distribúcie, nedostupný posudzovateľ alebo netestovaná zmena by mali spustiť bezpečnostnú pauzu? Organizácie majú tendenciu opisovať, čo dúfajú, že ich systém bude robiť. Menej ochotne zapisujú, kedy musí zastaviť. A predsa správanie systému pri zastavení často prezrádza o jeho vyspelosti viac než jeho ukážkové správanie. Schopnosť povedať „tento prípad je mimo rozsahu dôkazov“ nie je nedostatok. Je to dôkaz, že hranica existuje.
Ľudský faktor je súčasťou dôkazov, nie poznámka pod čiarou
Ľudský faktor sa niekedy redukuje na konštatovanie, že ľudia sú omylní. To je pravda, ale samo o sebe to nie je veľmi užitočné. Inžinierska otázka je, ako je práca usporiadaná vzhľadom na skutočnú ľudskú pozornosť, pamäť, vnímanie, pracovné zaťaženie, komunikáciu a právomoci. Varovanie, ktoré si nemožno všimnúť, nie je varovanie. Zložité vysvetlenie, ktorému nemožno porozumieť pod časovým tlakom, nie je zmysluplná transparentnosť. Ovládací prvok zastavenia, ktorý si vyžaduje schválenie od niekoho, kto nie je k dispozícii, nie je ovládacím prvkom zastavenia. Obrazovka na kontrolu, ktorá skrýva základný záznam, nie je plochou pre dôkazy.
Navrhovanie ciest to ukazuje konkrétne. Ľudia sa pohybujú vo fyzickom prostredí s obmedzeným časom na to, aby videli, interpretovali a konali. Systém nemožno hodnotiť len opisom jeho zamýšľaných signálov. Treba ho hodnotiť podľa toho, či ich príslušní ľudia dokážu použiť v skutočnom prostredí. Zdravotníctvo poukazuje na to isté iným spôsobom. Čitateľ upozornenia alebo odporúčania môže byť vyrušený, môže riešiť konkurenčné priority, zastupovať kolegu alebo čeliť prípadu, ktorý do procesu celkom nezapadá. AI pridáva ďalšiu vrstvu, pretože plynulý výstup môže vytvoriť falošný dojem, že systém zvážil dôkazy, ktoré len zopakoval.
Odpoveďou nie je požadovať nadľudskú koncentráciu. Je ňou navrhnúť a otestovať odovzdanie. Čo systém ukáže ako prvé? Ktorý zdroj môže človek preskúmať? Ako vyjadruje neistotu? Môže človek požiadať o iný postup? Rozlišuje rozhranie potvrdený záznam od odvodeného záveru? Vie človek zistiť, či sa zmenil model, zdroj údajov, pravidlo alebo konfigurácia? Čo sa stane so spätnou väzbou? Toto sú empirické a organizačné otázky. Zaslúžia si cvičenia, pozorovanie, výskum s používateľmi a hodnotenie po nasadení, nielen vyhlásenie, že rozhranie bolo navrhnuté s ohľadom na používateľa.
Zodpovedný záznam o dôkazoch by mal zachytiť usporiadanie ľudského faktora bez toho, aby sa stal spisom o jednotlivých pracovníkoch. Môže zaznamenať rolu, právomoci, požiadavku na školenie, očakávaný zásah, dostupný čas, informačnú plochu, postup eskalácie a výsledok cvičenia. Môže zaznamenať, že proces bol testovaný za uvedeného scenára, bez tvrdenia, že scenár dokazuje každú budúcu podmienku. Môže zachovať stopu rozhodnutí bez toho, aby sa monitorovanie použilo ako výhovorka na zbytočný dohľad. Tieto rovnováhy sú náročné. Napriek tomu je lepšie ich riešiť otvorene, než ich nechať na vágny pokyn, aby ľudia „použili svoj úsudok“.
Holandský inštinkt sprístupňovať zložité systémy má tu svoje opodstatnenie. Cyklistická križovatka, verejný register alebo dobre označený proces sa nestanú dobrými len preto, že sú prehľadné, ale prehľadnosť umožňuje ľuďom vidieť, kde leží zodpovednosť. Dobré riadenie má podobnú skromnosť. Nesľubuje, že nenastanú žiadne náročné rozhodnutia. Robí cestu pre náročné rozhodnutia viditeľnou skôr, než príde deň, keď bude potrebná. Pre dobre definovanú eskalačnú cestu neexistuje žiadny slávnostný prestrihnutie pásky, čo je možno dôvod, prečo sa tak často odkladá na neskôr.
Dôkazy majú trvanlivosť
Najťažšou súčasťou práce založenej na dôkazoch je prijať, že včerajší dôkaz môže byť presný a napriek tomu už nemusí byť dostatočný. Model sa zmení. Zdroj údajov sa zmení. Dodávateľ zmení komponent. Pracovný postup sa reorganizuje. Nová skupina ľudí používa službu. Cesta sa upraví, udržiava sa inak alebo je vystavená inému dopravnému vzoru. Nemocnica zmení personál, softvér, triedenie pacientov alebo záznamy. Pôvodný test môže zostať platný ako historické pozorovanie, ale tvrdenie na ňom postavené môže potrebovať iné hranice.
Preto história verzií nie je administratívnou formalitou. Čitateľ, ktorý nedokáže identifikovať, ktorá verzia modelu, konfigurácie, zdroja údajov, politiky alebo rozhrania vytvorila výstup, nedokáže zrekonštruovať podmienky rozhodnutia. Tím, ktorý nezaznamenáva podstatné zmeny, nedokáže rozlíšiť nový problém od starého. Organizácia, ktorá považuje vydanie za koniec zabezpečenia kvality, bude musieť nakoniec znovuobjaviť, prečo bola jej dôvera oprávnená, presne v momente, keď na odpovedi záleží najviac.
Monitorovanie po uvedení na trh podľa zákona o umelej inteligencii uznáva túto realitu životného cyklu pre systémy s vysokým rizikom. Požiadavka nie je sľubom, že monitorovanie odstráni neistotu. Je uznaním, že informácie prichádzajú po nasadení a musia mať cestu späť do riadenia rizík. Známa lekcia v oblasti bezpečnosti cestnej premávky je podobná: systémy by sa mali kontrolovať a posudzovať počas prevádzky, nie predpokladať, že zostanú bezpečné, pretože kedysi spĺňali konštrukčnú požiadavku. V zdravotníctve záleží na reálnom používaní, skúsenostiach personálu, vplyve na pacientov a opatreniach riadenia rovnako ako na akomkoľvek posúdení pred nasadením.
Spúšťač preskúmania by mal byť dostatočne konkrétny na to, aby sa dal použiť. „Pravidelne preskúmavať“ je zdvorilý spôsob, ako požiadať budúcich kolegov, aby hádali. Lepší spúšťač pomenúva podstatnú udalosť: novú verziu modelu, zmenu zdroja vstupov, nové miesto nasadenia, zmenenú skupinu používateľov, nevyriešený nesúlad, vzorec sťažností, signál o bezpečnosti, neschopnosť vykonať krok dohľadu alebo zmenu orgánu, ktorý vlastní rozhodnutie. Zoznam bude pre každý systém iný. Dôležité je, aby pôvodný argument pomenoval podmienky, ktoré by ho mohli urobiť zastaraným.
Toto tiež mení význam audítorskej stopy. Audítorská stopa by nemala byť skladom udalostí, ktorým nikto nerozumie. Mala by byť cestou cez históriu systému. Ktoré tvrdenie bolo v platnosti? Ktorý dôkaz ho v tom čase podporoval? Ktorá verzia vytvorila výstup? Ktorá osoba alebo rola vykonala rozhodujúcu akciu? Čo sa stalo, keď bol systém spochybnený? Ktorý problém bol vyriešený a ktorý zostal otvorený? Záznam by mal byť primeraný. Mal by tiež byť schopný odpovedať na skutočnú otázku bez toho, aby si vyžadoval hrdinskú archeologickú expedíciu cez aplikačné protokoly.
Ako znie vážna otázka o dôkazoch
Keď organizácia hodnotí systém kritický z hľadiska bezpečnosti, užitočnou otázkou málokedy je „funguje to?“. Funguje pre koho, na aký účel, za akých podmienok, v porovnaní s čím a s akým dôsledkom, ak zlyhá? Tieto otázky môžu pôsobiť pomaly, pretože bránia ľahkému áno. Sú to tiež otázky, vďaka ktorým má neskoršie áno svoju hodnotu.
Dobrá recenzia preto žiada o reťaz, nie o zbierku. Žiada tím, aby pomenoval zamýšľaný účel a rozhodnutie, ktoré z neho vyplýva. Pýta sa, aké škody a spôsoby zlyhania sú relevantné. Pýta sa, ktoré dôkazy podporujú každé podstatné tvrdenie a čo tieto dôkazy nepreukazujú. Pýta sa, ktoré predpoklady musia zostať pravdivé. Pýta sa, kto má právomoc dohliadať, prekonať, pozastaviť a opraviť. Pýta sa, ako sa systém správa, keď dôkazy chýbajú alebo prípad je mimo rozsahu. Pýta sa, čo sa bude monitorovať po vydaní a ktorá zmena spúšťa opätovné posúdenie.
Neexistuje univerzálne skóre, ktoré by túto úlohu dokončilo. Cesta má jeden kontext, nemocnica iný, model opäť iný. Dobre navrhnutý malý systém môže mať silnejší dôkazový prípad ako široký systém opísaný s väčšou sebadôverou. Úzke tvrdenie s jasnou hranicou nie je slabé tvrdenie. Je začiatkom čestného tvrdenia.
To je tiež dôvod, prečo naše výskumné stránky opisujú konkrétne otázky, hranice dôkazov a stav prístupu, namiesto toho, aby výskumný materiál predstavovali ako hotovú schopnosť. Metóda je skromná: identifikovať otázku, zviditeľniť hranicu dôkazov a zachovať čitateľný stav publikovania. Nedokazuje, že produkt je vhodný na konkrétne nasadenie, a nenahrádza sektorovo špecifické zabezpečenie. Napriek tomu je to užitočný návyk. Ak organizácia nedokáže povedať, čo jej dôkazy podporujú, čo nepodporujú a kto ich môže spochybniť, ešte si nezískala silnejšie tvrdenie.
Cesta, nemocnica a model zdieľajú jeden problém. Každý potrebuje spôsob, ako premeniť vedomosti na činnosť bez skrývania podmienok, za ktorých je táto činnosť opodstatnená. Odpoveďou nie je ceremoniálny súbor, priemerné skóre ani tlačidlo s označením ľudský dohľad. Je to dôkazová prax, ktorá zostáva prepojená s účelom, ľuďmi, právomocou a zmenou. Táto práca nie je okázalá. Je to spôsob, akým sa systém stáva zodpovedným skôr, než sa musí stať vysvetliteľným.
Zdroje
- Nariadenie (EÚ) 2024/1689, akt o umelej inteligencii, EUR-Lex
- Smernica 2008/96/ES o riadení bezpečnosti cestnej infraštruktúry, EUR-Lex
- Politika bezpečnosti cestnej premávky, Európska komisia
- Umelá inteligencia pretvára zdravotnícke systémy: stav pripravenosti v európskom regióne WHO, WHO/Europe
- Umelá inteligencia v zdravotníctve, Európska komisia
- Výskumný program Dweve