Egy út, egy kórház és egy modell közös problémája

A biztonságkritikus rendszerek eltérően hibáznak, de ugyanazt a fegyelmet igénylik: a kontextushoz kötött állítást, ellenőrizhető bizonyítékot, beavatkozni...

Egy út, egy kórház és egy modell közös problémája: a bizonyítékok

Az evidenciának túl kell élnie az átadást

Egy útépítő tervező, egy kórházi csapat és egy modellszolgáltató mind képes meggyőző demonstrációt produkálni. A csomópont rendezettnek tűnhet a terven. A klinikai képernyő nyugodtnak tűnhet a műhelyben. A modell ésszerű választ adhat egy gondosan kiválasztott példahalmazon. Egyik sem dönti el azt a kérdést, amely akkor válik fontossá, amikor a rendszer a hétköznapi életbe lép: milyen bizonyíték támasztja alá ezt a konkrét intézkedést, ezeknek az embereknek, ezekben a körülmények között, és kinek van joga irányt váltani, amikor a bizonyíték már nem állja meg a helyét?

Ez a kérdés hasznosabb, mint az a vita, hogy egy út, egy kórház vagy egy AI-rendszer „biztonságos-e”. A biztonság nem olyan tulajdonság, amely kartondobozban érkezik az eszközzel. Ez egy folyamatos kapcsolat a cél, a környezet, az emberek csoportja, a rendszer korlátai és az a munka között, amely akkor történik, amikor egy korlátot elérnek. Egy útnak alkalmazkodnia kell azokhoz, akik hibáznak, és a változó körülményekhez. Egy klinikai szolgáltatásnak meg kell őriznie az ítélőképességet, amikor az információ hiányos, sürgős vagy vitatott. Egy AI-rendszernek elég érthetőnek kell maradnia ahhoz, hogy az ember lássa, mikor szűnt meg a kimenete a döntés hasznos hozzájárulása lenni.

Európában ennek a fegyelemnek a darabjai már különböző helyeken megtalálhatók. A közúti infrastruktúrára vonatkozó szabályok olyan eljárásokat írnak elő, mint a hatásvizsgálat, az auditok, a biztonsági ellenőrzések és a hálózati szintű értékelés. A mesterséges intelligenciáról szóló rendelet megköveteli a nagy kockázatú rendszerektől az életciklus-alapú kockázatkezelést, a műszaki dokumentációt, a naplókat, az emberi felügyeletet, a megfelelő pontosságot, a robusztusságot és a kiberbiztonságot. Az európai egészségügyi intézmények a biztonságot, a méltányosságot, az irányítást, a munkaerő-felkészültséget és az elszámoltathatóságot együtt tárgyalják, ahelyett hogy a klinikai modellt olyan szoftverként kezelnék, amely ártalmatlanná válik, mert a felületén sztetoszkóp látható.

A közös szál az evidencia. Nem az evidencia, mint egy vastag mappa, amelyet egyszer állítanak össze, és nem is az evidencia, mint egy hízelgő átlagot mutató eredménytábla. Hanem az evidencia, mint valami, ami egy állításhoz, egy kontextushoz és egy döntéshez kapcsolódik. Egy hasznos evidencianyilvántartás megmondja, hogy a rendszernek mi volt a célja, hol érvényes az állítás, mely megfigyelések támasztják alá, milyen feltételezések húzódnak alatta, mi maradt még bizonytalan, ki avatkozhat be, és melyik változás jelenti azt, hogy az érvet újra kell gondolni.

Ez kevésbé csillogó ötlet, mint az autonómia. De tartósabb is. Lehetőséget ad a mérnököknek, hogy megfogalmazzák a korlátaikat anélkül, hogy azt állítanák, hogy egy tesztkészlet a teljes világ. Lehetőséget ad a vezetőknek, hogy megkérdezzék, mit is fogadnak el valójában. Lehetőséget ad az üzemeltetőknek valami jobbra, mint egy műszerfal, amely csak akkor világít fel, amikor a döntés már nehézzé vált. A legfontosabb, hogy lehetőséget ad a rendszer által érintett embereknek, hogy az eredménytől visszataláljanak azokhoz az okokhoz és körülményekhez, amelyek azt létrehozták.

Három terület, egy kínos kérdés

Az út, a kórház és a modell nem ugyanaz a rendszer. A káraik, a jogi kötelezettségeik, az evidenciabázisaik és a szakmai kultúráik különböznek. Senki sem másolhat egy útellenőrzést a klinikai munkafolyamatba, vagy illeszthet egy orvostechnikai eszközök ellenőrzőlistáját egy nyelvi modellre, és mondhatja, hogy a munka kész. A lényeg nem az, hogy elmossuk a különbségeket. A lényeg az, hogy észrevegyünk egy közös mérnöki problémát: egy automatizált vagy félig automatizált rendszer egy nagyobb emberekből, eljárásokból, felületekből, környezetekből és feltételezésekből álló elrendezésen keresztül működik.

Az út különösen világos emlékeztető, mert nem hoz döntéseket emberi értelemben. Inkább alakítja azokat. A geometria, a látóvonalak, az elválasztás, a kereszteződések, a jelzések, a sebességszabályozás, a karbantartás és a környező hálózat befolyásolja, hogy mit látnak az emberek, miből tudnak felépülni, és mennyire súlyossá válik egy hiba. A jó közúti biztonsági gyakorlat nem épít arra a fantáziára, hogy az úthasználó állandóan éber és tökéletesen tájékozott. Inkább arra törekszik, hogy az előrelátható hibák kevésbé valószínűek és kevésbé súlyosak legyenek. Az európai keretrendszer a közúti infrastruktúra biztonságának kezelésére ezt a rendszerszemléletet tükrözi ismételhető értékelési és ellenőrzési folyamatok révén, nem pedig egyetlen nyilatkozattal arról, hogy egy útvonal jóváhagyásra került.

A kórház más, de szintén együtt él a tiszta leírás és a változó valóság közötti különbséggel. Egy klinikai útvonalhoz tartoznak személyzeti szerepek, átadások, nyilvántartások, eszközök, prioritások, megszakítások és egy személy, akinek az állapota nem feltétlenül hasonlít arra az átlagos esetre, amely a protokollt formálta. Egy ajánlás lehet hasznos, és mégis elégtelen. Egy figyelmeztetés lehet technikailag helyes, és mégis olyan pillanatban érkezik, amikor már nem lehet biztonságosan cselekedni rá. Egy rendszer javíthatja a munkafolyamat egyik részét, miközben új terhet ró valahol máshol. Ezért nem állhat meg az egészségügyi mesterséges intelligenciáról szóló vita a modell látszólagos teljesítményénél. Bele kell tartoznia az irányításnak, a klinikai felelősségnek, az adatminőségnek, a képzésnek, a közbizalomnak és a kár azonosításának és kijavításának módjainak.

Egy modell ugyanilyen elrendezésben helyezkedik el. Valahol betanítják vagy konfigurálják, máshol adatokhoz kapcsolják, egy személy ad neki utasítást vagy feladatot, egy felület mögé kerül, egyesek figyelik, mások nem. Kimenetet hoz létre, de a kimenet csak akkor válik következményessé, ha valaki cselekvési okként kezeli. A kimenet és a cselekvés között küszöbök, felhatalmazás, időnyomás, hozzáférés a forrásanyaghoz, képzés, ösztönzők és az ellenvélemény lehetősége állnak. Ezek nem pusztán díszítő jellegű működési részletek. Eldöntik, hogy egy technikailag hozzáértő összetevő biztonságos része marad-e a nagyobb rendszernek.

Tekintsük a következőt kifejezetten hipotetikus összetételként, nem pedig valós út, kórház, beteg, alkalmazott vagy incidens leírásaként. Egy helyi hatóság fontolgat egy rendszert, amely helyszíneket jelöl meg közúti biztonsági felülvizsgálatra. Egy kórház fontolgat egy eszközt, amely segít rendezni az adminisztratív dokumentumokat, mielőtt azok a klinikai személyzet elé kerülnek. Egy harmadik szervezet fontolgat egy modellt, amely kockázati összefoglalót készít egy infrastruktúra-kezelő számára. Mindegyik környezetben egy korai bemutató azt mutatja, hogy a rendszer mintázatokat talál a meglévő nyilvántartásokban. A bemutató még nem válaszol arra, hogy a nyilvántartások azokat a feltételeket képviselik-e, amelyekkel a szolgáltatás a következő hónapban találkozik, hogy felismerhető-e egy szokatlan eset, hogy az ajánlást kapó embereknek van-e elég idejük és felhatalmazásuk megkérdőjelezni azt, vagy hogy a szervezet észrevesz-e egy káros mintázatot, mielőtt az normális munkává válik. A bizonyítékokkal kapcsolatos probléma pontosan itt kezdődik.

A könnyű hiba az, ha egyetlen számot kérünk. Mennyi a pontosság? Mennyi időt takarít meg? Hány kockázatot fog elkapni? Ezek a kérdések jogosak, de hiányosak. Egy számhoz kell nevező, minta, meghatározás, dátum, tervezett felhasználás és nyilatkozat arról, hogy mit zártak ki. Kapcsolatra is szüksége van a következő döntéssel. A magas pontszám egy szűk, stabil feladaton alátámaszthat egy szűk, stabil állítást. Nem hatalmazhat fel csendben egy másik munkafolyamatra, egy másik populációra vagy egy más következményű döntésre.

A bizonyíték nem díszítő elem

Az bizonyíték akkor válik hasznossá, ha meg tud változtatni valakinek a véleményét. Ez nyilvánvalónak hangzik, de sok bizonyítékcsomagot arra terveznek, hogy teljesnek tűnjön, nem pedig arra, hogy egy döntést megkérdőjelezhetővé tegyen. Képernyőképeket, szakpolitikai nyilatkozatokat, tesztösszefoglalókat és aláírásokat tartalmaznak, de nem mutatják meg, hogy az egyes elemek melyik állítást támasztják alá, melyik feltétel korlátozza az állítást, vagy mi történjen, ha a feltétel megváltozik. Az eredmény egy ceremoniális szerepet betöltő iratcsomó. Bizonyíthatja, hogy egy megbeszélés megtörtént. De nem feltétlenül mondja meg az üzemeltetőnek, hogy mit tegyen reggel 07:40-kor, amikor a szolgáltatás leterhelt, az adatok késnek, és egy ajánlás nem illik az előtte lévő esethez.

Jobb kiindulópont egy megnevezett döntés. Nem „az AI felelős bevezetése” és nem is „a közúti biztonság javítása”, hanem egy határokkal rendelkező kijelentés. Például: ez a rendszer előnyben részesítheti a felülvizsgálati munka meghatározott osztályát, meghatározott üzemeltetési környezetben, miközben egy megnevezett szerepkör felelős marad az ajánlás elfogadásáért vagy elutasításáért. Vagy: ez a terv forgalomba bocsátható, miután az azonosított kockázatokat a szükséges eljárás szerint felmérték, és az azonosított védelmi intézkedések érvényben vannak. A megfogalmazás szándékosan kevésbé izgalmas, mint egy termékbejelentés. Ez egy szerződés a valósággal.

Ha a döntés meg van nevezve, a nyilvántartás többi része tud hova kapcsolódni. A tervezett cél megmondja az olvasónak, hogy mit ne feltételezzen. A környezet megmondja, hogy melyik helyszín, munkafolyamat, felhasználók, adatok, berendezések és környező folyamatok számítanak. A bizonyítékok rögzítik a teszteket, megfigyeléseket, forrásanyagokat, felülvizsgálatokat és gyakorlatokat. A feltételezések láthatóvá teszik a függőségeket: talán az üzemeltető rendelkezik képzéssel, talán a forrásnyilvántartás naprakész, talán egy adott riasztás időben eljut egy adott szerepkörhöz. A tulajdonos azonosítja, hogy ki értelmezheti az anyagot és avatkozhat be. A felülvizsgálati kiváltó okok megmondják, hogy melyik jel, változás vagy feltételezés meghiúsulása igényel újabb vizsgálatot.

A bizonyíték akkor válik működőképessé, ha az olvasó vissza tudja vezetni egy állítást a feltételeihez, a felelősségi köréhez és a felülvizsgálati útvonalához.

Ennek a struktúrának fontos következménye van. Megakadályozza, hogy a bizonyíték eltávolodjon a felhasználástól. Egy teszt nem csak a „validáció” alá kerül besorolásra. Kapcsolódik egy adott viselkedésre vonatkozó állításhoz, meghatározott feltételek mellett. Egy audit nem csak annak a bizonyítéka, hogy egy auditor ellátogatott. Feljegyzéssé válik arról, hogy mit vizsgáltak meg, mit találtak, mi maradt bizonytalan, és melyik hatóság döntött arról, hogy mi történjen ezután. Egy modellértékelés nem egy általános jelvény. Ez egy korlátozott megfigyelés, amelynek relevanciája a modellverziótól, a feladattól, az adatoktól, a konfigurációtól és a telepítési körülményektől függ.

Ugyanennek a feljegyzésnek a hiányt is láthatóvá kell tennie. Ha senki sem tesztelt egy rendszert egy szokatlan, de jelentős következményekkel járó bemenettel, az nem apró kellemetlenség, amelyet egy átlag mögé lehet rejteni. Ez egy bizonyítékhatár. Ha egy ember technikailag felülbírálhat egy ajánlást, de a valós munkafolyamatban nincs ideje, hozzáférése vagy felhatalmazása erre, az nem érdemi felügyelet. Ez egy tervezési hiányosság. Ha egy közúti biztonsági ellenőrzés visszatérő állapotot észlel, de egyetlen szervezet sem felelős a javító munkálatokért, a megfigyelés még nem vált kontrollá. Komoly rendszerekben a hiányzó bizonyíték eredmény. Megmutatja a szervezetnek, hogy hol nem állíthat még semmit.

A közúti biztonság gyakorlati leckét ad az alázatról

A közúti biztonság évtizedek alatt tanulta meg, hogy a károkat ritkán magyarázza egyetlen rossz szereplő vagy egyetlen rossz alkatrész. A túl gyorsan vezető személy, a nehezen olvasható átkelőhely, a jármű, az időjárás, a világítás, a karbantartás állapota, a forgalom összetétele és a vészhelyzeti reagálás egyaránt számíthat. Ez nem szünteti meg az egyéni felelősséget. De megakadályozza azt a felszínes következtetést, hogy minden meghibásodás orvosolható azzal, ha azt mondjuk az embereknek, figyeljenek jobban. Egy rendszer, amely csak akkor működik, ha senki sem követ el előrelátható hibát, nem lenyűgözően szigorú rendszer. Hanem törékeny.

Az EU közúti infrastruktúra biztonsági irányítására vonatkozó szabályai hasznos ellensúlyt jelentenek annak a gondolatnak, hogy a jóváhagyás egyszeri esemény. A biztonsági munkát olyan eljárások köré szervezik, amelyek a várható következményeket, a tervezést, az üzemeltetést és a meglévő hálózatot vizsgálják. A pontos jogi hatály számít, és a szabályokat közúti infrastruktúrára vonatkozó jogként kell értelmezni, nem pedig általános sablonként minden technológiára. Ennek ellenére a mögöttes szemlélet széles körben értékes: vizsgáljuk meg a rendszert azokban a körülmények között, amelyek között működni fog, keressünk mintázatokat, ne várjunk drámai eseményre, és kezeljük a tudást az elrendezés módosításának okaként.

Ez a szemlélet nem egyszerűen „több adat gyűjtése”. A kérdés nélküli adat nagyon hatékony módja a zavar tárolásának. A közúti biztonsági kérdés vonatkozhat arra, hogy egy átkelőhely hol okoz konfliktust, kik vannak kitéve ennek, milyen gyakran fordulnak elő a körülmények, milyen hiba előrelátható, mely fizikai vagy üzemeltetési intézkedések csökkentik a kockázatot, és hogyan fogja a szervezet tudni, hogy az intézkedés megváltoztatta-e a helyzetet. A számító bizonyíték ezért vegyes. Tartalmazza a forgalmi viszonyokat, a tervezési dokumentációt, az ellenőrzési megfigyeléseket, a karbantartási információkat, a kárjelentéseket és a szakmai ítélőképességet. Egy térkép önmagában nem hordozhatja az állítást. Egyetlen ütközési statisztika sem.

Van itt egy hasznos emberi tényezőkre vonatkozó szempont. A rendszert az emberekhez kell tervezni, amilyenek, nem pedig egy fiktív felhasználóhoz, aki minden táblát elolvas, minden sebességet tökéletesen megítél, és soha nem érkezik figyelmetlenül, fáradtan, tapasztalatlanul, sietve, betegen vagy egyszerűen meglepve. Ez nem kifogás a gondatlan viselkedésre. Ez annak az elismerése, hogy a biztonságtechnikának a szándék és a tényleges emberi képesség közötti térben kell működnie. Amikor egy rendszer arra támaszkodik, hogy egy személy észrevesz, megért és cselekszik, ennek a három lépésnek saját bizonyítékra van szüksége. Látható-e a jel? Megérthető-e a jelentése? Tud-e a személy időben és kellő felhatalmazással cselekedni?

Az AI-csapatok gyakran kihagyják ezt, mert az embert egy folyamatábra végén lévő dobozként ábrázolják. A doboz felirata „lektor”, „kezelő” vagy „ember a hurokban”, és ezért úgy tűnik, hogy megoldja a problémát. De egy szerepkör megnevezése nem ír le egy interakciót. Egy hasznos felülvizsgálati tervnek meg kell mondania, hogy a személy mit lát, mit nem lát, milyen bizonyítékokat vizsgálhat meg, kérhet-e másik útvonalat, mikor várható, hogy nem ért egyet, mi történik az egyet nem értés után, és hogyan tanul belőle a szervezet. Ezek a kérdések ugyanolyan hétköznapiak, mint annak ellenőrzése, hogy egy átkelőhely biztonságosan használható-e esőben vagy sötétben. És sokkal informatívabbak, mint egy ígéret, hogy egy személy továbbra is részt vesz.

Egy kórház nem tudja eltüntetni a bizonytalanságot

Az egészségügyben a bizonyítékok kérdése különösen szembetűnő, mert a következmények személyesek, a környezet pedig összetett. Egy hasznos klinikai vagy adminisztratív rendszer segíthet az információszerzésben, csökkentheti az ismétlődő munkát, felhívhatja a figyelmet egy lehetséges mintázatra, vagy előkészítheti az anyagot az áttekintéshez. Ez azonban nem teszi klinikai tekintéllyé. Az információnak a kezelésbe, a rangsorolásba vagy az ellátás megtagadásába való átmenete olyan kötelezettségekkel jár, amelyeket nem lehet kiszervezni egy felületre. Az ellátásért felelős személynek tudnia kell, hogy a rendszer mit tett, mit nem tett, és hogyan kell reagálnia, ha az eredmény ütközik az esetben rendelkezésre álló tényekkel.

A WHO/Európa mesterséges intelligenciáról szóló munkája az ügyet a megérdemelt szókészlettel keretezi: biztonság, hatékonyság, méltányosság, emberi jogok, átláthatóság, elszámoltathatóság, irányítás és a munkaerő felkészültsége. A lényeg nem az, hogy minden klinikai dolgozónak gépi tanulási szakértővé kell válnia. A lényeg az, hogy egy rendszer nem használható felelősen, ha azoknak, akiknek támaszkodniuk kell rá, felügyelniük vagy megkérdőjelezniük kell, nincs használható képük a korlátairól. A képzés a kontrollkörnyezet része. Ugyanígy a továbbítási útvonalak, a felelősségi megállapodások, a valós teljesítményre vonatkozó bizonyítékok, valamint a betegek és a szakemberek számára a panasztétel lehetősége anélkül, hogy előbb a technológia szakértőivé kellene válniuk.

Az Európai Bizottság hasonlóképpen az egészségügyi mesterséges intelligenciát egy tágabb szabályozási és működési környezetbe helyezi. A közegészségügyi anyaga megjegyzi, hogy az orvosi célú MI-szoftver az MI-rendelet kockázatkezelésre, adatminőségre, felhasználói tájékoztatásra és emberi felügyeletre vonatkozó magas kockázatú követelményei alá tartozhat. Ez nem azt jelenti, hogy minden kórházban használt eszköz azonos jogi besorolást kap. Ez arra emlékeztet, hogy az „egészség” szó nem enyhíti a gondos rendeltetéscél-elemzés szükségességét. Minél jelentősebb a felhasználás, annál kevésbé hihető, hogy tág biztosítékokra hagyatkozunk.

A klinikai gyakorlat azt is megmutatja, miért kell egyértelműnek lenniük a beavatkozási küszöböknek. Egy rendszer kaphat engedélyt arra, hogy forrást keressen elő, összefoglalót készítsen, hiányzó mezőt jelezzen, vagy felvesse, hogy egy eset figyelmet érdemel. Ezek különböző cselekedetek. Mindegyik egy kicsit tovább lép az információtól a befolyás felé. Egy bizonyos ponton a rendszer korlátozott műveleti lépést tehet, talán olyan szabályokkal, amelyek korlátozzák a hatókört, és olyan nyilvántartással, amely visszafordíthatóvá teszi a lépést. Azon a ponton túl előfordulhat, hogy egyidejű emberi döntés nélkül kell cselekednie. Az ezeken a szinteken szükséges bizonyíték, felhatalmazás és helyreállítási terv nem felcserélhető.

Ez nem teszi lehetetlenné az automatizálást. Ez arányossá teszi az állításokat. Egy szervezet választhat egy szerény, jól körülhatárolt feladatot, és megbízhatóvá teheti, mielőtt egy tág feladatot képzelne el. Megőrizheti a forrásanyagot ahelyett, hogy az összefoglalót tenné az egyetlen nyilvántartássá. Adhat a klinikusnak vagy más elszámoltatható dolgozónak valódi eszközt a rendszer megállítására, nem pedig egy elméleti gombot, amely egy szabályzatban van elrejtve. Figyelemmel kísérheti, mi történik a bevezetés után, és a váratlan viselkedést annak bizonyítékaként kezelheti, hogy az eredeti érvelést felül kell vizsgálni. Ez lassabb, mint kijelenteni, hogy a modell átvette az irányítást. Általában gyorsabb, mint egy döntés rekonstruálása, miután a bizalom már elveszett.

A modell nem az egész rendszer

The AI Act is valuable here because it refuses, in its high-risk provisions, to treat the model as the only relevant object. Article 9 sets out a documented, maintained and continuous iterative risk-management process. Article 10 concerns data and data governance. Article 11 and Annex IV address technical documentation. Article 12 addresses automatic recording of relevant events. Article 14 addresses effective human oversight, including the ability to understand relevant limits, override or reverse output where appropriate, and stop the system safely. Article 15 concerns accuracy, robustness and cybersecurity. These are not interchangeable paperwork categories. Together they point at a system that has to be understood across its lifecycle.

The law does not make a technical judgement for every organisation. It does not announce that a given performance measure is enough, nor does it make an operator competent by naming them in a document. It does something more demanding. It requires a way of connecting intended purpose, risk, documentation, records, human oversight and ongoing monitoring. That connection is precisely what gets lost when an AI project is described as a model acquisition rather than an operational change.

Take the commonplace claim that a human can override the model. Override what, exactly? A probability, a ranking, a generated paragraph, a routing decision, an automatic notification, a resource allocation or a physical action? Before or after it takes effect? With which information? Under which time constraint? Does the human see why the system reached the output, or merely that it did? Are there consequences for disagreeing? Is the disagreement recorded? Is it reviewed as a possible model, data or workflow problem? A truthful answer to these questions is more reassuring than a glossy assurance because it describes a control that can actually be exercised.

Human oversight is sometimes treated as a moral accessory: add a person to the process and the system becomes humane. It is better understood as an engineering relationship. The person needs a meaningful opportunity to detect a limitation, the authority to intervene, an action that changes the outcome, and a system state that remains safe when the intervention happens. A powerless reviewer is a witness. A reviewer who only sees an output after it has become irreversible is an auditor of a decision already made. Neither arrangement is equivalent to oversight.

Evidence should therefore grow as discretion and irreversibility grow. A retrieval tool that helps a professional find source material has one kind of evidence burden. A system that ranks work for attention has another, because ranking shapes what may be seen late or not at all. A constrained system that automatically performs an operational task needs clear boundaries, monitoring and a recovery route. A system that acts without a live decision needs the strictest case: a narrow purpose, evidence for the operating context, fail-safe behaviour, independent challenge where appropriate, clear ownership and continuing review. The designation is less important than the principle. More autonomy is a larger claim, not a marketing upgrade.

Ahogy egy automatizált rendszer a tájékoztatástól az önálló cselekvés felé halad, a bizonyítékokra, a beavatkozásra és a helyreállításra vonatkozó követelményeknek erősebbé kell válniuk, nem gyengébbé.

A küszöbök megakadályozzák, hogy egy hasznos eszköz gazdátlan döntéssé váljon

A beavatkozási küszöb gyakorlati válasz egy gyakorlati kérdésre: mikor tehet valamit a rendszer, és mikor kell visszaadnia az ügyet? Ennek már az élesítés előtt láthatónak kell lennie, nem pedig egy panasz nyomán felfedezhetőnek. A küszöb függhet a megbízhatóságtól, de önmagában a megbízhatóság nem elegendő. Függhet a döntés típusától, a hiba következményeitől, az adatok minőségétől és frissességétől, az egymásnak ellentmondó bizonyítékok jelenlététől, egy képzett személy elérhetőségétől, a helyreállítás képességétől és attól, hogy az ügy mennyire illeszkedik a megadott célba.

A küszöbök nem bizonyítják, hogy egy rendszer biztonságos. Arra valók, hogy megakadályozzák a rendszert abban, hogy nagyobb felhatalmazást igényeljen, mint amennyit a bizonyítékai alátámasztanak. Egy modell képes lehet egy rekord összefoglalására, de nem feltétlenül tudja felmérni annak teljességét. Felismerhet egy kifejezést, de nem feltétlenül tudja meghatározni annak jogi jelentőségét. Képes lehet egy hihető magyarázatra, de nem feltétlenül tudja igazolni a magyarázat igazságát. Felismerhet egy rutinszerű mintát, és mégis alkalmatlan lehet szokatlan esetekre, egymásnak ellentmondó forrásokra vagy olyan helyzetekre, ahol egy kis hiba nehezen lenne visszafordítható. A küszöb az a pont, ahol a szervezet ezeket a megkülönböztetéseket viselkedéssé alakítja.

Egy útkezelő hatóság esetében a küszöb azt mondhatja ki, hogy az ellenőrzési eredmények és a meghatározott kockázati mutatók kombinációja hivatalos felülvizsgálathoz vezet, míg egy másik kombináció sürgős ideiglenes intézkedést igényel. A pontos kritériumok a vonatkozó jogi és szakmai keretekhez tartoznak. Az átvihető gondolat az, hogy a megfigyeléstől a beavatkozásig vezető út ne kizárólag attól függjön, hogy éppen ki van szolgálatban, vagy melyik aggályra emlékeznek a legélénkebben az értekezleten. A bizonyíték nem helyettesíti a szakmai ítélőképességet. Közös nyilvántartást és megismételhető utat ad az ítélőképességnek.

Egy kórház esetében a küszöb megkülönböztethet egy olyan eszközt, amely felülvizsgálatra készít elő anyagot, és egy olyan rendszert, amely korlátozott adminisztratív műveletet képes végrehajtani. Ez utóbbinak egyértelmű nyilvántartásra van szüksége a hatóköréről, egy módra a kivétel észlelésére, egy megnevezett felelősre a kivételhez, és egy módra az előző állapot visszaállítására, ha a művelet hibás volt. Ha a rendszer klinikailag jelentős döntést érint, a küszöbnek számolnia kell a vonatkozó klinikai, jogi és szakmai kötelezettségekkel. A felelős személytől nem kérhető, hogy egy átláthatatlan automatizálási eredményt javítson ki forrásnyom és ellenőrzési idő nélkül.

Egy infrastruktúrában működő MI-rendszer esetében egy küszöbérték megkülönböztetheti az előrejelzést a beavatkozástól. Az előrejelzés figyelmeztetheti a kezelőt egy olyan állapotra, amelyet érdemes ellenőrizni. A beavatkozás megváltoztathat egy fizikai vagy működési állapotot. A második állítás sokkal alaposabb magyarázatot igényel a bemenet minőségéről, a rendszer korlátairól, a környezeti feltételekről, a felügyeletről, a jogosultságról, a tartalék megoldásokról és a helyreállításról. Ez nem bürokrácia, amelyet azért vezettek be, hogy megnehezítse a mérnökök dolgát. Ez annak a mérnöki leírása, hogy mi történik, amikor a tévedés ára nem egy csalódást keltő válasz egy csevegőablakban.

A leghasznosabb küszöbérték gyakran a visszautasítási küszöb. Minek kellene arra késztetnie a rendszert, hogy megtagadja a működést? Melyik hiányzó bemenet, ütközés, késve érkezett rekord, eloszláson kívüli állapot, elérhetetlen felülvizsgáló vagy nem tesztelt módosítás váltson ki biztonságos szünetet? A szervezetek általában azt írják le, amit remélnek, hogy a rendszerük tenni fog. Kevésbé szívesen írják le, hogy mikor kell megállnia. Pedig egy rendszer megállási viselkedése gyakran többet elárul az érettségéről, mint a bemutató jellegű viselkedése. Az a képesség, hogy valaki azt mondja: „ez az eset kívül esik a bizonyítékokon”, nem hiba. Ez annak a bizonyítéka, hogy a határ létezik.

Az emberi tényezők a bizonyíték részét képezik, nem pedig lábjegyzetet

Az emberi tényezőket néha leegyszerűsítik arra a megfigyelésre, hogy az emberek tévedhetnek. Ez igaz, de önmagában nem túl hasznos. A mérnöki kérdés az, hogyan szervezik meg a munkát a tényleges emberi figyelem, emlékezet, észlelés, munkaterhelés, kommunikáció és jogosultság köré. A figyelmeztetés, amelyet nem lehet észrevenni, nem figyelmeztetés. Az összetett magyarázat, amelyet időnyomás alatt nem lehet megérteni, nem értelmes átláthatóság. A leállítási vezérlő, amelyhez olyan személy jóváhagyása szükséges, aki nem elérhető, nem leállítási vezérlő. A felülvizsgálati képernyő, amely elrejti a mögöttes rekordot, nem bizonyítékfelület.

Az útépítés ezt kézzelfoghatóvá teszi. Az emberek fizikai környezetben mozognak, korlátozott idő áll rendelkezésükre a látásra, az értelmezésre és a cselekvésre. A rendszert nem lehet csak a tervezett jelzéseinek leírásával értékelni. Azt is figyelembe kell venni, hogy az érintett emberek tudják-e használni azokat a tényleges környezetben. Az egészségügy ugyanezt a pontot más regiszterben fogalmazza meg. A figyelmeztetés vagy ajánlás olvasóját megszakíthatják, versengő prioritásokkal kell megküzdenie, kollégáját helyettesítheti, vagy olyan esettel szembesülhet, amely nem illeszkedik pontosan a folyamathoz. Az MI újabb réteget ad hozzá, mert a gördülékeny kimenet hamis benyomást kelthet arról, hogy a rendszer mérlegelte a bizonyítékokat, miközben csak megismételte azokat.

A válasz nem az, hogy emberfeletti koncentrációt követeljünk. A válasz az, hogy megtervezzük és teszteljük az átadást. Mit mutat a rendszer először? Melyik forrást tudja az illető megvizsgálni? Hogyan fejezi ki a bizonytalanságot? Kérhet-e az illető másik útvonalat? Megkülönbözteti-e a felület a megerősített rekordot a következtetéstől? Meg tudják-e mondani, hogy a modell, az adatforrás, a szabály vagy a konfiguráció megváltozott-e? Mi történik a visszajelzéssel? Ezek empirikus és szervezeti kérdések. Gyakorlatokat, megfigyelést, felhasználókutatást és bevezetés utáni felülvizsgálatot érdemelnek, nem csupán azt a kijelentést, hogy a felületet a felhasználóra gondolva tervezték.

A felelős bizonyítékrekordnak rögzítenie kell az emberi elrendezést anélkül, hogy az egyes dolgozókról szóló dossziévá válna. Rögzítheti a szerepet, a jogosultságot, a képzési követelményt, a várható beavatkozást, a rendelkezésre álló időt, az információs felületet, az eszkalációs útvonalat és a gyakorlat eredményét. Rögzítheti, hogy egy folyamatot egy megadott forgatókönyv szerint teszteltek, anélkül, hogy azt állítaná, hogy a forgatókönyv minden jövőbeli körülményt bizonyít. Megőrizheti a döntési nyomvonalat anélkül, hogy a megfigyelést a szükségtelen megfigyelés ürügyeként használná. Ezek az egyensúlyok nehezek. Mégis jobb nyíltan kezelni őket, mint egy homályos utasításra hagyni, hogy az emberek „használják a megítélésüket”.

A holland ösztön, hogy a bonyolult rendszereket átláthatóvá tegye, itt is hasznos. Egy kerékpáros csomópont, egy nyilvános nyilvántartás vagy egy jól felcímkézett folyamat nem lesz jó pusztán attól, hogy világos, de az átláthatóság lehetővé teszi, hogy az emberek lássák, hol a felelősség. A jó kormányzás hasonló szerénységgel bír. Nem ígéri, hogy nem merül fel nehéz döntés. Hanem láthatóvá teszi a nehéz döntés útját még azelőtt, hogy szükség lenne rá. A jól meghatározott eszkalációs útnak nincs szalagátvágási ceremóniája, ami talán azért van, mert oly gyakran a későbbre halasztják.

A bizonyítékoknak van szavatossági ideje

A bizonyítékalapú munka legnehezebb része annak elfogadása, hogy a tegnapi bizonyíték pontos lehet, de már nem feltétlenül elegendő. Egy modell megváltozik. Egy adatforrás megváltozik. Egy beszállító megváltoztat egy alkatrészt. Egy munkafolyamatot átszerveznek. A szolgáltatást új embercsoport használja. Egy utat megváltoztatnak, másképp karbantartanak, vagy más forgalmi mintának van kitéve. Egy kórház megváltoztatja a személyzetet, a szoftvert, a betegellátási sorrendet vagy a nyilvántartásokat. Az eredeti teszt történelmi megfigyelésként érvényes maradhat, de a rá épülő állításnak új határokra lehet szüksége.

Ezért a verziótörténet nem adminisztratív szépségflastrom. Az az olvasó, aki nem tudja azonosítani, hogy egy modell, konfiguráció, adatforrás, szabályzat vagy felület melyik verziója hozta létre az eredményt, nem tudja rekonstruálni a döntés körülményeit. Az a csapat, amelyik nem rögzíti a lényegi változásokat, nem tudja megkülönböztetni az új problémát a régitől. Az a szervezet, amelyik a kiadást tekinti a biztosíték végének, végül újra kénytelen felfedezni, miért volt indokolt a bizalma, pontosan abban a pillanatban, amikor a válasz a legfontosabb.

A piaci forgalomba hozatal utáni nyomon követés az AI-törvény értelmében felismeri ezt az életciklus-valóságot a nagy kockázatú rendszerek esetében. A követelmény nem ígéret arra, hogy a nyomon követés kiküszöböli a bizonytalanságot. Elismerése annak, hogy az információ a bevezetés után érkezik, és vissza kell vezetnie a kockázatkezelésbe. A közúti biztonságban ismerős a megfelelő tanulság: a rendszereket működés közben kell ellenőrizni és értékelni, nem pedig feltételezni, hogy biztonságosak maradnak, mert egyszer megfeleltek egy tervezési követelménynek. Az egészségügyben a valós használat, a munkaerő tapasztalata, a betegekre gyakorolt hatás és a kormányzási intézkedések ugyanolyan fontosak, mint a bevezetés előtti értékelés.

A felülvizsgálati kiváltó oknak elég konkrétnak kell lennie ahhoz, hogy használható legyen. Az „időszakos felülvizsgálat” udvarias módja annak, hogy a jövőbeli kollégáktól találgatást kérjünk. Egy jobb kiváltó ok megnevezi a lényegi eseményt: új modellverzió, változás a bemeneti forrásban, új telepítési hely, megváltozott felhasználói csoport, megoldatlan eltérés, panaszminta, biztonsági jelzés, felügyeleti lépés elvégzésének képtelensége, vagy változás a döntést birtokló hatóságban. A lista minden rendszernél más lesz. Az a fontos, hogy az eredeti érv megnevezze azokat a feltételeket, amelyek elavulttá tehetik.

Ez megváltoztatja az auditnapló jelentését is. Az auditnaplónak nem egy raktárnak kell lennie, tele olyan eseményekkel, amelyeket senki sem tud értelmezni. Hanem útnak a rendszer történetén keresztül. Melyik állítás volt érvényben? Melyik bizonyíték támasztotta alá akkor? Melyik verzió hozta létre a kimenetet? Melyik személy vagy szerepkör hozta meg a következményes döntést? Mi történt, amikor a rendszert megkérdőjelezték? Melyik probléma oldódott meg, és melyik maradt nyitott? A nyilvántartásnak arányosnak kell lennie. Képesnek kell lennie arra is, hogy valódi kérdésre válaszoljon anélkül, hogy hősies régészeti expedícióra lenne szükség az alkalmazásnaplókban.

Hogyan hangzik egy komoly bizonyítékkérdés

Amikor egy szervezet biztonságkritikus rendszert értékel, a hasznos kérdés ritkán az, hogy „működik?”. Kinek működik, milyen célból, milyen feltételek mellett, mihez képest, és milyen következménnyel, ha nem működik? Ezek a kérdések lassúnak tűnhetnek, mert megakadályozzák a könnyű igent. De ezek azok a kérdések, amelyek a későbbi igent értékessé teszik.

Egy jó felülvizsgálat ezért láncot kér, nem pedig gyűjteményt. Azt kéri a csapattól, hogy nevezze meg a szándékolt célt és az azt követő döntést. Azt kéri, hogy mely károk és meghibásodási módok relevánsak. Azt kéri, hogy mely bizonyítékok támasztják alá az egyes érdemi állításokat, és mit nem mutatnak ezek a bizonyítékok. Azt kéri, hogy mely feltételezéseknek kell igaznak maradniuk. Azt kéri, hogy kinek van felhatalmazása a felügyeletre, felülbírálásra, szüneteltetésre és javításra. Azt kéri, hogyan viselkedik a rendszer, ha hiányoznak a bizonyítékok, vagy az eset kívül esik a hatókörön. Azt kéri, hogy mit fognak nyomon követni a bevezetés után, és mely változások indítják el az újraértékelést.

Nincs olyan egyetemes pontszám, amely lezárná ezt a feladatot. Az út kontextusa más, a kórházé más, a modellé pedig megint más. Egy jól megtervezett kis rendszernek erősebb bizonyítéka lehet, mint egy széles körű rendszernek, amelyet nagyobb magabiztossággal írtak le. A világos határvonalú, szűk állítás nem gyenge állítás. Ez egy őszinte állítás kezdete.

Ez az oka annak is, hogy kutatási oldalaink kifejezett kérdéseket, bizonyítékhatárokat és hozzáférési státuszt írnak le, ahelyett hogy alapértelmezés szerint kész képességként mutatnák be a kutatási anyagot. A módszer szerény: azonosítsuk a kérdést, tegyük láthatóvá a bizonyítékhatárt, és tartsuk olvashatónak a publikációs státuszt. Nem bizonyítja, hogy egy termék alkalmas egy adott telepítésre, és nem helyettesíti az ágazatspecifikus biztosítékot. Ennek ellenére hasznos szokás. Ha egy szervezet nem tudja megmondani, hogy mit támasztanak alá a bizonyítékai, mit nem támasztanak alá, és ki vonhatja kétségbe azokat, akkor még nem érdemelt ki erősebb állítást.

Egy út, egy kórház és egy modell osztozik egy problémán. Mindegyiknek módot kell találnia arra, hogy a tudást cselekvéssé alakítsa anélkül, hogy elrejtené azokat a feltételeket, amelyek mellett a cselekvés indokolt. A válasz nem egy ceremoniális fájl, egy átlagpontszám vagy egy emberi felügyelet feliratú gomb. Hanem egy olyan bizonyítékgyakorlat, amely kapcsolatban marad a céllal, az emberekkel, a felhatalmazással és a változással. Ez a munka nem dicsőséges. Így válik egy rendszer felelőssé tehetővé, mielőtt magyarázhatóvá kellene válnia.

Egy út, egy kórház és egy modell közös problémája: a bizonyítékok