A road, a hospital and a model share one problem

Drošībai kritiskas sistēmas sabrūk atšķirīgi, bet tām vajadzīga tā pati disciplīna: apgalvojums, kas saistīts ar kontekstu, pārbaudāmi pierādījumi, cilvēki,...

A road, a hospital and a model share one problem: evidence

Pierādījumiem ir jāiztur nodošana

Ceļu projektētājs, slimnīcas komanda un modeļa nodrošinātājs var sniegt pārliecinošu demonstrāciju. Krustojums plānā var izskatīties sakārtots. Klīniskā ekrāna darbnīcā var izskatīties mierīgs. Modelis var sniegt saprātīgu atbildi uz rūpīgi izvēlēta piemēru kopuma. Nekas no tā neatbild uz jautājumu, kam ir nozīme, kad sistēma nonāk ikdienas dzīvē: kādi pierādījumi pamato šo konkrēto rīcību, šiem cilvēkiem, šajos apstākļos, un kam ir tiesības mainīt kursu, kad pierādījumi vairs nav spēkā?

Šis jautājums ir noderīgāks par diskusiju par to, vai ceļš, slimnīca vai mākslīgā intelekta sistēma ir “droša”. Drošība nav īpašība, kas ierodas kartona kastē kopā ar ierīci. Tā ir nepārtrauktas attiecības starp mērķi, vidi, cilvēku kopumu, sistēmas ierobežojumiem un darbu, kas notiek, kad ierobežojums tiek sasniegts. Ceļam ir jāpielāgojas cilvēkiem, kuri pieļauj kļūdas, un mainīgiem apstākļiem. Klīniskajam dienestam ir jāsaglabā spriestspēja, kad informācija ir nepilnīga, steidzama vai apstrīdēta. Mākslīgā intelekta sistēmai ir jāpaliek pietiekami saprotamai, lai cilvēks varētu redzēt, kad tās sniegtais rezultāts vairs nav noderīgs ieguldījums lēmuma pieņemšanā.

Eiropā šīs disciplīnas daļas jau pastāv dažādās vietās. Ceļu infrastruktūras noteikumi paredz tādas procedūras kā ietekmes novērtējums, auditi, drošības pārbaudes un tīkla mēroga novērtējums. Mākslīgā intelekta akts pieprasa augsta riska sistēmām darboties ar dzīves cikla riska pārvaldību, tehnisko dokumentāciju, žurnāliem, cilvēka uzraudzību, atbilstošu precizitāti, robustumu un kiberdrošību. Eiropas veselības iestādes apspriež drošību, vienlīdzību, pārvaldību, darbaspēka gatavību un atbildību kopā, nevis uzskata klīnisko modeli par programmatūru, kas kļūst nekaitīga, jo tās saskarnē ir stetoskops.

Kopīgais pavediens ir pierādījumi. Ne pierādījumi kā bieza mape, kas salikta vienreiz, un ne pierādījumi kā rezultātu tablo ar glaimojošu vidējo rādītāju. Pierādījumi kā kaut kas, kas piesaistīts apgalvojumam, kontekstam un lēmumam. Noderīgs pierādījumu ieraksts norāda, ko sistēmai bija paredzēts darīt, kur apgalvojums ir spēkā, kuri novērojumi to atbalsta, kuri pieņēmumi ir tā pamatā, kas joprojām ir neskaidrs, kas var iejaukties un kādas izmaiņas nozīmē, ka arguments ir jāpārskata.

Šī ir mazāk pievilcīga ideja nekā autonomija. Tā ir arī noturīgāka. Tā dod inženieriem iespēju norādīt savus ierobežojumus, neizliekoties, ka testu kopa ir pilnīga pasaule. Tā dod vadītājiem iespēju jautāt, ko viņi patiesībā pieņem. Tā dod operatoriem kaut ko labāku par paneli, kas iedegas pēc tam, kad lēmums jau ir kļuvis sarežģīts. Pats svarīgākais, tā dod cilvēkiem, kurus sistēma ietekmē, ceļu no rezultāta atpakaļ uz iemesliem un apstākļiem, kas to radīja.

Trīs jomas, viens neērts jautājums

Ceļš, slimnīca un modelis nav viena un tā pati sistēma. To radītais kaitējums, juridiskie pienākumi, pierādījumu bāzes un profesionālās kultūras atšķiras. Nevienam nevajadzētu kopēt ceļu auditu klīniskajā darba plūsmā vai ielīmēt medicīnas ierīču kontrolsarakstu valodas modelī un saukt darbu par pabeigtu. Mērķis nav izlīdzināt atšķirības. Mērķis ir pamanīt kopīgu inženiertehnisko problēmu: automatizēta vai daļēji automatizēta sistēma darbojas caur lielāku cilvēku, procedūru, saskarņu, vides un pieņēmumu kopumu.

Ceļš ir īpaši skaidrs atgādinājums tāpēc, ka tas nepieņem lēmumus cilvēciskā nozīmē. Tas tos veido. Ģeometrija, redzamības līnijas, atdalījumi, krustojumi, apzīmējumi, ātruma pārvaldība, uzturēšana un apkārtējais tīkls ietekmē to, ko cilvēki var redzēt, no kā viņi var atgūties un cik nopietna kļūst kļūda. Laba ceļu satiksmes drošības prakse nav atkarīga no fantāzijas par vienmēr modru un pilnībā informētu satiksmes dalībnieku. Tā cenšas padarīt paredzamas kļūdas mazāk iespējamas un mazāk soda. Eiropas satvars ceļu infrastruktūras drošības pārvaldībai atspoguļo šo sistēmisko skatījumu ar atkārtojamiem novērtēšanas un pārbaudes procesiem, nevis ar vienu paziņojumu, ka maršruts ir apstiprināts.

Slimnīca ir atšķirīga, bet arī tā dzīvo ar plaisu starp tīru aprakstu un mainīgo realitāti. Klīniskajā ceļā ir personāla lomas, nodošanas, ieraksti, aprīkojums, prioritātes, pārtraukumi un cilvēks, kura stāvoklis var neatbilst vidējam gadījumam, kas veidojis protokolu. Ieteikums var būt noderīgs un tomēr nepietiekams. Brīdinājums var būt tehniski pareizs un tomēr pienākt brīdī, kad uz to nevar droši reaģēt. Sistēma var uzlabot vienu darbplūsmas daļu, vienlaikus radot jaunu slogu citur. Tāpēc diskusija par mākslīgo intelektu veselības aprūpē nevar apstāties pie modeļa šķietamā snieguma. Tajā jāiekļauj pārvaldība, klīniskā atbildība, datu kvalitāte, apmācība, sabiedrības uzticība un līdzekļi kaitējuma identificēšanai un labošanai.

Modelis atrodas tāda paša veida izkārtojumā. Tas ir apmācīts vai konfigurēts kaut kur, savienots ar datiem kaut kur citur, cilvēks tam dod uzvedni vai uzdevumu, tas ir novietots aiz saskarnes, daži cilvēki to novēro, bet citi nē. Tas rada izvadi, bet izvade kļūst nozīmīga tikai tad, kad kāds to uztver kā pamatu rīcībai. Starp izvadi un rīcību atrodas sliekšņi, pilnvaras, laika spiediens, piekļuve avota materiāliem, apmācība, stimuli un iespēja iebilst. Tie nav dekoratīvas darbības detaļas. Tie izšķir, vai tehniski kompetenta sastāvdaļa paliek droša lielākās sistēmas sastāvdaļa.

Uztveriet sekojošo kā skaidri hipotētisku salikumu, nevis kā aprakstu par reālu ceļu, slimnīcu, pacientu, darbinieku vai atgadījumu. Vietējā pašvaldība apsver sistēmu, kas iezīmē vietas ceļu satiksmes drošības pārskatam. Slimnīca apsver rīku, kas palīdz kārtot administratīvos dokumentus, pirms tos redz klīniskais personāls. Trešā organizācija apsver modeli, kas sagatavo riska kopsavilkumu infrastruktūras pārvaldītājam. Katrā gadījumā agrīna demonstrācija parāda, ka sistēma spēj atrast modeļus esošajos ierakstos. Demonstrācija vēl neatbild uz to, vai ieraksti atspoguļo apstākļus, ar kādiem pakalpojums saskarsies nākamajā mēnesī, vai neparastu gadījumu var atpazīt, vai cilvēkiem, kas saņem ieteikumu, ir pietiekami daudz laika un pilnvaru to apšaubīt, un vai organizācija pamanīs kaitīgu modeli, pirms tas kļūst par ierastu darbu. Pierādījumu problēma sākas tieši tur.

Vieglā kļūda ir prasīt vienu skaitli. Kāda ir precizitāte? Cik daudz laika tas ietaupīs? Cik riskus tas atklās? Šie jautājumi ir leģitīmi, bet nepilnīgi. Skaitlim ir nepieciešams saucējs, izlase, definīcija, datums, paredzētais lietojums un paziņojums par to, kas tika izslēgts. Tam ir nepieciešama arī saistība ar nākamo lēmumu. Augsts rezultāts šaurā, stabilā uzdevumā var pamatot šauru, stabilu apgalvojumu. Tas nevar klusējot pilnvarot citu darbplūsmu, citu populāciju vai lēmumu ar citādām sekām.

Pierādījumi nav dekoratīvs pielikums

Pierādījumi kļūst noderīgi, kad tie var mainīt kāda cilvēka viedokli. Tas izklausās pašsaprotami, bet daudzi pierādījumu komplekti ir veidoti tā, lai izskatītos pilnīgi, nevis lai lēmumu varētu apstrīdēt. Tajos ir ekrānuzņēmumi, politikas paziņojumi, testu kopsavilkumi un paraksti, bet nav redzams, kuru apgalvojumu katrs elements pamato, kurš nosacījums ierobežo apgalvojumu vai kam būtu jānotiek, ja nosacījums mainās. Rezultāts ir dokumentācija ar ceremoniālu lomu. Tā var pierādīt, ka sapulce notika. Tā ne vienmēr var pateikt operatoram, ko darīt pulksten 07:40, kad pakalpojums ir noslogots, dati ir novēloti un ieteikums neatbilst konkrētajai situācijai.

Labāks sākumpunkts ir nosaukts lēmums. Nevis “atbildīgi ieviest mākslīgo intelektu” un nevis “uzlabot ceļu satiksmes drošību”, bet apgalvojums ar robežām. Piemēram: šī sistēma var prioritizēt noteiktu pārskatīšanas darba klasi, noteiktā darbības kontekstā, kamēr noteikta loma saglabā atbildību par ieteikuma pieņemšanu vai noraidīšanu. Vai arī: šo risinājumu var atvērt satiksmei pēc tam, kad identificētie apdraudējumi ir izvērtēti atbilstoši noteiktajam procesam un identificētie kontroles pasākumi ir ieviesti. Formulējums apzināti ir mazāk aizraujošs nekā produkta paziņojums. Tas ir līgums ar realitāti.

Kad lēmums ir nosaukts, pārējam ierakstam ir, kam pievienoties. Paredzētais mērķis lasītājam norāda, ko nevajadzētu secināt. Konteksts norāda, kurai vietnei, darbplūsmai, lietotājiem, datiem, iekārtām un apkārtējam procesam ir nozīme. Pierādījumi ietver testus, novērojumus, avota materiālus, pārskatus un vingrinājumus. Pieņēmumi padara atkarības redzamas: iespējams, operatoram ir apmācība, iespējams, avotu reģistrs ir aktuāls, iespējams, konkrēts brīdinājums laikus sasniedz konkrētu lomu. Īpašnieks norāda, kurš drīkst interpretēt materiālu un iejaukties. Pārskatīšanas signāli nosaka, kurš signāls, izmaiņas vai pieņēmuma neizpilde prasa atkārtotu izvērtēšanu.

Pierādījumi kļūst operatīvi, kad lasītājs var izsekot apgalvojumam līdz tā nosacījumiem, pilnvarām un pārskatīšanas ceļam.

Šai struktūrai ir svarīgas sekas. Tā neļauj pierādījumiem atrauties no to izmantošanas. Tests netiek vienkārši ievietots sadaļā “validācija”. Tas ir saistīts ar apgalvojumu par konkrētu uzvedību noteiktos apstākļos. Audits nav tikai pierādījums, ka auditors apmeklēja vietu. Tas kļūst par ierakstu par to, kas tika pārbaudīts, kas tika atklāts, kas palika neskaidrs un kura iestāde izlēma, kas notiks tālāk. Modeļa novērtējums nav vispārējs apstiprinājums. Tas ir ierobežots novērojums, kura atbilstība ir atkarīga no modeļa versijas, uzdevuma, datiem, konfigurācijas un ieviešanas apstākļiem.

The same record should make absence visible. If nobody has tested a system with an uncommon but consequential input, that is not a small embarrassment to hide beneath an average. It is an evidence boundary. If a human can technically override a recommendation but has no time, access or authority to do so in the real workflow, that is not meaningful oversight. It is a design gap. If a road safety inspection notices a recurring condition but no organisation owns the remedial work, the observation has not yet become a control. In serious systems, missing evidence is a result. It tells the organisation where it cannot yet make a claim.

Road safety offers a practical lesson in humility

Road safety has spent decades learning that harm is rarely explained by a single bad actor or a single bad component. The person driving too quickly, the crossing that is hard to read, the vehicle, weather, lighting, maintenance state, traffic mix and emergency response may all matter. That does not dissolve individual responsibility. It does prevent the shallow conclusion that every failure can be fixed by telling people to pay more attention. A system that only works when nobody makes a foreseeable mistake is not an impressively strict system. It is a fragile one.

The EU's road-infrastructure safety-management rules provide a useful counterweight to the idea that approval is a one-off event. They organise safety work around procedures that look at prospective consequences, design, operation and the existing network. The exact legal scope matters, and the rules should be read as road-infrastructure law rather than a general template for every technology. Still, their underlying habit is broadly valuable: inspect the system in the conditions in which it will operate, look for patterns rather than waiting for a dramatic event, and treat knowledge as a reason to adjust the arrangement.

That habit is not simply “collect more data”. Data without a question is a very efficient way of storing confusion. The road-safety question might concern where a crossing creates a conflict, which people are exposed to it, how often the conditions occur, what kind of mistake is foreseeable, which physical or operational measures reduce the risk, and how the organisation will know whether the measure has changed the situation. The evidence that matters is therefore mixed. It includes traffic conditions, design records, inspection observations, maintenance information, reports of harm and professional judgement. A map alone cannot carry the claim. Neither can a single collision statistic.

There is a useful human-factors point here. The system has to be designed for people as they are, not for a fictional user who reads every sign, judges every speed perfectly and never arrives distracted, tired, inexperienced, rushed, ill or simply surprised. That is not an excuse for careless behaviour. It is an acknowledgement that safety engineering has to work in the space between intention and actual human capability. When a system relies on a person to notice, understand and act, those three steps need evidence of their own. Can the signal be seen? Can its meaning be understood? Can the person act in time and with enough authority?

AI teams often miss this because the human is represented as a box at the end of a flow diagram. The box says “reviewer”, “operator” or “human in the loop” and therefore appears to solve the problem. But a role name does not describe an interaction. A useful review design needs to say what the person sees, what they do not see, what evidence they can inspect, whether they can request another route, when they are expected to disagree, what happens after disagreement and how the organisation learns from it. These questions are as ordinary as checking whether a crossing can be used safely in rain or darkness. They are also much more informative than a promise that a person remains involved.

Slimnīca nevar likt nenoteiktībai pazust

Veselības aprūpe padara pierādījumu problēmu īpaši redzamu, jo sekas ir personiskas un vide ir sarežģīta. Noderīga klīniska vai administratīva sistēma var palīdzēt personālam atrast informāciju, samazināt atkārtotu darbu, pamanīt iespējamu modeli vai sagatavot materiālus pārskatīšanai. Tas to nepārvērš par klīnisku autoritāti. Pāreja no informācijas uz ārstēšanu, prioritāšu noteikšanu vai aprūpes atteikumu ietver pienākumus, kurus nevar nodot saskarnei. Personai, kas atbild par aprūpi, ir jāzina, ko sistēma darīja, ko tā nedarīja un kā rīkoties, ja rezultāts ir pretrunā ar lietā pieejamajiem faktiem.

PVO/Eiropas darbs par mākslīgo intelektu veselības aprūpē šo jautājumu formulē vārdos, ko tas ir pelnījis: drošība, efektivitāte, vienlīdzība, cilvēktiesības, pārredzamība, atbildība, pārvaldība un darbaspēka gatavība. Būtība nav tāda, ka katram klīniskajam darbiniekam jākļūst par mašīnmācīšanās speciālistu. Būtība ir tāda, ka sistēmu nevar atbildīgi izmantot, ja cilvēkiem, kuriem paredzēts uz to paļauties, to uzraudzīt vai to apstrīdēt, nav saprotama tās ierobežojumu apraksta. Apmācība ir daļa no kontroles vides. Tāpat arī eskalācijas ceļi, atbildības kārtība, pierādījumi par darbību reālajā vidē un iespēja pacientiem un profesionāļiem paust bažas, nekļūstot vispirms par tehnoloģijas ekspertiem.

Eiropas Komisija līdzīgi ievieto mākslīgo intelektu veselības aprūpē plašākā regulatīvā un darbības kontekstā. Tās sabiedrības veselības materiālos norādīts, ka medicīniskiem nolūkiem paredzēta MI programmatūra var ietilpt MI akta augsta riska prasībās, tostarp riska mazināšanā, datu kvalitātē, lietotāju informēšanā un cilvēka uzraudzībā. Tas nav apgalvojums, ka katrs slimnīcā izmantotais rīks saņem vienādu juridisko klasifikāciju. Tas ir atgādinājums, ka vārds “veselība” nemazina nepieciešamību pēc rūpīgas paredzētā lietojuma analīzes. Jo nozīmīgāks lietojums, jo mazāk ticams, ka var paļauties uz plašiem apliecinājumiem.

Klīniskā prakse arī parāda, kāpēc intervences sliekšņiem jābūt skaidriem. Sistēmai var būt atļauts izgūt avotu, sagatavot kopsavilkumu, atzīmēt trūkstošu lauku vai ieteikt, ka lieta ir pelnījusi uzmanību. Tās ir dažādas darbības. Katra virzās nedaudz tālāk no informācijas uz ietekmi. Kādā brīdī sistēmai var būt atļauts veikt ierobežotu operatīvu soli, iespējams, ar noteikumiem, kas ierobežo darbības jomu, un ierakstu, kas padara soli atgriezenisku. Aiz šī punkta tai varētu lūgt rīkoties bez vienlaicīga cilvēka lēmuma. Pierādījumi, pilnvaras un atkopšanas dizains, kas nepieciešami šajos līmeņos, nav savstarpēji aizvietojami.

Tas nepadara automatizāciju neiespējamu. Tas padara apgalvojumus samērīgus. Organizācija var izvēlēties pieticīgu, labi norobežotu uzdevumu un padarīt to uzticamu, pirms tā iztēlojas plašu uzdevumu. Tā var saglabāt avota materiālu pieejamu, nevis pārvērst kopsavilkumu par vienīgo ierakstu. Tā var dot klīnicistam vai citam atbildīgam darbiniekam reālu iespēju apturēt sistēmu, nevis teorētisku pogu, kas paslēpta politikas rokasgrāmatā. Tā var uzraudzīt, kas notiek pēc ieviešanas, un uzskatīt negaidītu uzvedību par pierādījumu, ka sākotnējais arguments ir jāpārskata. Tas ir lēnāk nekā paziņot, ka modelis ir pārņēmis vadību. Parasti tas ir ātrāk nekā mēģināt rekonstruēt lēmumu pēc tam, kad uzticība jau ir zaudēta.

Modelis nav visa sistēma

The AI Act is valuable here because it refuses, in its high-risk provisions, to treat the model as the only relevant object. Article 9 sets out a documented, maintained and continuous iterative risk-management process. Article 10 concerns data and data governance. Article 11 and Annex IV address technical documentation. Article 12 addresses automatic recording of relevant events. Article 14 addresses effective human oversight, including the ability to understand relevant limits, override or reverse output where appropriate, and stop the system safely. Article 15 concerns accuracy, robustness and cybersecurity. These are not interchangeable paperwork categories. Together they point at a system that has to be understood across its lifecycle.

The law does not make a technical judgement for every organisation. It does not announce that a given performance measure is enough, nor does it make an operator competent by naming them in a document. It does something more demanding. It requires a way of connecting intended purpose, risk, documentation, records, human oversight and ongoing monitoring. That connection is precisely what gets lost when an AI project is described as a model acquisition rather than an operational change.

Take the commonplace claim that a human can override the model. Override what, exactly? A probability, a ranking, a generated paragraph, a routing decision, an automatic notification, a resource allocation or a physical action? Before or after it takes effect? With which information? Under which time constraint? Does the human see why the system reached the output, or merely that it did? Are there consequences for disagreeing? Is the disagreement recorded? Is it reviewed as a possible model, data or workflow problem? A truthful answer to these questions is more reassuring than a glossy assurance because it describes a control that can actually be exercised.

Human oversight is sometimes treated as a moral accessory: add a person to the process and the system becomes humane. It is better understood as an engineering relationship. The person needs a meaningful opportunity to detect a limitation, the authority to intervene, an action that changes the outcome, and a system state that remains safe when the intervention happens. A powerless reviewer is a witness. A reviewer who only sees an output after it has become irreversible is an auditor of a decision already made. Neither arrangement is equivalent to oversight.

Evidence should therefore grow as discretion and irreversibility grow. A retrieval tool that helps a professional find source material has one kind of evidence burden. A system that ranks work for attention has another, because ranking shapes what may be seen late or not at all. A constrained system that automatically performs an operational task needs clear boundaries, monitoring and a recovery route. A system that acts without a live decision needs the strictest case: a narrow purpose, evidence for the operating context, fail-safe behaviour, independent challenge where appropriate, clear ownership and continuing review. The designation is less important than the principle. More autonomy is a larger claim, not a marketing upgrade.

Automatizētai sistēmai pārejot no informēšanas uz patstāvīgu rīcību, prasībām attiecībā uz pierādījumiem, iejaukšanos un atkopšanos jākļūst spēcīgākām, nevis vājākām.

Sliekšņi neļauj noderīgam rīkam kļūt par lēmumu bez īpašnieka

Iejaukšanās slieksnis ir praktiska atbilde uz praktisku jautājumu: kad sistēmai ir atļauts kaut ko darīt, un kad tai lieta jānodod atpakaļ? Tam jābūt redzamam pirms ieviešanas, nevis atklātam caur sūdzību. Slieksnis var būt atkarīgs no pārliecības, bet pārliecība vien nav pietiekama. Tas var būt atkarīgs no lēmuma veida, kļūdas sekām, datu kvalitātes un aktualitātes, pretrunīgu pierādījumu esamības, kvalificētas personas pieejamības, atkopšanās spējas un tā, cik lielā mērā gadījums atbilst noteiktajam mērķim.

Sliekšņi nav pierādījums tam, ka sistēma ir droša. Tie ir veids, kā neļaut sistēmai pieprasīt vairāk autoritātes, nekā tās pierādījumi spēj pamatot. Modelis var apkopot ierakstu, bet neizvērtēt tā pilnīgumu. Tas var identificēt terminu, bet nenoskaidrot tā juridisko nozīmi. Tas var sniegt ticamu skaidrojumu, bet nepierādīt skaidrojuma patiesumu. Tas var atpazīt ierastu modeli un joprojām būt nepiemērots neparastiem gadījumiem, pretrunīgiem avotiem vai situācijām, kur nelielu kļūdu būtu grūti labot. Slieksnis ir vieta, kur organizācija pārvērš šīs atšķirības rīcībā.

Ceļu pārvaldei slieksnis varētu noteikt, ka inspekcijas atziņu un noteiktu riska rādītāju kombinācija noved pie formālas izskatīšanas, savukārt cita kombinācija prasa steidzamu pagaidu pasākumu. Precīzi kritēriji pieder attiecīgajam tiesiskajam un profesionālajam regulējumam. Pārnesamā ideja ir tāda, ka ceļš no novērojuma līdz iejaukšanās nedrīkst būt atkarīgs tikai no tā, kurš gadījies dežūrā vai kurš jautājums sanāksmē palicis visspilgtāk atmiņā. Pierādījumi neaizstāj profesionālu spriedumu. Tie sniedz spriedumam kopīgu ierakstu un atkārtojamu ceļu.

Slimnīcā slieksnis varētu atšķirt rīku, kas sagatavo materiālu izskatīšanai, no sistēmas, kas spēj veikt ierobežotu administratīvu darbību. Pēdējai nepieciešams skaidrs tās tvēruma ieraksts, veids, kā atklāt izņēmumu, nosaukts izņēmuma īpašnieks un veids, kā atjaunot iepriekšējo stāvokli, ja darbība bijusi nepareiza. Ja sistēma skar klīniski nozīmīgu lēmumu, slieksnim jāņem vērā attiecīgie klīniskie, juridiskie un profesionālie pienākumi. Atbildīgajai personai nedrīkst lūgt labot necaurredzamu automatizācijas rezultātu bez avota izsekojamības un bez laika to pārbaudīt.

Mākslīgā intelekta sistēmā infrastruktūras jomā slieksnis var nošķirt prognozi no kontroles darbības. Prognoze var brīdināt operatoru par apstākli, ko ir vērts pārbaudīt. Kontroles darbība var mainīt fizisku vai darbības stāvokli. Otrajam apgalvojumam ir nepieciešams daudz stingrāks pamatojums attiecībā uz ievades kvalitāti, sistēmas ierobežojumiem, vides apstākļiem, uzraudzību, pilnvarām, rezerves risinājumiem un atkopšanos. Tā nav birokrātija, kas ieviesta, lai kaitinātu inženierus. Tas ir inženiertehnisks apraksts tam, kas notiek, kad kļūdas izmaksas nav viena vilšanos raisoša atbilde tērzēšanas logā.

Visnoderīgākais slieksnis bieži vien ir atteikuma slieksnis. Kam būtu jāliek sistēmai atteikties rīkoties? Kāds trūkstošs ievaddatu elements, konflikts, novēlots ieraksts, ārpus sadalījuma esošs apstāklis, nepieejams recenzents vai nepārbaudītas izmaiņas būtu jāuzskata par pamatu drošai pauzei? Organizācijas mēdz aprakstīt to, ko cer, ka to sistēma darīs. Tās daudz mazāk vēlas pierakstīt, kad sistēmai ir jāapstājas. Tomēr sistēmas apstāšanās uzvedība bieži vien atklāj vairāk par tās briedumu nekā tās demonstratīvā uzvedība. Spēja pateikt “šis gadījums ir ārpus pierādījumu bāzes” nav trūkums. Tā ir liecība, ka robeža pastāv.

Cilvēciskais faktors ir daļa no pierādījumiem, nevis zemsvītras piezīme

Cilvēciskais faktors dažkārt tiek reducēts līdz novērojumam, ka cilvēki mēdz kļūdīties. Tā ir patiesība, bet pati par sevi tā nav īpaši noderīga. Inženiertehniskais jautājums ir par to, kā darbs tiek organizēts ap faktisko cilvēka uzmanību, atmiņu, uztveri, darba slodzi, saziņu un pilnvarām. Brīdinājums, kuru nevar pamanīt, nav brīdinājums. Sarežģīts skaidrojums, kuru nevar saprast laika spiediena apstākļos, nav jēgpilna pārredzamība. Apturēšanas kontrole, kurai nepieciešama nepieejamas personas apstiprinājums, nav apturēšanas kontrole. Pārskatīšanas ekrāns, kas slēpj pamatā esošo ierakstu, nav pierādījumu virsma.

Ceļu projektēšana padara to konkrētu. Cilvēki pārvietojas fiziskā vidē ar ierobežotu laiku, lai redzētu, interpretētu un rīkotos. Sistēmu nevar novērtēt, tikai aprakstot tās iecerētos signālus. Tā ir jānovērtē, ņemot vērā, vai attiecīgie cilvēki spēj tos izmantot faktiskajā vidē. Veselības aprūpe to pašu atspoguļo citā reģistrā. Brīdinājuma vai ieteikuma lasītājs var tikt pārtraukts, var risināt konkurējošas prioritātes, aizvietot kolēģi vai saskarties ar gadījumu, kas precīzi neatbilst procesam. MI pievieno vēl vienu slāni, jo raita izvade var radīt maldīgu iespaidu, ka sistēma ir izsvērusi pierādījumus, kurus tā tikai atkārtojusi.

Atbilde nav prasīt pārcilvēcisku koncentrēšanos. Tā ir nodrošināt un pārbaudīt nodošanu. Ko sistēma rāda vispirms? Kuru avotu persona var pārbaudīt? Kā sistēma izsaka nenoteiktību? Vai persona var lūgt citu ceļu? Vai saskarne nošķir apstiprinātu ierakstu no secinājuma? Vai var noteikt, vai modelis, datu avots, noteikums vai konfigurācija ir mainījusies? Kas notiek ar atsauksmēm? Tie ir empīriski un organizatoriski jautājumi. Tie prasa vingrinājumus, novērošanu, lietotāju izpēti un pēcizvietošanas pārskatīšanu, nevis tikai apgalvojumu, ka saskarne izstrādāta, domājot par lietotāju.

Atbildīgs pierādījumu ieraksts var atspoguļot cilvēcisko kārtību, nekļūstot par dokumentāciju par atsevišķiem darbiniekiem. Tajā var fiksēt lomu, pilnvaras, apmācības prasību, paredzamo iejaukšanos, pieejamo laiku, informācijas virsmu, eskalācijas ceļu un vingrinājuma rezultātu. Tajā var fiksēt, ka process tika pārbaudīts noteiktā scenārijā, neizliekoties, ka scenārijs pierāda visus turpmākos apstākļus. Tajā var saglabāt lēmumu pēdas, neizmantojot uzraudzību kā attaisnojumu nevajadzīgai novērošanai. Šie līdzsvari ir sarežģīti. Tomēr ar tiem labāk tikt galā atklāti, nevis atstāt tos neskaidra norādījuma ziņā, ka cilvēkiem būtu “jāizmanto savs spriedums”.

The Dutch instinct for making complicated systems legible has a useful place here. A cycling junction, a public register or a well-labelled process does not become good merely because it is clear, but clarity lets people see where responsibility sits. Good governance has a similar modesty. It does not promise that no difficult judgement will arise. It makes the route for difficult judgement visible before the day it is needed. There is no ribbon-cutting ceremony for a well-defined escalation path, which is perhaps why it is so often left until later.

Evidence has a shelf life

The hardest part of evidence-led work is accepting that yesterday's evidence may be accurate and still no longer be sufficient. A model changes. A data source changes. A supplier changes a component. A workflow is reorganised. A new group of people uses the service. A road is altered, maintained differently or exposed to a different traffic pattern. A hospital changes staffing, software, triage arrangements or records. The original test might remain valid as a historical observation, but the claim built on it may need a different boundary.

This is why version history is not an administrative nicety. A reader who cannot identify which version of a model, configuration, data source, policy or interface produced an output cannot reconstruct the conditions of the decision. A team that does not record material changes cannot distinguish a new problem from an old one. An organisation that treats release as the end of assurance will eventually have to rediscover why its confidence was justified, at precisely the moment when the answer matters most.

Post-market monitoring under the AI Act recognises this lifecycle reality for high-risk systems. The requirement is not a promise that monitoring eliminates uncertainty. It is an acknowledgement that information arrives after deployment and must have a route back into risk management. The equivalent lesson in road safety is familiar: systems should be inspected and assessed as they operate, rather than assumed to remain safe because they once met a design requirement. In health, real-world use, workforce experience, patient impact and governance arrangements matter alongside any pre-deployment assessment.

A review trigger should be specific enough to be used. “Review periodically” is a polite way of asking future colleagues to guess. A better trigger names the material event: a new model version, a change to an input source, a new deployment location, a changed user group, an unresolved discrepancy, a complaint pattern, a safety signal, an inability to perform an oversight step, or a change in the authority that owns the decision. The list will be different for every system. What matters is that the original argument names the conditions that could make it stale.

This also changes the meaning of an audit trail. An audit trail should not be a warehouse full of events that nobody can interpret. It should be a route through the system's history. Which claim was in force? Which evidence supported it at the time? Which version made the output? Which person or role took the consequential action? What happened when the system was challenged? Which issue was resolved, and which remained open? The record should be proportionate. It should also be capable of answering a real question without requiring a heroic archaeological expedition through application logs.

What a serious evidence question sounds like

When an organisation evaluates a safety-critical system, the useful question is rarely “does it work?”. Work for whom, to what end, under which conditions, compared with what, and with what consequence if it fails? Those questions can feel slow because they prevent an easy yes. They are also the questions that make a later yes worth something.

Laba recenzija tāpēc prasa ķēdi, nevis kopumu. Tā prasa komandai nosaukt paredzēto mērķi un lēmumu, kas tam seko. Tā prasa, kuri kaitējumi un atteices veidi ir būtiski. Tā prasa, kuri pierādījumi pamato katru būtisku apgalvojumu un ko šie pierādījumi neuzrāda. Tā prasa, kuriem pieņēmumiem jāpaliek spēkā. Tā prasa, kam ir pilnvaras uzraudzīt, atcelt, apturēt un labot. Tā prasa, kā sistēma uzvedas, ja pierādījumu trūkst vai gadījums ir ārpus darbības jomas. Tā prasa, kas tiks uzraudzīts pēc izlaišanas un kuras izmaiņas izraisa atkārtotu izvērtēšanu.

Nav universāla rādītāja, kas pabeigtu šo uzdevumu. Ceļam ir viens konteksts, slimnīcai cits, modelim vēl cits. Labi izstrādātai mazai sistēmai var būt spēcīgāks pierādījumu pamatojums nekā plašai sistēmai, kas aprakstīta ar lielāku pārliecību. Šaurs apgalvojums ar skaidru robežu nav vājš apgalvojums. Tas ir godīga apgalvojuma sākums.

Tāpēc arī mūsu pētniecības lapās ir aprakstīti konkrēti jautājumi, pierādījumu robežas un piekļuves statuss, nevis pētniecības materiāls pēc noklusējuma tiek pasniegts kā gatava iespēja. Metode ir pieticīga: identificēt jautājumu, padarīt pierādījumu robežu redzamu un saglabāt publicēšanas statusu salasāmu. Tā nepierāda, ka produkts ir piemērots konkrētai ieviešanai, un tā neaizstāj nozarei specifisku nodrošinājumu. Tomēr tas ir noderīgs ieradums. Ja organizācija nevar pateikt, ko tās pierādījumi pamato, ko tie nepamato un kurš tos var apstrīdēt, tā vēl nav nopelnījusi spēcīgāku apgalvojumu.

Ceļam, slimnīcai un modelim tomēr ir viena kopīga problēma. Katram ir nepieciešams veids, kā pārvērst zināšanas rīcībā, neslēpjot apstākļus, kādos šī rīcība ir pamatota. Atbilde nav ceremonijas dokuments, vidējais rādītājs vai poga ar uzrakstu cilvēka uzraudzība. Tā ir pierādījumu prakse, kas paliek saistīta ar mērķi, cilvēkiem, pilnvarām un pārmaiņām. Šis darbs nav krāšņs. Tas ir veids, kā sistēma kļūst atbildīga, pirms tai jākļūst izskaidrojamai.

A road, a hospital and a model share one problem: evidence