Kas regulaator suudab auditeerida liikuvat sihtmärki?

Jah, aga mitte nii, et kohanduvat süsteemi esitatakse staatilise objektina. Audit vajab jäädvustatud olekut, piiritletud väidet, tõendusmaterjali koos...

Kas regulaator suudab auditeerida liikuvat sihtmärki?

Auditil on lubatud teha foto

Liikuv sihtmärk ei ole kontrollist väljas. Ta on lihtsalt väljas sellise kontrolli alt, mis esitab ühe ajatu küsimuse ja ootab üht ajatut vastust. See eristus on oluline. AI-süsteemid muutuvad mitmel viisil korraga. Pakkuja annab välja uue mudeliversiooni. Kasutuselevõtja muudab viipa või otsusläve. Otsingukorpus saab juurde uue poliitikadokumendi. Identiteedireegel muudab seda, kes võib tööriista kutsuda. Tööriist saab juurde välja, kaotab välja või hakkab sama väljanime all tagastama teistsugust tähendust. Inimeste meeskond muudab oma protseduuri. Maailm, mis sisendeid tarnib, muutub ilma kellegi väljalaskehaldurilt küsimata.

Ükski sellest ei muuda auditit mõttetuks. See muudab auditi objekti täpsemaks. Küsimus ei ole selles, kas organisatsioon suudab tõestada, et süsteem jääb igaveseks muutumatuks. See oleks kummaline lubadus isegi andmebaasiga ühendatud kalkulaatori puhul. Küsimus on selles, kas organisatsioon suudab näidata, milline süsteem oli asjakohasel hetkel töös, mida see pidi tegema, millised tõendid seda kasutust toetasid, millised tingimused tõendeid piirasid, kes otsust omas ja milline hilisem muutus peaks otsuse uuesti avama.

Auditil on lubatud teha foto. Ta lihtsalt ei tohi nimetada fotot maastikuks. Nõuetekohane kirje tuvastab kontrollitud oleku ja hoiab alles tee sellest olekust järgmisesse. Seejärel saab ta öelda midagi kasulikku: see hindamine puudutas seda mudelit, neid seadeid, seda andmepiiri, neid tööriistu, seda poliitikat, seda töövoogu ja seda väljalaskeotsust. Ta saab öelda ka midagi vähem mugavat ja väärtuslikumat: järeldus ei kandunud automaatselt järgmisesse olekusse.

See on parem lähtepunkt kui tuttav muutumatute märkide teater. Märk annab mõista, et keegi on asja ära otsustanud. Auditikirje peaks võimaldama näha, mis otsustati, mille põhjal, milliseks kasutuseks ja kui kaua see alus kehtivaks jäi. Regulaator ei vaja külmunud organisatsiooni. Regulaator vajab organisatsiooni, mis suudab eristada külmunud kirjet elavast teenusest, kohtlemata kumbagi müstilise objektina.

Euroopa AI-reeglid osutavad juba selles suunas. Kõrge riskiga AI-süsteemide puhul nõuab tehisintellekti määrus tehnilist dokumentatsiooni enne süsteemi turule laskmist või kasutuselevõttu ning nõuab selle ajakohasena hoidmist. See nõuab ka asjakohaste sündmuste automaatset salvestamist süsteemi eluea jooksul ning dokumenteeritud turustusjärgset seiresüsteemi, mis on proportsionaalne tehnoloogia ja riskiga. Need ei ole juhised ühe piduliku ekraanipildi tegemiseks. Need on juhised tõendite jälje hoidmiseks läbi muutuste.

Liikuv sihtmärk on tavaliselt süsteem

On ahvatlev kirjeldada AI-süsteemi mudelina ja arutada seejärel versioonihaldust, nagu oleks uus mudeli kaalufail kogu lugu. See on mugav slaidiesitluste jaoks ja ebatäpne enamiku operatiivküsimuste puhul. Mudel on oluline komponent. See on harva täielik objekt, mille käitumine mõjutab inimest, töövoogu või õiguslikku kohustust.

Vaatleme tavalist otsustustoe rada, mida kirjeldatakse siin hüpoteetilise näitena, mitte tegeliku kasutuselevõtu kirjeldusena. Kasutaja esitab päringu. Teenus otsib dokumendid, mida tal on lubatud kasutada. Mudel koostab soovituse. Reegel kontrollib, kas nõutud tõendid on olemas. Väljaõppinud ülevaataja võib soovituse vastu võtta, muuta või tagasi lükata. Töövoog salvestab seejärel toimingu. Täheldatud tulemus sõltub enamast kui mudelist. See sõltub allikaversioonidest, otsinguseadetest, õigustest, liidese sõnastusest, lävedest, järjekorrareeglitest, inimese volitusest ja toimingu piirist.

Kui lähtekorpus muutub, võib mudel saada teistsuguse faktilise aluse, ilma et ükski parameeter muutuks. Kui viip muutub, võidakse mudelilt paluda teistsugust hinnangut. Kui hindaja ekraan lõpetab ebakindluse kuvamise, ei pruugi riskifailis kirjeldatud inimjärelevalve olla enam see järelevalve, mida inimesed tegelikult teostavad. Kui integratsioon hakkab soovitusi automaatselt rakendama, on süsteem saanud uue volituse isegi siis, kui mudeli vastus on bitikaupa identne.

Seetõttu algab mõistlik auditijälg kavandatud eesmärgist ja süsteemi piiridest. AI-määruse IV lisas esitatud tehnilise dokumentatsiooni nõuded hõlmavad kavandatud eesmärgi, versioonide, seire- ja juhtimisfunktsioonide, valideerimise ja testimise, riskijuhtimise, elutsükli jooksul tehtud muudatuste ning asjakohaste tulemusnäitajate kirjeldusi. Asi pole selles, et iga süsteem vajaks paberimägesid. Asi on selles, et hindaja ei saa hinnata väidet, kui väites nimetatud objekt vaikselt kuju muudab.

Laiema objekti nimetamine süsteemiks ei ole viis töö suurejoonelisemana kõlama panna. See on viis kategooriavea vältimiseks. Mudeli hindamine saab vastata mudelit puudutavale küsimusele. Süsteemi audit peab vastama süsteemi puudutavale küsimusele. Esimene võib kindlaks teha, kuidas komponent käitus määratletud tingimustes. Teine peab näitama, kuidas see komponent oli ühendatud inimeste, andmete, reeglite, tööriistade ja tagajärgedega. Kumbki ei asenda teist. Mudeli skoor ei ole töövoogude kirjeldus, nii nagu hea rehvitest ei ole marsruudiplaan.

Mida audiitor tegelikult püüab kindlaks teha

Muutuva süsteemi auditeerimine ei tähenda selle elu iga hetke koosolekuruumis uuesti läbi mängimist. See tähendab konkreetsete väidete kontrollitavaks muutmist. Kas süsteemi kasutati kavandatud eesmärgi piires? Kas väljalaskeotsust toetasid tõendid, mis olid sellele eesmärgile kohased? Kas organisatsioon säilitas teabe, mida on vaja vaidlusaluse tulemuse uurimiseks? Kas olulised muudatused käivitasid ümberhindamise? Kas seire tegi nähtavaks erinevuse kahjutu uuenduse ja olulise muudatuse vahel? Kas vastutavad inimesed suutsid marsruudi peatada, piirata või parandada, kui tõendid enam ei kehtinud?

Need on praktilised küsimused, sest igal neist on vaadeldav vaste. Kavandatud eesmärk kuulub registrisse. Hinnangul on testikomplekt, konfiguratsioon, testipopulatsioon või sisendpiir, meetod, tulemus ja piirang. Väljalaskeotsusel on omanik ja tingimused. Muudatusel on identiteet, kuupäev, põhjus ja hinnatud mõju. Seirel on nimetatud signaalid, lävendid või ülevaatuspäästikud. Peatusteel on volitus ja toiming. Üksikasjad varieeruvad, kuid auditeeritavus tuleneb abstraktsete kinnituste muutmisest millekski, mida keegi teine saab kontrollida.

Siin on oluline piir. Audit ei tõesta, et iga tulevane väljund on õige, õiglane või kahjutu. See ei saa ebakindlat maailma muuta deterministlikuks. See saab kindlaks teha, kas organisatsioon esitas väiteid, mis olid piisavalt kitsad, et neid uurida, kas see kogus tõendeid, mis suudavad neid väiteid toetada, ja kas see säilitas suutlikkuse neid uuesti kaaluda. See võib kõlada tagasihoidlikult. Kuid just sealt algab vastutus.

Erinevus tõendite ja kinnituste keele vahel on oluline. Ütlemine, et mudelit hinnati, ei ole veel tõend kasulikust hindamisest. Sõna vajab objekti. Mille suhtes hinnati: millise ülesande, kriteeriumide ja andmete alusel? Millise mudeli ja süsteemi olekuga? Millistes töötingimustes? Kes meetodit kontrollis? Mis jäi ulatusest välja? Mis muudaks tulemuse aegunuks? Ilma nende küsimusteta on hindamine vaid rahustav minevikuvorm.

Euroopa Komisjoni varasemad eetikasuunised usaldusväärse tehisintellekti kohta sõnastasid reprodutseeritavuse lihtsalt: tehisintellekti eksperiment peaks samadel tingimustel korrates käituma ühtemoodi. See on kasulik määratlus, sest see sisaldab iseenda piiri. Samad tingimused teevad päris tööd. Korratud eksperiment võib näidata, kas kirja pandud väide on reprodutseeritav. See ei saa näidata, et muutmata käitumine ilmneb ka pärast muutunud andmeallikat, poliitikat või kasutuselevõtu teed. Reprodutseeritavus ei ole seega lubadus, et maailm seisab paigal. See on distsipliin, mille abil öelda täpselt, mis juhtus.

Kinnipeetud hinnang on ajahetk. Audit muutub püsivaks, kui järgmist olekut saab sellega võrrelda.

Versiooninumber on vajalik, kuid mitte piisav

Versiooninumbrid on kasulikud, sest need takistavad kirjel teesklust, et nimedest piisab. Kuid versioonisilt võib luua ka vale kindlustunde. Selline silt nagu versioon 4.2 võib tähistada tarkvaraversiooni, kuid see ei pruugi tähistada tehisintellekti tee tegelikku olekut. Konfiguratsiooniväärtus võib asuda väljaspool mudelirepositooriumi. Otsinguindeksit võidakse taastada muutuvatest dokumentidest. Funktsioonilipp võib valida teistsuguse tööriistatee. Poliitikamootor võib muuta lubatud toimingut. Teenusel võib seega olla laitmatult vormindatud versiooninumber ja see võib olla siiski raskesti rekonstrueeritav.

Oluline on identiteet, mis vastab väitele. Kui väide puudutab mudeli offline-võrdlustesti, võivad olla olulised mudeli artefakt, inferentsikood, parameetrite seaded, andmestiku versioon, mõõdiku määratlus ja käitluskeskkond. Kui väide puudutab reaalajas otsustust toetavat teenust, võib kirjel lisaks vaja minna viipa või mall, otsingukonfiguratsiooni, allikate identifikaatoreid ja värskust, õiguste olekut, tööriistade skeeme, poliitika versiooni, retsensendi liidest ja töövoo reeglit. Auditipakett ei pea sisaldama iga süsteemi kõiki baite. See peab sisaldama või usaldusväärselt osutama elementidele, mis võiksid muuta väite tähendust.

Sellepärast on manifest sageli kasulikum kui arhiiv, mis on kõvakettale laaditud. Manifest ütleb, millised artefaktid kuuluvad kokku, nende identifikaatorid, nende terviklikkuse viited, nende omavahelised seosed ja juurdepääsutingimused. See võimaldab audiitoril leida asjakohase paketi eeldamata, et kõiki allikaid saab kopeerida piiramatusse kausta. Osa tõendusmaterjalist sisaldab isikuandmeid, turvatundlikke üksikasju, litsentsitud materjali või ärisaladusi. Auditeeritavus nõuab kontrollitud juurdepääsu ja tähenduslikku jälgitavust, mitte kohustuslikku avalikustamist kõigest, mis süsteemi tööle paneb.

IV lisa lähtub sarnasest praktilisest käsitusest. See ei käsitle tehnilist dokumentatsiooni lühikese tootekirjeldusena. Selles nõutakse teavet süsteemi ja selle elutsükli kohta, sealhulgas muudatusi, mis on tehtud arenduse käigus ja pärast turule laskmist, seire- ja kontrollifunktsioone, valideerimis- ja katsetusmenetlusi ning nende tulemusi, riskijuhtimismeetmeid ja tulemusnäitajate kirjeldust. Dokument peab olema piisavalt selge, et riiklikud pädevad asutused ja teavitatud asutused saaksid hinnata vastavust. Teisisõnu peab teave olema korrastatud kontrollimiseks, mitte lihtsalt kogutud seepärast, et salvestussüsteem oli saadaval.

Selle taga on väike, kuid otsustav kavandamisküsimus: mis peaks muutuma enne, kui varasem tõendusmaterjal ei toeta enam praegust väidet? Vastus loob versioonipiiri. Kui uus otsinguallikas muudab soovituste faktilist alust, kuulub see identiteedi juurde. Kui uus retsensendiliides varjab hoiatust, kuulub see identiteedi juurde. Kui kosmeetiline toimetusmuudatus ei saa mõjutada hinnatud käitumist, kuulub see tõenäoliselt muudatuste ajalukku, kuid mitte hindamise sõrmejäljesse. Hea versioonihaldus ei ole maksimaalne kogumine. See on põhjendatud asjakohasus.

Jäädvusta leping, mitte ainult väljund

Väljund on tõend millestki, kuid see ei ole alati piisav tõend. Ekraanitõmmis võib näidata, mis ekraanil ilmus. Sageli ei näita see, milline mudel selle lõi, millist allikat otsiti, mida tööriist tagastas, millist reeglit rakendati, millised sisendid jäeti välja või kas vaade varjas hoiatust. See on üks põhjus, miks ekraanitõmmised kogunevad vastavuskaustadesse arheoloogiliste leidude pühalikkusega, kuid väiksema selgitava jõuga.

Jäädvustatud leping on rikkalikum. See seob tulemuse tingimustega, milles süsteem pidi toimima. Hindamise puhul võib see hõlmata täpset komplekti, sisendeid või kaitstud viidet neile, eeldatavaid väiteid, mudeli ja teenuse konfiguratsiooni, asjakohaseid poliitika- ja tööriistaversioone, täitmiskeskkonda, kui see mõjutab tulemust, ja vastuvõtureeglit. Reaalajas käituse puhul võib see hõlmata päringu identiteeti, volitatud ulatust, allika- ja otsingukirjeid, mudeli marsruuti, tööriistakutseid, juhtelemente, inimese sekkumist ja sellest tulenevat olekumuutust. Eesmärk ei ole pidada lõputut päevikut. See on säilitada piisavalt põhjuslikult asjakohast teavet, et hiljem tõsist küsimust esitada.

Siin tuleb teha kasulik eristus. Hindamise jäädvustus tõendab väidet kindla testi või harjutuse kohta. Tegevuskirje aitab rekonstrueerida konkreetset sündmust või otsust. Väljalaskekirje selgitab, miks organisatsioon lubas süsteemi kindlasse marsruuti. Muudatuskirje selgitab, mis hiljem muutus. Need kirjed kattuvad, kuid neid ei tohiks segi ajada. Tootmispäeviku kohtlemine võrdlusalusena või võrdlusaluse kohtlemine tootmistöövoo tõendina on tõhus viis panna iga kirje kandma rohkem, kui see talub.

AI-määruse logimisnõue kõrge riskiga süsteemidele on sarnaselt eesmärgiga seotud. Artikkel 12 nõuab asjakohaste sündmuste automaatset salvestamist süsteemi kogu eluea jooksul, kusjuures logimisvõimalused peavad vastama kavandatud eesmärgile. Määrus viitab süsteemi toimimise jälgitavusele, käituse seirele ja turustusjärgsele seirele. See ei nõua valimatuid salvestusharjumusi. See nõuab kirjeid, millel on ülesanne.

See fraas, kirjed koos tööga, on parem juhend kui üldine nõudlus jälgitavuse järele. Mudeli identifikaator võib aidata eristada uuendust. Sisendandmete päritolu võib selgitada üllatavat soovitust. Reegli versioon võib selgitada, miks tulemus blokeeriti. Hindaja erand võib selgitada, miks operatiivne tegevus erineb mudeli ettepanekust. Ajatempel võib kindlaks teha järjestuse. Privaatsusteadlik kujundus küsib siiski, kas iga väli on vajalik, proportsionaalne, säilitatud kindlaks määratud perioodi ja kaitstud just selle süsteemi eest, mida see peab kontrollima.

Reprodutseeritavusel on kaks ausat vormi

Inimesed kasutavad sõna reprodutseeritav sageli mitmes erinevas tähenduses. Segadus on mõistetav. Meeskond võib mõelda, et saab fikseeritud hindamise uuesti käivitada ja saada sama tulemuse. Teadlane võib mõelda, et teine meeskond saab kirjeldatud meetodi käivitada ja tulemust kontrollida. Operaator võib mõelda, et uurimine suudab taastada konkreetse otsuse tegemisel kasutatud oleku. Klient võib mõelda, et töövoog tagab järjepideva kohtlemise, mitte ei muutu meelevaldselt teisipäevast neljapäevani. Need on seotud eesmärgid. Need ei ole üks omadus mitme mütsiga.

Esiteks on olemas jäädvustatud käituse reprodutseeritavus. Kui artefakt, konfiguratsioon, sisendid, asjakohane olek ja käitustingimused hoitakse fikseerituna, peaks kordus andma dokumenteeritud tulemuse süsteemi lubatud tingimuste piires. Mõned süsteemid saavad kindla käitustee jaoks teha tugevama deterministliku väite. Teised tuginevad kontrollitud juhuslikkusele, hajutatud infrastruktuurile või kolmanda osapoole teenustele ja saavad teha ainult kitsama väite. Vastutustundlik keel on konkreetne. See ütleb, mis on fikseeritud, mida mõõdetakse, milline varieerumine jääb võimalikuks ja kuidas võrdlust tehakse.

Teiseks on olemas hindamisargumendi reprodutseeritavus. Hindaja peab saama näha, miks komplekt esindab väidet, kas mõõdikul on kirjeldatud tähendus, kas vastuvõtulävi on põhjendatud ja kas tõendid saavad liikuda operatiivsesse konteksti. Seda ei lahenda kontrollsumma. Kontrollsumma saab tuvastada, et fail ei ole muutunud. See ei saa tuvastada, et fail testis õiget küsimust, et valim oli asjakohane või et tulemus toetab sellele kinnitatud otsust.

Need kaks vormi peaksid kohtuma. Täiesti korratav test, mis mõõdab valet asja, on ikkagi vale test. Keerukas argument, mis on kinnitatud mittekorratava käituse külge, jätab hindajad suutmatuks eristama leidu õnnelikust pärastlõunast. Kasulik standard ei ole abstraktne nõudlus täiusliku reprodutseeritavuse järele. See on nähtav vastavus väite, meetodi, jäädvustatud tingimuste, täheldatud tulemuse ja kasutuse vahel, mida organisatsioon soovib lubada.

Komisjoni juhend üldotstarbeliste tehisintellekti pakkujate kohustuste kohta hoiab samuti hindamise seotuna dokumentatsiooni ja riskiga. See kirjeldab tehnilist dokumentatsiooni ametiasutustele ja eraldi teavet allavoolu pakkujatele, sealhulgas võimalused, piirangud ja integreerimisteave. Süsteemse riskiga üldotstarbeliste tehisintellekti mudelite puhul nõuab artikkel 55 hindamist standardiseeritud protokollide ja tipptasemel tööriistade abil, sealhulgas dokumenteeritud vastandlikku testimist süsteemsete riskide tuvastamiseks ja leevendamiseks. Hindamine, mis ei suuda öelda, mida testiti, millistel tingimustel ja milliste piirangutega, ei muutu kasulikumaks selle poolest, et seda nimetatakse standardiseerituks.

Tõenditel on aegumistingimus

Tõendus ei aegu seepärast, et keegi on otsustanud olla keeruline. See aegub siis, kui tingimused, mis võimaldasid sellel väidet toetada, on muutunud piisavalt, et seost ei saa enam eeldada. See on tavaline arutluskäik. Silla projekti katse ei hõlma automaatselt teistsugust materjali. Toiduohutuse kontroll ei hõlma uut tarnijat optimismi jõul. Tehisintellekti marsruudi hindamine ei peaks automaatselt hõlmama muudetud mudelit, muudetud andmete piiritlemist, muudetud tööriista volitusi ega muudetud otsuse tagajärgi.

Keeruline töö seisneb otsustamises, millised muutused on olulised. See on tehnilise hinnangu, riskianalüüsi ja juhtimise küsimus, mitte üksainus protsent, mis poliitikasse sisse kirjutatakse. Parandus, mis muudab nupu värvi, ei pruugi hindamisega seotud olla. Muudatus, mis muudab hoiatuse vähem nähtavaks, võib olla oluline, kui ohutusargument sõltub sellest, et hindaja seda näeb. Allikakorpuse uuesti indekseerimine võib olla ühe ülesande jaoks kahjutu ja teise jaoks kriitiline. Uus mudeli lõpp-punkt võib säilitada laia võimekuse, muutes samal ajal latentsust, keeldumiskäitumist, keelekatvust või tööriista kasutamise mustreid, mis on marsruudi jaoks olulised.

Kasulik muudatuste haldamine algab seega mõjuküsimusest, mitte avaldamisrituaalist. Millist väidet see muudatus võiks mõjutada? Millist eeldust see häirib? Milline tõendus sõltus vanast seisundist? Kas piiratud kontroll vastab küsimusele või vajab marsruut uut hindamist ja avaldamisotsust? Kes võib selle otsuse teha ja kes saab seda vaidlustada? Vastused tuleks kirja panna, sest vastasel juhul peab järgmine hindaja need järeldama piletite pealkirjadest, folkloorist ja väikesest muutusest avaldamistahvli fondis.

Siin saab ka jälgimine osaks tõendusest, mitte eraldiseisvaks vaadeldavuse hobiks. Artikkel 72 nõuab, et kõrge riskiga tehisintellektisüsteemide pakkujad koguksid, dokumenteeriksid ja analüüsiksid aktiivselt ning süstemaatiliselt asjakohaseid andmeid jõudluse kohta kogu süsteemi eluea vältel, et nad saaksid hinnata pidevat vastavust. Turustusjärgse seire plaan kuulub tehnilise dokumentatsiooni hulka. Jälgimine ei ole seega üksnes viis teada saada, kas teenus on hõivatud. See on viis õppida, kas algse väite taga olnud tingimused kehtivad endiselt.

Jälgimine ei muuda iga tulemust iseenesest mõistetavaks. Hindajate ja süsteemi vahelise erimeelsuse kasvul võib olla palju põhjuseid. Muutus allikate värskuses võib peegeldada andmetorustiku probleemi, mitte mudeli triivi. Kõrgem keeldumismäär võib tähendada ohutumat poliitikat, katkist integratsiooni või uut taotluste populatsiooni. Kirje peaks säilitama piisavalt konteksti, et inimene saaks uurida. Mõõdikud on signaalid. Nad ei ole tunnistajad.

Tõendus kehtib määratletud kontekstis. Oluline muudatus tekitab ülevaatamiseks küsimuse, mitte auku, mille kaudu ülevaatusest mööda hiilida.

Oluline muudatus vajab otsustusrada

The phrase material change is often treated as if it names a self-evident property. It does not. Material to which claim, risk and user? The answer must be specific enough that people can use it when they are tired, late and keen to call a change minor. A good policy does not promise to classify every possible update in advance. It names the factors that determine whether reassessment is needed.

Those factors usually include intended purpose, affected people, authority granted to the route, data sources and their quality controls, model or system architecture, evaluation scope, decision thresholds, monitoring signals, human oversight, security controls and recovery paths. A modification that changes any of these may or may not be material. What matters is whether it can alter the evidence required for the existing claim or the risk left after controls.

The AI Act contains an explicit responsibility around substantial modification. Its exact legal application depends on the system and actors involved, so it should not be compressed into a slogan. The operational lesson is simpler and broader: an organisation should know when a change transfers or creates responsibility, when the existing documentation is no longer adequate, and when the system must be assessed again before a new use continues. It is less exciting than a feature launch. It is also less likely to produce a difficult call in which everyone agrees the system changed but nobody owns the decision.

A decision path gives a change somewhere to go. One path may permit a documented no-impact finding. Another may require a targeted regression evaluation. Another may require a broader risk review, a change to instructions for use, a revised monitoring plan or a fresh release approval. The most serious path may require the route to remain limited or paused until evidence is available. The point is not to make every edit expensive. It is to make the important edit impossible to disguise as routine housekeeping.

There is a satisfying lack of romance in this. A change record can show the previous state, the proposed state, the affected claims, the evidence reviewed, the decision, the authority and the conditions after release. That is governance in its working clothes. It will never look as thrilling as a model demonstration. It has the more useful property of helping an organisation explain itself when a demonstration has become a real service.

Evaluation should be able to fail in public, or at least in the file

Evaluation becomes performative when every result is assumed to be a release result. A mature evaluation programme must be able to conclude that evidence is incomplete, that a threshold was missed, that a known limitation prevents a proposed use, or that a claim needs narrowing. These are not embarrassing exceptions to the process. They are outputs of the process.

That is particularly important for adaptive or externally connected systems. A team may discover that a suite no longer represents a live input population. A tool contract may become too unstable to support a replay claim. A model update may improve one task but make a protected route harder to supervise. An operational signal may show that the hand-off from system to reviewer fails under ordinary workload. The right answer is not necessarily a dramatic shutdown. It may be a limit, a revised workflow, a further test, a new acceptance condition or a decision not to make the original claim.

The record must let a reviewer see that negative result. Otherwise an organisation builds a very effective machine for collecting only the evidence it likes. The quality-management requirements in Article 17 are relevant here. They cover, among other things, techniques and procedures for design, development and quality control; examination, test and validation; data management; risk management; post-market monitoring; incident reporting; and communication with authorities. A quality system is not a folder that makes failures disappear. It is a way to detect, document and address them.

The same principle governs access. An external regulator, notified body or authorised reviewer may need technical evidence that cannot be published openly. A public summary may be appropriate for other parts of the record. These are different access routes, not different facts. The public should not be offered a cheerful account while the controlled record describes a narrower and more conditional reality. Confidentiality can be legitimate. Contradiction is a governance failure.

At Dweve, our public Trust Centre makes a small, deliberately limited example of this distinction. Its evaluations page says that an evaluation identifies the model, exact suite, configuration, captured state, evidence and reviewer decision. It also says that a repeated captured contract should produce byte-identical results on supported architectures, while a live rerun can differ when external evidence or adaptive state changes. The page separates the public method from a filled-in marketing result. That is not proof of a model's quality. It is simply the right shape of a claim about evaluation records.

Live monitoring is not a substitute for a pre-release decision

Monitoring is sometimes described as the answer to uncertainty: release the system, watch the dashboard, improve continuously. There is a useful instinct in that sentence. Systems need observation after release because deployment produces information that a laboratory cannot. But monitoring cannot retroactively support a decision for which the evidence was never adequate. It cannot tell a person affected by a flawed high-consequence action that the organisation will learn from the graph next month.

Pre-release evaluation and post-release monitoring answer different questions. Evaluation asks whether the organisation has enough evidence to permit a defined use now. Monitoring asks whether the conditions behind that permission still hold and whether new risks or failures are emerging. The first establishes a starting boundary. The second watches the boundary in operation. A credible system needs both, as well as a route for data and operational learning to return to risk assessment, documentation and change control.

That loop is what turns a static assurance packet into a living record. An evaluation gives a baseline. A deployment record says which baseline was adopted. Logging and monitoring show relevant behaviour. A change may alter the baseline or reveal its limits. A review then updates the claim, its evidence, its constraints or its status. The system moves. The record moves with it, but does not rewrite its own past. An auditor can see both the current position and the path by which it arrived there.

For high-risk systems, the AI Act is explicit that post-market monitoring should gather and analyse relevant performance data throughout the lifetime and allow continuous compliance to be evaluated. It also requires deployers to monitor operation based on instructions for use, and to inform the provider and relevant authority without undue delay where they have reason to consider that use may present a risk. Those requirements do not remove the need for professional judgement. They give professional judgement records, triggers and routes.

Organisatsioonidele on ahvatlev käsitleda monitooringut operatsioonimeeskonna ja hindamist mudelimeeskonna ülesandena. Selline jaotus ebaõnnestub juba esimese sisulise küsimuse juures reaalajas kasutusel oleva marsruudi kohta. Mudeliekspert võib teada, miks konkreetne test valiti. Operaator võib teada, et allikad olid aegunud. Poliitika omanik võib teada, et otsustusreegel muutus. Retsensent võib teada, et liides tekitab automatiseerimise kallutatust. Auditijälg peaks nende tõendid ühendama, ilma et teeseldaks, et üks inimene näeb tervet süsteemi.

Kas regulaator suudab otsust taasesitada?

Mõnikord peaks vastus olema jah, kindlaks määratud ulatuses. Kui organisatsioon väidab, et otsust või hinnangut saab taasesitada, peab ta sõnastama, mida taasesitus tähendab. Kas see tähendab mudelikõne kordamist sama päringuga? Kas see tähendab kogu otsingute ja tööriistade jada uuesti ülesehitamist? Kas see tähendab selle kirje rekonstrueerimist, mida retsensent nägi? Kas see tähendab deterministliku arvutuse valideerimist säilitatud sisendite põhjal? Igaüks neist on kasulik. Igaühel neist on erinevad tehnilised ja juriidilised eeldused.

Sisukas taasesitus algab säilitatud identiteedist. Retsensent peab teadma, milline süsteemiversioon ja konfiguratsioon olid kehtivad, millised sisendid ja allikaversioonid olid lubatud, millised poliitikad ja õigused kehtisid, millised välised sõltuvused vastasid ja millised inimtegevused muutsid teekonda. Mõned elemendid võib olla vaja salvestada otse. Teistele võidakse viidata stabiilsete identifikaatorite kaudu ja need rekonstrueerida kontrollitud süsteemide kaudu. See, mis ei ole vastuvõetav, on nimetada harjutust taasesitatavaks, kui see sõltub reaalajas veebiotsingust, ülekirjutatud andmebaasireast ja inseneri sülearvutist meelde jäänud seadest.

Isegi siis võib taasesitus taasesitada kirjet, mitte korrata maailma. Reaalajas allikat saab uuendada või tagasi võtta. Kolmanda osapoole teenus võib muutuda. Kohanduv teenus võib koguda uut reguleeritud olekut. Inimene võib sama teabe esitamisel teha teistsuguse otsuse. Need ei ole taasesituse idee vead. Need on eristused, mille kirje peab säilitama. Taasesitus võib näidata, mida süsteem tegi salvestatud lepingu alusel. See ei väida, et praegune maailm on selle lepinguga identne.

Seetõttu kuuluvad inimese otsustuskirjed tehniliste kirjete kõrvale, kui inimjärelevalve on osa ohutus- või õiguste argumendist. Audit võib vajada teadmist, et inimene vaatas soovituse üle, milline teave oli talle kättesaadav, mida ta valis ja milline volitus tal oli. See ei pea muutma iga retsensenti järelevalve sihtmärgiks ega säilitama piiramatut isiklikku materjali. See peab andma piisavalt teavet, et teha kindlaks, kas lubatud järelevalve eksisteeris kõnealuse sündmuse puhul.

Taasesitus on seega redel, mitte uhkustamine. Ühel pulgal saab retsensent tuvastada väljalaske. Järgmisel saab ta uurida tõendeid. Kõrgemal saab ta luua testi uuesti või analüüsida reaalajas otsustamise teekonda. Organisatsioon peaks ütlema, millist pulka ta toetab, kus on piirid ja millised osad nõuavad volitatud juurdepääsu. Tagasihoidlik, testitav taasesitusväide on palju tugevam kui ähmane kinnitus, et kõik on jälgitav.

Auditid vajavad kirjeid, mis on omavahel vastuolus

Organisatsiooni avalik staatuse kirje, sisemine väljalaske kirje, hindamisaruanne, operatiivsed logid ja intsidentide register ei tohiks sama põhiseisundi kohta rääkida erinevaid lugusid. Kuid need ei tohiks olla ka identsed dokumendid. Igal neist on erinev sihtrühm ja eesmärk. Avalik kirje võib esitada kavandatud eesmärgi, staatuse, teadaolevad piirangud ja tee lisateabe juurde. Tehniline fail võib sisaldada üksikasjalikku arhitektuuri, andmeid, teste ja kontrolle. Operatiivne kirje võib sisaldada sündmustasandi jälgitavust. Muudatuste fail võib selgitada, miks varasem järeldus uuesti läbi vaadati.

Usaldusväärsus tuleneb vastavusest. Kui avalik leht ütleb, et marsruut on piiratud soovitusega, ei tohiks tehnilised ja operatiivsed dokumendid kirjeldada automaatset tegevust. Kui hinnang ütleb, et see puudutab kinnitatud allikate kogumit, ei tohiks väljalaske dokument seda vaikimisi rakendada hilisemale kogumile. Kui muudatuse dokument ütleb, et mudeli uuendus oli ebaoluline, peaks mõjuhinnang märkima mõjutatud väite ja tõendid. Kui seire signaal tõstatab ülevaatuse, peaks järgnev otsus olema jälgitav. Dokumendid võivad erineda detailsuse poolest. Nad ei tohi erineda tegelikkuse osas.

See vastavus on regulaatoritele kasulik, sest see vähendab vajadust usaldada ühte viimistletud artefakti. Hindaja saab dokumente võrrelda. See on kasulik organisatsioonidele, sest see toob esile lahknevused meeskondade vahel enne, kui väline audit seda teeb. Ja see on kasulik mõjutatud inimestele, sest avalik selgitus võib saada tõeliseks vastutuse teeks, mitte dekoratiivseks kihiks eraldi privaatse süsteemi kohal.

Arhitektuur ei pea olema keerukas. Väike organisatsioon võib kasutada kontrollitud registrit, versioonitud dokumente, allkirjastatud eksporte ja distsiplineeritud muudatuste ülevaateid. Suurem organisatsioon võib kasutada struktureeritud manifeste, ainult-lisatavaid logisid, poliitikamootoreid ja automatiseeritud tõendite kogumist. Oluline küsimus on, kas meetod suudab usaldusväärselt ühendada väite, oleku, tõendid, otsuse ja hilisema muudatuse. Hiiglaslik tööriistade kogum, mis kaotab selle seose, on lihtsalt kallim viis olla ebaselge.

On eriti Euroopa väärtus teha dokument kontrollitavaks ilma seda teatraalseks muutmata. Mitte iga vastus ei kuulu avalikule armatuurlauale. Mitte iga dokumenteeritud ebakindlus ei vaja rõõmsat ikooni. Kuid kui organisatsioon on teinud olulise väite adaptiivse süsteemi kohta, peaks ta suutma regulaatorile näidata, kus see väide asub, millisele olekule see viitab ja kuidas organisatsioon teaks, et see on aegunud.

Auditi küsimus muudab disaini küsimust

Küsi varakult, kas regulaator saaks auditeerida süsteemi nii, nagu see tegelikult toimib. Vastus muudab disainiotsuseid ammu enne formaalse auditi algust. See eelistab stabiilseid identifikaatoreid mitmetähenduslikele siltidele. See eelistab selgeid poliitika versioone proosas sisalduvatele reeglitele. See eelistab tööriista lepinguid, mida saab salvestada ja testida. See eelistab allika päritolu ja värskuse märkeid. See eelistab selget piiri soovituse ja tegevuse vahel. See eelistab ülevaateekraane, mis säilitavad hindajale vajaliku teabe. See eelistab peatamise ja taastamise mehhanisme nimetatud volitusega.

See muudab ka hankimist. Tarnija kinnitus, et mudelit täiustatakse regulaarselt, ei piisa, kui juurutamine sõltub määratletud hinnatud olekust. Ostja peab teadma, kuidas muudatustest teatatakse, milliseid artefakte saab tuvastada, milline teave on mõjuhinnanguks kättesaadav, kas ajaloolised dokumendid jäävad tõlgendatavaks ja kuidas marsruuti saab piirata või peatada. Need ei ole eksootilised nõudmised. Need on praktilised tingimused, mille alusel organisatsioon jääb vastutavaks süsteemi eest, mis sisaldab tarnija komponenti.

Sama küsimus muudab hinnangu kujundust. Kasulikul komplektil on identiteet ja põhjendus. Selle sisendid või viited on kontrollitud. Selle mõõdikud ja lävendid on määratletud enne tulemuse lugemist. Selle välistused on nähtavad. Selle tulemused on seotud tegelikult arutlusel oleva süsteemi olekuga. Selle ebaõnnestumistel on tee otsuseni. Selle uuesti käitamise tingimused on selged. Selliste omadustega hinnangut saab vaidlustada. See on omadus, mitte õnnetu kõrvalmõju põhjalikkusest.

Kõige tähtsam on see, et küsimus muudab muutuse rolli. Muutus lakkab olemast piinlikkus, mida dokumentatsioon püüab varjata. Sellest saab süsteemi tõendusmudeli esmaklassiline sündmus. Mõni muutus vajab vaid väikest kirjet. Mõni käivitab testi. Mõni avab uuesti väljalaskeotsuse. Distsiplineeritud organisatsioon ei aja neid kategooriaid segamini ega vaja tulevast intsidenti, et avastada, et need on olemas.

Nii et jah: regulaator saab auditeerida liikuvat sihtmärki. Audit algab valevaliku tagasilükkamisest külmutatud mudelikaardi ja täiesti tundmatu reaalajas teenuse vahel. Jäädvusta olek. Esita väide. Säilita tingimused. Seo tõendid otsusega. Salvesta, mis muutub. Hinda uuesti, kui seos enam ei kehti. Sihtmärk võib liikuda. Jälg peab jääma loetavaks.

Allikad