Ali lahko regulator revidira premikajočo se tarčo?

Da, vendar ne tako, da se prilagodljiv sistem predstavi kot statičen objekt. Revizija potrebuje zajeto stanje, omejeno trditev, dokaze s pogoji in zapis o...

Ali lahko regulator revidira premikajočo se tarčo?

Revizija lahko posname fotografijo

Premikajoči se cilj ni izven nadzora. Je le izven tiste vrste nadzora, ki postavi eno brezčasno vprašanje in pričakuje en brezčasen odgovor. To razlikovanje je pomembno. Sistemi umetne inteligence se spreminjajo na več načinov hkrati. Ponudnik izda novo različico modela. Uvajalec spremeni poziv ali prag odločanja. Iskalni korpus pridobi nov politični dokument. Pravilo o identiteti spremeni, kdo lahko pokliče orodje. Orodje pridobi polje, izgubi polje ali začne pod istim imenom polja vračati drugačen pomen. Človeška ekipa spremeni svoj postopek. Svet, ki zagotavlja vnose, se spremeni, ne da bi kdo vprašal njihovega vodjo izdaj.

Nič od tega ne naredi revizije brezpredmetne. Naredi predmet revizije natančnejši. Vprašanje ni, ali lahko organizacija dokaže, da bo sistem ostal nespremenjen za vedno. To bi bila čudna obljuba celo za kalkulator, povezan s podatkovno bazo. Vprašanje je, ali lahko organizacija pokaže, kateri sistem je deloval na ustreznem mestu, kaj naj bi počel, kateri dokazi so podpirali to uporabo, kateri pogoji so omejevali dokaze, kdo je bil lastnik odločitve in katera poznejša sprememba bi morala povzročiti ponovno odprtje odločitve.

Revizija lahko posname fotografijo. Le ne sme fotografije imenovati pokrajina. Ustrezen zapis opredeli stanje, ki je bilo pregledano, in ohrani pot od tega stanja do naslednjega. Nato lahko pove nekaj uporabnega: ta ocena je zadevala ta model, te nastavitve, to podatkovno mejo, ta orodja, to politiko, ta delovni tok in to odločitev o izdaji. Lahko pove tudi nekaj manj udobnega in bolj dragocenega: sklep se ni samodejno prenesel v naslednje stanje.

To je boljše izhodišče kot znano gledališče nespremenljivih značk. Značka nakazuje, da je nekdo zadevo že uredil. Revizijski zapis bi moral omogočiti, da se vidi, kaj je bilo urejeno, na kakšni podlagi, za katero uporabo in kako dolgo je ta podlaga ostala veljavna. Regulator ne potrebuje zamrznjene organizacije. Regulator potrebuje organizacijo, ki zna razlikovati zamrznjen zapis od žive storitve, ne da bi katero koli od njiju obravnavala kot mistični predmet.

Evropska pravila o umetni inteligenci že kažejo v to smer. Za visoko tvegane sisteme umetne inteligence Akt o umetni inteligenci zahteva tehnično dokumentacijo, preden se sistem da na trg ali začne uporabljati, in zahteva, da se ta sproti posodablja. Prav tako zahteva samodejno beleženje ustreznih dogodkov v življenjski dobi sistema ter dokumentiran sistem spremljanja po dajanju na trg, sorazmeren s tehnologijo in tveganjem. To niso navodila za zajem ene same ceremonialne posnetke zaslona. To so navodila za ohranjanje sledi dokazov skozi spremembe.

Premikajoči se cilj je običajno sistem

Zapeljivo je opisati sistem umetne inteligence kot model in nato razpravljati o različicah, kot da bi bila nova datoteka uteži modela celotna zgodba. To je priročno za predstavitve in netočno za večino operativnih vprašanj. Model je pomembna komponenta. Le redko je celoten predmet, katerega vedenje vpliva na posameznika, delovni tok ali pravno obveznost.

Razmislimo o običajni poti podpore pri odločanju, opisani tukaj kot hipotetični primer in ne kot poročilo o dejanski uvedbi. Uporabnik odda zahtevo. Storitev pridobi dokumente, ki jih sme uporabiti. Model pripravi osnutek priporočila. Pravilo preveri, ali so zahtevani dokazi prisotni. Usposobljeni pregledovalec lahko priporočilo sprejme, spremeni ali zavrne. Delovni tok nato zabeleži dejanje. Opaženi izid je odvisen od več kot le modela. Odvisen je od različic virov, nastavitev pridobivanja, dovoljenj, besedila vmesnika, pragov, pravil čakalne vrste, človeške avtoritete in meje dejanj.

Če se izvorni korpus spremeni, lahko model dobi drugačno dejansko podlago, ne da bi se spremenil en sam parameter. Če se spremeni poziv, lahko model dobi nalogo, da presoja na drugačen način. Če zaslon recenzenta preneha prikazovati negotovost, človeški nadzor, opisan v dokumentu o tveganjih, morda ni več nadzor, ki ga ljudje dejansko izvajajo. Če integracija začne samodejno uporabljati priporočila, sistem pridobi novo avtoriteto, tudi če je odziv modela črka za črko enak.

Zato se smiseln revizijski zapis začne z namenom in mejo sistema. Zahteve glede tehnične dokumentacije iz Akta o umetni inteligenci v Prilogi IV vključujejo opise namena, različic, funkcij spremljanja in nadzora, validacije in testiranja, obvladovanja tveganj, sprememb v življenjskem ciklu ter ustreznih meril uspešnosti. Bistvo ni v tem, da vsak sistem potrebuje katedralo dokumentacije. Bistvo je, da recenzent ne more oceniti trditve, če se predmet, na katerega se trditev nanaša, tiho spreminja obliko.

Poimenovanje širšega predmeta kot sistema ni način, da bi delo zvenelo veličastnejše. Je način, kako se izogniti kategorični napaki. Vrednotenje modela lahko odgovori na vprašanje o modelu. Revizija sistema mora odgovoriti na vprašanje o sistemu. Prvo lahko ugotovi, kako se je komponenta obnašala pod določenimi pogoji. Drugo mora pokazati, kako je bila ta komponenta povezana z ljudmi, podatki, pravili, orodji in posledicami. Nobeno ne nadomešča drugega. Ocena modela ni opis delovnega toka, tako kot dober test pnevmatik ni načrt poti.

Kaj revizor dejansko poskuša ugotoviti

Revizija spreminjajočega se sistema ne pomeni, da v sejni sobi znova predvajamo vsak trenutek njegovega življenja. Pomeni, da posamezne trditve postanejo preverljive. Ali je bil sistem uporabljen v okviru navedenega namena? Ali je bila odločitev o izdaji podprta z dokazi, primernimi za ta namen? Ali je organizacija ohranila informacije, potrebne za preiskavo spornega izida? Ali so pomembne spremembe sprožile ponovno oceno? Ali je spremljanje naredilo razliko med neškodljivo posodobitvijo in materialno spremembo vidno? Ali so lahko odgovorni ljudje ustavili, omejili ali popravili pot, ko dokazi niso več držali?

To so praktična vprašanja, ker ima vsako opazljiv dvojnik. Namen sodi v zapis. Vrednotenje ima nabor testov, konfiguracijo, testno populacijo ali vhodno mejo, metodo, rezultat in omejitev. Odločitev o izdaji ima lastnika in pogoje. Sprememba ima identiteto, datum, razlog in ocenjen učinek. Spremljanje ima imenovane signale, pragove ali sprožilce pregleda. Pot za ustavitev ima avtoriteto in postopek. Podrobnosti se razlikujejo, vendar revidibilnost izhaja iz pretvorbe abstraktnih zagotovil v stvari, ki jih lahko drugi preverijo.

Tukaj je pomembna meja. Revizija ne dokazuje, da bo vsak prihodnji izid pravilen, pošten ali neškodljiv. Ne more spremeniti negotovega sveta v determinističnega. Lahko ugotovi, ali je organizacija podala trditve, ki so bile dovolj ozke za preverjanje, ali je zbrala dokaze, ki lahko podprejo te trditve, in ali je ohranila zmožnost, da jih ponovno pretehta. To morda zveni skromno. A prav tu se začne odgovornost.

Razlika med dokazi in jezikom zagotovil je pomembna. Reči, da je bil model vrednoten, še ni dokaz o koristnem vrednotenju. Beseda potrebuje predmet. Glede na katero nalogo, merila in podatke? S katerim modelom in stanjem sistema? Pod katerimi pogoji delovanja? Kdo je preveril metodo? Kaj je bilo izven obsega? Kaj bi naredilo rezultat zastarel? Brez teh vprašanj je vrednotenje zgolj pomirjujoč pretekli čas.

Evropska komisija je v svojih prejšnjih etičnih smernicah za zaupanja vredno umetno inteligenco opredelila ponovljivost preprosto: poskus z umetno inteligenco bi moral ob ponovitvi pod enakimi pogoji pokazati enako vedenje. To je uporabna opredelitev, ker vsebuje lastno mejo. Enaki pogoji so ključni. Ponovljen poskus lahko pokaže, ali je zapisana trditev ponovljiva. Ne more pa pokazati, da se bo nespremenjeno vedenje pojavilo tudi po spremenjenem viru podatkov, pravilniku ali načinu uvajanja. Ponovljivost zato ni obljuba, da svet miruje. Je disciplina, ki natančno pove, kaj se je zgodilo.

Zajeta evalvacija je trenutek v času. Revizija postane trajna, ko je mogoče naslednje stanje primerjati z njo.

Številka različice je nujna, a ne zadostna

Številke različic so uporabne, ker zapisu preprečujejo, da bi se pretvarjal, da so imena dovolj. Vendar lahko oznaka različice ustvari tudi lažno varnost. Oznaka, kot je različica 4.2, lahko identificira izdajo programske opreme, vendar ne identificira nujno dejanskega stanja poti umetne inteligence. Vrednost konfiguracije je lahko zunaj skladišča modela. Indeks za pridobivanje je lahko znova zgrajen iz spreminjajočih se dokumentov. Zastavica funkcije lahko izbere drugačno orodno pot. Mehanizem pravilnikov lahko spremeni dovoljeno dejanje. Storitev ima zato lahko brezhibno oblikovano številko različice in je kljub temu težko obnovljiva.

Pomembna je identiteta, ki ustreza trditvi. Če trditev zadeva merilo uspešnosti modela brez povezave, so lahko ključni artefakt modela, koda za sklepanje, nastavitve parametrov, različica nabora podatkov, opredelitev metrike in izvajalno okolje. Če trditev zadeva storitev za podporo odločanju v živo, lahko zapis dodatno potrebuje poziv ali predlogo, konfiguracijo pridobivanja, identifikatorje in svežino virov, stanje dovoljenj, sheme orodij, različico pravilnika, vmesnik za pregledovalca in pravilo delovnega toka. Revizijski paket ni treba, da vsebuje vsak bajt vsakega sistema. Vsebovati mora elemente, ki bi lahko spremenili pomen trditve, ali nanje zanesljivo kazati.

Zato je manifest pogosto bolj uporaben kot arhiv, odvržen na trdi disk. Manifest pove, kateri artefakti spadajo skupaj, njihove identifikatorje, reference celovitosti, njihove odnose in pogoje dostopa. Revizorju omogoča, da poišče ustrezen paket, ne da bi predvideval, da je mogoče vsak vir kopirati v neomejeno mapo. Nekateri dokazi vsebujejo osebne podatke, občutljive varnostne podrobnosti, licencirano gradivo ali poslovne skrivnosti. Revidibilnost zahteva nadzorovan dostop in smiselno sledljivost, ne pa obveznega javnega razkritja vsega, kar omogoča delovanje sistema.

Priloga IV ima podoben praktičen pristop. Tehnične dokumentacije ne obravnava kot kratek opis izdelka. Zahteva informacije o sistemu in njegovem življenjskem ciklu, vključno s spremembami med razvojem in po dajanju na trg, funkcijah spremljanja in nadzora, postopkih in rezultatih validacije ter testiranja, ukrepih za obvladovanje tveganj in opisu meril uspešnosti. Dokument mora biti dovolj jasen, da lahko nacionalni pristojni organi in priglašeni organi ocenijo skladnost. Z drugimi besedami, informacije morajo biti organizirane za pregled, ne le zbrane, ker je bil na voljo sistem za shranjevanje.

Za vsem tem se skriva majhno, a odločilno vprašanje oblikovanja: kaj bi se moralo spremeniti, da prejšnji dokazi ne bi več podpirali sedanje trditve? Odgovor ustvari mejo različice. Če nov vir pridobivanja spremeni dejansko podlago priporočil, sodi v identiteto. Če nov vmesnik za pregledovalce zakrije opozorilo, sodi v identiteto. Če kozmetični popravek besedila ne more vplivati na ocenjevano vedenje, verjetno sodi v zgodovino sprememb, ne pa v prstni odtis ocenjevanja. Dobro upravljanje različic ni čim obsežnejše zbiranje. Je premišljena ustreznost.

Zajemite pogodbo, ne le rezultat

Rezultat je dokaz nečesa, vendar ni vedno dokaz zadostnega. Posnetek zaslona lahko pokaže, kaj se je pojavilo na zaslonu. Pogosto ne more pokazati, kateri model ga je ustvaril, kateri vir je bil pridobljen, kaj je vrnilo orodje, katero pravilo je bilo uporabljeno, kateri vnosi so bili izpuščeni ali ali je pogled skril opozorilo. To je eden od razlogov, da se posnetki zaslona kopičijo v mapah za skladnost s slovesnostjo arheoloških najdb in precej manjšo pojasnjevalno močjo.

Zajeta pogodba je bogatejša. Rezultat povezuje s pogoji, v katerih naj bi sistem deloval. Za ocenjevanje lahko vključuje natančen nabor testov, vnose ali zaščiteno referenco nanje, pričakovane trditve, konfiguracijo modela in storitve, ustrezne različice politik in orodij, izvajalno okolje, če vpliva na rezultat, in pravilo sprejemljivosti. Za izvajanje v živo lahko vključuje identiteto zahteve, pooblaščeni obseg, evidence virov in pridobivanja, pot modela, klice orodij, kontrole, človeški poseg in posledično spremembo stanja. Cilj ni beležiti neskončen dnevnik. Cilj je ohraniti dovolj vzročno pomembnih informacij, da lahko pozneje zastavimo resno vprašanje.

Pri tem je koristno narediti razločevanje. Zajem ocenjevanja dokazuje trditev o opredeljenem testu ali vaji. Operativni zapis pomaga rekonstruirati določen dogodek ali odločitev. Zapis izdaje pojasnjuje, zakaj je organizacija sistemu dovolila vstop v opredeljeno pot. Zapis spremembe pojasnjuje, kaj je pozneje kaj spremenilo. Ti zapisi se prekrivajo, vendar jih ne smemo zamenjevati. Obravnavanje proizvodnega dnevnika kot merila uspešnosti ali merila uspešnosti kot dokaza proizvodnega delovnega toka je učinkovit način, da vsak zapis nosi več, kot lahko prenese.

Pravilo beleženja iz Akta o umetni inteligenci za visoko tvegane sisteme je prav tako povezano z namenom. Člen 12 zahteva samodejno beleženje pomembnih dogodkov v celotni življenjski dobi sistema, pri čemer morajo biti zmogljivosti beleženja primerne predvidenemu namenu. Uredba se sklicuje na sledljivost delovanja sistema, spremljanje delovanja in spremljanje po dajanju na trg. Ne zahteva neselektivne navade beleženja. Zahteva zapise z nalogo.

Ta stavek, zapisi z opravilom, je boljše vodilo kot splošna zahteva po opazljivosti. Identifikator modela lahko pomaga razlikovati posodobitev. Izvor vhodnih podatkov lahko pojasni presenetljivo priporočilo. Različica pravila lahko pojasni, zakaj je bil rezultat blokiran. Pregledovalčevo preglasovanje lahko pojasni, zakaj se operativno dejanje razlikuje od predloga modela. Časovni žig lahko določi vrstni red. Zasnova, ki upošteva zasebnost, še vedno postavlja vprašanje, ali je vsako polje potrebno, sorazmerno, hranjeno za določeno obdobje in zaščiteno pred sistemom, ki naj bi ga pregledovalo.

Reproducibilnost ima dve pošteni obliki

Ljudje pogosto uporabljajo izraz reproducibilno za več različnih stvari. Zmeda je razumljiva. Ekipa lahko s tem misli, da lahko znova zažene fiksno vrednotenje in dobi enak rezultat. Raziskovalec lahko misli, da lahko druga ekipa izvede navedeno metodo in pregleda rezultat. Operater lahko misli, da lahko preiskava poustvari stanje, uporabljeno za določeno odločitev. Stranka lahko misli, da delovni proces zagotavlja dosledno obravnavo in se ne spreminja samovoljno od torka do četrtka. To so sorodni cilji. Niso ena lastnost z več obrazi.

Prvič, obstaja reproducibilnost zajetega zagona. Če so artefakt, konfiguracija, vhodi, ustrezno stanje in pogoji izvajanja nespremenjeni, bi moral ponovljeni zagon dati dokumentiran rezultat v okviru pogojev, ki jih obljublja sistem. Nekateri sistemi lahko za določeno izvedbeno pot podajo močnejšo deterministično trditev. Drugi se zanašajo na nadzorovano naključnost, porazdeljeno infrastrukturo ali storitve tretjih oseb in lahko podajo le ožjo trditev. Odgovoren jezik je natančen. Pove, kaj je fiksno, kaj se meri, katera odstopanja so še možna in kako poteka primerjava.

Drugič, obstaja reproducibilnost argumenta vrednotenja. Pregledovalec mora videti, zakaj nabor testov predstavlja trditev, ali ima metrika navedeni pomen, ali je prag sprejemljivosti utemeljen in ali lahko dokazi preidejo v operativni kontekst. Tega ne reši kontrolna vsota. Kontrolna vsota lahko dokaže, da se datoteka ni spremenila. Ne more dokazati, da je datoteka preverjala pravo vprašanje, da je bila populacija ustrezna ali da rezultat podpira odločitev, ki je nanj vezana.

Obliki bi se morali srečati. Popolnoma ponovljiv test, ki meri napačno stvar, je še vedno napačen test. Prefinjen argument, vezan na neponovljiv zagon, pusti pregledovalcem, da ne morejo razlikovati ugotovitve od srečnega popoldneva. Uporabno merilo ni abstraktna zahteva po popolni reproducibilnosti. Je vidna povezava med trditvijo, metodo, zajetimi pogoji, opaženim rezultatom in uporabo, ki jo organizacija želi dovoliti.

Smernice Komisije o obveznostih ponudnikov modelov splošnega namena prav tako ohranjajo vrednotenje povezano z dokumentacijo in tveganjem. Opisujejo tehnično dokumentacijo za organe in ločene informacije za ponudnike v nadaljevanju, vključno z zmogljivostmi, omejitvami in informacijami o integraciji. Za modele splošnega namena s sistemskim tveganjem člen 55 zahteva vrednotenje s standardiziranimi protokoli in najsodobnejšimi orodji, vključno z dokumentiranim testiranjem nasprotnih primerov za prepoznavanje in ublažitev sistemskih tveganj. Vrednotenje, ki ne more povedati, kaj je bilo testirano, pod katerimi pogoji in s katerimi omejitvami, ne postane uporabnejše zgolj zato, ker ga imenujemo standardizirano.

Dokazi imajo rok trajanja

Dokazi ne potečejo zato, ker se je nekdo odločil biti težaven. Potečejo, ko se pogoji, ki so dokazu omogočali podporo trditvi, spremenijo dovolj, da povezave ni več mogoče domnevati. To je običajno sklepanje. Preizkus zasnove mostu samodejno ne zajema drugačnega materiala. Preverjanje varnosti živil novega dobavitelja ne zajame kar z močjo optimizma. Ocena umetnointeligenčne poti ne bi smela samodejno zajemati spremenjenega modela, spremenjene podatkovne meje, spremenjene avtoritete orodij ali spremenjenih posledic odločitev.

Težavno delo je odločanje, katere spremembe so pomembne. To je stvar tehnične presoje, analize tveganj in upravljanja, ne en sam odstotek, zapisan v politiki. Popravek, ki spremeni barvo gumba, morda nima nobene zveze z oceno. Sprememba, zaradi katere je opozorilo manj vidno, je lahko bistvena, če je varnostni argument odvisen od tega, da ga pregledovalec vidi. Ponovno indeksiranje izvornega korpusa je lahko za eno nalogo neškodljivo, za drugo pa ključno. Nova končna točka modela lahko ohrani široko zmogljivost, hkrati pa spremeni zakasnitev, vedenje pri zavrnitvah, jezikovno pokritost ali vzorce uporabe orodij, ki so za pot pomembni.

Uporaben nadzor sprememb se zato začne z vprašanjem o vplivu, ne z ritualom izdaje. Na katero trditev bi ta sprememba lahko vplivala? Katero domnevo ruši? Kateri dokazi so bili pogojeni s prejšnjim stanjem? Ali omejeno preverjanje odgovori na vprašanje, ali pot potrebuje novo oceno in odločitev o izdaji? Kdo lahko sprejme to odločitev in kdo jo lahko izpodbija? Odgovore je treba zabeležiti, ker bi jih sicer moral naslednji pregledovalec razbrati iz naslovov nalog, ljudskega izročila in rahle spremembe pisave na nadzorni plošči izdaj.

Tu postane spremljanje del dokazov in ne ločen hobi opazovanja. Člen 72 od ponudnikov visokotveganih sistemov umetne inteligence zahteva, da aktivno in sistematično zbirajo, dokumentirajo in analizirajo ustrezne podatke o delovanju v celotni življenjski dobi sistema, da lahko ocenjujejo stalno skladnost. Načrt spremljanja po dajanju na trg je del tehnične dokumentacije. Spremljanje torej ni le način, kako izvedeti, ali je storitev zasedena. Je način, kako izvedeti, ali pogoji, na katerih temelji prvotna trditev, še vedno veljajo.

Spremljanje ne naredi vsakega rezultata samoumevnega. Povečanje nesoglasja med pregledovalci in sistemom ima lahko veliko vzrokov. Sprememba svežine virov lahko odraža težavo s podatkovnim cevovodom in ne odmika modela. Višja stopnja zavrnitev lahko pomeni varnejšo politiko, pokvarjeno integracijo ali novo populacijo zahtevkov. Zapis mora ohraniti dovolj konteksta za človeško preiskavo. Metrike so signali. Niso priče.

Dokazi veljajo v opredeljenem kontekstu. Bistvena sprememba ustvari vprašanje za pregled, ne vrzeli, ki bi pregled obšla.

Bistvena sprememba potrebuje pot odločanja

Besedna zveza bistvena sprememba se pogosto obravnava, kot da poimenuje samoumevno lastnost. Ni tako. Bistvena za kateri zahtevek, tveganje in katerega uporabnika? Odgovor mora biti dovolj natančen, da ga ljudje lahko uporabijo, ko so utrujeni, v časovni stiski in si želijo spremembo označiti za manjšo. Dobra politika ne obljublja, da bo vnaprej razvrstila vsako možno posodobitev. Navede dejavnike, ki določajo, ali je ponovna ocena potrebna.

Ti dejavniki običajno vključujejo predvideni namen, prizadete osebe, pooblastila, podeljena poti, vire podatkov in njihove nadzore kakovosti, arhitekturo modela ali sistema, obseg vrednotenja, pragove odločanja, signale spremljanja, človeški nadzor, varnostne ukrepe in načrte za obnovitev. Sprememba, ki vpliva na katerega koli od teh, je lahko bistvena ali pa tudi ne. Pomembno je, ali lahko spremeni dokaze, potrebne za obstoječi zahtevek, ali tveganje, ki ostane po uvedenih ukrepih.

Akt o umetni inteligenci vsebuje izrecno odgovornost v zvezi s pomembno spremembo. Njegova natančna pravna uporaba je odvisna od sistema in vpletenih akterjev, zato je ne bi smeli strniti v slogan. Operativna lekcija je preprostejša in širša: organizacija mora vedeti, kdaj sprememba prenese ali ustvari odgovornost, kdaj obstoječa dokumentacija ni več ustrezna in kdaj je treba sistem znova oceniti, preden se nadaljuje z novo uporabo. To je manj razburljivo kot predstavitev funkcije. Prav tako je manj verjetno, da bo povzročilo težaven razgovor, v katerem se vsi strinjajo, da se je sistem spremenil, a nihče ne prevzame odločitve.

Pot odločanja daje spremembi prostor, kamor lahko gre. Ena pot lahko dovoljuje dokumentirano ugotovitev o odsotnosti vpliva. Druga lahko zahteva ciljno vrednotenje regresije. Tretja lahko zahteva širši pregled tveganj, spremembo navodil za uporabo, revidiran načrt spremljanja ali novo odobritev izdaje. Najresnejša pot lahko zahteva, da pot ostane omejena ali začasno ustavljena, dokler niso na voljo dokazi. Bistvo ni v tem, da bi bilo vsako urejanje drago. Bistvo je, da pomembnega urejanja ni mogoče prikriti kot rutinsko vzdrževanje.

V tem je zadovoljivo pomanjkanje romantike. Zapis spremembe lahko prikazuje prejšnje stanje, predlagano stanje, prizadete zahtevke, pregledane dokaze, odločitev, pooblastilo in pogoje po izdaji. To je upravljanje v delovni obleki. Nikoli ne bo videti tako vznemirljivo kot predstavitev modela. Ima pa bolj uporabno lastnost, da organizaciji pomaga pri pojasnjevanju, ko predstavitev postane dejanska storitev.

Vrednotenje bi moralo imeti možnost neuspeha javno ali vsaj v datoteki

Vrednotenje postane performativno, kadar se vsak rezultat obravnava kot rezultat izdaje. Zrel program vrednotenja mora imeti možnost ugotoviti, da so dokazi nepopolni, da je bil prag zgrešen, da znana omejitev preprečuje predlagano uporabo ali da je treba zahtevek zožiti. To niso neprijetne izjeme od postopka. To so rezultati postopka.

To je še posebej pomembno za prilagodljive ali zunanje povezane sisteme. Ekipa lahko odkrije, da nabor testov ne predstavlja več žive vhodne populacije. Pogodba o orodju lahko postane preveč nestabilna, da bi podpirala zahtevek o ponovitvi. Posodobitev modela lahko izboljša eno nalogo, vendar oteži nadzor nad zaščiteno potjo. Operativni signal lahko pokaže, da predaja od sistema do pregledovalca odpove pri običajni delovni obremenitvi. Pravilen odgovor ni nujno dramatična zaustavitev. Lahko je omejitev, revidiran delovni postopek, dodatni test, nov pogoj za sprejem ali odločitev, da se prvotni zahtevek ne poda.

Zapis mora pregledovalcu omogočiti, da vidi ta negativni rezultat. V nasprotnem primeru organizacija zgradi zelo učinkovit stroj za zbiranje samo tistih dokazov, ki so ji všeč. Zahteve za upravljanje kakovosti iz člena 17 so tu pomembne. Med drugim zajemajo tehnike in postopke za načrtovanje, razvoj in nadzor kakovosti; pregled, preskušanje in validacijo; upravljanje podatkov; upravljanje tveganj; spremljanje po dajanju na trg; poročanje o incidentih ter komunikacijo z organi. Sistem kakovosti ni mapa, zaradi katere napake izginejo. Je način, kako jih odkriti, dokumentirati in obravnavati.

Enako načelo ureja dostop. Zunanji regulator, priglašeni organ ali pooblaščeni pregledovalec lahko potrebuje tehnične dokaze, ki jih ni mogoče javno objaviti. Javni povzetek je lahko primeren za druge dele zapisa. To so različne poti dostopa, ne različna dejstva. Javnosti ne bi smeli ponuditi veselega poročila, medtem ko nadzorovani zapis opisuje ožjo in bolj pogojno resničnost. Zaupnost je lahko legitimna. Protislovje je napaka upravljanja.

Pri Dweve naš javni Trust Centre ponuja majhen, namerno omejen primer tega razlikovanja. Na strani z evalvacijami piše, da evalvacija identificira model, natančen nabor, konfiguracijo, zajeto stanje, dokaze in odločitev pregledovalca. Prav tako piše, da mora ponovljen zajeti dogovor na podprtih arhitekturah dati bajtno enake rezultate, medtem ko se lahko ponovno izvajanje v živo razlikuje, kadar se spremenijo zunanji dokazi ali prilagodljivo stanje. Stran ločuje javno metodo od izpolnjenega marketinškega rezultata. To ni dokaz kakovosti modela. Je zgolj pravilna oblika trditve o zapisih evalvacij.

Spremljanje v živo ni nadomestilo za odločitev pred izdajo

Spremljanje je včasih opisano kot odgovor na negotovost: izdaj sistem, opazuj nadzorno ploščo, nenehno izboljšuj. V tem stavku je uporaben instinkt. Sistemi potrebujejo opazovanje po izdaji, ker uvajanje prinese informacije, ki jih laboratorij ne more zagotoviti. Toda spremljanje ne more retroaktivno podpreti odločitve, za katero dokazi nikoli niso bili zadostni. Osebi, ki jo je prizadelo pomanjkljivo dejanje z velikimi posledicami, ne more povedati, da se bo organizacija naslednji mesec učila iz grafa.

Evalvacija pred izdajo in spremljanje po izdaji odgovarjata na različna vprašanja. Evalvacija sprašuje, ali ima organizacija dovolj dokazov, da zdaj dovoli določeno uporabo. Spremljanje sprašuje, ali pogoji za to dovoljenje še vedno veljajo in ali se pojavljajo nova tveganja ali napake. Prvo vzpostavi začetno mejo. Drugo opazuje mejo pri delovanju. Verodostojen sistem potrebuje oboje, pa tudi pot, po kateri se podatki in operativno učenje vračajo v oceno tveganja, dokumentacijo in nadzor sprememb.

Ta zanka je tisto, kar statični paket zagotovil spremeni v živ zapis. Evalvacija daje izhodišče. Zapis o uvajanju pove, katero izhodišče je bilo sprejeto. Beleženje in spremljanje prikazujeta ustrezno vedenje. Sprememba lahko spremeni izhodišče ali razkrije njegove omejitve. Pregled nato posodobi trditev, njene dokaze, njene omejitve ali njen status. Sistem se premika. Zapis se premika z njim, vendar ne prepisuje lastne preteklosti. Revizor lahko vidi tako trenutno stanje kot pot, po kateri je do njega prišlo.

Pri visoko tveganih sistemih AI Act izrecno določa, da mora spremljanje po dajanju na trg zbirati in analizirati ustrezne podatke o delovanju skozi celotno življenjsko dobo ter omogočati ocenjevanje stalne skladnosti. Prav tako zahteva, da uvajalci spremljajo delovanje na podlagi navodil za uporabo ter da brez nepotrebnega odlašanja obvestijo ponudnika in pristojni organ, kadar imajo razlog za domnevo, da uporaba lahko predstavlja tveganje. Te zahteve ne odpravljajo potrebe po strokovni presoji. Strokovni presoji dajejo zapise, sprožilce in poti.

Organizacijsko je skušnjava, da bi spremljanje obravnavali kot odgovornost operativne ekipe, vrednotenje pa kot odgovornost ekipe, ki razvija model. Ta delitev bo propadla ob prvem pomembnem vprašanju o delujoči poti. Razvijalec modela morda ve, zakaj je bil izbran določen test. Operater morda ve, da so bili viri zastareli. Lastnik politike morda ve, da se je spremenilo pravilo odločanja. Pregledovalec morda ve, da vmesnik ustvarja pristranskost zaradi avtomatizacije. Revizijska sled mora povezati njihove dokaze, ne da bi se pretvarjala, da ena oseba vidi celoten sistem.

Ali lahko regulator reproducira odločitev?

Včasih bi moral biti odgovor pritrdilen, vendar le v opredeljenem obsegu. Če organizacija trdi, da je mogoče odločitev ali vrednotenje ponoviti, mora pojasniti, kaj ponovitev pomeni. Ali pomeni ponovitev klica modela z istim pozivom? Ali pomeni ponovno zgraditev celotnega zaporedja pridobivanja in orodij? Ali pomeni rekonstrukcijo zapisa, ki ga je videl pregledovalec? Ali pomeni preverjanje determinističnega izračuna iz ohranjenih vhodnih podatkov? Vsaka od teh možnosti je uporabna. Vsaka ima drugačne tehnične in pravne predpogoje.

Smiselna ponovitev se začne z ohranjeno identiteto. Pregledovalec mora vedeti, katera različica sistema in konfiguracija sta bili v veljavi, kateri vhodni podatki in različice virov so bili dopustni, katere politike in dovoljenja so se uporabljala, kateri zunanji odvisni sistemi so se odzvali in katera človeška dejanja so spremenila pot. Nekatere elemente je morda treba shraniti neposredno. Druge je mogoče navesti s stabilnimi identifikatorji in jih rekonstruirati prek nadzorovanih sistemov. Nesprejemljivo je, da se vaja imenuje ponovljiva, če je odvisna od živega spletnega iskanja, prepisane vrstice v podatkovni bazi in nastavitve, ki se jo inženir spominja s svojega prenosnika.

Tudi takrat lahko ponovitev reproducira zapis, ne pa ponovi sveta. Živi vir se lahko posodobi ali umakne. Storitev tretje osebe se lahko spremeni. Prilagodljiva storitev lahko kopiči novo urejeno stanje. Človek se lahko ob enakih informacijah odloči drugače. To niso pomanjkljivosti zamisli o ponovitvi. To so razlike, ki jih mora zapis ohraniti. Ponovitev lahko pokaže, kaj je sistem naredil v okviru zajete pogodbe. Ne trdi, da je sedanji svet enak tej pogodbi.

Zato zapisi o človeških odločitvah sodijo k tehničnim zapisom, kadar je človeški nadzor del argumenta o varnosti ali pravicah. Revizija bo morda morala vedeti, da je oseba pregledala priporočilo, katere informacije so ji bile na voljo, kaj se je odločila in kakšno pooblastilo je imela. Ni treba vsakega pregledovalca spremeniti v tarčo nadzora ali ohranjati neomejenega osebnega gradiva. Treba pa je zagotoviti dovolj informacij, da se ugotovi, ali je obljubljeni nadzor v obravnavanem primeru dejansko obstajal.

Reprodukcija je zato lestev, ne hvalisanje. Na eni stopnici lahko pregledovalec prepozna izdajo. Na naslednji lahko pregleda dokaze. Višje lahko poustvari test ali analizira pot žive odločitve. Organizacija mora povedati, katero stopnico podpira, kje so meje in kateri deli zahtevajo pooblaščen dostop. Skromna in preverljiva trditev o ponovljivosti je veliko močnejša od nejasnega zagotovila, da je vse mogoče izslediti.

Revizije potrebujejo zapise, ki si med seboj nasprotujejo

Javni statusni zapis organizacije, notranji zapis o izdaji, poročilo o vrednotenju, operativni dnevniki in register incidentov ne bi smeli o istem osnovnem stanju govoriti različno. A tudi ne bi smeli biti enaki dokumenti. Vsak ima drugačno občinstvo in namen. Javni zapis lahko navaja predvideni namen, status, znane omejitve in pot do dodatnih informacij. Tehnična datoteka lahko vsebuje podrobno arhitekturo, podatke, teste in kontrole. Operativni zapis lahko vsebuje sledljivost na ravni dogodkov. Datoteka o spremembah lahko pojasni, zakaj je bil prejšnji sklep ponovno preučen.

Celovitost izhaja iz skladnosti. Če javna stran pravi, da je pot omejena na priporočilo, tehnični in operativni zapisi ne smejo opisovati samodejnega dejanja. Če evalvacija pravi, da zadeva zajeti nabor virov, zapis o izdaji tega ne sme tiho uporabiti za poznejši nabor. Če zapis o spremembi pravi, da je bila posodobitev modela nebistvena, mora ocena vpliva navesti prizadeto trditev in dokaze. Če signal spremljanja sproži pregled, mora biti poznejša odločitev sledljiva. Dokumenti se lahko razlikujejo v podrobnostih. Ne smejo se razlikovati glede resničnosti.

Ta skladnost je uporabna za regulatorje, ker zmanjšuje potrebo po zaupanju enemu polepšanemu artefaktu. Pregledovalec lahko primerja zapise. Uporabna je za organizacije, ker razkriva razhajanja med ekipami, preden jih odkrije zunanja revizija. In uporabna je za prizadete ljudi, ker lahko javna razlaga postane resnična pot do odgovornosti in ne zgolj okrasna plast, položena čez ločen zasebni sistem.

Arhitektura ni treba, da je zapletena. Majhna organizacija lahko uporablja nadzorovan register, različice dokumentov, podpisane izvoze in disciplinirane preglede sprememb. Večja organizacija lahko uporablja strukturirane manifeste, dnevnike z dodatki, pravilnike in samodejno zajemanje dokazov. Pomembno vprašanje je, ali metoda lahko zanesljivo poveže trditev, stanje, dokaze, odločitev in poznejšo spremembo. Ogromen nabor orodij, ki izgubi to razmerje, je le dražji način, da smo nejasni.

V tem je posebna evropska vrlina: narediti zapis pregleden, ne da bi bil teatralen. Ni vsak odgovor namenjen javni nadzorni plošči. Ni treba, da ima vsaka dokumentirana negotovost veselo ikono. Toda ko organizacija poda pomembno trditev o prilagodljivem sistemu, bi morala regulatorju lahko pokazala, kje ta trditev živi, na katero stanje se nanaša in kako bi organizacija vedela, da je postala zastarela.

Vprašanje revizije spremeni vprašanje načrtovanja

Zgodaj se vprašajte, ali bi regulator lahko revidiral sistem, kot bo dejansko deloval. Odgovor spremeni načrtovalne odločitve že dolgo pred začetkom formalne revizije. Daje prednost stabilnim identifikatorjem pred dvoumnimi oznakami. Daje prednost izrecnim različicam pravilnikov pred pravili, vgrajenimi v prozo. Daje prednost pogodbam o orodjih, ki jih je mogoče zabeležiti in preizkusiti. Daje prednost izvoru virov in oznakam svežine. Daje prednost jasni meji med priporočilom in dejanjem. Daje prednost zaslonom za pregled, ki ohranjajo informacije, ki jih pregledovalec potrebuje. Daje prednost mehanizmom za premor in obnovitev z imenovano avtoriteto.

Spremeni tudi nabavo. Izjava dobavitelja, da se model redno izboljšuje, ni dovolj, kadar je uvedba odvisna od opredeljenega ocenjenega stanja. Kupec mora vedeti, kako so spremembe sporočene, katere artefakte je mogoče identificirati, katere informacije so na voljo za oceno vpliva, ali zgodovinski zapisi ostajajo razumljivi in kako je mogoče pot omejiti ali začasno ustaviti. To niso eksotične zahteve. To so praktični pogoji, pod katerimi organizacija ostaja odgovorna za sistem, ki vsebuje komponento dobavitelja.

Isto vprašanje spremeni načrtovanje evalvacije. Uporaben nabor ima identiteto in utemeljitev. Njegovi vnosi ali reference so nadzorovani. Njegove metrike in pragovi so opredeljeni, preden se prebere rezultat. Njegove izključitve so vidne. Njegovi rezultati se nanašajo na dejansko stanje sistema, o katerem se razpravlja. Njegove napake imajo pot do odločitve. Njegovi pogoji za ponovni zagon so jasni. Evalvacijo s temi lastnostmi je mogoče izpodbijati. To je prednost, ne neželen stranski učinek temeljitosti.

Predvsem pa vprašanje spremeni vlogo sprememb. Sprememba ni več zadrega, ki jo dokumentacija poskuša skriti. Postane dogodek prvega reda v modelu dokazov sistema. Nekatere spremembe bodo zahtevale le zapis. Nekatere bodo sprožile preizkus. Nekatere bodo znova odprle odločitev o izdaji. Disciplinirana organizacija teh kategorij ne zamenjuje in ne potrebuje prihodnjega incidenta, da bi ugotovila, da obstajajo.

Torej da: regulator lahko revidira premikajočo se tarčo. Revizija se začne z zavrnitvijo lažne izbire med zamrznjeno kartico modela in popolnoma nespoznavno živo storitvijo. Zajemite stanje. Navedite trditev. Ohranite pogoje. Povežite dokaze z odločitvijo. Zabeležite, kaj se spremeni. Ponovno ocenite, ko povezava ne drži več. Tarča se lahko premika. Sled mora ostati čitljiva.

Viri