Može li regulator revidirati pokretnu metu?

Da, ali ne pretvarajući prilagodljivi sustav u statičan objekt. Revizija zahtijeva zabilježeno stanje, ograničenu tvrdnju, dokaze s uvjetima i zapis o...

Može li regulator revidirati pokretnu metu?

Reviziji je dopušteno snimiti fotografiju

Meta u pokretu nije izvan nadzora. Ona je samo izvan one vrste nadzora koja postavlja jedno bezvremensko pitanje i očekuje jedan bezvremenski odgovor. Ta je razlika važna. AI sustavi mijenjaju se na više načina odjednom. Davatelj objavljuje novu verziju modela. Implementator mijenja upit ili prag odluke. Korpus za dohvat dobiva novi dokument politike. Pravilo identiteta mijenja tko smije pozvati alat. Alat dobiva polje, gubi polje ili počinje vraćati drugačije značenje pod istim imenom polja. Ljudski tim mijenja svoj postupak. Svijet koji opskrbljuje ulazne podatke mijenja se bez pitanja bilo čijeg upravitelja izdanja.

Ništa od toga ne čini reviziju uzaludnom. To čini predmet revizije preciznijim. Pitanje nije može li organizacija dokazati da će sustav ostati nepromijenjen zauvijek. To bi bilo čudno obećanje čak i za kalkulator povezan s bazom podataka. Pitanje je može li organizacija pokazati koji je sustav bio u uporabi u relevantnom trenutku, čemu je trebao služiti, koji su dokazi podupirali tu uporabu, koji su uvjeti ograničavali te dokaze, tko je bio vlasnik odluke i koja bi kasnija promjena trebala dovesti do ponovnog otvaranja odluke.

Reviziji je dopušteno snimiti fotografiju. Samo ne smije fotografiju nazvati krajolikom. Ispravan zapis identificira stanje koje je pregledano i čuva put od tog stanja do sljedećega. Tada može reći nešto korisno: ova se evaluacija odnosila na ovaj model, ove postavke, ovu granicu podataka, ove alate, ovu politiku, ovaj tijek rada i ovu odluku o izdanju. Može također reći nešto manje ugodno i vrijednije: zaključak se nije automatski prenosio na sljedeće stanje.

To je bolja polazna točka od poznatog teatralnog prikazivanja nepromjenjivih značaka. Značka sugerira da je netko riješio stvar. Zapis revizije trebao bi omogućiti uvid u to što je riješeno, na kojoj osnovi, za koju uporabu i koliko je dugo ta osnova ostala primjenjiva. Regulator ne treba zamrznutu organizaciju. Regulator treba organizaciju koja može razlikovati zamrznuti zapis od aktivne usluge, a da pritom niti jedno ne tretira kao mistični objekt.

Europska pravila o AI-ju već upućuju u tom smjeru. Za AI sustave visokog rizika, Akt o umjetnoj inteligenciji zahtijeva tehničku dokumentaciju prije stavljanja sustava na tržište ili u uporabu te zahtijeva da ona bude ažurirana. Također zahtijeva automatsko bilježenje relevantnih događaja tijekom životnog vijeka sustava i dokumentirani sustav praćenja nakon stavljanja na tržište razmjeran tehnologiji i riziku. To nisu upute za snimanje jedne ceremonijalne snimke zaslona. To su upute za vođenje traga dokaza kroz promjene.

Meta u pokretu obično je sustav

Primamljivo je opisati AI sustav kao model, a zatim raspravljati o verzioniranju kao da je nova datoteka težina modela cijela priča. To je zgodno za prezentacije i netočno za većinu operativnih pitanja. Model je važna komponenta. Rijetko je cijeli objekt čije ponašanje utječe na osobu, tijek rada ili pravnu obvezu.

Razmotrimo običan put podrške odlučivanju, opisan ovdje kao hipotetski primjer, a ne kao prikaz stvarne implementacije. Korisnik podnosi zahtjev. Usluga dohvaća dokumente koje joj je dopušteno koristiti. Model sastavlja preporuku. Pravilo provjerava je li potreban dokaz prisutan. Obučeni pregledavatelj može prihvatiti, izmijeniti ili odbiti preporuku. Tijek rada zatim bilježi radnju. Uočeni ishod ovisi o više od modela. Ovisi o verzijama izvora, postavkama dohvata, dopuštenjima, tekstu sučelja, pragovima, pravilima reda čekanja, ljudskom autoritetu i granici radnje.

Ako se izvorni korpus promijeni, model može dobiti drugačiju činjeničnu osnovu bez promjene ijednog parametra. Ako se upit promijeni, model može biti zamoljen za drugačiju vrstu prosudbe. Ako zaslon recenzenta prestane prikazivati nesigurnost, ljudski nadzor opisan u datoteci rizika možda više nije nadzor koji ljudi stvarno provode. Ako integracija počne automatski primjenjivati preporuke, sustav je dobio novu ovlast čak i ako je odgovor modela identičan bajt po bajt.

Zato dobar revizijski zapis počinje namjeravanom svrhom i granicom sustava. Zahtjevi za tehničku dokumentaciju iz Priloga IV. Akta o umjetnoj inteligenciji uključuju opise namjeravane svrhe, verzija, funkcija praćenja i upravljanja, validacije i testiranja, upravljanja rizicima, promjena tijekom životnog ciklusa te relevantnih pokazatelja uspješnosti. Poanta nije da svaki sustav treba katedralu papirologije. Poanta je da recenzent ne može ocijeniti tvrdnju kada objekt na koji se tvrdnja odnosi neprestano tiho mijenja oblik.

Nazvati širi objekt sustavom nije način da rad zvuči važnije. To je način da se izbjegne kategorijalna pogreška. Evaluacija modela može odgovoriti na pitanje o modelu. Revizija sustava mora odgovoriti na pitanje o sustavu. Prva može utvrditi kako se komponenta ponašala pod definiranim uvjetima. Druga mora pokazati kako je ta komponenta bila povezana s ljudima, podacima, pravilima, alatima i posljedicama. Nijedna ne zamjenjuje drugu. Ocjena modela nije opis tijeka rada, kao što dobar test guma nije plan rute.

Što revizor zapravo pokušava utvrditi

Revidiranje sustava koji se mijenja ne znači ponovno proživljavanje svakog trenutka njegova života u sobi za sastanke. To znači učiniti određene tvrdnje provjerljivima. Je li se sustav koristio unutar navedene svrhe? Je li odluka o objavi bila potkrijepljena dokazima primjerenima toj svrsi? Je li organizacija sačuvala informacije potrebne za istragu spornog ishoda? Jesu li značajne promjene potaknule ponovnu procjenu? Je li praćenje učinilo vidljivom razliku između bezazlenog ažuriranja i materijalne promjene? Jesu li odgovorne osobe mogle zaustaviti, ograničiti ili ispraviti put kada dokazi više nisu vrijedili?

To su praktična pitanja jer svako ima vidljivi pandan. Namjeravana svrha pripada zapisu. Evaluacija ima skup testova, konfiguraciju, testnu populaciju ili ulaznu granicu, metodu, rezultat i ograničenje. Odluka o objavi ima vlasnika i uvjete. Promjena ima identitet, datum, razlog i procijenjeni učinak. Praćenje ima imenovane signale, pragove ili okidače za pregled. Put za zaustavljanje ima ovlast i operaciju. Pojedinosti se razlikuju, ali mogućnost revizije proizlazi iz pretvaranja apstraktnih jamstava u stvari koje netko drugi može provjeriti.

Ovdje postoji važno ograničenje. Revizija ne dokazuje da će svaki budući rezultat biti točan, pravedan ili bezopasan. Ona ne može pretvoriti nesiguran svijet u deterministički. Ona može utvrditi je li organizacija dala tvrdnje dovoljno uske za ispitivanje, je li prikupila dokaze sposobne potkrijepiti te tvrdnje i je li zadržala sposobnost da ih preispita. To možda zvuči skromno. Ali upravo tu počinje odgovornost.

Razlika između dokaza i jezika jamstava je važna. Reći da je model evaluiran još nije dokaz korisne evaluacije. Riječ treba objekt. Evaluiran prema kojem zadatku, kriterijima i podacima? S kojim modelom i stanjem sustava? Pod kojim radnim uvjetima? Tko je provjerio metodu? Što je bilo izvan opsega? Što bi učinilo rezultat zastarjelim? Bez tih pitanja evaluacija je samo umirujuće prošlo vrijeme.

Smjernice Europske komisije o pouzdanoj umjetnoj inteligenciji iz ranijeg razdoblja definiraju ponovljivost jednostavnim riječima: eksperiment s umjetnom inteligencijom trebao bi pokazati isto ponašanje kada se ponovi pod istim uvjetima. To je korisna definicija jer sadrži vlastito ograničenje. Isti uvjeti imaju stvarnu težinu. Ponovljeni eksperiment može pokazati je li zabilježena tvrdnja ponovljiva. Ne može pokazati da će se nepromijenjeno ponašanje pojaviti nakon promijenjenog izvora podataka, politike ili načina primjene. Ponovljivost stoga nije obećanje da svijet stoji na mjestu. To je disciplina koja precizno utvrđuje što se dogodilo.

Zabilježena evaluacija predstavlja vremensku točku. Revizija postaje trajna kada se sljedeće stanje može usporediti s njom.

Broj verzije je nužan, ali ne i dovoljan

Brojevi verzija korisni su jer sprječavaju da zapis pretpostavi kako su nazivi dovoljni. Ipak, oznaka verzije može stvoriti i lažnu sigurnost. Oznaka poput verzije 4.2 može identificirati izdanje softvera, ali ne mora nužno identificirati stvarno stanje puta umjetne inteligencije. Vrijednost konfiguracije može se nalaziti izvan spremišta modela. Indeks za pretraživanje može se ponovno izgraditi iz promijenjenih dokumenata. Zastavica značajke može odabrati drugačiji put alata. Motor politike može promijeniti dopuštenu radnju. Usluga stoga može imati besprijekorno oblikovan broj verzije, a i dalje je teško rekonstruirati.

Ono što je važno jest identitet primjeren tvrdnji. Ako se tvrdnja odnosi na izvanmrežnu procjenu modela, artefakt modela, kod za zaključivanje, postavke parametara, verziju skupa podataka, definiciju metrike i okruženje izvođenja mogu biti ključni. Ako se tvrdnja odnosi na uslugu podrške odlučivanju uživo, zapis može dodatno zahtijevati upit ili predložak, konfiguraciju pretraživanja, identifikatore izvora i njihovu ažurnost, stanje dopuštenja, sheme alata, verziju politike, sučelje recenzenta i pravilo radnog tijeka. Paket revizije ne mora sadržavati svaki bajt svakog sustava. Mora sadržavati ili pouzdano upućivati na elemente koji bi mogli promijeniti značenje tvrdnje.

Zato je manifest često korisniji od arhive pohranjene na tvrdi disk. Manifest navodi koji artefakti pripadaju zajedno, njihove identifikatore, reference integriteta, međusobne odnose i uvjete pristupa. Revizoru omogućuje pronalazak relevantnog paketa bez pretpostavke da se svaki izvor može kopirati u neograničenu mapu. Neki dokazi sadrže osobne podatke, osjetljive sigurnosne detalje, licencirani materijal ili poslovne tajne. Mogućnost revizije zahtijeva kontrolirani pristup i smislenu sljedivost, a ne obveznu javnu objavu svega što čini sustav funkcionalnim.

Prilog IV. slijedi sličan praktičan pristup. Tehničku dokumentaciju ne tretira kao kratak opis proizvoda. Traži informacije o sustavu i njegovu životnom ciklusu, uključujući izmjene nastale tijekom razvoja i nakon stavljanja na tržište, funkcije praćenja i nadzora, postupke i rezultate validacije i testiranja, mjere upravljanja rizicima te opis pokazatelja uspješnosti. Dokument mora biti dovoljno jasan da nacionalna nadležna tijela i prijavljena tijela mogu ocijeniti usklađenost. Drugim riječima, informacije moraju biti organizirane za provjeru, a ne samo prikupljene zato što je postojao sustav za pohranu.

Iza svega toga stoji maleno, ali presudno dizajnersko pitanje: što bi se moralo promijeniti da prethodni dokazi više ne bi mogli poduprijeti sadašnju tvrdnju? Odgovor stvara granicu verzije. Ako novi izvor dohvaćanja mijenja činjeničnu osnovu preporuka, pripada u identitet. Ako novo sučelje za recenzente prikriva upozorenje, pripada u identitet. Ako kozmetička izmjena teksta ne može utjecati na ocjenjivano ponašanje, vjerojatno pripada u povijest izmjena, ali ne i u otisak evaluacije. Dobro upravljanje verzijama nije maksimalno prikupljanje. To je obrazložena relevantnost.

Zabilježite ugovor, ne samo rezultat

Rezultat je dokaz nečega, ali nije uvijek dovoljan dokaz. Snimka zaslona može pokazati što se pojavilo na zaslonu. Često ne može pokazati koji je model to proizveo, koji je izvor dohvaćen, što je alat vratio, koje je pravilo primijenjeno, koji su ulazi izostavljeni ili je li prikaz sakrio upozorenje. To je jedan od razloga zašto se snimke zaslona gomilaju u mapama za usklađenost sa svečanošću arheoloških nalaza, a s prilično manjom objašnjavajućom moći.

Zabilježeni ugovor bogatiji je. Povezuje ishod s uvjetima pod kojima se očekivalo da sustav djeluje. Za evaluaciju to može uključivati točan skup testova, ulaze ili zaštićenu referencu na njih, očekivane tvrdnje, konfiguraciju modela i usluge, relevantne verzije pravila i alata, izvršno okruženje tamo gdje utječe na rezultat te pravilo prihvaćanja. Za izravno izvođenje to može uključivati identitet zahtjeva, ovlašteni opseg, zapise o izvoru i dohvaćanju, putanju modela, pozive alata, kontrole, ljudsku intervenciju i rezultirajuću promjenu stanja. Cilj nije voditi beskonačan dnevnik. Cilj je zadržati dovoljno uzročno relevantnih informacija da se kasnije može postaviti ozbiljno pitanje.

Korisno je napraviti razliku. Zapis evaluacije dokazuje tvrdnju o definiranom testu ili vježbi. Operativni zapis pomaže rekonstruirati određeni događaj ili odluku. Zapis o izdanju objašnjava zašto je organizacija dopustila sustav u definiranu putanju. Zapis o izmjeni objašnjava što se kasnije promijenilo. Ti se zapisi preklapaju, ali ih ne treba miješati. Tretirati proizvodni dnevnik kao mjerilo ili mjerilo kao dokaz proizvodnog tijeka rada učinkovit je način da svaki zapis nosi više nego što može podnijeti.

Pravilo o evidentiranju iz Akta o umjetnoj inteligenciji za visokorizične sustave slično je vezano uz svrhu. Članak 12. zahtijeva automatsko bilježenje relevantnih događaja tijekom životnog vijeka sustava, s mogućnostima evidentiranja primjerenima predviđenoj svrsi. Uredba se odnosi na sljedivost funkcioniranja sustava, praćenje rada i nadzor nakon stavljanja na tržište. Ne zahtijeva neselektivnu naviku bilježenja. Zahtijeva zapise sa svrhom.

Ta fraza, zapisi s poslom, bolji je vodič od općenitog zahtjeva za opažljivost. Identifikator modela može pomoći razlikovati ažuriranje. Podrijetlo ulaznih podataka može objasniti iznenađujuću preporuku. Verzija pravila može objasniti zašto je rezultat blokiran. Nadglasavanje recenzenta može objasniti zašto se operativna radnja razlikuje od prijedloga modela. Vremenska oznaka može utvrditi redoslijed. Dizajn koji poštuje privatnost i dalje postavlja pitanje je li svako polje nužno, proporcionalno, zadržano na definirano razdoblje i zaštićeno od samog sustava koji bi ga trebao nadzirati.

Ponovljivost ima dva poštena oblika

Ljudi često koriste riječ ponovljivost za različite stvari. Zabuna je razumljiva. Tim može misliti da može ponovno pokrenuti fiksnu evaluaciju i dobiti isti rezultat. Istraživač može misliti da drugi tim može provesti navedenu metodu i pregledati rezultat. Operater može misliti da istraga može rekonstruirati stanje korišteno za određenu odluku. Korisnik može misliti da tijek rada daje dosljedan tretman umjesto da se proizvoljno mijenja od utorka do četvrtka. To su povezani ciljevi. Nisu jedno svojstvo koje se pojavljuje u nekoliko oblika.

Prvo, postoji ponovljivost zabilježenog pokretanja. Ako su artefakt, konfiguracija, ulazi, relevantno stanje i uvjeti izvođenja zadržani fiksni, ponavljanje bi trebalo proizvesti dokumentirani rezultat unutar uvjeta koje sustav obećava. Neki sustavi mogu dati jaču determinističku tvrdnju za definiranu putanju izvođenja. Drugi se oslanjaju na kontroliranu slučajnost, distribuirane infrastrukture ili usluge trećih strana i mogu dati samo užu tvrdnju. Odgovoran jezik je specifičan. Kaže što je fiksno, što se mjeri, koja varijacija ostaje moguća i kako se provodi usporedba.

Drugo, postoji ponovljivost argumenta evaluacije. Recenzent mora moći vidjeti zašto skup predstavlja tvrdnju, ima li metrika navedeno značenje, je li prag prihvaćanja opravdan i može li se dokaz prenijeti u operativni kontekst. To se ne rješava kontrolnim zbrojem. Kontrolni zbroj može utvrditi da se datoteka nije promijenila. Ne može utvrditi da je datoteka testirala pravo pitanje, da je populacija bila odgovarajuća ili da rezultat podupire odluku koja je na njega vezana.

Ta dva oblika trebala bi se susresti. Savršeno ponovljiv test koji mjeri pogrešnu stvar i dalje je pogrešan test. Sofisticiran argument vezan uz neponovljivo pokretanje ostavlja recenzente bez mogućnosti da razlikuju nalaz od sretnog poslijepodneva. Koristan standard nije apstraktan zahtjev za savršenom ponovljivošću. To je vidljiva korespondencija između tvrdnje, metode, zabilježenih uvjeta, promatranog rezultata i upotrebe koju organizacija želi dopustiti.

Smjernice Komisije o obvezama za pružatelje modela opće namjene također povezuju evaluaciju s dokumentacijom i rizikom. One opisuju tehničku dokumentaciju za tijela i zasebne informacije za nizvodne pružatelje, uključujući mogućnosti, ograničenja i informacije o integraciji. Za modele opće namjene sa sustavnim rizikom, članak 55. zahtijeva evaluaciju korištenjem standardiziranih protokola i najsuvremenijih alata, uključujući dokumentirano testiranje otpornosti na napade radi prepoznavanja i ublažavanja sustavnih rizika. Evaluacija koja ne može reći što je testirano, pod kojim uvjetima i s kojim ograničenjima ne postaje korisnija time što se naziva standardiziranom.

Dokaz ima rok trajanja

Dokazi ne zastarijevaju zato što je netko odlučio biti težak. Zastarijevaju kada se uvjeti koji su im omogućavali da podupru tvrdnju promijene dovoljno da se veza više ne može pretpostavljati. To je uobičajeno rasuđivanje. Ispitivanje dizajna mosta ne pokriva automatski i drugi materijal. Provjera sigurnosti hrane ne pokriva novog dobavljača snagom optimizma. Evaluacija AI rute ne bi se trebala automatski odnositi na promijenjeni model, promijenjenu granicu podataka, promijenjeni autoritet alata ili promijenjene posljedice odluke.

Težak je posao odlučiti koje promjene su bitne. To je pitanje tehničke prosudbe, analize rizika i upravljanja, a ne jedinstvenog postotka upisanog u politiku. Zakrpa koja mijenja boju gumba možda nema utjecaja na evaluaciju. Promjena koja čini upozorenje manje vidljivim može biti materijalna ako sigurnosni argument ovisi o tome da ga recenzent vidi. Ponovno indeksiranje izvornog korpusa može biti bezopasno za jedan zadatak, a kritično za drugi. Nova krajnja točka modela može zadržati široku sposobnost, a istovremeno promijeniti latenciju, ponašanje odbijanja, jezičnu pokrivenost ili obrasce korištenja alata koji su bitni za rutu.

Korisna kontrola promjena stoga počinje pitanjem o utjecaju, a ne ritualom objave. Na koju tvrdnju ova promjena može utjecati? Koju pretpostavku narušava? Koji su dokazi ovisili o prethodnom stanju? Odgovara li ograničena provjera na pitanje ili ruta treba novu evaluaciju i odluku o objavi? Tko može donijeti tu odluku i tko je može osporiti? Odgovore treba zabilježiti jer će ih inače sljedeći recenzent morati zaključivati iz naslova tiketa, folklora i blage promjene fonta na nadzornoj ploči za objave.

Ovo je također mjesto gdje praćenje postaje dio dokaza, a ne zaseban hobi promatranja. Članak 72. zahtijeva od pružatelja visokorizičnih AI sustava da aktivno i sustavno prikupljaju, dokumentiraju i analiziraju relevantne podatke o izvedbi tijekom cijelog životnog vijeka sustava kako bi mogli procjenjivati kontinuiranu usklađenost. Plan praćenja nakon stavljanja na tržište dio je tehničke dokumentacije. Praćenje stoga nije samo način da se sazna je li usluga zauzeta. To je način da se sazna vrijede li i dalje uvjeti na kojima se temelji izvorna tvrdnja.

Praćenje ne čini svaki rezultat samorazumljivim. Porast neslaganja između recenzenata i sustava može imati mnogo uzroka. Promjena svježine izvora mogla bi odražavati problem u podatkovnom cjevovodu, a ne pomak modela. Viša stopa odbijanja mogla bi predstavljati sigurniju politiku, pokvarenu integraciju ili novu populaciju zahtjeva. Zapis bi trebao sačuvati dovoljno konteksta za ljudsku istragu. Metrike su signali. One nisu svjedoci.

Dokazi vrijede u definiranom kontekstu. Materijalna promjena stvara pitanje za recenziju, a ne rupu koja zaobilazi recenziju.

Materijalna promjena zahtijeva put donošenja odluka

Izraz materijalna promjena često se tretira kao da imenuje samo po sebi razumljivo svojstvo. Nije tako. Materijalno za koju tvrdnju, za koji rizik i za kojeg korisnika? Odgovor mora biti dovoljno konkretan da ga ljudi mogu upotrijebiti kada su umorni, u žurbi i žele promjenu proglasiti manjom. Dobra politika ne obećava da će unaprijed klasificirati svako moguće ažuriranje. Ona imenuje čimbenike koji određuju je li ponovna procjena potrebna.

Ti čimbenici obično uključuju namjenu, pogođene osobe, ovlasti dodijeljene ruti, izvore podataka i njihove kontrole kvalitete, arhitekturu modela ili sustava, opseg evaluacije, pragove odlučivanja, signale praćenja, ljudski nadzor, sigurnosne kontrole i putove oporavka. Izmjena koja mijenja bilo koji od ovih elemenata može, ali i ne mora biti materijalna. Bitno je može li promijeniti dokaze potrebne za postojeću tvrdnju ili rizik koji ostaje nakon kontrola.

Akt o umjetnoj inteligenciji sadrži izričitu odgovornost koja se odnosi na bitnu izmjenu. Njegova točna pravna primjena ovisi o sustavu i uključenim akterima, pa je ne treba sažimati u krilaticu. Operativna je pouka jednostavnija i šira: organizacija treba znati kada promjena prenosi ili stvara odgovornost, kada postojeća dokumentacija više nije primjerena i kada se sustav mora ponovno procijeniti prije nego što se nova uporaba nastavi. To je manje uzbudljivo od lansiranja značajke. Također je manje vjerojatno da će dovesti do teške odluke u kojoj se svi slažu da se sustav promijenio, ali nitko ne preuzima odgovornost za odluku.

Put odlučivanja daje promjeni mjesto gdje može ići. Jedan put može dopustiti dokumentirani nalaz da nema učinka. Drugi može zahtijevati ciljanu regresijsku evaluaciju. Treći može zahtijevati širi pregled rizika, izmjenu uputa za uporabu, revidirani plan praćenja ili novo odobrenje izdanja. Najozbiljniji put može zahtijevati da ruta ostane ograničena ili zaustavljena dok ne budu dostupni dokazi. Poanta nije učiniti svako uređivanje skupim. Poanta je učiniti važno uređivanje nemogućim za prikazati kao rutinsko održavanje.

U tome postoji zadovoljavajući nedostatak romantike. Zapis o promjeni može prikazati prethodno stanje, predloženo stanje, pogođene tvrdnje, pregledane dokaze, odluku, ovlasti i uvjete nakon izdanja. To je upravljanje u radnoj odjeći. Nikada neće izgledati uzbudljivo poput demonstracije modela. Ima korisnije svojstvo: pomaže organizaciji da se objasni kada demonstracija postane stvarna usluga.

Evaluacija mora moći pasti javno, ili barem u datoteci

Evaluacija postaje performativna kada se svaki rezultat smatra rezultatom izdanja. Zreli program evaluacije mora moći zaključiti da su dokazi nepotpuni, da je prag promašen, da poznato ograničenje sprječava predloženu uporabu ili da tvrdnju treba suziti. To nisu neugodne iznimke od procesa. To su rezultati procesa.

To je posebno važno za prilagodljive sustave ili sustave povezane s vanjskim okruženjem. Tim može otkriti da skup testova više ne predstavlja stvarnu populaciju ulaznih podataka. Ugovor o alatu može postati previše nestabilan da bi podržao tvrdnju o ponovljivosti. Ažuriranje modela može poboljšati jedan zadatak, ali otežati nadzor zaštićene rute. Operativni signal može pokazati da predaja sa sustava na pregledavatelja ne uspijeva pod uobičajenim opterećenjem. Točan odgovor nije nužno dramatično gašenje. To može biti ograničenje, revidirani tijek rada, dodatni test, novi uvjet prihvaćanja ili odluka da se izvorna tvrdnja ne iznosi.

Zapis mora recenzentu omogućiti da vidi taj negativan rezultat. U suprotnom, organizacija gradi vrlo učinkovit stroj za prikupljanje samo onih dokaza koji joj odgovaraju. Zahtjevi za upravljanje kvalitetom iz članka 17. ovdje su relevantni. Oni, među ostalim, obuhvaćaju tehnike i postupke za dizajn, razvoj i kontrolu kvalitete; ispitivanje, testiranje i validaciju; upravljanje podacima; upravljanje rizicima; praćenje nakon stavljanja na tržište; izvješćivanje o incidentima; te komunikaciju s tijelima. Sustav kvalitete nije mapa u koju se pohranjuju neuspjesi da bi nestali. To je način da se oni otkriju, dokumentiraju i riješe.

Isto načelo vrijedi i za pristup. Vanjski regulator, prijavljeno tijelo ili ovlašteni recenzent mogu trebati tehničke dokaze koji se ne mogu javno objaviti. Javni sažetak može biti primjeren za druge dijelove zapisa. Riječ je o različitim putovima pristupa, a ne o različitim činjenicama. Javnosti se ne smije nuditi vedar prikaz dok kontrolirani zapis opisuje užu i uvjetovaniju stvarnost. Povjerljivost može biti opravdana. Proturječnost je propust u upravljanju.

U Dweveu naš javni Trust Centre mali je, namjerno ograničen primjer te razlike. Na njegovoj stranici s evaluacijama piše da evaluacija identificira model, točan skup testova, konfiguraciju, zabilježeno stanje, dokaze i odluku recenzenta. Također piše da ponovljeni zabilježeni ugovor treba dati bajt-identične rezultate na podržanim arhitekturama, dok ponovno izvođenje uživo može dati drugačije rezultate ako se vanjski dokazi ili adaptivno stanje promijene. Stranica odvaja javnu metodu od popunjenog marketinškog rezultata. To nije dokaz kvalitete modela. To je jednostavno ispravan oblik tvrdnje o zapisima evaluacije.

Praćenje uživo nije zamjena za odluku prije objave

Praćenje se ponekad opisuje kao odgovor na neizvjesnost: objavi sustav, gledaj nadzornu ploču, neprestano poboljšavaj. U toj rečenici postoji koristan instinkt. Sustave je potrebno promatrati i nakon objave jer rad donosi informacije koje laboratorij ne može pružiti. No praćenje ne može retroaktivno poduprijeti odluku za koju dokazi nikada nisu bili dostatni. Ono ne može osobi pogođenoj manjkavom radnjom visokog rizika reći da će organizacija sljedeći mjesec učiti iz grafikona.

Evaluacija prije objave i praćenje nakon objave odgovaraju na različita pitanja. Evaluacija pita ima li organizacija dovoljno dokaza da sada dopusti definiranu uporabu. Praćenje pita vrijede li i dalje uvjeti na kojima se temelji to dopuštenje te pojavljuju li se novi rizici ili neuspjesi. Prvo uspostavlja početnu granicu. Drugo promatra granicu u radu. Vjerodostojan sustav treba oboje, kao i put za povratak podataka i operativnih spoznaja u procjenu rizika, dokumentaciju i kontrolu promjena.

Ta povratna petlja pretvara statičan paket jamstava u živi zapis. Evaluacija daje početnu vrijednost. Zapis o primjeni navodi koja je početna vrijednost prihvaćena. Evidencija i praćenje pokazuju relevantno ponašanje. Promjena može izmijeniti početnu vrijednost ili otkriti njezina ograničenja. Recenzija zatim ažurira tvrdnju, njezine dokaze, njezina ograničenja ili njezin status. Sustav se kreće. Zapis se kreće s njime, ali ne prepisuje vlastitu prošlost. Revizor može vidjeti i trenutačno stanje i put kojim je ono dosegnuto.

Za sustave visokog rizika Akt o umjetnoj inteligenciji izričito zahtijeva da praćenje nakon stavljanja na tržište prikuplja i analizira relevantne podatke o izvedbi tijekom cijelog životnog vijeka te omogućuje procjenu kontinuirane usklađenosti. Također zahtijeva od pružatelja primjene da prate rad na temelju uputa za uporabu te da bez nepotrebne odgode obavijeste pružatelja i nadležno tijelo ako imaju razloga smatrati da uporaba može predstavljati rizik. Ti zahtjevi ne uklanjaju potrebu za profesionalnom prosudbom. Oni profesionalnoj prosudbi daju zapise, okidače i putove.

Postoji organizacijska sklonost da se praćenje smatra odgovornošću operativnog tima, a evaluacija odgovornošću tima za model. Ta će podjela propasti na prvom smislenom pitanju o aktivnoj ruti. Stručnjak za model možda zna zašto je odabran test. Operater možda zna da su izvori bili zastarjeli. Vlasnik politike možda zna da se pravilo odlučivanja promijenilo. Recenzent možda zna da sučelje stvara pristranost automatizacije. Revizijski trag trebao bi povezati njihove dokaze bez pretvaranja da jedna osoba vidi cijeli sustav.

Može li regulator reproducirati odluku?

Ponekad bi odgovor trebao biti da, unutar definiranog opsega. Ako organizacija tvrdi da se odluka ili evaluacija može ponoviti, mora navesti što ponavljanje znači. Znači li ponavljanje poziva modela s istim upitom? Znači li ponovno izgrađivanje cijelog slijeda dohvaćanja i alata? Znači li rekonstrukcija zapisa koji je recenzent vidio? Znači li validacija determinističkog izračuna iz sačuvanih ulaza? Svaka je opcija korisna. Svaka ima različite tehničke i pravne preduvjete.

Smisleno ponavljanje počinje sačuvanim identitetom. Recenzent mora znati koja su verzija sustava i konfiguracija bili na snazi, koji su ulazi i verzije izvora bili dopušteni, koje su se politike i dopuštenja primjenjivala, koji su vanjski ovisnici odgovorili te koje su ljudske radnje promijenile put. Neki elementi možda trebaju biti pohranjeni izravno. Drugi se mogu referencirati stabilnim identifikatorima i rekonstruirati kroz kontrolirane sustave. Ono što nije prihvatljivo jest nazvati vježbu ponovljivom kada ovisi o pretraživanju uživo, prepisanoj retci u bazi podataka i zapamćenoj postavci s inženjerova prijenosnog računala.

Čak i tada, ponavljanje može reproducirati zapis, a ne ponoviti svijet. Izvor uživo može biti ažuriran ili povučen. Usluga treće strane može se promijeniti. Prilagodljiva usluga može akumulirati novo upravljano stanje. Čovjek može donijeti drugačiju prosudbu kada mu se predstave iste informacije. To nisu nedostaci ideje ponavljanja. To su razlike koje zapis mora sačuvati. Ponavljanje može pokazati što je sustav učinio pod zabilježenim ugovorom. Ne tvrdi da je sadašnji svijet identičan tom ugovoru.

Zato zapisi o ljudskim odlukama pripadaju uz tehničke zapise kada je ljudski nadzor dio argumenta o sigurnosti ili pravima. Revizija možda treba znati da je osoba pregledala preporuku, koje su joj informacije bile dostupne, što je odabrala i koju je ovlast imala. Ne treba svakog recenzenta pretvoriti u metu nadzora niti čuvati neograničen osobni materijal. Treba dovoljno informacija da se utvrdi je li obećani nadzor postojao u predmetnom događaju.

Reprodukcija je stoga ljestve, a ne hvalisanje. Na jednoj prečki recenzent može identificirati izdanje. Na sljedećoj može pregledati dokaze. Više gore može ponovno stvoriti test ili analizirati put žive odluke. Organizacija bi trebala reći koju prečku podržava, gdje su granice i koji dijelovi zahtijevaju ovlašteni pristup. Skromna, testabilna tvrdnja o ponavljanju mnogo je jača od nejasnog uvjeravanja da je sve sljedivo.

Revizije trebaju zapise koji se međusobno razlikuju

Javni statusni zapis organizacije, interni zapis o izdanju, izvješće o evaluaciji, operativni dnevnici i registar incidenata ne bi smjeli govoriti različite stvari o istom osnovnom stanju. Ali ne bi smjeli biti ni identični dokumenti. Svaki ima različitu publiku i svrhu. Javni zapis može navesti namjeravanu svrhu, status, poznata ograničenja i put do daljnjih informacija. Tehnička datoteka može sadržavati detaljnu arhitekturu, podatke, testove i kontrole. Operativni zapis može sadržavati sljedivost na razini događaja. Datoteka promjena može objasniti zašto je prethodni zaključak ponovno razmotren.

Integritet proizlazi iz podudarnosti. Ako javna stranica kaže da je ruta ograničena na preporuku, tehnička i operativna evidencija ne bi smjela opisivati automatsko djelovanje. Ako evaluacija kaže da se odnosi na zarobljeni skup izvora, zapis o izdanju ne bi smio to šutke primijeniti na kasniji skup. Ako zapis o promjeni kaže da je ažuriranje modela bilo beznačajno, procjena utjecaja trebala bi navesti pogođenu tvrdnju i dokaze. Ako signal praćenja pokrene pregled, naknadna odluka trebala bi biti sljediva. Dokumenti se mogu razlikovati u razini detalja. Ne smiju se razlikovati u pogledu stvarnosti.

Ta je podudarnost korisna regulatorima jer smanjuje potrebu za povjerenjem u jedan uglađeni artefakt. Recenzent može usporediti evidencije. Korisna je organizacijama jer otkriva odstupanja među timovima prije nego što ih otkrije vanjska revizija. A korisna je pogođenim osobama jer javno objašnjenje može postati stvarni put do odgovornosti, umjesto ukrasnog sloja postavljenog preko zasebnog privatnog sustava.

Arhitektura ne mora biti razvedena. Mala organizacija može koristiti kontrolirani registar, verzionirane dokumente, potpisane izvoze i disciplinirane preglede promjena. Veća organizacija može koristiti strukturirane manifeste, dnevnike samo s dodavanjem, policy enginee i automatizirano prikupljanje dokaza. Važno je pitanje može li metoda pouzdano povezati tvrdnju, stanje, dokaze, odluku i kasniju promjenu. Ogromna infrastruktura alata koja gubi taj odnos samo je skuplji način da se bude nejasan.

U tome postoji posebno europska vrlina: učiniti evidenciju preglednom bez pretvaranja u spektakl. Ne pripada svaki odgovor na javnu nadzornu ploču. Ne treba svaka dokumentirana neizvjesnost veselu ikonu. Ali kada je organizacija dala važnu tvrdnju o adaptivnom sustavu, trebala bi moći pokazati regulatoru gdje ta tvrdnja živi, na koje se stanje odnosi i kako bi organizacija znala da je postala zastarjela.

Revizijsko pitanje mijenja dizajnersko pitanje

Postavite rano pitanje može li regulator revidirati sustav onako kako će stvarno funkcionirati. Odgovor mijenja dizajnerske odluke mnogo prije nego što formalna revizija počne. Ide u prilog stabilnim identifikatorima umjesto dvosmislenim oznakama. Ide u prilog eksplicitnim verzijama politika umjesto pravilima ugrađenima u prozu. Ide u prilog ugovorima o alatima koji se mogu zabilježiti i testirati. Ide u prilog podrijetlu izvora i oznakama svježine. Ide u prilog jasnoj granici između preporuke i djelovanja. Ide u prilog zaslonima za pregled koji čuvaju informacije koje recenzent treba. Ide u prilog mehanizmima za pauzu i oporavak s imenovanim ovlastima.

To također mijenja nabavu. Izjava dobavljača da se model redovito poboljšava nije dovoljna kada implementacija ovisi o definiranoj evaluiranom stanju. Kupac mora znati kako se promjene prijavljuju, koji se artefakti mogu identificirati, koje su informacije dostupne za procjenu utjecaja, ostaju li povijesni zapisi čitljivi i kako se ruta može ograničiti ili pauzirati. To nisu egzotični zahtjevi. To su praktični uvjeti pod kojima organizacija ostaje odgovorna za sustav koji sadrži komponentu dobavljača.

Isto pitanje mijenja dizajn evaluacije. Koristan skup evaluacija ima identitet i obrazloženje. Njegovi ulazi ili reference su kontrolirani. Njegove metrike i pragovi definirani su prije nego što se rezultat pročita. Njegova isključenja su vidljiva. Njegovi rezultati vežu se uz stanje sustava o kojem se stvarno raspravlja. Njegovi neuspjesi imaju put do odluke. Njegovi uvjeti ponovnog pokretanja su jasni. Evaluacija s tim svojstvima može se osporiti. To je značajka, a ne nesretna nuspojava temeljitosti.

Najvažnije je da pitanje mijenja ulogu promjene. Promjena prestaje biti neugodnost koju dokumentacija pokušava sakriti. Postaje događaj prve razine u modelu dokaza sustava. Neke će promjene zahtijevati tek zapis. Neke će pokrenuti test. Neke će ponovno otvoriti odluku o izdanju. Disciplinirana organizacija ne miješa te kategorije i ne treba joj budući incident da otkrije da one postoje.

Dakle, da: regulator može revidirati pokretnu metu. Revizija počinje odbijanjem lažnog izbora između zamrznute kartice modela i potpuno nespoznatljive žive usluge. Zabilježi stanje. Iznesi tvrdnju. Sačuvaj uvjete. Poveži dokaz s odlukom. Zabilježi što se mijenja. Ponovno procijeni kad veza više ne vrijedi. Meta se može kretati. Trag mora ostati čitljiv.

Izvori