Pravica do vedenja, kaj se je spremenilo

Javna odločitev ni nikoli le njena končna poved. Sestavljajo jo pravilo, podatki, sistem, delovni tok in človeška avtoriteta, ki so to poved omogočili. Brez...

Pravica do vedenja, kaj se je spremenilo

Dokument, ki ga ni bilo

Marca 2024 je evropska varuhinja človekovih pravic začela preiskavo o tem, kako Evropska komisija odloča o uporabi umetne inteligence in kako jo uporablja. Vprašanja so zadevala tri običajna področja upravnega dela: analizo javnih povratnih informacij, odkrivanje morebitnih kršitev pravil o konkurenci in obravnavo pritožb. Varuhinja je spraševala o avtomatizaciji, odločitvi za uporabo umetne inteligence, preglednosti te odločitve in odgovornosti. Javno obvestilo ni opisovalo teatralnega neuspeha. Opisalo je potrebo po razumevanju, kako institucija sprejme in upravlja izbiro.

To razlikovanje je pomembno. Ko oblast vprašajo, zakaj je uporabila sistem, koristen odgovor le redko najdemo v končnem sporočilu za javnost. Pregledovalec mora vedeti, kateri namen je bil odobren, katero pravilo in opredelitev podatkov sta veljala, katera različica sistema je bila uporabljena, kaj je operater lahko videl in katera oseba je imela pooblastilo, da rezultat sprejme ali zavrne. Pojasnilo je pot skozi čas. Če je to pot prekrilo sedanje stanje, lahko institucija ponudi verjeten opis, ne pa nujno tistega, ki je bil resničen, ko je bila odločitev sprejeta.

Javne organizacije ta problem razumejo že dolgo. Dovoljenje, politični dokument, vpis v register, sodni spis in odločitev ministra dobijo pomen iz svoje zgodovine. Zakon ima datum začetka veljavnosti. Javni zapis ima avtorja in okoliščine. Popravek se tiho ne spremeni v izvirnik. Digitalni sistemi teh dejstev niso odstranili. Razpršili so jih po izdajah, konfiguraciji, virih podatkov, čakalnih vrstah, pozivih, pravilih dostopa in storitvah dobaviteljev. Končno stanje je morda še vedno vidno. Pot, ki mu je dala veljavo, je lahko izgubljena.

Pravica vedeti, kaj se je spremenilo, zato ni zahteva po vsakem pritisku tipke. Je zahtevek za odgovoren spomin. Ljudje, na katere vpliva javna odločitev, bi morali lahko izvedeti, katera različica zadevnega sveta jo je ustvarila, v mejah, ki jih določajo zasebnost, varnost in drugi legitimni interesi. Institucije potrebujejo isto znanje za popravljanje napak, obravnavo pritožb in pojasnjevanje lastnega ravnanja. Zgodovina ni okrasna priloga k odločitvi. Je del tega, zaradi česar je odločitev odločitev in ne osamljen izid.

Dnevnik sprememb je vljudnost; zgodovina je dokaz

Programske ekipe dobro poznajo dnevnike sprememb. Opombe ob izdaji povedo, da je bil vmesnik izboljšan, napaka odpravljena ali odvisnost posodobljena. Dober dnevnik sprememb je koristno sporočilo. Uporabnikom pomaga pri odločitvi o nadgradnji in vzdrževalcem daje javni zapis njihovega dela. Sam po sebi ni zapis odločitev. Običajno opisuje tisto, kar izdajatelj šteje za pomembno. Ne obljublja, da bo poustvaril stanje vsakega primera, ki je šel skozi sistem.

Zgodovina odločitev ima drugačno nalogo. Odgovoriti mora na vprašanje o določenem dejanju ob določenem času. Katera različica pravila o upravičenosti je bila uporabljena za to vlogo. Katera opredelitev dohodka je bila na voljo, ko je bil izračunan rezultat. Kateri model in umerjanje sta ustvarila razvrstitev. Katera pot delovnega toka je primer pripeljala pred tega pregledovalca. Katere dokaze je pregledovalec videl. Katero obvestilo je bilo poslano. Odgovor se lahko sklicuje na dnevnik sprememb, vendar se ne more ustaviti pri njem. Opomba ob izdaji opisuje spremembo na splošno. Zgodovina povezuje spremembo s prizadeto odločitvijo.

Zato zelena vrstica, ki pravi posodobljeno, ni dovolj. Posodobljeno kdaj, pod čigavim pooblastilom, s katerim datumom začetka veljavnosti in za katere primere. Vnos, ki pravi politika izboljšana, pušča odprto vprašanje, ali stara politika ostaja pomembna za pritožbo, ali je treba prejšnji izid ponovno preučiti in ali je bila sprememba uvedena povsod hkrati. Zgodovina nosi razmerja, ne pridevnikov. Objekt povezuje z njegovim prejšnjim stanjem, naslednikom, razlogom za prehod in obdobjem, v katerem je stanje veljalo.

Pri zapisu obeh vrst evidenc obstaja praktična razlika. Dnevnik sprememb lahko napišemo po opravljenem inženirskem delu, ker njegov bralec potrebuje povzetek. Zgodovina odločitev mora nastajati sproti, med samim delom, ali pa iz zapisov, ki so nastali v tistem času. Naknadni zapiski so uporabni, vendar so interpretacija. Ne morejo varno nadomestiti sočasnega konteksta. Razlika ni romantična. Ena evidenca pomaga ljudem slediti izdelku. Druga instituciji omogoča, da stoji za svojim dejanjem.

Zgodovina odločitev povezuje izid z različicami, ki so ga omogočile, nato pa pusti pot za popravek.

Kar se spremeni, je redko le ena stvar

Ko se odločitev znova preuči, ljudje pogosto začnejo pri najbolj vidni komponenti. Model se je spremenil. Obrazec se je spremenil. Stran s politiko ima nov naslov. Dobavitelj je uvedel posodobitev. Te trditve so lahko vse resnične, pa vendar zgrešijo dejansko spremembo. Javna odločitev je sestavljena iz plasti, ki se premikajo z različnimi hitrostmi, imajo različne lastnike in različne predstave o tem, kaj šteje za izdajo.

Podatkovna plast se lahko spremeni, ko organ vira popravi naslov osebe, statistično definicijo, klasifikacijsko kodo ali referenčno tabelo. Ceview se lahko spremeni v načinu povezovanja zapisov ali obravnave manjkajočih vrednosti. Indeks za iskanje se lahko znova zgradi iz druge zbirke. Predpomnilnik lahko ohrani starejšo interpretacijo, potem ko se je vir že premaknil naprej. Nobene od teh sprememb ni treba imenovati sprememba umetne inteligence, da bi spremenila rezultat delovnega toka, ki ga podpira umetna inteligenca.

Tudi plast pravil ima več kot eno površino. Obstajajo lahko zakon, notranja politika, pisno navodilo, prag v konfiguraciji, tabela izjem in opomba za usposabljanje pregledovalcev. Objavljena politika lahko ostane dobesedno enaka, medtem ko se prag spremeni v datoteki za uvajanje. Nasprotno pa se politika lahko spremeni, medtem ko staro pravilo še vedno deluje v eni regiji, ker je bila izdaja razporejena postopoma. Oseba, na katero rezultat vpliva, ne bi smela morati vedeti, katera ekipa je lastnica katerega fragmenta, preden vpraša, kaj se je zgodilo.

Sistemska plast vključuje model, njegove uteži ali paket, njegovo pozivnico ali predlogo, konfiguracijo iskanja, varnostne nastavitve in programsko opremo, ki ga kliče. Plast delovnega toka vključuje čakalno vrsto, pot, dovoljenja, zaslon in predajo. Dejanje pregledovalca je odvisno od tega, kaj vmesnik predstavi kot pomembno in kaj omogoča. Plast odločitve vključuje rezultat, obrazložitev, obvestilo, učinek navzdol in morebitno pritožbo. Zgodovina različic je disciplina poimenovanja plasti, ki so bile pomembne, ne pa poskus, da bi ena velika številka različice izvedla institucionalno magijo.

Arhiv že ve, da so različice pomembne

Nizozemski državni arhiv uporablja definicijo, ki je osvežujoče preprosta: zgodovinska različica je prejšnja različica informacijskega objekta. Njihove smernice navajajo običajne primere. Opomba lahko preide iz osnutka v koncept in nato v sprejeto besedilo. Zakon je mogoče spremeniti. Vlogi za dovoljenje je mogoče dodati informacije. Oseba se lahko preseli, kar spremeni vrednost v registru. Glede na pomembnost spremembe bo morda treba zagotoviti dostop do prejšnjih različic. To ni nova zahteva, ki bi jo ustvarilo strojno učenje. To je arhiviranje, uporabljeno za digitalno delo.

Iste smernice poudarjajo dve stvari, ki se v razpravi o oblačnih sistemih zlahka izgubita. Vladne informacije so zajete ne glede na njihovo tehnično obliko. Lahko so vnos v zbirki podatkov, spletna stran, sporočilo ali videoposnetek, ne le podpisan dokument. Kraj, kjer so informacije shranjene, pa ne določa, ali morajo ostati dostopne. Strežnik dobavitelja ne zmanjša pomena zapisa za institucijo, ki ga je uporabljala. Zasebni prenosnik ne spremeni uradnih informacij v osebni spominek.

Ta načela so uporabna za umetno inteligenco, ker ta skriva običajne informacije za tehničnimi površinami. Opredelitev funkcije, kartica modela, beležnica za vrednotenje, predloga poziva, pravilo usmerjanja ali sporočilo o odobritvi lahko določajo, kako se javna storitev obnaša. Če jih imenujemo konfiguracija, to ne odstrani njihovega upravnega učinka. Le oteži vpogled v njihovo zgodovino. Arhivsko razmišljanje postavlja boljše vprašanje: katere informacije so nastale ali bile prejete, medtem ko je organizacija opravljala svojo nalogo, in kaj mora ostati uporabno, da bo nalogo mogoče pozneje razumeti.

Arhiviranje ni enako ohranjanju vsega. Državni arhiv opisuje odločitve o tem, katere zgodovinske različice ostanejo dostopne. Osnutek morda ne potrebuje enake obravnave kot sprejeta odločitev. Osebno polje ima lahko drugačno pot hrambe kot pravna podlaga. Bistvo je, da se odločitev sprejme premišljeno in da se zapiše razlog. Brisanje zgodovine je lahko legitimno. Brisanje brez vedenja, ali gre za zgodovino prizadete odločitve, je le hiter način, da pozneje izgubite argument.

Splošna uredba o varstvu podatkov zahteva odgovornost, ne arheologijo

Splošna uredba o varstvu podatkov javnim organom ne predpisuje enega samega izdelka za upravljanje različic. Zahteva nekaj zahtevnejšega. Člen 5(2) nalaga odgovornost upravljavcu in od njega zahteva, da lahko dokaže skladnost z načeli varstva podatkov. Člen 24 opisuje odgovornost za ustrezne tehnične in organizacijske ukrepe. Člen 30 zahteva evidence dejavnosti obdelave v okoliščinah, ki jih določa uredba. Te določbe skupaj pomenijo, da mora biti odgovornost lastnost, ki jo organizacija lahko izkaže, ne le prepričanje, ki ga lahko izrazi.

Evidenca dejavnosti obdelave ni popolna zgodovina odločanja. Običajno opisuje dejavnost obdelave na organizacijski ravni: njen namen, kategorije podatkov in oseb, prejemnike, roke hrambe in varnostne ukrepe. Ta evidenca odgovarja na drugačno vprašanje kot to, katera izvorna vrednost je bila aktivna v posameznem primeru. Načelo odgovornosti pa ustvarja jasen razlog za ohranjanje povezav, ki organizaciji omogočajo, da dokaže, kaj je storila. Zgodovina različic je eden od načinov, kako te povezave narediti pregledne. Podpira zakonsko dolžnost; ne izpolnjuje je čudežno.

Ta razlika preprečuje dve pogosti napaki. Prva je, da register obravnavamo, kot da bi bil ponovitev vsake odločitve. Stran, ki navaja, da organizacija obdeluje naslovne podatke za izvajanje storitev, ne more dokazati, kateri naslov je bil uporabljen za določeno obvestilo. Druga je, da podrobne dnevnike obravnavamo, kot da bi bili samodejno zakonit dokaz. Dnevnik lahko vsebuje več osebnih podatkov, kot jih zahteva namen, se hrani dlje, kot je upravičeno, ali pa je dostopen osebam, ki tega ne potrebujejo. Odgovornost vključuje čim manjšo količino podatkov in varnost. Pomnilnik mora biti zasnovan tako z izhodom kot z vhodom.

Za ekipe, ki gradijo ali kupujejo sisteme z umetno inteligenco, praktična posledica pomeni opredeliti najmanjši trajni zapis, ki lahko odgovori na predvidljivo vprašanje. To je lahko sklic na različico vira in ne kopija celotnega vira. Lahko je zaprt dokazni sveženj z omejenim dostopom. Lahko je identifikator pravila in obdobje veljavnosti skupaj z izidom. Pravni preizkus ni, ali je organizacija zbrala impresivno količino telemetrije. Preizkus je, ali lahko organizacija dokaže zakonito, pošteno in namensko obdelavo, ne da bi vsako osebo spremenila v trajno sled podatkov.

Akt o umetni inteligenci življenjski cikel pomnilnika spremeni v zahtevo

Akt o umetni inteligenci je izrecnejši glede tehničnega pomnilnika nekaterih sistemov. Člen 11 zahteva, da se tehnična dokumentacija sistema umetne inteligence z visokim tveganjem pripravi pred dajanjem sistema na trg ali v uporabo, da se sproti posodablja in da je dovolj jasna, da lahko organi in priglašeni organi ocenijo skladnost. Člen 12 zahteva, da sistemi z visokim tveganjem tehnično omogočajo samodejno beleženje dogodkov v življenjski dobi sistema, pri čemer se beležijo podatki, pomembni za tveganje, spremljanje po dajanju na trg in delovanje. To so obveznosti v življenjskem ciklu, ne zahteva po brošuri ob začetku uporabe.

Uvodna izjava uredbe o sledljivosti pojasnjuje, zakaj. Informacije o tem, kako je bil sistem z visokim tveganjem razvit in kako deluje v svoji življenjski dobi, so potrebne za oceno skladnosti in spremljanje delovanja. Dokumentacija naj bi zajemala značilnosti, zmogljivosti, omejitve, algoritme, podatke, usposabljanje, testiranje, validacijo in obvladovanje tveganj. Besede »sproti posodablja« opravljajo pomembno delo. Dokument, ki opisuje prejšnji sistem, a ni bil nikoli spremenjen, je dokaz prejšnjega stanja, ne dokaz, da je trenutno stanje še vedno skladno.

Priloga IV konkretizira razmerje med različicami. Splošni opis sistema z visokim tveganjem vključuje njegovo ime in različico, razmerje do prejšnjih različic ter ustrezne različice programske opreme ali strojne programske opreme in zahteve za posodobitve. Številka različice brez razmerja je le oznaka. Razmerje pregledovalcu omogoča razumevanje kontinuitete, sprememb in obsega. To je razlika med tem, da rečemo, da je to različica štiri, in tem, da pokažemo, katere predpostavke je različica štiri podedovala, nadomestila ali razveljavila.

Nič od tega ne pomeni, da je vsaka javna odločitev samodejno primer umetne inteligence z visokim tveganjem po aktu. Razvrstitev je odvisna od sistema, namena in uporabe, ki jih opisuje uredba. Pomeni pa, da bi morale organizacije prenehati obravnavati sledljivost kot neobvezno udobje za tehnično najbolj dovršene ekipe. Kjer zakon zahteva, da sistem pusti uporabno operativno zgodovino, postane vprašanje načrtovanja praktično: katere dogodke, različice in organe mora dnevnik povezati, da bo poznejši pregled lahko ugotovil, kaj se je zgodilo, ne da bi moral prvotno ekipo prositi, naj si to zapomni.

Javna odločitev je sklad

Predstavljajte si, da odprete zadevo izpred dveh let. Izid je tam. Evidenca osebe je zdaj popolnejša. Stran s politiko je bila posodobljena. Model je bil dvakrat posodobljen. Vmesnik ima nov pregledovalni sklop. Dobavitelj je spremenil svojo gostiteljsko ureditev. Vodja pravi, da je ekipa vedno opravila ročni pregled. Vsaka trditev je danes lahko točna. Nobena vam ne pove, kako je zadeva izgledala, ko je odločitev prečkala mejo od priporočila do ukrepanja.

Utemeljiva evidenca obravnava odločitev kot sklad. Na dnu je izvorno stanje z identiteto, veljavnostjo, izvorom in pogoji dostopa. Nad njim so veljavna pravila in pragovi. Stanje sistema opredeljuje programsko opremo, model, poziv, indeks in konfiguracijo. Stanje delovnega toka zajema usmerjanje, dovoljenja, položaj v čakalni vrsti in vlogo človeka. Potrdilo o odločitvi povezuje izid, razlog, obvestilo, ukrep in nadaljnjo sklicno oznako. Kasnejši popravek se lahko nato pomika nazaj po skladu, da ugotovi, katere odločitve so bile odvisne od spremenjene plasti.

Skladu ni treba vsakemu bralcu razkriti vsake notranje podrobnosti. Javno obvestilo je lahko jedrnato, medtem ko lahko pooblaščeni pregledovalec vpogleda v globljo evidenco. Pomembno je, da institucija ni združila različnih pomenov v eno polje, imenovano različica. Različica vira ni različica politike. Različica modela ni izdaja delovnega toka. Vloga pregledovalca ni razlog za odobritev. Če jih ohranjamo ločene, organizacija lahko deli pravo razlago s pravo osebo in se izogne izmišljanju enotne zgodbe, ki je noben sistem dejansko ni zabeležil.

To pojasnjuje tudi lastništvo. Skrbnik podatkov je lastnik poti popravkov vira. Lastnik politike je lastnik veljavnega pravila. Tehnična ekipa je lastnica artefakta izdaje. Operativna ekipa je lastnica delovnega toka in usposabljanja. Odločevalec je lastnik dejanja. Upravljanje povezuje evidence ter določa meje hrambe in dostopa. Če nihče ne more povedati, kdo je lastnik plasti, bo zgodovina različic seznam oznak brez odgovornega glasu.

Čas ima več kot eno uro

Datumi so potrebni in pogosto zavajajoči. Politika je lahko objavljena v ponedeljek, začne veljati v petek in doseže določeno storitev naslednji torek. Vir je lahko zbran ob 09:10, popravljen ob 11:00 in ponovno obdelan ob 14:00. Paket modela je lahko odobren v enem okolju in nameščen v drugem. Pregledovalec lahko odpre zadevo pred spremembo in jo odds po njej. En sam časovni žig ne more nositi vseh teh pomenov brez pomoči.

Dobra zgodovina razlikuje vsaj čas, ko je bil artefakt ustvarjen, čas, ko je začel veljati, čas, ko je bil opazovan ali zajet, in čas, ko je bil uporabljen. Morda potrebuje tudi čas, ko je bil umaknjen, popravljen ali odkrito, da je napačen. To niso pedantna razlikovanja. Pritožba je lahko odvisna od tega, ali se nov prag uporablja za vlogo, oddano pred datumom začetka veljavnosti, ali pa bi moral popravek spremeniti že izdano obvestilo. Odgovor pripada pravu in politiki institucije, vendar dejstva zahtevajo ure, ki lahko prikažejo zaporedje.

Veljavnost ima tudi obseg. Regionalni delovni tok ima lahko eno izdajo v Rotterdamu in drugo v Lyonu. Jezikovni paket se lahko spreminja po drugačnem urniku kot pravilo odločanja. Model je lahko na voljo za osnutek, vendar prepovedan za končno dejanje. Evidenca, ki pravi aktivno, ne da bi povedala, kje in za kakšen namen, je zemljevid brez prometnih znakov. Obseg spremeni generično različico v uporabno dejstvo.

Ure bi morale biti razumljive ljudem, ki ne vzdržujejo cevovoda za uvajanje. Prizadeta oseba se ne bi smela morati naučiti sistema za gradnjo, da bi vprašala, katero pravilo je bilo uporabljeno. Tehnični zapis lahko ohrani natančne identifikatorje, medtem ko javna razlaga te prevede v datum začetka veljavnosti, imenovano politiko in jasno izjavo o tem, kaj organizacija še vedno lahko stori. Natančnost in preprost jezik si nista nasprotnika. Natančnost daje preprostemu jeziku nekaj trdnega, kar lahko pove.

Predvajanje je metoda, ne gumb

Beseda predvajanje ustvarja nevarno pričakovanje. Zveni, kot da lahko organizacija pritisne gumb in gleda, kako se preteklost ponovi natanko tako, kot se je zgodila. Včasih lahko omejen sistem naredi nekaj podobnega. Pogosteje predvajanje pomeni ponovno zgraditi ustrezno stanje iz zabeleženih vnosov, različic, pravil, dovoljenj in dejanj, nato pa pokazati, kje je rekonstrukcija natančna in kje ostaja negotovost.

Pristen zapis predvajanja ločuje, kaj je bilo opazovano, od tega, kaj se rekonstruira. Prvotni vnos je lahko zapečaten. Identifikatorja pravila in modela sta lahko znana. Natančen odziv zunanje storitve morda ni bil ohranjen. Poznejši popravek vira je lahko na voljo, vendar v tistem času ni veljaven. Človeški pregled ima lahko podpisan izid, ne pa tudi celotnega posnetka zaslona. Predvajanje teh vrzeli ne sme zapolniti z novim samozavestnim odstavkom. Označiti jih mora. Poštena delna zgodovina je bolj uporabna kot popolna izmišljotina.

Predvajanje tudi ni enako ponovnemu generiranju. Če trenutni sistem prosimo, naj odgovori na staro vprašanje, lahko to pokaže, kako se sistem obnaša danes. Ne dokazuje, kaj je naredil takrat. Nov rezultat lahko uporablja drug model, vir, politiko, poziv, odločitev o usmerjanju ali jezikovno predstavitev. Dragocen je lahko kot primerjava, če zapis pove, da gre za primerjavo. Poznejša analiza se ne sme pretvarjati, da je sočasen razlog.

Predvajanje je okno dokazov. Pokaže, kaj je mogoče obnoviti, kaj se je spremenilo in kam lahko popravek še vedno potuje.

Zgodovina, ki jo je mogoče predvajati, spremeni kakovost pritožbe. Vprašanje ni več, zakaj organizacija verjame, da se je to zgodilo, temveč katere dele zgodovine lahko preverimo. To je bolj zdravo izhodišče. Instituciji daje dovoljenje, da reče, da je zapis popoln glede pravila in izida, a nepopoln glede zunanjega odziva. Pregledovalcu daje način, kako se odločiti, ali je manjkajoči del bistven. Inženirjem daje natančno napako, ki jo je treba odpraviti, namesto nejasne zahteve po večji preglednosti.

Preglednost ima meje, ne izgovorov

Pravica vedeti, kaj se je spremenilo, ni pravica do prejema vsakega notranjega zapisa v njegovi surovi obliki. Javni organi imajo še vedno dolžnost varovati osebne podatke, informacije, občutljive z vidika varnosti, zaupne poslovne informacije ter celovitost preiskav. Podrobna zgodovina lahko razkrije podatke druge osebe ali olajša izogibanje nadzoru. Uporabna javna razlaga je zato lahko večplasten zapis: preprost opis zadevnega pravila in časovnega okvira, sklic na preverljiv paket dokazov ter nadzorovan način za poglobljen vpogled.

Večplastnost deluje le, če globlji zapis obstaja. Redakcija ni nadomestilo za hranjenje izvirnika. Če institucija objavi povzetek in zavrže gradivo, ki bi pooblaščenemu pregledovalcu omogočilo preverjanje, povzetek postane trajna trditev. Javnost morda ni upravičena do vsake priloge, vendar mora imeti nekdo z legitimno vlogo možnost preučiti podlago. Nadzor dostopa lahko omeji, kdo vidi zapis. Ne more narediti odsotnega zapisa varnega.

Obstaja še druga meja glede pomena preglednosti. Oznaka različice ni razlaga. Prikaz, da se je model spremenil, prizadeti osebi ne pove, ali bi sprememba lahko spremenila izid. Prikaz razlik v politiki jim ne pove, kateri del je bil uporabljen. Dobre razlage povezujejo spremembo z dejanjem, navajajo, kaj je bilo uporabljeno, in povedo, kakšno pravno sredstvo je na voljo. Namen ni narediti institucijo tehnično pismeno. Namen je omogočiti osebi, da razume svoj položaj.

Javni registri so lahko v pomoč, saj pomembna stanja sistema prikažejo, preden je nekdo prisiljen vprašati. Akt o umetni inteligenci vključuje obveznosti registracije in dokumentacije v opredeljenih okoliščinah, medtem ko nacionalna arhivska praksa dostop in prihodnjo uporabnost obravnava kot del upravljanja zapisov. Ti mehanizmi niso nadomestilo za zgodovino na ravni posameznega primera. So okoliški zemljevid. Zemljevid je dragocen, vendar ga ne bi smeli zamenjevati s potjo, ki jo je prehodila določena oseba.

Poizvedba prispe po tem, ko se je vmesnik spremenil

Poizvedba varuha človekovih pravic iz leta 2024 o uporabi umetne inteligence pri Komisiji je uporaben primer vprašanja, s katerim se bodo institucije soočale pogosteje. Javni opis sprašuje, kako se Komisija odloča o uporabi umetne inteligence, katere naloge so avtomatizirane, kako se sprejme odločitev o uporabi umetne inteligence in kako se zagotavlja odgovornost. Ne predpostavlja, da je algoritemski rezultat celotna odločitev. Sprašuje o upravni izbiri, ki obdaja sistem.

Tudi ta izbira ima zgodovino. Institucija lahko začne s poskusom, opredeli namen, omeji vlogo, spremeni vir, razširi obseg dela, spremeni pot pregleda in pozneje objavi razlago. Če zapis vsebuje le trenutno politiko in trenutni vmesnik, mora pregledovalec sklepati o prejšnji meji. Institucija lahko deluje v dobri veri in kljub temu ne more pokazati, kaj je takrat vedela, odobrila ali dovolila. Dobra vera je dragocena lastnost. Ni časovni stroj.

Poizvedbe tudi kažejo, zakaj mora vodenje zapisov vključevati neformalne kanale. Na odločitve lahko vplivajo delovni dokumenti, sporočila, sledilniki težav, pregledi konfiguracije in pogovori, ki nikoli ne postanejo formalna politika. Ni treba vsakega stavka trajno hraniti. Organizacija potrebuje pravilo za prepoznavanje, katera izmenjava nosi institucionalno dejanje ali zavezo, ter način za ohranitev tega gradiva, ko postane njegova pomembnost jasna. V nasprotnem primeru se zgodovina začne s prvim urejenim dokumentom, potem ko se je pomembna odločitev že zgodila.

Odgovor ni spremeniti javno upravo v arhiv nadzora nad lastnim osebjem. Gre za to, da postane pomembno stanje dela izrecno. Odločitev mora imeti lastnika, razlog, obseg, datum začetka veljavnosti in zapis spremembe, zaradi katere je postala drugačna. Neformalna razprava lahko ostane razprava. Ko spremeni pooblastila, podatke, politiko ali dejanje, zadevni rezultat sodi v institucionalni zapis.

AI naredi stare razlage še posebej krhke

Ustvarjene razlage predstavljajo posebno tveganje, ker so dovolj tekoče, da prikrijejo svoj čas nastanka. Sistem lahko z današnjim modelom in politiko ustvari smiseln opis stare odločitve. Opis morda ne vsebuje nobenega očitno napačnega stavka. Kljub temu je lahko napačen kot zapis, ker razlaga ob sprejetju odločitve ni obstajala in ni bila izpeljana iz stanja, ki jo je ustvarilo.

Najvarnejša ločitev je med sočasnimi dokazi in poznejšo razlago. Sočasni zapis pove, kaj je sistem prejel, katera različica je delovala, kakšen rezultat je bil ustvarjen, kaj je človek naredil in kakšno obvestilo je bilo poslano. Poznejši analitik lahko doda rekonstrukcijo, protidejstveni scenarij, primerjavo z današnjim vedenjem ali oceno, ali bi moralo biti pravilo drugačno. Ti dodatki so dragoceni, če so označeni kot poznejše delo. Nevarni postanejo, ko oznaka izgine.

Ocene zaupanja imajo enako težavo. Številka brez svoje umeritve, populacije, praga in namena ne pojasni sama sebe. Številka je bila morda uporabna za razvrščanje pozornosti in nikoli ni bila pooblaščena za končno dejanje. Morda je bila prikazana pregledovalcu ali skrita za vmesnikom. Morda je bila po dogodku ponovno umerjena. Ohranjanje ocene ob izgubi pogojev ohranja obliko dokaza in odstranjuje njegov pomen.

Zato bi morala zgodovina različic vključevati predloge razlag in prikaze virov, kadar vplivajo na človeško odločitev. Besedilo ni zgolj komunikacijska plast, če pregledovalcu pove, zakaj sistem priporoča dejanje. Vrstni red dokazov je lahko pomemben. Odsotnost opozorila je lahko pomembna. Nabor razpoložljivih gumbov je lahko pomemben. Na javno odločitev vpliva to, kaj ljudje lahko vidijo in naredijo, ne le skriti izračun.

Popravljanje podatkov je tisto, kjer zgodovina pokaže svojo vrednost

Vsak upravni sistem se prej ali slej nauči, da je lahko izvorni zapis napačen. Naslov se popravi, kategorija se prerazvrsti, plačilo se stornira, meritev se preračuna ali oseba posreduje manjkajoče podatke. Popravek lahko izboljša trenutni zapis, ne da bi samodejno popravil odločitve, ki so bile odvisne od prejšnje vrednosti. Ta druga naloga zahteva povezavo od zgodovine vira do prizadetih odločitev.

Brez te povezave se institucija sooči z dvema slabima možnostma. Lahko ponovno pregleda vse, kar je drago in lahko izpostavi ljudi, ki nikoli niso bili prizadeti. Ali pa ne pregleda ničesar, kar pusti znano napako v veljavi za vsakogar, čigar odločitev je bila odvisna od nje. Različice z referencami omogočajo ožje vprašanje: katere odločitve so porabile to stanje, po katerem pravilu in s kakšno posledico. Odgovor lahko usmerja sorazmeren pregled.

Enaka logika velja za pravne in politične spremembe. Novo pravilo je lahko pravilno za nove primere, ne da bi bil vsak stari izid napačen. Razlaga sodišča lahko zahteva ponoven pogled na odločitve, sprejete pod prejšnjim razumevanjem. Postopek popravljanja mora vedeti, kdaj je bilo staro pravilo v veljavi, katere primere je zajelo in ali je pravno sredstvo ponovna obravnava, obvestilo, odškodnina, pojasnilo ali nobeno dejanje. Zgodovina spremeni moralno vprašanje v operativno odgovorljivo, ne da bi moralno vprašanje zreducirala na poizvedbo.

Popravek bi moral pustiti tudi lastno sled. Organizacija bi morala zabeležiti, kaj je bilo ugotovljeno, kateri primeri so bili obravnavani, kakšno dejanje je bilo sprejeto in zakaj so bili nekateri primeri izven obsega. Ta zapis ščiti prizadeto osebo in institucijo. Preprečuje, da bi vsak nov pregledovalec tiho znova odkril isto težavo. Popravek brez zapisa je opravičilo, ki se ne spomni, komu je pomagalo.

Človeški pregled potrebuje tudi različico

Človeški nadzor je pogosto opisan, kot da bi že sama prisotnost osebe zagotavljala stabilnost odločitve. Ni tako. Pregledovalec deluje v določenem okolju: nabor dokumentov, zaslon, čakalna vrsta, rok, vloga, opomba o politiki, opozorilo in seznam razpoložljivih dejanj. Če se okolje spremeni, se lahko spremeni tudi pomen pregledovalčeve potrditve. Zapis samo imena in časovnega žiga ne spoštuje ne pregledovalca ne osebe, na katero se odločitev nanaša.

Različica človeškega pregleda ne zahteva beleženja vsake misli. Zahteva dovolj okoliščin, da se pokažeta pooblastilo in dokaz dejanja. Kateri materiali so bili predstavljeni. Kateri so bili izključeni ali nedostopni. Ali je bil rezultat predlog, zahteva ali sprožilec. Ali ga je pregledovalec lahko preglasil. Ali je bila pot eskalacije vidna. Ali je pregledovalec dodal razlog. Ali je bilo dejanje izvedeno ali le osnutek. Ta polja ustvarijo zapis presoje, ne da bi se pretvarjala, da je presoja strojno berljiva številka.

To razlikovanje ščiti delavce. Če organizacija od pregledovalcev pričakuje, da bodo odgovarjali za izid, jih pozneje ne bi smela ocenjevati na podlagi drugačnega vmesnika in drugačnega nabora dokazov. Ščiti tudi državljane. Oseba, ki izpodbija odločitev, ne bi smela slišati, da je bil v procesu vključen neimenovan človek, nato pa ugotoviti, da je ta človek lahko samo kliknil »odobri«. Nadzor je smiseln, ko zapis pokaže, kaj je oseba smela storiti in kaj se je zgodilo, ko se ni strinjala.

Obstaja tudi kulturna korist. Ko je nestrinjanje zabeleženo kot običajen del delovnega procesa, postane vir učenja in ne znak nelojalnosti. Organizacije lahko preučijo, ali se preglasitve kopičijo okoli podatkovne težave, nejasnosti politike ali pritiska vmesnika. Sistem lahko izboljšajo, ne da bi krivile ljudi, ki so opazili, da je sistem napačen. Zgodovina daje nestrinjanju prostor, kamor lahko gre, namesto samo na hodnik.

Spomin brez kopičenja

Ko organizacija razume potrebo po zgodovini, je skušnjava, da bi obdržala vse. Vsak poziv, posnetek zaslona, vrednost funkcije, sporočilo, posnetek, izvoz in vmesna datoteka se hranijo za vedno, za vsak primer. To ni odgovornost. To je arhiv, ki je pozabil, zakaj obstaja. Povečuje izpostavljenost zasebnosti, zvišuje stroške varnosti in otežuje iskanje ustreznih dokazov.

Hramba mora slediti posledicam, pravni potrebi in možnosti popravka. Odločitev z velikim vplivom lahko zahteva popolnejši nabor dokazov in daljše obdobje zaščite. Osnutek z nizkim tveganjem lahko potrebuje le kompakten potrdilo. Občutljiva vsebina je lahko označena z identifikatorjem in shranjena v omejenem sistemu. Izpeljana predstavitev lahko poteče, medtem ko ostane dejstvo, da je obstajala, in razlog za izbris. Zasnova mora navesti, kaj se hrani, kdo ima dostop, kako se popravlja in kdaj se uniči.

Selektivni spomin je lažje zagovarjati, ko je zapis strukturiran. Stabilni identifikatorji lahko povežejo odločitev z virom brez kopiranja osebnih podatkov v vsak dnevnik. Obdobja veljavnosti lahko preprečijo, da bi se trenutna vrednost brala kot pretekla. Kode razlogov lahko naredijo popravek odkritljiv brez ohranjanja zasebnega pogovora. Preverjanje celovitosti lahko pokaže, da se zapis ni spremenil, ne da bi razkril njegovo vsebino vsem, ki vprašajo. Dobro varstvo podatkov je pogosto videti kot boljše inženirstvo, ker obe disciplini ne marata dvoumnosti.

V frazi »zgodovina različic« ni skritega univerzalnega obdobja hrambe. Obdobje je odvisno od naloge, sektorja, poti pritožbe, pogodbene obveznosti in zakona. Univerzalna bi morala biti zahteva, da se odločitev sprejme premišljeno. Če organizacija ne more navesti, zakaj je treba komponento hraniti, morda ne razume njene vloge pri odločitvi. Če ne more navesti, zakaj se komponenta lahko izbriše, morda hrani tveganje in ne dokazov.

Oblikovanje zgodovine brez ustvarjanja gledališča

Uporabna implementacija se začne z vprašanji, ne s polji. Katera odločitev bi lahko bila sporna. Katere različice bi lahko spremenile njen pomen. Kdo jih mora pregledati. Kdaj je najzgodnejši trenutek, ko je zapis mogoče zapečatiti. Kaj je najmanjši sveženj dokazov, ki pregledovalcu omogoči preveriti zadevno trditev. Katere spremembe bi morale sprožiti nov pregled. Kateri dogodki morajo biti vidni človeku in kateri so operativna podrobnost.

Odgovori običajno vodijo do nekaj trajnih vzorcev. Vsaki politiki, modelu, definiciji vira in izdaji delovnega toka dodelite stabilno identiteto. Obdobja veljavnosti beležite ločeno od časov objave in uvedbe. Odločitev povežite z natančnimi identitetami, ki so bile uporabljene, ne s tistimi, ki veljajo, ko nekdo odpre zadevo. Ob strojno berljivih sklicih ohranite tudi človeku berljiv opis. Spremembe naj se dodajajo v zgodovino ali ustvarjajo novo nespremenljivo stanje. Če popravek nadomesti prejšnjo vrednost, ohranite razmerje med obema.

Zgodovino preizkusite kot operativno funkcijo. Vzemite znano odločitev in prosite inženirja, lastnika politike in neodvisnega pregledovalca, naj jo poustvarijo. Ali pridejo do istega stanja. Ali lahko povedo, kaj je potrjeno in kaj manjka. Ali lahko ugotovijo, kdo je imel pooblastilo. Ali lahko najdejo odločitve, na katere je vplival popravek vira. Ali lahko pojasnijo, zakaj se trenutna ponovitev razlikuje, ne da bi preteklost privzeto označili za napačno. Sistem, ki prestane le test sheme, ima urejen zapis. Sistem, ki prestane test pregleda, ima možnost, da je odgovoren.

Nazadnje vadite spremembo. V testnem okolju zamenjajte pravilo, posodobite definicijo vira, uvedite paket modela, odstranite dovoljenje in popravite zapis. Nato preglejte zgodovino. Ali prikazuje prehod, njegov obseg in njegovega lastnika. Ali lahko pooblaščeni pregledovalec še vedno bere staro stanje. Ali odločitev v nadaljevanju kaže na pravo različico. Če je odgovor ne, se sistem zanaša na prihodnji incident, da bi se naučil upravljanja različic. Prihodnji incidenti so dragi učitelji.

Česa vam javni dnevnik sprememb ne more povedati

Javni dnevnik sprememb lahko pove, da je bil prag spremenjen, model posodobljen ali delovni tok izboljšan. Človeku ne more povedati, ali je sprememba zadevala njegovo zadevo, razen če zapis odločitve vzpostavi to povezavo. Lahko pove, kdaj je izdaja postala na voljo. Ne more vam povedati, ali jo je neka regija prejela pozneje. Lahko pove, da je bila napaka odpravljena. Ne more povedati, kateri pretekli izidi so bili ponovno preverjeni. Dnevniki sprememb so uporabni prav zato, ker so selektivni. Dokazi so uporabni, ko je njihovo pravilo izbire vidno.

Razlikovanje je pomembno tudi za demokratični nadzor. Javni organ lahko objavi register modelov in splošen opis namena. Parlament, sodišče, revizor ali oseba, ki uveljavlja pravico, morda še vedno potrebuje vedeti, kaj se je zgodilo na določen datum. Register daje družbi pogled na pokrajino. Zgodovina odločitev daje posamezniku pot skozi njo. Potrebna sta oba. Prvo je javna informacija. Drugo je institucionalni spomin, ki lahko odgovarja za dejanje.

V predstavljanju dnevnika sprememb kot odgovornosti se skriva tiha nevarnost, saj nagrajuje perspektivo založnika. Založnik izbere, kaj je pomembno, uporablja trenutni besednjak in opisuje predvideni učinek. Oseba, na katero sistem vpliva, začne drugje. Vpraša se, katero pravilo se je dotaknilo moje vloge, kateri dokazi so bili upoštevani, ali je bila vloga sistema v okviru njegovih pooblastil in kaj lahko zdaj storim. Zapis mora biti sposoben odgovoriti na to vprašanje, tudi če je odgovor neprijeten.

Dober javni zapis sprememb ima zato dve smeri. Javnosti spremembe pojasnjuje v preprostem jeziku, pooblaščenim pregledovalcem pa omogoča dostop do dokazov na ravni posameznega primera. Navaja, česa sprememba ni spremenila. Označuje poznejše popravke. Povezuje se na lastnike politik, sistemov in operativnih procesov. Pove, kdaj je zapis nepopoln. Zaupanje ne nastane s pretvarjanjem, da je vsaka zgodovina brezšivna. Nastane, ko so šivi vidni in je zanje nekdo odgovoren.

Naš majhen delež pri tem vprašanju

Pri Dweve se nenehno vračamo k tej razliki, ker naše delo z Ledgerjem operativno zgodovino obravnava kot tipiziran, ponovno predvajljiv zapis in ne kot kopico iskalnih sporočil. Naše delo z operativnimi zapisi sledi istemu vprašanju: kaj se ohrani kot zgodovina in kaj se izpelje kot trenutni pogled. To so inženirske odločitve, ne dokaz, da je javna institucija ali dobavitelj izpolnil svoje obveznosti. Širša lekcija pripada vsem, ki gradijo odgovorne sisteme: zapis naj bo blizu dogodka, njegov obseg naj bo pošten in trenutni pogled naj se tiho ne izdaja za preteklost.

To je majhen odstavek v veliko širši razpravi. Razprava ni odvisna od katerega koli izdelka Dweve. Že prisotna je v evropskem upravljanju dokumentarnega gradiva, odgovornosti za varstvo podatkov in zahtevah življenjskega cikla v aktu o umetni inteligenci. Problem nas zanima, ker programska oprema pozabljanje olajša, javne odločitve pa pozabljanje naredijo posledično. Pravilen odziv ni dodati naš logotip besedi preglednost. Pravilen odziv je narediti zgodovino pregledno, omejeno in uporabno za človeka, ki mora živeti z izidom.

Vprašanje državljana je običajno v preteklem času

Zakaj je bila sprejeta ta odločitev. Katero pravilo je veljalo. Katere informacije ste uporabili. Ali jo je pregledala oseba. Kaj se je pozneje spremenilo. To so vprašanja v preteklem času. Zastavljajo jih državljani, pacienti, delavci, študenti, stranke, novinarji, revizorji, sodišča in zaposleni, ki podedujejo sistem, ki ga niso zasnovali. Nadzorna plošča lahko pokaže, da je sistem zdrav. Ne more odgovarjati za včerajšnjo odločitev, če je bil včerajšnji dan prepisan.

Odgovor ne zahteva, da institucija vsako podrobnost ohrani za vedno ali da objavi vsak notranji zapis. Zahteva, da institucija ve, katera dejstva naredijo odločitev razumljivo, da ta dejstva hrani v obliki, ki jo je mogoče preveriti, in da jasno pove, kadar dejstva ni mogoče obnoviti. To je skromna obljuba zgodovine različic. Odločitve ne naredi pravilne. Naredi jo odgovorno.

Evropska arhivska praksa to že dolgo govori v preprostem jeziku: pomembne informacije imajo lahko zgodovinske različice, digitalne informacije pa so informacije, kjer koli so shranjene. Evropsko pravo o varstvu podatkov pravi, da odgovornost vključuje zmožnost dokazovanja skladnosti. Akt o umetni inteligenci tehnično dokumentacijo in beleženje življenjskega cikla uvršča med obveznosti za opredeljene visoko tvegane sisteme. Vprašanja varuha človekovih pravic o umetni inteligenci v javnem sektorju kažejo v isto smer. Institucije ne bodo ocenjevane le po tem, kaj uvajajo, ampak tudi po tem, kaj lahko pokažejo o svoji odločitvi.

Zato vodite dnevnik sprememb. Pišite opombe ob izdaji. Objavljajte register. Nato zgradite manj glamurozen zapis v ozadju: tistega, ki ve, kateri vir, pravilo, sistem, delovni proces in organ so bili aktivni, ko se je primer osebe premaknil iz možnosti v odločitev. Če organizacija lahko pokaže, kaj se je spremenilo, lahko pokaže tudi, kaj se ni, kaj se je naučila in kaj je še mogoče popraviti. To ni arhivska nostalgija. To je minimalni spomin, ki je potreben, da javna oblast ostane odgovorna.

Viri