Visokorizični sustav nije visokorizični model

Risk ne živi unutar modela poput naljepnice upozorenja. On proizlazi iz namjene, primjene, ovlasti, sučelja i ljudi koji moraju živjeti s rezultatom.

Visokorizični sustav nije visokorizični model

Oznaka se odnosi na upotrebu, ne na kutiju

Model se može kopirati s jednog poslužitelja na drugi, a da pritom ništa ne nauči. Njegove težine, kod i oglašavane mogućnosti mogu ostati nepromijenjeni. No pitanje koje Europa postavlja o stvari oko njega može se potpuno promijeniti. Čemu služi? Tko ga koristi? Čiji položaj može promijeniti? Koji zapis ulazi u tijek rada? Tko može dovesti u pitanje odgovor, ispraviti ga, zaustaviti ga ili kasnije otkriti zašto je bio slijeđen?

To nije pokušaj da se jednostavna tema prikaže važnijom nego što jest. To je obična razlika između komponente i sustava. Kočioni disk nije cestovno vozilo. Formula u proračunskoj tablici nije porezna odluka. Model umjetne inteligencije opće namjene nije sam po sebi svaki sustav umjetne inteligencije koji se kasnije može izgraditi oko njega. Na tu je razliku lako kimnuti, a iznimno je lako izgubiti je čim na sastanku o nabavi netko počne govoriti o modelu kao da već sadrži cijelu buduću primjenu.

Akt o umjetnoj inteligenciji EU-a tu razliku drži na vidiku. Definira sustav umjetne inteligencije i zasebno definira model umjetne inteligencije opće namjene. Njegova pravila za visoki rizik odnose se na sustave umjetne inteligencije u posebnim okolnostima, uključujući sustave koji su sigurnosne komponente reguliranih proizvoda i sustave koji se koriste na navedenim područjima. Akt također čini namjenu središnjom za klasifikaciju i dokumentaciju sustava umjetne inteligencije. Ne poziva tim da pokaže na naziv modela, zalijepi crvenu, žutu ili zelenu oznaku i proglasi posao završenim.

To bi trebalo biti oslobađajuće, ali i zahtjevno. Model ne nosi trajni moralni horoskop. Pažljiva analiza može biti uska tamo gdje je namjena uska, a može postati ozbiljna tamo gdje ovlast, izloženost i posljedice postanu ozbiljni. Kvaka je u tome što analiza mora pratiti stvarni sustav. Ne demonstraciju. Ne prezentaciju dobavljača. Ne bezazleni zadatak kojim je projekt započeo prije šest mjeseci. Sustav koji će primati ulazne podatke, činiti izlazne podatke dostupnima, oblikovati odluku i biti u uporabi običnog utorka.

Razmotrimo namjerno hipotetski primjer. Isti jezični model najprije se povezuje s internim alatom za pretraživanje znanja. On dohvaća odlomke politika za educiranog kolegu koji može otvoriti izvorni dokument i napisati vlastiti odgovor. Kasnije organizacija povezuje model s obrascem za zaprimanje, daje njegovoj preporuci mjesto na vrhu zapisa predmeta, primjenjuje mjerač vremena na predmet i čini prihvaćanje preporuke najbržim načinom za pražnjenje reda čekanja. Nije potrebno nikakvo izmišljeno vijeće, pacijent, zaposlenik ili incident da bi se uočila promjena. Model može biti isti. Uloga izlaznih podataka, put podataka, poticaj, pogođena osoba i praktična ovlast sučelja nisu.

To je argument ovog članka: sustav s visokim rizikom nije model s visokim rizikom. Model može biti važan dio sustava i može imati vlastite obveze. No analiza rizika postaje smislena tek kada dosegne namjenu, kontekst primjene, korisnike, pogođene osobe i daljnju integraciju. Ti detalji nisu papirologija koja se dodaje nakon inženjeringa. Oni su okolnosti koje izlaznim podacima daju institucionalnu snagu.

Prijeđite pokazivačem ili odaberite sloj. Model je samo jedan sloj; posljedica se pojavljuje tek kad se slojevi susretnu.

Europa namjerno koristi dvije različite imenice

Razlika počinje u definicijama Akta. AI sustav je strojni sustav osmišljen za rad s različitim razinama autonomije koji može pokazivati prilagodljivost nakon stavljanja u upotrebu te koji iz ulaznih podataka zaključuje kako generirati izlaze poput predviđanja, sadržaja, preporuka ili odluka koje mogu utjecati na fizičko ili virtualno okruženje. Model AI-ja opće namjene drugačiji je: to je AI model sposoban kompetentno obavljati širok raspon različitih zadataka, bez obzira na to je li stavljen na tržište, i može se integrirati u različite nizvodne sustave ili aplikacije.

Te se definicije u svakodnevnom govoru preklapaju jer ista riječ, AI, obavlja velik dio neplaćenog posla. U procjeni se ne bi smjele preklapati. Model opće namjene stvoren je za putovanje. Njegove su moguće upotrebe namjerno široke. AI sustav je operativni aranžman kroz koji izlazi utječu na okruženje. Ima svrhu, konfiguraciju, sučelje i okruženje. Može uključivati model, više modela, deterministička pravila, baze podataka, senzore, ljude, postupke i mnogo malih odluka koje nitko ne naziva umjetnom inteligencijom sve dok ne zakažu.

Zato pružatelj modela AI-ja opće namjene i pružatelj ili korisnik AI sustava ne mogu jednostavno zamijeniti kontrolne popise. Smjernice Komisije o modelima AI-ja opće namjene kažu da pružatelji modela moraju nizvodnim pružateljima AI sustava staviti na raspolaganje informacije i dokumentaciju kako bi ti pružatelji mogli razumjeti mogućnosti i ograničenja modela te ispuniti vlastite obveze. Ta je rečenica zanimljivija nego što se na prvi pogled čini. Pretpostavlja da nizvodni pružatelj ima posao koji pružatelj modela ne može dovršiti. Dokumentacija modela putuje, ali ne završava putovanje.

U tome postoji praktična poniznost. Pružatelj modela može opisati arhitekturu, postupak obuke, evaluaciju, namijenjene zadatke, zahtjeve integracije, ulaze i izlaze, ograničenja i poznate uvjete. Nizvodni tim zna je li korisnik obučeni stručnjak, može li pogođena osoba osporiti ishod, je li preporuka savjetodavna po nazivu, ali obvezujuća u praksi, mijenja li poziv vanjskoj usluzi zapis te može li se pogrešna radnja poništiti. Nijedna strana sama nema potpunu sliku.

Podjela nije rupa u propisu. Ona je karta odgovornosti. Kaže da se sustavom ne može upravljati tako da se od pružatelja modela traži jamstvo kontrole nad implementacijom koju ne upravlja niti vidi. Također kaže da se integrator ne može pozivati na neznanje tamo gdje dokumentacija čini važno ograničenje vidljivim. Poanta nije uredna primopredaja između pravnih subjekata. Poanta je ne izgubiti pitanje u procjepu među njima.

Postoji i druga razlika koju vrijedi zadržati uz prvu. Klasifikacija visokog rizika sama po sebi nije dopuštenje, jamstvo sigurnosti, pravednosti ili zakonitosti. U svojem zajedničkom mišljenju o izvornom prijedlogu Komisije, Europski odbor za zaštitu podataka i Europski nadzornik za zaštitu podataka naglasili su da klasifikacija kao visokorizična ne znači nužno da je sustav sam po sebi zakonit ili da ga njegov korisnik može takvog primijeniti. Konačni akt promijenio je pravni okvir od tog mišljenja, ali temeljno upozorenje i dalje je korisno. Klasifikacija je regulatorni uvjet. Ona nije potvrda da institucija može prestati razmišljati.

To je važno jer oznaka visokog rizika može proizvesti dvije suprotne pogreške. Jedan tim može je tretirati kao trajnu mrlju na modelu i zaključiti da je rješenje jednostavno ne nastaviti s analizom. Drugi može dovršen postupak ocjene sukladnosti shvatiti kao dopuštenje za bilo koji kasniji kontekst. Oba pristupa zamjenjuju oznaku argumentom. Europa je odabrala nezgodniji pristup: identificirati sustav, njegovu namjenu i njegovu ulogu, zatim ispitati relevantne rizike i obveze tijekom njegova životnog ciklusa.

Namjena je polazište analize

Namjena zvuči skromno, gotovo administrativno. Nije. Akt je definira kao uporabu za koju je sustav umjetne inteligencije namijenjen od strane pružatelja, uključujući poseban kontekst i uvjete uporabe navedene u informacijama koje pružatelj dostavlja. Drugim riječima, namjena nije slogan na stranici proizvoda. Ona uključuje kontekst i uvjete u kojima pružatelj kaže da se sustav treba koristiti. Korisna izjava o namjeni ima jasne granice. Ona govori što sustav radi, za koga, s kojim ulaznim podacima, unutar kojeg tijeka rada i gdje njegova ovlast prestaje.

Usporedite dva opisa. Prvi kaže da sustav koristi umjetnu inteligenciju kako bi organizacijama pomogao donositi bolje odluke. Dovoljno je širok da stane na pozadinu konferencije, a previše širok da bi bio upotrebljiv. Drugi kaže da sustav obučenim pregledavateljima prikazuje nacrte sažetaka postojećeg predmeta s navedenim izvorima; ne može donijeti, prenijeti ili provesti odluku; pregledavatelj mora provjeriti navedene izvore prije uporabe sažetka; a funkcija nije dostupna za kategorije koje zahtijevaju poseban zakonski postupak. Drugi je opis manje uzbudljiv. No on je nešto s čime se inženjer, voditelj nabave, kolega iz odjela za usklađenost i pogođena osoba mogu konkretno ne složiti.

Namjena ne mora biti jedna rečenica. U ozbiljnom sustavu obično je riječ o sažetom paketu: zadatak, rezultat, korisnik, pogođena populacija, okruženje, ovlast, iznimke, ovisnosti i uvjeti. Zahtjevi Akta o tehničkoj dokumentaciji ostavljaju prostora upravo za takav prikaz. Prilog IV. traži opći opis sustava umjetne inteligencije, uključujući namjenu, osobe i skupine na kojima se sustav namjerava koristiti te posebne verzije ili oblike u kojima se stavlja na tržište. Također traži opise arhitekture sustava, zahtjeva za podatke, mjera ljudskog nadzora, praćenja životnog ciklusa i mjera upravljanja rizicima. Dokumentacija ima tu širinu jer kartica modela sama po sebi ne može opisati primjenu.

Namjena je također mjesto gdje tim otkriva da je opisivao ambiciju, a ne operaciju. Izjava da ćemo podržati djelatnike koji rade na predmetima može prikriti desetak različitih aranžmana. Pretražuje li alat dokumente, slaže li posao, sastavlja li odgovor, preporučuje li kategoriju, odbija li zahtjev, prosljeđuje li upozorenje, postavlja li prioritet ili poziva drugu uslugu? Koristi li ga kolega prije ili nakon što oblikuje neovisno mišljenje? Je li rezultat prijedlog na bočnoj ploči ili polje koje se mora potvrditi prije nego što zapis može napredovati? Je li učinak trenutačan, odgođen, povrativ ili ga je teško uočiti? Odgovor mijenja sustav čak i kada korisničko sučelje izgleda poznato.

Namjera pružatelja ne može učiniti da stvarnost nestane. Tim ne može sustavu dati široku praktičnu ovlast, opisati ga kao bezazlenog pomoćnika i očekivati da će taj opis riješiti stvar. No pravilno ograničena namjena i dalje je kontrola. Korisnicima govori koje su dokazi uzeti u obzir, integratorima govori što ne smiju olako proširivati, a recenzentima govori koja bi promjena ponovno otvorila procjenu. Nejasna namjena svako kasnije pitanje pretvara u raspravu o tome što se mislilo. Ograničena namjena omogućuje organizaciji da se zapita čini li još uvijek ono što je odobrila.

To postaje osobito važno kada organizacija unese bitnu izmjenu. Akt sadrži pravila o slučajevima u kojima distributer, uvoznik, implementator ili druga treća strana može postati pružatelj, uključujući kada sustav stavlja na tržište pod vlastitim imenom, unosi bitnu izmjenu ili mijenja namjenu na način koji uzrokuje da sustav postane visokorizičan. Točna pravna primjena ovisi o činjenicama i treba je provjeriti u kontekstu. Operativna je pouka jednostavnija: promjena integracije može biti upravljački događaj. Premještanje izlaza modela iz okvira za nacrt u red za odlučivanje može istodobno biti promjena proizvoda, promjena tijeka rada i promjena odgovornosti.

Kontekst nije kulisa

Kontekst implementacije često se tretira kao dio koji dolazi nakon pravog posla: popis zemalja, izbor hostinga, nekoliko korisničkih persona, možda dijagram sa strelicama koje poslušno vode slijeva nadesno. No kontekst oblikuje rizik. Ista vrsta izlaza može biti neugodna u jednoj okolini, a dalekosežna u drugoj. Pogrešan dovršetak u alatu za pisanje može se ispraviti u sljedećoj rečenici. Pogrešan prioritet u tijeku rada s oskudnim uslugama može odlučiti koju će datoteku osoba prvu vidjeti. Rezultat koji se čini kao jedan od mnogih ulaza može postati presudan ako je svaki drugi ulaz spor, nejasan ili skriven iza drugog tima.

Pristup Akta visokorizičnim sustavima odražava upravo to. Članak 6. povezuje klasifikaciju visokog rizika sa sustavima namijenjenima uporabi kao sigurnosne komponente određenih proizvoda ili sa sustavima iz Priloga III. Prilog III. navodi područja u kojima sustavi umjetne inteligencije mogu biti visokorizični jer su namijenjeni određenim uporabama, kao što su određene biometrijske uporabe, kritična infrastruktura, obrazovanje i strukovno osposobljavanje, zapošljavanje, pristup bitnim privatnim i javnim uslugama te pogodnostima, provedba zakona, migracije i nadzor granica te upravljanje pravosuđem i demokratskim procesima. Pravni detalji su važni, ali i gramatika. Ne kaže se da je tehnički artefakt visokorizičan u apstraktnom smislu. U više navrata kaže se namijenjen uporabi.

Članak 6. također sadrži kvalifikaciju za određene sustave iz Priloga III.: ne smatraju se visokorizičnima ako ne predstavljaju značajan rizik štete za zdravlje, sigurnost ili temeljna prava fizičkih osoba, uključujući time što ne utječu bitno na ishod donošenja odluka. Pružatelji moraju dokumentirati tu procjenu prije stavljanja sustava na tržište ili u uporabu. To nije opća iskaznica za izuzeće. To je podsjetnik da je stvarni učinak sustava važan. Korisna analiza sadrži dovoljno pojedinosti da objasni zašto sustav bitno utječe ili ne utječe na ishod. Ako se to objašnjenje ne može napisati bez uopćavanja, tim je naučio nešto prije objave.

Kontekst uključuje vrijeme. Preporuka na početku široke istrage ima drugačiji učinak od preporuke u trenutku kada osoba ima samo jednu priliku dostaviti materijal koji nedostaje. Uključuje i opseg. Pojedinačni recenzent može osporiti rezultat kada stigne pet predmeta dnevno, a prihvatiti ga bez provjere kada ih stigne petsto prije ručka. Uključuje i jezik. Recenzent koji može čitati dokaze na svom radnom jeziku može provoditi drugačiju vrstu nadzora od recenzenta koji prima sažeti prikaz materijala koji ne može samostalno provjeriti. Uključuje lokalni postupak, pravo na žalbu, broj zaposlenika, pristup stručnjaku, dostupnost rezervne opcije te to dopire li rezultat do osobe s dovoljno ovlasti da poduzme nešto korisno.

Ništa od toga ne zahtijeva izmišljenu katastrofu da bi bilo istinito. To je jednostavno način na koji sustavi funkcioniraju. Službena politika može propisivati čovjeka u petlji, ali sustav i dalje može biti funkcionalno automatski ako osoba nema vremena, informacija, ovlasti ili praktičnog načina da se usprotivi. Članak 14. Akta stoga govori o učinkovitom ljudskom nadzoru primjerenom rizicima, razini autonomije i kontekstu uporabe. Zahtijeva da se sustavi visokog rizika osmisle i razviju tako da ljudi mogu razumjeti relevantne mogućnosti i ograničenja, ostati svjesni sklonosti automatskom oslanjanju na rezultate, ispravno tumačiti rezultate, odlučiti ih ne upotrijebiti, nadjačati ih ili poništiti te sigurno zaustaviti sustav gdje je to primjereno. To su operativna pitanja. Na njih se ne može odgovoriti samo na temelju mjerila modela.

Odaberite način primjene. Model ostaje isti; granica sustava, ovlasti i potrebni dokazi ne ostaju.

Korisnici su dio upravljačke površine

Primamljivo je govoriti o korisnicima kao da sjede izvan sustava, drže tipkovnicu i osiguravaju ljudski dio. Oni su dio operativnog ustroja. Njihovo znanje, radno opterećenje, ovlasti, poticaji i putevi do pomoći određuju što rezultat čini. Sustav osmišljen za stručnjaka koji može pregledati izvorni materijal nije automatski prikladan za generalista od kojeg se očekuje rad pod pritiskom. Alat koji je koristan recenzentu koji može odbiti preporuku nije automatski prikladan za kolegu koji može samo kliknuti na odobri ili čekati nekoga drugog.

To ne znači da korisnik mora preispitivati svaku komponentu svaki put. To bi bilo čudno poimanje korisne tehnologije. To znači da nadzor treba biti osmišljen kao stvaran zadatak. Osoba mora znati kada se sustav koristi, koje je relevantno ograničenje, koji su dokazi dostupni, kakvo neslaganje može zabilježiti i što se događa nakon što ga zabilježi. Treba imati ovlasti koje odgovaraju odgovornosti. Tražiti od nekoga da nadzire rezultat koji ne može pauzirati, ispraviti ili preusmjeriti više je ukras nego ljudski nadzor.

Akt ovdje daje ulogu pružateljima usluga. Članak 26. zahtijeva od pružatelja usluga koji koriste sustave visokog rizika da poduzmu odgovarajuće tehničke i organizacijske mjere kako bi osigurali da sustave koriste u skladu s priloženim uputama. Od pružatelja se traži da ljudski nadzor dodijele fizičkim osobama s potrebnom stručnošću, osposobljenošću i ovlastima te da prate rad na temelju uputa. U određenim slučajevima također se zahtijeva da zadrže kontrolu nad automatski generiranim zapisima. To nije zahtjev da se u blizini drži stručna osoba za slučaj da se sučelje uznemiri. To je zahtjev da se organizira radna praksa.

O osposobljavanju se često govori kao o cjelovitom rješenju. Ono to nije. Osposobljavanje može pomoći osobi da prepozna ograničenje, ali ne može stvoriti izvorni zapis koji sučelje skriva. Ne može stvoriti vrijeme koje dizajn reda čekanja troši. Ne može stvoriti ovlasti koje ugovor zadržava negdje drugdje. Ne može popraviti integraciju koja opreznu preporuku pretvara u nepovratnu radnju. Organizacija bi, naravno, trebala osposobljavati ljude. Također bi trebala omogućiti da zadatak za koji ih osposobljava bude izvediv u sustavu koji im je stvarno dan.

Postoji koristan test: opišite radnju korisnika bez glagola pregledati. Što čitaju? Kakvu usporedbu mogu napraviti? Što mogu odbiti? Gdje odlazi obrazloženje? Tko ga vidi? Što se događa s preporukom nakon odbijanja? Može li osoba na koju rezultat utječe pitati što se dogodilo? Može li kasniji kolega rekonstruirati relevantno stanje? Ako su odgovori i dalje općeniti, dizajn nadzora vjerojatno je također općenit.

Taj se test primjenjuje i izvan sustava visokog rizika. Zakon ima poseban opseg i rokove; dobra operativna prosudba ne čeka oznaku kategorije prije nego što se upita je li osoba smještena u performativnu ulogu. Sasvim je moguće izgraditi alat niske važnosti koji ljude čini glupljima u vlastitom radu jer je rezultat previše uglađen da bi se doveo u pitanje. Također je moguće izgraditi ograničen alat koji povećava sposobnost osobe da postavlja dobra pitanja jer čuva dokaze, ograničava svoje ovlasti i čini nesigurnost vidljivom. Model može pridonijeti bilo kojem ishodu. Sustav odlučuje gdje ishod ima prostora da se dogodi.

Pogođene osobe sjede izvan konzole

Mnogi od najvažnijih ljudi u sustavu umjetne inteligencije nikada ga ne dotaknu. Mogu biti kandidat, učenik, radnik, pacijent, putnik, stanovnik, kupac, podnositelj zahtjeva, zajmoprimac, svjedok ili član javnosti. Možda ne znaju da je model bio uključen. Možda samo dožive odgovor koji stiže brzo, zahtjev koji je odgođen, uslugu koja postaje nedostupna, prioritet koji se mijenja ili odluku koja se čini nemogućom za razumjeti. Njihova odsutnost sa sučelja ne znači da su odsutni iz sustava.

To je jedan od razloga zašto se okvir rizika iz Akta odnosi na zdravlje, sigurnost i temeljna prava. Usmjerava pozornost na posljedice koje se ne mogu svesti na to je li prijavljeni kolega uživao u alatu. To je također razlog zašto izjava o svrsi treba imenovati osobe i skupine na kojima se sustav namjerava koristiti, kako zahtijeva Prilog IV. Sustav izgrađen oko kategorije koja se zove korisnik može tiho prikriti razliku između osobe koja upravlja sučeljem i osobe koja živi s rezultatom.

Pogođene osobe mijenjaju pitanja koja tim mora postaviti. Postoji li način da se zna da je sustav imao smislenu ulogu? Temelji li se odluka na informacijama koje se mogu ispraviti? Otežava li jezik, invaliditet, uređaj, lokacija ili administrativni status sudjelovanje? Prima li operativni tim signale od pogođenih osoba ili samo s nadzorne ploče? Dolazi li ispravak do podataka, preporuke, odluke i svih nizvodnih primjeraka koji su se na nju oslanjali? Ova pitanja nisu zahtjev da se svaki sustav pretvori u javno savjetovanje. Ona su zahtjev da se posljedica prati dovoljno daleko da se na drugom kraju vidi osoba.

Zakon o zaštiti podataka relevantan je ondje gdje se obrađuju osobni podaci, zajedno s okvirom Akta o umjetnoj inteligenciji. EDPB i EDPS jasno su to istaknuli u svom zajedničkom mišljenju iz 2021. o prijedlogu: postojeći zakon EU-a o zaštiti podataka primjenjuje se na obradu osobnih podataka unutar opsega prijedloga. Točna pravna analiza ovisit će o obradi i uključenim akterima. Pouka za upravljanje je jednostavna. Vježba klasifikacije ne može apsorbirati svaku drugu obvezu. Privatnost, nediskriminacija, sektorske obveze, zahtjevi upravnog prava, pravila o zaštiti potrošača i ugovorne obveze ne nestaju zato što je tim sastavio lijepo izrađen registar rizika.

Postoji i osnovno pitanje čitljivosti. Osoba ne mora postati stručnjakinja za strojno učenje da bi razumjela kako zatražiti ispravak. Ali sustav ne smije tehničku složenost koristiti kao razlog da ispravak učini nemogućim. Dobar put razlikuje što je sustav zabilježio, što je čovjek odlučio, koji su dokazi razmotreni, što ostaje neizvjesno i što se još može promijeniti. Ne tvrdi preciznost koju zapisi ne mogu potkrijepiti. U ovom području iskrenost nije samo ton glasa. Ona je dio usluge.

Integracija je mjesto gdje odgovornosti prelaze iz ruke u ruku

Timovi ponekad prikazuju arhitekturu umjetne inteligencije kao uredan lanac: model, upit, odgovor, korisnik. Stvarne implementacije više nalikuju gradskoj karti nakon što se netko sjetio servisnih cijevi. Postoje sustavi identiteta, spremišta za dohvat, dopuštenja za alate, redovi čekanja, sheme, predmemorije, platforme za promatranje, proširenja preglednika, skupni poslovi, pravila odobravanja, postavke zadržavanja, dobavljači i ljudi koji nasljeđuju zadatak jer je prethodna osoba otišla na godišnji odmor. Model je važan. Rijetko je sam.

Svaka integracija može promijeniti što sustav može učiniti i kako se pogreška kreće. Dohvat može učiniti da se izlaz modela čini utemeljenim dok je izvor zastario, nepotpun ili pogrešno opsega. Poziv alata može pretvoriti nacrt u promjenu stanja. Red čekanja može pretvoriti pravodobnu preporuku u zakašnjelu. Sloj orkestracije može odabrati drugu verziju modela ili upita. Korisničko sučelje može prikriti neizvjesnost koja postoji u nižem sloju. Integracija identiteta može korisnom alatu dati pristup materijalu koji korisnik inače ne bi mogao otvoriti. Nijedno od ovih zapažanja ne optužuje određeni proizvod ili organizaciju. Ona opisuju uobičajena svojstva sustava, što je upravo razlog zašto ih treba dokumentirati prije nego što postanu iznenađenje.

Komisijine smjernice o GPAI korisne su ovdje jer stavljaju informacije na točku primopredaje. Dokumentacija za nizvodne pružatelje namijenjena je tome da im pomogne razumjeti mogućnosti i ograničenja modela, njegove namijenjene zadatke, tehničke zahtjeve integracije, specifikacije ulaza i izlaza te informacije o podacima za obuku. Te su informacije nužne. Nisu dovoljne. Nizvodni timovi i dalje moraju odlučiti kako se model upućuje, prikazuje li se izlaz s dokazima, koja su dopuštenja za alate dopuštena, kako se promjena testira, koji se zapisnici zadržavaju i može li preporuka utjecati na određeni tijek rada.

Zato kupnja model usluge nije kupnja cjelovitog sigurnosnog položaja. Dokumentacija pružatelja može reći timu da model ima poznato ograničenje ili da je evaluiran pod određenim uvjetima. No ne može dokazati da je kupčev vlastiti indeks za pronalaženje podataka aktualan, da kupčevo osoblje ima potrebne ovlasti ili da pogođena osoba ima pristup kanalu za prigovor. S druge strane, kupac ne može zahtijevati od pružatelja modela da poznaje svaku lokalnu politiku ili nizvodni proces. Odgovorno postupanje nije pretvaranje da jedna strana može poznavati cijeli sustav. Odgovorno postupanje jest jasno označiti granicu i omogućiti kontinuirani protok dokaza preko nje.

Članak 25. pruža koristan pravni okvir za ovu operativnu stvarnost. On utvrđuje okolnosti u kojima se strana koja nije izvorni pružatelj smatra pružateljem visokorizičnog sustava umjetne inteligencije. To uključuje stavljanje sustava na tržište pod imenom ili zaštitnim znakom te strane, unošenje bitne izmjene ili izmjenu namjene na način koji dovodi do toga da sustav postane visokorizičan. Odredba je tehničke prirode i ovisi o konkretnim činjenicama; nitko ne bi trebao sam sebe klasificirati na temelju objave na blogu. No njezin je smjer jasan. Integracija i promjena namjene mogu promijeniti to tko nosi obveze pružatelja. Nizvodni aranžman nije zauvijek nizvodni samo zato što je izvorni model stigao odnekud drugdje.

Postoji institucionalni razlog da se to shvati ozbiljno. Kada se odgovornost mijenja u tišini, sigurnost i zaštita prava postaju igra organizacijskog ping-ponga. Pružatelj modela upućuje na implementaciju. Implementator upućuje na model. Integrator upućuje na uslugu u oblaku. Vlasnik usluge upućuje na konfiguraciju koja više ne postoji. Pogođene osobe dobiju dotjerano objašnjenje koliko je sve složeno. To može biti točno, ali nije odgovor. Sustav treba evidenciju o tome koja organizacija u svakom trenutku nosi odgovornost za pojedino pitanje na svakoj granici te kanal kojim se pitanje može uputiti kada se odgovor nalazi negdje drugdje.

Dokumentacija bi trebala opisivati sustav koji se još može mijenjati

Tehnička dokumentacija ima reputaciju da nastaje na kraju projekta s blagim daškom panike. Akt opisuje drugačiju ulogu. Za visokorizične sustave tehnička dokumentacija mora biti sastavljena prije stavljanja sustava na tržište ili puštanja u uporabu te se mora ažurirati. Popis iz Priloga IV. nadilazi ponašanje modela te obuhvaća namjenu, verzije, arhitekturu sustava, razvoj, zahtjeve za podatke, validaciju i testiranje, ljudski nadzor, točnost i mjere kibernetičke sigurnosti, upravljanje rizicima, izmjene i praćenje nakon stavljanja na tržište. To nije ukrasni dodatak. To je pokušaj očuvanja dovoljno informacija da netko može ispitati sustav nakon što je sastanak o pokretanju postao uspomena.

Dokumentacija funkcionira samo kada može prikazati odnose. Verzija modela mora biti povezana s verzijom sustava koja ju je koristila. Test mora biti povezan sa svojim ulaznim uvjetima i svrhom. Politika mora biti povezana s točkom provedbe. Korisnička uloga mora biti povezana s ovlastima koje ima u sučelju. Politika evidentiranja mora biti povezana s događajem koji može rekonstruirati. Izmjena mora biti povezana s procjenom koju je pokrenula. U suprotnom, tim ima zbirku dobrih dokumenata, ali nema načina odgovoriti na konkretno pitanje.

Dnevnici su sličan slučaj. Članak 12. zahtijeva da sustavi umjetne inteligencije visokog rizika imaju tehničke mogućnosti za automatsko bilježenje događaja tijekom životnog vijeka sustava, razmjerno predviđenoj namjeni. Dnevnici mogu pomoći u sljedivosti, praćenju nakon stavljanja na tržište i operativnom praćenju. Oni ne objašnjavaju odluku čarolijom. Dnevnik kasnijem istražitelju može reći da je alat pozvan, da je verzija bila aktivna ili da je recenzent kliknuo na kontrolu. Sam po sebi ne može utvrditi je li recenzent razumio dokaze, je li izvor unosa bio mjerodavan ili je li postupak bio pravedan. Zapisi su vrijedni jer istrazi daju pošteno polazište, a ne zato što uklanjaju potrebu za prosudbom.

Praćenje nakon stavljanja na tržište upotpunjuje sliku. Članak 72. zahtijeva od pružatelja sustava visokog rizika da uspostave i dokumentiraju sustav praćenja nakon stavljanja na tržište na način razmjeran prirodi tehnologija i rizicima sustava umjetne inteligencije visokog rizika. To ima jednostavnu implikaciju za timove koji provode implementaciju: objava nije trenutak u kojem sustav postaje potpuno poznat. Organizacija treba način da prima relevantne informacije, razlikuje signal od zaključka, odluči vrijedi li granica predviđene namjene i poduzme promjenu ili obustavi uporabu kada dokazi to zahtijevaju.

Taj posao nije glamurozan. Izgleda kao identifikatori verzija, jasni kriteriji za objavu, zapis o ovisnostima, test za put povratka, imenovani vlasnik za ograničenje i odluka koja ostaje vidljiva nakon što osoba koja ju je donijela promijeni ulogu. Izgleda kao pitanje je li se integracija promijenila prije pitanja je li se model promijenio. Izgleda kao zadržavanje dovoljno dokaza za ispravljanje posljedice, a ne samo njezino objašnjavanje naknadno. Dosadno ovdje nije suprotnost ambicioznom. To je dio koji omogućuje da ambicija stane unutar institucije.

Kako razmišljati o cijelom sustavu bez pretvaranja da postoji izvjesnost

Potpuna analiza nije potraga za univerzalnom ocjenom rizika. To je niz pitanja koja postaju preciznija kako dizajn postaje precizniji. Prvo pitanje je svrha: što bi ovaj sustav trebao činiti i što posebno ne bi trebao činiti? Drugo je posljedica: tko može biti pogođen, kako i kroz koju odluku ili uslugu? Treće je ovlast: koji izlaz može promijeniti stanje, utjecati na odluku, postaviti prioritet ili promijeniti ono što osoba prima? Četvrto je dokaz: što podupire uporabu sustava u ovom kontekstu i koji uvjeti omogućuju da se ti dokazi prenose?

Zatim dolaze neugodna pitanja. Što se događa kada je model nesiguran, pogrešan, nedostupan ili se koristi izvan svoje navedene granice? Što se mijenja kada je izvor zastario ili je alat uskraćen? Što ako je korisnik u žurbi, nov u ulozi ili ne može pregledati temeljni materijal? Što ako pogođena osoba zatraži ispravak? Što ako ažuriranje promijeni uputu, korpus za pretraživanje, zadane postavke sučelja, verziju modela ili dozvolu za ulogu? Odgovor je ponekad tehnička kontrola, ponekad postupak, ponekad uža uporaba, ponekad drugačiji vlasnik, a ponekad odluka da se ne implementira. Upravljanje koje nikada ne dopušta posljednji odgovor samo je odobravanje u ljepšem ruhu.

Korisno je držati nekoliko tvrdnji odvojenima. Potvrđena činjenica govori što je pružatelj modela dokumentirao ili što je organizacija primijetila u definiranom testu. Zaključak govori zašto ta činjenica može biti važna u određenom tijeku rada. Predložena kontrola govori što tim namjerava implementirati. Preostali rizik govori što ostaje nakon kontrole. Pravni zaključak govori što se primjenjuje prema zakonu. Te stvari nisu zamjenjive. Dobar dokument ih označava jer čitatelj možda treba osporiti jednu bez odbacivanja ostalih.

Na primjer, moguće je reći: dokumentacija pružatelja navodi da model ima određeno ograničenje; implementacijski tim zaključuje da bi ograničenje moglo utjecati na određenu upotrebu; tim predlaže provjeru izvora; provjera još nije testirana pod predviđenim opterećenjem; a pravni savjetnik mora procijeniti rezultirajuću upotrebu prema primjenjivom zakonu. Ta rečenica nije tako zadovoljavajuća kao zelena kvačica. No korisnija je od zelene kvačice jer ne ostavlja nikakvu dvojbu o tome što je utvrđeno, a što nije.

Timovi bi trebali biti posebno oprezni s riječju čovjek. Ljudska uloga može biti kontrola, ali samo ako ima definiran zadatak, odgovarajuće informacije, vrijeme, obuku, ovlasti i put do djelovanja. Ljudska uloga može također postati način prebacivanja krivnje na osobu najbližu ekranu. Razlika nije filozofska. Vidljiva je u tijeku rada. Ako recenzent može samo odobriti, ako se neslaganje gubi u nenadziranom polju za komentare ili ako nitko ne može ispraviti posljedicu nizvodno, sustav nije dobio smislen nadzor samo zato što je netko nešto kliknuo.

Isti oprez vrijedi i za transparentnost. Dugačak dokument može učiniti sustav opisivim, ali ne i osporivim. Nadzorna ploča može ga učiniti vidljivim, ali ne i razumljivim. Objava može korisniku reći da je uključena umjetna inteligencija, a da mu ne kaže što može učiniti u vezi s pogreškom. Korisno je pitanje praktično: može li relevantna osoba pronaći granicu, dokaze, odgovornu ulogu i put ispravka na mjestu gdje su ti elementi važni? Ako ne može, informacija postoji na pogrešnom mjestu da bi se upravljanje moglo provesti.

Kratka napomena od nas

U Dweveu naš javni Trust Centre tretira zapis o modelu i nizvodnu integraciju kao povezane, ali zasebne zapise. Njegova nizvodna stranica kaže da timovi koji integriraju ili implementiraju Loom trebaju trenutačne mogućnosti, ograničenja, sučelja, kontekst evaluacije i promjene, dok javni zapis navodi da je model jedna nit u širem tkivu komponenti i operativnih granica. To je dokumentacijski stav, a ne tvrdnja da javna stranica klasificira svaku moguću implementaciju ili dokazuje usklađenost za integratora. Svrha razdvajanja skromnija je: zapis o modelu trebao bi pratiti integraciju bez pretvaranja da zamjenjuje integratorovu vlastitu analizu sustava.

To je standard vrijedan zadržavanja. Pružatelj modela trebao bi učiniti korisne informacije dostupnima. Organizacija koja implementira ili integrira model trebala bi opisati stvarni sustav koji je izradila: svrhu, ljude, podatke, sučelja, ovlasti, praćenje i ispravke. Nijedna strana ne bi trebala koristiti dokumentaciju kao ceremonijalnu razmjenu u kojoj jedna strana prima PDF, a druga apsoluciju.

Teže je pitanje obično bolje

Kada se tim pita je li model visokorizičan, možda traži brz odgovor na opravdanu zabrinutost. No korisnije je pitanje obično duže: kakav sustav gradimo od ovog modela, za koju svrhu, u kojem kontekstu, s kojim ljudima i što se događa kada pogriješi? Na to se pitanje ne može uvijek odgovoriti na jednom sastanku. Može otkriti da je predložena upotreba uža nego što se očekivalo, da su dokazi nepotpuni, da korisnička uloga nema ovlasti, da ugovor ostavlja važnu granicu bez vlasnika ili da je nizvodna integracija tiho postala središte sustava.

Nijedan od tih nalaza nije neuspjeh inovacije. To su stvari koje institucija nauči prije nego što sustavu da moć da oblikuje tuđe mogućnosti. Europski se pristup često opisuje kao skup obveza. On je također disciplina imenovanja: imenuj svrhu, aktera, kontekst, verziju, pogođenu osobu, ograničenje, dokaze i put do intervencije. Kad su imenovane, te se stvari mogu ispitati, promijeniti i osporiti. Prije nego što su imenovane, obično se kasnije ponovno pojave kao iznenađenje.

Model može biti sposoban, pažljivo dokumentiran i vrijedan. Može također biti smješten u sustav koji od njega traži previše, skriva previše od svojih korisnika ili ostavlja premalo prostora osobi pogođenoj rezultatom. Razlika se stvara izvan težina. Tu živi težak posao, a tu je i ozbiljna prilika: graditi sustave čiji autoritet odgovara njihovim dokazima, čije granice preživljavaju integraciju i čiji operateri još uvijek mogu reći ne.

Izvori