Visokotvegan sistem ni visokotvegan model

Risk ne obstaja v modelu kot opozorilna nalepka. Izvira iz predvidenega namena, uporabe, pooblastil, vmesnikov in ljudi, ki morajo živeti s posledicami.

Visokotvegan sistem ni visokotvegan model

Oznaka se nanaša na uporabo, ne na škatlo

Model je mogoče kopirati z enega strežnika na drugega, ne da bi se pri tem česa naučil. Njegove uteži, koda in oglaševane zmogljivosti so lahko nespremenjene. Pa vendar se lahko vprašanje, ki ga Evropa postavlja o stvari okoli njega, povsem spremeni. Čemu je namenjen? Kdo ga uporablja? Čigav položaj lahko spremeni? Kateri zapis vstopi v delovni proces? Kdo lahko dvomi o odgovoru, ga popravi, ustavi ali pozneje odkrije, zakaj mu je sledil?

To ni poskus, da bi preprosto temo prikazali kot pomembnejšo, kot je. To je običajna razlika med komponento in sistemom. Zavorna ploščica ni cestno vozilo. Formula v preglednici ni davčna odločba. Splošnonamenski model umetne inteligence sam po sebi ni vsak sistem umetne inteligence, ki bi ga bilo mogoče pozneje zgraditi okoli njega. Tej razliki je lahko prikimati, a jo je izjemno lahko izgubiti, ko na sestanku o javnem naročilu začnejo govoriti o modelu, kot da že vsebuje celotno prihodnjo uvedbo.

Akt EU o umetni inteligenci to razliko ohranja v ospredju. Opredeljuje sistem umetne inteligence in ločeno opredeljuje splošnonamenski model umetne inteligence. Njegova pravila za visoko tveganje zadevajo sisteme umetne inteligence v posebnih okoliščinah, vključno s sistemi, ki so varnostne komponente reguliranih izdelkov, in sistemi, ki se uporabljajo na navedenih področjih. Akt prav tako določa, da je predvideni namen osrednjega pomena za razvrstitev in dokumentacijo sistema umetne inteligence. Ekipam ne dopušča, da bi pokazale na ime modela, nanj nalepile rdečo, rumeno ali zeleno oznako in razglasile delo za opravljeno.

To bi moralo biti osvobajajoče in hkrati zahtevno. Model ne nosi trajnega moralnega horoskopa. Skrbna analiza je lahko ozka tam, kjer je ozek tudi predvideni namen, in lahko postane resna tam, kjer postanejo resni avtoriteta, izpostavljenost in posledice. Težava je v tem, da mora analiza slediti dejanskemu sistemu. Ne predstavitvi. Ne predstavitvi dobavitelja. Ne neškodljivi nalogi, s katero se je projekt začel pred šestimi meseci. Sistemu, ki bo sprejemal vnose, omogočal dostop do rezultatov, oblikoval odločitev in deloval na povsem običajen torek.

Poglejmo si namerno hipotetičen primer. Isti jezikovni model je najprej povezan z notranjim orodjem za iskanje znanja. Usposobljenemu sodelavcu poišče odlomke iz politik, ki lahko odpre izvirni vir in sam napiše svoj odgovor. Pozneje organizacija model poveže z obrazcem za sprejem, njegovemu priporočilu dodeli mesto na vrhu zapisa primera, primeru doda časovnik in sprejetje priporočila postavi kot najhitrejšo pot do prazne čakalne vrste. Za opaziti to spremembo ni treba izmišljenega sveta, pacienta, zaposlenega ali dogodka. Model je lahko enak. Vloga rezultata, podatkovna pot, spodbuda, prizadeta oseba in praktična avtoriteta vmesnika pa niso.

To je argument tega članka: sistem z visokim tveganjem ni model z visokim tveganjem. Model je lahko pomemben del sistema in ima lahko lastne obveznosti. Toda analiza tveganja postane smiselna šele, ko doseže predvideni namen, okoliščine uvedbe, uporabnike, prizadete osebe in poznejšo integracijo. Te podrobnosti niso dokumentacija, ki se doda po končanem inženiringu. To so okoliščine, ki rezultatu dajejo institucionalno moč.

Premaknite kazalec ali izberite plast. Model je ena plast; posledica se pokaže šele, ko se plasti srečajo.

Evropa namenoma uporablja dva različna samostalnika

Razlika se začne v opredelitvah v aktu. Sistem umetne inteligence je strojni sistem, zasnovan za delovanje z različnimi stopnjami avtonomije in lahko po uvedbi izkazuje prilagodljivost, ki iz vhodnih podatkov sklepa, kako ustvariti izhode, kot so napovedi, vsebine, priporočila ali odločitve, ki lahko vplivajo na fizična ali virtualna okolja. Model umetne inteligence za splošne namene je drugačen: gre za model umetne inteligence, ki lahko kompetentno opravlja širok nabor različnih nalog, ne glede na to, ali je dan na trg, in ga je mogoče vključiti v različne nadaljnje sisteme ali aplikacije.

Ti opredelitvi se v vsakdanjem pogovoru prekrivata, ker ista beseda, umetna inteligenca, opravi ogromno neplačanega dela. V oceni se ne smeta prekrivati. Model za splošne namene je narejen za potovanje. Njegove možne uporabe so namenoma široke. Sistem umetne inteligence je operativna ureditev, prek katere izhodi vplivajo na okolje. Ima namen, konfiguracijo, vmesnik in okolje. Lahko vključuje model, več modelov, deterministična pravila, podatkovne zbirke, senzorje, ljudi, postopke in veliko majhnih odločitev, ki jih nihče ne imenuje umetna inteligenca, dokler ne spodletijo.

Zato si ponudnik modela umetne inteligence za splošne namene ter ponudnik ali uvajalec sistema umetne inteligence ne moreta preprosto izmenjati kontrolnih seznamov. Smernice Komisije o modelih umetne inteligence za splošne namene določajo, da morajo ponudniki modelov zagotoviti informacije in dokumentacijo ponudnikom nadaljnjih sistemov umetne inteligence, da lahko ti razumejo zmožnosti in omejitve modela ter izpolnijo lastne obveznosti. Ta stavek je bolj zanimiv, kot se zdi na prvi pogled. Predpostavlja, da ima ponudnik v nadaljnji verigi delo, ki ga ponudnik modela ne more opraviti namesto njega. Dokumentacija modela potuje, vendar ne zaključi poti.

V tem je praktična ponižnost. Ponudnik modela lahko opiše arhitekturo, postopek usposabljanja, vrednotenje, predvidene naloge, zahteve za integracijo, vhode in izhode, omejitve ter znane pogoje. Nadaljnja ekipa ve, ali je uporabnik usposobljen strokovnjak, ali lahko prizadeta oseba izpodbija izid, ali je priporočilo svetovalno po imenu, a zavezujoče v praksi, ali klic zunanje storitve spremeni zapis in ali je mogoče napačno dejanje preklicati. Nobena stran sama nima popolne slike.

Ta delitev ni vrzel v zakonodaji. Je zemljevid odgovornosti. Pravi, da sistema ni mogoče upravljati tako, da od ponudnika modela zahtevamo nadzor nad uvedbo, ki je ne upravlja in je niti ne vidi. Prav tako pravi, da se integrator ne more sklicevati na nevednost, kadar dokumentacija razkrije pomembno omejitev. Bistvo ni ustvariti čist predaj med pravnimi subjekti. Bistvo je, da se vprašanje ne izgubi v vrzeli med njimi.

Ob prvem razlikovanju je treba ohraniti še drugo. Visokorizična klasifikacija sama po sebi ne pomeni dovoljenja, varnosti, pravičnosti ali zakonitosti. Evropski odbor za varstvo podatkov in Evropski nadzornik za varstvo podatkov sta v skupnem mnenju o prvotnem predlogu Komisije poudarila, da razvrstitev med visokorizične sisteme ni nujno pomenila, da je sistem sam po sebi zakonit ali da ga lahko uporabnik tako tudi uporablja. Končni akt je od takrat spremenil pravno krajino, vendar osnovno opozorilo ostaja uporabno. Klasifikacija je regulativni pogoj. Ni potrdilo, da lahko institucija preneha razmišljati.

To je pomembno, ker lahko oznaka visokorizičnosti povzroči dve nasprotni napaki. Ena ekipa jo lahko obravnava kot trajno madež na modelu in sklene, da je odgovor preprosto ta, da ne pogleda dlje. Druga lahko zaključen postopek ugotavljanja skladnosti obravnava kot dovoljenje za kateri koli poznejši kontekst. Oba pristopa zamenjujeta oznako za argument. Evropa je izbrala bolj nepriročen pristop: opredeliti sistem, njegov namen in njegovo vlogo, nato pa preučiti ustrezna tveganja in obveznosti skozi njegov življenjski cikel.

Predvideni namen je izhodišče analize

Predvideni namen se sliši skromno, skoraj administrativno. Ni. Akt ga opredeljuje kot uporabo, za katero ponudnik nameni sistem umetne inteligence, vključno s posebnim kontekstom in pogoji uporabe, določenimi v informacijah, ki jih zagotovi ponudnik. Z drugimi besedami, namen ni slogan na strani izdelka. Vključuje kontekst in pogoje, v katerih ponudnik navaja, da naj se sistem uporablja. Uporabna izjava o namenu ima jasne meje. Pove, kaj sistem počne, za koga, s katerimi vhodi, v katerem delovnem procesu in kje se njegova pooblastila končajo.

Primerjajte dva opisa. Prvi pravi, da sistem z umetno inteligenco pomaga organizacijam pri boljših odločitvah. Dovolj širok je, da bi ga lahko natisnili na konferenčno ozadje, in preširok, da bi bil uporaben. Drugi pravi, da sistem usposobljenim pregledovalcem predstavlja osnutke povzetkov obstoječega spisa s povezanimi viri; ne more sprejeti, posredovati ali izvesti odločitve; pregledovalec mora pred uporabo povzetka preveriti navedene vire; funkcija pa ni na voljo za kategorije, ki zahtevajo ločen zakonski postopek. Drugi opis je manj vznemirljiv. Je pa tudi nekaj, s čimer se lahko inženir, vodja nabave, sodelavec za skladnost in prizadeta oseba konkretno ne strinjajo.

Namenu ni treba biti en sam stavek. Pri resnem sistemu je običajno strnjen sklop: naloga, rezultat, uporabnik, prizadeta populacija, okolje, pooblastila, izključitve, odvisnosti in pogoji. Zahteve po tehnični dokumentaciji v Aktu puščajo prostor prav za tovrstni opis. Priloga IV zahteva splošen opis sistema umetne inteligence, vključno s predvidenim namenom, osebami in skupinami, na katerih naj bi se uporabljal, ter posebnimi različicami ali oblikami, v katerih se daje na trg. Prav tako zahteva opise sistemske arhitekture, podatkovnih zahtev, ukrepov za človeški nadzor, spremljanja življenjskega cikla in ukrepov za obvladovanje tveganj. Dokumentacija ima to širino, ker sam opis modela ne more opisati uvedbe sistema.

Namen je tudi tam, kjer ekipa odkrije, da je opisovala ambicijo in ne delovanje. Besedna zveza podpirali bomo referente lahko skriva ducat različnih ureditev. Ali orodje išče po dokumentih, razporeja delo, pripravlja osnutek odgovora, priporoča kategorijo, zavrača vlogo, posreduje opozorilo, določa prednost ali kliče drugo storitev? Ali ga sodelavec uporablja pred oblikovanjem neodvisnega mnenja ali po njem? Ali je rezultat predlog na stranski plošči ali polje, ki ga je treba izpolniti, preden se spis lahko premakne naprej? Ali je učinek takojšen, zakasnjen, povraten ali težko opazen? Odgovor spremeni sistem, tudi če je uporabniški vmesnik videti znan.

Namen, ki ga opredeli ponudnik, ne more izbrisati resničnosti. Ekipa sistemu ne more dati široke praktične avtoritete, ga opisati kot neškodljivega pomočnika in pričakovati, da bo opis zadevo rešil. Toda ustrezno omejen namen je še vedno nadzor. Uporabnikom pove, kateri dokazi so bili upoštevani, integratorjem pove, česa ne smejo kar tako razširiti, pregledovalcem pa pove, katera sprememba bi znova odprla oceno. Nejaven namen vsako poznejše vprašanje spremeni v prepir o tem, kaj je bilo mišljeno. Omejen namen organizaciji omogoča, da se vpraša, ali še vedno počne tisto, kar je odobrila.

To postane še posebej pomembno, ko organizacija izvede bistveno spremembo. Akt vsebuje pravila o primerih, ko distributer, uvoznik, uvajalec ali druga tretja oseba lahko postane ponudnik, vključno s primeri, ko sistem da na trg pod lastnim imenom, izvede bistveno spremembo ali spremeni namen tako, da sistem postane visoko tvegan. Natančna pravna uporaba je odvisna od dejstev in jo je treba preveriti v kontekstu. Operativno sporočilo je preprostejše: sprememba integracije je lahko dogodek upravljanja. Premik izhoda modela iz osnutka v čakalno vrsto za odločanje je lahko hkrati sprememba izdelka, sprememba delovnega toka in sprememba odgovornosti.

Kontekst ni kulisa

Kontekst uvajanja se pogosto obravnava kot del, ki pride po pravem delu: seznam držav, izbira gostovanja, nekaj uporabniških profilov, morda diagram s puščicami, ki ubogljivo vodijo od leve proti desni. Toda kontekst daje tveganju njegovo obliko. Ista vrsta izhoda je lahko v enem okolju neprijetna, v drugem pa usodna. Napačen predlog v pisalnem pripomočku je mogoče popraviti v naslednjem stavku. Napačna prednostna naloga v delovnem toku s pomanjkljivimi viri lahko odloči, katero datoteko oseba najprej vidi. Ocena, ki se zdi le eden od mnogih vnosov, lahko postane odločilna, če so vsi drugi vnosi počasni, nejasni ali skriti za drugim oddelkom.

Pristop Akta k visokemu tveganju to odraža. Člen 6 povezuje razvrstitev visokega tveganja s sistemi, namenjenimi uporabi kot varnostne komponente določenih izdelkov, ali s sistemi iz Priloge III. Priloga III navaja področja, kjer so sistemi umetne inteligence lahko visoko tvegani, ker so namenjeni določenim uporabam, na primer nekaterim biometričnim uporabam, kritični infrastrukturi, izobraževanju in poklicnemu usposabljanju, zaposlovanju, dostopu do bistvenih zasebnih in javnih storitev ter ugodnosti, kazenskemu pregonu, migracijam in nadzoru meja ter izvajanju sodstva in demokratičnih procesov. Pravne podrobnosti so pomembne, pomembna pa je tudi slovnica. Akt ne pravi, da je tehnični izdelek visoko tvegan v abstraktnem smislu. Znova in znova pravi, da je namenjen uporabi.

Člen 6 vsebuje tudi pridržek za nekatere sisteme iz Priloge III: ne štejejo se za visoko tvegane, če ne pomenijo znatnega tveganja škode za zdravje, varnost ali temeljne pravice fizičnih oseb, tudi če ne vplivajo bistveno na izid odločanja. Ponudniki morajo to oceno dokumentirati, preden sistem dajo na trg ali ga začnejo uporabljati. To ni splošna izjema. Je opomnik, da je dejanski učinek sistema pomemben. Uporabna analiza vsebuje dovolj podrobnosti, da pojasni, zakaj sistem bistveno vpliva na izid ali ne. Če tega pojasnila ni mogoče napisati brez pavšalnih trditev, se je ekipa pred izdajo nekaj naučila.

Kontekst vključuje čas. Priporočilo na začetku široke preiskave ima drugačen učinek kot priporočilo v trenutku, ko ima oseba samo eno priložnost, da predloži manjkajoče gradivo. Vključuje obseg. Posamezni pregledovalec lahko izpodbija izid, ko vsak dan prispe pet primerov, in mu privzeto sledi, ko jih pred kosilom prispe petsto. Vključuje jezik. Pregledovalec, ki lahko prebere dokaze v svojem delovnem jeziku, lahko izvaja drugačno vrsto nadzora kot pregledovalec, ki prejme odločen povzetek gradiva, ki ga sam ne more preveriti. Vključuje lokalni postopek, pravico do pritožbe, kadrovske zmožnosti, dostop do strokovnjaka, razpoložljivost rezervne možnosti in to, ali izid doseže osebo z zadostno pooblastili, da stori nekaj koristnega.

Za nič od tega ni treba, da je izmišljena nesreča resnična. Tako preprosto delujejo sistemi. Formalna politika lahko določa človeka v zanki, vendar je sistem lahko še vedno funkcionalno avtomatski, če oseba nima časa, informacij, pooblastil ali praktične poti do nestrinjanja. Člen 14 uredbe zato govori o učinkovitem človeškem nadzoru, ki ustreza tveganjem, stopnji avtonomije in kontekstu uporabe. Zahteva, da so visokotvegani sistemi zasnovani in razviti tako, da lahko ljudje razumejo ustrezne zmogljivosti in omejitve, se zavedajo težnje po samodejnem zanašanju na izid, pravilno razlagajo izid, se odločijo, da ga ne bodo uporabili, ga preglasijo ali razveljavijo ter sistem po potrebi varno ustavijo. To so operativna vprašanja. Nanje ni mogoče odgovoriti zgolj z merilom uspešnosti modela.

Izberite način uvajanja. Model ostane na mestu; meja sistema, pooblastila in potrebni dokazi pa se spremenijo.

Uporabniki so del nadzorne površine

Zapeljivo je govoriti o uporabnikih, kot da sedijo zunaj sistema, držijo tipkovnico in poskrbijo za človeški del. So del delovne ureditve. Njihovo znanje, delovna obremenitev, pooblastila, spodbude in poti do pomoči določajo, kaj izid naredi. Sistem, zasnovan za strokovnjaka, ki lahko pregleda izvorno gradivo, ni samodejno primeren za splošnega uporabnika, od katerega se pričakuje hitro delo. Orodje, ki je uporabno za pregledovalca, ki lahko zavrne priporočilo, ni samodejno primerno za sodelavca, ki lahko samo klikne odobritev ali čaka na nekoga drugega.

To ne pomeni, da mora uporabnik vsakič znova preverjati vsako komponento. To bi bila nenavadna definicija uporabne tehnologije. Pomeni, da je treba nadzor oblikovati kot resnično nalogo. Oseba mora vedeti, kdaj se sistem uporablja, kakšna je ustrezna omejitev, kateri dokazi so na voljo, kakšno nestrinjanje lahko zabeleži in kaj se zgodi, potem ko ga zabeleži. Potrebuje pooblastila, ki ustrezajo odgovornosti. Zahtevati od nekoga, naj nadzoruje rezultat, ki ga ne more začasno ustaviti, popraviti ali preusmeriti, je manj človeški nadzor kot človeški okras.

Uredba daje uvajalcem tukaj vlogo. Člen 26 od uvajalcev sistemov z visokim tveganjem zahteva, da sprejmejo ustrezne tehnične in organizacijske ukrepe, da zagotovijo uporabo sistemov v skladu s priloženimi navodili. Od uvajalcev zahteva, da človeški nadzor dodelijo fizičnim osebam z ustreznimi kompetencami, usposabljanjem in pooblastili ter da spremljajo delovanje na podlagi navodil. V določenih primerih zahteva tudi, da samodejno ustvarjene dnevnike obdržijo pod svojim nadzorom. To ni prošnja, naj bo v bližini usposobljena oseba za primer, če bi vmesnik postal živčen. To je zahteva, da se uredi delovna praksa.

Usposabljanje se pogosto obravnava kot celoten odgovor. Ni. Usposabljanje lahko pomaga osebi prepoznati omejitev, ne more pa ustvariti zapisa o viru, ki ga vmesnik skriva. Ne more ustvariti časa, ki ga porabi zasnova čakalne vrste. Ne more ustvariti pooblastil, ki jih pogodba pridrži drugje. Ne more popraviti integracije, ki previdno priporočilo spremeni v nepreklicno dejanje. Organizacija bi morala ljudi seveda usposabljati. Prav tako bi morala poskrbeti, da je naloga, za katero jih usposablja, dejansko izvedljiva v sistemu, ki ga dobijo.

Obstaja uporaben preizkus: opišite uporabniško dejanje brez glagola pregledati. Kaj preberejo? Kakšno primerjavo lahko naredijo? Čemu se lahko odpovejo? Kam gre razlog? Kdo ga vidi? Kaj se zgodi s priporočilom po zavrnitvi? Ali lahko oseba, na katero rezultat vpliva, vpraša, kaj se je zgodilo? Ali lahko kasnejši sodelavec rekonstruira ustrezno stanje? Če odgovori ostanejo splošni, je verjetno splošna tudi zasnova nadzora.

Ta preizkus velja tudi zunaj sistemov z visokim tveganjem. Zakon ima poseben obseg in roke; dobro operativno presojanje ne čaka na oznako kategorije, preden vpraša, ali je bila oseba postavljena v performativno vlogo. Povsem mogoče je zgraditi orodje z nizkimi posledicami, zaradi katerega ljudje slabše razumejo lastno delo, ker je rezultat preveč gladek, da bi ga bilo mogoče izpodbijati. Prav tako je mogoče zgraditi omejeno orodje, ki poveča zmožnost osebe, da postavlja dobra vprašanja, ker ohranja dokaze, omejuje svoja pooblastila in naredi negotovost vidno. Model lahko prispeva k obema izidoma. Sistem odloči, kateri izid ima kje prostor, da se zgodi.

Prireditve osebe so zunaj konzole

Številne najpomembnejše osebe v sistemu umetne inteligence se ga nikoli ne dotaknejo. Lahko so kandidat, učenec, delavec, pacient, potnik, stanovalec, stranka, vlagatelj zahtevka, posojilojemalec, priča ali član javnosti. Morda ne vedo, da je bil model vključen. Morda doživijo le odgovor, ki pride hitro, zahtevo, ki je zamujena, storitev, ki postane nedostopna, prednost, ki se spremeni, ali odločitev, ki se zdi nemogoče razumljiva. Njihova odsotnost iz vmesnika ne pomeni, da so odsotni iz sistema.

To je eden od razlogov, zakaj se okvir tveganja v uredbi nanaša na zdravje, varnost in temeljne pravice. Usmerja pozornost na posledice, ki jih ni mogoče zreducirati na to, ali je prijavljeni sodelavec užival v orodju. Prav tako je razlog, zakaj bi morala izjava o namenu navesti osebe in skupine, na katere naj bi se sistem uporabljal, kot zahteva Priloga IV. Sistem, zgrajen okoli kategorije, imenovane uporabnik, lahko tiho prikrije razliko med osebo, ki upravlja vmesnik, in osebo, ki živi s posledico.

Pričakovane spremembe pri ljudeh spremenijo vprašanja, ki si jih mora zastaviti ekipa. Ali obstaja način, da vemo, da je imel sistem pomembno vlogo? Ali odločitev temelji na informacijah, ki jih je mogoče popraviti? Ali jezik, invalidnost, naprava, lokacija ali upravni status otežujejo sodelovanje? Ali operativna ekipa prejema signale od prizadetih ljudi ali samo z nadzorne plošče? Ali popravek doseže podatke, priporočilo, odločitev in vsa nadaljnja besedila, ki so se nanj opirala? Ta vprašanja niso poziv, da bi vsak sistem spremenili v javno posvetovanje. So poziv, da posledice spremljamo dovolj daleč, da na drugi strani zagledamo človeka.

Zakonodaja o varstvu podatkov je pomembna tam, kjer se obdelujejo osebni podatki, in sicer poleg okvira iz akta o umetni inteligenci. EDPB in EDPS sta to jasno poudarila v svojem skupnem mnenju iz leta 2021 o predlogu: obstoječa zakonodaja EU o varstvu podatkov se uporablja za obdelavo osebnih podatkov v okviru področja uporabe predloga. Natančna pravna analiza bo odvisna od obdelave in vpletenih akterjev. Vodstveni nauk je preprost. Postopek razvrščanja ne more prevzeti vseh drugih obveznosti. Zasebnost, prepoved diskriminacije, sektorske obveznosti, zahteve upravnega prava, pravila o varstvu potrošnikov in pogodbene obveznosti ne izginejo, ker je ekipa pripravila lep register tveganj.

Obstaja tudi osnovno vprašanje berljivosti. Človeku ni treba postati strokovnjak za strojno učenje, da bi razumel, kako zahtevati popravek. Toda sistem ne sme uporabljati tehnične zapletenosti kot razloga, da bi popravek onemogočil. Dobra pot razlikuje med tem, kaj je sistem zabeležil, kaj se je odločil človek, kateri dokazi so bili upoštevani, kaj ostaja negotovo in kaj je še mogoče spremeniti. Ne trdi, da ima natančnost, ki je zapisi ne morejo podpreti. Na tem področju poštenost ni le ton glasu. Je del storitve.

Integracija je mesto, kjer se odgovornosti prenašajo

Ekipe včasih arhitekturo umetne inteligence narišejo kot urejeno verigo: model, poziv, odgovor, uporabnik. Dejanske uvedbe so bolj podobne mestnemu zemljevidu, potem ko se nekdo spomni še na cevi komunalnih storitev. Obstajajo sistemi identitete, shrambe za pridobivanje, dovoljenja za orodja, čakalne vrste, sheme, predpomnilniki, platforme za opazovanje, razširitve brskalnika, paketna opravila, pravila odobritev, nastavitve hrambe, dobavitelji in ljudje, ki podedujejo nalogo, ker je prejšnja oseba odšla na dopust. Model je pomemben. Le redko je sam.

Vsaka integracija lahko spremeni, kaj sistem zmore in kako se napaka širi. Pridobivanje lahko povzroči, da se izhod modela zdi utemeljen, medtem ko je vir zastarel, nepopoln ali napačno opredeljen. Klic orodja lahko osnutek spremeni v spremembo stanja. Čakalna vrsta lahko pravočasno priporočilo spremeni v zamujenega. Orkestracijska plast lahko izbere drugo različico modela ali poziva. Uporabniški vmesnik lahko prikrije negotovost, ki obstaja v nižji plasti. Integracija identitete lahko uporabnemu orodju omogoči dostop do gradiva, ki ga uporabnik sicer ne bi mogel odpreti. Nobena od teh ugotovitev ne obtožuje določenega izdelka ali organizacije. Opisujejo običajne lastnosti sistema, kar je ravno razlog, zakaj bi morale biti dokumentirane, preden postanejo presenetljive.

Smernice Komisije o splošnonamenskih modelih umetne inteligence so tu uporabne, ker informacije postavljajo na mesto predaje. Dokumentacija za ponudnike v nadaljevanju verige naj bi jim pomagala razumeti zmogljivosti in omejitve modela, njegove predvidene naloge, tehnične zahteve za integracijo, specifikacije vhodov in izhodov ter informacije o podatkih za usposabljanje. Te informacije so potrebne. Niso zadostne. Ekipe v nadaljevanju verige se morajo še vedno odločiti, kako bo model pozvan, ali bo izhod prikazan z dokazi, katera dovoljenja za orodja so dovoljena, kako se preizkusi sprememba, kateri dnevniki se hranijo in ali lahko priporočilo vpliva na določen delovni proces.

Zato nakup storitve modela ni nakup celovitega tveganja. Dokumentacija ponudnika lahko ekipi pove, da ima model znano omejitev ali da je bil ocenjen pod določenimi pogoji. Ne more dokazati, da je kupčev iskalni indeks posodobljen, da ima kupčevo osebje potrebna pooblastila ali da ima prizadeta oseba dostop do poti za ugovor. Nasprotno pa kupec ne more zahtevati, da ponudnik modela pozna vsak lokalni predpis ali nadaljnji postopek. Odgovorno ravnanje ni pretvarjanje, da lahko ena stran pozna celoten sistem. Odgovorno ravnanje je, da se meja jasno opredeli in da se dokazi nemoteno prenašajo čeznjo.

Člen 25 ponuja uporabno pravno oznako za to operativno realnost. Določa okoliščine, v katerih se stranka, ki ni prvotni ponudnik, šteje za ponudnika sistema umetne inteligence z visokim tveganjem. Te vključujejo dajanje sistema na trg pod imenom ali blagovno znamko te stranke, bistveno spremembo ali spremembo namena uporabe, zaradi katere sistem postane visoko tvegan. Določba je tehnična in odvisna od dejstev; nihče se ne bi smel samorazvrščati na podlagi objave na spletnem dnevniku. Toda njen namen je jasen. Integracija in sprememba namena lahko spremenita, kdo nosi obveznosti ponudnika. Nadaljnja ureditev ni za vedno nadaljnja zgolj zato, ker je prvotni model prišel od drugod.

Obstaja institucionalni razlog, da to vzamemo resno. Ko se odgovornost spremeni tiho, postaneta varnost in pravno varstvo igra organizacijskega ping-ponga. Ponudnik modela kaže na uvedbo. Uvajalec kaže na model. Integrator kaže na oblačno storitev. Lastnik storitve kaže na konfiguracijo, ki ne obstaja več. Prizadete osebe dobijo izpiljeno razlago, kako zapleteno je vse skupaj. To je morda točno, vendar ni odgovor. Sistem potrebuje evidenco o tem, katera organizacija je lastnica vprašanja na vsaki meji, in pot, po kateri se vprašanje prenaša, ko je odgovor drugje.

Dokumentacija mora opisovati sistem, ki se lahko še spremeni

Tehnična dokumentacija ima sloves, da prispe na koncu projekta z rahlim vonjem po paniki. Uredba opisuje drugačno vlogo. Za sisteme z visokim tveganjem je treba tehnično dokumentacijo pripraviti pred dajanjem sistema na trg ali v uporabo in jo posodabljati. Seznam iz Priloge IV presega vedenje modela ter zajema namen uporabe, različice, sistemsko arhitekturo, razvoj, zahteve glede podatkov, validacijo in testiranje, človeški nadzor, natančnost in ukrepe kibernetske varnosti, obvladovanje tveganj, spremembe in spremljanje po dajanju na trg. To ni okrasna priloga. Gre za poskus ohranitve dovolj spomina, da lahko nekdo pregleda sistem, ko je sestanek ob zagonu postal že folklora.

Dokumentacija deluje le, če lahko prikazuje povezave. Različica modela mora biti povezana z različico sistema, ki jo je uporabljal. Test mora biti povezan s svojimi vhodnimi pogoji in namenom. Politika mora biti povezana s točko izvajanja. Vloga uporabnika mora biti povezana s pooblastilom, ki ga ima v vmesniku. Politika beleženja mora biti povezana z dogodkom, ki ga lahko rekonstruira. Sprememba mora biti povezana z oceno, ki jo je sprožila. V nasprotnem primeru ima ekipa knjižnico dobrih dokumentov, vendar ne more odgovoriti na določeno vprašanje.

Dnevniki so podoben primer. 12. člen zahteva, da imajo sistemi umetne inteligence z visokim tveganjem tehnične zmogljivosti za samodejno beleženje dogodkov v času življenjske dobe sistema, sorazmerno z njegovim predvidenim namenom. Dnevniki lahko pomagajo pri sledljivosti, spremljanju po dajanju na trg in operativnem spremljanju. Ne razložijo odločitve po magični poti. Dnevnik lahko poznejšemu preiskovalcu pove, da je bilo orodje poklicano, da je bila različica aktivna ali da je pregledovalec kliknil kontrolnik. Sam po sebi ne more ugotoviti, ali je pregledovalec razumel dokaze, ali je bil vir vnosa verodostojen ali ali je bil postopek pošten. Zapiski so dragoceni, ker preiskavi dajo pošteno izhodišče, ne zato, ker odpravljajo potrebo po presoji.

Spremljanje po dajanju na trg dopolnjuje sliko. 72. člen zahteva, da ponudniki sistemov z visokim tveganjem vzpostavijo in dokumentirajo sistem spremljanja po dajanju na trg na način, sorazmeren z naravo tehnologij in tveganji sistema umetne inteligence z visokim tveganjem. To ima preprosto posledico za ekipe za uvajanje: objava ni trenutek, v katerem sistem postane popolnoma znan. Organizacija potrebuje način za prejemanje ustreznih informacij, razlikovanje signala od zaključka, odločanje o tem, ali meja predvidenega namena še vedno velja, ter za spremembo ali prekinitev uporabe, kadar to zahtevajo dokazi.

To delo ni glamurozno. Videti je kot identifikatorji različic, jasna merila za objavo, evidenca odvisnosti, preizkus poti za razveljavitev, imenovani lastnik omejitve in odločitev, ki ostane vidna tudi potem, ko oseba, ki jo je sprejela, zamenja vlogo. Videti je kot vprašanje, ali se je integracija spremenila, preden se vprašamo, ali se je model spremenil. Videti je kot ohranjanje dovolj dokazov za odpravo posledice, ne le za njeno razlago po dejstvu. Dolgočasno tukaj ni nasprotje ambicioznega. Je del, zaradi katerega ambicija sodi v institucijo.

Kako razmišljati o celotnem sistemu, ne da bi se pretvarjali, da smo gotovi

Celovita analiza ni iskanje univerzalne ocene tveganja. Je zaporedje vprašanj, ki postanejo natančnejša, ko postane natančnejša zasnova. Prvo vprašanje je namen: kaj naj bi ta sistem počel in česa posebej ne bi smel početi? Drugo je posledica: kdo je lahko prizadet, kako in prek katere odločitve ali storitve? Tretje je pooblastilo: kateri izhod lahko spremeni stanje, vpliva na odločitev, določi prednostno nalogo ali spremeni to, kar oseba prejme? Četrto so dokazi: kaj podpira uporabo sistema v tem okviru in kateri pogoji omogočajo, da se ti dokazi prenašajo?

Nato pridejo neprijetna vprašanja. Kaj se zgodi, ko je model negotov, napačen, nedostopen ali uporabljen zunaj svojih navedenih meja? Kaj se spremeni, ko je vir zastarel ali je orodje zavrnjeno? Kaj pa, če je uporabnik v naglici, nov na delovnem mestu ali ne more pregledati osnovnega gradiva? Kaj pa, če prizadeta oseba zahteva popravek? Kaj pa, če posodobitev spremeni poziv, zbirko za pridobivanje, privzete nastavitve vmesnika, različico modela ali dovoljenja vlog? Odgovor je včasih tehnični nadzor, včasih postopek, včasih ožja uporaba, včasih drugačen lastnik in včasih odločitev, da se sistem ne uvede. Upravljanje, ki zadnjega odgovora nikoli ne dovoli, je zgolj odobritev v lepši preobleki.

Koristno je, da več trditev držimo ločeno. Potrjeno dejstvo pove, kaj je ponudnik modela dokumentiral ali kaj je organizacija opazila pri opredeljenem preizkusu. Sklepanje pove, zakaj je to dejstvo lahko pomembno v določenem delovnem procesu. Predlagani nadzor pove, kaj namerava ekipa uvesti. Preostalo tveganje pove, kaj ostane po nadzoru. Pravni zaključek pove, kaj velja po zakonu. Te stvari niso zamenljive. Dobra dokumentacija jih označi, ker bo bralec morda moral izpodbijati eno, ne da bi zavrgel druge.

Na primer, mogoče je reči: dokumentacija ponudnika navaja, da ima model določeno omejitev; ekipa za uvajanje sklepa, da bi omejitev lahko vplivala na določeno uporabo; ekipa predlaga preverjanje vira; preverjanje še ni bilo preizkušeno pri predvideni obremenitvi; pravna služba pa mora oceniti nastalo uporabo v skladu z veljavno zakonodajo. Ta stavek je manj zadovoljiv kot zelena kljukica. A je bolj uporaben kot zelena kljukica, ker ne pušča nobenega dvoma o tem, kaj je ugotovljeno in kaj ni.

Ekipe morajo biti še posebej previdne pri besedi človek. Človeška vloga je lahko nadzor, vendar le tam, kjer ima opredeljeno nalogo, ustrezne informacije, čas, usposabljanje, pooblastila in pot do ukrepanja. Človeška vloga lahko postane tudi način prenašanja krivde na osebo, ki je najbližje zaslonu. Razlika ni filozofska. Vidna je v delovnem toku. Če lahko pregledovalec samo odobri, če nestrinjanje izgine v nenadzorovanem polju za komentarje ali če nihče ne more popraviti posledice v nadaljevanju, sistem ni pridobil smiselnega nadzora samo zato, ker je nekdo nekaj kliknil.

Enaka previdnost velja za preglednost. Dolg dokument lahko naredi sistem opisljiv, ne pa tudi izpodbojen. Nadzorna plošča ga lahko naredi vidnega, ne pa tudi razumljivega. Razkritje lahko uporabniku pove, da je vključena umetna inteligenca, ne pove pa mu, kaj lahko stori glede napake. Uporabno vprašanje je praktično: ali lahko ustrezna oseba najde mejo, dokaze, odgovorno vlogo in pot do popravka na točki, kjer so te stvari pomembne? Če ne, so informacije na napačnem mestu, da bi lahko prišlo do upravljanja.

Majhna opomba z naše strani

Pri Dweve naš javni Trust Centre obravnava zapis o modelu in integracijo v nadaljevanju kot povezana, a ločena zapisa. Na strani o integraciji piše, da ekipe, ki integrirajo ali uvajajo Loom, potrebujejo trenutne zmogljivosti, omejitve, vmesnike, kontekst vrednotenja in spremembe, medtem ko javni zapis navaja, da je model ena nit v širšem prepletu komponent in operativnih meja. To je dokumentacijska drža, ne trditev, da javna stran razvršča vsako možno uvedbo ali dokazuje skladnost za integratorja. Namen ločitve je skromnejši: zapis o modelu naj potuje skupaj z integracijo, ne da bi se pretvarjal, da nadomešča lastno analizo sistema integratorja.

To je standard, ki ga je vredno ohraniti. Ponudnik modela mora dati na voljo uporabne informacije. Organizacija, ki model uvaja ali integrira, mora opisati dejanski sistem, ki ga je ustvarila: namen, ljudi, podatke, vmesnike, pooblastila, spremljanje in popravke. Nobena stran ne sme uporabljati dokumentacije kot ceremonialne izmenjave, pri kateri ena stranka prejme PDF, druga pa odvezo.

Težje vprašanje je običajno boljše

Ko ekipa vpraša, ali je model visoko tvegan, morda išče hiter odgovor na razumno skrb. Toda bolj uporabno vprašanje je običajno daljše: kakšen sistem ustvarjamo iz tega modela, za kakšen namen, v kakšnem kontekstu, s kakšnimi ljudmi in kaj se zgodi, ko je narobe? Na to vprašanje ni vedno mogoče odgovoriti na enem sestanku. Lahko razkrije, da je predlagana uporaba ožja, kot je bilo pričakovano, da so dokazi nepopolni, da vloga uporabnika nima pooblastil, da pogodba pušča pomembno mejo brez lastnika ali da je integracija v nadaljevanju tiho postala središče sistema.

Nobena od teh ugotovitev ni neuspeh inovacij. To so stvari, ki se jih institucija nauči, preden sistemu podeli moč, da oblikuje možnosti druge osebe. Evropski pristop pogosto opisujejo kot niz obveznosti. Je tudi disciplina poimenovanja: poimenuj namen, akterja, kontekst, različico, prizadeto osebo, omejitev, dokaze in pot do posredovanja. Ko so te stvari poimenovane, jih je mogoče preizkusiti, spremeniti in izpodbijati. Dokler niso poimenovane, se ponavadi pozneje znova pojavijo kot presenečenje.

Model je lahko zmogljiv, skrbno dokumentiran in dragocen. Prav tako je lahko umeščen v sistem, ki od njega zahteva preveč, svojim uporabnikom preveč prikriva ali pušča premalo prostora osebi, na katero rezultat vpliva. Razlika nastane zunaj uteži. Tam živi težko delo, tam pa je tudi resna priložnost: graditi sisteme, katerih avtoriteta se ujema z njihovimi dokazi, katerih meje preživijo integracijo in katerih upravljavci lahko še vedno rečejo ne.

Viri