Kdo sme ustaviti model, ko se zmoti?

Human oversight ni oseba, ki stoji ob modelu. Je avtoriteta, dokazi in varno stanje, ki nekomu omogočajo, da zavrne rezultat, prekine postopek in vrne delo...

Kdo sme ustaviti model, ko se zmoti?

Zakon Evropske unije o umetni inteligenci uporablja presenetljivo fizično besedo za digitalno obveznost. Člen 14 določa, da morajo ljudje, zadolženi za nadzor visokotveganega sistema umetne inteligence, imeti možnost posredovati ali prekiniti delovanje sistema s pomočjo gumba za zaustavitev ali podobnega postopka, ki omogoča, da se sistem ustavi v varnem stanju. Stavek govori o programski opremi. Deluje, kot da se je nekdo pametno spomnil, da je stroje mogoče izklopiti.

Ta spomin je pomembnejši, kot se sliši. V mnogih organizacijah se človeški nadzor obravnava kot prisotnost osebe nekje v bližini sistema. Pregledovalec prejme priporočilo. Upravljavec lahko odpre nadzorno ploščo. Vodja je imenovan v politiki. Za pritožbe obstaja podporni naslov. Takšna ureditev se nato opiše kot človek v zanki, kot da bi človeka postavili v zanko in bi zanka zaradi tega postala modra.

Pravo vprašanje je težje in bolj uporabno: ko je model napačen, negotov, zunaj svojega odobrenega namena ali se obnaša na način, ki ga dokazi ne podpirajo, kdo ima pooblastilo, da ustavi delo? Kdo lahko začasno ustavi nova dejanja, ne da bi čakal na dobavitelja? Kdo lahko prepreči, da bi že ustvarjeni izhodi postali odločitve? Kdo lahko ohrani stanje, ki ga je treba preiskati? Kdo lahko znova odpre pot in na podlagi katerih dokazov? Oseba, ki opazi težavo, vendar ne more spremeniti sistema, je priča. Oseba, ki lahko klikne gumb, vendar ne ve, kaj gumb ustavi, upravlja rekvizit.

Zato je treba pravico do zaustavitve načrtovati pred uvedbo. Potrebuje imenovano vlogo, obseg, varno stanje, sled dokazov, pot za eskalacijo in način vrnitve v delovanje, ki iste napake ne uvede tiho znova. Potrebuje dovolj tehničnih podrobnosti, da deluje, ko je sistem zaseden, dobavitelj ni na voljo in oseba, ki je zgradila prvotni potek dela, je prešla na drug projekt. Potrebuje tudi dovolj institucionalne jasnosti, da lahko oseba uporabi pooblastilo, ne da bi bila obtožena, da je prekinila inovacije.

Zaustavitev je zmogljivost, ne vljudnost

Zaustavitev se pogosto opisuje kot zadnja možnost, kar ji daje nesrečno ceremonialno kakovost. Organizacija obljubi, da lahko nekdo ustavi sistem, če okoliščine postanejo dovolj resne. Okoliščine nastopijo. Oseba poišče pooblastilo. Pooblastilo se izkaže za odstavek v dokumentu, dovoljenje, ki ga ima druga ekipa, ali naslov za eskalacijo, ki je nadzorovan v delovnem času. Sistem nadaljuje, zelo vljudno.

Zaustavitev ni razpoloženje. Je zmogljivost z vmesnikom in pogodbo. Vmesnik je lahko gumb, ukaz, politična vrata, preklican žeton, onemogočena pot, zadržanje čakalne vrste ali nadzorovan zaustavitev. Pogodba določa, kaj dejanje naredi, česa ne naredi, katero delo je preprečeno, kateremu delu je dovoljeno, da se zaključi, katero stanje se ohrani, kdo je obveščen in kako organizacija ve, da je zaustavitev učinkovala. Če teh odgovorov ni, beseda zaustavitev pomeni le, da se vsi strinjajo, da bi bila zaustavitev lepa.

Koristno je razlikovati med zaustavitvijo modela in zaustavitvijo posledice. Model lahko deluje, medtem ko so njegovi izhodi zadržani za pregled. Storitev lahko ostane na voljo za pripravo osnutkov z majhnim vplivom, medtem ko je njena pot priporočil zaprta. Orodje lahko vrača informacije samo za branje, medtem ko je dostop za pisanje preklican. Potek dela lahko sprejema nove primere, vendar jih noče posredovati v zunanjo odločitev. To so različne nadzorne površine. Če jih obravnavamo kot eno veliko rdeče stikalo, bodisi zaustavimo premalo bodisi uničimo več dela, kot je potrebno.

Proporcionalnost je pomembna, vendar proporcionalnost ni dovoljenje, da postanek postane nejasen. Pomočnik z nizkim tveganjem morda potrebuje lokalno zavrnitev in pot do človeka. Sistem, ki se uporablja na področju z visokim vplivom, morda potrebuje trdno oviro, preden lahko izhod vpliva na pravice osebe ali dostop do storitve. Avtonomno orodje, ki lahko spremeni zunanji zapis, morda potrebuje ločeno pot posredovanja od modela, ki samo napiše osnutek. Tveganje, stopnja avtonomije in kontekst uporabe določajo moč nadzora. Ne odpravljajo pa potrebe po nadzoru.

Jezik akta o umetni inteligenci je uporaben prav zato, ker človeški nadzor povezuje z resničnim ciljem tveganja. Namen nadzora je preprečiti ali zmanjšati tveganja za zdravje, varnost in temeljne pravice. Ni tam, da bi sistem okrasil s človeško silhueto. Če dodeljena oseba ne more prepoznati nepravilnosti, razlagati izhoda, ga preglasiti ali varno ustaviti delovanja, ureditev ni izpolnila praktičnega namena nadzora, ne glede na to, koliko podpisov je v projektni dokumentaciji.

Branje 14. člena kot inženirske specifikacije

14. člen se uporablja za visokotvegane sisteme umetne inteligence, ne za vsako programsko opremo, ki je dobila oznako umetne inteligence. Njegova prva zahteva je, da je sistem zasnovan in razvit tako, da ga lahko fizične osebe učinkovito nadzorujejo med njegovo uporabo. Besedna zveza med njegovo uporabo je pomembna. Pregled ob nakupu ni nadzor živega sistema. Tečaj usposabljanja, izveden pred zagonom, ni nadzor spremenjenega modela. Pojasnilo po incidentu ni nadomestilo za nadzor, ki bi lahko preprečil dejanje.

Druga zahteva daje nadzoru namen. Preprečiti ali zmanjšati mora tveganja, ki se pojavijo, ko se sistem uporablja za predvideni namen ali ob razumno predvidljivi zlorabi. To besedilo se upira priročnemu triku, pri katerem organizacija vsako škodljivo uporabo obravnava kot nepredvidljivo presenečenje. Ljudje bodo sisteme uporabljali pod pritiskom, z nepopolnimi informacijami, prek prevodov, v nenavadnih kombinacijah in na robu svojih navodil. Resna zasnova se vpraša, katera zloraba je razumno predvidljiva, in pregledovalcu omogoči način odziva, preden izhod pridobi institucionalno moč.

Tretja zahteva naredi nadzor sorazmeren s tveganjem, avtonomijo in kontekstom. Ponudnik lahko vgradi ukrepe v sistem in lahko tudi določi ukrepe, ki jih mora izvajalec uvesti. To je delitev dela, ne delitev odgovornosti. Ponudnik ne more predati sistema brez delujočega načina za prekinitev in kazati na izvajalca. Izvajalec ne more prezreti določenih omejitev in trditi, da je ponudnik varnost obljubil na abstraktni ravni. Nadzor mora preživeti mejo med dobavljeno stvarjo in načinom njene uporabe.

Četrti odstavek je mesto, kjer pravni jezik postane praktični kontrolni seznam. Osebe, dodeljene nadzoru, morajo biti sposobne razumeti ustrezne zmogljivosti in omejitve sistema. Spremljati ga morajo znati, tudi glede nepravilnosti, motenj in nepričakovanega delovanja. Zavedati se morajo pristranskosti avtomatizacije, težnje po zanašanju ali pretiranem zanašanju na strojni izhod. Izhod morajo znati razlagati. Odločiti se morajo znati, da ga ne bodo uporabili, da ga bodo prezrli, preglasili ali razveljavili. Nazadnje morajo znati posredovati ali prekiniti delovanje s pomočjo gumba za zaustavitev ali podobnega postopka, ki sistem pripelje v varno stanje.

Vsak glagol ustvarja drugačno obveznost pri oblikovanju. Razumevanje potrebuje uporabne informacije o obsegu in omejitvah. Nadzor potrebuje signale, čas in pot za njihov pregled. Ozaveščenost o pristranskosti avtomatizacije potrebuje usposabljanje in vmesnik, ki priporočila ne spremeni v privzeto sodbo. Interpretacija potrebuje dokaze in kontekst. Preklic potrebo po pooblastilu in zapis nestrinjanja. Prekinitev potrebuje prehod stanja, ki je varnejši od nadaljevanja. Ena sama zelena nadzorna plošča ne more zadovoljiti petih različnih glagolov zgolj s svojo velikostjo.

Akt vključuje tudi bolj specifično pravilo za določene visoko tvegane sisteme biometrične identifikacije. V primerih, ki jih zajema določba, odločitev ne sme temeljiti na rezultatu identifikacije, razen če sta jo ločeno preverili in potrdili vsaj dve pristojni, usposobljeni in pooblaščeni fizični osebi, ob upoštevanju navedenih zakonskih izjem. To je konkreten evropski primer nadzora, izraženega kot neodvisna avtoriteta in ne kot osamljen pregledovalec, ki klika skozi priporočilo. Prav tako kaže, zakaj mora oblikovanje poimenovati vrsto odločitve in dokaze, potrebne zanjo.

Člen 14 ne predpisuje enotnega modela kadrovanja. Postavlja mejo. Oseba mora imeti dovolj usposobljenosti, znanja in pooblastil za opravljanje vloge. Ponudnik in uvajalec morata nadzor prilagoditi sistemu. Organizacija mora še vedno določiti, katere vloge izvajajo katera dejanja, kdaj je ustavitev obvezna, kako se obravnava zadržani primer in kaj šteje kot varna vrnitev v delovanje. Zakon lahko zahteva vrata. Ne more izbrati osebe, ki ima ključ v vsaki stavbi.

Ustavitev ni konec upravljanja. Je prehod, ki omogoča preiskavo, popravek in obrambno sposobno vrnitev v delovanje.

Pet moči, skritih v besedi nadzor

Koristno je, da pet praktičnih moči iz člena 14 obravnavamo eno za drugo. Prva je razumevanje. Vloga nadzora ne more delovati na podlagi slogana, kot je model je običajno natančen. Vloga potrebuje predvideni namen, znane omejitve, vhodne pogoje, ustrezne dokaze o uspešnosti, načine odpovedi, politiko posodabljanja in pomen izhoda v dejanskem delovnem procesu. Razumevanje ni enako branju kartice modela. Je sposobnost prepoznati, kdaj dejanski primer pade izven pogojev, v katerih je bil sistem ovrednoten.

Drugo je spremljanje. Spremljanje se pogosto skrči na razpoložljivost, zakasnitev in modelno oceno. Ti kazalniki so pomembni, a storitev je lahko na voljo in hkrati napačna. Model lahko ohrani svojo skupno uspešnost, medtem ko zbirka virov zastari, jezikovna porazdelitev se spremeni, rok politike poteče ali ekipa v nadaljevanju začne uporabljati priporočilo kot samodejno odločitev. Operativno spremljanje sledi posledicam. Išče nepričakovano uspešnost, spremembe v vhodnih podatkih, spremembe v poti, nenavadne vzorce preglasitev, zavrnjene primere, pritožbe in znake, da sistem opravlja nalogo, ki mu ni bila dodeljena.

Tretje je razlaga. Človek ne more izvajati nadzora, če izhod prispe brez svojih pogojev. Razlaga lahko zahteva ustrezen vir, informacije o zanesljivosti, različico politike, signal kakovosti vhodnih podatkov, metodo razlage ali primerjavo z varno izhodiščno vrednostjo. Ne zahteva mističnega vpogleda v vsak parameter. Zahteva dovolj konteksta za odgovor na vprašanje, za katero je oseba odgovorna: kaj ta izhod pomeni tukaj, česa ne pomeni in kaj naj se zgodi, če dokazi niso zadostni?

Četrto je zavrnitev in preklic. Člen 14 izrecno daje nadzorni vlogi možnost, da se odloči, da sistema ne bo uporabila, da njegov izhod prezre, ga preglasi ali prekliče. To je močneje, kot če osebo prosimo, da po sprejetju rezultata doda komentar. Pomeni, da mora delovni tok omogočiti, da drugačna odločitev preživi. Alternativa se ne sme obravnavati kot izjema, ki izgine v naslednjem samodejnem koraku. Če se človek lahko ne strinja, a bo sistem vseeno izvedel prvotno priporočilo, je bil človek povabljen, da izrazi mnenje, ne pa da izvaja nadzor.

Peto je prekinitev. Prekinitev deluje na sami operaciji. Lahko ustavi klic orodja pred zunanjo spremembo, zadrži primer, prepreči vstop novih nalog v pot, prekliče dovoljenje ali preklopi storitev na omejeno nadomestno delovanje. Tehnična metoda se razlikuje. Varnostna lastnost pa ne: operacija mora priti v določeno stanje, v katerem se naslednje pomembno dejanje ne more zgoditi samo po vztrajnosti.

Te moči so povezane, a ne zamenljive. Oseba lahko razume sistem, a nima pravic, da ga ustavi. Oseba lahko ima gumb za zaustavitev, a nobenega koristnega signala, ki bi ji povedal, kdaj naj ga pritisne. Oseba lahko preglasi en rezultat, medtem ko paketni proces še naprej ustvarja enak rezultat za vse druge. Oseba lahko ustavi sprejem novih nalog, medtem ko obstoječa opravila še naprej pišejo v zunanji sistem. Zasnova nadzora mora povezati te moči skozi dejanski življenjski cikel dela.

Prav ta povezava je tudi tam, kjer človeška vloga postane dostojanstvena. Pregledovalec ni tam, da bi s podpisom prevzel negotovost sistema. Pregledovalec je tam, da izvaja omejeno pooblastilo, ki ga je organizacija namerno omogočila. Delo je lahko še vedno težko. Lahko zahteva strokovno znanje, presojo in pogum za izpodbijanje priljubljenega sistema. A težavnost ni razlog za skrivanje nadzora. Je razlog za njegovo natančno opredelitev.

Kdo dobi ključ?

V zanki ni enega samega človeka. Običajno obstaja več organov, vsak z drugačnim razlogom za posredovanje. Ponudnik nadzoruje dele zasnove in izdaje. Uvajalec nadzoruje namen, konfiguracijo in operativno uporabo. Oseba, dodeljena nadzoru, nadzoruje določeno odločitev ali posredovanje v času izvajanja. Lastnik domene nadzoruje, ali je izhod sprejemljiv v poklicnem kontekstu. Vloga za varnost ali zasebnost lahko nadzoruje dostop do dokazov ali podatkov. Prizadeta oseba ima lahko pravico izpodbijati izid. Pristojni organ lahko zahteva informacije, popravne ukrepe ali umik. Če vse te obravnavamo kot eno vlogo, sistem zveni preprosto, odgovornost pa postane nemogoča.

Odgovornost ponudnika se začne, preden sistem doseže uporabnika. Ponudnik odloča, kateri nadzori so vgrajeni, katere omejitve so dokumentirane, katere dnevnike je mogoče ustvariti in katere spremembe se obravnavajo kot pomembne. Ponudnik, ki pravi, da lahko uvajalec sistem preprosto spremlja, mora pokazati, kako lahko uvajalec to stori z zagotovljenim vmesnikom in informacijami. Če je zaustavitev odvisna od nedokumentiranega notranjega ukaza ali zahtevka za podporo z negotovim odzivom, zaustavitev ni zmožnost uvajalca. Je upanje, da bo dobavitelj ostal buden.

Uvajalec ima drugačno pooblastilo. Uvajalec odloča, kje se sistem uporablja, za kakšen namen, s katerimi podatki, v okviru katerega delovnega toka in s katerimi ljudmi, odgovornimi za nadzor. Uvajalec lahko svetovalni izid spremeni v dejansko odločitev z oblikovanjem vmesnika, spodbudami ali pritiskom, tudi če je ponudnik sistem natančno opisal. Uvajalec mora zato preslikati lokalno pot in ne le ponoviti namena dobavitelja. Ista komponenta ima lahko drugačen profil tveganja, ko je povezana z drugim dejanjem.

Vloga nadzora med izvajanjem potrebuje ožje in jasnejše pooblastilo. Ta oseba lahko zadrži primer, zavrne priporočilo, zahteva več dokazov, stopnjuje zadevo na lastnika domene ali sproži varno zaustavitev. Ne sme spreminjati modela, izbrisati dokazov, sprejemati pravnih odločitev ali nadaljevati začasno ustavljene poti. Te meje niso žalitev za to vlogo. Preprečujejo, da bi oseba, ki lahko ustavi postopek, lahko tudi izbrisala razlog za njegovo zaustavitev.

Pooblastilo naj sledi posledici. Pregledovalec, ki lahko začasno ustavi osnutek, ni nujno pooblaščen za začasno ustavitev vsake poti v organizaciji. Oseba, ki lahko ustavi dejanje, pomembno za varnost, morda potrebuje dostop do širše ekipe za incidente in jasno dolžnost obveščanja. Strokovnjak na področju je lahko edina oseba, ki sme razveljaviti izid pri regulirani odločitvi. Varnostni operater lahko izolira storitev, medtem ko drugo pooblastilo odloča, ali naj se uporaba nadaljuje. Pomembno ni ustvariti veličastne hierarhije. Pomembno je, da so predaje izrecne.

Stopnjevanja ne smemo zamenjevati z odrekanjem odgovornosti. Če prvi pregledovalec vsak težji primer posreduje odboru, sistem ni pridobil nadzora. Pridobil je počasnejšo čakalno vrsto. Pot stopnjevanja mora navajati, katero vprašanje se stopnjuje, katero delo je zadržano, dokler odgovor čaka, kdo mora odgovoriti, kateri dokazi spremljajo primer in kaj se zgodi, če pot ni na voljo. Prva oseba ostaja odgovorna za ohranitev primera in uporabo varne privzete možnosti. Ni dolžna sama izumiti končnega odgovora.

Pooblastilo potrebuje tudi pot vračila. Zaustavitev brez načina za vrnitev nadzora postane bodisi trajna prekinitev bodisi tiha obvodna pot. Pot vračila mora navajati, kdo lahko nadaljuje, kateri pogoji morajo biti izpolnjeni, ali zajeto stanje ostaja veljavno, katero čakajoče delo je treba ponovno oceniti in kako so uporabniki obveščeni, da se je pot spremenila. Nadaljevanje je druga odločitev. Zasluži si enako resnost kot prekinitev, čeprav le redko dobi enako privlačen gumb.

Zaustavitev mora biti varna

Besedna zveza varno stanje iz akta o umetni inteligenci si zasluži več pozornosti kot podoba strojne opreme gumba za zaustavitev. Sistem lahko preneha pošiljati nove zahteve in vseeno pusti nevarno delo v teku. Postopek lahko prekine sredi transakcije. Izid lahko opusti, ne da bi o tem obvestil osebo, ki je čakala na odločitev. Vidni vmesnik lahko onemogoči, medtem ko se načrtovano opravilo nadaljuje v ozadju. Model lahko ustavi in pusti predpomnjeno priporočilo na voljo naslednji storitvi. Zaustavitev je varna le glede na dejanske učinke sistema.

Določite stanja, preden izberete nadzor. Delujoča pot lahko sprejema, ocenjuje, priporoča in deluje. Zadržana pot ne sme sprejeti ničesar novega, mora pa ohraniti že prejeto gradivo. Ustavljena pot lahko zavrne vsa pomembna dela, hkrati pa omogoči pooblaščen pregled. Okrnjena pot lahko zagotavlja omejeno storitev, samo za branje ali samo za ljudi. Umaknjena pot lahko zahteva novo odobritev, preden se vrne. To so oblikovne odločitve, ne univerzalna imena. Postanejo uporabne, ko ljudje lahko vidijo, v katerem stanju so in kaj posamezno stanje dovoljuje.

Delo v teku potrebuje svoje pravilo. Nekatere operacije so reverzibilne in se lahko varno zaključijo. Nekatere so že prestopile zunanjo mejo in potrebujejo izravnalno dejanje. Nekatere je treba zavreči in ponovno ustvariti, ker dokazi niso več zanesljivi. Nekatere imajo majhen vpliv in lahko ostanejo kot osnutki. Sistem ne sme prisiliti upravljavca, da ugiba na podlagi ene same oznake stanja. Razkriti mora nabor dela, njegovo prehodno točko in dejanje, ki se bo zgodilo, če se ne stori ničesar drugega.

Varno stanje ščiti tudi dokaze. Zaustavitev sistema z brisanjem njegovih začasnih datotek lahko odstrani prav tisti kontekst, ki je potreben za razumevanje napake. Zaustavitev z puščanjem skrivnosti v širokem diagnostičnem izvozu lahko povzroči drugi incident. Nadzor potrebuje pot za ohranjanje dokazov z mejami dostopa, pravili hrambe in imenovanim lastnikom. Varnost in zasebnost tukaj nista tekmeca. Obe zahtevata premišljeno obravnavo in ne običajno nujno prakso kopiranja vsega v mapo z imenom nujno.

Preizkušanje zaustavitve je del uvajanja sistema. Gumb, ki je bil kliknjen le v predstavitvi, dokazuje, da je gumb mogoče klikniti. Ne dokazuje, da se sprejem ustavi, da se dejanja umirijo, da zapisi ostanejo skladni, da obvestila dosežejo prave ljudi ali da ponovni zagon ne ponovi dela dvakrat. Preizkus mora izvesti dejansko pot, vključno z delno napako in upravljavcem, ki ima predvideno pooblastilo, ne pa razvijalčevega zasebnega znanja. Če zaustavitve ni mogoče vaditi brez posebne predstave, to še ni operativni nadzor.

Čakalna vrsta je del odločitve

Zaustavitev sistema umetne inteligence si pogosto predstavljamo kot zaustavitev modela. V praksi je čakalna vrsta okoli modela del odločitve. Delo lahko čaka na vstop, na rezultat modela, na človeški pregled, na orodje v nadaljevanju ali na obvestilo. Vsak položaj ima drugačno tveganje. Zaustavitev, ki ščiti le model, lahko dovoli okoliški čakalni vrsti, da še naprej obravnava stare rezultate kot veljavne.

Čakajoče delo potrebuje politiko. Ali nov zahtevek prejme jasno zavrnitev, obvestilo o zamudi ali človeško pot? Ali rezultat, ustvarjen pred zaustavitvijo, ostane uporaben? Ali so primeri, ki še niso bili pregledani, označeni kot zahtevajo svežo oceno? Ali sistem razlikuje delo, ki ga je začasno ustavila oseba, od dela, ki tehnično ni uspelo? Ali lahko uporabnik umakne zahtevek, medtem ko je zadržan? Podrobnosti so odvisne od storitve, vendar odločitve ni mogoče prepustiti privzetemu vedenju čakalne vrste pri ponovnih poskusih.

Ponovni poskusi so še posebej razkrivajoči. Tehnična čakalna vrsta pogosto predpostavlja, da je treba operacijo, ki ni bila dokončana, poskusiti znova. Upravljavska čakalna vrsta ne more predpostavljati, da je treba isto priporočilo znova ustvariti, če je razlog za zaustavitev negotovost, obseg ali potencialna škoda. Ponovni poskus je lahko varen za idempotentno branje in nevaren za zunanje dejanje. Politika zaustavitve mora zato nositi razlog in dovoljen naslednji korak, ne le rdeč status.

Obstoječe izpise je treba razvrstiti. Nekateri so osnutki, na katere se ni zanesla nobena oseba. Nekateri so bili prikazani delavcu. Nekateri so bili prekopirani v zapisnik odločitve. Nekateri so sprožili obvestilo ali spremenili sistem zunaj poti umetne inteligence. Organizacija se ne more odločiti, kaj storiti z njimi, dokler ne ve, katero mejo je posamezni izpis prestopil. Zato sledljivost ni pisarniška dekoracija. Je zemljevid posledic, ki jih mora zaustavitev zajeti.

Čakalna vrsta spreminja tudi delovno obremenitev ljudi. Zaustavitev lahko zaščiti ljudi pred nevarnim avtomatiziranim dejanjem, hkrati pa ustvari veliko količino pregledovalnega dela. To delo je treba priznati, mu določiti prednost in zagotoviti vire. V nasprotnem primeru bo organizacija sčasoma znova odprla pot, ker so zadržani primeri postali nepriročni, ne zato, ker bi se dokazi izboljšali. Premor, ki škodo le prestavi v izčrpano ročno čakalno vrsto, je odlog z dobrimi nameni.

Ni sramota, če čakalna vrsta postane počasnejša, kadar je alternativa nepregledana posledica. Oblikovna težava nastane, ko čakalna vrsta nima modela zmogljivosti, pravila za razvrščanje in načina, kako prizadete ljudi obvestiti o dogajanju. Človeški nadzor ni brezplačna pozornost. Je operativna storitev z omejitvami, ki bi morale biti znane, preden stroj zaprosimo za delovanje v velikem obsegu.

Po zaustavitvi, spomin

Zaustavitev je dogodek, ki spremeni, kaj organizacija ve in kaj je dolžna storiti. Zapis mora vsebovati sprožilec, čas, pot, stanje pred posegom, uporabljeno pooblastilo, obseg zadržanja, prizadeto delo, zajete dokaze, opravljena obvestila in pogoje za pregled. Ločiti mora opazovanje od sklepa. Operater lahko zabeleži, da izpis ni bil skladen z zagotovljenimi dokazi, ne da bi trdil, da je bil incident dokazan. Natančnost v zapisu ščiti tako preiskavo kot vpletene ljudi.

Akt o umetni inteligenci obravnava vodenje evidenc kot tehnično lastnost sistemov z visokim tveganjem. Člen 12 od takih sistemov zahteva, da omogočajo samodejno beleženje dogodkov v njihovi življenjski dobi, z zmogljivostmi beleženja, ki podpirajo sledljivost, prepoznavanje tveganj, spremljanje po dajanju na trg in spremljanje delovanja. Člen 19 obravnava hrambo samodejno ustvarjenih dnevnikov pod nadzorom ponudnika, ob upoštevanju predvidenega namena in veljavne zakonodaje o varstvu podatkov. To je koristen opomin, da zaustavitev ne more biti odvisna od posnetka zaslona, sestavljenega naknadno. Sistem mora biti sposoben pustiti sled, medtem ko deluje.

Beleženje ni navodilo, da osebne podatke zbiraš za vedno. Je zahteva, da se zabeležijo dogodki, pomembni za namen in tveganje. Dober zapis zaustavitve lahko uporablja sklice, zgoščene vrednosti, identifikatorje različic, prirejeno vsebino in ločene nadzore dostopa. Vhodne podatke, potrebne za ponovitev, lahko hrani v zaščitenem skladišču, namesto da bi jih postavil v običajno nadzorno ploščo. Preiskava mora biti mogoča, ne da bi se skladišče dokazov spremenilo v drugo nenadzorovano podatkovno okolje.

Pomembna je tudi dolžnost ponudnika za korektivne ukrepe. Kadar ponudnik meni ali ima razlog za domnevo, da sistem z visokim tveganjem ni skladen, akt zahteva potrebne korektivne ukrepe, ki lahko vključujejo vzpostavitev skladnosti, umik, onemogočitev ali odpoklic sistema, kot je primerno. Izbira ni tržna odločitev. Je odziv, povezan z dokazi, obsegom in tveganjem. Uvajalec bo morda moral zaustaviti lokalno pot, preden ponudnik lahko zaključi to oceno. Ponudnik bo morda moral onemogočiti ali umakniti pot, ki jo uvajalec še vedno uporablja. Obe pooblastili morata biti sposobni komunicirati, ne da bi se izgubili dokazi, ki pojasnjujejo spremembo.

Poprodajno spremljanje razširi spomin prek enega samega dogodka. Akt opisuje sistem, ki aktivno in sistematično zbira, dokumentira in analizira ustrezne podatke skozi celotno življenjsko dobo visokotveganega sistema. Bistvo ni v tem, da bi ponudnik strmel v nadzorno ploščo. Bistvo je ugotoviti, ali sistem še naprej izpolnjuje zahteve in ali se je kontekst okoli njega spremenil. Zaustavitev je lahko prvi koristen signal v tem procesu. Niz majhnih posegov lahko pove več o primernosti sistema kot ena sama urejena ocena ob zagonu.

Resni incidenti imajo v Aktu ločeno pot poročanja, vključno z obveznostjo preiskave in korektivnih ukrepov po poročanju. Člen ne spremeni vsakega preglasovanja v resni incident. To razlikovanje je pomembno. Operater, ki prekliče priporočilo, lahko izvaja zdrav nadzor in ne odkriva dogodka, o katerem bi bilo treba poročati. Zapis mora ohraniti dovolj informacij, da se organizacija lahko odloči, kaj se je zgodilo, namesto da bi vsako nestrinjanje potisnil bodisi v molk bodisi v dramatično oznako.

Eskalacija je nadzorovan prenos vprašanja, ne vljuden način, da bi odgovornost izginila.

Eskalacija je pot, ne razpoloženje

Ljudje pogosto rečejo, da bi bilo treba težaven primer eskalirati. Besedna zveza zveni odgovorno, a ne vsebuje skoraj nobene operativne informacije. Eskalirati h komu? Za kakšno odločitev? S kakšnimi dokazi? V kakšnem času? Kaj je zadržano, medtem ko čakamo na odgovor? Kaj se zgodi, če nihče ne odgovori? Pot, ki ne odgovori na nobeno od teh vprašanj, bo nagradila vztrajnost in ne presoje. Primer bo bodisi krožil, dokler rok ne postane odločitev, bodisi bo tiho vrnjen osebi, ki je težavo prva opazila.

Uporabna eskalacija se začne z vprašanjem. Ali je rezultat zunaj odobrenega namena? Ali so dokazi nepopolni? Ali se je sistem spremenil po ocenjevanju? Ali obstaja tveganje za temeljno pravico? Ali je zunanje dejanje že nastopilo? Ali je težava tehnična, pravna, področno specifična, povezana z varnostjo ali kombinacija vsega? Vprašanje določa, katera vloga lahko nanj odgovori. Eskalacija, ki pošlje isti nediferenciran primer vsaki ekipi, ni temeljita. To je skupinski elektronski naslov s prihodnjim časom.

Vloga lokalnega nadzora bi morala imeti varen privzeti način, dokler je vprašanje odprto. To je lahko zadržanje, zavrnitev, vrnitev na pot, ki jo vodi izključno človek, ohranitev osnutka ali omejitev sistema na informacije samo za branje. Privzeti način bi moral biti viden osebi in, kjer je primerno, prizadetemu uporabniku. Tišina ni varen privzeti način, če se delovni tok pod njo nadaljuje.

Dokazi morajo potovati skupaj z eskalacijo. Vloga, ki prejme zadevo, ne bi smela rekonstruirati primera iz izpisa modela in časovnega žiga. Prejeti bi morala ustrezno referenco vnosa, izpis, različici modela in pravilnika, izvorno gradivo, signal zaupanja ali negotovosti, status dejanja, prejšnje posege in natančno odločitev, ki je potrebna. Tu je pomembna tudi disciplina glede zasebnosti. Pošljite dovolj za odgovor na vprašanje, ne celotnega življenja osebe, samo zato, ker je bil gumb za izvoz v bližini.

Eskalacija potrebuje uro, vendar ni vsaka ura rok za odobritev. Vprašanje z majhnim vplivom lahko počaka na običajen pregled. Dejanje z velikim vplivom lahko zahteva takojšnje zadržanje in pot prek dežurne službe. Pravilo glede časovnih okvirov bi moralo določiti, kaj se zgodi, ko okno za odziv poteče. Lahko podaljša zadržanje, prenese pooblastila, obvesti nadrejenega ali zahteva novo odločitev. Ne bi smelo tiho spremeniti manjkajočega odgovora v dovoljenje.

Zaključek je del eskalacije. Zapis bi moral vsebovati, kaj je bilo odločeno, kdo je odločil, na podlagi katerih dokazov, s katerimi omejitvami in katerim nadaljnjim ukrepanjem. Če je odgovor, da sistem lahko nadaljuje le v ožjem kontekstu, je treba novo mejo uporabiti, ne le občudovati. Če je odgovor, da je treba sistem umakniti, prizadeto delo in uporabniki potrebujejo načrt. Če je odgovor, da je bila anomalija benigna, bi morali dokazi še vedno vplivati na spremljanje in usposabljanje. Eskalacija, ki izgine po sestanku, ni postala institucionalno znanje.

Dobra eskalacija ščiti tudi osebo, ki sproži vprašanje. Pooblastilo za zaustavitev sistema je neuporabno, če se uporaba tega pooblastila obravnava kot nelojalnost. Organizacije učijo svoje resnične prednostne naloge skozi to, kaj se zgodi, ko oseba reče ne. Če je odziv radovednost, dokazi in podpora, se ljudje naučijo, da je nadzor del dela. Če je odziv krivda, zamuda in prošnja za več pozitivnosti, bo sistem prejel manj opozoril, opozorila, ki jih prejme, pa bodo prišla pozneje.

Človeški nadzor je delovna obremenitev

Sklicevanje zakona na usposobljenost, izobraževanje in pooblastila je lahko lahko razumljeno kot zahteva za kadrovsko službo. Je pa tudi zahteva glede zmogljivosti. Oseba ne more učinkovito spremljati sistema umetne inteligence, če vmesnik prikazuje preveč šuma, čakalna vrsta ne pušča časa za pregled, dokazi prihajajo v drugem orodju, odločitve se merijo le s hitrostjo ali če je organizacija delo dodelila nekomu brez strokovnega znanja. Vloga lahko obstaja na papirju in je še vedno nemogoče izvedljiva.

Usposabljanje bi moralo vključevati omejitve sistema, odobreni namen, znake nepričakovanega delovanja, pomen negotovosti, mehaniko preglasitve in zaustavitve, zasebnost dokazov ter pot po posegu. Vključevati bi moralo primere, ko je izpis videti verjeten. Nadzor je najbolj potreben, ko odgovor ni dovolj absurden, da bi ga takoj zavrnili. Tečaj, ki ljudi nauči prepoznati karikaturalno napačen odgovor, jih pripravi na predstavitev, ne na delujočo storitev.

Pristranskost avtomatizacije si zasluži praktično pozornost. Priporočilo lahko postane sidro, preden pregledovalec prebere podporna dejstva. Oznaka zaupanja je lahko razumljena kot verjetnost, tudi kadar to ni. Dodelana razlaga lahko deluje kot neodvisna potrditev, čeprav je zgolj ponovitev. Vrstni red vmesnika je pomemben. Če sistem najprej predstavi svoj odgovor in šele nato dejstva, lahko pregledovalec preostanek postopka porabi za zagovarjanje ali popravljanje prvega vtisa. Nadzor za zaustavitev, ki je skrit za istim delovnim tokom kot odobritev, prav tako sporoča, katero dejanje organizacija pričakuje.

Omejitve delovne obremenitve so varnostni nadzori. Pregledovalec, ki mora sprostiti veliko čakalno vrsto, se lahko nauči obravnavati privzeto vrednost modela kot najhitrejšo varno izbiro. Strokovnjak, ki prejema vsak dvoumen primer, lahko začne odobravati zgolj zato, da ohrani delovanje storitve. Majhna ekipa, ki skrbi za dežurno pot zaustavitve, je lahko nedosegljiva v urah, ko sistem dejansko deluje. To niso osebne napake. To so predvidljivi odzivi na zasnovo delovanja, ki od človeške presoje zahteva, da nadomešča neomejeno avtomatizacijo.

Izmerite delo nadzora samo. Kako pogosto so izhodi preglasovani? Kako pogosto je poskus zaustavitve? Kateri signali vodijo do posredovanja? Kako dolgo ostanejo zadržki odprti? Katere skupine ali jeziki povzročajo več negotovosti? Koliko popravkov je potrebnih, preden je izhod mogoče uporabiti? Metrike ne nadomeščajo presoje, lahko pa razkrijejo, da se obljubljeni nadzor spreminja v formalnost. Cilj ni kaznovati visoko stopnjo preglasovanj. Cilj je vprašati, kaj nam stopnja pove o sistemu in delovnem toku.

Evropske varnostne tradicije to že poznajo

Evropski politični jezik o zaupanja vredni umetni inteligenci se ni začel z aktom o umetni inteligenci. Leta 2019 je strokovna skupina na visoki ravni Evropske komisije za umetno inteligenco objavila etične smernice za zaupanja vredno umetno inteligenco. Smernice opredeljujejo človeško delovanje in nadzor kot eno od sedmih zahtev ter opisujejo pristope človek v zanki, človek nad zanko in človek v poveljevanju. Prav tako povezujejo nadzor s tehnično robustnostjo, načrti za izpad, preglednostjo, sledljivostjo in odgovornostjo. Pomembna ni terminologija. Pomembna je odločitev, da se zaupanja vrednost opiše kot niz pogojev, ki jih je mogoče oceniti.

Kasnejše ocenjevalno delo Komisije organizacijam omogoča, da te pogoje spremenijo v vprašanja. Ali se ljudje zavedajo, da komunicirajo s sistemom umetne inteligence? Ali lahko razumejo zmogljivosti in omejitve sistema? Ali lahko posredujejo in se odločijo, da ga ne bodo uporabili? Ali obstajajo mehanizmi za pravno varstvo? Kontrolni seznam ne naredi delovanja varnega. Oteži pa pretvarjanje, da je oseba, dodeljena nadzoru, samodejno tudi oseba, pooblaščena za njegovo izvajanje.

Delo agencije ENISA o kibernetski varnosti umetne inteligence obravnava to področje skozi življenjski cikel in ekosistem okoli modela. Njen zemljevid groženj za umetno inteligenco iz leta 2020 prikazuje sredstva, akterje, grožnje in faze od zahtev do uvajanja. Ta perspektiva je dragocena za zaustavljanje, ker stvar, ki jo je treba izolirati, morda ni model. Lahko je vir podatkov, dovoljenje za orodje, paket za uvajanje, pot spremljanja ali komponenta dobavitelja. Zaustavitev, zasnovana okoli imena modela, lahko pusti dejansko zmogljivost nedotaknjeno drugje v verigi.

To so dokumentirani evropski pristopi, ne trditve, da je Evropa rešila nadzor. Smernice in akt postavljajo pričakovanja. ENISA prikazuje varnostni problem. Delo pri izvajanju ostaja lokalno, tehnično in neizogibno vsakdanje. Nekdo mora še vedno odločiti, katera vloga lahko zadrži pot ob treh popoldne, katera dejstva se prikažejo na njegovem zaslonu in kdo odgovarja, ko je zaustavitev uporabljena.

Naročanje odloča pred operaterji

Številne težave pri zaustavitvi so odločitve o nabavi, oblečene v operativno preobleko. Pogodba lahko ponudniku omogoča zamenjavo modela brez uporabnega obvestila. Storitev morda ne izpostavlja dnevnikov ali identifikatorja različice. Izvoz lahko izpušča nedokončano delo in zgodovino posredovanj. Pogodba o podpori morda ne ponuja poti za odziv na varnostno zadržanje. Kupec je morda sprejel široko izjavo, da je stranka odgovorna za uporabo, ne da bi pridobil nadzor, potreben za izvajanje te odgovornosti. Ko operater zaprosi za izklop, je pogodba že odločila, ali ta izklop sploh obstaja.

Nabava bi morala zato postavljati operativna vprašanja. Katera stran lahko onemogoči posamezno pot? Ali lahko uvajalec ustavi pomembno dejanje, ne da bi čakal na podporo ponudnika? Kaj se zgodi z delom v teku in čakalno vrsto? Katero stanje se zajame? Kako so spremembe napovedane? Ali lahko stranka pridobi dnevnike in dokaze v uporabni obliki? Kaj je rezervna možnost, ko storitev ni na voljo? Katere vloge so usposobljene in kdo financira to usposabljanje? Kako se sporen rezultat popravi? Kako organizacija izstopi, ne da bi izgubila zapise, potrebne za pojasnitev prejšnjih odločitev?

Ta vprašanja niso poskus, da bi vsak dobavitelj postal javni organ. So način, kako ohraniti avtoriteto usklajeno z uporabo. Če organizacija nosi dolžnost zaščite ljudi, na katere vpliva sistem, potrebuje zadosten nadzor nad potjo, da to dolžnost izpolni. Pogodba, ki stranko pusti odgovorno, a operativno nemočno, ni model upravljanja. Je prenos odgovornosti z logotipom.

Kratka opomba od nas

Pri Dweve naše delo na odgovorni umetni inteligenci, temelječi na stanjih, poudarja isto skromno sporočilo z inženirske strani: odgovoren delovni tok ima poimenovana stanja, zaščite, zapise, lastnike in izhode. To ni trditev, da diagram lahko reši upravljanje. Je opomnik, da načela potrebujejo prostor, kjer se lahko uresničijo, ko sistem deluje. Ne glede na to, ali je orodje komponenta Dweve, storitev javnega sektorja ali model dobavitelja, je preizkus enak. Ali lahko resnična oseba vidi težavo, uveljavi avtoriteto, ustavi naslednjo posledico, ohrani dokaze in vrne delo v obrambno stanje?

Vprašanja pred uvedbo

Preden model vstopi v pomemben delovni tok, postavite vprašanja o zaustavitvi v prostoru, kjer bo sistem dejansko deloval. Ne prepustite jih pregledu politik, ki nikoli ne vidi čakalne vrste, orodnega prehoda ali osebe, ki bo prejela opozorilo.

  • Kaj točno je mogoče ustaviti? Poimenujte pot modela, klic orodja, čakalno vrsto, obvestilo, dejanje zapisa in nadaljnjo storitev. Če je odgovor samo proces modela, poiščite zmogljivost, ki ostane po njegovi ustavitvi.
  • Kdo ga lahko ustavi, ne da bi vprašal graditelja? Poimenujte vlogo v izvajalnem okolju, njeno pooblastilo, njeno rezervo in njeno mejo. Oseba za uporabo nadzora ne bi smela potrebovati zasebnega znanja o izvedbi.
  • Kateri signal ji sporoči, naj ukrepa? Opredelite nepravilnosti, manjkajoče dokaze, spor obsega, nesprejemljivo negotovost, spremembo politike, varnostni pomislek in izziv uporabnika na način, ki ga lahko opazuje operater.
  • Kaj se zgodi z delom, ki je že v teku? Ločite nov sprejem, čakajoče delo, operacije v izvajanju, rezultate, prikazane ljudem, in že izvedena dejanja. Vsakemu dodelite varno obravnavo.
  • Kaj je varno stanje? Opišite, kaj sistem po prekinitvi sprejme, zavrne, zadrži, dokonča ali razkrije. Preizkusite, ali je stanje resnično in ne le oznaka na zaslonu.
  • Kateri dokazi se ohranijo? Ohranite ustrezne vnose, izpise, različice, politiko, vire, človeška dejanja, časovne okvire in obvestila z ustreznimi ukrepi za varovanje zasebnosti.
  • Kdo prejme eskalacijo? Navedite vprašanje odločitve, časovni okvir odziva, paket dokazov in privzeto stanje med čakanjem. Seznam prejemnikov ni zemljevid pooblastil.
  • Kdo lahko nadaljuje, zoži ali umakne pot? Odločitev o vrnitvi izrecno opredelite. Določite pogoje, ponovno oceno, obveščanje uporabnikov in sprožilec pregleda, ki jo spremljajo.
  • Kaj vam bo povedalo, da nadzor odpoveduje? Spremljajte vzorce obvladovanja, trajanje zadržanja, ponavljajoče se incidente, neenakomerne učinke, pritisk v čakalni vrsti, pritožbe uporabnikov in odmik v okoliškem delovnem toku. Redko uporabljena ustavitev lahko pomeni varen sistem ali skrit nadzor.

Vprašanja so namerno preprosta. Niso nadomestilo za oceno tveganja, postopek skladnosti, načrt za incidente ali pravni pregled. So točka, na kateri te dejavnosti postanejo operativne. Če organizacija nanje ne more odgovoriti, manjkajoče delo ni filozofsko nesoglasje o tem, ali je umetni inteligenci mogoče zaupati. Je manjkajoči del sistema.

Pooblastilo za ustavitev je pooblastilo za skrb

Model je lahko napačen na način, ki je videti običajen. Vir je star. Vnos je nepopoln. Pot se je razširila. Prag je bil premaknjen. Prevod je spremenil pomen. Pooblastilo orodja je preživelo svoj namen. Pregledovalcu je prikazan sklep, ne pa dokazi. Noben alarm se ne oglasi, ker je sistem še vedno na voljo in nadzorna plošča je še vedno zelena. Škoda se začne kot majhno neskladje med tem, kar je sistem smel storiti, in tem, kar organizacija zdaj od njega pričakuje.

Človeški nadzor je odgovor institucije na to neskladje, vendar le, kadar je več kot le prisotnost. Vloga nadzora potrebuje znanje za prepoznavanje težave, čas za preiskavo, pooblastilo za zavrnitev ali prekinitev, varno stanje, ki prekinitev naredi smiselno, in zapise, ki drugim ljudem omogočijo razumevanje, kaj se je zgodilo. Potrebuje eskalacijo, ki nosi vprašanje in dokaze, ne pa nejasne prošnje za pomoč. Potrebuje nadaljevanje, ki je odločitev, ne pa konec izpada.

Evropski akt o umetni inteligenci ima prav, ko za visoko tvegane sisteme uporablja jezik posredovanja in varne ustavitve. Upravljanju daje fizični rob. Od ljudi, ki načrtujejo in uvajajo sisteme, zahteva, da človeški nadzor omogočijo med uporabo, ne le da je občudovanja vreden načeloma. Prejšnje delo Komisije o zaupanja vredni umetni inteligenci in pristop ENISA k življenjskemu ciklu krepita isto smer: nadzor sodi v delovanje sistema, njegove dokaze in njegovo okoliško dobavno verigo.

Pri Dweve imamo raje neromantično različico te ideje. Resen sistem mora poznati svoja stanja, svoje meje in svojega lastnika. Znati mora zadržati delo, pokazati, zakaj ga je zadržal, in pošteno ustaviti, ko dokazi niso zadostni. To ni posebna vrlina ene arhitekture. To je minimalno spoštovanje, ki ga dolgujemo ljudem, ki morajo živeti z rezultatom.

Ko je model napačen, odločilno vprašanje ni, ali je bil človek tehnično prisoten. Odločilno je, ali je imenovana človeška avtoriteta lahko spremenila to, kar se je zgodilo naprej, in ali si je organizacija lahko zapomnila spremembo. Če je odgovor pritrdilen, nadzor opravlja svoje delo. Če je odgovor nikalen, ima sistem poleg sebe osebo, nekje gumb in nobene zavore.

Viri