Tko smije zaustaviti model kad pogriješi?

Human oversight nije osoba koja stoji pokraj modela. To je ovlast, dokaz i sigurno stanje koji nekome omogućuju da odbije rezultat, prekine postupak i vrati...

Tko smije zaustaviti model kad pogriješi?

Uredba Europske unije o umjetnoj inteligenciji koristi iznenađujuće fizičku riječ za digitalnu obvezu. Članak 14. kaže da osobe zadužene za nadzor sustava umjetne inteligencije visokog rizika moraju moći intervenirati ili prekinuti rad sustava putem gumba za zaustavljanje ili sličnog postupka koji omogućuje da se sustav zaustavi u sigurnom stanju. Rečenica govori o softveru. Zvuči kao da je netko razumno zapamtio da se strojevi mogu isključiti.

To pamćenje važnije je nego što zvuči. U mnogim organizacijama ljudski nadzor tretira se kao prisutnost osobe negdje u blizini sustava. Recenzent prima preporuku. Operater može otvoriti nadzornu ploču. Voditelj je imenovan u politici. Adresa za pritužbe postoji. Taj se aranžman zatim opisuje kao čovjek u petlji, kao da je ljudsko biće smješteno unutar petlje i da je petlja zbog toga postala mudra.

Pravo je pitanje teže i korisnije: kada je model pogrešan, nesiguran, izvan svoje odobrene namjene ili se ponaša na način koji dokazi ne mogu poduprijeti, tko ima ovlast zaustaviti rad? Tko može pauzirati nove radnje bez čekanja na dobavljača? Tko može spriječiti da već generirani rezultati postanu odluke? Tko može sačuvati stanje koje treba istražiti? Tko može ponovno otvoriti put i na temelju kojih dokaza? Osoba koja može primijetiti problem, ali ne može promijeniti sustav, svjedok je. Osoba koja može kliknuti gumb, ali ne zna što gumb zaustavlja, upravlja rekvizitom.

Zato pravo na zaustavljanje mora biti osmišljeno prije uvođenja u uporabu. Potrebna je imenovana uloga, opseg, sigurno stanje, trag dokaza, put za eskalaciju i način povratka u rad koji neće tiho ponovno uvesti isti kvar. Potrebno je dovoljno tehničkih detalja da funkcionira kada je sustav zauzet, dobavljač nedostupan, a osoba koja je izvorno izradila tijek rada prešla na drugi projekt. Potrebna je i dovoljna institucionalna jasnoća da osoba može upotrijebiti ovlast bez optužbi da je prekinula inovaciju.

Zaustavljanje je sposobnost, a ne usluga

Zaustavljanje se često opisuje kao posljednje sredstvo, što mu daje nesretnu ceremonijalnu kvalitetu. Organizacija obećava da netko može zaustaviti sustav ako okolnosti postanu dovoljno ozbiljne. Okolnosti nastupe. Osoba traži ovlast. Ispostavi se da je ovlast odlomak u dokumentu, dopuštenje koje drži drugi tim ili adresa za eskalaciju koja se prati tijekom radnog vremena. Sustav nastavlja, vrlo pristojno.

Zaustavljanje nije raspoloženje. To je sposobnost s sučeljem i ugovorom. Sučelje može biti gumb, naredba, politička kapija, opozvani token, onemogućeni put, zadržavanje u redu čekanja ili kontrolirano isključivanje. Ugovor kaže što radnja čini, što ne čini, koji je rad spriječen, kojem je radu dopušteno da završi, koje se stanje zadržava, tko se obavještava i kako organizacija zna da je zaustavljanje stupilo na snagu. Ako ti odgovori nedostaju, riječ zaustavljanje znači samo da se svi slažu da bi zaustavljanje bilo lijepo.

Postoji korisna razlika između zaustavljanja modela i zaustavljanja posljedice. Model može raditi dok se njegovi rezultati zadržavaju radi pregleda. Usluga može ostati dostupna za izradu nacrta niskog rizika dok je njezin put preporuka zatvoren. Alat može vraćati informacije samo za čitanje dok je pristup za pisanje povučen. Tijek rada može prihvaćati nove predmete, ali odbiti njihovo prosljeđivanje u vanjsku odluku. To su različite upravljačke površine. Tretirati ih kao jednu veliku crvenu sklopku znači ili zaustaviti premalo ili uništiti više posla nego što je potrebno.

Proporcionalnost je važna, ali proporcionalnost nije dopuštenje da se zaustavljanje učini nejasnim. Pomoćnik s niskim rizikom posljedica možda treba lokalno odbijanje i put do čovjeka. Sustav koji se koristi u području s visokim utjecajem možda treba čvrstu zapreku prije nego što izlaz može utjecati na nečija prava ili pristup usluzi. Autonomni alat koji može promijeniti vanjski zapis možda treba zaseban put intervencije od modela koji samo piše nacrt. Rizik, stupanj autonomije i kontekst uporabe određuju snagu kontrole. Oni ne uklanjaju potrebu za kontrolom.

Jezik Akta o umjetnoj inteligenciji koristan je upravo zato što povezuje ljudski nadzor sa stvarnim ciljem rizika. Nadzor treba spriječiti ili smanjiti rizike za zdravlje, sigurnost i temeljna prava. On nije tu da bi sustav ukrasio ljudskom siluetom. Ako dodijeljena osoba ne može prepoznati anomaliju, protumačiti izlaz, nadjačati ga ili sigurno zaustaviti rad, dogovor nije ispunio praktičnu svrhu nadzora, bez obzira na to koliko se potpisa pojavljuje u projektnoj dokumentaciji.

Čitajte članak 14. kao inženjersku specifikaciju

Članak 14. odnosi se na sustave umjetne inteligencije visokog rizika, a ne na svaki softver koji je dobio oznaku umjetne inteligencije. Njegov prvi zahtjev jest da sustav bude osmišljen i razvijen tako da fizičke osobe mogu učinkovito nadzirati dok je u uporabi. Izraz dok je u uporabi važan je. Pregled u vrijeme nabave nije nadzor živog sustava. Tečaj proveden prije pokretanja nije nadzor promijenjenog modela. Objašnjenje nakon incidenta nije zamjena za kontrolu koja je mogla spriječiti djelovanje.

Drugi zahtjev daje nadzoru svrhu. Trebao bi spriječiti ili smanjiti rizike koji nastaju kada se sustav koristi za njegovu namjeravanu svrhu ili pod razumno predvidivom zlouporabom. Ta formulacija odolijeva zgodnom triku u kojem organizacija svaku štetnu uporabu tretira kao nepredvidivo iznenađenje. Ljudi će koristiti sustave pod pritiskom, s nepotpunim informacijama, kroz prijevode, u neobičnim kombinacijama i na rubu svojih uputa. Ozbiljan dizajn pita koja je zlouporaba razumno predvidiva i daje pregledniku način da odgovori prije nego što izlaz dobije institucionalnu snagu.

Treći zahtjev čini nadzor razmjernim riziku, autonomiji i kontekstu. Pružatelj može ugraditi mjere u sustav, a može odrediti i mjere koje korisnik mora provesti. To je podjela posla, a ne podjela odgovornosti. Pružatelj ne može predati sustav bez ikakvog upotrebljivog načina za prekid i uprijeti prstom u korisnika. Korisnik ne može zanemariti propisana ograničenja i reći da je pružatelj obećao sigurnost u apstraktnom smislu. Kontrola mora preživjeti granicu između isporučene stvari i načina na koji se koristi.

Četvrti stavak mjesto je gdje pravni jezik postaje praktična kontrola. Osobe zadužene za nadzor moraju moći razumjeti relevantne mogućnosti i ograničenja sustava. Moraju ga moći pratiti, uključujući anomalije, kvarove i neočekivane performanse. Moraju biti svjesne pristranosti automatizacije, sklonosti oslanjanju ili pretjeranom oslanjanju na strojni izlaz. Moraju moći protumačiti izlaz. Moraju moći odlučiti da ga neće koristiti, zanemariti ga, nadjačati ga ili poništiti. Konačno, moraju moći intervenirati ili prekinuti rad putem gumba za zaustavljanje ili sličnog postupka koji ga dovodi u sigurno stanje.

Svaki glagol stvara drukčiju obvezu u dizajnu. Za razumijevanje potrebne su upotrebljive informacije o opsegu i ograničenjima. Za nadzor potrebni su signali, vrijeme i put do njihova pregleda. Svijest o pristranosti automatizacije zahtijeva obuku i sučelje koje preporuku ne pretvara u zadani zaključak. Za tumačenje potrebni su dokazi i kontekst. Za nadjačavanje potrebni su ovlast i zapis o neslaganju. Za prekid je potreban prijelaz stanja koji je sigurniji od nastavka. Jedna zelena nadzorna ploča ne može zadovoljiti pet različitih glagola samo zato što je velika.

Akt uključuje i posebnije pravilo za određene visokorizične sustave biometrijske identifikacije. U slučajevima obuhvaćenima odredbom odluka se ne može donijeti na temelju rezultata identifikacije ako ga nisu zasebno provjerile i potvrdile najmanje dvije osposobljene, educirane i ovlaštene fizičke osobe, uz navedene zakonske iznimke. To je konkretan europski primjer nadzora izraženog kao neovisna ovlast, a ne kao usamljeni recenzent koji klikće kroz preporuku. Također pokazuje zašto dizajn mora imenovati vrstu odluke i dokaze potrebne za nju.

Članak 14. ne propisuje jedinstveni model osoblja. Postavlja granicu. Osoba mora imati dovoljno stručnosti, osposobljenosti i ovlasti za obavljanje uloge. Pružatelj i korisnik sustava moraju kontrolu učiniti razmjernom sustavu. Organizacija i dalje mora odlučiti koje uloge obavljaju koje radnje, kada je zaustavljanje obvezno, kako se postupa sa zadržanim slučajem i što se smatra sigurnim nastavkom. Zakon može zahtijevati vrata. Ne može u svakoj zgradi odabrati osobu koja ima ključ.

Zaustavljanje nije kraj upravljanja. To je prijelaz koji omogućuje istragu, ispravak i obranjiv nastavak.

Pet moći skrivenih u riječi nadzor

Korisno je pet praktičnih moći iz članka 14. uzeti jednu po jednu. Prva je razumijevanje. Uloga nadzora ne može funkcionirati na temelju slogana poput model je obično točan. Uloga zahtijeva namjenu, poznata ograničenja, ulazne uvjete, relevantne dokaze o učinku, načine otkazivanja, politiku ažuriranja i značenje izlaza u stvarnom tijeku rada. Razumijevanje nije isto što i čitanje kartice modela. To je sposobnost prepoznavanja kada živi slučaj izlazi izvan uvjeta u kojima je sustav bio vrednovan.

Druga je praćenje. Praćenje se često svodi na vrijeme rada, latenciju i ocjenu modela. Te su mjere važne, ali usluga može biti dostupna i pogrešna. Model može zadržati ukupnu izvedbu dok zbirka izvora zastarijeva, jezična distribucija se mijenja, rok politike prođe ili tim nizvodno počne koristiti preporuku kao automatsku odluku. Operativno praćenje prati posljedicu. Ono traži neočekivanu izvedbu, promjene u ulazima, promjene u putanji, neuobičajene obrasce nadjačavanja, blokirane slučajeve, pritužbe i znakove da se od sustava traži posao koji mu nije dodijeljen.

Treće je tumačenje. Osoba ne može provoditi nadzor ako izlaz stiže bez svojih uvjeta. Tumačenje može zahtijevati relevantni izvor, informacije o pouzdanosti, verziju politike, signal kvalitete ulaza, metodu objašnjenja ili usporedbu sa sigurnom osnovicom. Ono ne zahtijeva mističan uvid u svaki parametar. Zahtijeva dovoljno konteksta da se odgovori na pitanje za koje je osoba odgovorna: što ovaj izlaz znači ovdje, što ne znači i što bi se trebalo dogoditi ako dokazi nisu dostatni?

Četvrto je odbijanje i poništavanje. Članak 14. izričito daje nadzornoj ulozi mogućnost da odluči ne koristiti sustav, zanemariti njegov izlaz, nadjačati ga ili ga poništiti. To je jače od traženja od osobe da doda komentar nakon prihvaćanja rezultata. To znači da tijek rada mora omogućiti da drugačija odluka opstane. Alternativa se ne smije tretirati kao iznimka koja nestaje u sljedećem automatiziranom koraku. Ako se čovjek može ne složiti, ali sustav će svejedno izvršiti izvornu preporuku, čovjek je pozvan da iznese mišljenje, a ne da mu je dan nadzor.

Peto je prekid. Prekid djeluje na samu operaciju. Može zaustaviti poziv alata prije vanjske promjene, staviti slučaj na čekanje, spriječiti ulazak novog rada u putanju, opozvati dozvolu ili prebaciti uslugu na ograničenu rezervnu opciju. Tehnička metoda varira. Sigurnosno svojstvo ne varira: operacija mora doći u definirano stanje u kojem se sljedeća posljedična radnja ne može dogoditi samo zamahom.

Te su moći povezane, ali nisu zamjenjive. Osoba može razumjeti sustav, ali nema prava zaustaviti ga. Osoba može imati gumb za zaustavljanje, ali nema koristan signal koji joj govori kada ga pritisnuti. Osoba može nadjačati jedan rezultat dok skupna obrada nastavlja proizvoditi isti rezultat za sve ostale. Osoba može zaustaviti unos dok postojeći poslovi nastavljaju pisati u vanjski sustav. Dizajn nadzora mora povezati te moći kroz stvarni životni ciklus rada.

Ta je povezanost i mjesto gdje ljudska uloga postaje dostojanstvena. Recenzent nije tu da potpisom preuzme neizvjesnost sustava. Recenzent je tu da izvršava ograničeni autoritet koji je organizacija namjerno omogućila. Posao i dalje može biti težak. Može zahtijevati stručnost u području, prosudbu i hrabrost da se ospori popularan sustav. Ali težina nije razlog da se kontrola sakrije. To je razlog da se ona specificira.

Tko dobiva ključ?

Ne postoji jedan čovjek u petlji. Obično postoji nekoliko autoriteta, svaki s različitim razlogom za intervenciju. Davatelj kontrolira dijelove dizajna i objave. Implementator kontrolira svrhu, konfiguraciju i operativnu upotrebu. Osoba zadužena za nadzor kontrolira određenu odluku ili intervenciju u stvarnom vremenu. Vlasnik domene kontrolira je li izlaz prihvatljiv u profesionalnom kontekstu. Sigurnosna ili privatnosna uloga može kontrolirati pristup dokazima ili podacima. Pogođena osoba može imati pravo osporiti ishod. Nadležno tijelo može zahtijevati informacije, korektivne mjere ili povlačenje. Tretiranje svih ovih kao jedne uloge čini sustav jednostavnim, a odgovornost nemogućom.

Odgovornost pružatelja počinje prije nego sustav dođe do korisnika. Pružatelj odlučuje koje su kontrole ugrađene, koja su ograničenja dokumentirana, koji se zapisnici mogu generirati i koje se promjene smatraju bitnima. Pružatelj koji kaže da implementator može jednostavno nadzirati sustav mora pokazati kako implementator to može učiniti s isporučenim sučeljem i informacijama. Ako zaustavljanje ovisi o nedokumentiranoj internoj naredbi ili zahtjevu podrške s neizvjesnim odgovorom, zaustavljanje nije mogućnost implementatora. To je nada da će dobavljač ostati budan.

Implementator ima drugačiju ovlast. Implementator odlučuje gdje se sustav koristi, u koju svrhu, s kojim podacima, u kojem tijeku rada i s kojim osobama odgovornima za nadzor. Implementator može savjetodavni rezultat pretvoriti u de facto odluku kroz dizajn sučelja, poticaje ili pritisak, čak i kada je pružatelj sustav pažljivo opisao. Implementator stoga mora mapirati lokalni put, a ne samo ponavljati namjeravanu svrhu dobavljača. Ista komponenta može imati drugačiji profil rizika kada je povezana s drugom radnjom.

Uloga nadzora u stvarnom vremenu zahtijeva užu i jasniju ovlast. Toj osobi može biti dopušteno zadržati predmet, odbiti preporuku, zatražiti dodatne dokaze, eskalirati vlasniku domene ili aktivirati sigurno zaustavljanje. Toj osobi ne smije biti dopušteno mijenjati model, brisati dokaze, donositi pravnu odluku ili nastaviti obustavljeni put. Te granice nisu uvreda za tu ulogu. One sprječavaju da osoba koja može zaustaviti proces također može izbrisati razlog za njegovo zaustavljanje.

Ovlast bi trebala slijediti posljedicu. Recenzent koji može pauzirati nacrt ne mora moći obustaviti svaki put u organizaciji. Osoba koja može zaustaviti radnju relevantnu za sigurnost možda treba pristup širem timu za incidente i jasnu obvezu obavještavanja. Stručnjak za domenu može biti jedina osoba kojoj je dopušteno poništiti rezultat u reguliranoj odluci. Sigurnosni operater može izolirati uslugu dok druga ovlast odlučuje treba li se uporaba nastaviti. Nije važno stvoriti veliku hijerarhiju. Važno je učiniti primopredaje jasnima.

Eskalacija se ne smije miješati s odricanjem od odgovornosti. Ako prvi recenzent prosljeđuje svaki težak predmet odboru, sustav nije dobio nadzor. Dobio je sporiji red čekanja. Put eskalacije trebao bi reći koje se pitanje eskalira, koji se rad zadržava dok odgovor čeka, tko mora odgovoriti, koji dokazi prate predmet i što se događa ako put nije dostupan. Prva osoba ostaje odgovorna za očuvanje predmeta i korištenje sigurne zadane opcije. Od te osobe se ne traži da sama osmisli konačni odgovor.

Ovlast također treba put povratka. Zaustavljanje bez načina da se kontrola vrati natrag postaje ili trajni prekid ili tihi zaobilazni put. Put povratka trebao bi imenovati tko može nastaviti, koji uvjeti moraju biti ispunjeni, ostaje li zabilježeno stanje valjano, koji rad na čekanju treba ponovnu procjenu i kako se korisnici obavještavaju da se put promijenio. Nastavak je druga odluka. Zaslužuje istu ozbiljnost kao prekid, iako rijetko dobiva jednako privlačan gumb.

Zaustavljanje mora biti sigurno

Izraz sigurno stanje iz Akta o umjetnoj inteligenciji zaslužuje više pozornosti od hardverske slike gumba za zaustavljanje. Sustav može prestati slati nove zahtjeve, a i dalje ostaviti opasan rad u tijeku. Može prekinuti proces usred transakcije. Može napustiti rezultat bez obavještavanja osobe koja je čekala odluku. Može onemogućiti vidljivo sučelje dok zakazani posao nastavlja raditi u pozadini. Može zaustaviti model i ostaviti predmemoriranu preporuku dostupnom sljedećoj usluzi. Zaustavljanje je sigurno samo u odnosu na stvarne učinke sustava.

Definirajte stanja prije odabira kontrole. Ruta u tijeku može prihvaćati, procjenjivati, preporučivati i djelovati. Zadržana ruta ne može prihvaćati ništa novo, ali čuva već primljeni materijal. Zaustavljena ruta može odbijati sav posao s posljedicama, dok dopušta ovlašteni uvid. Degradirana ruta može pružati ograničenu uslugu samo za čitanje ili samo za ljude. Povučena ruta može zahtijevati novo odobrenje prije povratka. To su dizajnerski izbori, a ne univerzalni nazivi. Postaju korisni kada ljudi mogu vidjeti u kojem su stanju i što svako stanje dopušta.

Posao u tijeku treba vlastito pravilo. Neke su operacije reverzibilne i mogu se sigurno dovršiti. Neke su već prešle vanjsku granicu i trebaju kompenzacijsku radnju. Neke se moraju odbaciti i ponovno generirati jer dokazi više nisu pouzdani. Neke imaju mali utjecaj i mogu ostati kao nacrti. Sustav ne bi smio natjerati operatera da nagađa na temelju jedne oznake statusa. Trebao bi prikazati skup posla, njegovu prijelaznu točku i radnju koja će se dogoditi ako se ništa drugo ne poduzme.

Sigurno stanje također štiti dokaze. Zaustavljanje sustava brisanjem njegovih privremenih datoteka može ukloniti upravo onaj kontekst potreban za razumijevanje kvara. Zaustavljanje ostavljanjem tajni u širokom dijagnostičkom izvozu može stvoriti drugi incident. Kontrola treba put za očuvanje dokaza s granicama pristupa, pravilima zadržavanja i imenovanim vlasnikom. Sigurnost i privatnost ovdje nisu suparnici. Obje zahtijevaju promišljeno postupanje, a ne uobičajenu hitnu praksu kopiranja svega u mapu nazvanu urgent.

Testiranje zaustavljanja dio je implementacije sustava. Gumb koji je kliknut samo u demonstraciji dokazuje da se gumb može kliknuti. Ne dokazuje da se unos zaustavlja, da se radnje smiruju, da zapisi ostaju koherentni, da obavijesti stižu pravim ljudima ili da ponovno pokretanje ne ponavlja posao dvaput. Test bi trebao vježbati stvarnu rutu, uključujući djelomični kvar i operatera koji ima namjeravani autoritet, ali ne i privatno znanje developera. Ako se zaustavljanje ne može uvježbati bez posebne izvedbe, ono još nije operativna kontrola.

Red čekanja dio je odluke

Zaustavljanje AI sustava često se zamišlja kao zaustavljanje modela. U praksi je red čekanja oko modela dio odluke. Posao može čekati ulazak, čekati rezultat modela, čekati ljudski pregled, čekati alat nizvodno ili čekati obavijest. Svaka pozicija nosi drugačiji rizik. Zaustavljanje koje štiti samo model može dopustiti okolnom redu da nastavi tretirati stare rezultate kao valjane.

Posao na čekanju treba politiku. Dobiva li novi zahtjev jasno odbijanje, obavijest o odgodi ili ljudsku rutu? Ostaje li rezultat proizveden prije zaustavljanja upotrebljiv? Označavaju li se predmeti koji još nisu pregledani kao da zahtijevaju ponovnu procjenu? Razlikuje li sustav posao koji je pauzirala osoba od posla koji je tehnički zakazao? Može li korisnik povući zahtjev dok je zadržan? Pojedinosti ovise o usluzi, ali odluka se ne može prepustiti zadanom ponašanju ponavljanja u redu.

Ponavljanja su posebno otkrivajuća. Tehnički red često pretpostavlja da operaciju koja nije dovršena treba pokušati ponovno. Upravljački red ne može pretpostaviti da istu preporuku treba ponovno proizvesti kada je razlog zaustavljanja neizvjesnost, opseg ili potencijalna šteta. Ponavljanje može biti sigurno za idempotentno čitanje, a nesigurno za vanjsku radnju. Politika zaustavljanja stoga bi trebala nositi razlog i dopušteni sljedeći korak, a ne samo crveni status.

Postojeće izlaze treba klasificirati. Neki su nacrti na koje se nijedna osoba nije oslonila. Neki su pokazani radniku. Neki su kopirani u zapisnik odluke. Neki su pokrenuli obavijest ili promijenili sustav izvan AI rute. Organizacija ne može odlučiti što će s njima dok ne zna koju je granicu svaki izlaz prešao. Zato praćenje nije puko administrativno uljepšavanje. Ono je karta posljedica koje zaustavljanje mora obuhvatiti.

Red čekanja također mijenja opterećenje ljudi. Zaustavljanje može zaštititi ljude od nesigurne automatizirane radnje, ali istodobno stvoriti veliku količinu posla pregleda. Taj se posao mora priznati, odrediti mu prioritet i osigurati mu resurse. Inače će organizacija na kraju ponovno otvoriti rutu jer su zadržani slučajevi postali nezgodni, a ne zato što su se dokazi poboljšali. Pauza koja samo premjesti štetu u iscrpljeni ručni red čekanja odgoda je s dobrim namjerama.

Nema sramote u tome što red čekanja postaje sporiji kad je alternativa neispitana posljedica. Dizajnerski je problem kad red čekanja nema model kapaciteta, pravilo trijaže ni način da obavijesti pogođene ljude o tome što se događa. Ljudski nadzor nije besplatna pozornost. To je operativna usluga s ograničenjima koja bi trebala biti poznata prije nego se stroj pusti u rad u velikom opsegu.

Nakon zaustavljanja, pamćenje

Zaustavljanje je događaj koji mijenja ono što organizacija zna i ono što je dužna učiniti. Zapis bi trebao sadržavati okidač, vrijeme, rutu, stanje prije intervencije, korišteni ovlast, opseg zadržavanja, zahvaćeni posao, prikupljene dokaze, poslane obavijesti i uvjete za pregled. Trebao bi razlikovati opažanje od zaključka. Operater može zabilježiti da je izlaz bio nedosljedan s dostavljenim dokazima, a da ne tvrdi da je incident dokazan. Preciznost u zapisu štiti i istragu i uključene ljude.

Akt o umjetnoj inteligenciji tretira vođenje evidencije kao tehničko svojstvo za sustave visokog rizika. Članak 12. zahtijeva da takvi sustavi omogućuju automatsko bilježenje događaja tijekom njihova životnog vijeka, uz mogućnosti evidentiranja koje podupiru sljedivost, prepoznavanje rizika, praćenje nakon stavljanja na tržište i praćenje rada. Članak 19. odnosi se na čuvanje automatski generiranih zapisa pod kontrolom pružatelja, u skladu s predviđenom svrhom i primjenjivim zakonom o zaštiti podataka. To je koristan podsjetnik da se zaustavljanje ne može oslanjati na snimku zaslona sastavljenu naknadno. Sustav mora moći ostaviti trag dok radi.

Evidentiranje nije uputa da se zauvijek prikupljaju svi osobni podaci. To je zahtjev da se zabilježe događaji relevantni za svrhu i rizik. Dobar zapis o zaustavljanju može koristiti reference, hash vrijednosti, identifikatore verzija, redigirani sadržaj i zasebne kontrole pristupa. Može čuvati unos potreban za ponovno izvođenje u zaštićenoj pohrani umjesto da ga stavlja u običnu nadzornu ploču. Trebalo bi biti moguće provesti istragu bez pretvaranja spremišta dokaza u drugi nekontrolirani podatkovni prostor.

Dužnost pružatelja na poduzimanje korektivnih mjera također je važna. Ako pružatelj smatra ili ima razloga smatrati da sustav visokog rizika nije u skladu s propisima, Akt zahtijeva poduzimanje potrebnih korektivnih mjera, koje mogu uključivati dovođenje u sklad, povlačenje, onemogućavanje ili opoziv sustava, prema potrebi. Izbor nije marketinška odluka. To je odgovor vezan uz dokaze, opseg i rizik. Korisnik može morati zaustaviti lokalnu rutu prije nego pružatelj dovrši tu procjenu. Pružatelj može morati onemogućiti ili povući rutu koju korisnik nastavlja koristiti. Te dvije ovlasti moraju moći komunicirati bez gubitka dokaza koji objašnjavaju promjenu.

Praćenje nakon stavljanja na tržište proširuje pamćenje izvan jednog događaja. Akt opisuje sustav koji aktivno i sustavno prikuplja, dokumentira i analizira relevantne podatke tijekom cijelog životnog vijeka visokorizičnog sustava. Poanta nije da pružatelj bulji u nadzornu ploču. Poanta je utvrditi nastavlja li sustav biti usklađen i je li se kontekst oko njega promijenio. Zaustavljanje može biti prvi koristan signal u tom procesu. Niz malih intervencija može reći više o prikladnosti sustava nego jedno uredno početno vrednovanje.

Ozbiljni incidenti imaju zaseban put prijavljivanja u Aktu, uključujući obvezu istrage i poduzimanja korektivnih radnji nakon prijave. Članak ne pretvara svako poništavanje u ozbiljan incident. Ta je razlika važna. Operater koji preokrene preporuku može provoditi zdravu kontrolu, a ne otkrivati događaj koji treba prijaviti. Zapis treba sačuvati dovoljno informacija da organizacija može odlučiti što se dogodilo, umjesto da svako neslaganje gura ili u šutnju ili u dramatičnu oznaku.

Eskalacija je kontrolirani prijenos pitanja, a ne uljudan način da odgovornost nestane.

Eskalacija je put, a ne raspoloženje

Ljudi često kažu da težak slučaj treba eskalirati. Ta fraza zvuči odgovorno, a ne sadrži gotovo nikakvu operativnu informaciju. Eskalirati kome? Za koju odluku? S kojim dokazima? U kojem roku? Što se zadržava dok se čeka odgovor? Što se događa ako nitko ne odgovori? Put koji ne odgovara ni na jedno od tih pitanja nagradit će ustrajnost, a ne prosuđivanje. Slučaj će se ili prosljeđivati dok rok ne postane odluka, ili će se tiho vratiti osobi koja je prva uočila problem.

Korisna eskalacija počinje pitanjem. Je li rezultat izvan odobrene namjene? Jesu li dokazi nepotpuni? Je li se sustav promijenio nakon vrednovanja? Postoji li rizik za temeljno pravo? Je li se vanjska radnja već dogodila? Je li problem tehničke, pravne, domenski specifične, sigurnosne prirode ili kombinacija svega? Pitanje određuje koja uloga može na njega odgovoriti. Eskalacija koja šalje isti nediferencirani slučaj svakom timu nije temeljita. To je grupna poruka e-pošte s futurom.

Lokalna nadzorna uloga trebala bi imati sigurnu zadanu vrijednost dok je pitanje otvoreno. To može biti zadržavanje, odbijanje, povratak na put koji vodi isključivo kroz ljude, čuvanje nacrta ili ograničavanje sustava na informacije samo za čitanje. Zadana vrijednost trebala bi biti vidljiva osobi i, gdje je to primjereno, pogođenom korisniku. Šutnja nije sigurna zadana vrijednost kada se tijek rada nastavlja ispod nje.

Dokazi moraju pratiti eskalaciju. Uloga koja prima ne bi trebala rekonstruirati slučaj iz izlaza modela i vremenske oznake. Trebala bi primiti relevantnu referencu na ulaz, izlaz, verzije modela i pravila, izvorni materijal, signal pouzdanosti ili nesigurnosti, status radnje, prethodne intervencije i točnu odluku koja je potrebna. Ovdje je također važna disciplina privatnosti. Pošaljite dovoljno da se odgovori na pitanje, a ne cijeli život osobe samo zato što je gumb za izvoz bio u blizini.

Eskalacija treba sat, ali nije svaki sat rok za odobrenje. Pitanje niskog utjecaja može čekati uobičajeni pregled. Radnja visokog utjecaja može zahtijevati trenutačno zadržavanje i put preko dežurne osobe. Pravilo o vremenu trebalo bi reći što se događa kada istekne prozor za odgovor. Može produljiti zadržavanje, prenijeti ovlast, obavijestiti nadređenog ili zahtijevati novu odluku. Ne smije šutke pretvoriti nedostatak odgovora u dopuštenje.

Zatvaranje je dio eskalacije. Zapis treba reći što je odlučeno, tko je odlučio, na temelju kojih dokaza, s kojim ograničenjima i koji je daljnji postupak. Ako je odgovor da sustav može nastaviti samo u užem kontekstu, novu granicu treba primijeniti, a ne samo se diviti joj. Ako je odgovor da se sustav mora povući, pogođeni rad i korisnici trebaju plan. Ako je odgovor da je anomalija bila bezazlena, dokazi bi svejedno trebali informirati praćenje i obuku. Eskalacija koja nestane nakon sastanka nije postala institucionalno znanje.

Dobra eskalacija također štiti osobu koja pokreće pitanje. Ovlast za zaustavljanje sustava beskorisna je ako se njezino korištenje tretira kao nelojalnost. Organizacije poučavaju svoje stvarne prioritete kroz ono što se dogodi nakon što osoba kaže ne. Ako je odgovor znatiželja, dokazi i podrška, ljudi uče da je nadzor dio posla. Ako je odgovor krivnja, odgađanje i zahtjev da se bude pozitivniji, sustav će primati manje upozorenja, a upozorenja koja primi stizat će kasnije.

Ljudski nadzor je radno opterećenje

Zakonodavno upućivanje na kompetencije, obuku i ovlast lako je protumačiti kao zahtjev ljudskih resursa. To je također zahtjev kapaciteta. Osoba ne može učinkovito nadzirati AI sustav ako sučelje pokazuje previše šuma, red čekanja ne ostavlja vremena za pregled, dokazi stižu u drugom alatu, odluke se mjere samo brzinom ili je organizacija dodijelila posao nekome bez stručnog znanja u području. Uloga može postojati na papiru, a ipak je nemoguće obavljati je.

Obuka bi trebala uključivati ograničenja sustava, odobrenu svrhu, znakove neočekivane izvedbe, značenje nesigurnosti, mehaniku nadjačavanja i zaustavljanja, privatnost dokaza i put nakon intervencije. Trebala bi uključivati slučajeve u kojima izlaz izgleda uvjerljivo. Nadzor je najpotrebniji kada odgovor nije dovoljno apsurdan da bi se odmah odbio. Tečaj koji ljude uči prepoznati karikaturalno pogrešan odgovor priprema ih za demonstraciju, a ne za radni servis.

Pristranost automatizacije zaslužuje praktičnu pozornost. Preporuka može postati sidro prije nego što recenzent pročita popratne dokaze. Oznaka pouzdanosti može se protumačiti kao vjerojatnost čak i kada to nije. Uglađeno objašnjenje može djelovati kao neovisna potvrda kada je samo prepričavanje. Redoslijed u sučelju je važan. Ako sustav prvo prikaže svoj odgovor, a dokaze kasnije, recenzent može ostatak postupka provesti braneći ili ispravljajući prvi dojam. Kontrola zaustavljanja skrivena iza istog tijeka rada kao i odobrenje također šalje poruku o tome koju radnju organizacija očekuje.

Ograničenja opterećenja sigurnosne su kontrole. Recenzent koji mora pročistiti veliki red čekanja može naučiti tretirati modelovu zadanu vrijednost kao najbrži siguran izbor. Stručnjak koji prima svaki dvosmislen slučaj može početi odobravati samo da bi usluga nastavila funkcionirati. Mali tim koji upravlja dežurnom rutom zaustavljanja možda neće biti dostupan tijekom sati kada sustav zapravo radi. To nisu osobni propusti. To su predvidljive reakcije na operativni dizajn koji od ljudske prosudbe traži da kompenzira neograničenu automatizaciju.

Izmjerite sam nadzorni rad. Koliko se često rezultati poništavaju? Koliko se često pokušava zaustavljanje? Koji signali dovode do intervencije? Koliko dugo zadržavanja ostaju otvorena? Koje skupine ili jezici generiraju više nesigurnosti? Koliko je ispravaka potrebno prije nego što se rezultat može upotrijebiti? Metrike ne zamjenjuju prosudbu, ali mogu otkriti da obećana kontrola postaje puka formalnost. Cilj nije kazniti visoku stopu poništavanja. Cilj je upitati što nam ta stopa govori o sustavu i tijeku rada.

Europske sigurnosne tradicije to već znaju

Europski politički jezik o pouzdanoj umjetnoj inteligenciji nije započeo s Aktom o umjetnoj inteligenciji. Godine 2019. Stručna skupina na visokoj razini Europske komisije za umjetnu inteligenciju objavila je Etičke smjernice za pouzdanu umjetnu inteligenciju. Smjernice identificiraju ljudsko djelovanje i nadzor kao jedan od sedam zahtjeva te opisuju pristupe čovjek u petlji, čovjek nad petljom i čovjek u zapovjedništvu. Također povezuju nadzor s tehničkom robusnošću, planovima za nepredviđene situacije, transparentnošću, sljedivošću i odgovornošću. Važna poanta nije vokabular. To je odluka da se pouzdanost opiše kao skup uvjeta koji se mogu procijeniti.

Komisijin kasniji rad na procjeni organizacijama daje način da te uvjete pretvore u pitanja. Jesu li ljudi svjesni da su u interakciji sa sustavom umjetne inteligencije? Mogu li razumjeti mogućnosti i ograničenja sustava? Mogu li intervenirati i odlučiti da ga ne koriste? Postoje li mehanizmi za pravnu zaštitu? Kontrolni popis ne čini operaciju sigurnom. Ali otežava pretvaranje da je osoba zadužena za nadzor automatski i osoba ovlaštena da ga provodi.

ENISA-in rad na kibersigurnosti umjetne inteligencije pristupa temi kroz životni ciklus i ekosustav oko modela. Njezina karta prijetnji za umjetnu inteligenciju iz 2020. prikazuje imovinu, aktere, prijetnje i faze od zahtjeva do implementacije. Ta je perspektiva vrijedna za zaustavljanje jer stvar koju treba izolirati ne mora biti model. To može biti izvor podataka, dozvola za alat, paket za implementaciju, put praćenja ili komponenta dobavljača. Zaustavljanje osmišljeno oko naziva modela može ostaviti stvarnu sposobnost netaknutom negdje drugdje u lancu.

To su dokumentirani europski pristupi, a ne tvrdnje da je Europa riješila nadzor. Smjernice i Akt postavljaju očekivanja. ENISA mapira sigurnosni problem. Posao implementacije ostaje lokalni, tehnički i neizbježno svakodnevan. Netko ipak mora odlučiti koja uloga može držati rutu u tri sata poslijepodne, koji se dokazi pojavljuju na njihovu zaslonu i tko odgovara kada je zaustavljanje upotrijebljeno.

Nabava odlučuje prije operatera

Mnogi su prekidi u radu zapravo odluke o nabavi prerušene u operativne probleme. Ugovor može dopustiti pružatelju da promijeni model bez upotrebljive obavijesti. Usluga možda ne otkriva zapise ili identifikator verzije. Izvoz može izostaviti poslove u tijeku i povijest intervencija. Ugovor o podršci možda ne nudi put za odgovor u slučaju sigurnosne obustave. Kupac je možda prihvatio široku izjavu da je korisnik odgovoran za upotrebu, a da pritom nije osigurao kontrole potrebne za preuzimanje te odgovornosti. Dok operater zatraži prekidač za isključivanje, ugovor je već odlučio postoji li on.

Nabava bi stoga trebala postavljati operativna pitanja. Koja strana može onemogućiti svaki put? Može li implementator zaustaviti značajnu radnju bez čekanja na podršku pružatelja? Što se događa s poslovima u tijeku i onima u redu čekanja? Koje se stanje bilježi? Kako se najavljuju promjene? Može li korisnik preuzeti zapise i dokaze u upotrebljivom formatu? Što je rezervna opcija kada usluga nije dostupna? Koje su uloge educirane i tko financira tu edukaciju? Kako se ispravlja sporni rezultat? Kako organizacija izlazi iz sustava, a da ne izgubi zapise potrebne za objašnjenje prethodnih odluka?

Ta pitanja nisu pokušaj da se svaki dobavljač ponaša poput javnog tijela. Ona su način da se ovlast uskladi s upotrebom. Ako organizacija nosi dužnost zaštite ljudi na koje sustav utječe, treba joj dovoljna kontrola nad putem da bi ispunila tu dužnost. Ugovor koji korisnika ostavlja odgovornim, ali operativno nemoćnim, nije model upravljanja. To je prijenos odgovornosti s logotipom.

Kratka napomena od nas

U Dweveu naš rad na odgovornoj umjetnoj inteligenciji utemeljenoj na stanju iznosi istu skromnu poantu s inženjerske strane: odgovoran tijek rada ima imenovana stanja, zaštite, zapise, vlasnike i izlaze. To nije tvrdnja da dijagram može riješiti upravljanje. To je podsjetnik da načela trebaju mjesto na koje će se osloniti dok sustav radi. Bilo da je alat Dweve komponenta, usluga javnog sektora ili model dobavljača, test je isti. Može li stvarna osoba vidjeti problem, izvršiti ovlast, zaustaviti sljedeću posljedicu, sačuvati dokaze i vratiti posao u obranjivo stanje?

Pitanja prije implementacije

Prije nego model uđe u značajan tijek rada, postavite pitanja o zaustavljanju u prostoriji u kojoj će sustav stvarno raditi. Ne ostavljajte ih za pregled politike koji nikada ne vidi red čekanja, pristupnik alata ili osobu koja će primiti upozorenje.

  • Što se točno može zaustaviti? Navedite model rutu, poziv alata, red čekanja, obavijest, radnju zapisivanja i nizvodnu uslugu. Ako je odgovor samo proces modela, potražite mogućnost koja ostaje nakon što se on zaustavi.
  • Tko to može zaustaviti bez pitanja graditelja? Navedite ulogu u izvođenju, njezine ovlasti, njezinu zamjenu i njezino ograničenje. Osoba ne bi trebala trebati privatno znanje o implementaciji da bi koristila kontrolu.
  • Koji signal im govori da djeluju? Definirajte anomalije, nedostatak dokaza, sukob opsega, neprihvatljivu nesigurnost, promjenu politike, sigurnosni problem i izazov korisnika na način koji operater može primijetiti.
  • Što se događa s radom koji je već u tijeku? Odvojite novi unos, posao u redu čekanja, operacije u tijeku, rezultate prikazane ljudima i radnje koje su već primijenjene. Dodijelite siguran postupak za svaki od njih.
  • Što je sigurno stanje? Opišite što sustav prihvaća, odbija, drži, dovršava ili izlaže nakon prekida. Provjerite je li stanje stvarno, a ne samo oznaka na zaslonu.
  • Koji dokazi preživljavaju? Sačuvajte relevantni ulaz, izlaz, verzije, politiku, izvorne reference, ljudske radnje, vremenske podatke i obavijesti uz odgovarajuće kontrole privatnosti.
  • Tko prima eskalaciju? Navedite pitanje odluke, vremenski okvir za odgovor, paket dokaza i zadano ponašanje dok se čeka. Popis za slanje poruka nije karta ovlasti.
  • Tko može nastaviti, suziti ili povući rutu? Učinite odluku o povratku izričitom. Identificirajte uvjete, ponovnu procjenu, komunikaciju s korisnikom i okidač za pregled koji je prate.
  • Što će vam reći da kontrola ne uspijeva? Pratite obrasce zaobilaženja, trajanje zadržavanja, ponavljajuće incidente, nejednake učinke, pritisak u redu čekanja, pritužbe korisnika i odstupanja u okolnom tijeku rada. Rijetko korišteno zaustavljanje može značiti siguran sustav ili skrivenu kontrolu.

Pitanja su namjerno jednostavna. Ona nisu zamjena za procjenu rizika, postupak usklađivanja, plan za incidente ili pravni pregled. Ona su točka u kojoj te aktivnosti postaju operativne. Ako organizacija ne može odgovoriti na njih, posao koji nedostaje nije filozofsko neslaganje o tome treba li vjerovati umjetnoj inteligenciji. To je dio sustava koji nedostaje.

Ovlast zaustavljanja ovlast je brige

Model može pogriješiti na način koji izgleda obično. Izvor je star. Ulaz je nepotpun. Ruta se proširila. Prag je pomaknut. Prijevod je promijenio značenje. Dozvola alata nadživjela je svoju svrhu. Recenzentu se prikazuje zaključak, ali ne i dokazi. Nema alarma jer je sustav i dalje dostupan i nadzorna ploča je i dalje zelena. Šteta počinje kao mala neusklađenost između onoga što je sustavu bilo dopušteno činiti i onoga što organizacija sada očekuje da čini.

Ljudski nadzor odgovor je institucije na tu neusklađenost, ali samo kada je više od pukog prisustva. Uloga nadzora treba znanje za prepoznavanje problema, vrijeme za istragu, ovlast za odbijanje ili prekid, sigurno stanje koje prekid čini smislenim i zapise koji drugim ljudima omogućuju razumijevanje onoga što se dogodilo. Treba eskalaciju koja nosi pitanje i dokaze, a ne nejasan zahtjev za pomoć. Treba nastavak koji je odluka, a ne kraj prekida rada.

Europski akt o umjetnoj inteligenciji s pravom koristi jezik intervencije i sigurnog zaustavljanja za sustave visokog rizika. On daje upravljanju fizički rub. Od ljudi koji dizajniraju i primjenjuju sustave traži da ljudsku kontrolu učine mogućom tijekom uporabe, a ne samo vrijednom divljenja u načelu. Raniji rad Komisije o pouzdanoj umjetnoj inteligenciji i ENISA-in pristup životnom ciklusu pojačavaju isti smjer: nadzor pripada u rad sustava, njegove dokaze i njegov okolni lanac opskrbe.

U Dweveu preferiramo neromantičnu verziju te ideje. Ozbiljan sustav treba poznavati svoja stanja, svoje granice i svog vlasnika. Treba moći zadržati rad, pokazati zašto ga je zadržao i pošteno stati kada dokazi nisu dovoljni. To nije posebna vrlina jedne arhitekture. To je minimalno poštovanje koje dugujemo ljudima koji moraju živjeti s rezultatom.

Kada je model u krivu, presudno pitanje nije je li čovjek tehnički bio prisutan. Pitanje je može li imenovana ljudska vlast promijeniti ono što se dogodilo nakon toga i može li organizacija zapamtiti tu promjenu. Ako je odgovor da, nadzor radi svoj posao. Ako je odgovor ne, sustav ima osobu u blizini, negdje gumb i nikakvu kočnicu.

Izvori