Kdo ima zadnjo besedo, ko agent prenese odločitev?

Delegacija lahko naredi delovni tok UI zmogljivejši, ne da bi ga naredila bolj odgovornega. Razlika je v tem, ali ostanejo pooblastila, dokazi in pravica do...

Kdo ima zadnjo besedo, ko agent prenese odločitev?

Predaja ne izprazni stola

Agent delegira nalogo. Drug agent zbere gradivo, primerja zapise, pokliče orodje ali pripravi priporočilo. Tretji agent preveri rezultat. Delo se premika in to gibanje je lahko koristno. Lahko pa ustvari tudi zelo star problem upravljanja v novi obliki: vsi so nekaj naredili, a nihče ne more povedati, kdo je bil pooblaščen za odločitev.

Mikavni odgovor je agent, ki je opravil zadnji klic. Praviloma pa je tudi najmanj uporaben odgovor. Programska komponenta lahko izbere pot, zahteva dodatno delo in pošlje navodilo povezanemu sistemu. Nobena od teh stvari ne določa, kdo je sprejel namen, kdo je postavil meje, kdo bi lahko zavrnil dejanje ali koga je bilo treba obvestiti, ko so se pogoji spremenili. Določa le, da je bil program v verigi.

Ta razlika postane ostra, ko ima delovni tok posledice. Predlagani odgovor lahko postane komunikacija s stranko. Klasifikacija lahko postane razlog, da je zadeva uvrščena v določeno vrsto. Primerjava lahko postane nakupno priporočilo. Osnutek plačilnega naloga lahko postane plačilo. Vsak korak je lahko tehnično brezhiben in še vedno organizacijsko nepopoln. Sistem je opravil delo delegiranja, ne pa tudi dela pooblastila.

Za prepoznavanje problema ni treba izumiti dramatičnega neuspeha. Vzemimo povsem hipotetičen delovni tok. Agent za razvrščanje prejme vprašanje, zaprosi raziskovalnega agenta, naj pregleda ustrezno gradivo, rezultat pošlje recenzentu in nato pripravi dejanje za sistem za upravljanje zadev. Raziskovalni agent ni pooblaščen za ukrepanje. Recenzent ni pooblaščen, da bi bil izid zadeve učinkovit. Agent za razvrščanje ima poverilnico za orodje. Organizacija ni določila, ali mu ta poverilnica dovoljuje, da rezultat potrdi. Delovni tok je lahko na nadzorni plošči videti urejen. Kljub temu je prišel do najpomembnejšega vprašanja brez odgovora.

Delegiranje ni izginotje odgovornosti. Je odgovornost, ki jo je težje videti. Dobra operativna zasnova jo znova naredi bolj vidno. Določa, kaj je začetna odločitev, kaj je mogoče delegirati, kateri pogoji spremljajo nalogo, kdo lahko odobri nepovratno ali pomembno dejanje, kakšen zapis ostane po predaji ter kako lahko oseba ali sistem posreduje, ko pot ni več varna. Tehnologiji ni treba imeti moralnega delovanja. Od nje se pričakuje, da ohrani delovanje organizacije nedotaknjeno.

To je praktični pomen odgovornosti v delovnem toku z več agenti. Ni okrasna vrstica v politiki in ni naknadno iskanje najbližjega zaposlenega, ko gre kaj narobe. Je lastnost poti, preden se delo začne. Prava oseba lahko pregleda, kaj je bilo predlagano, razume, zakaj je bilo predlagano, uveljavi pooblastilo, ki ji je dodeljeno, in pusti zapis, ki ga je mogoče naknadno izpodbijati.

Nastajajoča evropska pravila o umetni inteligenci so tu v pomoč, ker jih manj zanima teatralen človek na koncu toka kot pogoji, v katerih lahko nadzor dejansko deluje. Določbe o človeškem nadzoru iz Akta o umetni inteligenci veljajo za visokotvegane sisteme, ne za vsako uporabo agenta. Ta omejitev je pomembna. Toda operativna vprašanja iz Akta se dobro prenašajo: ali lahko določena fizična oseba razume ustrezne zmogljivosti in omejitve, spremlja nepravilnosti in nepričakovano delovanje, se izogne pretiranemu zanašanju, razlaga rezultate, jih zavrže ali razveljavi ter prekine sistem v varno stanje? Delovni tok s številnimi agenti teh vprašanj ne zmanjša. Pomnoži mesta, kjer se lahko odgovor izgubi.

Pooblastilo lahko delo prenese naprej. Ne more izbrisati poti, po kateri se avtoriteta in preverjanje vračata nazaj.

Delegacija je veriga, ne megla

Ljudje nenehno delegirajo. Vodja prosi sodelavca, naj pripravi zapisek. Nabavna ekipa prosi strokovnjaka, naj pregleda pogodbeni člen. Klinik prosi laboratorij za rezultat. Oseba, ki prejme nalogo, dobi opredeljeno vlogo pri delu; ne podeduje samodejno vseh pooblastil osebe, ki je zaprosila. Dobre organizacije to vsakdanjo razliko opredelijo z opisi delovnih mest, omejitvami odobritev, postopki, ločitvijo dolžnosti in evidenco. To počnejo, ker sta sposobnost in dovoljenje različni stvari.

Agentski sistemi to razliko pogosto zabrišejo, ker lahko agent na enem pogovornem vmesniku opisuje, načrtuje in izvaja. Model lahko pripravi prepričljiv načrt za stik z dobaviteljem. Orodje je lahko tehnično sposobno poslati sporočilo. Orkestracijska plast lahko pokliče to orodje brez premora. Ta dejstva opisujejo sposobnost. Ne odločajo o tem, ali je treba sporočilo poslati, ali je predlagani prejemnik v okviru, ali so informacije primerne za razkritje ali kdo naj sprejme posledice, če je predlagano dejanje napačno.

Koristno je ločiti pet vprašanj, ki so pogosto združena. Kdo je nalogi dal njen namen? Kdo sme opravljati pripravljalno delo? Kdo sme delegirati podnalogo? Kdo sme odločiti, da je predlagano dejanje sprejemljivo? Kdo sme to dejanje uveljaviti v zunanjem svetu? Včasih ena človeška vloga upravičeno nosi več teh odgovorov. Včasih jih je treba ločiti. Bistvo ni ustvariti dovršen obred za zapisek z nizkim tveganjem. Bistvo je, da tehnične sposobnosti ne obravnavamo tiho kot prenos institucionalne avtoritete.

Delegacija mora zato nositi več kot le navodilo. Nositi mora mandat. Mandat opredeljuje cilj, omejeni okvir, dovoljene vhode, pričakovani izhod, dejanja, ki ostajajo prepovedana, proračun ali časovno omejitev, kjer je ustrezno, pogoje, ki zahtevajo eskalacijo, ter osebo ali vlogo, odgovorno za izid. Prejemni agent lahko nato opravlja koristno delo znotraj vidnega okvira. Drugega agenta lahko zaprosi za analizo. Okvira ne more razširiti zgolj zato, ker se mu zazdi verjeten naslednji korak.

To ni argument za spreminjanje vsake interakcije v sestanek za odobritev. Je argument za izbiro točke, na kateri organizacija želi, da se zgodi odločitev. Sistem lahko pripravi osnutek pojasnila, ne da bi človek pregledal vsak stavek, kadar so namen, občinstvo, meja virov in pravila objave že določeni. Sistem ne sme pridobiti moči za spremembo pravice stranke zgolj zato, ker ima ista komponenta dostop do ustrezne podatkovne zbirke. Razlika je v posledici, ne v inteligenci modela.

Ta posledica je pogosto porazdeljena. Naloga je lahko na eni stopnji nenevarna in na naslednji pomembna. Branje datoteke je lahko rutinsko. Če jo kombiniramo z drugim virom, se lahko občutljivost gradiva spremeni. Priprava priporočila je lahko rutinska. Pritiskanje gumba, ki ustvari pravni, finančni ali storitveni izid, pa morda ni. Model upravljanja, ki sprašuje le, ali je agent avtonomen, spregleda to spremembo stanja. Uporabno vprašanje je ožje: avtonomen za kaj, za koga, pod katerimi pogoji in s čigavim pooblastilom?

Tu je vredno ohraniti skromen nizozemski instinkt. Če proces potrebuje ducat podpisov, žigov in laminiran diagram poteka, da bi ugotovil, kdo sme pritisniti en gumb, to morda ni zmaga upravljanja. Toda nasprotna ureditev, v kateri se poverilnica za orodje obravnava kot ustavna rešitev, prav tako ni zmaga. Cilj je sorazmerna pot, ki jasno opredeli pomembno pooblastilo, ne da bi pri vsakem rutinskem dejanju pripravljala malo opero.

Evropski nadzor je operativna zahteva

Akt o umetni inteligenci daje najjasnejši pravni izraz te zamisli za visoko tvegane sisteme umetne inteligence. Člen 14 zahteva, da so zasnovani in razviti tako, da jih lahko fizične osebe med uporabo učinkovito nadzorujejo. Navedeni namen je preprečiti ali zmanjšati tveganja za zdravje, varnost in temeljne pravice, kadar ta tveganja lahko ostanejo kljub drugim zahtevam. Ukrepi morajo biti sorazmerni s tveganjem, avtonomijo in okoliščinami uporabe. To je namerno operativni standard. Ne pravi, da je nekdo v organizaciji na splošno zainteresiran za umetno inteligenco.

Določba gre dlje od splošnega navodila, da je treba v procesu obdržati človeka. Glede na to, kaj je primerno in sorazmerno, mora oseba, dodeljena nadzoru, imeti možnost razumeti ustrezne zmogljivosti in omejitve, spremljati delovanje ter odkrivati nepravilnosti, motnje ali nepričakovano delovanje, ostati seznanjena s pristranskostjo avtomatizacije, interpretirati rezultate, se odločiti, da rezultata ne bo uporabila, ali ga prezreti, preglasiti ali razveljaviti, ter poseči v sistem ali ga prekiniti v varno stanje. Zakon tega ne spreminja v univerzalni kontrolni seznam za vsak agentski sistem. Vendar kaže, zakaj je žig na koncu procesa slab model nadzora.

Zdaj dodajmo delegiranje. Če agent preda nalogo drugemu agentu, mora vloga nadzora videti več kot le končni stavek, ki ga je ustvaril zadnji model. Potrebuje dovolj konteksta, da razume, kateri agent je predlagal podnalogo, kateri viri ali orodja so bili uporabljeni, ali je bila dosežena omejitev pravilnika, ali je rezultat spremenil pregledovalec in ali je poznejši agent razširil obseg. V nasprotnem primeru lahko človek vidi rezultat, ne pa tudi poti, ki ga je ustvarila. To je lahko zadostno za osnutek z majhnimi posledicami. Ni pa prepričljiva podlaga za sprejetje pomembne odločitve.

Člen 26 organizacijsko točko še bolj jasno opredeli za uvajalce visoko tveganih sistemov. Pravi, da morajo uvajalci dodeliti človeški nadzor fizičnim osebam z ustreznimi kompetencami, usposabljanjem, pooblastili in podporo. Te besede sodijo skupaj. Kompetence brez pooblastil ustvarijo dobro obveščenega opazovalca. Pooblastila brez kompetenc ustvarijo formalnega lastnika, ki sistema ne more izpodbijati. Oboje brez podpore ustvari osebo, od katere se pričakuje, da bo posegla v proces, ki ga ne vidi, v tempu, ki mu ne more slediti, z informacijami, ki jih ne more interpretirati.

Pri delu z več agenti podpora zajema obliko vmesnika in zapisa. Operater ne potrebuje vsakega žetona, ki ga je model ustvaril, niti vsakega notranjega poskusa. Potrebuje predlagano dejanje, imenovani namen, materialne dokaze, politiko in omejitev, ki se uporabljata, spremembe od zadnje kontrolne točke, pričakovani učinek, možno pot za razveljavitev in razlog za eskalacijo primera. Tu ne gre toliko za to, da bi nadzorna plošča delovala pomirjujoče, temveč za zmanjšanje verjetnosti, da bo oseba odobrila odgovor, ker je sistem naredil iskanje alternative naporno.

Okvirna konvencija Sveta Evrope o umetni inteligenci ter človekovih pravicah, demokraciji in pravni državi vzpostavlja širšo institucionalno povezavo. Njen namen je zagotoviti, da so dejavnosti v življenjskem ciklu sistemov umetne inteligence skladne s človekovimi pravicami, demokracijo in pravno državo. Člena 8 in 9 zahtevata preglednost in nadzor, prilagojena posebnim okoliščinam in tveganjem, ter odgovornost za škodljive učinke. Konvencija ne predpisuje vzorca orkestracije agentov. Je pa koristen protiargument ideji, da lahko veriga programskih komponent razblini odgovornosti javnega organa ali zasebnega akterja, ki jo uporablja.

Ta širši pogled je pomemben, ker lahko prenesena odločitev vpliva na več kot le tehnično uspešnost. Lahko vpliva na zmožnost posameznika, da razume odločitev, jo izpodbija, doseže pravno sredstvo ali preprosto ve, katera organizacija je odgovorna. Potek dela je lahko sestavljen iz komponent več dobaviteljev, modelov več ponudnikov, orodij, ki jih upravlja druga ekipa, in storitve, opravljene v okviru javnega naročila. Dejstvo, da je veriga tehnično porazdeljena, ne pomeni, da je vpliv na posameznika manj resničen. V praksi to pomeni, da je jasna razdelitev vlog še pomembnejša.

Varstvo podatkov daje isto opozorilo z druge smeri. Delo Evropskega odbora za varstvo podatkov o modelih umetne inteligence poudarja, da analiza varstva podatkov ostaja kontekstualna: organizacije morajo določiti svojo vlogo, opredeliti zadevno obdelavo in uporabiti ustrezne obveznosti, namesto da bi oznako model umetne inteligence obravnavale kot oprostitev običajne odgovornosti. Kadar potek dela z več agenti obdeluje osebne podatke, prenos ne sme zamegliti vprašanja, kdo določa namene in sredstva obdelave, kateri agent ali orodje prejme katere podatke in ali je naslednja predaja potrebna za nalogo. Podnaloga je še vedno korak obdelave. Če jo imenujemo prenos, ne izgine.

Nobeno od tega ne ponuja čarobnega odgovora za vsak težaven primer. Pravne obveznosti so odvisne od uporabe, akterjev, podatkov in sektorja. Članek ne more razvrstiti določenega sistema. Lahko pa navede disciplinirano načelo: če potek dela porazdeljuje delo, ga mora porazdeliti tako, da ohranja zmožnost ugotavljanja pristojnosti, pravočasnega posredovanja, pojasnjevanja poti in odzivanja na ljudi, na katere vpliva izid.

Oseba v zanki potrebuje pravo zanko

Človeški nadzor se zlahka skrči na zaslon z gumbom za odobritev. Ta zaslon je lahko uporaben. Lahko pa je tudi ceremonialni predmet. Vprašanje je, ali ima oseba, ki ga uporablja, smiselno izbiro. Izbira ni smiselna zgolj zato, ker vmesnik prikazuje dva gumba. Odvisna je od tega, ali ima oseba dovolj časa, informacij, usposobljenosti in institucionalnega pooblastila, da se odloči drugače.

Čas je najmanj glamurozen del oblikovanja in pogosto najbolj odločilen. Če sistem pošlje na stotine predlogov v obdobju, v katerem bi lahko en pregledovalec razumno pregledal le delček, je organizacija ustvarila čakalno vrsto, ne nadzora. Če predlog poteče, preden pregledovalec pridobi kontekst, je sistem naredil hitrost za dejanskega odločevalca. Če je ekipa nagrajena le za pretočnost, je dobila tiho navodilo, kateri gumb pritisniti. Programska oprema teh ureditev ne more pozdraviti z dodajanjem ocene zaupanja v drugačnem odtenku zelene.

Informacije morajo biti sorazmerne, ne izčrpne. Pregledovalec, ki dobi samo zaključek, ga ne more izpodbijati. Pregledovalec, ki dobi surov prepis vsake interakcije agenta, ga običajno prav tako ne more izpodbijati. Uporabna sredina je paket odločitev. Opredeli, katero dejanje je predlagano, zakaj je v okviru navedenega namena, kateri materialni dokazi ga podpirajo, kakšna negotovost ostaja, katero politika ali pravilo je pomembno, kakšen je predlagani učinek in kaj bi se zgodilo, če dejanje ne bi bilo odobreno. Paket naj povezuje do globljih dokazov, vendar ne sme zahtevati arheološke odprave za običajen primer.

Kompetentnost pomeni več kot splošen tečaj o umetni inteligenci. Za nalogo, ki je pred nami, mora pregledovalec razumeti vrsto izhoda, znane omejitve, ki bi lahko bile pomembne, način, kako naj bi potek dela deloval, in znake, ki zahtevajo eskalacijo. Oseba, ki prepozna pomanjkljiv račun dobavitelja, je lahko primerna za pregled predloga, povezanega z računi. Ista oseba morda ni primerna za ocenjevanje jezikovnega pokritja modela ali posledic za varstvo podatkov. Dodeljevanje nadzora je zato tudi kadrovska odločitev.

Institucionalno dovoljenje je preizkus, ki ga mnogi načrti tiho ne opravijo. Pregledovalec mora imeti možnost zavrniti, prekiniti ali spremeniti predlagano pot, ne da bi bil obravnavan kot vir sistemske napake. Potrebuje dostop do osebe ali vloge, ki lahko odloči, kaj se zgodi naprej. Potrebuje način, kako zabeležiti, da je bila zadeva eskalirana. In sistem potrebuje varno stanje, v katerem lahko delo čaka, ne da bi bilo po naključju izvedeno s ponovnim poskusom, časovno omejitvijo ali drugim agentom, ki prvotno navodilo razume kot nedokončano opravilo.

Varnostno inženirstvo že dolgo obravnava človeško uspešnost kot del sistema, ne kot zadnji sloj laka. Britanski izvršni organ za zdravje in varnost opisuje človeške dejavnike kot nalogo, posameznika in organizacijo skupaj ter opozarja, da jih ne smemo obravnavati ločeno. To je smiseln okvir za nadzor agentov. Pregledovalec ni abstrakten človeški vtič, oblikovan za zapolnitev vrzeli v programski opremi. Opravlja določeno nalogo, z določenimi informacijami in orodji, znotraj določene organizacije z določenimi pritiski in omejitvami. Kakovost nadzora je odvisna od vsega tega.

Zato se dobro oblikovan sistem s človekom v zanki začne, preden se gumb sploh pojavi. Opredeli, katere odločitve potrebujejo človeška vrata, kdo jih bo varoval, katere dokaze bo prejel, koliko časa naloga dopušča, kaj se zgodi, ko jih ni, in ali imajo vrata pooblastilo nad samim dejanjem ali le nad razlago dejanja. Če organizacija na ta vprašanja ne more odgovoriti na miren torek, se ne bo razjasnilo, ko pride primer z visokimi posledicami. Prav tako ne bi smela potrebovati namišljene krize, da bi to opazila.

Dovoljenja naj opisujejo posledico dejanja, ne le tehnični doseg poverilnice.

Ena naloga, več vrst pooblastil

Kompakten model pooblastil lahko olajša upravljanje agentskega poteka dela. Ni mu treba biti veličasten. Začnite z razliko med branjem, predlaganjem, prenašanjem, potrjevanjem in zaustavljanjem. Vloga, ki lahko bere, lahko pregleda gradivo, potrebno za nalogo. Vloga, ki lahko predlaga, lahko pripravi možno dejanje. Vloga, ki lahko prenaša, lahko drugemu akterju dodeli omejeno delo. Vloga, ki lahko potrjuje, lahko uveljavi pomembno dejanje. Vloga, ki lahko zaustavlja, lahko začasno ali dokončno ustavi pot, ko njeni pogoji niso več izpolnjeni.

To niso zgolj ravni. Pregledovalec skladnosti lahko zaustavi potek dela, ne more pa potrditi izida za stranko. Specializirani agent lahko predlaga pot, ne more pa prenašati novega dela zunaj svojega področja. Vodja je lahko odgovoren za namen storitve, pa vendar ni pooblaščen za sprostitev določenega plačila. Uporabna lastnost ni hierarhija sama po sebi. Gre za to, da sistem lahko oceni, ali ima določen akter ustrezno pooblastilo za določeno dejanje v trenutnem kontekstu.

Kontekst opravi velik del dela. Isto predlagano dejanje je lahko v enih okoliščinah običajno, v drugih pa pomembno. Pošiljanje že odobrene predloge na znani notranji naslov je lahko del rutinskega komunikacijskega pooblastila. Pošiljanje na novo pripravljenega sporočila z osebnimi podatki novemu prejemniku je drugačno. Vračilo v določenem okviru je lahko preneseno na preizkušen proces. Sprememba upravičenja, izbris podatkov ali zunanja zaveza lahko zahtevajo imenovano človeško odločitev. Politika naj to razliko izrazi, preden model načrtuje na podlagi nje.

Pomembna je tudi razlika med odobritvijo in potrditvijo prejema. Potrditev prejema beleži, da je nekdo videl sporočilo. Odobritev beleži, da je pooblaščena oseba sprejela določeno dejanje z ustreznim kontekstom na določeni točki poti. V pogovornem sistemu sta si lahko videti podobni. Zapis pa si ne sme biti. Če poznejši pregledovalec ne more ugotoviti, katero dejanje je bilo odobreno in kakšen učinek je bil pričakovan, je organizacija zabeležila pogovor, ne pa zajela odločitve.

Tudi samo prenašanje potrebuje omejitve. Agent, ki dobi nalogo primerjati tri obstoječe predloge, lahko raziskovalnemu agentu dovoli izluščiti ustrezne pogoje. Tega dovoljenja ne sme razumeti kot povabilo k stiku z dobavitelji, pridobivanju novih podatkov ali preoblikovanju cilja javnega naročila. Mejo je mogoče izraziti v politiki, v obsegu orodij, v strukturirani pogodbi o nalogi ali v vseh treh. Pomembno je, da je dovolj izvršljiva, da omejuje pot, ne pa da zgolj opisuje želeno vedenje po dejstvu.

Globina delegiranja je še ena omejitev, ki jo velja poimenovati. Človek lahko agentu zaupa nalogo in še vedno ohrani jasen pregled nad njegovo prvo predajo. Po več gnezdenih predajah je prvotni namen lahko tehnično prisoten v metapodatkih, a praktično neviden. Organizacije lahko za določen razred dela določijo največjo globino delegiranja, zahtevajo pregled na določeni globini ali prepovejo delegatu, da ustvarja nadaljnje delegate brez novega dovoljenja. To so oblikovalske odločitve, ne univerzalne zahteve. Najbolj uporabne so tam, kjer daljša veriga otežuje vpogled v to, kateri akter je uvedel novo predpostavko ali spremenil dejanski obseg.

Avtoriteta orodij mora biti prav tako ločena od avtoritete modela. Model lahko izbere orodje na podlagi načrta. Integracija orodja mora še vedno preveriti, ali zahtevano dejanje, cilj, kategorija podatkov, omejitev virov in stanje delovnega toka dovoljujejo klic. To ni nezaupanje v model v moralnem smislu. To je običajno oblikovanje meja. Dobro oblikovan načrt je lahko še vedno neprimeren za trenutni primer, slabo oblikovan načrt pa ne bi smel postati resničen zgolj zato, ker je dosegel poverilnico s širokim dostopom.

Enako velja za obnovitev. Ponovni poskus ni vedno neškodljiv. Ponovni poskus zahteve za branje javnega dokumenta se razlikuje od ponovnega poskusa zahteve, ki pošlje sporočilo ali izvede bremenitev. Ko delegirana naloga spodleti, delovni tok potrebuje izrecno izbiro med ponovnim poskusom, preusmeritvijo, eskalacijo, prekinitvijo in nadzorovanim neuspehom. Če jih obravnavamo kot en sam generični upravljalnik napak, se operativna odločitev tiho sprejme prek privzetih nastavitev. Izvajalno okolje agenta lahko ponudi možnosti. Organizacija se mora odločiti, katera možnost velja za kateri razred dejanj.

Neuspeh je pogosto manjkajoča odločitev

Ko ljudje slišijo besedo neuspeh, si pogosto predstavljajo agenta, ki poda napačno trditev, ali orodje, ki preseže časovno omejitev. Oboje je lahko pomembno. Bolj razkrivajoči neuspehi pri delegiranem delu so pogosto tišji. Naloga je bila dodeljena brez jasnega lastnika. Predlog je prestopil mejo, ki je nihče ni modeliral. Pregledovalec je videl zaključek, ne pa tudi dokazov. Ponovni poskus se je nadaljeval po prekinitvi. Človek je opazil težavo, a ni imel pooblastila, da bi dejanje ustavil. Odločitev je bila sprejeta, a zapis je ohranil le končni rezultat, ne pa tudi pogoja, ki ga je naredil sprejemljivega.

To niso trditve o imenovanem incidentu. To so načini neuspeha, izpeljani iz strukture samega delegiranja. Najdemo jih tudi v človeških procesih. V programski opremi pa lahko potujejo s hitrostjo avtomatizacije in se zelo dosledno ponavljajo. Ta doslednost ni razlog za obup. Je razlog, da obravnavamo oblikovanje delovnega toka kot del nadzora, namesto da domnevamo, da testiranje točnosti ene komponente modela reši vprašanje.

Razmislimo o drugem izrecno hipotetičnem oblikovanju. Agent dobi nalogo pripraviti povzetek primera. Ekstrakcijo dokumentov delegira eni komponenti, jezikovno normalizacijo pa drugi. Tretja komponenta opazi nepopolno polje in uporabi povezan vir znanja, da zapolni vrzel. Končni povzetek se bere gladko. Če delovni tok ni zabeležil manjkajočega polja, vira, uporabljenega za zapolnitev, zaupanja ali negotovosti, ki sta prišla z njim, in dejstva, da je prvotna naloga dovoljevala le povzemanje, pregledovalec ne more ugotoviti, ali odobrava povzetek ali na novo ustvarjeno dejansko trditev. Težava ni v tem, da zadnji stavek zveni nenavadno. Težava je v tem, da se je pomen naloge spremenil znotraj poti.

Ustrezen odziv ni prepoved delegiranja. Je vpisovanje točk sprememb v evidenco. Nov vir, novo orodje, nova kategorija podatkov, nov razred dejanj, bistvena sprememba zaupanja, neuspela kontrola, daljša od dovoljene veriga delegiranja ali predlog za prehod zunanje meje lahko vsak posebej postane razlog, da se delo predloži v pregled. Natančni sprožilci se razlikujejo glede na okoliščine. Načelo je stabilno: sprememba, ki bi bila pomembna za odgovornega lastnika, ne sme ostati nevidna zgolj zato, ker se je zgodila med komponentami.

To je eno od področij, kjer je razmišljanje v slogu varnostnega primera uporabno. Varnostni primer ni obljuba, da nič ne more iti narobe. Je strukturiran argument o tem, zakaj je sistem sprejemljiv za določen namen pod določenimi pogoji, pri čemer so dokazi, predpostavke, kontrole in preostala tveganja vidni. Če to previdno uporabimo pri delovnem toku agenta, to pomeni, da trditev ni, da so agenti na splošno varni. Trditev je ožja: ta pot se lahko uporablja za ta namen, s temi omejitvami, ker obstajajo te kontrole in ureditve nadzora, in jo je treba ponovno preučiti, ko navedene predpostavke ne veljajo več.

Delovni tok je nato lažje izpodbijati. Operater lahko vpraša, ali je bil razred dejanj pravilno dodeljen. Lastnik tveganja lahko vpraša, ali ima pregledovalec še vedno dovolj časa. Inženir lahko vpraša, ali bi ponovni poskus lahko povzročil podvojen učinek. Strokovnjak za varstvo podatkov lahko vpraša, ali je podnaloga še vedno potrebna in sorazmerna. Oseba, na katero vpliva izid, lahko, kadar veljavni okvir to zahteva, dobi pot za izpodbijanje odločitve. Ta vprašanja niso birokracija, dodana po zanimivem tehničnem delu. So delo, s katerim tehnični sistem postane odgovoren v organizaciji.

Metrike naj sledijo isti disciplini. Štetje števila delegiranih nalog nam pove nekaj o obsegu, ne pa o odgovornem delovanju. Uporabnejša merila lahko vključujejo stopnjo, s katero se delovni tok stopnjuje, ker se je meja spremenila, čas, ki ga odločitev preživi na vratih, delež pomembnih dejanj s popolnim paketom odločitev, število uspešnih razveljavitev ali število primerov, v katerih je preverjanje politik zavrnilo klic orodja. Takšne meritve še vedno potrebujejo opredelitev in okoliščine. Nikoli jih ne bi smeli izumiti za brošuro. Toda oblikovanje evidenc tako, da bi jih bilo mogoče meriti, je znak, da se odgovornost obravnava kot operativna lastnost.

Evidenca je tam, kjer odgovornost preživi

Večagentni sistem ustvarja nenavadno vrsto zgodovine. Vsebuje sporočila, klice orodij, vmesne izpise, preverjanja politik, različice modelov, informacije o času, ponovne poskuse, spremenjene dodelitve in morda odobritve ljudi. Hraniti vsak bajt za vedno ni niti potrebno niti pogosto primerno. Hraniti samo končni odgovor je običajno premalo. Evidenca mora ohraniti odločitve in dokaze, ki pojasnjujejo, kako je delovni tok prešel iz zahteve v izid.

Za pomembno dejanje bi morala evidenca pregledovalcu običajno omogočiti rekonstrukcijo nekaj osnovnih dejstev. Kakšen je bil cilj? Katera politika ali pooblastilo je delo naredilo dopustno? Kdo ali kaj je prejel vsako dodelitev? Kaj je bilo predlagano na vsakih pomembnih vratih? Katere informacije so bile uporabljene za podporo predlogu? Na katere omejitve, opozorila ali napake je naletelo? Kdo je imel pooblastilo za odobritev, zaustavitev ali razveljavitev dejanja? Katero dejanje je postalo veljavno in kaj se je zgodilo po tem? To niso nenavadna vprašanja. To so vprašanja, ki si jih organizacija zastavi, ko želi vedeti, ali je bila odločitev njena odločitev.

The record should distinguish an operational fact from an explanation produced later. If a system says a reviewer approved an action, the event should record the identity or role of the reviewer, the action they were shown, the relevant context and the time at which the approval bound to that action. If the system says a model selected a delegate, the record should preserve the selection rule, candidates or criteria at the level appropriate for the use, and the resulting assignment. A later narrative can help a reader, but it should not replace the event that occurred.

Versioning matters here. An agent's output may be regenerated. A policy may be updated. A tool schema may change. A model endpoint may be swapped. If a decision depends on a particular version of a prompt, policy, model, knowledge source or integration, the record needs a stable reference to that version. Otherwise replay becomes a performance: it reproduces whatever the organisation happens to have now and calls the result an explanation of what happened then.

Reversibility deserves equal attention. The AI Act expressly refers, in the high-risk oversight context, to the ability to disregard, override or reverse an output and to interrupt a system so it comes to a halt in a safe state. In a multi-agent route, the safe state is not necessarily a stopped model process. It may mean no external communication is sent, a queued action is held, a downstream system is not updated, temporary credentials are no longer usable for the task, and the evidence needed to decide what happens next is retained. That is an operational inference from the oversight requirement, not a quotation of the law. It is also a useful design test.

Safe does not mean frozen forever. A halted workflow needs a controlled resumption path. Someone must decide whether to amend the task, discard the proposal, rerun a bounded part of the work, use a different tool, seek further evidence or abandon the route. A clean record makes that choice easier because it tells the next person what is known, what was attempted, why the work stopped and which effects have and have not occurred. Without that record, recovery becomes another unstructured delegation, usually undertaken under more pressure than the first one.

This is why retention and access need their own decisions. Not every actor should be able to read every trace. A record may contain personal data, commercially sensitive material or security-relevant details. But controlled access is not the same as no record. The Council of Europe Convention's emphasis on transparency, oversight, accountability and responsibility is a useful reminder that the boundary should be designed rather than assumed. An organisation can preserve an accountable route while limiting access to the detail that a particular reviewer genuinely needs.

What a delegation contract should make visible

A delegation contract can be a data structure, a workflow schema, a signed approval packet or a combination of these. Its form matters less than its content. It should tell the receiving actor what it is allowed to do, what it is not allowed to do and how the work will be judged. When these constraints are absent, agents tend to compensate with increasingly elaborate instructions. That may improve a particular run. It does not create an organisational boundary that a tool, reviewer or auditor can enforce.

Begin with the intended purpose. A purpose should be concrete enough to exclude nearby tasks. Compare the terms in the supplied proposals is different from find the best supplier. Summarise the received documents is different from establish the missing facts. Draft a reply for review is different from communicate a decision. The contrast can sound fussy until an agent uses a broad instruction to take a reasonable but unauthorised next step. Then it is the difference between useful initiative and an unbounded mandate.

Določite dovoljene in prepovedane razrede dejanj. Agentu je lahko dovoljeno, da prebere spis zadeve, izlušči imenovana polja, primerja s politiko in pripravi osnutek. Prepovedano mu je lahko spreminjanje izvornega zapisa, vzpostavljanje stika z zunanjo stranko, izbira novega vira ali izvedba transakcije. To niso zgolj navodila v pozivu. Sloj orodij in poteka dela naj jih uveljavlja, kjer je to izvedljivo. Politika, ki je ni mogoče preveriti v trenutku dejanja, je še vedno uporabna kot smernica, vendar je šibkejša kot nadzor.

Določite lastnika in pot eskalacije. Lastnik ni nujno oseba, ki bo pri vsakem dejanju kliknila odobritev. Je vloga, odgovorna za izid in za odločitev o tem, kaj se zgodi, ko pot doseže nerešeno vprašanje. Pot eskalacije določi naslednjo avtoriteto, ko agent zazna kršitev meja, nezadostne dokaze, spor med viri, neskladje s politiko ali pogoj, ki ga sistem ne sme razrešiti. Čakalna vrsta brez imenovanega lastnika odločanja je zgolj zamuda z optimistično oznako.

Priložite pravilo o dokazih. Pravilo lahko določi, kateri viri so avtoritativni, ali sme agent iskati zunaj njih, kako je predstavljena negotovost, kaj mora biti navedeno v predlogu in kdaj nasprotujoči vir zahteva pregled. To je še posebej pomembno za sisteme, ki ustvarjajo tekočo prozo. Tekočnost lahko prikaže kršitev meja kot koristno dokončanje. Pravilo o dokazih omogoči pravo vprašanje: ali je potek dela ostal znotraj gradiva, ki ga je bilo dovoljeno uporabiti?

Kjer so pomembne, določite omejitve časa, virov in prenosa pooblastil. Naloga, ki se lahko nadaljuje v nedogled, lahko povzroči stroške, operativno zamašitev ali pritisk k potrditvi zastarelega rezultata. Naloga, ki lahko večkrat prenaša pooblastila, lahko ustvari verigo, ki je noben lastnik ne more preprosto pregledati. Omejen načrt določi, kako dolgo naloga ostane veljavna, koliko virov lahko porabi, ali lahko ustvari podnalogo, kakšna največja globina je dovoljena in kaj se zgodi, ko je meja dosežena. Odgovor je lahko samodejni premor, eskalacija ali nadzorovani izpad. Pomembno je, da je odločitev sprejeta, preden je meja presežena.

Nazadnje določite pogoj dokončanja. Dokončano ne pomeni vedno, da je agent ustvaril besedilo. Lahko pomeni, da je pregledovalec prejel celoten paket, da so vrata politike sprejela določeno dejanje, da je nadaljnji sistem potrdil povratno posodobitev ali da se odgovorni lastnik ni odločil nadaljevati. Pogoji dokončanja ohranjajo poštenost poteka dela. Preprečujejo agentu, da bi obravnaval predlog odločitve, kot da jo je organizacija že sprejela.

Ti vzorci so uporabni, ne glede na to, ali potek dela vsebuje enega agenta, ki temelji na modelu, ali večjo skupino specializiranih komponent. Več agentov ne zahteva samodejno več postopkov. Zahtevajo pa, da so meje med vlogami izražene in ne zgolj implicirane. Strošek tega izražanja je na splošno precej nižji od stroška poskusa rekonstrukcije avtoritete, potem ko si je več sistemov izmenjalo delna navodila in se je eden od njih dotaknil zunanjega sveta.

Prenos pooblastil naj organizacijo naredi sposobnejšo, ne manj odgovorno

Agentski sistemi so pogosto opisani, kot da je njihova vrednost v odstranjevanju organizacije iz dela. Bolj zanimiva možnost je nasprotna. Skrbno zasnovan sistem lahko naredi organizacijske zaveze jasnejše: naloga ima lastnika, prenos pooblastil ima mejo, pomembno dejanje ima avtoriteto, pregled ima dokaze, zaustavitev ima varno stanje in zapis je mogoče ponovno predvajati. To ni ovira za uporabno avtomatizacijo. To je tisto, kar avtomatizaciji omogoča, da prevzame smiselno delo, ne da bi od ljudi zahtevala zaupanje v nevidno verigo.

Dweve Nexus smo zgradili prav okoli tega razlikovanja. Njegova lokalna dokumentacija izdelka opisuje trajne naloge, avtoriteto, ovrednoteno glede na kontekst izvajanja pred ukrepanjem, jasne strukture sodelovanja, vključno s prenosom pooblastil, ter zapis, ki nastaja sproti, ko delo poteka. Ustrezna trditev je namerno skromna. Gre za oblikovne lastnosti, katerih namen je, da je prenesena pot pregledna. Niso dokaz, da je katera koli posamezna uvedba zakonita, varna ali primerna, in ne odpravljajo potrebe, da organizacija sama določi svoj namen, avtoriteto in človeški nadzor.

Širša lekcija ni odvisna od enega izdelka. Model se lahko odloči, kako bo razdelil nalogo. Agent lahko drugega agenta zaprosi za delo. Orodje lahko izvede dejanje. Organizacija mora še vedno odločiti, kje je avtoriteta. To mora storiti, preden se prenos pooblastil začne, ne šele potem, ko je končni rezultat zglajen v nekaj, česar ni lahko vprašati.

To je odgovor na naslov. Lastnik odločitve ni agent, ki je po naključju spregovoril zadnji. To je oseba ali vloga, ki ji je organizacija dodelila avtoriteto, da sprejme posledice odločitve, z dovolj informacij in moči, da jo zavrne. Prenos pooblastil je uporaben, ko to osebo naredi sposobnejšo. Postane nevaren, ko jo naredi nemogoče najti.

Kdo ima zadnjo besedo, ko agent prenese odločitev?