Agentide delegeerimisel jääb otsustusõigus kellele?

Delegatsioon muudab AI-töövoo võimekamaks, kuid mitte vastutavamas. Erinevus seisneb selles, kas volitus, tõendid ja õigus peatada jäävad igal üleandmisel...

Agentide delegeerimisel jääb otsustusõigus kellele?

Üleandmine ei tühjenda tooli

Agent delegeerib ülesande. Teine agent kogub materjali, võrdleb andmeid, kutsub välja tööriista või koostab soovituse. Kolmas agent kontrollib tulemust. Töö liigub edasi ja see liikumine võib olla kasulik. See võib aga luua ka väga vana juhtimisprobleemi uues vormis: kõik on midagi teinud, kuid keegi ei oska öelda, kellel oli õigus otsust teha.

Ahvatlev vastus on agent, kes tegi viimase kõne. See on aga tavaliselt kõige vähem kasulik vastus. Tarkvarakomponent võib valida marsruudi, küsida lisatööd ja saata käsu ühendatud süsteemi. Ükski neist asjadest ei tuvasta, kes võttis vastu eesmärgi, kes seadis piirid, kes oleks võinud toimingust keelduda või keda tuli teavitada tingimuste muutumisel. See tuvastab üksnes selle, et programm oli ahelas.

See eristus muutub teravaks, kui töövoog toob kaasa tagajärgi. Soovitatud vastusest võib saada kliendisuhtlus. Klassifikatsioonist võib saada põhjus, miks juhtum suunatakse teatud järjekorda. Võrdlusest võib saada ostusoovitus. Koostatud maksekorraldusest võib saada makse. Iga samm võib olla tehniliselt pädev ja siiski organisatsiooniliselt puudulik. Süsteem on teinud delegeerimise töö ilma volituse tööd tegemata.

Probleemi nägemiseks ei ole vaja välja mõelda dramaatilist tõrget. Võtame tahtlikult hüpoteetilise töövoo. Triage-agent saab küsimuse, palub uurimisagendil asjakohast materjali uurida, saadab tulemuse ülevaatajale ja koostab seejärel toimingu juhtumihaldussüsteemi jaoks. Uurimisagent ei ole volitatud tegutsema. Ülevaataja ei ole volitatud juhtumi tulemust jõustama. Triage-agendil on tööriista mandaat. Organisatsioon ei ole täpsustanud, kas see mandaat lubab tal tulemust kinnitada. Töövoog võib juhtpaneelil tunduda korras. Sellegipoolest on see jõudnud kõige olulisema küsimuseni ilma vastuseta.

Delegeerimine ei ole vastutuse kadumine. See on vastutus, mida on raskem näha. Hea toimimiskujundus teeb selle taas lihtsamaks. See ütleb, mis on esialgne otsus, mida saab delegeerida, millised tingimused liiguvad ülesandega kaasa, kes saab heaks kiita pöördumatu või tagajärgedega toimingu, milline kanne jääb pärast üleandmist alles ning kuidas saab inimene või süsteem sekkuda, kui marsruut ei ole enam ohutu. Tehnoloogialt ei nõuta moraalset tegutsemisvõimet. Sellelt nõutakse, et see jätaks organisatsiooni tegutsemisvõime puutumata.

See on vastutuse praktiline tähendus mitme agendiga töövoos. See ei ole dekoratiivne rida poliitikas ega tagantjärele otsing lähima töötaja leidmiseks, kui midagi valesti läheb. See on marsruudi omadus enne töö algust. Õige inimene saab üle vaadata, mida pakuti, mõista, miks seda pakuti, kasutada talle määratud volitusi ja jätta maha kanne, mida saab hiljem vaidlustada.

Euroopa kujunevad AI-reeglid on siin abiks, sest neid huvitab vähem teatraalne inimene voo lõpus kui tingimused, mille korral järelevalve tegelikult toimida saab. AI-määruse inimjärelevalve sätted kehtivad kõrge riskiga süsteemidele, mitte igale agendi kasutusele. See piirang on oluline. Kuid määruse operatiivsed küsimused kanduvad hästi edasi: kas määratud füüsiline isik suudab mõista asjakohaseid võimeid ja piiranguid, jälgida kõrvalekaldeid ja ootamatut jõudlust, vältida liigset usaldust, tõlgendada väljundit, seda eirata või tühistada ning katkestada süsteemi ohutusse olekusse? Paljude agentidega töövoog ei muuda neid küsimusi väiksemaks. See mitmekordistab kohti, kus vastus võib kaduma minna.

Delegeerimine võib töö edasi anda. See ei saa kustutada seda rada, mida mööda volitus ja väljakutse tagasi liiguvad.

Delegeerimine on ahel, mitte udu

Inimesed delegeerivad pidevalt. Juht palub kolleegil koostada märgukirja. Hankemeeskond palub eksperdil kontrollida lepingutingimust. Kliinik palub laboril tulemust. Ülesande saaja saab töös määratletud rolli; ta ei päri automaatselt kõiki volitusi, mis on sellel, kes küsis. Head organisatsioonid teevad selle igapäevase eristuse ametijuhendite, kinnituspiirangute, protseduuride, tööjaotuse ja dokumentidega. Nad teevad seda sellepärast, et võimekus ja luba on erinevad asjad.

Agendisüsteemid kipuvad seda eristust hägustama, sest agent suudab kirjeldada, planeerida ja täita ühes vestluspinnas. Mudel võib suuta koostada veenva plaani tarnijaga ühenduse võtmiseks. Tööriista ümbris võib olla tehniliselt võimeline sõnumi saatma. Orkestreerimiskiht võib suuta seda ümbrist ilma pausita välja kutsuda. Need faktid kirjeldavad võimekust. Nad ei otsusta, kas sõnum tuleks saata, kas pakutud adressaat on ulatuses, kas teave on asjakohane avalikustada või kes peaks tagajärje vastu võtma, kui pakutud tegevus on vale.

On kasulik eraldada viis küsimust, mis on sageli kokku pandud. Kes andis ülesandele selle eesmärgi? Kes võib teha ettevalmistavat tööd? Kes võib delegeerida alamülesande? Kes võib otsustada, et pakutud tegevus on vastuvõetav? Kes võib selle tegevuse välismaailmas jõustada? Mõnikord hoiab üks inimroll õigesti mitut neist vastustest. Mõnikord tuleb need eraldada. Asi ei ole selles, et luua madala riskiga märgukirja jaoks keeruline tseremoonia. Asi on selles, et vältida tehnilise võimekuse vaikset kohtlemist institutsionaalse volituse ülekandena.

Delegeerimine peaks seega kandma rohkem kui juhist. See peaks kandma volitust. Volitus määratleb eesmärgi, piiritletud konteksti, lubatud sisendid, oodatava väljundi, tegevused, mis jäävad keelatuks, eelarve või ajapiirangu, kui see on asjakohane, tingimused, mis nõuavad eskalatsiooni, ja isiku või rolli, kes vastutab tulemuse eest. Vastuvõttev agent saab siis teha kasulikku tööd nähtavas ümbrises. Ta võib küsida teiselt agendilt analüüsi. Ta ei saa ümbrist laiendada lihtsalt sellepärast, et talle tuleb meelde usutav järgmine samm.

See ei ole argument selleks, et muuta iga suhtlus kinnituskoosolekuks. See on argument selleks, et valida punkt, kus organisatsioon soovib otsust sündida. Süsteem võib koostada selgituse ilma, et inimene vaataks iga lauset, kui eesmärk, sihtrühm, allika piir ja avaldamisreeglid on juba fikseeritud. Süsteem ei tohiks omandada võimu muuta kliendi õigust lihtsalt sellepärast, et sama komponent pääseb ligi asjakohasele andmebaasile. Erinevus on tagajärg, mitte mudeli intelligentsus.

See tagajärg on sageli jaotatud. Ülesanne võib olla ühes etapis kahjutu ja järgmises oluliste tagajärgedega. Faili lugemine võib olla rutiinne. Selle kombineerimine teise allikaga võib muuta materjali tundlikkust. Soovituse ettevalmistamine võib olla rutiinne. Nupu vajutamine, mis loob õigusliku, rahalise või teenusega seotud tulemuse, ei pruugi seda olla. Valitsemiskujundus, mis küsib ainult seda, kas agent on autonoomne, jätab selle olekumuutuse tähelepanuta. Kasulikum küsimus on kitsam: autonoomne milleks, kelle jaoks, milliste tingimuste alusel ja kelle volitusel?

Siin tasub säilitada üks tagasihoidlik hollandi instinkt. Kui protsess vajab tosinat allkirja, templit ja lamineeritud vooskeemi, et kindlaks teha, kes võib ühte nuppu vajutada, ei pruugi see olla valitsemise triumf. Kuid vastupidine korraldus, kus tööriista mandaati käsitletakse põhiseadusliku kokkuleppena, pole samuti triumf. Eesmärk on proportsionaalne tee, mis teeb olulise volituse selgeks, ilma et iga rutiinse toimingu ümber korraldataks väikest ooperit.

Euroopa järelevalve on tegevusnõue

AI-määrus annab selle idee kõige selgema õigusliku väljenduse kõrge riskitasemega AI-süsteemide puhul. Artikkel 14 nõuab, et need kavandataks ja arendataks nii, et füüsilised isikud saaksid neid kasutamise ajal tõhusalt jälgida. Väljendatud eesmärk on ennetada või minimeerida riske tervisele, ohutusele ja põhiõigustele, kui need riskid võivad jääda püsima vaatamata muudele nõuetele. Meetmed peavad olema proportsionaalsed riski, autonoomia ja kasutuskontekstiga. See on teadlikult tegevuspõhine standard. See ei ütle, et keegi organisatsioonis on AI-st üldiselt huvitatud.

Säte läheb kaugemale üldisest juhisest hoida inimene protsessi kaasatuna. Sõltuvalt sellest, mis on asjakohane ja proportsionaalne, peab järelevalveks määratud isik saama aru asjakohastest võimalustest ja piirangutest, jälgima toimimist ja tuvastama kõrvalekaldeid, talitlushäireid või ootamatut käitumist, olema teadlik automatiseerimise eelarvamusest, tõlgendama väljundit, otsustama väljundit mitte kasutada või seda eirata, üle kirjutada või tagasi pöörata, ning sekkuma või viima süsteemi ohutusse olekusse. Seadus ei muuda neid universaalseks kontrollnimekirjaks iga agendisüsteemi jaoks. Küll aga näitab see, miks protsessi lõpus asuv tempel on järelevalve halb mudel.

Nüüd lisage delegeerimine. Kui agent annab ülesande üle teisele agendile, peab järelevalve roll nägema rohkem kui ainult viimase mudeli loodud lõplikku lauset. See vajab piisavalt konteksti, et mõista, milline agent alaülesande pakkus, milliseid allikaid või tööriistu kasutati, kas poliitikapiirangut tabati, kas tulemust muutis ülevaataja ja kas hilisem agent laiendas ulatust. Vastasel juhul näeb inimene väljundit, kuid mitte seda teed, mis selle tekitas. See võib olla piisav väikese tagajärjega mustandi puhul. See ei ole veenev alus olulise otsuse vastuvõtmiseks.

Artikkel 26 teeb organisatsioonilise punkti veelgi selgemaks kõrge riskitasemega süsteemide kasutuselevõtjatele. See ütleb, et kasutuselevõtjad peavad määrama inimjärelevalve füüsilistele isikutele, kellel on vajalik pädevus, koolitus, volitus ja tugi. Need sõnad kuuluvad kokku. Pädevus ilma volituseta loob hästi informeeritud kõrvaltvaataja. Volitus ilma pädevuseta loob formaalse omaniku, kes ei suuda süsteemile vastu vaielda. Mõlemad ilma toetuseta loovad inimese, kellelt oodatakse sekkumist protsessi, mida ta ei näe, tempos, millega ta ei suuda sammu pidada, kasutades teavet, mida ta ei suuda tõlgendada.

Mitme agendi töö puhul hõlmab tugi liidese ja kirje kuju. Operaator ei vaja iga märki, mille mudel genereeris, ega iga sisemist uuesti proovimist. Nad vajavad kavandatavat toimingut, nimetatud eesmärki, materiaalseid tõendeid, kohaldatavat poliitikat ja piirangut, muudatusi alates viimasest ülevaatepunktist, oodatavat mõju, võimalikku tagasipööramise teed ja põhjust, miks juhtum edastati. See on vähem küsimus sellest, et muuta juhtpaneel rahustavaks, kui vähendada tõenäosust, et inimene kiidab vastuse heaks, sest süsteem on muutnud alternatiivi leidmise kurnavaks.

Euroopa Nõukogu raamkonventsioon tehisintellekti, inimõiguste, demokraatia ja õigusriigi kohta loob laiema institutsionaalse seose. Selle eesmärk on tagada, et tegevused tehisintellektisüsteemide elutsükli jooksul oleksid kooskõlas inimõiguste, demokraatia ja õigusriigiga. Artiklid 8 ja 9 nõuavad läbipaistvust ja järelevalvet, mis on kohandatud konkreetsetele kontekstidele ja riskidele, ning vastutust ja aruandekohustust kahjulike mõjude eest. Konventsioon ei näe ette agentide orkestreerimismustrit. See on siiski kasulik korrektsioon ideele, et tarkvarakomponentide ahel võib lahustada seda kasutava avaliku asutuse või eraettevõtja vastutuse.

See laiem vaatenurk on oluline, sest delegeeritud otsus võib mõjutada enamat kui tehnilist jõudlust. See võib mõjutada inimese võimet mõista otsust, seda vaidlustada, saada õiguskaitse või lihtsalt teada, milline organisatsioon vastutab. Töövoog võib koosneda mitme tarnija komponentidest, mitme pakkuja mudelitest, teise meeskonna hallatavatest tööriistadest ja avaliku lepingu alusel osutatavast teenusest. Asjaolu, et ahel on tehniliselt hajutatud, ei muuda mõju üksikisikule vähem reaalseks. Praktikas muudab see rollide selge jaotuse veelgi olulisemaks.

Andmekaitse annab sama hoiatuse teisest suunast. Euroopa Andmekaitse Nõukogu töö tehisintellektimudelite alal rõhutab, et andmekaitseanalüüs jääb kontekstipõhiseks: organisatsioonid peavad kindlaks määrama oma rolli, tuvastama asjaomase töötlemise ja kohaldama asjakohaseid kohustusi, mitte kohtlema silti „tehisintellektimudel" vabastusena tavapärasest aruandekohustusest. Kui mitme agendi töövoog puudutab isikuandmeid, ei tohiks delegeerimine varjata seda, kes määrab töötlemise eesmärgid ja vahendid, milline agent või tööriist milliseid andmeid saab ja kas järgmine üleandmine on ülesande jaoks vajalik. Alamülesanne on endiselt töötlemise etapp. Selle delegeerimiseks nimetamine ei muuda seda olematuks.

Ükski sellest ei anna maagilist vastust igale keerulisele juhtumile. Õiguslikud kohustused sõltuvad kasutusest, osalejatest, andmetest ja sektorist. Artikkel ei saa liigitada konkreetset süsteemi. Kuid see võib esitada distsiplineeritud põhimõtte: kui töövoog jaotab tööd, peaks see seda tegema viisil, mis säilitab võime tuvastada volitusi, sekkuda õigeaegselt, anda aru teekonnast ja reageerida inimestele, keda tulemus mõjutab.

Inimene ahelas vajab tõelist ahelat

Inimjärelevalve taandub kergesti ekraanile kinnitusnupuga. See ekraan võib olla kasulik. See võib olla ka tseremoniaalne objekt. Küsimus on selles, kas seda kasutaval inimesel on tähendusrikas valik. Valik ei ole tähendusrikas pelgalt seetõttu, et liides kuvab kaks nuppu. See sõltub sellest, kas inimesel on piisavalt aega, teavet, pädevust ja institutsionaalset luba teistsuguseks otsuseks.

Aeg on disaini kõige vähem glamuursem osa ja sageli kõige otsustavam. Kui süsteem saadab sadu ettepanekuid aja jooksul, mille jooksul üks retsensent saaks mõistlikult läbi vaadata vaid murdosa, on organisatsioon loonud järjekorra, mitte järelevalve. Kui ettepanek aegub enne, kui retsensent jõuab konteksti hankida, on süsteem muutnud kiiruse tegelikuks otsustajaks. Kui meeskonda premeeritakse ainult läbilaskevõime eest, on see andnud vaikse juhise, millist nuppu vajutada. Tarkvara ei suuda neid korraldusi ravida, lisades usaldusväärsuse skoori teistsuguses rohelise toonis.

Teave peab olema proportsionaalne, mitte ammendav. Retsensent, kellele antakse ainult järeldus, ei saa seda vaidlustada. Retsensent, kellele antakse toorprotokoll igast agendi interaktsioonist, ei saa seda tavaliselt samuti vaidlustada. Kasutatav kesktee on otsusepakett. See tuvastab, millist tegevust pakutakse, miks see on seatud eesmärgi piires, milline oluline tõendusmaterjal seda toetab, milline ebakindlus jääb, milline poliitika või reegel on asjakohane, milline on pakutud mõju ja mis juhtuks, kui tegevust ei heaks kiideta. Pakett peaks linkima sügavamatele tõenditele, kuid see ei tohiks nõuda arheoloogilist ekspeditsiooni tavalise juhtumi puhul.

Pädevus tähendab enamat kui üldine kursus tehisintellektist. Käsiloleva ülesande jaoks peab retsensent mõistma väljundi tüüpi, teadaolevaid piiranguid, mis võivad olulised olla, viisi, kuidas töövoog peaks käituma, ja märke, mis nõuavad eskaleerimist. Inimene, kes suudab ära tunda vigase tarnija arve, võib olla hästi paigutatud arvega seotud ettepaneku ülevaatamiseks. Sama inimene ei pruugi olla hästi paigutatud hindama mudeli keelekatvust või andmekaitse mõju. Järelevalve määramine on seega ka personaliotsus.

Institutsionaalne luba on test, mille paljud kujundused vaikselt läbi kukuvad. Retsensent peab saama keelduda, peatada või muuta pakutud teed, ilma et teda koheldaks süsteemivea allikana. Neil peab olema juurdepääs inimesele või rollile, kes saab otsustada, mis edasi juhtub. Neil peab olema viis märkida, et asi eskaleeriti. Ja süsteem vajab ohutut olekut, kus töö saab oodata ilma, et seda kogemata kinnitataks uuesti proovimise, ajalõpu või teise agendi poolt, kes võtab algse juhise lõpetamata asjana.

Ohutustehnika on pikka aega käsitlenud inimlikku sooritust süsteemi osana, mitte viimase lakikihina. Suurbritannia tervise- ja ohutusamet kirjeldab inimtegureid kui ülesannet, indiviidi ja organisatsiooni koos ning hoiatab nende eraldi käsitlemise eest. See on mõistlik raamistik agendi järelevalve jaoks. Retsensent ei ole abstraktne inimlik pistik tarkvaralünga jaoks. Nad teevad konkreetset ülesannet, konkreetse teabe ja tööriistadega, konkreetse organisatsiooni sees, millel on konkreetsed survekohad ja piirid. Kontrolli kvaliteet sõltub kõigest sellest.

Sel põhjusel algab hea inimese-ahelas kujundus enne nupu ilmumist. See määratleb, millised otsused vajavad inimese väravat, kes väravat hoiab, milliseid tõendeid nad saavad, kui palju aega ülesanne lubab, mis juhtub, kui nad puuduvad, ja kas väraval on autoriteet tegevuse enda üle või ainult tegevuse selgituse üle. Kui organisatsioon ei suuda neile küsimustele vastata vaiksel teisipäeval, ei muutu see selgemaks, kui saabub kõrgete tagajärgedega juhtum. Ega peaks ka vajama kujuteldavat kriisi, et seda märgata.

Õigused peaksid kirjeldama tegevuse tagajärge, mitte ainult volituse tehnilist ulatust.

Üks ülesanne, mitu liiki volitusi

Kompaktne volitusmudel võib muuta agendi töövoo haldamise lihtsamaks. See ei pea olema suurejooneline. Alusta erinevusest lugemise, ettepaneku tegemise, edasivolitamise, kinnitamise ja peatamise vahel. Roll, millel on lugemisõigus, võib vaadata ülesande jaoks vajalikku materjali. Roll, millel on ettepaneku tegemise õigus, võib koostada võimaliku tegevuse. Roll, millel on edasivolitamise õigus, võib määrata piiritletud töö teisele osapoolele. Roll, millel on kinnitamise õigus, võib muuta olulise tegevuse kehtivaks. Roll, millel on peatamise õigus, võib teekonna peatada või katkestada, kui selle tingimused enam ei kehti.

Need ei ole lihtsalt astmed. Vastavuskontrollija võib töövoogu peatada, kuid ei pruugi kinnitada klienditulemust. Spetsialistagent võib teekonda ette panna, kuid ei pruugi oma valdkonnast väljapoole jäävat uut tööd edasi volitada. Juht võib vastutada teenuse eesmärgi eest, kuid ei pruugi olla isik, kellel on õigus konkreetset makset teostada. Kasulik omadus ei ole hierarhia iseenesest. See on see, et süsteem suudab hinnata, kas konkreetsel osapoolel on antud kontekstis konkreetse tegevuse jaoks asjakohane volitus.

Kontekst teeb suure osa tööst. Sama kavandatud tegevus võib ühes olukorras olla tavaline ja teises oluliste tagajärgedega. Juba kinnitatud malli saatmine teadaolevale sisemisele aadressile võib kuuluda rutiinse suhtluse volituste hulka. Vastloodud sõnumi saatmine isikuandmetega uuele adressaadile on teine asi. Määratletud piirmäära piiresse jääv tagasimakse võib olla edasi volitatud hästi testitud protsessile. Õiguse muutmine, andmete kustutamine või väline kohustus võib vajada nimetatud inimese otsust. Poliitika peaks selle eristuse väljendama enne, kui mudelil palutakse selle järgi planeerida.

Samuti on oluline erinevus kinnituse ja kättesaamise kinnituse vahel. Kättesaamise kinnitus fikseerib, et keegi nägi sõnumit. Kinnitus fikseerib, et volitatud isik võttis vastu määratletud tegevuse asjakohases kontekstis teekonna kindlas punktis. Vestluspõhises süsteemis võivad need sarnased välja näha. Fikseeritud andmed ei tohiks. Kui hilisem kontrollija ei suuda öelda, milline tegevus kinnitati ja millist mõju oodati, on organisatsioon logitud vestluse, mitte jäädvustanud otsust.

Ka edasivolitamine ise vajab piire. Agent, kes saab ülesande võrrelda kolme olemasolevat ettepanekut, võib tohtida paluda uurimisagendil asjakohaseid tingimusi välja tuua. See ei tohiks käsitleda seda luba kutsekse tarnijatega ühendust võtta, uusi andmeid hankida või hanke eesmärki ümber sõnastada. Piiri saab väljendada poliitikas, tööriista ulatuses, struktureeritud ülesandelepingus või kõigis kolmes. Oluline on see, et see oleks piisavalt jõustatav, et teekonda piirata, mitte ainult soovitud käitumist pärast sündmust kirjeldada.

Delegatsiooni sügavus on veel üks piir, mida tasub nimetada. Inimene saab ühele agendile ülesande anda ja säilitada siiski selge ülevaate selle esimesest üleandmisest. Pärast mitut pesastatud üleandmist võib algne eesmärk olla tehniliselt metadandis olemas, kuid praktiliselt nähtamatu. Organisatsioonid saavad teatud tööliigi jaoks määrata maksimaalse delegatsiooni sügavuse, nõuda läbivaatamist teatud sügavusel või keelata delegaadil uute delegaatide loomise ilma uue loata. Need on kujundusotsused, mitte universaalsed nõuded. Need on kõige kasulikumad siis, kui pikem ahel muudab raskeks näha, milline osaleja tõi sisse uue eelduse või muutis tegelikku ulatust.

Tööriista volitus peab samuti olema mudeli volitusest eraldatud. Mudel võib valida tööriista plaani põhjal. Tööriista integratsioon peaks siiski kontrollima, kas taotletud toiming, sihtmärk, andmekategooria, ressursipiirang ja töövoo olek lubavad väljakutse. See ei ole umbusaldus mudeli vastu moraalses mõttes. See on tavaline piiride kujundus. Hästi vormistatud plaan võib siiski olla praeguse juhtumi jaoks sobimatu ja halvasti vormistatud plaan ei tohiks muutuda reaalseks ainult seetõttu, et see jõudis laia juurdepääsuga mandaadini.

Sama kehtib taastumise kohta. Uuesti proovimine ei ole alati kahjutu. Avaliku dokumendi lugemise taotluse uuesti proovimine erineb taotluse uuesti proovimisest, mis saadab sõnumi või teeb makse. Kui delegeeritud ülesanne ebaõnnestub, vajab töövoog selget valikut uuesti proovimise, ümbersuunamise, eskaleerimise, peatamise ja kontrollitud ebaõnnestumise vahel. Nende kohtlemine ühe üldise veahaldurina on see, kuidas operatiivne otsus tehakse vaikimisi seadetega vaikselt. Agendi käitusaeg saab valikud kättesaadavaks teha. Organisatsioon peab otsustama, milline valik millise toiminguklassi puhul kehtib.

Ebaõnnestumine on sageli puuduv otsus

Kui inimesed kuulevad ebaõnnestumisest, kujutavad nad sageli ette agenti, kes esitab vale väite, või tööriista, mille aeg saab otsa. Mõlemad võivad olla olulised. Paljastavamad ebaõnnestumised delegeeritud töös on sageli vaiksemad. Ülesanne määrati ilma selge omanikuta. Ettepanek ületas piiri, mida keegi ei olnud modelleerinud. Läbivaataja nägi järeldust, kuid mitte tõendeid. Uuesti proovimine jätkus pärast peatust. Inimene märkas probleemi, kuid tal puudus volitus toimingu peatamiseks. Otsus tehti, kuid protokoll salvestas ainult lõpptulemuse, mitte tingimuse, mis muutis selle vastuvõetavaks.

Need ei ole väited nimetatud juhtumi kohta. Need on ebaõnnestumise viisid, mis tulenevad delegatsiooni struktuurist endast. Neid võib leida ka inimprotsessidest. Tarkvaras saavad need aga liikuda automatiseerimise kiirusel ja korduda väga järjekindlalt. See järjekindlus ei ole põhjus meeleheiteks. See on põhjus käsitleda töövoo kujundust kontrolli osana, mitte eeldada, et ühe mudelikomponendi täpsuse testimine lahendab küsimuse.

Mõelge veel ühele otseselt hüpoteetilisele kujundusele. Agendil palutakse koostada juhtumi kokkuvõte. Ta delegeerib dokumendi ekstraheerimise ühele komponendile ja keele normaliseerimise teisele. Kolmas komponent näeb mittetäielikku välja ja kasutab lünga täitmiseks ühendatud teadmiste allikat. Lõplik kokkuvõte loetakse sujuvalt. Kui töövoog ei ole salvestanud puuduvat välja, selle täitmiseks kasutatud allikat, sellega kaasnenud usaldust või ebakindlust ja asjaolu, et algne ülesanne lubas ainult kokkuvõtte tegemist, ei saa läbivaataja öelda, kas ta kiidab heaks kokkuvõtte või äsja loodud faktilise väite. Probleem ei ole selles, et viimane lause kõlab imelikult. Probleem on selles, et ülesande tähendus muutus marsruudi sees.

Õige vastus ei ole delegeerimise keelamine. See on muutepunktide kirja panemine. Uus allikas, uus tööriist, uus andmekategooria, uus toiminguklass, oluline muutus usaldustasemes, ebaõnnestunud kontroll, lubatust pikem delegeerimisahel või ettepanek ületada väline piir võib igaüks olla põhjus töö läbivaatamiseks välja tuua. Täpsed päästikud varieeruvad kontekstiti. Põhimõte on stabiilne: muutus, mis oleks vastutavale omanikule oluline, ei tohiks jääda nähtamatuks seepärast, et see toimus komponentide vahel.

See on üks koht, kus ohutusjuhtumi mõtlemine on kasulik. Ohutusjuhtum ei ole lubadus, et miski ei saa valesti minna. See on struktureeritud argument selle kohta, miks süsteem on vastuvõetav kindlaks otstarbeks kindlates tingimustes, kusjuures tõendid, eeldused, kontrollid ja jääkriskid on nähtavad. Hoolikalt agentide töövoole rakendatuna tähendab see, et väide ei ole see, et agendid on üldiselt ohutud. Väide on kitsam: seda marsruuti võib kasutada selleks otstarbeks, nende piirangutega, sest need kontrollid ja järelevalvekorrad on olemas, ning seda tuleb uuesti kaaluda, kui esitatud eeldused enam ei kehti.

Töövoogu on siis lihtsam vaidlustada. Operaator saab küsida, kas toiminguklass oli õigesti määratud. Riskijuht saab küsida, kas läbivaatajal on ikka piisavalt aega. Insener saab küsida, kas uuesti proovimine võib tekitada duplikaatmõju. Andmekaitse spetsialist saab küsida, kas alamülesanne on endiselt vajalik ja proportsionaalne. Isik, keda tulemus mõjutab, saab, kui kohaldatav raamistik seda nõuab, saada võimaluse otsus vaidlustada. Need küsimused ei ole bürokraatia, mis on lisatud pärast huvitavat tehnilist tööd. Need on töö, mis muudab tehnilise süsteemi organisatsioonis aruandekohustuslikuks.

Mõõdikud peaksid järgima sama distsipliini. Delegeeritud ülesannete arvu lugemine ütleb meile midagi mahu kohta, mitte aruandekohustusliku toimimise kohta. Kasulikumad mõõdikud võivad hõlmata määra, millega töövoog eskalearub, sest piir muutus, aega, mille otsus väravas ootab, täieliku otsusepaketiga oluliste toimingute osakaalu, õnnestunud tagasipööramiste arvu või juhtumite arvu, kus poliitikakontroll keeldus tööriistakutsest. Sellised mõõtmised vajavad siiski määratlust ja konteksti. Neid ei tohiks kunagi välja mõelda brošüüri jaoks. Kuid kirjete kujundamine nii, et neid saaks mõõta, on märk sellest, et aruandekohustust käsitletakse toimimisomadusena.

Kirje on koht, kus vastutus säilib

Multiagent-süsteem toodab kummalist ajalugu. Selles on sõnumeid, tööriistakutseid, vaheväljundeid, poliitikakontrolli, mudeliversioone, ajateavet, uuesti proovimisi, muudetud ülesandeid ja võib-olla ka inimese kinnitusi. Iga baidi igavesti säilitamine ei ole vajalik ega sageli ka asjakohane. Ainult lõpliku vastuse säilitamine on tavaliselt liiga vähe. Kirje peab säilitama otsused ja tõendid, mis selgitavad, kuidas töövoog liikus taotlusest tulemuseni.

Olulise toimingu puhul peaks see kirje tavaliselt võimaldama läbivaatajal rekonstrueerida mõned põhifaktid. Mis oli eesmärk? Milline poliitika või volitus muutis töö lubatavaks? Kes või mis sai iga ülesande? Mida pakuti igal olulisel väraval? Millist teavet kasutati ettepaneku toetamiseks? Milliseid piiranguid, hoiatusi või tõrkeid kohati? Kellel oli volitus toiming heaks kiita, peatada või tagasi pöörata? Milline toiming jõustus ja mis juhtus pärast seda? Need ei ole eksootilised küsimused. Need on küsimused, mida organisatsioon küsib, kui ta tahab teada, kas otsus oli tema otsus.

The record should distinguish an operational fact from an explanation produced later. If a system says a reviewer approved an action, the event should record the identity or role of the reviewer, the action they were shown, the relevant context and the time at which the approval bound to that action. If the system says a model selected a delegate, the record should preserve the selection rule, candidates or criteria at the level appropriate for the use, and the resulting assignment. A later narrative can help a reader, but it should not replace the event that occurred.

Versioning matters here. An agent's output may be regenerated. A policy may be updated. A tool schema may change. A model endpoint may be swapped. If a decision depends on a particular version of a prompt, policy, model, knowledge source or integration, the record needs a stable reference to that version. Otherwise replay becomes a performance: it reproduces whatever the organisation happens to have now and calls the result an explanation of what happened then.

Reversibility deserves equal attention. The AI Act expressly refers, in the high-risk oversight context, to the ability to disregard, override or reverse an output and to interrupt a system so it comes to a halt in a safe state. In a multi-agent route, the safe state is not necessarily a stopped model process. It may mean no external communication is sent, a queued action is held, a downstream system is not updated, temporary credentials are no longer usable for the task, and the evidence needed to decide what happens next is retained. That is an operational inference from the oversight requirement, not a quotation of the law. It is also a useful design test.

Safe does not mean frozen forever. A halted workflow needs a controlled resumption path. Someone must decide whether to amend the task, discard the proposal, rerun a bounded part of the work, use a different tool, seek further evidence or abandon the route. A clean record makes that choice easier because it tells the next person what is known, what was attempted, why the work stopped and which effects have and have not occurred. Without that record, recovery becomes another unstructured delegation, usually undertaken under more pressure than the first one.

This is why retention and access need their own decisions. Not every actor should be able to read every trace. A record may contain personal data, commercially sensitive material or security-relevant details. But controlled access is not the same as no record. The Council of Europe Convention's emphasis on transparency, oversight, accountability and responsibility is a useful reminder that the boundary should be designed rather than assumed. An organisation can preserve an accountable route while limiting access to the detail that a particular reviewer genuinely needs.

What a delegation contract should make visible

A delegation contract can be a data structure, a workflow schema, a signed approval packet or a combination of these. Its form matters less than its content. It should tell the receiving actor what it is allowed to do, what it is not allowed to do and how the work will be judged. When these constraints are absent, agents tend to compensate with increasingly elaborate instructions. That may improve a particular run. It does not create an organisational boundary that a tool, reviewer or auditor can enforce.

Begin with the intended purpose. A purpose should be concrete enough to exclude nearby tasks. Compare the terms in the supplied proposals is different from find the best supplier. Summarise the received documents is different from establish the missing facts. Draft a reply for review is different from communicate a decision. The contrast can sound fussy until an agent uses a broad instruction to take a reasonable but unauthorised next step. Then it is the difference between useful initiative and an unbounded mandate.

Määratlege lubatud ja keelatud toiminguklassid. Agendil võib olla lubatud lugeda juhtumi toimikut, eraldada nimega välju, võrrelda poliitikaga ja koostada mustand. Tal võib olla keelatud muuta algset kirjet, võtta ühendust välise osapoolega, valida uut allikat või kinnitada tehingut. Need ei ole pelgalt käsujuhised. Tööriista- ja töövoogukiht peaks neid võimaluse korral jõustama. Poliitika, mida toimingu hetkel kontrollida ei saa, on juhisena endiselt kasulik, kuid kontrollimehhanismina nõrgem.

Nimetage omanik ja eskaleerimistee. Omanik ei pruugi olla isik, kes iga toimingu heaks kiidab. See on roll, kes vastutab tulemuse eest ja selle eest, mis juhtub, kui tee jõuab lahendamata küsimuseni. Eskaleerimistee määrab järgmise volitatud isiku, kui agent tuvastab piiririkkumise, ebapiisavad tõendid, konflikti allikate vahel, poliitika mittevastavuse või tingimuse, mida süsteemil ei ole lubatud lahendada. Järjekord ilma nimetatud otsuseomanikuta on lihtsalt viivitus optimistliku sildiga.

Lisage tõendireegel. Reegel võib sätestada, millised allikad on autoriteetsed, kas agent võib otsida kaugemale, kuidas määramatust esitatakse, mida tuleb ettepanekus tsiteerida ja millal nõuab vastuoluline allikas ülevaatamist. See on eriti oluline süsteemide puhul, mis genereerivad sujuvat proosat. Sujuvus võib panna piiririkkumise näima kasuliku lõpetamisena. Tõendireegel teeb õige küsimuse kättesaadavaks: kas töövoog jäi materjali piiresse, mille kasutamiseks oli volitus?

Määrake aja-, ressursi- ja delegeerimispiirangud seal, kus need on olulised. Ülesanne, mis võib lõputult jätkuda, võib tekitada kulusid, operatiivset ummistust või survet aegunud tulemuse kinnitamiseks. Ülesanne, mis võib korduvalt delegeerida, võib luua ahela, mida ükski omanik hõlpsasti kontrollida ei saa. Piiratud disain ütleb, kui kaua ülesanne kehtib, kui palju ressursse see võib tarbida, kas see võib luua alamülesande, milline on lubatud maksimaalne sügavus ja mis juhtub piiri saavutamisel. Vastus võib olla automaatne peatamine, eskaleerimine või kontrollitud ebaõnnestumine. Oluline on see, et see otsustatakse enne piiri ületamist.

Lõpuks määratlege lõpetamistingimus. Lõpetatu ei tähenda alati, et agent tootis teksti. See võib tähendada, et ülevaataja sai täieliku paketi, poliitikavärav aktsepteeris konkreetse toimingu, allavoolu süsteem kinnitas pöörduva värskenduse või vastutav omanik otsustas mitte jätkata. Lõpetamistingimused hoiavad töövoo ausana. Need takistavad agendil kohtlemast otsuse ettepaneku tegemist nii, nagu organisatsioon oleks otsuse juba teinud.

Need mustrid on kasulikud, olenemata sellest, kas töövoog sisaldab ühte mudelipõhist agenti või suuremat spetsialiseeritud komponentide meeskonda. Rohkem agente ei nõua automaatselt rohkem protsessi. Küll aga nõuavad nad, et rollide vahelised piirid oleksid väljendatud, mitte ainult kaudsed. Selle väljendamise hind on üldiselt palju madalam kui volituse rekonstrueerimise hind pärast seda, kui mitu süsteemi on vahetanud osalisi juhiseid ja üks neist on puutunud kokku välismaailmaga.

Delegeerimine peaks muutma organisatsiooni võimekamaks, mitte vähem vastutustundlikuks

Agendisüsteeme kirjeldatakse sageli nii, nagu oleks nende väärtus organisatsiooni eemaldamises tööst. Huvitavam väljavaade on vastupidine. Hoolikalt kavandatud süsteem võib muuta organisatsioonilised kohustused selgemaks: ülesandel on omanik, delegeerimisel on piir, olulisel toimingul on volitus, ülevaatusel on tõendid, peatusel on ohutu olek ja kirjet saab taasesitada. See ei ole takistus kasulikule automatiseerimisele. See on see, mis võimaldab automatiseerimisel võtta endale tähenduslikku tööd ilma, et inimestel palutaks usaldada nähtamatut ahelat.

Me ehitasime Dweve Nexus selle eristuse ümber. Selle kohalik tootedokumentatsioon kirjeldab püsivaid ülesandeid, autoriteedi hindamist tegevusele eelneva käitusaja konteksti alusel, selgeid koostööstruktuure, sealhulgas delegeerimist, ning töö käigus kirjutatud arvestust. Asjakohane väide on teadlikult tagasihoidlik. Need on disainiomadused, mille eesmärk on muuta delegeeritud tee kontrollitavaks. Need ei tõenda, et mõni konkreetne juurutamine on seaduslik, ohutu või sobiv, ega välista organisatsiooni vajadust otsustada ise oma eesmärgi, autoriteedi ja inimjärelevalve üle.

Laiem õppetund ei sõltu ühest tootest. Mudel saab otsustada, kuidas ülesanne jagada. Agent saab teiselt agendilt tööd küsida. Tööriist saab toimingu sooritada. Organisatsioon peab ikkagi otsustama, kus autoriteet asub. Ta peab seda tegema enne delegeerimise algust, mitte pärast seda, kui lõpptulemus on lihvitud millekski, mida on raske kahtluse alla seada.

See on vastus pealkirjale. Otsuse omanik ei ole agent, kes juhtus viimasena rääkima. See on isik või roll, kellele organisatsioon andis autoriteedi otsuse tagajärgede vastuvõtmiseks, piisava teabe ja volitusega sellest keelduda. Delegeerimine on kasulik, kui see muudab selle isiku võimekamaks. See muutub ohtlikuks, kui see muudab ta leidmatuks.

Agentide delegeerimisel jääb otsustusõigus kellele?