Tko donosi odluku kada agent delegira?

Tko donosi odluku kada agent delegira?

Primopredaja ne isprazni stolicu

Agent delegira zadatak. Drugi agent prikuplja materijale, uspoređuje zapise, poziva alat ili priprema preporuku. Treći agent provjerava rezultat. Posao se pomiče, a to kretanje može biti korisno. Također može stvoriti vrlo star problem upravljanja u novom obliku: svi su nešto učinili, a nitko ne može reći tko je bio ovlašten donijeti odluku.

Primamljiv odgovor je agent koji je napravio posljednji poziv. To je također obično najmanje koristan odgovor. Softverska komponenta može odabrati rutu, zatražiti dodatni rad i poslati instrukciju povezanom sustavu. Nijedna od tih radnji ne utvrđuje tko je prihvatio svrhu, tko je postavio granicu, tko je mogao odbiti radnju ili tko je morao biti obaviješten kada su se uvjeti promijenili. To samo utvrđuje da je program bio u lancu.

Ta razlika postaje oštra kada tijek rada ima posljedice. Predloženi odgovor može postati komunikacija s kupcem. Klasifikacija može postati razlog zašto se predmet stavlja u određeni red. Usporedba može postati preporuka za kupnju. Nacrtana instrukcija za plaćanje može postati plaćanje. Svaki korak može biti tehnički kompetentan, a ipak organizacijski nepotpun. Sustav je obavio posao delegiranja bez obavljanja posla ovlasti.

Nema potrebe izmišljati dramatičan neuspjeh da bi se problem vidio. Uzmimo namjerno hipotetski tijek rada. Agent za trijažu prima pitanje, traži od istraživačkog agenta da pregleda relevantan materijal, šalje rezultat recenzentu i zatim priprema radnju za sustav upravljanja predmetima. Istraživački agent nije ovlašten djelovati. Recenzent nije ovlašten učiniti ishod predmeta djelotvornim. Agent za trijažu ima vjerodajnicu za alat. Organizacija nije specificirala dopušta li mu ta vjerodajnica da potvrdi rezultat. Tijek rada može izgledati uredno na nadzornoj ploči. Ipak je došao do najvažnijeg pitanja bez odgovora.

Delegiranje nije nestanak odgovornosti. To je odgovornost učinjena teže vidljivom. Dobar operativni dizajn čini je ponovno lakšom. On kaže što je početna odluka, što se može delegirati, koji uvjeti prate zadatak, tko može odobriti nepovratnu ili posljedičnu radnju, koji zapis ostaje nakon primopredaje i kako osoba ili sustav može intervenirati kada ruta više nije sigurna. Od tehnologije se ne traži da posjeduje moralno djelovanje. Od nje se traži da ostavi organizacijsko djelovanje netaknutim.

To je praktično značenje odgovornosti u tijeku rada s više agenata. To nije ukrasna rečenica u politici i nije retrospektivna potraga za najbližim zaposlenikom kada nešto pođe po zlu. To je svojstvo rute prije nego što posao počne. Prava osoba može pregledati što je predloženo, razumjeti zašto je predloženo, izvršiti ovlast koja joj je dodijeljena i ostaviti zapis koji se naknadno može osporiti.

Nova europska pravila o umjetnoj inteligenciji korisna su ovdje jer ih manje zanima teatralan čovjek na kraju tijeka, a više uvjeti pod kojima nadzor zapravo može funkcionirati. Odredbe o ljudskom nadzoru iz Akta o umjetnoj inteligenciji primjenjuju se na sustave visokog rizika, ne na svaku upotrebu agenta. To ograničenje je važno. No operativna pitanja iz Akta dobro putuju: može li dodijeljena fizička osoba razumjeti relevantne mogućnosti i ograničenja, pratiti anomalije i neočekivanu izvedbu, izbjeći pretjerano oslanjanje, interpretirati izlaz, zanemariti ga ili preokrenuti te prekinuti sustav u sigurno stanje? Tijek rada s mnogo agenata ne čini ta pitanja manjima. On umnožava mjesta na kojima se odgovor može izgubiti.

Delegacija je lanac, ne magla

Ljudi neprestano delegiraju. Voditelj zamoli kolegu da pripremi bilješku. Tim za nabavu zamoli stručnjaka da pregleda ugovornu odredbu. Kliničar zatraži rezultat od laboratorija. Osoba koja prima zadatak dobiva definiranu ulogu u poslu; ona ne nasljeđuje automatski svaku ovlast koju ima osoba koja je zatražila zadatak. Dobre organizacije ovu svakodnevnu razliku čine jasnom kroz opise poslova, ograničenja odobravanja, procedure, razdvajanje dužnosti i evidencije. To čine jer su sposobnost i dopuštenje različite stvari.

Agentski sustavi imaju tendenciju zamagliti tu razliku jer agent može opisati, planirati i izvršiti u jednoj konverzacijskoj površini. Model može biti u stanju generirati uvjerljiv plan za kontaktiranje dobavljača. Omotač alata može tehnički biti u stanju poslati poruku. Orkestracijski sloj može pozvati taj omotač bez stanke. Te činjenice opisuju sposobnost. One ne odlučuju treba li poruka biti poslana, je li predloženi primatelj u opsegu, je li informacija primjerena za otkrivanje ili tko bi trebao prihvatiti posljedicu ako je predložena radnja pogrešna.

Korisno je razdvojiti pet pitanja koja su često spojena. Tko je dao svrhu zadatku? Tko smije obavljati pripremni rad? Tko smije delegirati podzadatak? Tko smije odlučiti da je predložena radnja prihvatljiva? Tko smije učiniti tu radnju učinkovitom u vanjskom svijetu? Ponekad jedna ljudska uloga opravdano drži nekoliko tih odgovora. Ponekad ih treba razdvojiti. Poanta nije stvoriti razrađenu ceremoniju za bilješku niskog rizika. Poanta je izbjeći tiho tretiranje tehničke sposobnosti kao prijenosa institucionalne ovlasti.

Delegacija bi stoga trebala nositi više od upute. Trebala bi nositi mandat. Mandat identificira cilj, ograničeni kontekst, dopuštene ulaze, očekivani izlaz, radnje koje ostaju zabranjene, proračun ili vremensko ograničenje gdje je relevantno, uvjete koji zahtijevaju eskalaciju te osobu ili ulogu odgovornu za ishod. Agent koji prima mandat tada može obavljati koristan posao unutar vidljivog okvira. Može zatražiti analizu od drugog agenta. Ne može proširiti okvir samo zato što mu na pamet padne uvjerljiv sljedeći korak.

Ovo nije argument za pretvaranje svake interakcije u sastanak za odobravanje. To je argument za odabir točke na kojoj organizacija želi da se odluka dogodi. Sustav može sastaviti objašnjenje bez da čovjek gleda svaku rečenicu kada su svrha, publika, granica izvora i pravila objavljivanja već utvrđeni. Sustav ne bi trebao steći moć promijeniti pravo korisnika samo zato što ista komponenta ima pristup relevantnoj bazi podataka. Razlika je u posljedici, ne u inteligenciji modela.

Ta se posljedica često raspodjeljuje. Zadatak može biti bezopasan u jednoj fazi, a posljedičan u sljedećoj. Čitanje datoteke može biti rutinsko. Kombiniranje s drugim izvorom može promijeniti osjetljivost materijala. Priprema preporuke može biti rutinska. Pritisak na gumb koji stvara pravni, financijski ili uslužni ishod možda neće biti. Dizajn upravljanja koji pita samo je li agent autonoman propušta tu promjenu stanja. Korisno je pitanje uže: autonoman za što, za koga, pod kojim uvjetima i s čijim ovlastima?

Ovdje vrijedi zadržati skromnu nizozemsku intuiciju. Ako je za utvrđivanje tko smije pritisnuti jedan gumb potrebno desetak potpisa, pečata i laminirani dijagram tijeka, to možda nije trijumf upravljanja. No ni suprotno uređenje, u kojem se vjerodajnica alata tretira kao ustavno rješenje, nije trijumf. Cilj je proporcionalan put koji čini posljedične ovlasti jasnima bez uprizorenja male opere oko svake rutinske radnje.

Europski nadzor operativni je zahtjev

Akt o umjetnoj inteligenciji daje najjasniji pravni izraz te ideje za visokorizične sustave umjetne inteligencije. Članak 14. zahtijeva da budu osmišljeni i razvijeni tako da ih fizičke osobe mogu učinkovito nadzirati dok su u uporabi. Navedena je svrha spriječiti ili smanjiti rizike za zdravlje, sigurnost i temeljna prava ako ti rizici mogu ostati unatoč drugim zahtjevima. Mjere moraju biti razmjerne riziku, autonomiji i kontekstu uporabe. To je namjerno operativni standard. Ne kaže da je osoba negdje u organizaciji općenito zainteresirana za umjetnu inteligenciju.

Odredba ide dalje od generičke upute da se čovjek zadrži u petlji. Ovisno o tome što je primjereno i proporcionalno, osoba zadužena za nadzor mora moći razumjeti relevantne mogućnosti i ograničenja, pratiti rad te otkriti anomalije, kvarove ili neočekivanu izvedbu, ostati svjesna pristranosti automatizacije, tumačiti rezultate, odlučiti ne upotrijebiti rezultat ili ga zanemariti, nadjačati ili poništiti te intervenirati ili prekinuti sustav u sigurno stanje. Zakon to ne pretvara u univerzalni popis za svaki agentski sustav. No pokazuje zašto je žig na kraju procesa loš model nadzora.

Sada dodajte delegiranje. Ako agent preda zadatak drugom agentu, nadzorna uloga mora moći vidjeti više od završne rečenice koju je proizveo posljednji model. Potreban je dovoljan kontekst da se razumije koji je agent predložio podzadatak, koji su izvori ili alati upotrijebljeni, je li naiđeno na ograničenje politike, je li recenzent promijenio rezultat i je li kasniji agent proširio opseg. U suprotnom čovjek može vidjeti rezultat, ali ne i put koji ga je proizveo. To može biti dovoljno za nacrt s niskim posljedicama. Nije uvjerljiva osnova za prihvaćanje posljedične odluke.

Članak 26. još jasnije iznosi organizacijsku poantu za primjenitelje visokorizičnih sustava. Kaže da primjenitelji moraju dodijeliti ljudski nadzor fizičkim osobama s potrebnom stručnošću, osposobljenošću, ovlastima i podrškom. Te riječi pripadaju zajedno. Stručnost bez ovlasti stvara dobro informiranog promatrača. Ovlasti bez stručnosti stvaraju formalnog vlasnika koji ne može dovesti u pitanje sustav. Oboje bez podrške stvaraju osobu od koje se očekuje da intervenira u proces koji ne može vidjeti, tempom kojem ne može udovoljiti, koristeći informacije koje ne može protumačiti.

Za rad s više agenata, podrška uključuje oblik sučelja i zapisa. Operater ne treba svaki token koji je model generirao niti svako interno ponavljanje. Treba mu predložena radnja, imenovana svrha, materijalni dokazi, pravila i ograničenja koja se primjenjuju, promjene napravljene od posljednje točke pregleda, očekivani učinak, mogući put povratka i razlog zbog kojeg je predmet eskaliran. Ovdje se manje radi o tome da nadzorna ploča izgleda umirujuće, a više o smanjenju vjerojatnosti da će osoba odobriti odgovor zato što je sustav učinio alternativu iscrpljujućom za pronalazak.

Okvirna konvencija Vijeća Europe o umjetnoj inteligenciji, ljudskim pravima, demokraciji i vladavini prava pruža širi institucionalni okvir. Njezina je svrha osigurati da aktivnosti u životnom ciklusu sustava umjetne inteligencije budu u skladu s ljudskim pravima, demokracijom i vladavinom prava. Članci 8. i 9. pozivaju na transparentnost i nadzor prilagođene specifičnim kontekstima i rizicima te na odgovornost za štetne učinke. Konvencija ne propisuje obrazac orkestracije agenata. No ona je korisna protuteža ideji da lanac softverskih komponenti može ukinuti odgovornosti javnog tijela ili privatnog subjekta koji ga koristi.

Taj širi pogled je važan jer delegirana odluka može utjecati na više od tehničke izvedbe. Može utjecati na sposobnost osobe da razumije odluku, da je ospori, da ostvari pravnu zaštitu ili jednostavno da zna koja je organizacija odgovorna. Tijek rada može se sastojati od komponenti nekoliko dobavljača, modela nekoliko pružatelja, alata kojima upravlja drugi tim i usluge koja se isporučuje na temelju javnog ugovora. Činjenica da je lanac tehnički distribuiran ne čini utjecaj na pojedinca manje stvarnim. U praksi to čini jasnu raspodjelu uloga još važnijom.

Zaštita podataka daje isto upozorenje iz drugog smjera. Rad Europskog odbora za zaštitu podataka o modelima umjetne inteligencije naglašava da analiza zaštite podataka ostaje kontekstualna: organizacije moraju utvrditi svoju ulogu, identificirati obradu koja je uključena i primijeniti relevantne obveze, umjesto da etiketu model umjetne inteligencije tretiraju kao izuzeće od uobičajene odgovornosti. Kada tijek rada s više agenata dotiče osobne podatke, delegiranje ne bi smjelo prikriti tko određuje svrhe i sredstva obrade, koji agent ili alat prima koje podatke te je li sljedeća primopredaja nužna za zadatak. Podzadatak je i dalje korak obrade. Nazvati ga delegiranjem ne čini ga nevidljivim.

Ništa od ovoga ne daje čaroban odgovor za svaki težak slučaj. Pravne obveze ovise o uporabi, akterima, podacima i sektoru. Članak ne može klasificirati određeni sustav. Ali može iznijeti disciplinirano načelo: ako tijek rada raspodjeljuje posao, trebao bi ga raspodijeliti na način koji čuva mogućnost utvrđivanja ovlasti, pravodobne intervencije, vođenja evidencije o putu i odgovora ljudima na koje ishod utječe.

Osoba u petlji treba stvarnu petlju

Ljudski nadzor lako se svede na zaslon s gumbom za odobravanje. Taj zaslon može biti koristan. Može biti i ceremonijalni objekt. Pitanje je ima li osoba koja ga koristi smislen izbor. Izbor nije smislen samo zato što sučelje prikazuje dva gumba. Ovisi o tome ima li osoba dovoljno vremena, informacija, stručnosti i institucionalnog ovlaštenja da odluči drugačije.

Vrijeme je najmanje glamurozan dio dizajna, a često i najpresudniji. Ako sustav pošalje stotine prijedloga u razdoblju u kojem bi jedan recenzent razumno mogao pregledati tek dio njih, organizacija je stvorila red čekanja, a ne nadzor. Ako prijedlog istekne prije nego što recenzent stekne kontekst, sustav je učinio brzinu stvarnim donositeljem odluka. Ako se tim nagrađuje samo za propusnost, dobio je tihu uputu o tome koji gumb pritisnuti. Softver ne može izliječiti takve aranžmane dodavanjem ocjene pouzdanosti u drugoj nijansi zelene.

Informacije moraju biti razmjerne, a ne iscrpne. Recenzent koji dobije samo zaključak ne može ga dovesti u pitanje. Recenzent koji dobije sirovi transkript svake interakcije agenta obično također ne može dovesti u pitanje. Upotrebljiva sredina je paket odluka. On identificira koja je radnja predložena, zašto je u skladu s navedenom svrhom, koji materijalni dokazi je podupiru, koja neizvjesnost ostaje, koja je politika ili pravilo relevantno, kakav je predloženi učinak i što bi se dogodilo ako radnja ne bude odobrena. Paket bi trebao povezivati na dublje dokaze, ali ne bi smio zahtijevati arheološku ekspediciju za uobičajeni slučaj.

Kompetencija znači više od generičkog tečaja o umjetnoj inteligenciji. Za zadatak koji je pri ruci, recenzent mora razumjeti vrstu izlaza, poznata ograničenja koja bi mogla biti relevantna, način na koji bi tijek rada trebao funkcionirati i znakove koji upućuju na eskalaciju. Osoba koja može prepoznati neispravnu fakturu dobavljača može biti u dobroj poziciji za pregled prijedloga povezanog s fakturama. Ista osoba možda nije u dobroj poziciji za procjenu jezične pokrivenosti modela ili implikacije zaštite podataka. Dodjeljivanje nadzora stoga je i odluka o osoblju.

Institucionalno dopuštenje test je na kojem mnogi dizajni tiho padnu. Recenzent mora moći odbiti, pauzirati ili promijeniti predloženi put bez da ga se tretira kao izvor kvara sustava. Treba mu pristup osobi ili ulozi koja može odlučiti što se dalje događa. Treba mu način da zabilježi da je predmet eskaliran. A sustav treba sigurno stanje u kojem rad može čekati bez da ga slučajno počini ponovni pokušaj, istek vremena ili drugi agent koji preuzme izvornu uputu kao nedovršeni posao.

Sigurnosno inženjerstvo dugo je tretiralo ljudsku izvedbu kao dio sustava, a ne kao posljednji sloj laka. Britanska Uprava za zdravlje i sigurnost opisuje ljudske čimbenike kao zadatak, pojedinca i organizaciju zajedno te upozorava da ih se ne promatra izolirano. To je razuman okvir za nadzor agenata. Recenzent nije apstraktni ljudski čep za rupu u softveru. On obavlja određeni zadatak, s određenim informacijama i alatima, unutar određene organizacije s određenim pritiscima i ograničenjima. Kvaliteta kontrole ovisi o svemu tome.

Iz tog razloga, dobar dizajn s ljudskim sudionikom u petlji počinje prije nego što se gumb pojavi. On definira koje odluke trebaju ljudska vrata, tko će držati vrata, koje će dokaze primiti, koliko vremena zadatak dopušta, što se događa kada su odsutni i ima li vrata ovlast nad samom radnjom ili samo nad objašnjenjem radnje. Ako organizacija ne može odgovoriti na ta pitanja jednog mirnog utorka, neće biti jasnija kada stigne slučaj s visokim posljedicama. Niti bi joj trebala izmišljena kriza da to primijeti.

Jedan zadatak, više vrsta ovlasti

Kompaktan model ovlasti može olakšati upravljanje agentnim tijekom rada. Ne mora biti velik. Počnite s razlikom između čitanja, predlaganja, delegiranja, potvrđivanja i zaustavljanja. Uloga koja smije čitati može pregledati materijal potreban za zadatak. Uloga koja smije predlagati može pripremiti moguću radnju. Uloga koja smije delegirati može dodijeliti ograničen posao drugom akteru. Uloga koja smije potvrditi može učiniti važnu radnju djelotvornom. Uloga koja smije zaustaviti može pauzirati ili prekinuti tijek kada njezini uvjeti više nisu ispunjeni.

To nisu jednostavno razine. Službenik za usklađenost može moći zaustaviti tijek rada, ali ne i potvrditi ishod za kupca. Specijalizirani agent može moći predložiti tijek, ali ne i delegirati novi posao izvan svoje domene. Voditelj može biti odgovoran za svrhu usluge, a opet ne biti osoba ovlaštena za odobrenje određene isplate. Korisno svojstvo nije hijerarhija sama po sebi. Ono je da sustav može procijeniti ima li određeni akter relevantnu ovlast za određenu radnju u trenutačnom kontekstu.

Kontekst čini velik dio posla. Ista predložena radnja može biti uobičajena u jednoj okolnosti, a važna u drugoj. Slanje već odobrenog predloška na poznatu internu adresu može biti unutar redovitog komunikacijskog mandata. Slanje novoosmišljene poruke s osobnim podacima novom primatelju nešto je drugo. Povrat unutar definiranog praga može se delegirati dobro ispitanom procesu. Promjena prava, brisanje podataka ili vanjska obveza mogu zahtijevati imenovanu ljudsku odluku. Politika bi trebala izraziti tu razliku prije nego što se od modela zatraži da planira u skladu s njom.

Postoji i važna razlika između potvrde primitka i odobrenja. Potvrda primitka bilježi da je netko vidio poruku. Odobrenje bilježi da je ovlaštena osoba prihvatila definiranu radnju, s relevantnim kontekstom, na definiranoj točki u tijeku. U konverzacijskom sustavu to može izgledati slično. Zapis ne bi trebao. Ako kasniji recenzent ne može razaznati koja je radnja odobrena i kakav je učinak bio očekivan, organizacija je zabilježila razgovor umjesto da je zabilježila odluku.

Samo delegiranje treba ograničenja. Agent koji dobije zadatak usporediti tri postojeća prijedloga može smjeti zatražiti od istraživačkog agenta da izdvoji relevantne uvjete. Ne bi trebao tu dozvolu shvatiti kao poziv za kontaktiranje dobavljača, prikupljanje novih podataka ili preoblikovanje cilja nabave. Granica se može izraziti u politici, u opsegu alata, u strukturiranom ugovoru o zadatku ili u sva tri. Bitno je da je dovoljno provediva da ograniči tijek, a ne samo da naknadno opisuje željeno ponašanje.

Dubina delegiranja još je jedno ograničenje koje vrijedi navesti. Čovjek može jednom agentu dati zadatak i pritom zadržati jasan uvid u njegovu prvu predaju. Nakon nekoliko ugniježđenih predaja, izvorna svrha može tehnički biti prisutna u metapodacima, a praktički nevidljiva. Organizacije mogu postaviti maksimalnu dubinu delegiranja za određenu vrstu posla, zahtijevati pregled na određenoj dubini ili zabraniti delegatu da stvara daljnje delegate bez nove provjere. To su dizajnerski izbori, a ne univerzalni zahtjevi. Najkorisniji su tamo gdje dulji lanac otežava uvid u to koji je akter uveo novu pretpostavku ili promijenio stvarni opseg.

Ovlast nad alatima također mora biti odvojena od ovlasti modela. Model može odabrati alat na temelju plana. Integracija alata ipak bi trebala provjeriti dopuštaju li zatražena radnja, cilj, kategorija podataka, ograničenje resursa i stanje tijeka rada poziv. To nije nepovjerenje prema modelu u moralnom smislu. To je uobičajeno oblikovanje granica. Dobro oblikovan plan i dalje može biti neprikladan za trenutni slučaj, a loše oblikovan plan ne bi trebao postati stvaran samo zato što je došao do vjerodajnice sa širokim pristupom.

Isto vrijedi i za oporavak. Ponovni pokušaj nije uvijek bezopasan. Ponovno slanje zahtjeva za čitanje javnog dokumenta nije isto što i ponovno slanje zahtjeva koji šalje poruku ili naplaćuje iznos. Kad delegirani zadatak ne uspije, tijek rada treba eksplicitan izbor između ponovnog pokušaja, preusmjeravanja, eskalacije, pauze i kontroliranog neuspjeha. Tretiranje svega kao jednog generičkog upravljača pogreškama način je na koji se operativna odluka tiho donosi putem zadanih postavki. Izvođačko okruženje agenta može učiniti opcije dostupnima. Organizacija mora odlučiti koja se opcija primjenjuje na koju vrstu radnje.

Neuspjeh je često propuštena odluka

Kad ljudi čuju riječ neuspjeh, često zamišljaju agenta koji proizvodi netočnu tvrdnju ili alat kojem istječe vrijeme. Oboje može biti važno. Otkrivajući neuspjesi u delegiranom radu često su tiši. Zadatak je dodijeljen bez jasnog vlasnika. Prijedlog je prešao granicu koju nitko nije modelirao. Pregledavatelj je mogao vidjeti zaključak, ali ne i dokaze. Ponovni pokušaj nastavljen je nakon pauze. Čovjek je primijetio problem, ali nije imao ovlast zaustaviti radnju. Odluka je donesena, ali zapis je sačuvao samo konačni rezultat, a ne i uvjet koji ga je učinio prihvatljivim.

To nisu tvrdnje o imenovanom incidentu. To su načini neuspjeha proizašli iz same strukture delegiranja. Mogu se pronaći i u ljudskim procesima. U softveru, međutim, mogu putovati brzinom automatizacije i ponavljati se vrlo dosljedno. Ta dosljednost nije razlog za očaj. To je razlog da se oblikovanje tijeka rada tretira kao dio kontrole, umjesto da se pretpostavi da testiranje točnosti jedne komponente modela rješava pitanje.

Razmotrimo još jedan izričito hipotetski dizajn. Agent dobije zadatak pripremiti sažetak slučaja. Delegira izdvajanje dokumenata jednoj komponenti i normalizaciju jezika drugoj. Treća komponenta uoči nepotpuno polje i upotrijebi povezani izvor znanja da popuni prazninu. Konačni sažetak teče glatko. Ako tijek rada nije zabilježio nepotpuno polje, izvor korišten za njegovo popunjavanje, pouzdanost ili nesigurnost koja je uz njega došla te činjenicu da je izvorni zadatak dopuštao samo sažimanje, pregledavatelj ne može reći odobrava li sažetak ili novostvorenu činjeničnu tvrdnju. Problem nije u tome što posljednja rečenica zvuči neobično. Problem je u tome što se značenje zadatka promijenilo unutar rute.

Zvučan odgovor nije zabrana delegiranja. Odgovor je unositi točke promjene u zapisnik. Novi izvor, novi alat, nova kategorija podataka, nova klasa radnji, materijalna promjena u pouzdanosti, neuspjela kontrola, lanac delegiranja dulji od dopuštenog ili prijedlog za prelazak vanjske granice, sve to može postati razlog da se rad iznese na pregled. Točni okidači ovisit će o kontekstu. Načelo je postojano: promjena koja bi bila važna odgovornom vlasniku ne smije ostati nevidljiva zato što se dogodila između komponenti.

Ovo je jedno od mjesta gdje je razmišljanje u obliku sigurnosnog slučaja korisno. Sigurnosni slučaj nije obećanje da ništa ne može poći po zlu. To je strukturiran argument o tome zašto je sustav prihvatljiv za definiranu svrhu pod definiranim uvjetima, s vidljivim dokazima, pretpostavkama, kontrolama i preostalim rizicima. Pažljivo primijenjen na tijek rada agenta, to znači da tvrdnja nije da su agenti općenito sigurni. Tvrdnja je uža: ova se ruta može koristiti za ovu svrhu, s ovim ograničenjima, jer postoje ove kontrole i aranžmani nadzora, te se mora ponovno razmotriti kada navedene pretpostavke više ne vrijede.

Tijek rada tada je lakše dovesti u pitanje. Operater može pitati je li klasa radnji ispravno dodijeljena. Vlasnik rizika može pitati ima li recenzent još dovoljno vremena. Inženjer može pitati može li ponovni pokušaj stvoriti dvostruki učinak. Stručnjak za zaštitu podataka može pitati je li podzadatak i dalje nužan i razmjeran. Osoba na koju ishod utječe može, gdje primjenjivi okvir to zahtijeva, dobiti put za dovođenje odluke u pitanje. Ta pitanja nisu birokracija dodana nakon zanimljivog tehničkog rada. Ona su rad na tome da tehnički sustav bude odgovoran unutar organizacije.

Metrike bi trebale slijediti istu disciplinu. Brojanje delegiranih zadataka govori nam nešto o količini, ne o odgovornom djelovanju. Korisnije mjere mogu uključivati stopu kojom tijek rada eskalira jer se granica promijenila, vrijeme koje odluka čeka na vratima, udio važnih radnji s potpunim paketom odluke, broj uspješnih poništavanja ili broj slučajeva u kojima je provjera politike odbila poziv alata. Takva mjerenja i dalje trebaju definiciju i kontekst. Nikada se ne smiju izmišljati za brošuru. No osmišljavanje zapisa tako da se mogu mjeriti znak je da se odgovornost tretira kao operativno svojstvo.

Zapis je mjesto gdje odgovornost preživljava

Višeagentski sustav proizvodi neobičnu vrstu povijesti. Ima poruke, pozive alata, međuizlaze, provjere politike, verzije modela, informacije o vremenu, ponovne pokušaje, promijenjene dodjele i možda ljudska odobrenja. Čuvati svaki bajt zauvijek nije ni nužno ni često primjereno. Čuvati samo konačni odgovor obično je premalo. Zapis treba sačuvati odluke i dokaze koji objašnjavaju kako je tijek rada prešao put od zahtjeva do ishoda.

Za važnu radnju taj bi zapis normalno trebao recenzentu omogućiti rekonstrukciju nekoliko osnovnih činjenica. Što je bio cilj? Koja je politika ili mandat učinila rad dopuštenim? Tko je ili što primio svaku dodjelu? Što je predloženo na svakim važnim vratima? Koje su informacije korištene za potporu prijedlogu? Na koja su ograničenja, upozorenja ili neuspjehe naišli? Tko je imao ovlast odobriti, zaustaviti ili poništiti radnju? Koja je radnja stupila na snagu i što se dogodilo nakon toga? To nisu egzotična pitanja. To su pitanja koja organizacija postavlja kada želi znati je li odluka bila njezina odluka.

Zapis bi trebao razlikovati operativnu činjenicu od objašnjenja nastalog naknadno. Ako sustav kaže da je recenzent odobrio radnju, događaj bi trebao zabilježiti identitet ili ulogu recenzenta, radnju koja mu je prikazana, relevantan kontekst i vrijeme u kojem je odobrenje vezano uz tu radnju. Ako sustav kaže da je model odabrao delegata, zapis bi trebao sačuvati pravilo odabira, kandidate ili kriterije na razini primjerenoj upotrebi te rezultirajući raspored. Kasnija pripovijest može pomoći čitatelju, ali ne bi trebala zamijeniti događaj koji se dogodio.

Verzioniranje je ovdje važno. Izlaz agenta može biti regeneriran. Politika može biti ažurirana. Shema alata može se promijeniti. Krajnja točka modela može biti zamijenjena. Ako odluka ovisi o određenoj verziji upita, politike, modela, izvora znanja ili integracije, zapis treba sadržavati stabilnu referencu na tu verziju. Inače ponavljanje postaje predstava: reproducira ono što organizacija trenutačno ima i rezultat naziva objašnjenjem onoga što se dogodilo tada.

Reverzibilnost zaslužuje jednaku pozornost. Akt o umjetnoj inteligenciji izričito se, u kontekstu nadzora nad visokorizičnim sustavima, poziva na mogućnost zanemarivanja, nadjačavanja ili poništavanja izlaza te na prekidanje sustava tako da se zaustavi u sigurnom stanju. U višeagentskom putu sigurno stanje nije nužno zaustavljen proces modela. Može značiti da se ne šalje nikakva vanjska komunikacija, da se zaključana radnja zadržava, da se nizvodni sustav ne ažurira, da privremene vjerodajnice više nisu upotrebljive za zadatak te da se čuva dokaz potreban za odluku o sljedećem koraku. To je operativni zaključak iz zahtjeva za nadzorom, a ne citat zakona. To je također koristan dizajnerski test.

Sigurno ne znači zauvijek zamrznuto. Zaustavljen tijek rada treba kontroliran put nastavka. Netko mora odlučiti hoće li izmijeniti zadatak, odbaciti prijedlog, ponovno pokrenuti ograničeni dio posla, upotrijebiti drugi alat, potražiti dodatne dokaze ili napustiti put. Uredan zapis olakšava taj izbor jer sljedećoj osobi govori što je poznato, što je pokušano, zašto je posao zaustavljen i koji su učinci nastali, a koji nisu. Bez tog zapisa oporavak postaje još jedna nestrukturirana delegacija, obično poduzeta pod većim pritiskom od prve.

Zato zadržavanje i pristup zahtijevaju vlastite odluke. Ne bi svaki akter trebao moći čitati svaki trag. Zapis može sadržavati osobne podatke, komercijalno osjetljiv materijal ili pojedinosti relevantne za sigurnost. No kontroliran pristup nije isto što i nepostojanje zapisa. Naglasak Konvencije Vijeća Europe na transparentnosti, nadzoru, odgovornosti i odgovornosti koristan je podsjetnik da granicu treba osmisliti, a ne pretpostaviti. Organizacija može sačuvati odgovoran put dok ograničava pristup pojedinostima koje određeni recenzent doista treba.

Što bi ugovor o delegaciji trebao učiniti vidljivim

Ugovor o delegaciji može biti struktura podataka, shema tijeka rada, paket potpisanog odobrenja ili kombinacija toga. Njegov oblik manje je važan od njegova sadržaja. Primajućem akteru trebao bi reći što smije činiti, što ne smije činiti i kako će se rad ocjenjivati. Kad su ta ograničenja odsutna, agenti imaju tendenciju kompenzirati sve razrađenijim uputama. To može poboljšati određeno izvođenje. No ne stvara organizacijsku granicu koju alat, recenzent ili revizor može provesti.

Počnite s namjeravanom svrhom. Svrha bi trebala biti dovoljno konkretna da isključi slične zadatke. Usporediti uvjete u dostavljenim prijedlozima razlikuje se od pronaći najboljeg dobavljača. Sažeti primljene dokumente razlikuje se od utvrditi nedostajuće činjenice. Pripremiti odgovor za recenziju razlikuje se od priopćiti odluku. Kontrast može zvučati pretjerano dok agent široku uputu ne iskoristi za razuman, ali neovlašten sljedeći korak. Tada je to razlika između korisne inicijative i neograničenog mandata.

Navedite dopuštene i zabranjene klase radnji. Agentu može biti dopušteno pročitati spis predmeta, izdvojiti imenovana polja, usporediti ih s politikom i pripremiti nacrt. Može mu biti zabranjeno mijenjati izvorni zapis, kontaktirati vanjsku stranu, odabrati novi izvor ili izvršiti transakciju. To nisu samo upute u promptu. Sloj alata i tijeka rada trebao bi ih provoditi tamo gdje je to praktično. Politika koja se ne može provjeriti u trenutku radnje i dalje je korisna kao smjernica, ali je slabija kao kontrola.

Imenujte vlasnika i put eskalacije. Vlasnik nije nužno osoba koja će kliknuti za odobrenje svake radnje. To je uloga odgovorna za ishod i za odlučivanje što se događa kada put dođe do neriješenog pitanja. Put eskalacije identificira sljedeći autoritet kada agent otkrije kršenje granice, nedostatne dokaze, sukob među izvorima, nepodudarnost s politikom ili uvjet koji sustav nije ovlašten riješiti. Red čekanja bez imenovanog vlasnika odluke samo je odgoda s optimističnom oznakom.

Priložite pravilo o dokazima. Pravilo može navesti koji su izvori mjerodavni, smije li agent pretraživati izvan njih, kako se predstavlja nesigurnost, što se mora citirati u prijedlogu i kada sukobljeni izvor zahtijeva pregled. To je posebno važno za sustave koji generiraju tečnu prozu. Tečnost može učiniti da kršenje granice izgleda kao korisno dovršenje. Pravilo o dokazima omogućuje postavljanje ispravnog pitanja: je li tijek rada ostao unutar materijala koji je smio koristiti?

Postavite vremensko, resursno i delegacijsko ograničenje tamo gdje su važna. Zadatak koji može trajati neograničeno može stvoriti troškove, operativno zagušenje ili pritisak za potvrđivanje zastarjelog rezultata. Zadatak koji se može neograničeno delegirati može stvoriti lanac koji nijedan vlasnik ne može lako pregledati. Ograničen dizajn navodi koliko dugo zadatak ostaje važeći, koliko resursa može potrošiti, smije li stvoriti podzadatak, koja je najveća dopuštena dubina i što se događa kada se dosegne ograničenje. Odgovor može biti automatska pauza, eskalacija ili kontrolirani neuspjeh. Važno je da je to odlučeno prije nego što se ograničenje prijeđe.

Na kraju definirajte uvjet dovršenja. Dovršeno ne znači uvijek da je agent proizveo tekst. Može značiti da je pregledavatelj primio cjelovit paket, da je vrata politike prihvatila određenu radnju, da je nizvodni sustav potvrdio reverzibilno ažuriranje ili da je odgovorni vlasnik odlučio ne nastaviti. Uvjeti dovršenja održavaju tijek rada poštenim. Sprječavaju agenta da tretira čin predlaganja odluke kao da ju je organizacija donijela.

Ovi obrasci korisni su bez obzira na to sadrži li tijek rada jednog agenta temeljenog na modelu ili veći tim specijaliziranih komponenti. Više agenata ne zahtijeva automatski više procesa. Oni zahtijevaju da granice između uloga budu izražene, a ne implicirane. Trošak tog izražavanja općenito je mnogo niži od troška pokušaja rekonstrukcije ovlasti nakon što je nekoliko sustava razmijenilo djelomične upute i jedan od njih je došao u dodir s vanjskim svijetom.

Delegacija bi organizaciju trebala učiniti sposobnijom, a ne manje odgovornom

Agentski sustavi često se opisuju kao da im je vrijednost u uklanjanju organizacije iz rada. Zanimljivija je mogućnost suprotna. Pažljivo osmišljen sustav može učiniti organizacijska opredjeljenja jasnijima: zadatak ima vlasnika, delegacija ima granicu, značajna radnja ima autoritet, pregled ima dokaze, zaustavljanje ima sigurno stanje i zapis se može ponovno reproducirati. To nije prepreka korisnoj automatizaciji. To je ono što automatizaciji omogućuje preuzimanje smislenog rada bez zahtjeva da ljudi vjeruju nevidljivom lancu.

Dweve Nexus izgradili smo upravo na toj razlici. Njegova lokalna dokumentacija proizvoda opisuje trajne zadatke, ovlasti koje se prije izvršenja radnje procjenjuju u odnosu na kontekst izvođenja, izričite strukture suradnje uključujući delegiranje te zapis koji nastaje tijekom rada. Pripadajuća tvrdnja namjerno je skromna. Riječ je o dizajnerskim svojstvima čija je svrha učiniti delegirani put provjerljivim. Ona nisu dokaz da je bilo koja pojedinačna primjena zakonita, sigurna ili prikladna niti uklanjaju potrebu da organizacija sama odluči o svojoj svrsi, ovlastima i ljudskom nadzoru.

Šira pouka ne ovisi o jednom proizvodu. Model može odlučiti kako podijeliti zadatak. Agent može od drugog agenta zatražiti posao. Alat može izvršiti radnju. Organizacija i dalje mora odlučiti gdje živi ovlast. To mora učiniti prije početka delegiranja, a ne nakon što je konačni rezultat uglačan u nešto što je teško dovesti u pitanje.

To je odgovor na naslov. Vlasnik odluke nije agent koji se slučajno posljednji oglasio. To je osoba ili uloga kojoj je organizacija dodijelila ovlast da prihvati posljedicu odluke, uz dovoljno informacija i moći da je odbije. Delegiranje je korisno kada tu osobu čini sposobnijom. Postaje opasno kada je čini nemogućom za pronaći.

Izvori

• Uredba (EU) 2024/1689, Akt o umjetnoj inteligenciji, EUR-Lex
• Okvirna konvencija Vijeća Europe o umjetnoj inteligenciji, ljudskim pravima, demokraciji i vladavini prava
• Mišljenje EDPB-a 28/2024 o aspektima zaštite podataka pri obradi osobnih podataka u kontekstu modela umjetne inteligencije
• Ljudski čimbenici: uvod, Izvršna agencija za zdravlje i sigurnost Ujedinjenog Kraljevstva
• Dweve Nexus