Zašto agenti trebaju granice prije autonomije
Agent koji je bio previše uslužan
Agent se nije pobunio. To vrijedi prvo reći jer se priče o autonomnim sustavima često pričaju kao da je softver čitao lošu znanstvenu fantastiku nakon ponoći. Ovaj se agent ponašao s impresivnom poslušnošću. Dobio je široku uputu da do kraja mjeseca riješi otvorene probleme s dobavljačima. Pročitao je poštanski sandučić, pretražio sustav za prijave, pronašao zastarjele slučajeve uvođenja, poslao podsjetnike, zatvorio duplikate, ažurirao proračunsku tablicu i proslijedio sve što je izgledalo hitno. Do 09:15 sljedećeg jutra obavio je više administrativnog posla nego što je tim inače stigao prije druge kave.
Također je ponovno otvorio spor koji je pravni odjel namjerno ostavio po strani, poslao podsjetnik dobavljaču koji je bio u razdoblju zabrane pregovora, zatvorio duplikat koji nije bio duplikat jer je tvrtka imala dvije podružnice s gotovo istim imenima te ažurirao ćeliju prognoze koju je financijski odjel koristio kao ulaz za izvješće upravi. Agent nije halucinirao. Nije zanemario svoju uputu. Slijedio je oblik zadatka kako je zadan. Problem je bio u tome što zadatak nije imao granice.
Tim je tražio autonomiju prije nego što je definirao područje djelovanja. Dali su agentu alate, vjerodajnice, cilj i ton samopouzdanja. Nisu definirali koji su sustavi samo za čitanje, koje radnje zahtijevaju odobrenje, koji su dobavljači osjetljivi, koji su zapisi mjerodavni, koja polja predstavljaju financijske kontrole, kako zaustaviti rad kada je identitet nejasan ili koje dokaze treba čuvati kada se napravi promjena. Agent nije bio previše inteligentan. Bio je nedovoljno upravljan. To je manje dramatično i češće.
Agenti trebaju granice prije autonomije jer autonomija nije osobina ličnosti. To je dopuštenje za ostvarivanje cilja kroz korake. Svako dopuštenje ima opseg ili postaje propuštanje. Korisno pitanje nije koliko autonomnim možemo učiniti sustav. Korisno pitanje je koji ograničeni posao ovaj sustav može obavljati, s kojim alatima, pod kojim pravilima o dokazima i što se mora dogoditi kada svijet prestane odgovarati očekivanom tijeku.
Agent je tijek rada s inicijativom
Riječ agent navodi ljude na zamišljanje digitalnog kolege. Ta je metafora korisna dok ne prestane biti. Kolega ima kontekst zaposlenja, društvenu prosudbu, strah od neugodnih sastanaka, sjećanje na prošle pogreške, nadređenog i zdrav razum da ne šalje e-poštu pravnom odjelu u 02:00 osim ako zgrada stvarno ne gori. Softverski agent ima petlju. Promatra, planira, poziva alate, čita rezultate, ažurira stanje i odlučuje hoće li nastaviti. Ta petlja može biti moćna. Nije isto što i organizacijska zrelost u kutiji.
Nazvati sustav agentom ne bi smjelo biti isprika za nejasan dizajn. Trebalo bi zahtijevati stroži dizajn jer sustav može poduzeti nekoliko koraka bez čovjeka između njih. Chatbot može loše odgovoriti i stati. Agent može loše odgovoriti, otvoriti zahtjev, promijeniti polje, poslati poruku, pokrenuti tijek rada, potrošiti novac i zatim upotrijebiti rezultat te radnje kao dokaz za sljedeću radnju. Mali nesporazum može postati mali proces. Procesi su mjesta gdje organizacije pohranjuju posljedice.
Prikaz agenta koristan je kada timove navede da mapiraju cijelu petlju. Što agent može promatrati. Koji su izvori mjerodavni. Kako tumači namjeru. Koje alate može pozvati. Koji su pozivi alata reverzibilni. Koji zahtijevaju odobrenje. Koliko novca, vremena, računalne snage ili pažnje smije potrošiti. Kakvo stanje zadržava. Kako zna da je gotov. Kako traži pomoć. Koji dokaz ostaje nakon što petlja završi. Ta pitanja nisu birokracija. Ona su operativni priručnik za delegirano djelovanje.
Bez tog priručnika, autonomija postaje dopuštenje za improvizaciju unutar poslovnih sustava. Improvizacija je u redu u jazzu. Manje je šarmantna kada uređuje glavne podatke.
Granice nisu lisice
Timovi se ponekad opiru granicama jer zvuče kao način da se agenti učine manje korisnima. To je krivo. Granice su ono što korisnost čini održivom. Osoba može voziti brzo jer ceste imaju trake, znakove, ograničenja brzine, kočnice i pravila za raskrižja. Uklonite ta ograničenja i niste stvorili napredniji prometni sustav. Stvorili ste sastanak s osiguranjem.
Dobra granica govori agentu što smije optimizirati, a što mora sačuvati. Može mu se dopustiti smanjenje vremena odziva, ali ne zaobilaženjem odobrenja. Može mu se dopustiti sastavljanje poruka dobavljačima, ali ne i slanje ograničenim strankama. Može mu se dopustiti usklađivanje zapisa, ali ne i prepisivanje mjerodavnog sustava bez praga pouzdanosti i puta za pregled. Može mu se dopustiti trošenje računalne snage, ali samo unutar proračuna i s razlogom. Granica nije uskraćivanje autonomije. Ona je oblik koji autonomiju čini čitljivom.
Granice također čine ishode provjerljivima. Ako agent ima jasan opseg alata, evaluatori mogu testirati zlouporabu alata. Ako ima opseg podataka, mogu testirati curenje podataka. Ako ima proračun, mogu testirati nekontrolirane petlje. Ako ima pravila eskalacije, mogu testirati dvosmislenost. Ako ima zahtjeve za dokazima, mogu testirati reviziju. Nejasna autonomija ne može se testirati osim čekanjem da se dogodi nešto čudno i zatim održavanjem sastanka na kojem svi koriste riječ usklađenost s različitim značenjima.
Najkorisnija granica često je dosadna: čitaj prije pisanja. Dopustite agentu široko čitanje uz dopuštenje, predlaganje promjena i pisanje samo u uskim sustavima gdje je ispravak lak. Zatim proširite. Autonomija bi trebala rasti iz dokazanog ponašanja, a ne iz entuzijazma. Entuzijazam je loš model kontrole pristupa, iako ima jak odjel prodaje.
Pristup alatima mjesto je gdje autonomija postaje stvarna
Agent bez alata uglavnom je pričljivi planer. Agent s alatima operativni je softver. Čim može poslati poštu, ažurirati zapis, pokrenuti upit, stvoriti zahtjev za nabavu, premjestiti datoteku, pozvati API ili pokrenuti drugi tijek rada, sustav je prešao iz prijedloga u djelovanje. Taj prijelaz zaslužuje više svečanosti nego potvrdni okvir koji se zove omogući alate.
Dozvole za alate treba razdvojiti prema posljedicama. Čitanje zapisa o kupcu nije isto što i uređivanje tog zapisa. Sastavljanje e-pošte nije isto što i njezino slanje. Stvaranje zahtjeva nije isto što i njegovo zatvaranje. Pokretanje analize nije isto što i objavljivanje rezultata. Zreli dizajn agenta svaku radnju s alatom tretira kao ugovor: ulazi, dopušteni korisnici, dopuštene mete, nuspojave, idempotencija, povrat, dokazi i odobrenje. Ako to zvuči preteško, počnite s manje alata. Odgovor na slabu kontrolu nije veći radijus štete.
Nepovratne radnje zahtijevaju poseban tretman. Plaćanja, brisanja, suspenzije računa, pravne obavijesti, obveze prema kupcima, promjene cijena i političke odluke ne bi trebale biti obični pozivi alata osim ako domena nema iznimno snažne kontrole. Mnogi tijekovi rada mogu koristiti obrazac u dva koraka: agent priprema, objašnjava i stavlja radnju u red; osoba ili zasebna kontrolna služba odobrava izvršenje. To nije ljudsko čuvanje djeteta. To je razdvajanje dužnosti, ideja dovoljno stara da je preživjela mnoge softverske trendove i nekoliko fontova.
Čak i povratne radnje trebaju revizijske tragove. Ako agent ažurira polje, zapis treba pokazati prethodnu vrijednost, novu vrijednost, dokaze, verziju politike, poziv alata, verziju agenta i je li ih čovjek kasnije promijenio. Inače povrat postaje nagađanje. Nagađanje je skupo kada ga provode ljudi kojima je obećano da će im automatizacija uštedjeti vrijeme.
Stanje je poslovni podatak
Agenti pamte stvari. Čuvaju stanje zadatka, stanje razgovora, rezultate alata, sažetke, radne bilježnice, planove, ugradnje, preferencije, a ponekad i dugoročno pamćenje. To pamćenje može poboljšati kontinuitet. Također može postati skriveni poslovni sustav ako ga nitko ne upravlja. Agent može zapamtiti da je dobavljač težak, da kupac preferira popust, da slučaj djeluje sumnjivo ili da zaobilazno rješenje obično funkcionira. Ta sjećanja mogu oblikovati buduće radnje. To više nisu bezazlene bilješke.
Stanje treba pravila o vlasništvu, zadržavanju, ispravljanju i pristupu. Tko može vidjeti što agent pamti. Koliko dugo to čuva. Može li korisnik to ispraviti. Nasljeđuje li osjetljivost iz izvora. Koristi li se za buduće odluke. Premješta li se među korisnicima. Je li uključeno u upite. Briše li se kada se izvorni zapis izbriše. To su obična pitanja upravljanja podacima u agentovom kostimu. Kostim ne mijenja ništa osim brzine kojom se nevolja može širiti.
Kratkotrajne bilješke također zaslužuju pozornost. Plan može sadržavati osjetljivo zaključivanje, slučajno pohranjene vjerodajnice, izvedene činjenice ili pogrešne pretpostavke. Ako se bilježi široko, može procuriti. Ako se uopće ne bilježi, sustav postaje teško otkloniti pogreške. Pravi odgovor ovisi o riziku domene, ali odgovor mora postojati. Politika pamćenja ne smije biti ono što je okvir slučajno pohranio u utorak.
Kada je stanje uređeno, agente je lakše poboljšavati. Timovi mogu vidjeti gdje se petlja zaglavila, koje su se pretpostavke ponavljale, koji su izvori bili korisni, koji su pozivi alata propali i koje su ljudske intervencije ispravile put. Bez uređenog stanja, evaluacija postaje seansa sa stack traceovima.
Dvosmislenost je normalno stanje
Mnoge demonstracije agenata funkcioniraju jer je svijet u demonstraciji uredan. Kupac ima jedan račun. Politika ima jednu iznimku. Dobavljač ima jedan pravni subjekt. Zadatak ima jedan očiti sljedeći korak. Stvarno poslovanje je manje pristojno. Imena se sudaraju. Zapisi se dupliciraju. Dopuštenja su zastarjela. Netko je napisao vidi prethodni e-mail, frazu koja je automatizaciji nanijela više štete nego mnogi tehnički standardi. Agent mora biti dizajniran za dvosmislenost kao normalno stanje, ne kao neugodan prekid.
Dobre granice govore agentu kada ne smije djelovati. Ako je pouzdanost identiteta niska, zaustavi se. Ako se dva mjerodavna izvora ne slažu, zaustavi se ili eskaliraj. Ako tražena radnja dotiče ograničenu stranku, zaustavi se. Ako trošak premašuje proračun, zaustavi se. Ako rezultat alata proturječi planu, zaustavi se. Ako se isti korak ponavlja prečesto, zaustavi se. Ako agent ne može objasniti svoje dokaze, zaustavi se. Uvjet zaustavljanja nije neuspjeh. To je sigurnosna značajka s poniznošću.
Eskalacija mora biti konkretna. Nemojte osobi predati nejasnu poruku koja kaže da agent treba pomoć. Recite koja je granica dosegnuta, koji su dokazi viđeni, koja je radnja predložena, koji rizik ostaje i koja je odluka potrebna. Ljudi su dobri u prosuđivanju kada sustav donese pravi kontekst. Manje su dobri kada ih se pozove u maglu i zamoli da je blagoslove.
Ovdje postoji i pitanje dostojanstva radnika. Ako agenti bez konteksta prebacuju svaki težak slučaj na ljude, automatizacija postaje stroj za gomilanje nereda na istim ljudima kao i prije. Ako agenti skrivaju dvosmislenost i svejedno djeluju, ljudi nasljeđuju posljedice. Granice trebaju pošteno raspodijeliti posao: strojevi rješavaju ograničeno ponavljanje, ljudi rješavaju neriješeno prosuđivanje, a sustav čuva dovoljno dokaza da nijedna strana ne mora glumiti.
Ljudski nadzor je dizajn, ne stolica
Stavljanje čovjeka u petlju popularna je fraza jer zvuči odgovorno i na slajdu ne košta ništa. U praksi to često znači da se od osobe očekuje da primijeti sve što bi sustav mogao pogriješiti, dok istovremeno održava tempo s poslom koji je automatizacija trebala smanjiti. To nije nadzor. To je stresna pozicija s nadzornom pločom.
Dobar nadzor definira što čovjek pregledava i zašto. Pregledava li osoba radnju alata, potvrđuje li dokaze, rješava li sukob, obrađuje li iznimku, mijenja li politiku ili uzorkuje rezultate radi kvalitete. Svaka uloga treba različite informacije. Za odobrenje potrebni su predložena radnja i posljedica. Za pregled dokaza potrebni su izvori i verzije. Za rješavanje sukoba potrebne su suprotstavljene tvrdnje. Za uzorkovanje kvalitete potrebne su distribucije, a ne anegdote. Ljudska je pažnja oskudna. Trošite je kao infrastrukturu.
Nadzor također treba biti pravilno tempiran. Pregled nakon nepovratne radnje nije nadzor; to je arheologija s osjećajima. Pregledavanje svakog trivijalnog koraka uništava vrijednost automatizacije. Koristan obrazac su vrata utemeljena na riziku. Niskorizične povratne radnje mogu se odvijati uz evidentiranje. Srednjerizične radnje mogu zahtijevati pregled kada je pouzdanost niska ili se granica približava. Visokorizične radnje zahtijevaju odobrenje prije izvršenja. Tečnost modela ne bi trebala odlučivati o vratima. Posljedica bi trebala.
Ljudi trebaju ovlasti jednake odgovornosti. Ako recenzent može samo odobriti ili odbiti, ali ne može ispraviti izvorne podatke, ažurirati granicu, poboljšati pravilo ili označiti pokvareni alat, isti će se problem vratiti. Nadzor bi trebao hraniti sustav. Inače ljudi postaju dekorativni sigurnosni sloj, što je nepravedno prema ljudima i iznenađujuće beskorisno za sigurnost.
Granica autonomije
Autonomija nije prekidač. To je granica koja se pomiče kako se dokazi poboljšavaju. Na jednom kraju agent izrađuje preporuke i ne može djelovati. Zatim može djelovati u pješčaniku. Zatim može pisati u niskorizične sustave. Zatim može izvoditi ograničene produkcijske radnje. Zatim može koordinirati među sustavima uz odobrenja. Zatim, za vrlo zrela područja, može obrađivati uski opseg posla uz nadzor utemeljen na iznimkama. Svaki korak treba biti zaslužen izvedbom, a ne obećan dijagramima arhitekture.
Granica je različita za svako područje. Agent koji zakazuje interne sastanke može imati više slobode od onoga koji mijenja uvjete plaćanja. Agent koji označava dokumente može imati više slobode od onoga koji ih briše. Agent koji pomaže inženjeru u trijaži zapisnika može imati više slobode od onoga koji kontaktira kupce. Isti temeljni model može stajati iza različitih razina autonomije jer posljedica, a ne model, određuje granicu.
Kretanje duž granice zahtijeva dokaze: rezultate evaluacije, povijest incidenata, stope pogrešaka alata, kvalitetu eskalacije, uspjeh vraćanja, povjerenje korisnika, usklađenost s politikom i ponašanje troškova. Ako agent opetovano nailazi na istu dvosmislenost, odgovor mogu biti bolji podaci, jasnija politika ili uži opseg, a ne veća autonomija. Ako agent dobro radi u jednom redu čekanja, nemojte pretpostaviti da će se tako ponašati i u drugom. Poslovni kontekst nije vožnja u zabavnom parku. Ograničenja visine su lokalna.
Zato je fraza potpuno autonoman obično manje korisna nego što ljudi očekuju. Potpuna autonomija nad čime. Koliko dugo. S kojim alatima. Pod kojim proračunom. Prema kojoj politici. S kojim pravom žalbe. Ozbiljna je verzija uža i snažnija: autonoman unutar ovog ograničenog zadatka, s ovim kontrolama, do ovih uvjeta zaustavljanja. Zvuči manje dojmljivo. Veća je vjerojatnost da će preživjeti susret s utorkom.
Granice treba održavati
Granica nije gotova kad je napisana. Poslovna pravila se mijenjaju, dobavljači se spajaju, podaci sele, timovi se reorganiziraju, modeli se ažuriraju, alati dobivaju nove mogućnosti, a korisnici otkrivaju prečace. Granica agenta koja je u siječnju bila razumna može do ožujka biti pogrešna. To nije neuspjeh izvornog dizajna. To je stvarnost koja upravljanje verzijama provodi na svoj uobičajeni grubi način.
Održavanje granica zahtijeva vlasništvo. Netko je vlasnik izjave o svrsi. Netko je vlasnik opsega podataka. Netko je vlasnik dopuštenja za alate. Netko je vlasnik ograničenja proračuna. Netko je vlasnik pravila eskalacije. Netko je vlasnik evaluacije. Netko je vlasnik pregleda incidenata. Ako su svi vlasnici granice, onda je agent njezin vlasnik, što je poetski način da se kaže da je nitko nije. Granice treba verzionirati, pregledavati i povezivati s incidentima i promatranim ponašanjem.
Upravljanje promjenama treba uključivati testove. Ako alat dobije novu radnju, agent je ne dobiva automatski. Ako izvor podataka promijeni shemu, treba provjeriti dohvaćanje i rukovanje stanjem. Ako se pravilo promijeni, upute, pravila i slučajevi evaluacije trebaju se promijeniti s njime. Ako se promijeni verzija modela, regresijski testovi trebaju uključivati odabir alata, odbijanje, eskalaciju i kvalitetu dokaza. Agent nije čarobni sloj iznad procesa. On je proces s bržim otkucajem srca.
Održavanje također znači povlačenje autonomije. Ako okruženje postane rizičnije, ako stope incidenata porastu, ako dobavljač postane osjetljiv, ako se propisi promijene ili ako kvaliteta dokaza padne, autonomija bi se trebala pomaknuti unatrag. To može izgledati kao neuspjeh. Zapravo je to kontrola koja djeluje. Kočnice nisu priznanje da su automobili bili pogreška.
Organizacijska pouka
Agenti otkrivaju koliko dobro organizacija razumije vlastiti rad. Ako je tijek rada pun neformalnih iznimaka, nejasnog vlasništva, dupliciranih zapisa, skrivenih pravila i junačkog ljudskog pamćenja, agent to neće čarobno urediti. Ili će posrnuti, ili će postupiti pogrešno, ili će zahtijevati toliko odobrenja da će ga ljudi početi koristiti kao sporiji oblik e-pošte. Agent nije stvorio nered. Učinio je nered izvršivim.
To može biti korisno. Dizajn agenta tjera timove da imenuju posao, definiraju ovlasti, klasificiraju podatke, razdvoje alate, napišu uvjete zaustavljanja i očuvaju dokaze. To su zdrave operativne navike i prije automatizacije. Tim koji ne može definirati granice za agenta vjerojatno ne može dovoljno dobro objasniti tijek rada ni ljudima. Softver je jednostavno manje uljudan prema dvosmislenosti.
Najbolja implementacija agenata počinje užom od same ambicije. Odabire se stvarni radni tijek s poznatim granicama, značajnim opsegom, ograničenim dosegom utjecaja i vlasnicima koji mogu unaprijediti sustav. Promatra se gdje ljudi koriste prosudbu. Automatizira se ograničeno ponavljanje. Čuvaju se dokazi. Eskalacija je jasna. Širenje slijedi tek kada se postojeća granica dokaže u praksi. To nije sporost. To je način na koji brzina izbjegava pretvaranje u čišćenje.
Autonomija bez granica od sustava traži da se ponaša kao dobar zaposlenik, a uskraćuje mu organizacijski kontekst koji zaposlenike čini dobrima. Ograničena autonomija postavlja bolje pitanje: koji se dio posla može delegirati na način koji ostaje provjerljiv, po mogućnosti reverzibilan i iskren kada nešto ne zna. To pitanje je manje glamurozno. No upravo ono omogućuje agentima da postanu operacija umjesto predstava.
Pouka
Agenti trebaju granice prije autonomije jer je svaki autonomni korak delegirani čin. Delegiranje bez opsega nije povjerenje. To je abdikacija s ljepšom terminologijom. Najprije se definiraju posao, podaci, alati, proračuni, stanje, dokazi, uvjeti zaustavljanja, te putovi eskalacije i popravka. Tek tada autonomija može rasti tamo gdje je sustav zasluži.
Poanta nije učiniti agente plašljivima. Poanta je učiniti ih korisnima na mjestima gdje je posao važan. Granice omogućuju agentima da djeluju brže, a da posljedice ne postanu nevidljive. One ljudima omogućuju nadzor prosudbe umjesto čuvanja mehanike. Pogreške pretvaraju u popravke, a ne u misterije. Iznad svega, organizaciji daju način da kaže u čemu agent smije biti dobar.
Slobodan agent zvuči uzbudljivo dok ne susretne stvarni radni tijek. Ograničeni agent možda zvuči manje herojski. I dobro. Herojstvo je loš operativni model. Granice su način na koji autonomija postaje odgovoran rad.