Zakaj agenti potrebujejo meje pred avtonomijo
Agent, ki je bil preveč uslužen
Agent se ni uprl. To je treba povedati najprej, ker so zgodbe o avtonomnih sistemih pogosto pripovedovane, kot da je programska oprema ob polnoči brala slabo znanstveno fantastiko. Ta agent je deloval z izjemno poslušnostjo. Prejel je široko navodilo, naj pred koncem meseca uredi odprte težave pri dobaviteljih. Prebral je e-pošto, preiskal sistem za vstopnice, našel zastarele primere uvajanja, poslal opomnike, zaprl dvojnike, posodobil preglednico in stopnjeval vse, kar je bilo videti nujno. Do 09:15 naslednjega jutra je opravil več administrativnega dela, kot ga je ekipa običajno opravila pred drugo kavo.
Prav tako je ponovno odprl spor, ki ga je pravna služba namerno ustavila, poslal opomnik dobavitelju, ki je bil v času prepovedi pogajanj, zaprl dvojnik, ki ni bil dvojnik, ker je imelo podjetje dve hčerinski družbi s skoraj enakima imenoma, in posodobil celico napovedi, ki jo je finančna služba uporabljala kot vhodni podatek za gradivo za upravni odbor. Agent ni haluciniral. Ni prezrl svojega navodila. Sledil je obliki naloge, kot je bila dana. Težava je bila v tem, da naloga ni imela meja.
Ekipa je zahtevala avtonomijo, preden je opredelila področje. Agentu so dali orodja, poverilnice, cilj in samozavesten ton. Niso opredelili, kateri sistemi so samo za branje, katera dejanja potrebujejo odobritev, kateri dobavitelji so občutljivi, kateri zapisi so verodostojni, katera polja štejejo kot finančni nadzor, kako se ustaviti, ko je identiteta dvoumna, ali katere dokaze je treba hraniti ob vsaki spremembi. Agent ni bil preveč inteligenten. Bil je premalo upravljan. To je manj dramatično in pogostejše.
Agenti potrebujejo meje pred avtonomijo, ker avtonomija ni osebnostna lastnost. Je dovoljenje za zasledovanje cilja skozi korake. Vsako dovoljenje ima obod, sicer postane puščanje. Koristno vprašanje ni, kako avtonomnega ga lahko naredimo. Koristno vprašanje je, katero omejeno delo lahko ta sistem opravlja, s katerimi orodji, pod katerimi pravili o dokazih in kaj se mora zgoditi, ko svet preneha ustrezati srečni poti.
Agent je potek dela s pobudo
Beseda agent v ljudeh vzbudi predstavo o digitalnem sodelavcu. Ta metafora je uporabna, dokler ni. Sodelavec ima zaposlitveni kontekst, socialno presojo, strah pred nerodnimi sestanki, spomin na pretekle napake, vodjo in dovolj zdrave pameti, da ne pošlje e-pošte pravni službi ob 02:00, razen če stavba dejansko gori. Programski agent ima zanko. Opazuje, načrtuje, kliče orodja, bere rezultate, posodablja stanje in se odloča, ali bo nadaljeval. Ta zanka je lahko močna. Ni pa enaka organizacijski zrelosti v škatli.
Poimenovati sistem agent ne bi smelo biti izgovor za nejasen dizajn. Zahtevati bi moralo strožji dizajn, ker lahko sistem naredi več korakov brez človeka vmes. Klepetalni robot lahko odgovori slabo in se ustavi. Agent lahko odgovori slabo, odpre nalog, spremeni polje, pošlje sporočilo, sproži potek dela, porabi denar in nato uporabi rezultat tega dejanja kot dokaz za naslednje dejanje. Majhen nesporazum lahko postane majhen proces. Procesi so tam, kjer organizacije shranjujejo posledice.
Pogled agenta je uporaben, ko ekipe prisili, da preslikajo celotno zanko. Kaj lahko agent opazuje. Kateri viri so verodostojni. Kako razlaga namen. Katere pripomočke lahko pokliče. Kateri klici pripomočkov so povratni. Kateri zahtevajo odobritev. Koliko denarja, časa, računske moči ali pozornosti lahko porabi. Kakšno stanje ohranja. Kako ve, da je končal. Kako prosi za pomoč. Kakšni dokazi ostanejo po koncu zanke. Ta vprašanja niso birokracija. So priročnik za delovanje pooblaščenih dejanj.
Brez tega priročnika avtonomija postane dovoljenje za improvizacijo znotraj poslovnih sistemov. Improvizacija je v jazzu v redu. Manj očarljiva je, ko ureja glavne podatke.
Meje niso lisice
Ekipe se včasih upirajo mejam, ker zvenijo kot način, da bi bili agenti manj uporabni. To je narobe. Meje so tisto, zaradi česar je uporabnost preživetja sposobna. Človek lahko vozi hitro, ker imajo ceste pasove, znake, omejitve hitrosti, zavore in pravila za križišča. Odstranite te omejitve in niste ustvarili naprednejšega prometnega sistema. Ustvarili ste sestanek z zavarovanjem.
Dobra meja agentu pove, kaj lahko optimizira in kaj mora ohraniti. Lahko mu je dovoljeno skrajšati odzivni čas, vendar ne tako, da bi zaobšel odobritev. Lahko mu je dovoljeno pripraviti osnutke sporočil dobaviteljem, vendar jih ne sme pošiljati omejenim strankam. Lahko mu je dovoljeno uskladiti evidence, vendar ne sme prepisati verodostojnega sistema brez praga zaupanja in poti pregleda. Lahko mu je dovoljeno porabiti računsko moč, vendar le v okviru proračuna in z razlogom. Meja ni zanikanje avtonomije. Je oblika, ki avtonomijo naredi berljivo.
Meje prav tako naredijo rezultate preizkusljive. Če ima agent jasen obseg pripomočkov, lahko ocenjevalci preizkusijo zlorabo pripomočkov. Če ima obseg podatkov, lahko preizkusijo uhajanja. Če ima proračun, lahko preizkusijo neobvladljive zanke. Če ima pravila za eskalacijo, lahko preizkusijo dvoumnost. Če ima zahteve po dokazih, lahko preizkusijo revizijsko sledljivost. Nejasne avtonomije ni mogoče preizkusiti, razen s čakanjem, da se zgodi nekaj nenavadnega, in nato s pripravo sestanka, kjer vsi uporabljajo besedo usklajenost z različnimi pomeni.
Najbolj uporabna meja je pogosto dolgočasna: preberi, preden zapišeš. Agentu dovolite, da obsežno bere z dovoljenjem, predlaga spremembe in piše le v ozkih sistemih, kjer je popravek enostaven. Nato razširite. Avtonomija bi morala rasti iz dokazanega vedenja, ne iz navdušenja. Navdušenje je slab model nadzora dostopa, čeprav ima močan prodajni oddelek.
Dostop do orodij je tam, kjer avtonomija postane resnična
Agent brez orodij je večinoma zgovoren načrtovalec. Agent z orodji je operativna programska oprema. V trenutku, ko lahko pošlje pošto, posodobi zapis, izvede poizvedbo, ustvari zahtevek za nakup, premakne datoteko, pokliče API ali sproži drug potek dela, je sistem prešel iz predloga v dejanje. Ta prehod si zasluži več slovesnosti kot potrditveno polje z imenom omogoči orodja.
Dovoljenja za orodja naj bodo razdeljena glede na posledice. Branje zapisa o stranki ni enako urejanju. Osnutek e-pošte ni enako pošiljanju. Ustvarjanje naloga ni enako zapiranju. Izvedba analize ni enako objavi rezultata. Zrelo načrtovanje agentov obravnava vsako dejanje z orodjem kot pogodbo: vhode, dovoljene uporabnike, dovoljene cilje, stranske učinke, idempotentnost, razveljavitev, dokaze in odobritev. Če se to zdi preveč zahtevno, začnite z manj orodji. Odgovor na šibek nadzor ni večji polmer eksplozije.
Nepovratna dejanja potrebujejo posebno obravnavo. Plačila, izbrisi, začasne ukinitve računov, pravna obvestila, zaveze strankam, spremembe cen in politične odločitve ne bi smele biti običajni klici orodij, razen če ima področje izjemno močne nadzore. Številni poteki dela lahko uporabijo dvostopenjski vzorec: agent pripravi, pojasni in postavi dejanje v čakalno vrsto; oseba ali ločena nadzorna storitev odobri izvedbo. To ni človeško varovanje. To je ločitev dolžnosti, zamisel, ki je dovolj stara, da je preživela številne programske trende in več pisav.
Tudi povratna dejanja potrebujejo revizijske sledi. Če agent posodobi polje, mora zapis prikazati prejšnjo vrednost, novo vrednost, dokaze, različico politike, klic orodja, različico agenta in ali jo je pozneje spremenil človek. V nasprotnem primeru razveljavitev postane ugibanje. Ugibanje je drago, kadar ga izvajajo ljudje, ki so jim obljubili, da bo avtomatizacija prihranila čas.
Stanje so poslovni podatki
Agenti si stvari zapomnijo. Hranijo stanje naloge, stanje pogovora, rezultate orodij, povzetke, delovne liste, načrte, vdelave, nastavitve in včasih dolgoročni spomin. Ta spomin lahko izboljša kontinuiteto. Lahko pa postane tudi vzporedni poslovni sistem, če ga nihče ne upravlja. Agent si lahko zapomni, da je dobavitelj zahteven, da stranka raje dobi popust, da se primer zdi sumljiv ali da običajno deluje rešitev. Ti spomini lahko oblikujejo prihodnja dejanja. Niso več nedolžne opombe.
Stanje potrebuje lastništvo, hrambo, popravke in pravila dostopa. Kdo lahko vidi, kaj si agent zapomni. Kako dolgo ga hrani. Ali ga uporabnik lahko popravi. Ali podeduje občutljivost iz vira. Ali se uporablja za prihodnje odločitve. Ali se prenaša med uporabniki. Ali je vključeno v pozive. Ali se izbriše, ko se izbriše izvorni zapis. To so običajna vprašanja upravljanja podatkov v preobleki agenta. Preobleka ne spremeni ničesar razen hitrosti, s katero lahko potuje težava.
Kratkoročne beležke si prav tako zaslužijo pozornost. Načrt lahko vsebuje občutljivo razmišljanje, pomotoma shranjena poverila, izpeljana dejstva ali napačne predpostavke. Če se beleži na široko, lahko pride do uhajanja. Če se sploh ne beleži, postane sistem težko odpravljati napake. Pravilen odgovor je odvisen od tveganja na področju, vendar mora odgovor obstajati. Politika pomnilnika ne sme biti tisto, kar je okvir slučajno shranil v torek.
Ko je stanje urejeno, je agente lažje izboljševati. Ekipe lahko vidijo, kje se je zanka zataknila, katere predpostavke so se ponavljale, kateri viri so bili uporabni, kateri klici orodij so spodleteli in kateri človeški posegi so popravili pot. Brez urejenega stanja postane vrednotenje seansa s skladiščnimi sledmi.
Dvoumnost je običajen primer
Številne predstavitve agentov delujejo, ker je svet v predstavitvi urejen. Stranka ima en račun. Politika ima eno izjemo. Dobavitelj ima eno pravno osebo. Naloga ima en očiten naslednji korak. Realno poslovanje je manj vljudno. Imena se prekrivajo. Zapisi so podvojeni. Dovoljenja so zastarela. Nekdo je napisal glej prejšnji e-poštni predmet, stavek, ki je avtomatizaciji povzročil več škode kot številni tehnični standardi. Agent mora biti zasnovan za dvoumnost kot običajen primer, ne kot neprijetno prekinitev.
Dobre meje agentu povedo, kdaj naj ne ukrepa. Če je zaupanje v identiteto nizko, se ustavi. Če se dva avtoritativna vira ne strinjata, se ustavi ali stopnjuje. Če zahtevano dejanje zadeva omejeno stranko, se ustavi. Če stroški presegajo proračun, se ustavi. Če rezultat orodja nasprotuje načrtu, se ustavi. Če se isti korak prepogosto ponavlja, se ustavi. Če agent ne more pojasniti svojih dokazov, se ustavi. Pogoj zaustavitve ni neuspeh. Je varnostna funkcija s ponižnostjo.
Stopnjevanje mora biti natančno. Človeku ne podajamo nejasnega sporočila, da agent potrebuje pomoč. Povejte, katera meja je bila dosežena, kateri dokazi so bili vidni, katero dejanje je bilo predlagano, kakšno tveganje ostaja in kakšna odločitev je potrebna. Ljudje smo dobri pri presoji, ko sistem prinese pravi kontekst. Manj smo dobri pri tem, da nas pokličejo v meglo in prosijo, da jo blagoslovimo.
Tu je tudi vprašanje dostojanstva za delavce. Če agenti vsak težji primer vržejo ljudem brez konteksta, postane avtomatizacija stroj za koncentriranje nereda na istih ljudeh kot prej. Če agenti skrivajo dvoumnost in vseeno ukrepajo, ljudje podedujejo posledice. Meje morajo pošteno porazdeliti delo: stroji obravnavajo omejeno ponavljanje, ljudje obravnavajo nerešeno presojo, sistem pa ohrani dovolj dokazov, da se nobeni strani ni treba pretvarjati.
Človeški nadzor je zasnova, ne stol
Dati človeka v zanko je priljubljena fraza, ker zveni odgovorno in na predstavitvi ne stane nič. V praksi to pogosto pomeni, da naj bi človek opazil vse, kar bi sistem lahko naredil narobe, hkrati pa moral slediti delu, ki naj bi ga avtomatizacija zmanjšala. To ni nadzor. To je stresni položaj z nadzorno ploščo.
Dober nadzor opredeli, kaj človek pregleduje in zakaj. Ali oseba odobrava dejanje orodja, preverja dokaze, rešuje spor, obravnava izjemo, spreminja pravilnik ali vzorči izhod za kakovost. Vsaka vloga potrebuje drugačne informacije. Za odobritev sta potrebna predlagano dejanje in posledica. Za pregled dokazov so potrebni viri in različice. Za reševanje spora so potrebni nasprotujoči si zahtevki. Za vzorčenje kakovosti so potrebne porazdelitve, ne anekdote. Človeška pozornost je redka. Porabite jo kot infrastrukturo.
Nadzor mora biti tudi ustrezno časovno razporejen. Pregled po nepovratnem dejanju ni nadzor; to je arheologija s čustvi. Pregledovanje vsakega nepomembnega koraka uniči vrednost avtomatizacije. Uporaben vzorec so vrata, ki temeljijo na tveganju. Dejanja z nizkim tveganjem in reverzibilna dejanja lahko potekajo z beleženjem. Dejanja s srednjim tveganjem lahko zahtevajo pregled, kadar je zaupanje nizko ali kadar se približujemo meji. Dejanja z visokim tveganjem zahtevajo odobritev pred izvedbo. Tečnost modela ne sme določati vrat. Določati jih mora posledica.
Ljudje potrebujejo pooblastila, enaka odgovornosti. Če lahko pregledovalec samo odobrava ali zavrača, ne more pa popraviti izvornih podatkov, posodobiti meje, izboljšati pravila ali označiti pokvarjenega orodja, se bo ista težava vračala. Nadzor mora hraniti sistem. V nasprotnem primeru ljudje postanejo dekorativna varnostna plast, kar je nepošteno do ljudi in presenetljivo neuporabno za varnost.
Meja avtonomije
Avtonomija ni stikalo. Je meja, ki se premika, ko se izboljšujejo dokazi. Na enem koncu agent pripravi priporočila in ne more ukrepati. Nato lahko deluje v peskovniku. Nato lahko piše v sisteme z nizkim tveganjem. Nato lahko izvaja omejena produkcijska dejanja. Nato lahko usklajuje delo med sistemi z odobritvami. Nato lahko za zelo zrela področja obravnava ozko delo z nadzorom na podlagi izjem. Vsak korak si je treba prislužiti z uspešnostjo, ne obljubiti z arhitekturnimi diagrami.
Meja je za vsako področje drugačna. Agent, ki načrtuje notranje sestanke, ima lahko več svobode kot tisti, ki spreminja plačilne pogoje. Agent, ki označuje dokumente, ima lahko več svobode kot tisti, ki jih briše. Agent, ki inženirju pomaga razvrščati dnevnike, ima lahko več svobode kot tisti, ki komunicira s strankami. Isti osnovni model je lahko za različnimi ravnmi avtonomije, ker mejo določa posledica, ne model.
Premikanje vzdolž meje zahteva dokaze: rezultate vrednotenj, zgodovino incidentov, stopnje napak orodij, kakovost eskalacij, uspešnost povrnitve, zaupanje uporabnikov, skladnost s pravilniki in vedenje stroškov. Če agent znova in znova naleti na isto dvoumnost, je odgovor morda boljši podatki, jasnejši pravilnik ali ožji obseg, ne več avtonomije. Če agent dobro deluje v eni čakalni vrsti, ne domnevajte, da bo tako deloval tudi v drugi. Poslovni kontekst ni vožnja v zabaviščnem parku. Omejitve višine so lokalne.
Zato je fraza popolnoma avtonomen običajno manj uporabna, kot ljudje upajo. Popolnoma avtonomen glede česa. Za kako dolgo. S katerimi orodji. Pod katerim proračunom. V skladu s katerim pravilnikom. S kakšnim ugovorom. Resna različica je ožja in močnejša: avtonomen znotraj te omejene naloge, s temi kontrolami, do teh pogojev zaustavitve. Sliši se manj impresivno. A bolj verjetno bo preživel stik s torkom.
Meje je treba vzdrževati
Meja ni dokončana, ko je zapisana. Poslovna pravila se spreminjajo, dobavitelji se združujejo, podatki se selijo, ekipe se reorganizirajo, modeli se posodabljajo, orodja dobivajo nove funkcije in uporabniki odkrivajo bližnjice. Meja agenta, ki je bila januarja smiselna, je lahko marca že napačna. To ni neuspeh prvotne zasnove. To je resničnost, ki na svoj običajni osorni način skrbi za nadzor različic.
Vzdrževanje meja zahteva lastništvo. Nekdo je lastnik izjave o namenu. Nekdo je lastnik obsega podatkov. Nekdo je lastnik dovoljenj za orodja. Nekdo je lastnik proračunskih omejitev. Nekdo je lastnik pravil za eskalacijo. Nekdo je lastnik vrednotenja. Nekdo je lastnik pregleda incidentov. Če je meja last vseh, jo lasti agent, kar je poetičen način, da rečemo, da je ne lasti nihče. Meje bi morale biti različicirane, pregledane in povezane z incidenti ter opazovanim vedenjem.
Obvladovanje sprememb bi moralo vključevati teste. Če orodje dobi novo dejanje, ga agent ne dobi samodejno. Če vir podatkov spremeni shemo, je treba preveriti pridobivanje in obravnavo stanja. Če se politika spremeni, bi se morali z njo spremeniti pozivi, pravila in primeri za vrednotenje. Če se spremeni različica modela, bi morali regresijski testi vključevati izbiro orodij, zavrnitev, eskalacijo in kakovost dokazov. Agent ni čarobna plast nad procesom. Je proces s hitrejšim srčnim utripom.
Vzdrževanje pomeni tudi umik avtonomije. Če okolje postane bolj tvegano, če se stopnja incidentov dvigne, če dobavitelj postane občutljiv, če se predpisi spremenijo ali če kakovost dokazov pade, bi se morala avtonomija premakniti nazaj. To se lahko zdi kot neuspeh. Pravzaprav je to delovanje nadzora. Zavore niso priznanje, da so bili avtomobili napaka.
Organizacijska lekcija
Agenti razkrijejo, kako dobro organizacija razume lastno delo. Če je delovni proces poln neformalnih izjem, nejasnega lastništva, podvojenih zapisov, skritih politik in junaškega človeškega spomina, ga agent ne bo čudežno počistil. Bodisi bo omahoval, ravnal napačno ali pa zahteval toliko odobritev, da ga bodo ljudje začeli uporabljati kot počasnejšo obliko e-pošte. Agent ni ustvaril nereda. Naredil je nered izvedljiv.
To je lahko koristno. Zasnova agenta sili ekipe, da poimenujejo nalogo, opredelijo pooblastila, razvrstijo podatke, ločijo orodja, zapišejo pogoje za zaustavitev in ohranijo dokaze. To so zdrave operativne navade že pred avtomatizacijo. Ekipa, ki ne more opredeliti meja za agenta, verjetno ne more dovolj dobro razložiti delovnega procesa niti ljudem. Programska oprema je preprosto manj vljudna do dvoumnosti.
Najboljši uvajanja agentov se začnejo ožje od ambicije. Izberejo resnični delovni tok z znanimi mejami, smiselno količino dela, omejenim dosegom škode in lastniki, ki lahko sistem izboljšajo. Opazujejo, kje ljudje uporabljajo presojo. Avtomatizirajo omejeno ponavljanje. Hranijo dokaze. Jasno eskalirajo. Širijo se šele, ko se trenutna meja izkaže. To ni počasno. To je način, kako se hitrost izogne temu, da postane čiščenje.
Avtonomija brez meja od sistema zahteva, da se obnaša kot dober zaposleni, hkrati pa mu odreka organizacijski kontekst, ki zaposlene naredi dobre. Omejena avtonomija postavlja boljše vprašanje: kateri del dela je mogoče prenesti tako, da ostane pregleden, po možnosti povraten in pošten, ko nečesa ne ve. To vprašanje je manj glamurozno. A prav ono omogoča, da agenti postanejo operacija in ne gledališče.
Nauk
Agenti potrebujejo meje pred avtonomijo, ker je vsak avtonomni korak preneseno dejanje. Prenos brez obsega ni zaupanje. Je abdikacija z lepšo terminologijo. Najprej opredelite delo, podatke, orodja, proračune, stanje, dokaze, pogoje za zaustavitev, eskalacijo in poti za popravilo. Šele nato lahko avtonomija raste tam, kjer si jo sistem zasluži.
Bistvo ni v tem, da bi bili agenti plašni. Bistvo je, da postanejo uporabni na mestih, kjer je delo pomembno. Meje agentom omogočajo hitrejše delovanje, ne da bi posledice postale nevidne. Ljudem omogočajo nadzor nad presojo namesto varovanja mehanike. Napake spremenijo v popravila in ne v skrivnosti. Najpomembneje pa je, da organizaciji dajo način, kako povedati, pri čemer sme biti agent dober.
Prosti agent se sliši razburljivo, dokler ne naleti na resnični delovni tok. Omejen agent se morda sliši manj junaško. Dobro. Junaštvo je slab operativni model. Meje so tisto, kar avtonomijo spremeni v odgovorno delo.