Prečo agenti potrebujú hranice pred autonómiou
Agent, ktorý bol príliš nápomocný
Agent sa nevzbúril. To stojí za to povedať na úvod, pretože príbehy o autonómnych systémoch sa často rozprávajú, akoby softvér čítal po polnoci zlú vedeckú fantastiku. Tento agent sa správal s pôsobivou poslušnosťou. Dostal široký pokyn vyčistiť otvorené problémy dodávateľov do konca mesiaca. Prečítal si poštu, prehľadal systém tiketov, našiel zastarané prípady onboardingu, poslal pripomienky, uzavrel duplicity, aktualizoval tabuľku a eskaloval všetko, čo vyzeralo naliehavo. Do 09:15 nasledujúceho rána vykonal viac administratívnej práce, než tím zvyčajne stihol pred druhou kávou.
Zároveň znovu otvoril spor, ktorý právne oddelenie zámerne odložilo, poslal pripomienku dodávateľovi, ktorý bol v čase vyjednávacieho embarga, uzavrel duplicitu, ktorá nebola duplicitou, pretože spoločnosť mala dve dcérske spoločnosti s takmer rovnakými názvami, a aktualizoval bunku prognózy, ktorú finančné oddelenie používalo ako vstup do podkladov pre predstavenstvo. Agent nehalucinoval. Neignoroval svoj pokyn. Riadil sa tvarom úlohy, ako bola zadaná. Problém bol v tom, že úloha nemala žiadne hranice.
Tím žiadal o autonómiu skôr, než definoval územie. Dal agentovi nástroje, poverenia, cieľ a tón sebavedomia. Nedefinoval, ktoré systémy sú iba na čítanie, ktoré akcie vyžadujú schválenie, ktorí dodávatelia sú citliví, ktoré záznamy sú autoritatívne, ktoré polia sa počítajú ako finančné kontroly, ako zastaviť, keď je identita nejednoznačná, ani aké dôkazy sa musia uchovávať pri vykonaní zmeny. Agent nebol príliš inteligentný. Bol nedostatočne riadený. To je menej dramatické a častejšie.
Agenti potrebujú hranice pred autonómiou, pretože autonómia nie je črta osobnosti. Je to povolenie sledovať cieľ naprieč krokmi. Každé povolenie má svoj obvod, inak sa stane netesnosťou. Užitočná otázka nie je, ako autonómnymi ho dokážeme urobiť. Užitočná otázka je, akú ohraničenú prácu môže tento systém vykonávať, s akými nástrojmi, za akých pravidiel dokazovania a čo sa musí stať, keď svet prestane zodpovedať ideálnej ceste.
Agent je pracovný postup s iniciatívou
Slovo agent v ľuďoch vyvoláva predstavu digitálneho kolegu. Táto metafora je užitočná, kým nie je. Kolega má pracovný kontext, spoločenský úsudok, strach z nepríjemných stretnutí, pamäť na minulé chyby, manažéra a zdravý rozum neposlať e-mail právnemu oddeleniu o 02:00, pokiaľ budova naozaj nehorí. Softvérový agent má slučku. Pozoruje, plánuje, volá nástroje, číta výsledky, aktualizuje stav a rozhoduje, či pokračovať. Táto slučka môže byť výkonná. Nie je to to isté ako organizačná vyspelosť v krabici.
Nazývať systém agentom by nemalo ospravedlňovať vágny dizajn. Malo by to vyžadovať prísnejší dizajn, pretože systém môže vykonať niekoľko krokov bez človeka medzi nimi. Chatbot môže odpovedať zle a skončiť. Agent môže odpovedať zle, otvoriť tiket, zmeniť pole, poslať správu, spustiť pracovný postup, minúť peniaze a potom použiť výsledok tohto úkonu ako dôkaz pre ďalší úkon. Malé nedorozumenie sa môže stať malým procesom. Procesy sú miesta, kde organizácie ukladajú dôsledky.
Pohľad agenta je užitočný, keď prinúti tímy zmapovať celý cyklus. Čo môže agent pozorovať. Ktoré zdroje sú autoritatívne. Ako interpretuje zámer. Ktoré nástroje môže volať. Ktoré volania nástrojov sú reverzibilné. Ktoré vyžadujú schválenie. Koľko peňazí, času, výpočtového výkonu alebo pozornosti môže minúť. Aký stav si uchováva. Ako vie, že je hotový. Ako požiada o pomoc. Aké dôkazy zostanú po skončení cyklu. Tieto otázky nie sú byrokracia. Sú to prevádzková príručka pre delegované konanie.
Bez tejto príručky sa autonómia stáva povolením improvizovať v rámci podnikových systémov. Improvizácia je v džeze v poriadku. Je menej očarujúca, keď upravuje hlavné dáta.
Hranice nie sú putá
Tímy niekedy odolávajú hraniciam, pretože znejú ako spôsob, ako urobiť agentov menej užitočnými. To je naopak. Hranice sú to, čo robí užitočnosť prežiteľnou. Človek môže jazdiť rýchlo, pretože cesty majú jazdné pruhy, značky, obmedzenia rýchlosti, brzdy a pravidlá pre križovatky. Odstráňte tieto obmedzenia a nevytvorili ste pokročilejší dopravný systém. Vytvorili ste stretnutie s poistením.
Dobrá hranica hovorí agentovi, čo môže optimalizovať a čo musí zachovať. Môže mať povolené skrátiť čas odozvy, ale nie obchádzaním schválenia. Môže mať povolené navrhovať správy dodávateľom, ale nie posielať ich obmedzeným stranám. Môže mať povolené zosúladiť záznamy, ale nie prepísať autoritatívny systém bez prahu spoľahlivosti a revízneho postupu. Môže mať povolené minúť výpočtový výkon, ale len v rámci rozpočtu a s odôvodnením. Hranica nie je popretím autonómie. Je to tvar, ktorý robí autonómiu čitateľnou.
Hranice tiež robia výsledky testovateľnými. Ak má agent jasný rozsah nástrojov, hodnotitelia môžu testovať zneužitie nástrojov. Ak má rozsah dát, môžu testovať úniky. Ak má rozpočet, môžu testovať nekontrolované slučky. Ak má pravidlá eskalácie, môžu testovať nejednoznačnosť. Ak má požiadavky na dôkazy, môžu testovať auditovateľnosť. Vágna autonómia sa nedá testovať inak, než čakaním, kým sa nestane niečo zvláštne, a potom usporiadaním stretnutia, kde každý používa slovo zosúladenie s iným významom.
Naj užitočnejšia hranica je často nudná: čítať pred písaním. Nechajte agenta široko čítať s povolením, navrhovať zmeny a písať len v úzkych systémoch, kde je oprava jednoduchá. Potom rozširujte. Autonómia by mala rásť z preukázaného správania, nie z nadšenia. Nadšenie je slabý model kontroly prístupu, hoci má silné obchodné oddelenie.
Prístup k nástrojom je miesto, kde sa autonómia stáva skutočnou
Agent bez nástrojov je väčšinou len výrečný plánovač. Agent s nástrojmi je operačný softvér. V momente, keď dokáže poslať e-mail, aktualizovať záznam, spustiť dotaz, vytvoriť požiadavku na nákup, presunúť súbor, zavolať API alebo spustiť ďalší pracovný postup, systém prekročil hranicu medzi návrhom a konaním. Toto prekročenie si zaslúži väčšiu pozornosť ako zaškrtávacie políčko s názvom povoliť nástroje.
Oprávnenia k nástrojom by sa mali deliť podľa dôsledkov. Prečítať záznam o zákazníkovi nie je to isté ako ho upraviť. Navrhnúť e-mail nie je to isté ako ho odoslať. Vytvoriť tiket nie je to isté ako ho uzavrieť. Spustiť analýzu nie je to isté ako publikovať výsledok. Zrelý návrh agenta vníma každú akciu s nástrojom ako zmluvu: vstupy, povolení používatelia, povolené ciele, vedľajšie účinky, idempotenciu, vrátenie zmien, dôkazy a schválenie. Ak sa to zdá príliš ťažké, začnite s menším počtom nástrojov. Odpoveďou na slabú kontrolu nie je väčší rozsah škôd.
Nevratné akcie si vyžadujú osobitné zaobchádzanie. Platby, výmazy, pozastavenia účtov, právne oznámenia, záväzky voči zákazníkom, zmeny cien a politické rozhodnutia by nemali byť bežnými volaniami nástrojov, pokiaľ doména nemá mimoriadne silné kontroly. Mnohé pracovné postupy môžu využiť dvojstupňový vzor: agent pripraví, vysvetlí a zaradí akciu do frontu; človek alebo samostatná kontrolná služba schváli vykonanie. Toto nie je ľudské opatrovníctvo. Je to oddelenie právomocí, myšlienka dosť stará na to, aby prežila mnohé softvérové trendy a niekoľko typov písma.
Aj vratné akcie potrebujú audítorské záznamy. Ak agent aktualizuje pole, záznam by mal ukazovať predchádzajúcu hodnotu, novú hodnotu, dôkaz, verziu politiky, volanie nástroja, verziu agenta a to, či ju neskôr zmenil človek. Inak sa vrátenie zmien stáva hádaním. Hádanie je drahé, keď ho vykonávajú ľudia, ktorým sľúbili, že automatizácia ušetrí čas.
Stav sú obchodné údaje
Agenti si pamätajú veci. Uchovávajú stav úlohy, stav konverzácie, výsledky nástrojov, súhrny, poznámkové bloky, plány, vložené reprezentácie, preferencie a niekedy aj dlhodobú pamäť. Táto pamäť môže zlepšiť kontinuitu. Môže sa však stať aj tieňovým obchodným systémom, ak ju nikto neriadi. Agent si môže pamätať, že dodávateľ je problematický, že zákazník uprednostňuje zľavu, že prípad sa zdá podozrivý alebo že určitý obchádzkový postup zvyčajne funguje. Tieto spomienky môžu formovať budúce akcie. Už to nie sú neškodné poznámky.
Stav potrebuje vlastníctvo, uchovávanie, opravu a pravidlá prístupu. Kto môže vidieť, čo si agent pamätá. Ako dlho si to uchováva. Môže to používateľ opraviť. Dedičí citlivosť zo zdroja. Používa sa to na budúce rozhodnutia. Presúva sa to medzi používateľmi. Je to zahrnuté vo výzvach. Vymaže sa to, keď sa vymaže zdrojový záznam. Toto sú bežné otázky správy údajov v agentovom prestrojení. Prestrojenie nemení nič okrem rýchlosti, akou sa môžu problémy šíriť.
Krátkodobé pracovné poznámky si zaslúžia pozornosť tiež. Plán môže obsahovať citlivé uvažovanie, náhodné prihlasovacie údaje, odvodené fakty alebo nesprávne predpoklady. Ak sa dôkladne zaznamenáva, môže uniknúť. Ak sa nezaznamenáva vôbec, systém sa ťažko ladí. Správna odpoveď závisí od rizika v danej oblasti, ale odpoveď musí existovať. Politika pamäte by nemala byť to, čo framework náhodou uložil v utorok.
Keď je stav riadený, agenti sa dajú ľahšie zlepšovať. Tímy vidia, kde sa slučka zasekla, ktoré predpoklady sa opakovali, ktoré zdroje boli užitočné, ktoré volania nástrojov zlyhali a ktoré ľudské zásahy opravili cestu. Bez riadeného stavu sa hodnotenie stáva seansou so zásobníkmi volaní.
Nejednoznačnosť je bežný prípad
Mnohé ukážky agentov fungujú, pretože svet v ukážke je uprataný. Zákazník má jeden účet. Politika má jednu výnimku. Dodávateľ má jednu právnickú osobu. Úloha má jeden zrejmý ďalší krok. Skutočná prevádzka je menej zdvorilá. Mená sa zrážajú. Záznamy sú duplicitné. Oprávnenia sú zastarané. Niekto napísal pozri predchádzajúci e-mail, frázu, ktorá napáchala viac škody na automatizácii ako mnohé technické štandardy. Agent musí byť navrhnutý na nejednoznačnosť ako bežný prípad, nie ako nepríjemné prerušenie.
Dobré hranice hovoria agentovi, kedy nekonať. Ak je dôvera v identitu nízka, zastav sa. Ak sa dva autoritatívne zdroje nezhodujú, zastav sa alebo eskaluj. Ak požadovaná akcia zahŕňa obmedzenú stranu, zastav sa. Ak náklady prekročia rozpočet, zastav sa. Ak výsledok nástroja odporuje plánu, zastav sa. Ak sa rovnaký krok opakuje príliš často, zastav sa. Ak agent nevie vysvetliť svoje dôkazy, zastav sa. Podmienka zastavenia nie je zlyhanie. Je to bezpečnostný prvok s pokorou.
Eskalácia by mala byť konkrétna. Neodovzdávaj človeku vágny odkaz, že agent potrebuje pomoc. Povedz, ktorá hranica bola prekročená, aké dôkazy boli videné, aká akcia bola navrhnutá, aké riziko zostáva a aké rozhodnutie je potrebné. Ľudia sú dobrí v úsudku, keď systém prinesie správny kontext. Menej dobrí sú v tom, keď sú zavolaní do hmly a požiadaní, aby ju požehnali.
Je tu aj otázka dôstojnosti pre pracovníkov. Ak agenti hádžu každý ťažký prípad ľuďom bez kontextu, automatizácia sa stáva strojom na koncentráciu neporiadku na tých istých ľuďoch ako predtým. Ak agenti skrývajú nejednoznačnosť a napriek tomu konajú, ľudia zdedia následky. Hranice by mali rozdeľovať prácu čestne: stroje zvládajú ohraničené opakovanie, ľudia riešia nevyriešený úsudok a systém uchováva dostatok dôkazov, aby ani jedna strana nemusela predstierať.
Ľudský dohľad je dizajn, nie stolička
Dať človeka do slučky je populárna fráza, pretože znie zodpovedne a na slajde nič nestojí. V praxi to často znamená, že sa od človeka očakáva, že si všimne všetko, čo by systém mohol pokaziť, a zároveň stíha prácu, ktorú mala automatizácia zredukovať. To nie je dohľad. To je stresová poloha s dashboardom.
Dobrý dohľad definuje, čo človek prehodnocuje a prečo. Schvaľuje daná osoba akciu nástroja, overuje dôkazy, rieši konflikt, spracúva výnimku, mení politiku alebo vzorkuje výstup kvôli kvalite. Každá úloha si vyžaduje iné informácie. Schválenie potrebuje navrhovanú akciu a dôsledok. Overenie dôkazov potrebuje zdroje a verzie. Riešenie konfliktu potrebuje konkurenčné tvrdenia. Vzorkovanie kvality potrebuje distribúcie, nie anekdoty. Ľudská pozornosť je vzácna. Minajte ju ako infraštruktúru.
Dohľad by mal byť tiež správne načasovaný. Prehodnocovanie po nezvratnej akcii nie je dohľad; je to archeológia s emóciami. Prehodnocovanie každého triviálneho kroku ničí hodnotu automatizácie. Užitočný vzor sú brány založené na riziku. Nízkorizikové reverzibilné akcie môžu pokračovať s logovaním. Stredne rizikové akcie môžu vyžadovať prehodnotenie, keď je dôvera nízka alebo sa blíži hranica. Vysokorizikové akcie vyžadujú schválenie pred vykonaním. Plynulosť modelu by nemala rozhodovať o bráne. Dôsledok by mal.
Ľudia potrebujú právomoc zodpovedajúcu zodpovednosti. Ak môže recenzent iba schváliť alebo zamietnuť, ale nemôže opraviť zdrojové dáta, aktualizovať hranicu, vylepšiť pravidlo alebo nahlásiť pokazený nástroj, rovnaký problém sa vráti. Dohľad by mal napájať systém. Inak sa ľudia stanú dekoratívnou bezpečnostnou vrstvou, čo je nespravodlivé voči ľuďom a prekvapivo neužitočné pre bezpečnosť.
Hranica autonómie
Autonómia nie je prepínač. Je to hranica, ktorá sa posúva, keď sa zlepšujú dôkazy. Na jednom konci agent navrhuje odporúčania a nemôže konať. Potom môže konať v sandboxe. Potom môže zapisovať do nízkorizikových systémov. Potom môže vykonávať ohraničené produkčné akcie. Potom môže koordinovať naprieč systémami so schváleniami. A pre veľmi vyspelé domény môže zvládnuť úzku prácu s dohľadom založeným na výnimkách. Každý krok by si mal zaslúžiť výkon, nie sľubovať ho architektonické diagramy.
Hranica je pre každú doménu iná. Agent, ktorý plánuje interné stretnutia, môže mať viac slobody ako ten, ktorý mení platobné podmienky. Agent, ktorý označuje dokumenty, môže mať viac slobody ako ten, ktorý ich maže. Agent, ktorý pomáha inžinierovi triediť logy, môže mať viac slobody ako ten, ktorý kontaktuje zákazníkov. Rovnaký model môže stáť za rôznymi úrovňami autonómie, pretože hranicu určuje dôsledok, nie model.
Posun pozdĺž hranice si vyžaduje dôkazy: výsledky hodnotení, históriu incidentov, mieru chýb nástrojov, kvalitu eskalácií, úspešnosť rollbackov, dôveru používateľov, dodržiavanie politík a nákladové správanie. Ak agent opakovane naráža na rovnakú nejednoznačnosť, odpoveďou môžu byť lepšie dáta, jasnejšia politika alebo užší rozsah, nie väčšia autonómia. Ak agent funguje dobre v jednej fronte, nepredpokladajte, že sa bude správať rovnako v inej. Biznis kontext nie je zábavný park. Výškové obmedzenia sú lokálne.
Preto je fráza plne autonómny zvyčajne menej užitočná, než by si ľudia želali. Plná autonómia nad čím. Ako dlho. S ktorými nástrojmi. Pod akým rozpočtom. Voči akej politike. S akým odvolaním. Vážna verzia je užšia a silnejšia: autonómny v rámci tejto ohraničenej úlohy, s týmito kontrolami, až do týchto stop podmienok. Znie to menej pôsobivo. Je pravdepodobnejšie, že to prežije kontakt s utorkom.
Hranice treba udržiavať
Hranica nie je hotová, keď je napísaná. Menia sa obchodné pravidlá, dodávatelia sa spájajú, dáta sa presúvajú, tímy sa reorganizujú, modely sa aktualizujú, nástroje získavajú nové funkcie a používatelia objavujú skratky. Hranica agenta, ktorá bola v januári rozumná, môže byť v marci už nesprávna. Toto nie je zlyhanie pôvodného návrhu. Je to realita poskytujúca správu verzií svojím obvyklým nevyberaným spôsobom.
Udržiavanie hraníc si vyžaduje vlastníctvo. Niekto vlastní vyhlásenie o účele. Niekto vlastní rozsah dát. Niekto vlastní povolenia nástrojov. Niekto vlastní rozpočtové limity. Niekto vlastní pravidlá eskalácie. Niekto vlastní vyhodnocovanie. Niekto vlastní preskúmanie incidentov. Ak hranicu vlastní každý, vlastní ju agent, čo je poetický spôsob, ako povedať, že ju nevlastní nikto. Hranice by mali byť verzované, preskúmavané a prepojené s incidentmi a pozorovaným správaním.
Riadenie zmien by malo zahŕňať testy. Ak nástroj získa novú akciu, agent ju automaticky nedostane. Ak zdroj dát zmení schému, malo by sa skontrolovať získavanie a spracovanie stavu. Ak sa zmení politika, spolu s ňou by sa mali zmeniť výzvy, pravidlá a prípady vyhodnocovania. Ak sa zmení verzia modelu, regresné testy by mali zahŕňať výber nástrojov, odmietnutie, eskaláciu a kvalitu dôkazov. Agent nie je magická vrstva nad procesom. Je to proces s rýchlejším tepom.
Udržiavanie tiež znamená rušenie autonómie. Ak sa prostredie stane rizikovejším, ak stúpne miera incidentov, ak sa dodávateľ stane citlivým, ak sa zmení regulácia alebo ak klesne kvalita dôkazov, autonómia by sa mala posunúť späť. To môže pôsobiť ako zlyhanie. V skutočnosti je to fungujúca kontrola. Brzdy nie sú priznaním, že autá boli chybou.
Organizačné ponaučenie
Agenti odhaľujú, ako dobre organizácia rozumie vlastnej práci. Ak je pracovný postup plný neformálnych výnimiek, nejasného vlastníctva, duplicitných záznamov, skrytých politík a hrdinskej ľudskej pamäte, agent to magicky nevyčistí. Buď zakopne, bude konať nesprávne, alebo si vyžiada toľko schválení, že ho ľudia začnú používať ako pomalšiu formu e-mailu. Agent ten chaos nevytvoril. Urobil chaos vykonateľným.
To môže byť užitočné. Návrh agenta núti tímy pomenovať úlohu, definovať právomoc, klasifikovať dáta, oddeliť nástroje, napísať podmienky zastavenia a uchovávať dôkazy. Sú to zdravé prevádzkové návyky aj pred automatizáciou. Tím, ktorý nedokáže definovať hranice pre agenta, pravdepodobne nedokáže vysvetliť pracovný postup dostatočne dobre ani pre ľudí. Softvér je jednoducho menej zdvorilý voči nejednoznačnosti.
Najlepšie nasadenia agentov začínajú užšie, než je ich ambícia. Vyberú si skutočný pracovný postup so známymi hranicami, zmysluplným objemom, obmedzeným dosahom dopadov a vlastníkmi, ktorí systém vedia zlepšovať. Pozorujú, kde ľudia používajú úsudok. Automatizujú ohraničené opakovanie. Zhromažďujú dôkazy. Eskalujú jasne. Rozširujú sa až vtedy, keď sa súčasná hranica osvedčí. Toto nie je pomalé. Takto sa rýchlosť vyhne tomu, aby sa stala upratovaním.
Autonómia bez hraníc žiada od systému, aby sa správal ako dobrý zamestnanec, no upiera mu organizačný kontext, ktorý robí zamestnancov dobrými. Ohraničená autonómia kladie lepšiu otázku: ktorú časť práce možno delegovať tak, aby zostala kontrolovateľná, kde sa dá vrátiť späť a ktorá je úprimná, keď niečo nevie. Táto otázka je menej pôvabná. Je to však tá, ktorá umožňuje agentom stať sa prevádzkou namiesto divadla.
Ponaučenie
Agenti potrebujú hranice pred autonómiou, pretože každý autonómny krok je delegovaný úkon. Delegovanie bez rozsahu nie je dôvera. Je to abdikácia s krajším názvoslovím. Najprv definujte úlohu, dáta, nástroje, rozpočty, stav, dôkazy, podmienky zastavenia, eskaláciu a cesty opravy. Potom môže autonómia rásť tam, kde si ju systém zaslúži.
Zmyslom nie je urobiť agentov bojazlivými. Zmyslom je urobiť ich užitočnými na miestach, kde na práci záleží. Hranice umožňujú agentom konať rýchlejšie bez toho, aby boli následky neviditeľné. Umožňujú ľuďom dohliadať na úsudok namiesto opatrovania mechaniky. Premieňajú chyby na opravy namiesto záhad. A čo je najdôležitejšie, dávajú organizácii spôsob, ako povedať, v čom má byť agent dobrý.
Voľný agent znie vzrušujúco, kým nenarazí na skutočný pracovný postup. Ohraničený agent môže znieť menej hrdinsky. Dobre. Hrdinstvo je zlý prevádzkový model. Hranice sú to, ako sa autonómia stáva zodpovednou prácou.