Slučaj protiv magične orkestracije
Graf koji je djelovao inteligentno
Dijagram orkestracije bio je prekrasan onako kako opasni dijagrami često jesu. Zaobljeni okviri, graciozne strelice, planer, istraživač, verifikator, izvršitelj alata, memorijski sloj, čvor za ljudsko odobrenje i konačni odgovor. Demonstracija se odvijala s kazališnim samopouzdanjem. Korisnik je zatražio analizu, planer je rastavio zadatak, alati su pozvani, pojavile su se međubilješke, a konačni je odgovor stigao smireno, poput sustava koji nikada nije upoznao produkcijski promet.
A onda su stigli prvi stvarni izuzeci. Alat je vratio djelomične podatke. Planer je ponovno pokušao s drugim upitom i izgubio raniji razlog. Verifikator je provjerio stil, ali ne i sukob izvora. Memorija je vratila staru pretpostavku jer se činila relevantnom. Korak ljudskog odobrenja odobrio je konačni tekst ne vidjevši neuspjeli ogranak. Trag je postojao, ali čitanje je nalikovalo pregledavanju kofera koji je odbor pakirao tijekom vježbe evakuacije. Graf nije dramatično zakazao. Sakrio je oblik odgovornosti.
To je argument protiv magične orkestracije. Ne protiv same orkestracije. Složeni AI sustavi trebaju koordinaciju. Trebaju pozivati alate, usmjeravati zadatke, upravljati kontekstom, pitati ljude, oporavljati se od pogrešaka, dijeliti posao i kombinirati dokaze. Argument je protiv stila orkestracije koji pametan graf ili petlju agenta tretira kao zamjenu za eksplicitno stanje, ugovore, vlasništvo, ograničenja i zapise. Magija je dojmljiva u demonstraciji jer skriva mehanizam. Inženjering je koristan u produkciji jer dovoljno izlaže mehanizam da bi se mogao popraviti.
AI orkestracija mjesto je gdje se vjerojatnost susreće s tijekom rada. To je spojište koje ne prašta. Model može odabrati plan. Alat može vratiti rezultat. Politika može dopustiti radnju. Ponovni pokušaj može promijeniti kontekst. Čovjek može odobriti. Nizvodni sustav može djelovati. Ako ti prijelazi nisu imenovani, ograničeni i zabilježeni, organizacija dobiva sustav koji djeluje inteligentno, a čije je ponašanje teško reproducirati i još teže njime upravljati. Nije autonoman. Samo je izbjegavajući uz bolji marketing.
Orkestracija nije čarobni prah inteligencije
Riječ orkestracija može učiniti da običan inženjering zvuči novopečeno začarano. Slijed postaje lanac. Uvjet postaje usmjerivač. Poziv funkcije postaje alat. Petlja while postaje agent. Red čekanja postaje memorija ako je osvjetljenje pravo. Dio tog rječnika koristan je jer AI sustavi doista uvode nove probleme koordinacije. Dio toga je pakiranje. Pakiranje nije zlo. Postaje skupo kada timovi zaborave što je unutar kutije.
U svojoj srži, orkestracija je upravljanje stanjem, odlukama, resursima i prijelazima. Što je zadatak. Koje je trenutno stanje. Koji su ulazi dopušteni. Koji alat smije biti pozvan. Koji se oblik izlaza očekuje. Što se događa pri pogrešci. Koji su ponovni pokušaji dopušteni. Koje radnje zahtijevaju odobrenje. Koji se dokazi moraju čuvati. Koji se korak može ponovno izvesti. Koji je korak nepovratan. Ta su pitanja postojala i prije generativnog AI-ja. Modeli ih čine važnijima, a ne zastarjelima.
Čarobna orkestracija izbjegava ova pitanja dopuštajući modelu ili okviru da previše toga zaključi u trenutku izvođenja. Planer odlučuje o dekompoziciji. Model bira alate. Izlaz alata postaje kontekst. Sljedeći korak ga tumači. Memorija dodaje povijest. Verifikator klimne glavom. Konačni odgovor se pojavi. To može funkcionirati za zadatke niskog rizika i istraživačke prirode. Krhko je kada tijek rada dotiče evidencije, novac, sigurnost, usklađenost, obveze prema kupcima, infrastrukturu ili druge sustave koji ne cijene improvizacijsko kazalište.
Discipliniran dizajn orkestracije ne uklanja fleksibilnost. On stavlja fleksibilnost unutar tračnica. Model može predložiti plan, ali izlaz planera ima shemu. Sustav može pozivati alate, ali alati imaju opsege i proračune. Tijek rada može ponavljati, ali razlozi ponavljanja su klasificirani. Memorija može pomoći, ali autoritativno stanje živi negdje drugdje. Čovjek može odobriti, ali odobrenje vidi relevantne grane i dokaze. Fleksibilnost preživljava. Misterij ne smije upravljati.
Problem skrivenog stanja
Najčešći neuspjeh orkestracije je skriveno stanje. Stanje se pojavljuje u upitima, bilježnicama za razmišljanje, pohranama memorije, izlazima alata, međuporukama, sažecima modela, predmemoriranim rezultatima, komentarima ljudi i unutarnjim dijelovima okvira. Svaki sloj sadrži djelomičnu istinu. Nijedan nije trajna evidencija. Kada nešto pođe po zlu, tim pita što je sustav vjerovao u sedmom koraku. Odgovor je kolaž.
Skriveno stanje čini otklanjanje pogrešaka mučnim. Model je odabrao drugačiji alat jer je raniji sažetak upotrijebio jači glagol. Ponavljanje je izostavilo ograničenje. Stavka memorije iz prethodnog zadatka utjecala je na plan. Rezultat alata bio je skraćen. Verifikator je vidio konačni odgovor, ali ne i odbijenu granu. Sustav se ponašao uvjerljivo, a uvjerljivo ponašanje je najdosadnija vrsta za istraživanje jer odbija izgledati pokvareno dok ne saznate činjenicu koja nedostaje.
Trajno stanje zadatka treba biti eksplicitno. Treba uključivati namjeru zadatka, dopušteni opseg, skup izvora, verziju plana, pozive alata, izlaze alata, razloge ponavljanja, odluke ljudi, provjere politika, troškove, vremenska ograničenja i primijenjene radnje. Ne treba svaka interakcija niskog rizika težak zapisnik, ali svaka orkestracija koja može utjecati na stvarni rad treba model stanja izvan transkripta. Transkript je korisna pripovijest. On nije operativni sustav.
Eksplicitno stanje također poboljšava dizajn proizvoda. Korisnici mogu vidjeti planira li sustav, čeka li alat, je li blokiran politikom, traži li pregled, ponavlja li nakon prolazne pogreške ili je spreman primijeniti promjene. Operatori mogu pauzirati ili nastaviti. Programeri mogu testirati prijelaze. Revizori mogu reproducirati. Sustav postaje manje čaroban, a korisniji, što je kompromis kojemu se neke demonstracije opiru, a većina operativnih timova duboko cijeni.
Pozivi alata nisu bezazleni
Korištenje alata daje AI sustavima ruke. To je korisno i opasno. Čitanje kalendara, pretraživanje dokumenata, upit u bazu podataka, slanje e-pošte, otvaranje zahtjeva, mijenjanje evidencije, implementacija koda ili prijenos novca nisu ekvivalentne radnje. Čarobni orkestrator može ih tretirati kao alate na popisu. Ozbiljan sustav tretira ih kao mogućnosti s opsezima, nuspojavama, dopuštenjima, proračunima i zahtjevima za dokazima.
Svaki poziv alata treba ugovor. Ulazi moraju biti tipizirani i validirani. Izlazi moraju biti provjereni. Pogreške moraju biti klasificirane. Nuspojave moraju biti deklarirane. Idempotencija mora biti razumljiva. Vremenska ograničenja moraju biti ograničena. Ponovni pokušaji moraju biti sigurni. Dopuštenja moraju proizlaziti iz korisnika, zadatka i politike, a ne iz modelova entuzijazma. Sustav bi trebao znati čita li alat samo, piše nacrt, mijenja zapis, obavještava osobu ili pokreće vanjsku obvezu. Čekić i bankovni prijenos ne bi trebali dijeliti isti dojam.
Izlaz alata također se mora tretirati kao ulaz. Može biti djelomičan, zastario, neovlašten, dvosmislen ili neprijateljski. Rezultat pretraživanja nije dokaz dok sustav ne zna izvor, svježinu i dopuštenje. Rezultat baze podataka može izostaviti retke zbog kontrole pristupa. Pogreška API-ja može vratiti poruku koja ne bi smjela postati uputa. Alat može pristojno zakazati i svejedno zakazati. Orkestrator ne smije svaki odgovor alata vraćati u model kao da je vraćanje teksta isto što i govorenje istine.
Nuspojave zaslužuju poseban oprez. Plan koji generira model može se odbaciti. Poslana e-pošta ne može se poslati natrag s jednakom pouzdanošću. Promijenjeni zapis može pokrenuti nizvodne sustave. Implementacija može utjecati na korisnike. Povrat može pomaknuti novac. Orkestracija bi trebala odvojiti prijedlog od radnje i zahtijevati izričite prolaze za nepovratne ili značajne korake. Ako sustav može činiti stvarne stvari, treba mu više od petlje agenta. Trebaju mu kočnice, ključevi i netko tko zna gdje je rezervni.
Ponovni pokušaji su politika u prerušenju
Ponovni pokušaji izgledaju kao inženjersko ljepilo sve dok orkestrator umjetne inteligencije ne počne donositi odluke. Ako alat ne uspije, pokušaj ponovno. Ako je izlaz modela neispravan, pitaj ponovno. Ako verifikator odbije odgovor, revidiraj. Ako plan zapne, planiraj ponovno. To može biti razumno. Također može promijeniti ishod, sakriti neizvjesnost, povećati trošak ili izbrisati dokaze o tome zašto je prvi put zakazao. Ponovni pokušaj nije samo drugi pokušaj. To je odluka o tome koju vrstu neuspjeha sustav smije zataškati.
Politika ponovnih pokušaja trebala bi biti izričita. Privremene infrastrukturne pogreške mogu se ponavljati drugačije od sukoba politika. Neispravan JSON može se popraviti drugačije od nedostajućih dokaza. Niska pouzdanost može pokrenuti pregled umjesto drugog uzorka. Sukob izvora ne bi se trebao rješavati traženjem od modela da zvuči odlučnije. Vremensko ograničenje alata ne bi trebalo postati dopuštenje za korištenje slabijeg izvora bez označavanja promjene. Sustav mora znati zašto ponavlja, što je sačuvano, što se mijenja i kada prestati.
Bez te discipline, orkestracija stvara pristojne petlje. Sustav nastavlja pokušavati jer je pokušavanje jeftino u kodu. Može potrošiti proračun, napuniti zapise, zbuniti korisnike i na kraju proizvesti odgovor koji izgleda bolje uglavnom zato što su raniji dokazi nestabilnosti skriveni. U produkciji, petlja koja skriva vlastite neuspjele pokušaje nije ustrajnost. To je amnezija s trakom napretka.
Ponovni pokušaji trebali bi proizvoditi zapise. Broj pokušaja, razlog, promijenjeni ulazi, promijenjeni plan, sačuvani dokazi, trošak, latencija i konačno rješenje. To operaterima daje način da vide je li tijek rada zdrav ili samo uporan. Također pomaže odlučiti treba li popraviti kvalitetu ulaza, pouzdanost alata, formatiranje modela, jasnoću politike ili očekivanja korisnika. Ponovni pokušaj bez klasifikacije je slijeganje ramenima u izvršivom obliku.
Verifikacija nije ukrasni čvor
Mnogi dijagrami orkestracije uključuju verifikator. To je dobro. Zatim se od verifikatora traži da provjeri je li odgovor uvjerljiv, dobro oblikovan ili usklađen s uputama. To je manje dobro. Verifikator koji čita samo konačni odgovor može propustiti pogreške koje su bitne: slab izvor, zabranjeni unos, neuspjeli alat, sukob politika, nesigurnu radnju ili plan koji je promijenjen bez odobrenja. Može uglačati ulazna vrata dok kuhinja gori.
Verifikacija bi trebala biti vezana uz ugovore i posljedice. Ako je zadatak izdvajanje, provjeravajte prema izvornim segmentima. Ako je zadatak klasifikacija, provjeravajte dopuštene oznake i dokaze. Ako je zadatak izvršavanje alata, provjeravajte dopuštenja, argumente, nuspojave i povrat. Ako je zadatak podrška odlučivanju, provjeravajte politike, svježinu izvora, nesigurnost i zahtjeve za pregled. Ako je zadatak komunikacija, provjeravajte publiku, tvrdnje, ton i otkrivanje informacija. Generički verifikator bolji je nego ništa. Verifikator specifičan za zadatak bolji je nego teatar.
Dio verifikacije trebao bi biti deterministički. Sheme, dopuštene vrijednosti, dopuštenja, proračuni, pragovi, svježina izvora i obvezna polja ne trebaju pjesnički sud modela. Koristite pravila tamo gdje su pravila jasna. Koristite modele tamo gdje je dvosmislenost stvarna. Koristite ljude tamo gdje posljedice i sporna značenja zahtijevaju odgovornost. Magična orkestracija često traži od modela da verificira drugi model jer to djeluje simetrično. Simetrija je ugodna u arhitektonskim dijagramima. To automatski nije kontrola.
Verifikator bi trebao vidjeti trag koji mu treba. Sam konačni tekst rijetko je dovoljan. Potrebni su mu ulazi, skup izvora, izlazi alata, neuspjeli pokušaji, transformacije, provjere politika i planirana radnja. Trebao bi također imati ovlast blokirati, zatražiti dodatne dokaze, uputiti na ljudski pregled ili označiti ograničenja. Verifikator koji ne može zaustaviti tijek rada recenzent je u svečanom odijelu.
Memorija ne bi smjela oponašati autoritet
Memorija agenta korisna je kada nosi preferencije, prethodni kontekst i znanje o zadacima koji se ponavljaju. Opasna je kada oponaša autoritativno stanje. Zapamćena preferencija nije politika. Prethodni odgovor nije zapis. Sažetak slučaja nije slučaj. Uspješan prošli plan nije dokaz da sljedeći zadatak dopušta iste alate. Memorija pomaže kontinuitetu. Ne bi joj smjelo biti dopušteno da danas prokrijumčari jučerašnji autoritet.
Memorija treba tipove. Osobna preferencija, stanje zadatka, organizacijska politika, izvorni dokazi, naučeni obrazac, predmemorirani rezultat alata i povijesna odluka različite su stvari. Trebaju različite opsege, rokove trajanja, dopuštenja i prikaz. Ako orkestrator jednostavno dohvati relevantne memorije i doda ih u kontekst, relevantnost postaje jedina kapija. Relevantnost nije dopuštenje. Privatna bilješka može biti relevantna. I dalje može biti zabranjena.
Memorija također treba brisanje i ispravljanje. Pogrešna pretpostavka ne bi smjela opstati samo zato što je jednom bila korisna. Privremeno stanje projekta trebalo bi isteći. Ispravak korisnika trebao bi se primjenjivati u definiranom opsegu. Promjena politike trebala bi poništiti staru memoriju. Sažetak generiran modelom ne bi smio postati prečac koji zamjenjuje primarni izvor. Sustav bi trebao pokazati koja je memorija utjecala na plan i dopustiti korisnicima da je ospore. U protivnom memorija postaje pristojno proganjanje.
Pravilo je jednostavno: autoritativno stanje živi u upravljanim spremištima. Memorija može pomoći pri planiranju, ali ne bi smjela tiho odlučivati. Ako orkestrator koristi memoriju, zabilježite koja memorija, zašto je bila dopuštena i kako je utjecala na plan. To djeluje teško samo ako memorija obavlja posao s posljedicama. Ako memorija obavlja posao s posljedicama, težina je upravo poanta.
Jednostavno pobjeđuje magično češće nego što timovi očekuju
Nije svaki AI tijek rada potreban agentima. Nekima je potrebna deterministička linija obrade s jednim korakom modela. Nekima su potrebni dohvat, klasifikator i red za ljudski pregled. Nekima je potreban obrazac koji poziva model za izradu nacrta. Nekima je potrebna skupna evaluacija. Nekima je potreban planer. Nekima je potrebna upotreba alata u više koraka. Arhitektura bi trebala slijediti zadatak, a ne trenutačni entuzijazam za dijagrame u obliku agenata.
Dosadna alternativa često pobjeđuje. Fiksni slijed lakše je testirati nego otvorenu petlju. Tipizirani pristupnik alatima sigurniji je od slobodnog odabira alata. Red s izričitim stanjima lakše je operirati nego rekurzivnog agenta. Pravilo utemeljeno na pravilima jeftinije je od modela kao suca kada je pravilo jasno. Put eskalacije prema čovjeku bolji je od novog pokušaja kada su posljedice velike. To nisu stavovi protiv umjetne inteligencije. To su stavovi za sustav.
Postoji kompromis. Fleksibilnija orkestracija može obraditi dvosmislenost i neočekivane putove. Također povećava varijancu, teret dokaza, trošak i složenost otklanjanja pogrešaka. Izričitija orkestracija može djelovati kruto. Također poboljšava ponovljivost, vlasništvo i oporavak. Prava točka ovisi o dvosmislenosti zadatka, posljedicama, opsegu i toleranciji na neuspjeh. Magično razmišljanje pretvara da fleksibilni kraj sve daje besplatno. Proizvodnja kasnije šalje račun, sa stavkama.
Korisno dizajnersko pitanje glasi: što model nikada ne bi smio odabrati. Autoritet izvora. Korisničke dozvole. Ograničenja proračuna. Nepovratne radnje. Obveze čuvanja podataka. Pravna osnova. Sigurnosni pragovi. Neke od njih modeli mogu predložiti ili objasniti. Ne bi ih smjeli šutke postavljati. Model može pomoći u navigaciji tijekom rada. Ne bi smio postati ustav samo zato što je bilo zgodno sve staviti u kontekst.
Oblikujte orkestraciju kao operativni model
Ozbiljna orkestracija počinje ugovorom o zadatku. Koji je cilj. Koji su podaci dopušteni. Koji su rezultati prihvatljivi. Koji se alati smiju koristiti. Koje su radnje zabranjene. Koji proračun vrijedi. Koja je latencija prihvatljiva. Koji se dokazi moraju čuvati. Koje ljudske uloge postoje. Koja su stanja neuspjeha moguća. Koji putovi oporavka postoje. Ako tim ne može odgovoriti na ta pitanja, ne treba mu čarobniji graf. Treba mu jasniji zadatak.
Zatim definirajte prijelaze stanja. Planirano, čeka unos, dohvaćanje, alat na čekanju, alat nije uspio, sukob dokaza, politika blokirana, ljudski pregled, odobreno, primijenjeno, kompenzirano, otkazano. Ta stanja možda zvuče svakodnevno jer to i jesu. Omogućuju upravljanje sustavom. Omogućuju osobi da zna treba li čekati, intervenirati, odobriti ili popraviti. Omogućuju testovima da potvrde ponašanje. Omogućuju incidentima da počnu od činjenica umjesto od dojmova.
Zatim definirajte granice. Modeli izrađuju nacrte planova. Pristupnici izvršavaju alate. Pravila provode jasna ograničenja. Provjerivači potvrđuju ugovore. Ljudi odlučuju o spornim posljedicama. Zapisi čuvaju dokaze. Redovi upravljaju kašnjenjem. Pohrana drži trajno stanje. Svaka granica trebala bi biti dovoljno dosadna da se može objasniti. Ako model radi nekoliko tih stvari jer je bilo lakše, imenujte rizik i odlučite je li zadatak dovoljno niskog rizika da se to tolerira. Ponekad jest. Mnogi interni pomoćnici mogu biti lagani. Problem je pretvaranje da je lagani dizajn temelj za automatizaciju s visokim posljedicama.
Naposljetku, neuspjeh testa. Alat vraća djelomične podatke. Izvor je u sukobu. Model proizvodi nevažeći izlaz. Memorija je zastarjela. Korisnik nema dopuštenje. Dosegnuto je ograničenje troškova. Ljudski pregled nije dostupan. Mreža je spora. Plan se mijenja nakon odobrenja. Radnja djelomično uspijeva. Ako vam orkestrator ne može reći što se događa u tim slučajevima, graf je dekorativan. Možda je i dalje lijep graf. Stavite ga pokraj biljke, a ne pokraj produkcije.
Pouka
Slučaj protiv magične orkestracije slučaj je za inženjersku disciplinu. AI sustavi trebaju koordinaciju, a modeli koordinaciju mogu učiniti prilagodljivijom. No prilagodba bez eksplicitnog stanja, ugovora o alatima, politike ponovnih pokušaja, provjere, granica memorije, vrata radnji i putova oporavka nije inteligencija. To je sustav koji od budućih operatera traži da otkriju njegov dizajn čitajući zapise nakon što se nešto skupo dogodilo.
Dobra orkestracija manje je mistična, a korisnija. Imenuje stanja. Ograničava alate. Bilježi dokaze. Odvaja prijedlog od radnje. Klasificira ponovne pokušaje. Provjerava u skladu s ugovorima o zadacima. Memoriju tretira kao pomoćnu, a ne autoritativnu. Ljudi dobivaju stanja koja se mogu pregledati umjesto neprozirnih transkripata. Bira jednostavne cjevovode kada su jednostavni cjevovodi dovoljni. Dodaje agente gdje dvosmislenost opravdava operativnu cijenu.
Magija skriva mehanizam. Ozbiljni AI treba mehanizme koji se mogu pregledati, pauzirati, ispraviti i poboljšati. Cilj nije ukloniti čudo iz softvera. Cilj je zadržati čudo izvan izvješća o incidentu.