Juhtum maagilise orkestreerimise vastu
Graafik, mis nägi intelligentne välja
Orkestreerimisskeem oli ilus just nii, nagu ohtlikud skeemid sageli on. Ümarad kastid, graatsilised nooled, planeerija, uurija, kontrollija, tööriista täitja, mälukiht, inimese kinnitussõlm ja lõplik vastus. Demo liikus teatriliku enesekindlusega. Kasutaja küsis analüüsi, planeerija jagas ülesande osadeks, kutsuti tööriistu, ilmusid vahetulemused ja lõplik vastus saabus rahulikult, nagu süsteem, mis pole kunagi tootmiskoormust näinud.
Siis saabusid esimesed päris erindid. Tööriist tagastas osalised andmed. Planeerija proovis uuesti teise päringuga ja kaotas varasema põhjuse. Kontrollija kontrollis stiili, kuid mitte allikate vastuolu. Mälu tõi tagasi vana eelduse, sest see tundus asjakohane. Inimese kinnitussamm kinnitas lõpliku teksti, nägemata ebaõnnestunud haru. Jälg oli olemas, kuid selle lugemine tundus nagu komitee poolt tuleõppuse ajal pakitud kohvri ülevaatus. Graafik polnud dramaatiliselt ebaõnnestunud. See oli peitnud vastutuse kuju.
See on argument maagilise orkestreerimise vastu. Mitte orkestreerimise enda vastu. Keerulised AI-süsteemid vajavad koordineerimist. Nad peavad kutsuma tööriistu, suunama ülesandeid, haldama konteksti, küsima inimestelt, taastuma tõrgetest, jagama tööd ja ühendama tõendeid. Argument on sellise orkestreerimisstiili vastu, mis kohtleb nutikat graafikut või agenditsüklit selgesõnalise oleku, lepingute, omandi, piirangute ja andmete asendajana. Maagia on demos muljetavaldav, sest see peidab mehhanismi. Inseneritöö on tootmises kasulik, sest see paljastab mehhanismi piisavalt, et seda parandada.
AI-orkestreerimine on koht, kus tõenäosus kohtub töövooluga. See ristmik on halastamatu. Mudel võib valida plaani. Tööriist võib tagastada tulemuse. Poliitika võib lubada toimingu. Uus katse võib muuta konteksti. Inimene võib kinnitada. Allavoolu süsteem võib tegutseda. Kui neid üleminekuid ei nimetata, piirata ja salvestada, saab organisatsioon intelligentse välimusega süsteemi, mille käitumist on raske korrata ja veel raskem juhtida. See pole autonoomne. See on lihtsalt põiklev parema brändinguga.
Orkestreerimine pole intelligentsuse tolm
Sõna orkestreerimine võib muuta tavalise inseneritöö kõlama värskelt võluväelisena. Järjestus muutub ahelaks. Tingimus muutub ruuteriks. Funktsioonikutse muutub tööriistaks. While-tsükkel muutub agendiks. Järjekord muutub mäluks, kui valgustus on õige. Osa sellest sõnavarast on kasulik, sest AI-süsteemid toovad tõepoolest kaasa uusi koordineerimisprobleeme. Osa on pakendamine. Pakendamine pole kurjus. See muutub kalliks, kui meeskonnad unustavad, mis karbi sees on.
Oma tuumas on orkestreerimine oleku, otsuste, ressursside ja üleminekute haldamine. Mis on ülesanne. Mis on praegune olek. Millised sisendid on lubatud. Millist tööriista võib kutsuda. Millist väljundkuju oodatakse. Mis juhtub tõrke korral. Millised uued katsed on lubatud. Millised toimingud vajavad kinnitust. Milliseid tõendeid tuleb säilitada. Millist sammu saab korrata. Milline samm on pöördumatu. Need küsimused eksisteerisid enne generatiivset AI-d. Mudelid muudavad need olulisemaks, mitte aegunuks.
Maagiline orkestreerimine väldib neid küsimusi, lastes mudelil või raamistikul käitusajal liiga palju ise järeldada. Planeerija otsustab dekompositsiooni. Mudel valib tööriistad. Tööriista väljund muutub kontekstiks. Järgmine samm tõlgendab seda. Mälu lisab ajaloo. Kontrollija noogutab. Lõplik vastus ilmub. See võib toimida madala panusega uurimuslike ülesannete puhul. See on habras, kui töövoog puudutab kirjeid, raha, ohutust, vastavust, kliendi kohustusi, taristut või muid süsteeme, mis ei hinda improvisatsioonilist teatrit.
Distsiplineeritud orkestreerimiskujundus ei eemalda paindlikkust. See paneb paindlikkuse rööbaste vahele. Mudel võib kavandit pakkuda, kuid planeerija väljundil on skeem. Süsteem võib tööriistu kutsuda, kuid tööriistadel on ulatused ja eelarved. Töövoog võib uuesti proovida, kuid uuesti proovimise põhjused on liigitatud. Mälu võib aidata, kuid autoriteetne olek elab mujal. Inimene võib heaks kiita, kuid heakskiit näeb asjakohaseid harusid ja tõendeid. Paindlikkus jääb püsima. Müstika ei saa juhtida.
Varjatud oleku probleem
Kõige levinum orkestreerimistõrge on varjatud olek. Olek ilmub viipades, märkmikualadel, mälusalvestustes, tööriista väljundites, vahesõnumites, mudeli kokkuvõtetes, vahemällu salvestatud tulemustes, inimeste kommentaarides ja raamistiku sisemuses. Iga kiht sisaldab osalist tõde. Ükski neist pole püsiv kirje. Kui midagi läheb valesti, küsib meeskond, mida süsteem seitsmendas etapis uskus. Vastus on kollaaž.
Varjatud olek muudab silumise õudseks. Mudel valis teise tööriista, sest varasem kokkuvõte kasutas tugevamat tegusõna. Uuesti proovimine jättis piirangu välja. Mälukirje varasemast ülesandest mõjutas kavandit. Tööriista tulemus kärbiti. Kontrollija nägi lõplikku vastust, kuid mitte tagasilükatud haru. Süsteem käitus usutavalt ja usutav käitumine on kõige tüütum asi, mida uurida, sest see keeldub välja nägemast katkisena, kuni sa tead puuduvat fakti.
Püsiv ülesande olek peaks olema selgesõnaline. See peaks hõlmama ülesande kavatsust, lubatud ulatust, allikate kogumit, kavandi versiooni, tööriista kutseid, tööriista väljundeid, uuesti proovimise põhjuseid, inimeste otsuseid, poliitikakontrolli, kulusid, ajalõppe ja rakendatud toiminguid. Mitte iga madala panusega interaktsioon ei vaja rasket registrit, kuid igasugune orkestreerimine, mis võib mõjutada reaalset tööd, vajab olekumudelit, mis läheb kaugemale transkriptist. Transkript on kasulik narratiiv. See pole operatsioonisüsteem.
Selgesõnaline olek parandab ka tootedisaini. Kasutajad näevad, kas süsteem planeerib, ootab tööriista, on poliitika tõttu blokeeritud, küsib ülevaatust, proovib uuesti pärast mööduvat viga või on valmis muudatusi rakendama. Operaatorid saavad peatada või jätkata. Arendajad saavad üleminekuid testida. Audiitorid saavad taasesitada. Süsteem muutub vähem maagiliseks ja kasulikumaks, mis on kompromiss, millele mõned demod vastu panevad ja mida enamik operatsioonimeeskondi sügavalt hindab.
Tööriista kutsed pole süütud
Tööriistade kasutamine annab AI-süsteemidele käed. See on kasulik ja ohtlik. Kalendri lugemine, dokumentide otsimine, andmebaasi päring, meili saatmine, pileti avamine, kirje muutmine, koodi juurutamine või raha ülekandmine pole samaväärsed toimingud. Maagiline orkestreerija võib neid kohelda kui tööriistu nimekirjas. Tõsine süsteem kohtleb neid kui võimeid, millel on ulatused, kõrvalmõjud, õigused, eelarved ja tõendusnõuded.
Iga töökutse vajab lepingut. Sisendid peavad olema tüübitud ja valideeritud. Väljundeid tuleb kontrollida. Veateated tuleb klassifitseerida. Kõrvalmõjud tuleb deklareerida. Idempotentsusest tuleb aru saada. Ajalõppudele peavad olema piirid. Uuesti proovimine peab olema ohutu. Õigused peavad tulenema kasutajast, ülesandest ja poliitikast, mitte mudeli entusiasmist. Süsteem peaks teadma, kas tööriist ainult loeb, kirjutab mustandi, muudab kirjet, teavitab inimest või käivitab välise kohustuse. Haamer ja pangaülekanne ei tohiks jagada sama meeleolu.
Tööriista väljundit tuleb samuti käsitleda sisendina. See võib olla osaline, aegunud, volitamata, mitmetähenduslik või vaenulik. Otsingutulemus ei ole tõend, kuni süsteem teab allikat, värskust ja õigust. Andmebaasi tulemus võib juurdepääsukontrolli tõttu ridu välja jätta. API viga võib tagastada sõnumi, mis ei tohiks muutuda juhiseks. Tööriist võib viisakalt ebaõnnestuda ja ikkagi ebaõnnestuda. Orkestreerija ei tohi iga tööriista vastust mudelisse tagasi sööta, nagu oleks teksti tagastamine sama mis tõe rääkimine.
Kõrvalmõjud väärivad erilist ettevaatust. Mudeli loodud plaani võib ära visata. Saadetud meili ei saa sama kindlusega tagasi võtta. Muudetud kirje võib käivitada allasüsteeme. Juurutamine võib mõjutada kasutajaid. Tagasimakse võib raha liigutada. Orkestreerimine peaks eraldama ettepaneku tegevusest ja nõudma selgeid väravaid pöördumatute või oluliste sammude jaoks. Kui süsteem suudab teha reaalseid asju, vajab see rohkem kui agendi tsüklit. See vajab pidureid, võtmeid ja kedagi, kes teab, kus varu on.
Uuesti proovimine on varjatud poliitika
Uuesti proovimine näeb välja nagu inseneriliim, kuni AI-orkestreerija hakkab otsuseid tegema. Kui tööriist ebaõnnestub, proovi uuesti. Kui mudeli väljund on vigane, küsi uuesti. Kui kontrollija lükkab vastuse tagasi, paranda. Kui plaan jääb seisma, planeeri uuesti. See võib olla mõistlik. See võib ka tulemust muuta, ebakindlust varjata, kulusid suurendada või kustutada tõendid selle kohta, miks esimene tee ebaõnnestus. Uuesti proovimine ei ole lihtsalt teine katse. See on otsus selle kohta, millist tüüpi ebaõnnestumist süsteemil lubatakse siluda.
Uuesti proovimise poliitika peaks olema selgesõnaline. Mööduvaid infrastruktuurivigu saab uuesti proovida teisiti kui poliitikakonflikte. Vigast JSON-i saab parandada teisiti kui puuduvat tõendit. Madal kindlus võib käivitada ülevaate, mitte teise valimi. Allikakonflikti ei tohiks lahendada, paludes mudelil kõlada otsustavamalt. Tööriista ajalõpp ei tohiks muutuda loaks kasutada nõrgemat allikat ilma muudatust märkimata. Süsteem peab teadma, miks ta uuesti proovib, mis säilib, mis muutub ja millal lõpetada.
Ilma selle distsipliinita loob orkestreerimine viisakad tsüklid. Süsteem proovib edasi, sest proovimine on koodis odav. See võib põletada eelarvet, täita logisid, segadusse ajada kasutajaid ja lõpuks toota vastuse, mis näeb parem välja peamiselt seetõttu, et varasem ebastabiilsuse tõend on peidetud. Tootmises ei ole tsükkel, mis peidab oma ebaõnnestunud katseid, visadus. See on amneesia edenemisribaga.
Uuesti proovimine peaks andma kirjeid. Katsete arv, põhjus, muudetud sisendid, muudetud plaan, säilitatud tõendid, kulu, latentsus ja lõplik lahendus. See annab operaatoritele võimaluse näha, kas töövoog on terve või lihtsalt püsiv. See aitab ka otsustada, kas parandada sisendi kvaliteeti, tööriista usaldusväärsust, mudeli vormindust, poliitika selgust või kasutaja ootusi. Uuesti proovimine ilma klassifikatsioonita on õlakehitus täidetavas vormis.
Kontrollimine ei ole dekoratiivne sõlm
Paljud orkestreerimisskeemid sisaldavad kontrollijat. See on hea. Seejärel palutakse kontrollijal hinnata, kas vastus on usutav, hästi vormistatud või juhistega kooskõlas. See on vähem hea. Kontrollija, kes loeb ainult lõplikku vastust, võib jätta märkamata olulised vead: nõrk allikas, keelatud sisend, ebaõnnestunud tööriist, poliitikakonflikt, ebaturvaline toiming või plaan, mida muudeti ilma heakskiiduta. Ta võib poleerida esiust, samal ajal kui köök põleb.
Kontrollimine peaks olema seotud lepingute ja tagajärgedega. Kui ülesanne on ekstraheerimine, kontrolli allika lõikude vastu. Kui ülesanne on klassifitseerimine, kontrolli lubatud silte ja tõendusmaterjali. Kui ülesanne on tööriista käivitamine, kontrolli õigusi, argumente, kõrvalmõjusid ja tagasipööramist. Kui ülesanne on otsusetugi, kontrolli poliitikat, allika värskust, ebakindlust ja ülevaatusnõudeid. Kui ülesanne on suhtlus, kontrolli sihtrühma, väiteid, tooni ja avalikustamist. Üldine kontrollija on parem kui mitte midagi. Ülesandespetsiifiline kontrollija on parem kui teater.
Osa kontrollimisest peaks olema deterministlik. Skeemid, lubatud väärtused, õigused, eelarved, lävendid, allika värskus ja kohustuslikud väljad ei vaja mudeli poeetilist hinnangut. Kasuta reegleid seal, kus reeglid on selged. Kasuta mudeleid seal, kus mitmetähenduslikkus on tõeline. Kasuta inimesi seal, kus tagajärjed ja vaidlustatud tähendus nõuavad vastutust. Maagiline orkestreerimine laseb sageli mudelil kontrollida teist mudelit, sest see tundub sümmeetriline. Sümmeetria on meeldiv arhitektuuriskeemides. See ei ole automaatselt kontroll.
Kontrollija peaks nägema jälge, mida ta vajab. Ainult lõplik tekst on harva piisav. Ta vajab sisendeid, allikakogumit, tööriista väljundeid, ebaõnnestunud katseid, teisendusi, poliitikakontrolle ja kavandatud toiminguid. Tal peaks olema ka volitus peatada, nõuda rohkem tõendusmaterjali, suunata inimese ülevaatusse või märkida piirangud. Kontrollija, kes ei suuda töövoogu peatada, on ülevaataja uhkes riietuses.
Mälu ei tohiks kehastada autoriteeti
Agendi mälu on kasulik, kui see kannab eelistusi, varasemat konteksti ja korduvate ülesannete teadmisi. See on ohtlik, kui see kehastab autoriteetset olekut. Meelde jäänud eelistus ei ole poliitika. Varasem vastus ei ole kanne. Juhtumi kokkuvõte ei ole juhtum ise. Edukas varasem plaan ei ole tõend, et järgmine ülesanne lubab samu tööriistu. Mälu aitab järjepidevust. Sellele ei tohiks lubada eilsest autoriteeti tänasesse smugeldada.
Mälu vajab tüüpe. Isiklik eelistus, ülesande olek, organisatsiooni poliitika, allika tõendusmaterjal, õpitud muster, vahemällu salvestatud tööriista tulemus ja ajalooline otsus on erinevad asjad. Need vajavad erinevaid ulatusi, aegumist, õigusi ja kuvamist. Kui orkestreerija lihtsalt toob asjakohased mälestused ja lisab need konteksti, saab asjakohasusest ainus värav. Asjakohasus ei ole luba. Privaatne märkus võib olla asjakohane. See võib siiski olla keelatud.
Mälu vajab ka kustutamist ja parandamist. Vale eeldus ei tohiks püsida, sest see oli kunagi kasulik. Ajutine projekti tingimus peaks aeguma. Kasutaja parandus peaks kehtima määratletud ulatuses. Poliitika muudatus peaks kehtetuks tunnistama vana mälu. Mudeli loodud kokkuvõte ei tohiks saada otseteeks, mis asendab esmast allikat. Süsteem peaks näitama, milline mälu mõjutas plaani, ja laskma kasutajatel seda vaidlustada. Vastasel juhul muutub mälu viisakaks kummitamiseks.
Reegel on lihtne: autoriteetne olek elab hallatud andmehoidlates. Mälu võib aidata planeerimist, kuid see ei tohiks vaikselt otsustada. Kui orkestreerija kasutab mälu, märgi, milline mälu, miks see lubati ja kuidas see plaani mõjutas. See tundub raske ainult siis, kui mälu teeb olulist tööd. Kui mälu teeb olulist tööd, on raskus just see point.
Lihtsus võidab maagiast sagedamini, kui meeskonnad ootavad
Mitte iga AI-töövoog ei vaja agente. Mõni vajab deterministlikku torustikku ühe mudelisammuga. Mõni vajab otsingut, klassifikaatorit ja inimese ülevaatusjärjekorda. Mõni vajab vormi, mis kutsub mudelit mustandi koostamiseks. Mõni vajab partiipõhist hindamist. Mõni vajab planeerijat. Mõni vajab mitmeastmelist tööriistakasutust. Arhitektuur peaks järgima ülesannet, mitte praegust vaimustust agendikujuliste diagrammide vastu.
Igav alternatiiv võidab sageli. Fikseeritud jada on lihtsam testida kui avatud tsükkel. Tüübitud tööriistalüüs on turvalisem kui vaba tööriistavalik. Selgete olekutega järjekord on lihtsamini hallatav kui rekursiivne agent. Reeglipõhine kaitse on odavam kui mudelihindaja, kui reegel on selge. Inimese eskalatsioonitee on parem kui veel üks uuesti proovimine, kui tagajärg on suur. Need ei ole AI-vastased seisukohad. Need on süsteemipoolsed seisukohad.
Siin on kompromiss. Paindlikum orkestreerimine suudab toime tulla mitmetähenduslikkuse ja ootamatute marsruutidega. See suurendab ka varieeruvust, tõenduskoormust, kulusid ja silumise keerukust. Selgesõnalisem orkestreerimine võib tunduda jäik. See parandab ka korratavust, vastutust ja taastumist. Õige punkt sõltub ülesande mitmetähenduslikkusest, tagajärgedest, mahust ja tõrketaluvusest. Maagiline mõtlemine teeskleb, et paindlik ots annab kõik tasuta. Tootmine saadab arve hiljem, koos ridadega.
Kasulik disainiküsimus on: mida ei tohiks mudel kunagi valida. Allika autoriteet. Kasutaja õigused. Eelarve piirid. Pöördumatud toimingud. Säilitamiskohustused. Õiguslik alus. Ohutusläved. Mõnda neist saavad mudelid pakkuda või selgitada. Need ei tohiks olla nende poolt vaikimisi määratud. Mudel saab aidata töövoos navigeerida. See ei tohiks muutuda põhiseaduseks ainult seetõttu, et oli mugav panna kõik konteksti.
Kujunda orkestreerimine käitusmudelina
Tõsine orkestreerimine algab ülesande lepingust. Mis on eesmärk. Millised andmed on lubatud. Millised väljundid on vastuvõetavad. Milliseid tööriistu võib kasutada. Millised toimingud on keelatud. Milline eelarve kehtib. Milline latentsus on talutav. Milliseid tõendeid tuleb säilitada. Millised inimrollid eksisteerivad. Millised tõrkeolekud on võimalikud. Millised taastumisteed on olemas. Kui meeskond ei suuda neile küsimustele vastata, ei vaja ta maagilisemat graafi. Ta vajab selgemat ülesannet.
Seejärel määratle olekuüleminekud. Planeeritud, ootab sisendit, otsib, tööriist ootel, tööriist ebaõnnestus, tõenduskonflikt, poliitika blokeeris, inimese ülevaatus, kinnitatud, rakendatud, kompenseeritud, tühistatud. Need olekud võivad tunduda igavad, sest nad ongi. Need võimaldavad süsteemi käitada. Need võimaldavad inimesel teada, kas oodata, sekkuda, kinnitada või parandada. Need võimaldavad testidel käitumist kinnitada. Need võimaldavad intsidentidel alata faktidest, mitte tunnetest.
Seejärel määratle piirid. Mudelid koostavad plaanide mustandeid. Lüüsid käivitavad tööriistu. Reeglid jõustavad selgeid piiranguid. Kontrollijad kontrollivad lepinguid. Inimesed otsustavad vaidlustatud tagajärgede üle. Logid säilitavad tõendeid. Järjekorrad haldavad viivitusi. Salvestus hoiab püsivat olekut. Iga piir peaks olema piisavalt igav, et seda selgitada. Kui mudel teeb mitut neist ülesannetest, sest see oli lihtsam, nimetage risk ja otsustage, kas ülesanne on piisavalt väikese panusega, et seda taluda. Mõnikord on. Paljud sisemised assistendid võivad olla kerged. Probleem on teeselda, et kerge disain on alus suure tagajärjega automatiseerimisele.
Lõpuks testimise ebaõnnestumine. Tööriist tagastab osalised andmed. Allikad on vastuolus. Mudel toodab kehtetut väljundit. Mälu on aegunud. Kasutajal puudub õigus. Kululimiit on täis. Inimülevaade pole kättesaadav. Võrk on aeglane. Plaan muutub pärast kinnitamist. Toiming õnnestub osaliselt. Kui orkestreerija ei suuda sulle neil juhtudel öelda, mis toimub, on graaf dekoratiivne. See võib siiski olla ilus graaf. Pane see taime kõrvale, mitte tootmise lähedale.
Õppetund
Vastuseis maagilisele orkestreerimisele on seisukoht inseneridistsipliini kasuks. AI-süsteemid vajavad koordineerimist ja mudelid võivad muuta koordineerimise kohanemisvõimelisemaks. Kuid kohanemine ilma selgesõnalise olekuta, tööriistalepinguteta, uuesti proovimise poliitikata, kontrollimiseta, mälupiirideta, toimingulüüsideta ja taastumisteedeta ei ole intelligentsus. See on süsteem, mis palub tulevastel operaatoritel avastada selle disaini lugedes logisid pärast seda, kui midagi kallist on juhtunud.
Hea orkestreerimine on vähem müstiline ja kasulikum. See nimetab olekuid. See piirab tööriistu. See salvestab tõendeid. See eraldab ettepaneku toimingust. See liigitab uuesti proovimisi. See kontrollib vastavust ülesande lepingutele. See kohtleb mälu abistava, mitte autoriteetsena. See annab inimestele ülevaadatavad olekud läbipaistmatute logide asemel. See valib lihtsad torustikud, kui lihtsad torustikud on piisavad. See lisab agente seal, kus mitmetähenduslikkus õigustab operatiivset hinda.
Maagia peidab mehhanismi. Tõsine AI vajab mehhanisme, mida saab kontrollida, peatada, parandada ja täiustada. Eesmärk ei ole eemaldada imet tarkvarast. Eesmärk on hoida ime juhtumiaruandest eemal.