Skrytá cena pravděpodobnostních pracovních postupů
Faktura, kterou v pilotu nikdo neviděl
Pilot vypadal levně. To byl první problém. Tým připojil AI krok ke známému pracovnímu postupu: příchozí dokumenty se třídily, vygeneroval se krátký souhrn, vybrala se doporučená trasa a lidský recenzent ji schválil nebo změnil. Demo bylo čisté. Model působil kompetentně. Účet za tokeny byl nižší než rozpočet na oběd, což všem dodalo pocit finanční vyspělosti. Někdo řekl slovo škálovatelný a místnost se na okamžik stala nebezpečnou.
O tři měsíce později se hovor o nákladech změnil. Účet za tokeny stále nebyl dramatický. Skryté náklady byly jinde. Recenzenti trávili minuty navíc kontrolou hraničních výstupů. Objevovaly se přepracování, protože stejný vstup někdy vedl k dostatečně odlišné odpovědi. Fronty výjimek rostly. Datové týmy zjišťovaly, proč jeden typ dokumentu pletl klasifikátor. Provoz přidal vzorkování. Právní oddělení žádalo důkazy u sporných případů. Manažeři se ptali, proč se doba cyklu stala méně předvídatelnou. Inženýři přidali výzvy, pak zábrany, pak záložní řešení, pak monitorování, pak tabulku, kterou nikdo nemiloval, ale všichni otevírali. Pracovní postup nevybuchl. Získal variabilitu.
Toto je skrytý náklad pravděpodobnostních pracovních postupů. Volání modelu je viditelnou jednotkou spotřeby, ale provozní náklad nese nejistota kolem tohoto volání. Pravděpodobnostní komponenta může být užitečná, výkonná a ekonomicky rozumná. Může také přesunout náklady do kontroly, odsouhlasení, dokazování, podpory, návrhu front, analýzy incidentů, měření kvality a lidské pozornosti. Pokud tyto náklady nejsou do pracovního postupu navrženy, dorazí stejně, obvykle s menší trpělivostí.
Tradiční systémy pracovních postupů nejsou dokonalé. Selhávají, odchylují se a překvapují lidi svými vlastními nudnými způsoby. Často ale mají užitečnou vlastnost: stejný vstup, stav a pravidlo obvykle vedou ke stejnému výsledku. Pravděpodobnostní systémy tento předpoklad oslabují. Někdy o to jde. Zvládají nejednoznačnost, jazyk, obrázky, neuspořádané dokumenty a nejasný záměr. Dobře. Cenou je, že provoz musí přestat předstírat, že nejistota je detail dema. Je to vstup první kategorie do nákladového modelu.
Variabilita není detail implementace
Pravděpodobnostní komponenty vnášejí variabilitu na několika místech. Model může vytvořit mírně odlišné formulace. Klasifikátor může hraniční případ zařadit na jednu či druhou stranu prahu. Retriever může po aktualizaci indexu vrátit jinou sadu zdrojů. Sumarizátor může vynechat detail, který byl důležitý pro pozdějšího recenzenta. Agent používající nástroje může zvolit jinou sekvenci volání. Žádná z těchto věcí není automaticky chybná. Je to prostě jiný materiál než deterministický kód. Zacházet s tím jako s běžným kódem jen proto, že to má API, je kategoriální chyba s fakturou.
Variabilita má provozní důsledky. Zvyšuje potřebu vzorkování a kontroly. Komplikuje reprodukci incidentů. Ztěžuje měření výkonu, protože průměrná kvalita může skrývat nestabilitu na okrajích. Vytváří neshody mezi uživateli, kteří viděli různé výstupy. Může způsobit křehkost navazujících systémů, pokud očekávají stabilní strukturu. Může proměnit jednoduchou smlouvu o úrovni služeb v rozhovor o rozdělení pravděpodobnosti, což je skvělý způsob, jak zjistit, kdo v místnosti má opravdu rád matematiku.
Prvním nákladem je rozhodovací tření. Když se výstupy liší, lidé tráví čas rozhodováním, zda na variabilitě záleží. Návrh e-mailu, který říká totéž jinými slovy, může být přijatelný. Lékařské shrnutí, které vynechá lék, přijatelné není. Klasifikátor podpory, který zařadí jeden ticket jinak, může být v pořádku. Vysvětlení nároku na dávky, které mění své zdůvodnění, v pořádku není. Pracovní postup potřebuje model tolerance: jaká variabilita je neškodná, jaká vyžaduje kontrolu a jaká je zakázaná.
Druhým nákladem je reprodukovatelnost. Pokud se zákazník, občan, auditor nebo inženýr zeptá, proč k rozhodnutí došlo, organizace musí být schopna reprodukovat relevantní kontext: verzi modelu, prompt, sadu získaných dokumentů, vstup, pravidla, parametry, výstupy nástrojů a lidský zásah. Bez tohoto záznamu se vyšetřování stává divadlem. Někdo spustí prompt znovu, dostane jinou odpověď a přítomní si tvrdě uvědomí, že opakovaný pokus není důkaz.
Opakování nejsou zadarmo jen proto, že jsou automatizovaná
Opakování vypadají zevnitř kódu levně. Pokud model dá slabou odpověď, zavolejte ho znovu. Pokud si klasifikátor není jistý, požádejte o další vzorek. Pokud je odpověď JSON neplatná, opravte ji. Pokud volání nástroje selže, zkuste jinou cestu. Práci dělá stroj, takže instinkt velí považovat opakování za technické lepidlo. V pravděpodobnostním pracovním postupu jsou opakování politikou. Rozhodují o tom, kolik variability smí systém skrýt, než ji uvidí člověk.
Existují dobré důvody pro opakování. Přechodná chyba by neměla zastavit proces. Chybnou odpověď lze často opravit. Druhý průchod může zlepšit kvalitu. Opakování ale také vytváří náklady a nejednoznačnost. Který výstup se počítá jako záznam. Uchováváme všechny pokusy. Přepisují pozdější pokusy ty dřívější. Ukazujeme recenzentovi nestabilitu. Zkreslují opakování systém směrem k odpovědím, které znějí sebejistěji. Opakujeme jen levné případy, a náhodou tak zpomalujeme důležité. Počítáme opakování do rozpočtu nákladů a latence. Skromné opakování má mnoho názorů, jakmile ho pozvete do produkce.
Opakování také mění pobídky. Pokud týmy vědí, že systém bude zkoušet dál, dokud výstup nezapadne do očekávaného tvaru, mohou podinvestovat do kvality vstupů, návrhu schématu, omezení promptu nebo deterministického předzpracování. Opakování se stane mopem. Mopy jsou užitečné. Strategie výstavby založená na vytírání je méně působivá.
Lepší přístup je klasifikovat důvody opakování. Přechodné selhání infrastruktury je jedna kategorie. Oprava formátování je další. Nízká spolehlivost je další. Konflikt politik je další. Konflikt zdrojů je další. Každá kategorie potřebuje limity, záznamy a pravidla eskalace. Opakování, které uživateli tají nejistotu, by se mělo posuzovat jinak než opakování, které jen zotavuje z výpadku sítě. Náklad není jen výpočetní. Je to náklad rozhodování o tom, kterou nejistotu je organizace ochotná skrývat.
Fronta výjimek je skutečný architektonický diagram
Každý pravděpodobnostní pracovní postup nakonec odhalí svůj skutečný návrh prostřednictvím fronty výjimek. Ne šťastnou cestou. Šťastná cesta je místo, kam diagramy chodí vypadat zaměstnatelně. Fronta výjimek ukazuje, kterým případům systém nerozumí, které vstupy jsou znečištěné, které politiky si odporují, kteří uživatelé potřebují podporu, které prahy jsou špatně nastavené a které sliby byly dány příliš brzy.
Pokud je fronta výjimek navržena dobře, stává se učící plochou. Případy jsou kategorizovány, vzorkovány, posuzovány správnými rolemi, propojeny s opravami zdrojových dat, vázány na změny politik a vráceny zpět do vyhodnocování. Pokud je navržena špatně, stává se močálem. Obtížné případy leží v backlogu. Posuzovatelé si vytvářejí místní návyky. Manažeři vidí jen objem. Inženýři vidí jen agregované selhání. Uživatelé vidí zpoždění. Model zůstává záhadný, protože organizace schovala své nejlepší důkazy do provozního bahna.
Náklad výjimek není jen počet případů. Je to jejich tvar. Desetiprocentní míra výjimek může být zvládnutelná, pokud jsou případy rychlé, málo rizikové a snadno směrovatelné. Dvouprocentní míra výjimek může být nákladná, pokud každý případ vyžaduje právní výklad, odborné posouzení, kontakt se zákazníkem a rekonstrukci důkazů. Průměrná míra automatizace je proto podezřelá metrika. Říká vám, kolik prošlo strojem, ne kolik nákladů stroj přesunul.
Návrh výjimek by měl být explicitní. Definujte pásma spolehlivosti. Definujte zdržení se odpovědi. Definujte, které konflikty pozastaví pracovní postup. Definujte, které role mohou řešit které třídy. Definujte maximální stáří fronty. Definujte vzorkové posouzení přijatých případů, nejen neúspěšných. Definujte, co se opraví, když se výjimka opakuje. Jinak organizace neautomatizovala práci. Automatizovala vytvoření druhé, méně viditelné práce.
Pravděpodobnostní výstup nutí navazující systémy vyjednávat
Softwarové systémy preferují kontrakty. Pole je datum. Stav má povolené hodnoty. Částka má přesnost. Pravidlo má větev. Pravděpodobnostní výstupy často přicházejí jako jazyk, pořadí, spolehlivost nebo částečně strukturované odhady. Navazující systémy pak vyjednávají. Parsují. Validují. Opravují. Ptají se znovu. Mapují vágní štítky na přesné stavy. Vytvářejí záložní řešení. Každé vyjednávání je malý náklad. Dostatek malých nákladů se stane architekturou.
Strukturovaný výstup pomáhá, ale neodstraňuje nejistotu. Model může vytvořit platný JSON a přesto zvolit špatnou kategorii. Může vyplnit všechna pole a přesto vynechat podmínku. Může citovat zdroj a přesto jej špatně přečíst. Schéma zachytí chyby tvaru. Nedokazuje význam. To je častá past, protože chyby tvaru jsou viditelné pro stroje a chyby významu jsou viditelné pro lidi. Hádejte, která se opraví první.
Vyjednávání v navazujících systémech také mění vlastnictví. Pokud je případ přesměrován špatně, protože výstup modelu byl vágní a integrační vrstva hádala, kdo vlastní chybu. Tým modelu. Platformní tým. Vlastník procesu. Recenzent. Datový tým. Každý může přednést rozumný argument, což je způsob, jak poznáte, že provozní model chybí. Pravděpodobnostní pracovní postupy potřebují vlastnictví na hranici, kde se nejistota stává stavem systému.
Jednou praktickou metodou je oddělit spolehlivost, úplnost a důsledek. Spolehlivost říká, jak pravděpodobný je výstup. Úplnost říká, zda jsou přítomny požadované důkazy. Důsledek říká, kolik škody může způsobit chybná akce. Vysoce spolehlivý výstup s chybějícími důkazy může stále vyžadovat kontrolu. Málo spolehlivý výstup s nízkým důsledkem může být rychle směrován. Středně spolehlivý výstup s vysokým důsledkem může vyžadovat eskalaci. Pracovní postup by neměl zacházet se vší nejistotou jako se stejnou barvou žluté.
Vyhodnocování je opakovaný provozní náklad
Mnoho týmů zachází s vyhodnocováním jako s fází projektu. Před spuštěním sestaví testovací sadu, spustí prompt, porovnají výstupy, možná ohodnotí kvalitu a prohlásí připravenost. Pak přijde realita s novými dokumenty, novými uživateli, novými okrajovými případy, novým jazykem, novou politikou a novými verzemi modelů. Vyhodnocovací sada začne stárnout. Jako sýr, jen méně chutný a spíš způsobí schůzi.
Pravděpodobnostní pracovní postupy potřebují opakované vyhodnocování. To znamená kurátorské případy, adversariální případy, nedávné produkční vzorky, regresní sady, odbornou revizi, kontroly spravedlnosti tam, kde to přichází v úvahu, sledování nákladů a latence a testy, které se spouštějí, když se změní prompty, modely, indexy vyhledávání, politiky nebo zdrojová data. Vyhodnocování není jednorázová brána. Je to provozní rozpočet pro vědění, zda si pracovní postup stále zaslouží provoz.
Tento náklad lidi překvapí, protože pilot ho skryje. Během pilotu jsou odborníci blízko systému. Všímají si problémů neformálně. Vstupní mix je omezený. Sázky jsou ohraničené. V produkci se systém stane natolik nudným, že odborníci přestanou sledovat každý výstup, což je přesně chvíle, kdy musí převzít formální vyhodnocování. Pravděpodobnostní systém bez opakovaného vyhodnocování je stroj, který pomalu utrácí důvěru, zatímco hlásí provozuschopnost.
Vyhodnocování musí být také vázáno na rozhodnutí. Pokud kvalita klesne, kdo může pozastavit. Pokud latence vzroste, kdo rozhodne, zda snížit velikost modelu, omezit opakování nebo přidat kapacitu kontroly. Pokud nový model zlepší průměrné skóre, ale zhorší kritickou podskupinu, kdo odmítne upgrade. Pokud náklady vzrostou, protože přibývá výjimek, kdo vlastní opravu. Dashboard, který ukazuje pokles bez pravomoci jednat, je jen drahá předpověď počasí.
Lidská revize má účet za teorii front
Lidská revize se často přidává jako uklidňující fráze. Člověk zůstane ve smyčce. Krásné. Který člověk, s jakou frontou, jakým kontextem, jakou pravomocí, jakým cílovým časem, jakou eskalační cestou, jakým modelem únavy a jakou pojistkou, když systém v pátek v 16:45 pošle příliš mnoho hraničních případů. Smyčka má logistiku. Logistika má náklady. Náklady mají půvabný zvyk objevit se až po slajdu s architekturou.
Kapacita revize není lineární. Malý nárůst nejistých případů může způsobit velký nárůst čekací doby, když je revizní tým blízko své kapacity. Teorie front je krutá, ale spravedlivá. Pokud se příchody stanou variabilnějšími a doba obsluhy variabilnější, zpoždění mohou rychle růst. Pravděpodobnostní pracovní postupy často zvyšují obojí: nerovnoměrnější obtížnost případů a variabilnější dobu revize. Organizace může věřit, že zautomatizovala osmdesát procent práce, zatímco zbývajících dvacet procent tiše řídí dohodu o úrovni služeb.
Kvalita revize také závisí na kontextu. Pokud revizoři vidí jen konečnou odpověď, musí rekonstruovat, proč se objevila. Pokud vidí zdroje, míru jistoty, pravidla, předchozí pokusy a známé nejistoty, mohou jednat rychleji a lépe. Pokud jsou měřeni jen podle propustnosti, naučí se stroji příliš důvěřovat nebo s ním příliš málo bojovat. Lidská revize není kouzelný rozpouštědlo přelité přes nejistotu. Je to kvalifikovaná práce, která potřebuje návrh.
Skrytý náklad je pozornost. Lidé nemohou donekonečna revidovat nekonečnou nejednoznačnost. Únava mění standardy. Objevují se místní zvyky. Někteří revizoři jsou přísní, jiní pragmatičtí, další rezignovaní. Pracovní postup začne produkovat různé výsledky podle toho, kdo případ chytil. Pak je z pravděpodobnostního systému obviňována nekonzistence, kterou organizace zesílila v návrhu revize. Stroj dodal variabilitu. Lidé dodali dynamiku front. Pěkný duet, pokud je cílem auditní bolest.
Kalkulace nákladů musí zahrnovat nejistotu
Užitečný nákladový model pro pravděpodobnostní pracovní postupy zahrnuje víc než volání modelu. Zahrnuje přípravu vstupů, vyhledávání, opakování, validaci, čas revize, zpracování výjimek, vyhodnocování, ukládání důkazů, analýzu incidentů, monitorování, podporu uživatelů, údržbu promptů a pravidel, opravy dat a následné opravy. Zahrnuje také opční hodnotu: náklady na změnu modelu, dodavatele, promptu, indexu nebo pracovního postupu, když stávající nastavení přestane vyhovovat.
To neznamená, že pravděpodobnostní pracovní postupy jsou špatné. Znamená to, že jsou skutečné. Mnohé stojí za tu cenu. Systém, který omezí opakované čtení a zároveň vytáhne rizikové případy, může být vynikající. Klasifikátor, který zvládá neuspořádaný jazyk lépe než pravidla, může ušetřit čas. Shrnovací nástroj, který odborníkům poskytne dobrý první návrh, může zlepšit služby. Nejde o to se pravděpodobnosti vyhýbat. Jde o to přestat skrývat její provozní náklady v kalendářích jiných lidí.
Jednou užitečnou účetní metodou je stanovení ceny podle třídy případů. Případy zpracované přímo mají náklady na model, validaci a vzorkování. Případy s asistencí přidávají čas recenzenta. Výjimečné případy přidávají náklady na třídění, odbornou revizi a dokládání. Sporné případy přidávají náklady na reprodukci, komunikaci a případnou nápravu. Případy zlepšování přidávají náklady na údržbu dat nebo promptů. To mění míru automatizace v bohatší obraz: nejen kolik případů se dotkla AI, ale jak nejistota změnila práci a riziko.
Další metodou je sledování rozpočtu na variabilitu. Kolik kolísání výstupu je pro tento úkol přijatelné. Jak často se mohou lišit opakovaná spuštění. Kolik výjimek denně je fronta schopna absorbovat. Kolik času na recenzi je na případ vyčleněno. Kolik dokladů musí být uloženo. Jak rychle musí být sporné výstupy reprodukovány. Tato čísla nejistotu neodstraňují. Činí ji řiditelnou.
Determinismus má stále své místo
Nástup pravděpodobnostních systémů nedělá z deterministického inženýrství zastaralou záležitost. Činí deterministické hranice cennějšími. Používejte deterministické parsování tam, kde je struktura k dispozici. Používejte explicitní pravidla tam, kde je politika jasná. Používejte stabilní vyhledávání tam, kde musí být zdroje reprodukovatelné. Používejte schémata, validátory, konečné stavy, verzované prompty, pevné vyhodnocovací sady a zaznamenané parametry. Pravděpodobnost používejte pro tu část úkolu, která skutečně vyžaduje úsudek nad nejednoznačností, ne pro tu část, která jen potřebovala, aby někdo napsal ten nudný kód.
Toto není čistota. Je to kontrola nákladů. Každá deterministická hranice odstraňuje jedno místo, kde může uniknout variabilita. Pracovní postup, který používá model ke čtení neuspořádaného textu, poté deterministickou validaci ke kontrole povinných polí, poté pravidla pro aplikaci známé politiky a poté lidskou revizi pro vysoce důsledkovou nejistotu, bude obvykle snazší provozovat než pracovní postup, který nechá model dělat vše a pak se tváří překvapeně, že vše zahrnuje několik názorů.
Determinismus také zlepšuje dokládání. Pokud se uplatnilo pravidlo, zaznamenejte pravidlo. Pokud parser extrahoval pole, zaznamenejte umístění zdroje. Pokud vyhledávání seřadilo dokumenty, zaznamenejte verzi indexu a skóre. Pokud model vytvořil shrnutí, zaznamenejte prompt, sadu zdrojů, verzi modelu a rozhodnutí recenzenta. Cílem není proměnit každý pracovní postup v soudní síň. Cílem je, aby na pozdější otázky bylo možné odpovědět bez svolávání celého inženýrského týmu na schůzku zvanou rychlá synchronizace.
Hranice mezi deterministickou a pravděpodobnostní prací by měla být explicitní v diagramech a rozpočtech. Který krok se může lišit. Který krok se lišit nesmí. Který krok lze zopakovat. Který krok musí být přehrán přesně. Který krok lze vysvětlit statisticky. Který krok potřebuje záznam. Pokud tým nedokáže tuto hranici nakreslit, nedokáže poctivě odhadnout náklady.
Poučení
Skryté náklady pravděpodobnostních pracovních postupů nejsou důvodem, proč se jim vyhýbat. Jsou důvodem, proč je počítat poctivě. Náklady se objevují v opakováních, kontrolách, výjimkách, důkazech, vyhodnocování, frontách, podpoře a v pomalejší práci rozhodování o tom, jaká odchylka je přijatelná. Pokud pracovní postup šetří čas na šťastné cestě, ale vrací ho zpět ve sporných případech a provozní mlze, obchodní případ byl napsán jen z poloviny.
Dobrý pravděpodobnostní provoz začíná tím, že se s nejistotou zachází jako s materiálem. Pojmenujte, kde vstupuje. Ohraničte, kde se může měnit. Zaznamenejte dostatek kontextu pro přehrání rozhodnutí. Navrhněte fronty výjimek jako učící plochy. Dejte recenzentům pravomoc a čas. Vyhodnocujte průběžně. Udržujte deterministické hranice tam, kde snižují náklady. Oceňte výstup a změnu. Většina z toho není okouzlující. To je známka toho, že to může přežít produkci.
Volání modelu je snadná položka. Skutečná otázka je, co musí organizace udělat před tímto voláním a po něm, aby bylo možné výstupu důvěřovat, zpochybňovat ho, opravovat a zlepšovat. Pravděpodobnost může pracovní postupy učinit schopnějšími. Může je také učinit méně předvídatelnými. Rozdíl není kouzlo. Je to provoz, což zůstává místem, kde se působivé ukázky stávají buď užitečnými, nebo drahými.