Proč na opakovatelnosti záleží víc než na demích
Druhý běh je pravda
První běh sklidil potlesk. Model našel klauzuli, dashboard se rozsvítil, odpověď citovala správný dokument a místnost se uvolnila přesně tím způsobem, jakým se místnosti uvolňují, když se řádek v rozpočtu právě stal snáze obhajitelným. Tým pečlivě zkoušel. Data byla dostatečně čistá, otázky rozumné, síť fungovala, dodavatelský notebook se nerozhodl proměnit v malé topení a nikdo se nezeptal na ten jeden okrajový případ, který byl zdvořile přesunut do pozdější fáze. Byla to dobrá ukázka. Dobré ukázky jsou užitečné. Ukazují možnosti. Dávají lidem společný objekt k diskusi. Zviditelňují abstraktní schopnost.
Pak přišel druhý běh. Stejný případ použití, ale nyní s daty z minulého týdne, jiným operátorem, zdrojovým dokumentem s podivnou tabulkou, aktualizací politiky, která se nedostala do promptu, a manažerem, který sledoval průběh, protože výsledek měl ovlivnit skutečné rozhodnutí. Odpověď byla stále plynulá. To nebyl problém. Problém byl v tom, že nikdo nedokázal říct, zda jde o stejnou odpověď ze stejných důvodů, nebo o jinou odpověď ve stejném tónu. Ukázka prokázala, že systém umí podat výkon. Neprokázala, že organizace umí výkon zopakovat.
V tomto okamžiku seriózní práce s umělou inteligencí mění svůj charakter. Ukázka se ptá, zda to dokážeme rozjet jednou. Provoz se ptá, zda to dokážeme rozjet znovu, vysvětlit, proč to fungovalo, poznat, kdy to nefungovalo, a uchovat důkazy, až se někdo za šest měsíců zeptá. Opakovatelnost není opakem inovace. Je to část inovace, která přežije kontakt s výplatami, právem, bezpečností, zákazníky, občany, auditory, unaveným personálem a tichým nepřátelstvím skutečných dat.
Většina selhání v provozu umělé inteligence nepřichází jako filmový kolaps. Přicházejí jako drobné rozdíly, které nikdo nedokáže zopakovat. Změní se výsledek vyhledávání. Aktualizace promptu opraví jeden případ a oslabí jiný. Upgrade modelu posune rozhodovací hranici. Zdrojový kanál vypustí pole. Ruční zásah je zaznamenán v jednom systému, ale ne v jiném. Organizace stále má fungující systém v divadelním smyslu. Už ale nemá systém, který by dokázal vyprávět stejný příběh dvakrát.
Ukázka skrývá nudnou smlouvu
Demo může být selektivní. Má příběh, začátek, uspokojivé kliknutí a obvykle ukázková data, která byla učesána jako dítě před školním focením. To není podvod. To je komunikace. Problém začíná ve chvíli, kdy organizace zamění komunikaci za provozní smlouvu. Demo nedefinuje čerstvost zdrojů, hranice verzí, záložní cesty, práva lidského přezkumu, jazyk selhání, uchovávání ani přesnou podmínku, za níž musí systém odmítnout odpovědět. Tyto detaily často leží těsně mimo obrazovku, vypadají nemoderně a čekají, až všem později vystaví účet.
Opakovatelnost činí smlouvu viditelnou. Ptá se, který vstup je tím vstupem, ne nejbližší kopií. Ptá se, která verze pravidel omezila odpověď, ne která stránka zásad vypadala povědomě. Ptá se, zda je pořadí vyhledávání stabilní, zda jsou nerozhodné výsledky řešeny deterministicky, zda jsou výzvy verzované, zda lze pojmenovat parametry modelu, zda jsou volání nástrojů zachycována, zda může operátor přehrát případ a zda změna nastavení změní pracovní postup nebo jen ozdobí protokol. To nejsou filozofické otázky. To je zapojení, které stojí za spolehlivou prací.
Těžká část spočívá v tom, že opakovatelnost na začátku působí pomaleji. Tým, který se honí za demem, může použít nejrychlejší cestu zahradou. Tým, který buduje opakovatelnost, musí položit dlažební kameny, označit brány a rozhodnout, kdo vlastní klíč od kůlny. Lidem, kteří vidí jen první týden, to může připadat byrokratické. Po třetím incidentu to začne vypadat jako milosrdenství.
Systémy AI zvyšují potřebu takového milosrdenství, protože přinášejí legitimní variabilitu. Jazykové modely lze vzorkovat. Vyhledávání může vynést blízké kandidáty. Lidský úsudek se může lišit. Dokumenty mohou být nejednoznačné. Opakovatelný systém nepředstírá, že je svět ve všech detailech deterministický. Rozlišuje povolenou odchylku od neřízené odchylky. Říká, že toto pole se může lišit, protože uživatel klade otázku přirozeným jazykem, ale tento soubor zdrojů se nesmí lišit bez zaznamenané změny korpusu. Tato formulace shrnutí se může lišit, ale základ způsobilosti se nesmí. Toto skóre se může po upgradu modelu změnit, ale upgrade musí být dohledatelný.
Stejný vstup není jednoduché sousloví
Lidé říkají stejný vstup, jako by to sousloví bylo samozřejmé. V reálných systémech samozřejmé nebývá. Viditelná uživatelská otázka je jen jedna část. Skutečný vstup může zahrnovat vyhledané dokumenty, skryté instrukce, systémové výzvy, schémata nástrojů, pravidla zásad, roli uživatele, čas, místní nastavení, přístupová práva, uložené záznamy, funkční přepínače, verzi modelu, index vložení, nastavení prahů a tichý předpoklad, že včerejší obnova datového skladu proběhla úspěšně. Stejný vstup se může stát překvapivě přeplněnou místností.
Proto opakovatelnost začíná identitou vstupu. Systém by měl vědět, které záznamy byly k dispozici, které záznamy byly vybrány, která verze korpusu byla prohledána, která šablona výzvy byla použita, který soubor zásad platil, který model běžel, které nástroje byly povoleny a která lidská role výstup přijala. Pokud to zní jako hodně, je to proto, že rozhodovací cesta už byla velká. Jedinou otázkou je, zda to organizace připustí.
Tento rozdíl je nejdůležitější, když jsou výsledky zpochybňovány. Pokud se zákazník ptá, proč byl nárok zamítnut, nemocnice se ptá, proč se objevil příznak rizika, banka se ptá, proč byl případ postoupen, nebo veřejný úřad se ptá, proč občan obdržel určitou instrukci, organizace nemůže odpovědět pouze viditelnou otázkou. Potřebuje provozní kontext. Bez něj se přezkum incidentu stane zdvořilou seancí, při níž všichni svolávají protokoly, paměť a snímky obrazovky a přitom předstírají, že jde o metodu.
Identita vstupu také chrání týmy před křivým obviňováním. Pokud se výsledek změnil, protože se změnil zdrojový dokument, jde o problém s obsahem. Pokud se změnil, protože byl index přebudován s jinými parametry, jde o problém s vyhledáváním. Pokud se změnil, protože byl vylepšen model, jde o problém s nasazením. Pokud se změnil, protože operátor použil jiný pracovní postup, jde o problém s procesem. Označovat to všechno za chování modelu je pohodlné a nesprávné, což je silná kombinace v organizacích s nabitými kalendáři.
Opakovatelnost neznamená zmrazit vše
Existuje líná námitka, že opakovatelnost zabíjí přizpůsobivost. Nezabíjí. Zabíjí záhadnost. Opakovatelná operace může stále vylepšovat modely, měnit prompt, aktualizovat pravidla, čistit data, přidávat zdroje, ladit prahy a přepracovávat pracovní postupy. Rozdíl je v tom, že změny se stávají pojmenovanými událostmi, ne počasím. Když se výsledek pohne, tým se může zeptat, která řízená změna jím pohnula. Tak se zlepšování stává učením, ne pověrou s poznámkou k vydání.
Nejlepší provozní týmy zacházejí se změnami jako s experimenty s hranicemi. Udržují základní případy. Spouštějí stínové vyhodnocení. Porovnávají staré a nové výstupy vyhledávání. Před nasazením kontrolují vysoce dopadové příklady. Zaznamenávají, kdo změnu schválil a proč. Definují podmínky vrácení zpět před zahájením nasazení, ne když už svítí podpora. To není divadelní opatrnost. Takto se týmy pohybují rychleji, jakmile na prvním systému začne záležet.
Existuje také morální rozměr, i když je lepší, když je vyjádřen jasně. Pokud systém ovlivňuje peníze, práci, péči, prioritu, vymáhání nebo přístup, lidé, které ovlivňuje, si zaslouží víc než představení. Zaslouží si proces, který se umí vysvětlit. Opakovatelnost vytváří předpoklad pro toto vysvětlení. Nemůžete auditovat mizející akt. Můžete jen tleskat nebo si stěžovat.
Dobrá opakovatelnost proto odděluje stabilní od flexibilního. Stabilní jsou záznamy o tom, co se stalo, identifikátory verzí, vyhodnocovací sada, původ zdrojů, vlastník pravidel, schvalovací cesta a podmínky odmítnutí. Flexibilní jsou techniky používané ke zlepšování v rámci těchto hranic. Řemeslo spočívá v tom vědět, co je co. Mnoho organizací to má obráceně. Zmrazí proces, protože nikdo systému nevěří, a pak povolí skryté technické změny, protože je nikdo nevidí. To je řízení pomocí rolety.
Vyhodnocovací sada je pracovní paměť
Každá vyspělá operace potřebuje malou sadu případů, na které nikdy nezapomene. Ne syntetický benchmark vybraný proto, že v reportu vypadá působivě, ale živou evaluační sadu sestavenou z nepříjemných případů, které tým něco naučily. Dokument s konfliktními daty. Požadavek zákazníka, který mísí dvě politiky. Faktura, kde extrakce tabulky skoro funguje. Zdravotní záznam s nejednoznačnými zkratkami. Nákupní případ, kde právní základ záleží víc než zjevná odpověď. Tyto případy se stávají institucionální pamětí.
Opakovatelný systém spouští tyto případy, když se něco změní. Cílem není uctívat staré výstupy. Někdy byl starý výstup špatně. Cílem je porozumět pohybu. Zlepšila nová verze případ ze správného důvodu? Rozbila křehké, ale důležité chování? Stala se sebevědomější, zatímco ztrácela důkazy? Zvolila jiný zdroj? Vyprodukovala stejný závěr se slabší cestou? Při vážné práci na cestě záleží, protože stejná odpověď ze špatného důvodu není stejná odpověď.
Tady mnoho programů vedených demy ztrácí kontrolu. Měří spokojenost uživatelů, latenci a širokou přesnost, ale nedrží si bolestivé případy nablízku. Výsledkem je systém, který může vypadat celkově lépe, zatímco se zhoršuje na okrajích, na kterých záleží. Průměry jsou užitečné. Okraje jsou místo, kam přichází stížnost s přílohami.
Evaluační sada by měla zahrnovat i případy odmítnutí. Systém, který vždy odpovídá, není užitečný. Je dotěrný. Opakovatelnost vyžaduje, aby systém důsledně odmítal, když chybí zdroje, chybí autorita, sebevědomí je příliš slabé, uživatel se ptá mimo svou roli nebo úkol vyžaduje lidské rozhodnutí. Chování odmítání je součástí kvality. Čisté ne je často cennější než okouzlující možná maskované jako jistota.
Lidský úsudek musí být také opakovatelný
Opakovatelnost není jen vlastností strojů. Lidské kroky potřebují opakovatelnost také. Pokud jeden recenzent zachází s výstupem modelu jako s návrhem, druhý jako s rozhodnutím a třetí jako s otravným kolegou, pracovní postup se rozpadne, ať je model sebestabilnější. Organizace musí definovat, co recenze znamená. Ověřuje člověk zdroje, kontroluje politiku, vzorkuje důkazy, schvaluje, upravuje jazyk nebo vlastní závěr? Každé sloveso vytváří jinou povinnost.
Operátoři potřebují rozhraní, která tyto povinnosti podporují. Pokud musí ověřovat zdroje, zdroje musí být viditelné. Pokud musí kontrolovat politiku, základ pravidel musí být blízko výstupu. Pokud musí přepsat rozhodnutí, cesta přepsání musí být normální, ne skrytá za tlačítkem, které působí jako přiznání zrady. Pokud musí později vysvětlit rozhodnutí, systém musí zachovat to, co v té době viděli. Jinak se lidský dohled stane ozdobnou frází s připojeným ID zaměstnance.
Školení také záleží, ale ne druh, který učí lidi obdivovat systém. Užitečné školení ukazuje hranice. Dává recenzentům příklady silných výstupů, slabých výstupů, chybějících důkazů, zastaralých zdrojů, prompt injection, konfliktů politik a případů, kdy by měl být model ignorován s klidným srdcem. Říká lidem, které neshody jsou očekávané. Říká jim, že dobrá přepsání jsou součástí kontrolního systému. Pokud se s každým přepsáním zachází jako se selháním adopce, lidé se naučí přestat vnímat. Lidé jsou adaptivní, někdy nepohodlně.
Je suchá útěcha v sepsání postupu. Ne proto, že by dokumenty byly kouzelné. Nejsou, jak ví každý, kdo zná sdílený disk. Útěcha pochází z donucení organizace k volbě. Opakovatelný lidský krok říká, že tato role musí provést tuto kontrolu, s těmito důkazy, v tomto termínu, a toto se stane, když kontrola selže. Najednou má dohled kosti.
Náhodnost potřebuje adresu
Některé systémy AI obsahují náhodnost záměrně. Vzorkování může zlepšit jazyk. Vyhledávání může prozkoumat alternativy. Agenti mohou zkoušet různé cesty k nástrojům. Zpětná vazba od lidí může v průběhu času měnit chování. Nic z toho není samo o sobě špatné. Provozní chybou je nechat náhodnost žít všude a nikde. Pokud je variace užitečná, řekněte, kde je povolena. Pokud je riziková, omezte ji. Pokud k ní dojde, zaznamenejte dost na to, abyste jí porozuměli. Náhodnost bez adresy je způsob, jakým týmy skončí u ladění mlhovače.
Existují praktické techniky. Používejte deterministická nastavení tam, kde je výstup závažný a úloha ohraničená. Upevněte verze a šablony. Uchovávejte snímky korpusu. Protokolujte kandidáty z vyhledávání. Oddělte kreativní návrhy od podpory rozhodování. U generativního textu, který se může lišit, hodnoťte tvrzení a zdroje spíše než povrchovou formulaci. U agentických pracovních postupů zaznamenávejte plány nástrojů, výsledky nástrojů a cesty odmítnutí. Při aktualizacích modelů provádějte párová srovnání, než se přesune provoz. Nic z toho neodstraňuje nejistotu. Dává nejistotě místo u stolu a brání jí bloudit po stropních panelech.
Opakovatelnost také mění jazyk incidentů. Místo tvrzení, že AI dala špatnou odpověď, může tým říci, že odpověď použila snímek korpusu 18, balíček pravidel 12, verzi modelu 4, šablonu výzvy 31, načtené dokumenty A, C a F, přeskočila dokument B kvůli rozsahu přístupu a byla přijata rolí X bez eskalace. Tato věta je méně vzrušující než tvrzení, že se systém zbláznil. Je také užitečnější, což je opakované zklamání pro dramatické lidi.
Když systém tuto větu nedokáže poskytnout, organizace neprovozuje AI. Ona se jí účastní. Sleduje, reaguje, utěšuje a doufá, že příští směna dopadne lépe. To může být přijatelné pro prototyp. Není to přijatelné pro práci, na kterou se lidé spoléhají.
Chyba při nákupu
Opakovatelnost se musí nejen vybudovat, ale také koupit. Mnoho nákupních procesů stále odměňuje nejlepší demonstraci. Systém, který vypadá hladce, odpovídá rychle a dává vedení příjemný pocit modernosti, získává body. Systém, který vysvětluje uchovávání důkazů, exportní formát, regresní testování, deterministické vyhledávání, upevnění verze modelu, kontrolu na základě rolí a politiku vrácení změn, může znít méně vzrušivě. Takto si organizace kupují budoucí schůze.
Lepší nákupní otázky jsou přímé. Můžeme přehrát případ. Můžeme exportovat cestu důkazů. Můžeme připnout nebo pojmenovat každý model a prompt, který ovlivňuje odpověď. Lze znovu získat výsledky po přebudování indexu. Můžeme porovnat současné chování s výchozím stavem nastaveným před přijetím aktualizace. Lze analyzovat lidské zásahy, aniž bychom trestali užitečný úsudek. Můžeme odejít se svými záznamy. Můžeme auditorovi říct, co se stalo, aniž bychom zakládali podporu a modlili se.
Tyto otázky nevyžadují nepřátelství vůči dodavatelům. Vyžadují dospělost. Dobrý dodavatel by měl umět říct, které části jsou opakovatelné, které jsou pravděpodobnostní, které důkazy jsou k dispozici, které ne, a co si musí kupující provozovat sám. Kupující, který si tyto otázky neumí položit, na odpovědi nakonec přijde v provozu, kde jsou odpovědi dražší a přicházejí se sluchátky na uších.
Stejná nákupní logika platí i interně. Platformové týmy by neměly prodávat demo provozu bez smlouvy o opakovatelnosti. Datové týmy by neměly předávat zdroje bez rodokmenu dat. Modelové týmy by neměly vydávat vylepšení bez srovnání s výchozím stavem. Governance týmy by neměly schvalovat principy bez testování záznamů. Všichni chtějí spuštění. Opakovatelnost je disciplína péče o úterý po spuštění.
Opakovatelnost je laskavost vůči budoucím týmům
Existuje lidský důvod, proč se starat o opakovatelnost, který se ve strategických prezentacích málokdy objeví. Je to laskavější. Je to laskavější k operátorům, kteří by neměli hádat, proč se systém změnil. Je to laskavější k inženýrům, kteří by neměli rekonstruovat incidenty ze střípků na dashboardech. Je to laskavější k manažerům, kteří musí rozhodovat pod drobnohledem. Je to laskavější k zákazníkům, občanům, pacientům a kolegům, kteří si zaslouží odpovědi, které nejsou improvizované dodatečně. Opakovatelný systém snižuje množství institucionálního předstírání potřebného k přežití týdne.
Opakovatelnost také usnadňuje upřímnost. Když jsou důkazy k dispozici, týmy mohou říct, že model selhal tady, data byla zastaralá tam, politika byla nejednoznačná, recenzent neměl dostatek kontextu nebo zdroj chyběl. Bez důkazů působí každé přiznání riskantně, protože nikdo neví, kam dopadne vina. Lidé proto zjemňují jazyk, odkládají rozhodnutí a vytvářejí hustou mlhu známou jako sladění. Důkazy nedělají organizace statečnými, ale snižují cenu přesnosti.
Překvapení se budou stále objevovat. Opakovatelnost není kouzlo proti realitě. Nové případy prolomí dosavadní předpoklady. Uživatelé budou klást nečekané otázky. Dokumenty dorazí s formátováním, které vypadá, jako by bylo dohodnuto během výpadku proudu. Modely se v jedné oblasti zlepší a v jiné zhorší. Nejde o to překvapení odstranit. Jde o to, aby bylo poučné, ne nakažlivé.
Proto je opakovatelnost důležitější než ukázky. Ukázky vytvářejí přesvědčení, že schopnost existuje. Opakovatelnost vytváří schopnost na ni spoléhat. První je užitečné pro zahájení konverzace. Druhé je nezbytné pro skutečnou práci. Když se systém umělé inteligence stane součástí instituce, otázka přestává znít, zda dokáže zapůsobit na místnost. Otázka zní, zda dokáže vytvářet, uchovávat a vysvětlovat svou práci v běžný den, pod běžným tlakem, za účasti běžných lidí. Právě v běžných dnech si seriózní systémy vydělávají na svou pověst.