Prečo opakovateľnosť znamená viac ako ukážky
Druhé spustenie je pravda
Prvé spustenie malo potlesk. Model našiel klauzulu, dashboard sa rozsvietil, odpoveď citovala správny dokument a miestnosť sa uvoľnila presne tak, ako sa miestnosti uvoľnia, keď sa rozpočtová položka práve stala ľahšie obhájiteľnou. Tím sa starostlivo pripravoval. Dáta boli dostatočne čisté, otázky rozumné, sieť fungovala, prenosný počítač dodávateľa sa nerozhodol stať sa malým radiátorom a nikto sa nepýtal na ten jeden okrajový prípad, ktorý sa zdvorilo presunul do neskoršej fázy. Bola to dobrá ukážka. Dobré ukážky sú užitočné. Ukazujú možnosti. Dávajú ľuďom spoločný objekt na diskusiu. Zviditeľňujú abstraktnú schopnosť.
Potom prišlo druhé spustenie. Rovnaký prípad použitia, ale teraz s dátami z minulého týždňa, iným operátorom, zdrojovým dokumentom s podivnou tabuľkou, aktualizáciou politiky, ktorá sa nedostala do výzvy, a manažérom, ktorý sledoval, pretože výsledok mal ovplyvniť skutočné rozhodnutie. Odpoveď bola stále plynulá. To nebol problém. Problém bol v tom, že nikto nevedel povedať, či je to rovnaká odpoveď z rovnakých dôvodov, alebo iná odpoveď s rovnakým tónom. Ukážka dokázala, že systém dokáže podať výkon. Nedokázala, že organizácia dokáže výkon zopakovať.
Tu sa seriózna práca s AI mení. Ukážka sa pýta, či to vieme spraviť raz. Prevádzka sa pýta, či to vieme spraviť znova, vysvetliť, prečo to fungovalo, vedieť, kedy to nefungovalo, a uchovať dôkazy, keď sa niekto spýta o šesť mesiacov neskôr. Opakovateľnosť nie je opakom inovácie. Je to časť inovácie, ktorá prežije kontakt s výplatami, právom, bezpečnosťou, zákazníkmi, občanmi, audítormi, unaveným personálom a tichým nepriateľstvom skutočných dát.
Väčšina zlyhaní v prevádzke AI neprichádza ako filmový kolaps. Prichádzajú ako malé rozdiely, ktoré nikto nevie zreprodukovať. Výsledok vyhľadávania sa zmení. Aktualizácia výzvy opraví jeden prípad a oslabí iný. Upgrade modelu posunie rozhodovaciu hranicu. Zdrojový kanál vypustí pole. Ľudský zásah sa zaznamená v jednom systéme, ale nie v inom. Organizácia má stále fungujúci systém v divadelnom zmysle. Už nemá systém, ktorý dokáže rozprávať rovnaký príbeh dvakrát.
Ukážka skrýva nudnú zmluvu
Demo môže byť selektívna. Má príbeh, začiatok, uspokojivé kliknutie a zvyčajne vzorovú množinu údajov, ktorá bola vyčesaná ako dieťa pred školským focením. To nie je podvod. To je komunikácia. Problém nastáva, keď si organizácia zamení komunikáciu za prevádzkovú zmluvu. Demo nedefinuje čerstvosť zdrojov, hranice verzií, záložné cesty, práva ľudského posudzovania, jazyk zlyhania, uchovávanie ani presnú podmienku, za ktorej musí systém odmietnuť odpovedať. Tieto detaily často sedia tesne za obrazovkou, vyzerajú nemoderné a čakajú, že neskôr všetkých vyfakturujú.
Opakovateľnosť robí zmluvu viditeľnou. Pýta sa, ktorý vstup je tým vstupom, nie najbližšou kópiou. Pýta sa, ktorá verzia pravidiel obmedzila odpoveď, nie ktorá stránka politiky vyzerala povedome. Pýta sa, či je poradie vyhľadávania stabilné, či sa nerozhodné prípady riešia deterministicky, či sú výzvy verzované, či možno pomenovať parametre modelu, či sú volania nástrojov zachytené, či môže operátor prehrať prípad a či zmena zmení pracovný postup alebo len ozdobí záznam. Toto nie sú filozofické otázky. Toto je vedenie, ktoré stojí za spoľahlivou prácou.
Ťažké je, že opakovateľnosť sa na začiatku zdá pomalšia. Tím, ktorý naháňa demo, môže použiť najrýchlejšiu cestu záhradou. Tím, ktorý buduje opakovateľnosť, musí položiť dlažobné kocky, označiť brány a rozhodnúť, kto vlastní kľúč od kôlne. Ľuďom, ktorí vidia len prvý týždeň, to môže pripadať byrokratické. Po treťom incidente to začne vyzerať ako úľava.
Systémy umelej inteligencie zvyšujú potrebu tejto úľavy, pretože prinášajú legitímnu variabilitu. Jazykové modely možno vzorkovať. Vyhľadávanie môže vyniesť blízke kandidáty. Ľudský úsudok sa môže líšiť. Dokumenty môžu byť nejednoznačné. Opakovateľný systém nepredstiera, že svet je vo všetkých detailoch deterministický. Rozlišuje povolenú odchýlku od neriadenej odchýlky. Hovorí, že toto pole sa môže líšiť, pretože používateľ kladie otázku v prirodzenom jazyku, ale tento súbor zdrojov sa nesmie líšiť bez zaznamenanej zmeny korpusu. Táto formulácia zhrnutia sa môže líšiť, ale základ oprávnenosti sa nesmie. Toto skóre sa môže po aktualizácii modelu posunúť, ale aktualizácia musí byť vysledovateľná.
Rovnaký vstup nie je jednoduché slovné spojenie
Ľudia hovoria rovnaký vstup, akoby to bolo zrejmé. V skutočných systémoch to zriedkavo je zrejmé. Viditeľná otázka používateľa je len jedna časť. Skutočný vstup môže zahŕňať získané dokumenty, skryté inštrukcie, systémové výzvy, schémy nástrojov, pravidlá politiky, rolu používateľa, čas, lokalitu, prístupové práva, uložené záznamy, funkčné príznaky, verziu modelu, index vložení, nastavenia prahov a tichý predpoklad, že včerajšia obnova dátového skladu prebehla úspešne. Rovnaký vstup sa môže stať prekvapivo preplnenou miestnosťou.
Preto opakovateľnosť začína identitou vstupu. Systém by mal vedieť, ktoré záznamy boli k dispozícii, ktoré záznamy boli vybrané, ktorá verzia korpusu bola prehľadávaná, ktorá šablóna výzvy bola použitá, ktorý súbor politík sa uplatnil, ktorý model bežal, ktoré nástroje boli povolené a ktorá ľudská rola výstup prijala. Ak to znie ako veľa, je to preto, že rozhodovacia cesta už bola veľká. Jedinou otázkou je, či to organizácia prizná.
Tento rozdiel je najdôležitejší, keď sú výsledky sporné. Ak sa zákazník pýta, prečo bola žiadosť zamietnutá, nemocnica sa pýta, prečo sa objavil príznak rizika, banka sa pýta, prečo bol prípad postúpený, alebo verejná agentúra sa pýta, prečo občan dostal určitú inštrukciu, organizácia nemôže odpovedať len viditeľnou otázkou. Potrebuje prevádzkový kontext. Bez neho sa preskúmanie incidentu stáva zdvorilou seansou, na ktorej každý privoláva záznamy, pamäť a snímky obrazovky, pričom predstiera, že ide o metódu.
Identita vstupov tiež chráni tímy pred neoprávneným obviňovaním. Ak sa výsledok zmenil, pretože sa zmenil zdrojový dokument, je to problém s obsahom. Ak sa zmenil, pretože bol index prestavaný s inými parametrami, je to problém s vyhľadávaním. Ak sa zmenil, pretože bol model aktualizovaný, je to problém s nasadením. Ak sa zmenil, pretože operátor použil iný pracovný postup, je to problém s procesom. Nazývať to všetko správaním modelu je pohodlné a nesprávne, čo je silná kombinácia v organizáciách s nabitými kalendármi.
Opakovateľnosť neznamená zmrazenie všetkého
Existuje lenivá námietka, že opakovateľnosť zabíja adaptáciu. Nezabíja. Zabíja záhadnosť. Opakovateľná operácia môže stále vylepšovať modely, meniť výzvy, aktualizovať pravidlá, čistiť dáta, pridávať zdroje, nastavovať prahy a prepracovávať pracovné postupy. Rozdiel je v tom, že zmeny sa stávajú pomenovanými udalosťami, nie počasím. Keď sa výsledok pohne, tím sa môže opýtať, ktorá riadená zmena ho pohla. Takto sa zlepšovanie stáva učením, nie poverou s poznámkou k vydaniu.
Najlepšie prevádzkové tímy pristupujú k zmenám ako k experimentom s hranicami. Udržiavajú základné prípady. Spúšťajú tieňové hodnotenia. Porovnávajú staré a nové výstupy vyhľadávania. Pred nasadením kontrolujú vysoko vplyvné príklady. Zaznamenávajú, kto zmenu schválil a prečo. Definujú podmienky vrátenia pred spustením, nie keď podpora horí. Toto nie je divadelné opatrníctvo. Takto sa tímy pohybujú rýchlejšie, keď prvý systém začne byť dôležitý.
Existuje aj morálny rozmer, hoci je lepšie, keď je vyjadrený priamo. Ak systém ovplyvňuje peniaze, prácu, starostlivosť, priority, vymáhanie alebo prístup, ľudia, ktorých sa to týka, si zaslúžia viac než predstavenie. Zaslúžia si proces, ktorý sa vie vysvetliť. Opakovateľnosť vytvára predpoklad pre toto vysvetlenie. Nemôžete auditovať miznúci čin. Môžete len tlieskať alebo sa sťažovať.
Dobrá opakovateľnosť preto oddeľuje stabilné od flexibilného. Stabilné sú záznamy o tom, čo sa stalo, identifikátory verzií, hodnotiaca sada, pôvod zdrojov, vlastník pravidiel, cesta schvaľovania a podmienky odmietnutia. Flexibilné sú techniky používané na zlepšovanie v rámci týchto hraníc. Remeslo spočíva v tom, že viete, čo je čo. Mnohé organizácie to majú naopak. Zmrazia proces, pretože nikto nedôveruje systému, a potom umožnia skryté technické zmeny, pretože ich nikto nevidí. To je riadenie cez roletu.
Hodnotiaca sada je pracovná pamäť
Každá vyspelá prevádzka potrebuje malý súbor prípadov, na ktoré nesmie zabudnúť. Nie syntetický benchmark vybraný preto, lebo vyzerá dobre v správe, ale živá sada na vyhodnocovanie vytvorená z nepríjemných prípadov, ktoré tím niečo naučili. Dokument s protichodnými dátumami. Požiadavka zákazníka, ktorá mieša dve politiky. Faktúra, kde extrakcia tabuľky takmer funguje. Lekárska poznámka s nejednoznačným skráteným zápisom. Prípad obstarávania, kde právny základ znamená viac ako zjavná odpoveď. Tieto prípady sa stávajú inštitucionálnou pamäťou.
Opakovateľný systém spúšťa tieto prípady, keď sa niečo zmení. Cieľom nie je uctievať staré výstupy. Niekedy bol starý výstup nesprávny. Cieľom je pochopiť pohyb. Zlepšila nová verzia prípad zo správneho dôvodu? Rozbila krehké, ale dôležité správanie? Stala sa sebavedomejšou, pričom stratila dôkazy? Vybrala iný zdroj? Vyprodukovala rovnaký záver so slabšou cestou? Pri serióznej práci cesta záleží, pretože rovnaká odpoveď z nesprávneho dôvodu nie je rovnaká odpoveď.
Tu mnohé programy vedené ukážkami strácajú kontrolu. Merajú spokojnosť používateľov, latenciu a celkovú presnosť, ale bolestivé prípady si neuchovávajú nablízku. Výsledkom je systém, ktorý môže vyzerať celkovo lepšie, zatiaľ čo sa zhoršuje na okrajoch, na ktorých záleží. Priemery sú užitočné. Okraje sú miesta, kde prichádza sťažnosť s prílohami.
Vyhodnocovacia sada by mala zahŕňať aj prípady odmietnutia. Systém, ktorý vždy odpovedá, nie je užitočný. Je dotieravý. Opakovateľnosť vyžaduje, aby systém dôsledne odmietal, keď chýbajú zdroje, chýba autorita, dôvera je príliš slabá, používateľ žiada mimo svojej roly alebo úloha vyžaduje ľudské rozhodnutie. Správanie pri odmietaní je súčasťou kvality. Jasné nie je často hodnotnejšie ako očarujúce možno prezlečené za istotu.
Ľudský úsudok musí byť tiež opakovateľný
Opakovateľnosť nie je len vlastnosťou strojov. Ľudské kroky potrebujú tiež opakovateľnosť. Ak jeden recenzent považuje výstup modelu za návrh, druhý za rozhodnutie a tretí za otravného kolegu, pracovný postup sa bude rozchádzať bez ohľadu na to, aký stabilný je model. Organizácia musí definovať, čo znamená recenzia. Overuje človek zdroje, kontroluje politiku, vzorkuje dôkazy, schvaľuje, upravuje jazyk alebo vlastní záver? Každé sloveso vytvára inú povinnosť.
Operátori potrebujú rozhrania, ktoré podporujú tieto povinnosti. Ak musia overovať zdroje, zdroje musia byť viditeľné. Ak musia kontrolovať politiku, základ pravidiel musí byť blízko výstupu. Ak musia prepísať rozhodnutie, cesta prepísania musí byť normálna, nie skrytá za tlačidlom, ktoré pôsobí ako priznanie zrady. Ak musia neskôr vysvetliť rozhodnutie, systém musí zachovať to, čo videli v danom čase. Inak sa ľudský dohľad stane ozdobnou frázou s pripojeným ID zamestnanca.
Školenie tiež záleží, ale nie také, ktoré učí ľudí obdivovať systém. Užitočné školenie ukazuje hranice. Dáva recenzentom príklady silných výstupov, slabých výstupov, chýbajúcich dôkazov, zastaraných zdrojov, prompt injection, konfliktov politík a prípadov, kde by mal byť model ignorovaný s pokojným srdcom. Hovorí ľuďom, ktoré nezhody sú očakávané. Hovorí im, že dobré prepísania sú súčasťou kontrolného systému. Ak sa každé prepísanie považuje za zlyhanie adopcie, ľudia sa naučia prestať vnímať. Ľudia sú adaptívni, niekedy nepríjemne.
Je suchá útecha v zapísaní postupu. Nie preto, že dokumenty sú magické. Nie sú, ako vie každý, kto stretol zdieľaný disk. Útecha prichádza z donútenia organizácie vybrať si. Opakovateľný ľudský krok hovorí, že táto rola musí vykonať túto kontrolu, s týmto dôkazom, v tomto termíne, a toto sa stane, keď kontrola zlyhá. Zrazu má dohľad kosti.
Náhodnosť potrebuje domácu adresu
Niektoré systémy umelej inteligencie zahŕňajú náhodnosť zámerne. Vzorkovanie môže priniesť lepší jazyk. Vyhľadávanie môže skúmať alternatívy. Agenti môžu skúšať rôzne cesty nástrojov. Spätná väzba od ľudí môže časom meniť správanie. Nič z toho nie je samo osebe zlé. Prevádzkovou chybou je nechať náhodnosť žiť všade a nikde. Ak je variabilita užitočná, povedzte, kde je povolená. Ak je riziková, obmedzte ju. Ak sa vyskytne, zaznamenajte dosť na to, aby ste jej porozumeli. Náhodnosť bez adresy je spôsob, akým tímy skončia pri ladení hmlového stroja.
Existujú praktické techniky. Používajte deterministické nastavenia tam, kde je výstup závažný a úloha ohraničená. Pripnite verzie a šablóny. Uchovávajte snímky korpusu. Zaznamenávajte kandidátov na vyhľadávanie. Oddeľte kreatívne písanie od podpory rozhodovania. Pre generatívny text, ktorý sa môže meniť, vyhodnocujte tvrdenia a zdroje, nie povrchovú formuláciu. Pre pracovné postupy agentov zachytávajte plány nástrojov, výsledky nástrojov a cesty odmietnutia. Pri aktualizáciách modelov vykonávajte párové porovnania pred presunom prevádzky. Nič z toho neodstraňuje neistotu. Dáva neistote miesto pri stole a bráni jej túlať sa po stropných doskách.
Opakovateľnosť tiež mení jazyk incidentov. Namiesto toho, aby tím povedal, že AI dala zlú odpoveď, môže povedať, že odpoveď použila snímku korpusu 18, balík politík 12, verziu modelu 4, šablónu výzvy 31, získané dokumenty A, C a F, vynechala dokument B kvôli rozsahu prístupu a bola prijatá rolou X bez eskalácie. Táto veta je menej vzrušujúca ako systém sa vymkol kontrole. Je však užitočnejšia, čo je opakované sklamanie pre dramatických ľudí.
Keď systém nedokáže poskytnúť túto vetu, organizácia neprevádzkuje AI. Zúčastňuje sa na AI. Sleduje, reaguje, utešuje a dúfa, že ďalšia zmena bude lepšia. To môže byť prijateľné pre prototyp. Nie je to prijateľné pre prácu, na ktorú sa ľudia spoliehajú.
Chyba pri obstarávaní
Opakovateľnosť sa musí nielen vybudovať, ale aj kúpiť. Mnohé obstarávacie procesy stále odmeňujú najlepšiu demonštráciu. Systém, ktorý vyzerá plynulo, rýchlo odpovedá a dáva vedeniu príjemný pocit modernosti, získava body. Systém, ktorý vysvetľuje uchovávanie dôkazov, exportný formát, regresné testovanie, deterministické vyhľadávanie, pripínanie verzií modelov, kontrolu na základe rolí a politiku vrátenia zmien, môže znieť menej vzrušujúco. Takto si organizácie kupujú budúce stretnutia.
Lepšie otázky pri nákupe sú priame. Môžeme si prehrať prípad. Môžeme exportovať cestu dôkazov. Môžeme pripnúť alebo pomenovať každý model a prompt, ktorý ovplyvňuje odpoveď. Dá sa vyhľadávanie zreprodukovať po prestavaní indexu. Môžeme porovnať súčasné správanie s východiskovým stavom nastaveným pred prijatím aktualizácie. Dajú sa ľudské zásahy analyzovať bez trestania užitočného úsudku. Môžeme odísť s našimi záznamami. Môžeme audítorovi povedať, čo sa stalo, bez otvárania lístka na podporu a zapaľovania sviečky.
Tieto otázky nevyžadujú nepriateľstvo voči dodávateľom. Vyžadujú dospelosť. Dobrý dodávateľ by mal vedieť povedať, ktoré časti sú opakovateľné, ktoré sú pravdepodobnostné, ktoré dôkazy sú dostupné, ktoré nie, a čo musí kupujúci prevádzkovať sám. Kupujúci, ktorý si tieto otázky nevie položiť, časom nájde odpovede v produkcii, kde sú odpovede drahšie a prichádzajú so slúchadlami na hlave.
Rovnaká logika nákupu platí aj interne. Platformové tímy by nemali predávať demo prevádzke bez zmluvy o opakovateľnosti. Dátové tímy by nemali odovzdávať zdroje bez línie pôvodu. Modelové tímy by nemali vydávať vylepšenia bez porovnania s východiskovým stavom. Governance tímy by nemali schvaľovať princípy bez testovania záznamov. Všetci chcú spustenie. Opakovateľnosť je disciplína starostlivosti o utorok po spustení.
Opakovateľnosť je láskavosť voči budúcim tímom
Existuje ľudský dôvod starať sa o opakovateľnosť, ktorý sa v strategických prezentáciách objavuje len zriedka. Je láskavejšia. Je láskavejšia k operátorom, ktorí by nemali hádať, prečo sa systém zmenil. Je láskavejšia k inžinierom, ktorí by nemali rekonštruovať incidenty z omrviniek dashboardov. Je láskavejšia k manažérom, ktorí musia rozhodovať pod drobnohľadom. Je láskavejšia k zákazníkom, občanom, pacientom a kolegom, ktorí si zaslúžia odpovede, ktoré nie sú improvizované dodatočne. Opakovateľný systém znižuje množstvo inštitucionálneho predstierania potrebného na prežitie týždňa.
Opakovateľnosť tiež uľahčuje úprimnosť. Keď sú dôkazy dostupné, tímy môžu povedať, že model tu zlyhal, dáta tam boli zastarané, politika bola nejednoznačná, recenzent nemal dostatok kontextu alebo zdroj chýbal. Bez dôkazov sa každé priznanie javí ako rizikové, pretože nikto nevie, kam dopadne vina. Ľudia preto zjemňujú jazyk, odkladajú rozhodnutia a vytvárajú hustú hmlu známu ako alignment. Dôkazy nerobia organizácie odvážnymi, ale znižujú náklady na presnosť.
Prekvapenia budú vždy. Opakovateľnosť nie je kúzlo proti realite. Nové prípady rozbijú zaužívané predpoklady. Používatelia budú klásť zvláštne otázky. Dokumenty prídu s formátovaním, ktoré vyzerá, akoby bolo dohodnuté počas výpadku prúdu. Modely sa v jednom smere zlepšia a v inom zhoršia. Nejde o to odstrániť prekvapenia. Ide o to, aby boli prekvapenia poučné, nie nákazlivé.
Preto je opakovateľnosť dôležitejšia ako ukážky. Ukážky vytvárajú presvedčenie, že schopnosť existuje. Opakovateľnosť vytvára schopnosť spoľahnúť sa na ňu. Prvé je užitočné na začatie rozhovoru. Druhé je nevyhnutné na prácu. Keď sa systém umelej inteligencie stane súčasťou inštitúcie, otázka prestáva byť o tom, či dokáže zapôsobiť na miestnosť. Otázkou sa stáva, či dokáže vytvárať, uchovávať a vysvetľovať svoju prácu v bežný deň, pod bežným tlakom, so zapojením bežných ľudí. V bežných dňoch si seriózne systémy zarábajú na svoju dôveru.