Dodávateľský reťazec za každou odpoveďou AI
Odpoveď prichádza príliš čistá
Najpodozrivejšia vec na modernej odpovedi umelej inteligencie je, ako upratane vyzerá. Používateľ položí otázku, rozhranie sa na chvíľu odmlčí a objaví sa odsek s istotou úradníka, ktorý nikdy nestratil formulár. Nie je na ňom prach. Nie sú na ňom odtlačky prstov. V pozadí nepípa žiadny vysokozdvižný vozík. Zdá sa, že odpoveď sa zrodila celá naraz, ako úradný záznam nájdený pod skleneným poklopom.
Táto čistota je užitočná pre používateľa a nebezpečná pre prevádzkovateľa. Za odpoveďou stojí reťazec vstupov, transformácií, kontrol, rozhodnutí o ukladaní, ľudských rozhodnutí a strojových predpokladov. Niekde existuje zdrojový dokument, alebo pamäť, alebo načítaný úryvok, alebo stopa z tréningu, alebo pravidlo politiky, alebo uložený výpočet. Existuje model vloženia, ktorý rozhodol, čo je podobné, index, ktorý rozhodol, čo sa dá nájsť, model, ktorý rozhodol, aké slová prídu ďalej, obal výzvy, ktorý rozhodol, na čo sa používateľ smie pýtať, a vrstva protokolovania, ktorá rozhodla, čo sa zapamätá po tom, čo všetci odídu domov.
V bežných dodávateľských reťazcoch sme sa naučili pýtať sa, odkiaľ časti pochádzajú. Nemocnica chce vedieť, či je zariadenie sterilné. Staviteľ mosta chce vedieť, ktorá dávka ocele išla do ktorého nosníka. Supermarket chce vedieť, ktorá farma poslala šalát, keď sa šalát začne správať ako malé právne oddelenie. Umelá inteligencia si zaslúži rovnaké prevádzkové podozrenie. Odpoveď nie je zázrak. Je to zostavený tovar.
Problém je, že dodávateľské reťazce umelej inteligencie sú v momente použitia väčšinou neviditeľné. Používateľ vidí vetu. Inštitúcia dostane rozhodnutie, odporúčanie, zhrnutie alebo návrh. Čo často nedostane, je kusovník odpovede. Ktoré údaje sa použili. Ktorá verzia modelu hovorila. Ktoré nastavenia vyhľadávania boli aktívne. Ktoré pravidlo politiky zablokovalo alebo formovalo odpoveď. Ktorá vyrovnávacia pamäť vrátila zastaraný materiál. Ktorý človek zmenil systém minulý týždeň, pretože sa stretnutie pretiahlo a okno zmien bolo stále otvorené.
Odpoveď je zásielka, nie iskra
Nazývať to dodávateľským reťazcom nie je metafora na ozdobu. Mení to otázky. Ak je odpoveď zásielka, potom existujú dodávatelia, komponenty, trasy, kontroly, náhrady, oneskorenia, straty, stiahnutia a zodpovednosti. Výzva nie je len veta. Je to objednávka. Vrstva vyhľadávania nie je len vyhľadávanie. Je to vychystávanie tovaru z regálov. Model nie je jednoducho inteligencia. Je to transformačný závod, ktorý mení vybraný materiál na výstup. Vrstva politiky je kontrola kvality. Protokol je dodací list, za predpokladu, že existuje a nebol napísaný miznúcim atramentom, pretože si niekto myslel, že telemetria je drahá.
Väčšina organizácií už dnes rozumie fyzickým dodávateľským reťazcom lepšie ako digitálnym. Vedia, že malá zmena u dodávateľa môže spôsobiť veľké následné efekty. Skrutka s inou toleranciou nemusí znamenať nič, až kým stroj nevibruje. Štítok so zmeneným formátom nemusí znamenať nič, až kým colnica neodmietne škatuľu. Chladiace reťazec, ktorý sa preruší na dvadsať minút, nemusí znamenať nič, až kým sa vzorka nestane medicínsky zaujímavou. V oblasti umelej inteligencie sa rovnaký vzorec objavuje s menším šumom. Zmení sa pravidlo delenia textu. Aktualizuje sa verzia modelu. Obnoví sa dátová sada. Posunie sa hranica hodnotenia. Odpoveď stále vyzerá plynulo, a práve preto môže zmena prejsť nepovšimnutá.
Toto je dôležité, pretože plynulé zlyhanie je prevádzkovo nepríjemné. Keď sa zastaví dopravný pás, ľudia si to všimnú. Keď model poskytne vierohodnú odpoveď z nesprávneho zdroja, organizácia môže mesiace pokračovať s zdvorilou chybou. Prejaví sa to ako nekonzistentné rady, pomalá podpora, slabá auditovateľnosť alebo rozhodnutia, ktoré sa nedajú obhájiť, keď sa zainteresovaná strana konečne spýta staromódnu otázku: prečo.
Pohľad dodávateľského reťazca dáva tímom realistickejší spôsob, ako toto riziko riadiť. Vyžaduje pomenované vstupy, verzované komponenty, kontrolované substitúcie, merateľné kvalitatívne brány a potvrdenia. Nevyžaduje mystickú istotu. Vyžaduje dostatok štruktúry na zodpovedanie základných prevádzkových otázok bez toho, aby sa z preskúmania incidentu stala seansa so snímkami obrazovky.
Skrytý kusovník
Prvým chýbajúcim artefaktom v mnohých systémoch umelej inteligencie je kusovník. Softvérové tímy poznajú tento koncept zo správy závislostí. Bezpečnostné tímy ho poznajú zo softvérových kusovníkov. Výrobné tímy ho poznajú zo zoznamov dielov. AI potrebuje svoju vlastnú prevádzkovú verziu, pretože odpoveď môže závisieť od viac než len knižníc kódu. Môže závisieť od verejných korpusov, licencovaných dát, súkromných dokumentov, vektorových reprezentácií, feature stores, šablón promptov, systémových správ, nástrojov, politík, ľudskej spätnej väzby, evaluačných sád, hardvérových akcelerátorov, nastavení runtime a niekedy aj tichého optimizmu toho, kto rozhodol, že predvolená teplota bude asi v poriadku.
Užitočný kusovník nie je tridsaťstranový certifikát, ktorý nikto nečíta, až kým nákupné oddelenie nepožiada o logo. Je to živá mapa komponentov, ktoré môžu ovplyvniť výstup. Pre vyhľadávací systém by mal identifikovať zdrojové kolekcie, verzie dokumentov, proces extrakcie, stratégiu delenia textu, model vektorových reprezentácií, dátum zostavenia indexu, pravidlá hodnotenia, prístupové filtre, záruky čerstvosti a cestu mazania. Pre modelovú službu by mal identifikovať váhy, adaptérové vrstvy, voľby kvantizácie, nastavenia dekódovania, bezpečnostné filtre, povolenia nástrojov, uchovávanie protokolov a správanie pri zlyhaní. Pre agentický pracovný postup by mal zahŕňať nástroje, rozsahy, poverenia, stav, pravidlá opakovania a body ľudského preskúmania.
Kusovník musí byť dostatočne blízko prevádzke, aby zostal pravdivý. Ak žije iba v priečinku pre súlad, zostarne ako jogurt v priehradke na rukavice. Inžinieri zmenia nastavenia, produktové tímy pridajú zdroje, dodávatelia aktualizujú služby a formálny dokument zostane sebavedomo nesprávny. Mapa musí byť prepojená s nasadeniami, zmenami zdrojov, zostaveniami indexov, vydaniami politík a oznámeniami dodávateľov. Inak má organizácia muzeálny štítok, nie riadiacu plochu.
Tu sa infraštruktúra umelej inteligencie stáva menej okázalou a užitočnejšou. Práca nie je len o rýchlejšej inferencii alebo väčších kontextových oknách. Je to nudná disciplína vedieť, čo vstúpilo do systému, čo ho transformovalo, čo ho zablokovalo, čo odišlo a aké dôkazy zostávajú. Nuda je urážkou len dovtedy, kým regulátor, zákazník, klinik alebo sudca nepožiada o podrobnosti. Potom sa nuda stane najkrajším slovom v miestnosti.
Dáta majú tiež dodávateľov
Ľudia často pristupujú k dátam, akoby jednoducho existovali, ako počasie alebo prach v kancelárii. V skutočnosti majú dáta dodávateľov. Niekto ich zhromaždil, upravil, označil, exportoval, opravil, zabudol opraviť, alebo ich zdedil z predchádzajúceho systému, ktorého schéma databázy vyzerá, akoby bola navrhnutá počas požiarneho cvičenia. Pôvod týchto dát je dôležitý, pretože systémy umelej inteligencie zosilňujú predpoklady, ktoré bežné reporty možno len zobrazujú.
Záznam o zákazníkovi, verejný predpis, servisný denník, lekárska správa, produktová príručka a výskumný abstrakt nemajú rovnaký dodávateľský reťazec. Nesú rôzne práva, rytmy aktualizácií, problémy s kvalitou a profily rizík. Odpoveď modelu, ktorá sa spolieha na zastaranú produktovú príručku, môže spôsobiť nepríjemnosť. Odpoveď modelu, ktorá sa spolieha na zastaraný klinický protokol, môže spôsobiť oveľa viac než nepríjemnosť, a nepríjemnosť už v administratíve zdravotníctva napáchala dosť škody.
Dobré získavanie dát si kladie jednoduché, ale nepríjemné otázky. Kto vlastní tento zdroj. Aká je autoritatívna verzia. Ako rýchlo prichádzajú aktualizácie. Ako sa opravy šíria do embeddings a vyrovnávacích pamätí. Ktoré časti sú licencované na tento účel. Ktoré polia sú citlivé aj po transformácii. Ktorý zdroj by mal vyhrať, keď si dva zdroje protirečia. Ktorý zdroj môže prekročiť hranicu. Ktorý zdroj musí zanechať potvrdenie pri použití.
Odpoveďou nemôže byť jedno univerzálne pravidlo. Niektoré zdroje potrebujú aktuálnosť v reálnom čase. Niektoré potrebujú stabilné historické snímky. Niektoré potrebujú schválenie človekom pred vstupom. Niektoré potrebujú automatické vypršanie. Niektoré potrebujú redakciu pred indexovaním. Niektoré by sa nemali indexovať vôbec. Myslenie v dodávateľskom reťazci túto nerovnomernosť akceptuje. Prestáva predstierať, že všetky dáta sú generické palivo, a začína s nimi zaobchádzať ako so zásobami s pokynmi na manipuláciu.
Váhy modelov sú importované komponenty
O váhach modelov sa často hovorí, akoby išlo o jeden zakúpený objekt. V praxi sa správajú skôr ako importovaný komponent s neznámou vnútornou štruktúrou. Základný model prichádza s históriou tréningu, architektonickými voľbami, správaním v benchmarkoch, licenciami, bezpečnostným ladením, známymi slabinami a neznámymi slabinami. Vrstvy adaptérov, doladenie, kvantizácia a nasadzovacie obaly potom menia, ako sa tento komponent správa v lokálnom systéme.
To v žiadnom prípade neznamená, že modely sú štandardne nespoľahlivé. Znamená to, že by sa s nimi malo zaobchádzať ako s vážnymi komponentmi. Otestujete ich proti svojmu prípadu použitia. Zaznamenávate verzie. Rozumiete licenčným obmedzeniam. Meriate správanie po kvantizácii. Skontrolujete, či bezpečnostné ladenie nie je v konflikte s požiadavkami domény. Ponechávate staršie verzie k dispozícii na porovnanie. Nevymeníte motor v mestskom autobuse len preto, že benchmark na pretekárskej dráhe vyzeral sľubne.
Model tiež nie je celé riešenie. Toto je dôležité, pretože rozhovory o obstarávaní a riadení sa môžu stať posadnutými modelom. Ľudia sa pýtajú, ktorý model je najlepší, akoby odpoveď mala vyriešiť architektúru. Slabší model s čistými zdrojmi, prísnymi povoleniami, jasným vyhľadávaním, dobrými záznamami a známymi spôsobmi zlyhania môže byť prevádzkovo silnejší ako schopnejší model kŕmený z močiara. Schopnosť bez disciplíny dodávateľského reťazca je len rýchlosť s peknejšou typografiou.
Riadenie dodávateľského reťazca preto oddeľuje výkon komponentu od zodpovednosti systému. Dodávateľ modelu môže poskytnúť schopný motor, ale inštitúcia zostáva zodpovedná za to, ako je tento motor získaný, nakonfigurovaný, pripojený, monitorovaný a vysvetlený. Outsourcing komponentu neznamená outsourcing povinnosti porozumieť ceste od otázky k odpovedi. Práve na tejto ceste žije mnoho zlyhaní, s menovkou, na ktorej je napísané integrácia.
Inferencia je logistika pod tlakom
Inferencia pôsobí ako výpočet, a aj ním je, ale prevádzkovo sa správa ako logistika. Práca prichádza nepredvídateľne. Niektoré otázky sú malé balíky. Iné sú prepravné kontajnery plné kontextu. Požiadavky potrebujú smerovanie na správny model, prístup k správnym zdrojom, dostatočnú kapacitu, prijateľnú latenciu, kontroly politík, nákladové limity a zotavenie, keď je závislosť pomalá. Používateľa nezaujíma, že fronta bola elegantná. Používateľa zaujíma, že odpoveď prišla skôr, ako sa stretnutie skončilo.
Tento tlak je dôvod, prečo sa objavujú skratky. Tímy ukladajú výstupy do vyrovnávacej pamäte. Znižujú prahy vyhľadávania. Smerujú drahé požiadavky na lacnejšie modely. Skracujú kontext. Dávkujú. Degradujú elegantne, alebo menej elegantne, podľa týždňa. Tieto voľby nie sú nesprávne. Sú to prevádzkové rozhodnutia. Ale prevádzka potrebuje záznamy, pretože každá skratka mení dodávateľský reťazec. Odpoveď z vyrovnávacej pamäte môže používať včerajšiu politiku. Záložný model môže byť slabší v špecializovanej úlohe. Skrátený kontext môže vynechať klauzulu, ktorá bola dôležitá. Nákladový limit môže zmeniť presnú odpoveď na niečo, čo znie presne z úctivej vzdialenosti.
Voľby infraštruktúry tiež formujú inštitucionálnu moc. Ak indexy žijú ďaleko od dát, každý dopyt sa stáva pohybom. Ak kľúče žijú mimo miestnej kontroly, každé citlivé vyhľadávanie závisí od vzdialeného sľubu. Ak sú protokoly centralizované bez kontextu zdroja, audit sa stáva archeológiou. Ak jedna spravovaná služba vlastní smerovanie, politiku a dôkazy, inštitúcia môže zistiť, že jej schopnosť umelej inteligencie je v skutočnosti nájomná zmluva s indikátorom priebehu.
Odpoveďou nie je priniesť všetko do jednej pivnice a nazvať to stratégiou. Odpoveďou je umiestniť komponenty zámerne. Niektorá práca patrí blízko dát. Niektorá práca patrí blízko používateľov. Niektorá práca patrí tam, kde je dostupný špecializovaný hardvér. Niektoré dôkazy musia byť nezávislé od cesty obsluhy. Logistická otázka nie je, kde sedí najpôsobivejší stroj. Je to, ako sa reťazec správa, keď dopyt prudko stúpne, jeden dodávateľ sa zmení, zdroj sa opraví alebo používateľ požiada o dôkaz.
Dôkazy sú príjmová rampa
Vo fyzickom dodávateľskom reťazci je príjmová rampa dôležitá, pretože je miestom, kde sa tvrdenia stretávajú s realitou. Dodací list hovorí, že prišlo dvanásť škatúľ. Na rampe ich napočítajú jedenásť. Rozdiel nie je filozofický. Niekto bude musieť zatelefonovať. AI potrebuje rovnaký návyk. Keď sa doručí odpoveď, systém by mal uchovať dostatok dôkazov na porovnanie toho, čo sa tvrdilo, s tým, čo sa stalo.
Dôkazy neznamenajú zaznamenávať každý súkromný detail navždy. To by bolo lenivé riadenie s účtom za úložisko. Znamená to uchovávať správny dôkaz v správnej granularite: verziu modelu, verziu šablóny promptu, identifikátory zdrojov, skóre vyhľadávania, rozhodnutia politík, volania nástrojov, redakcie, časové pečiatky a haše výstupov tam, kde to má zmysel. Citlivý obsah môže vyžadovať hašovanie, oddelenie alebo viazané uchovávanie na konkrétny účel. Nejde o sledovanie. Ide o rekonštruovateľnosť.
Rekonštruovateľnosť je rozdiel medzi ladením a rozprávaním príbehov. Bez dôkazov tím vysvetľuje incident tak, že vypočúva ľudí a prehľadáva dashboardy, kým príbeh nezačne znieť dostatočne vierohodne na to, aby sa dostal do prezentácie. S dôkazmi môže tím prehrať celý reťazec, nájsť zmenený komponent, zmerať vplyv a rozhodnúť, či je potrebné stiahnutie. Stiahnutia znejú dramaticky, ale sú normálnym znakom vyspelosti. Ak bol index postavený z nesprávneho zdroja, možno budete musieť identifikovať dotknuté odpovede. Ak zlyhala politická brána, možno budete musieť upozorniť používateľov. Ak sa modelová verzia správala zle, možno budete musieť prehodnotiť rozhodnutia. Predstierať, že výstupy AI sa po použití vyparia, je pohodlné len pre toho, kto nebude musieť odpovedať na sťažnosť.
Príjmová rampa pomáha aj pri zlepšovaní. Ak používatelia často spochybňujú odpovede kvôli rovnakému chýbajúcemu zdroju, zdrojový reťazec potrebuje úpravu. Ak vyhľadávanie opakovane vyberá starý materiál, pravidlá čerstvosti potrebujú úpravu. Ak model ignoruje pokyn politiky pri určitom formulovaní, vyhodnocovanie potrebuje úpravu. Dôkazy nie sú len štítom pre audity. Sú spätnoväzbovým systémom, ktorý bráni tomu, aby sa reťazec stal fámou s pripojeným výpočtom.
Keď sa zmení jeden článok
Dodávateľské reťazce zlyhávajú zaujímavými spôsobmi, pretože články sa ovplyvňujú. To isté platí pre AI. Upgrade modelu môže zvýrazniť slabiny vyhľadávania, pretože nový model píše sebavedomejšie. Nový embedding model môže zmeniť, ktoré dokumenty sa nájdu, aj keď sa zdrojové dokumenty nezmenili. Aktualizácia politiky môže zablokovať volanie nástroja a prinútiť model improvizovať. Nákladový limit môže zmeniť smerovanie a spôsobiť, že zriedkavé otázky budú menej spoľahlivé. Oprava zdroja sa môže prejaviť v databáze, ale nie v indexe, čím vzniknú dve pravdy, čo je o jednu viac, než si väčšina inštitúcií môže dovoliť.
Preto sa riadenie zmien v oblasti AI nemôže obmedzovať na nasadzovanie aplikácií. Musí zahŕňať obnovu údajov, vytváranie indexov, zmeny promptov, výmenu modelov, zmeny povolení nástrojov a vydávanie politík. Každá zmena by mala mať rozsah, testovaciu sadu, plán návratu a plán dôkazov. Testovacia sada by mala zahŕňať bežné prípady, okrajové prípady, nepriateľské formulácie, kontroly zastaraných zdrojov, kontroly riadenia prístupu a tie malé nudné prípady, ktoré tvoria väčšinu reálneho používania. Produkcia má krutú záľubu v nudných prípadoch.
Analýza vplyvov je dôležitá. Ak sa zmení zdroj, ktoré indexy na ňom závisia. Ak sa zmení index, ktoré pracovné postupy na ňom závisia. Ak sa zmení model, ktoré politiky a hodnotenia sa musia spustiť znova. Ak sa zmení nástroj, ktoré poverenia a protokoly sú ovplyvnené. Tento graf závislostí je časť infraštruktúry AI, ktorá sa na keynote snímkach objavuje len zriedka. Dobre. Nech si keynote nechá svoje osvetlenie. Graf závislostí prevedie organizáciu cez štvrtok.
Tímy tiež potrebujú jazyk pre čiastočnú dôveru. Komponent môže byť schválený na jednu úlohu a nie na inú. Model môže byť prijateľný na zhrnutie verejných zápisníc a neprijateľný na navrhovanie rozhodnutí o dávkach. Zdroj môže byť užitočný na vyhľadávanie, ale nie na automatizované odporúčania. Reťazec vyhľadávania môže byť dostatočne dobrý na pomoc ľuďom a nie dostatočne dobrý na autonómne konanie. Myslenie v duchu dodávateľského reťazca robí tieto rozdiely normálnymi namiesto toho, aby nútil každý komponent do divadla dôveryhodného alebo nedôveryhodného.
Obstarávanie musí dospieť
Nákup AI ako funkcie skrýva dodávateľský reťazec. Nákup AI ako infraštruktúrnej schopnosti ho odhaľuje. Toto odhalenie môže byť spočiatku pomalšie, pretože sa objavia vážne otázky. Kde sídlia práva na zdroje. Ako sa indexy prestavujú. Dajú sa protokoly exportovať. Dajú sa rozhodnutia o politikách kontrolovať. Čo sa stane, keď dodávateľ zmení model. Môžeme ukotviť verzie. Môžeme testovať pred nasadením. Kto vlastní odvodené údaje. Ako mažeme. Ako odvolávame. Ako odchádzame. Obstarávacie oddelenia si v tomto bode môžu povzdychať, čo je spravodlivé. Vzdychanie je tradičnou súčasťou dospelosti.
Tieto otázky nie sú proti inováciám. Sú tým, ako inovácie prežijú kontakt so zodpovednosťou. Organizácia, ktorá na ne nevie odpovedať, môže stále spustiť pilot. Môže dokonca získať malé interné ocenenie s fotografiou ľudí ukazujúcich na obrazovku. Ale keď sa pilot stane službou, dodávateľský reťazec sa stane skutočným. Používatelia sa naň spoliehajú. Náklady rastú. Chyby majú význam. Vyžadujú sa dôkazy. Dodávatelia menia podmienky. Systém potrebuje prevádzku, nie vibrácie na šnúrke.
Dobré obstarávanie preto žiada o prevádzkové práva, nielen o tvrdenia o produkte. Ukotvenie verzií, exportovateľné protokoly, pôvod na úrovni zdrojov, podpora mazania, oznámenie o zmene modelu, háčiky na hodnotenie, možnosti lokálnych kľúčov, transparentnosť záložných riešení a výstupné formáty by sa mali stať bežnými požiadavkami. Inštitúcia nemusí priamo kontrolovať každý komponent. Potrebuje dostatočnú páku na kontrolu, náhradu, pozastavenie a vysvetlenie reťazca.
Je tu kultúrny posun. Tímy AI musia prestať považovať riadenie za papierovačku po zaujímavej časti. Riadenie je súčasťou stroja. Právne tímy musia prestať považovať technický pôvod za exotický koníček. Je to miesto, kde sa záväzky stávajú kontrolovateľnými. Kupujúci musia prestať považovať ukážky za dôkazy. Ukážky sú divadlo s prihlásením. Dôkaz je to, čo zostane, keď potlesk nájde výťah.
Ponaučenie
Každá odpoveď AI má dodávateľský reťazec. Reťazec môže byť krátky alebo dlhý, lokálny alebo distribuovaný, otvorený alebo proprietárny, zdokumentovaný alebo len odhadnutý. Ale existuje. Veta na obrazovke je finálnou montážou zdrojov, indexov, modelov, politík, infraštruktúry, ľudí a dôkazov. Považovať ju za mágiu je manažérske rozhodnutie. Považovať ju za dodávateľský reťazec je prevádzkové rozhodnutie.
Praktickým cieľom nie je zaťažiť každú odpoveď ťažkou byrokraciou. Cieľom je, aby dôležité odpovede boli dostatočne vysledovateľné na to, aby sa dali preskúmať a zmeniť. Pomenujte komponenty. Verziónujte zdroje. Kontrolujte substitúcie. Umiestňujte prácu zámerne. Veďte si záznamy. Testujte cestu, nielen model. Zachovajte schopnosť odvolať výstupy, keď zlyhá prepojenie. Udržujte dostatok inštitucionálnych znalostí na to, aby ste kládli lepšie otázky, než či demo vyzeralo múdro.
AI bude stále plynulejšia. To je užitočné. Zároveň to znamená, že viditeľný výstup sa stane ešte horším vodítkom ku kvalite reťazca za ním. Organizácie, ktoré sa naučia tento reťazec riadiť, budú pokojnejšie, keď sa systémy zmenia, dodávatelia odídu, zákony sa sprísnia, náklady vzrastú alebo používatelia požiadajú o dôkaz. Odpoveď môže prísť za sekundu. Dôvera za ňou sa buduje oveľa skôr, jedno nevďačné prepojenie za druhým.