AI potrebuje menej mágie a viac dohľadu
Odpoveď, ktorá prišla bez batožiny
Prvá odpoveď vyzerala pôsobivo. Zhrnula dlhý spis, identifikovala pravdepodobnú politickú cestu, navrhla odpoveď a znela, akoby strávila ráno v upratanej kancelárii s čistým svedomím. Manažérovi sa páčila. Recenzentke menej. Spýtala sa, odkiaľ pochádza zdrojový odsek, ktorá verzia politiky sa použila, či bol zákaznícky záznam viditeľný pre model a prečo odporúčanie vynechalo výnimku, ktorá zvyčajne záležala. Miestnosť mala odpoveď. Nemala jej batožinu.
Tá chýbajúca batožina je problém. Výstup AI prešiel cez výzvy, vyhľadávanie, hodnotenie, inferenciu modelu, následné spracovanie a používateľské rozhranie. Po ceste sa dotkol dokumentov, prístupových práv, uložených úryvkov, povolení nástrojov, systémových inštrukcií a ľudského pracovného postupu. Keď odpoveď dorazila na obrazovku, väčšina tejto cesty bola neviditeľná. Organizácia mohla obdivovať výsledok, ale nemohla ho riadne držať. Nemohla povedať, ktoré fakty boli prenesené, ktoré boli vylúčené, ktoré pravidlo viazalo výstup, ktorá osoba ho prijala alebo ktorý záznam prežije stretnutie.
Preto AI potrebuje menej mágie a viac správy. Magické myslenie považuje model za udalosť. Otázka vstúpi, inteligencia sa stane, odpoveď vyjde. Myslenie v správe považuje model za jedného spracovateľa v reťazci. Reťazec má vstupy, práva, transformácie, zodpovednosti, rozhodnutia o ukladaní a výstupy. Pýta sa, kto môže niečo držať, na aký účel, za akých obmedzení, ako dlho, s akým dôkazom a s akým nápravným opatrením, keď sa reťazec preruší.
Správa nie je chladnejšie slovo pre kontrolu. Je to starostlivosť s potvrdením. Múzeum nevlastní každý predmet, ktorý stráži. Archív nevymýšľa každý záznam, ktorý uchováva. Laboratórium neurobí vzorku pravdivejšou tým, že ju označí, ale označenie rozhoduje o tom, či sa dá výsledku neskôr dôverovať. Systémy AI potrebujú rovnaké dospelé návyky. Spracúvajú dáta iných ľudí, inštitucionálnu autoritu, výstupy modelov a rozhodnutia, ktoré môžu prežiť rozhranie. Trochu menej lesku, trochu viac reťazca správy. Neurobí to lepšiu keynote. Urobí to lepší systém.
Mágia je drahý prevádzkový model
Mágia je príťažlivá, pretože odstraňuje trenie z príbehu. Náročný pracovný postup sa stane promptom. Slabá znalostná báza sa stane problémom schopností modelu. Chýbajúci vlastník sa stane automatizáciou. Nejasné pravidlo sa stane inštrukciou na opatrnosť. Systém sa zdá byť funkčný, pretože model dokáže produkovať plynulý jazyk naprieč medzerami, ktoré by zastavili bežný softvér. Plynulosť je užitočná. Je tiež nadaným maskérom nedokončenej správy.
V bežnej prevádzke majú medzery hrany. Chýbajúce pole rozbije formulár. Zlý kód neprejde validáciou. Chyba povolení zablokuje prístup. V AI prevádzke sa medzera môže premeniť na prózu. Model dokáže odpovedať aj napriek chýbajúcim dôkazom, odvodiť zámer z nejednoznačného jazyka, zmierniť rozpory a vrátiť odsek, ktorý vyzerá úplne. To je silné, keď je úloha nízkoriziková a používateľ ju vie posúdiť. Je to nebezpečné, keď sa odsek stane rozhodovacou plochou, audítorským záznamom, sľubom zákazníkovi, klinickou poznámkou, právnym odporúčaním alebo cestou do nástroja.
Mágia je tiež drahá, pretože odkladá zodpovednosť. Ak nikto nevie, ktorý zdroj bol použitý, náklady prídu počas opravy. Ak nikto nevie, ktorá verzia promptu formovala odpoveď, náklady prídu počas vyhodnotenia. Ak nikto nevie, ktoré volanie nástroja zmenilo stav, náklady prídu počas riešenia incidentu. Ak nikto nevie, ktoré odvodené údaje boli uchované, náklady prídu počas výmazu, zverejnenia alebo súdneho sporu. Model bol rýchly. Organizácia sa neskôr stane pomalou, zvyčajne s viacerými ľuďmi v miestnosti a horšou kávou.
Opatera (custody) sprístupňuje skryté náklady skôr. Hovorí, že systém musí vedieť, čo drží. Musí viazať údaje na účel. Musí uchovávať dôkazy bez hromadenia všetkého. Musí oddeliť návrh od rozhodnutia. Musí zaznamenať, kto uvoľnil výstup do sveta. Musí vedieť, ako opraviť alebo vyradiť artefakty. Toto znie nudne, pretože je to časť, ktorá bráni tomu, aby sa glamour stal zodpovednosťou. Existujú horšie veci ako nuda. Jednou z nich je sebavedomá odpoveď, ktorú nikto nedokáže vystopovať.
Opatera nad údajmi nie je divadlo vlastníctva údajov
Mnohé organizácie hovoria o vlastníctve svojich údajov. Vlastníctvo nie je zbytočné, ale je príliš hrubé na správu AI. Tím môže vlastniť dátovú sadu a stále mať slabú opateru. Nemusí vedieť, kde sú kópie, ktoré embeddingy boli odvodené, ktoré prompty obsahovali citlivé výňatky, ktoré súhrny prežívajú v poznámkach k prípadom, ktoré protokoly obsahujú osobné údaje, alebo ktorý výstup modelu nižšie v reťazci teraz nesie fakt zo zdroja, ktorý bol neskôr opravený. Vlastníctvo hovorí, čí majetok to je. Opatera sa pýta, čo sa s ním stalo.
AI vytvára viac objektov opatery ako tradičné aplikácie. Existuje pôvodný dokument. Existujú parsované časti. Existujú embeddingy. Existujú získané úryvky. Existujú zostavy promptov. Existujú vygenerované návrhy. Existujú úpravy recenzentov. Existujú argumenty volaní nástrojov. Existujú vysvetlenia, skóre, klasifikácie a audítorské udalosti. Niektoré sú dočasné. Niektoré sa stanú záznamami. Niektoré by sa mali rýchlo vymazať. Niektoré sa musia uchovať. Niektoré sa musia oddeliť od cesty obsluhy modelu. Zaobchádzať so všetkým tým ako s jedným blobom nazvaným dáta je pohodlný spôsob, ako slušne stratiť kontrolu.
Dobrá opatera rozlišuje držbu, použitie, odvodenie, zverejnenie a uchovanie. Systém môže držať záznam, ale nepoužívať ho na účel. Môže použiť zdroj na vyhľadávanie, ale neukladať úryvok do výstupu. Môže vygenerovať súhrn, ale označiť ho ako neautoritatívny. Môže zverejniť konečnú odpoveď, pričom si ponechá iba identifikátory a hashe ako dôkaz. Môže uchovávať audítorskú stopu s obmedzeným prístupom a zároveň vymazávať pracovný kontext. Tieto rozdiely nie sú právnickou ozdobou. Sú tým, ako systémy AI zostávajú zodpovedné bez toho, aby sa stali sledovacími strojmi s lepšou typografiou.
Náročná časť spočíva v tom, že dohľad presahuje organizačné hranice. Vlastníci dát, tímy modelov, platformové tímy, právne tímy, operátori, dodávatelia a audítori sa dotýkajú častí reťazca. Ak dohľad žije iba v dokumentácii jedného tímu, zlyhá pri odovzdávaní. Záznam potrebuje zdieľané identifikátory, definície rolí, pravidlá uchovávania a cesty dôkazov, ktoré prežijú tímové hranice. Inak sa každý incident zmení na pátračku s pozvánkami do kalendára.
Aj výzvy potrebujú dohľad
Výzvy sa často považujú za jednorazový text, niekde medzi konfiguráciou a kancelárskymi klebetami. V experimentoch je to pochopiteľné. V produkcii je to nebezpečné. Výzva môže obsahovať interpretácie politík, skryté príklady, pravidlá tónu, podmienky odmietnutia, povolenia nástrojov, logiku eskalácie a citlivý kontext. Môže zmeniť spôsob, akým model používa dôkazy. Môže zmeniť, či výstup znie váhavo alebo definitívne. Môže zmeniť, či ľudský recenzent vidí neistotu. Výzva nie je len formulácia. Je to prevádzková inštrukcia.
Dohľad nad výzvami znamená verzovanie výziev, pomenovanie ich účelu, zaznamenávanie výstupov, ktoré ovplyvnili, obmedzenie toho, kto ich môže meniť, testovanie zmien proti známym prípadom a uchovávanie dostatočnej histórie na vysvetlenie minulého správania. Znamená to tiež oddelenie trvalých politík od formulácie výziev. Ak obchodné pravidlo existuje iba vo výzve, organizácia premenila riadenie na odsek s právami na nasadenie. Odseky sú užitočné. Nie sú skvelým miestom na ukrývanie autority.
Dohľad nad výzvami si tiež vyžaduje pokoru voči úniku výziev a posunu výziev. Výzva môže byť skopírovaná do tiketu, upravená dobre mieneným tímom, vložená do nastavenia dodávateľa alebo opravená počas incidentu. Malé zmeny môžu ovplyvniť odmietnutie, tón, používanie zdrojov a volania nástrojov. Bez dohľadu organizácia nedokáže povedať, či sa model zhoršil, či sa zmenil zdroj alebo či sa presunula inštrukcia. Potom vykoná tradičný rituál hádok o dojmoch, zatiaľ čo hlavná príčina čaká pred dverami.
To neznamená, že každá úprava výzvy potrebuje výbor. Riadenie by malo zodpovedať riziku. Pomôcka na návrh s nízkym rizikom môže mať ľahšie kontroly ako výzva formujúca odporúčania o oprávnenosti. Ale aj ľahké kontroly potrebujú záznam. Kto to zmenil. Prečo. Ktoré testy prebehli. Ktorá trasa to používa. Kedy by sa to malo preskúmať. Dohľad nad výzvami nie je byrokracia pre byrokraciu. Je to rozdiel medzi prevádzkovým učením a archeológiou výziev.
Nástroje menia dohľad na akciu
Otázka opatrovníctva sa stáva ostrejšou, keď modely dokážu volať nástroje. Vygenerovaný odsek môže zavádzať. Volanie nástroja môže zmeniť svet. Môže aktualizovať záznam, poslať e-mail, vytvoriť tiket, schváliť transakciu, odomknúť prístup, vymazať obsah alebo spustiť pracovný postup. Keď sa model posunie z návrhu na konanie, opatrovníctvo musí zahŕňať povolenia, validáciu argumentov, prechody stavov, idempotenciu, potvrdenky a vrátenie zmien. Výstup modelu už nie je len obsah. Je to navrhovaný čin.
Opatrovníctvo nástrojov sa začína úzkou autoritou. Model by nemal dostať široký prístup na zápis len preto, že výzva sľubuje, že sa bude správať. Brána by mala vedieť, ktorý nástroj možno volať, kým, na akú úlohu, s akými argumentmi a za akých dôkazových podmienok. Niektoré volania by mali vyžadovať schválenie človekom. Niektoré by mali byť iba na čítanie. Niektoré by mali byť nemožné. Typované rozhranie nástroja je menej efektné ako ukážka autonómnej práce. Je však oveľa ľahšie vysvetliteľné regulátorovi, zákazníkovi alebo unavenému inžinierovi o druhej v noci.
Opatrovníctvo nástrojov tiež znamená, že systém dokáže zrekonštruovať, čo sa stalo. Ktorý výstup navrhol volanie. Ktoré dôkazy ho podporili. Ktorý používateľ alebo rola ho schválila. Ktorý stav sa zmenil. Ktorý externý systém ho potvrdil. Aká kompenzačná akcia existuje, ak bol nesprávny. Bez tohto záznamu sa autonómne konanie stáva stratou inštitucionálnej pamäte rýchlosťou stroja. Konanie sa stalo. Vysvetlenie sa stáva skupinovým projektom.
Existuje jednoduché pravidlo, ktoré sa oplatí zachovať: čím viac môže systém umelej inteligencie meniť, tým silnejšie musí byť opatrovníctvo. Návrh odseku si vyžaduje opatrovníctvo zdrojov a výziev. Zoraďovanie frontu si vyžaduje opatrovníctvo údajov, politík a odvolaní. Volanie nástroja na zápis si vyžaduje transakčné opatrovníctvo. Ovplyvnenie práv, peňazí, zdravia, prístupu alebo bezpečnosti si vyžaduje vážne opatrovníctvo v celom reťazci. Slovo autonómia by sa nemalo nechať vznášať nad týmito rozdielmi ako balón na veľtrhu obstarávania.
Retencia je súčasť inteligencie
Tímy pracujúce s AI sa často zameriavajú na to, čo systémy vedia. Opatrovníctvo sa tiež pýta, čo by systémy mali zabudnúť. Retencia nie je administratívny dodatkový proces. Formuje riziko, zodpovednosť, súkromie a učenie. Ak sa pracovný kontext vymaže príliš rýchlo, organizácia nedokáže vysvetliť rozhodnutia. Ak sa uchováva príliš dlho, organizácia hromadí citlivý materiál bez živého účelu. Ak sa odvodené artefakty nesledujú, vymazávanie sa stáva divadlom. Ak konečné záznamy nemajú pôvod, uchovávanie sa stáva zásuvkou plnou sebavedomých fragmentov.
Správny návrh uchovávania oddeľuje vrstvy. Surové výzvy môžu byť krátkodobé alebo redigované. Identifikátory zdrojov môžu byť uchovávané dlhšie ako text zdroja. Konečné rozhodovacie záznamy môžu byť uchovávané podľa zákonných pravidiel. Auditné hashe môžu prežiť vymazanie obsahu. Príklady na vyhodnotenie môžu byť anonymizované. Potvrdenia o nástrojoch môžu vyžadovať uchovávanie na úrovni transakcií. Návrh závisí od rizika a účelu. Dôležité je, že uchovávanie by malo byť zámerné, nie také, aké sa náhodou stalo v logovacom systéme v deň spustenia.
Pre AI je zabúdanie technicky zložité, pretože fakty môžu byť skopírované do súhrnov, vložení, vyrovnávacích pamätí, tiketov, snímok obrazovky, exportov a tréningových sád. Custody to nerieši tým, že predstiera, že vymazanie je jednoduché. Rieši to tým, že vie, kde sa vytvárajú odvodené artefakty, ktoré z nich obsahujú osobné alebo citlivé údaje, ako ich možno zneplatniť a ktoré záznamy musia preukázať, že k zneplatneniu došlo. Fráza vymazať údaje nie je plán. Je to úvodná veta.
Existuje aj napätie v učení. Organizácie chcú uchovávať príklady na zlepšenie systému. Ľudia majú práva na opravu, vymazanie, dôvernosť a spravodlivé zaobchádzanie. Custody je spôsob, ako sa tieto záujmy vyjednávajú bez mávania rukou. Uchovajte dosť na učenie a zodpovednosť. Odstráňte alebo oddeľte to, čo nie je potrebné. Zachovajte dôkaz o oprave. Vyraďte zastarané príklady. Netrénujte na materiáli len preto, že sa povaľoval a vyzeral vzdelávaco. Tento posledný zvyk spôsobil viac problémov s riadením, než mnohé strategické dokumenty kedy priznajú.
Custody robí ľudí viac než len pečiatkami
Ľudský dohľad je slabý, keď ľudia dostanú odpoveď bez kontextu custody. Recenzent vidí vyleštený text a zelený indikátor spoľahlivosti. Nevidí aktuálnosť zdrojov, vylúčené dokumenty, verziu výzvy, konflikt pri vyhľadávaní, autoritu nástrojov ani predchádzajúce opravy. Je požiadaný, aby schválil odpoveď, ale nedostane reťazec. To nie je dohľad. To je ceremónia s tlačidlom.
Custody dáva ľuďom materiály potrebné na úsudok. Ukazuje, čo systém použil, čo nepoužil, čo mu bolo dovolené urobiť, aká neistota zostáva, aká akcia sa navrhuje a čo sa zaznamená, ak človek schváli. Umožňuje recenzentovi nesúhlasiť spôsobom, z ktorého sa systém môže učiť. Umožňuje nadriadenému skúmať vzorce. Umožňuje dotknutej osobe napadnúť výsledok. Umožňuje audítorovi rekonštruovať správanie bez vypočúvania polovice organizácie a jedného vyslúžilého konzultanta.
Tiež chráni ľudí pred obviňovaním za nejednoznačnosť systému. Ak recenzent schválil výstup bez prístupu k zdrojom, pretože rozhranie ho skrylo, je to zlyhanie návrhu. Ak tím dôveroval modelu, pretože systém označil návrh ako pripravený, je to zlyhanie custody. Ak operátor nemohol vymazať odvodený materiál, pretože ho nikto nesledoval, nie je to morálna slabosť operátora. Custody prideľuje zodpovednosť reťazcu, nielen najbližšej osobe, ktorá drží výsledok, keď sa niečo pokazí.
Dobrá custody preto robí ľudskú autoritu reálnejšou. Nezahrabáva ľudí do logov. Balí dôkazy na správnej úrovni. Používateľ v prvej línii môže potrebovať názvy zdrojov, aktuálnosť a dôvod odmietnutia. Špecialista môže potrebovať hlbšiu stopu. Audítor môže potrebovať podpísané záznamy. Poverenec pre ochranu údajov môže potrebovať históriu uchovávania a prístupu. Custody je vrstvená, pretože zodpovednosť je vrstvená. Hádzať všetky logy na každého nie je transparentnosť. Je to dokumentový konfety.
Custody je prevádzková slučka
Custody nie je jednorazový architektonický diagram. Je to slučka. Nový prípad použitia sa klasifikuje. Pomenujú sa údaje a artefakty, s ktorými bude pracovať. Práva a účely sa viažu. Systém beží v rámci týchto limitov. Výstupy a akcie sa potvrdzujú. Výnimky sa preskúmavajú. Opravy aktualizujú reťazec. Artefakty sa uchovávajú, redigujú alebo vyraďujú. Slučka sa opakuje, keď sa zmenia politiky, modely, dodávatelia, údaje alebo práca.
Táto slučka je dôležitá, pretože systémy AI sa pohybujú. Zmení sa verzia modelu. Prebuduje sa index vyhľadávania. Aktualizuje sa politika. Dodávateľ zmení nastavenia uchovávania. Nový tím skopíruje prompt. Nástroj získa nové povolenie. Asistent s nízkym rizikom sa stane súčasťou rozhodovacieho pracovného postupu. Bez slučky starostlivosti sa každá zmena stane malým nezaznamenaným únikom. Po roku má organizácia systém, ktorý stále funguje, ale už nezodpovedá príbehu o správe. Toto je bežné. Nie je to však nevyhnutný osud.
Prevádzka starostlivosti si vyžaduje vlastníkov. Niekto vlastní zdrojovú autoritu. Niekto vlastní verzie promptov. Niekto vlastní schvaľovanie modelov. Niekto vlastní brány nástrojov. Niekto vlastní záznamy a uchovávanie. Niekto vlastní opravné postupy. Títo vlastníci nemusia sedieť v jednom oddelení, ale ich zodpovednosti sa musia stretávať. Inak sa starostlivosť stane nástennou tabuľou so šípkami smerujúcimi do hmly, žánrom, ktorý je v digitálnej transformácii už nadmerne zastúpený.
Ponaučenie
AI potrebuje menej mágie a viac starostlivosti, pretože organizácie nespravujú úžas. Spravujú záznamy, práva, nástroje, ľudí, účely a zmeny. Model môže byť pozoruhodný, ale inštitúcia zostáva zodpovedná za to, čo systém držal, transformoval, uvoľnil, uložil, opravil a zabudol. Považovať odpoveď za výkon nestačí. Odpoveď potrebuje reťazec.
Starostlivosť neznamená zmraziť AI pod byrokraciou. Znamená to umožniť vážne používanie. Dáva tímom dôveru, že údaje sa používajú na správny účel, prompty sú verzované, nástroje sú ohraničené, ľudia dostávajú dôkazy, záznamy prežívajú a artefakty sa vyraďujú, keď ich účel skončí. Umožňuje organizáciám automatizovať bez predstierania, že automatizácia rozpúšťa zodpovednosť. Umožňuje im učiť sa bez hromadenia. Umožňuje im vysvetľovať bez prehrabávania sa.
Praktický posun je mierny a náročný. Prestaňte sa pýtať len, či model dokáže odpovedať. Pýtajte sa, čo systém držal, aby vytvoril odpoveď, kto s tým mohol narábať, čo sa zmenilo, čo sa zaznamenalo, čo možno spochybniť a kedy by artefakty mali opustiť starostlivosť. To je menej magické. Dobre. Mágia je zlý kontrolný rámec. Starostlivosť je tichšia, ťažšia a oveľa pravdepodobnejšie bude stále fungovať, keď sa niekto opýta, čo sa stalo.