Keď sa správa stane problémom za behu

Riadenie AI prestáva byť len záležitosťou predstavenstva, keď sa modely, nástroje, dáta, politiky, rozpočty a odvolania musia kontrolovať počas práce v...

Keď sa správa stane problémom za behu

Politika, ktorá nestihla žiadosť

Rokovanie o správe bolo dôkladné. Riziká boli vymenované. Prípad použitia bol klasifikovaný. Zdroje údajov boli schválené. Právny základ bol zaznamenaný. Ľudský dohľad bol vyžadovaný pre prípady s vysokým vplyvom. Zápisnica bola dostatočne čistá na to, aby úradníkovi pre dodržiavanie predpisov na chvíľu vrátila vieru v civilizáciu. Potom systém spustili a prvá nepríjemná žiadosť prišla o 09:14 v utorok.

Žiadosť sa nestarala o to, že výbor zasadal mesačne. Niesla so sebou rolu používateľa, súbor zákazníka, verziu politiky, trasu modelu, povolenie nástroja, otázku o umiestnení údajov, rozpočtový limit a potenciálny vonkajší vplyv. Pracovný postup sa musel v priebehu sekúnd rozhodnúť, či načítať, generovať, eskalovať, odmietnuť, zaznamenať, upozorniť alebo konať. Správa už nebola dokumentom za systémom. Stala sa problémom počas behu systému.

Tu mnohé AI programy pocítia, ako sa im pôda trasie pod nohami. Návrh správy nemusel byť nevyhnutne nesprávny. Predstavenstvo nebolo nerozumné. Jazyk politiky mohol byť dokonca dobrý. Problém je v tom, že AI systémy pracujú v pohybe. Načítavajú aktuálny kontext, volajú nástroje, prekračujú hranice služieb, opätovne používajú údaje, vytvárajú nové artefakty a pozývajú ľudí, aby sa na výstupy spoliehali. Politika, ktorá sa do tohto pohybu nedokáže zapojiť, sa stáva referenčnou príručkou. Užitočnou, možno. Nie dostatočnou.

Správa počas behu znamená, že systém dokáže vyhodnocovať podmienky správy, kým práca prebieha. Kto žiada. Na aký účel. Ktoré údaje sa môžu použiť. Ktorý model je povolený. Ktorý nástroj môže konať. Ktorá jurisdikcia sa uplatňuje. Ktorý rozpočet je prijateľný. Ktoré prípady si vyžadujú ľudské posúdenie. Ktorý záznam sa musí zapísať. Ktorá cesta existuje pre námietku. Toto nie sú len otázky obstarávania alebo výročného preskúmania. Sú to otázky cesty žiadosti.

Správa prestáva byť vzdialeným prísľubom, keď živá cesta žiadosti musí pred pohybom práce skontrolovať oprávnenia, limity a dôkazy.

Dokumenty stále majú význam

Je módne pokúšanie sa zosmiešňovať dokumenty o správe. Politiky, registre, posúdenia vplyvu, rámce rizík, preskúmania dodávateľov, modelové karty, DPIA, poznámky k obstarávaniu, plány uchovávania. Môžu sa skutočne stať ozdobnými. Niektoré dokumenty sú napísané s pochmúrnou eleganciou ľudí, ktorí vedia, že nikto neprečíta viac ako piatu stranu. Ale odpoveďou nie je opovrhovať dokumentmi. Odpoveďou je prestať predstierať, že sú konečnou podobou správy.

Dokumenty opisujú zámer, zodpovednosť, rozsah, riziko a interpretáciu. Vytvárajú inštitucionálnu pamäť. Umožňujú ľuďom argumentovať pred nasadením namiesto po škode. Dávajú audítorom, kupujúcim, inžinierom, právnikom a manažérom spoločný povrch. To je cenné. Riadenie za behu systému na tom závisí. Systém nemôže vyhodnotiť politiku, ktorú nikto nenapísal. Nemôže vynútiť účel, ktorý nikto nedefinoval. Nemôže uchovávať dôkazy podľa harmonogramu, ktorý neexistuje.

Problém začína, keď sa s dokumentom zaobchádza, akoby sa vykonával. Politika hovorí, že výstupy s vysokým rizikom vyžadujú kontrolu, ale pracovný postup nemá stav pre vyžadovanú kontrolu. Posúdenie rizika hovorí, že model nesmie používať citlivý zdroj, ale vyhľadávanie nemá ochranu rozsahu zdroja. Nákupná poznámka hovorí, že dodávateľ musí podporovať audit, ale integrácia ukladá iba agregované protokoly. Harmonogram uchovávania hovorí, že záznamy expirujú, ale vytvorené artefakty putujú do nadväzujúcich systémov bez pôvodu. Dokument urobil svoju časť. Systém za behu nedostal správu, čo nie je metafora, keď bola správa doslova odoslaná e-mailom.

Dobré riadenie preto má krok prekladu. Napísaná politika sa stáva podmienkami za behu systému: brány, roly, prahy, schémy, protokoly, upozornenia, odvolacie cesty, pravidlá uchovávania a kontroly vydania. Nie každá veta sa stane kódom. Časť úsudku zostáva na ľuďoch. Ale systém musí vedieť, ktoré časti sú prevádzkové. Inak sa riadenie stane slávnostnou strechou nad budovou bez stien.

Cesta požiadavky je miestom, kde sa sľuby testujú

Riadenie umelej inteligencie sa často diskutuje na úrovni systémov. Je tento systém schválený. Je tento model dôveryhodný. Je tento prípad použitia prijateľný. Tieto otázky sú dôležité, ale skutočné riziko sa objavuje na úrovni požiadaviek. Ten istý systém môže byť nízkorizikový pre jedného používateľa a vysokorizikový pre iného. Ten istý model môže byť prijateľný na návrh a neprijateľný na autonómne konanie. Tie isté údaje môžu byť povolené pre podporu a zakázané pre marketing. Tá istá odpoveď môže byť neškodná interne a závažná, keď sa odošle von.

Riadenie za behu systému vidí tieto rozdiely, pretože vyhodnocuje kontext. Požiadavka od vyškoleného zamestnanca v rámci úzkeho účelu nie je to isté ako požiadavka od externého používateľa so širokým prístupom k nástrojom. Dotaz nad verejnou dokumentáciou nie je to isté ako vyhľadávanie v citlivom spise prípadu. Návrh správy nie je to isté ako odoslaná správa. Odporúčanie, ktoré človek môže ignorovať, nie je to isté ako rozhodnutie, ktoré aktualizuje záznam. Cesta požiadavky je miestom, kde sa tieto rozdiely stávajú skutočnými.

To neznamená, že každá požiadavka potrebuje právny seminár. Znamená to, že systém by mal niesť dostatok kontextu na správne smerovanie. Identita, účel, trieda údajov, trieda vplyvu, schválenie modelu, rozsah nástrojov, jurisdikcia, reverzibilita, ľudská úloha a požiadavka na dôkazy. Mnohé kontroly sú jednoduché, keď sú pomenované. Ťažká časť nie je vždy výpočet. Ťažká časť je priznať, že kontext záleží, a odmietnuť ho vyhladiť kvôli pohodliu.

Pohodlie je miesto, kde sa riadenie za behu systému zvyčajne stráca. Vývojár pridá skratku, pretože fronta kontrol je pomalá. Produktový tím znovu použije zdroj údajov, pretože názvy polí sa zhodujú. Manažér schváli dočasnú výnimku, pretože vydanie je blízko. Výzva získa novú inštrukciu, pretože politická brána nie je pripravená. Každý krok môže byť pochopiteľný. Spolu vytvárajú systém, kde riadenie existuje v duchu a zlyháva v ceste. Duch je slabá závislosť za behu systému.

Politické brány nie sú vlastníkmi politík

Runtime brána môže vynútiť podmienku, ale nevlastní jej význam. Tento rozdiel je dôležitý. Vlastník politiky rozhoduje, ktoré prípady vyžadujú preskúmanie, ktoré zdroje sú povolené, aká doba uchovávania platí a ktoré škody sú dôležité. Brána uplatňuje tieto rozhodnutia rýchlo. Ak si organizácia tieto dve veci zamení, inžiniering sa potichu stane politikou, alebo politika začne predstierať, že detail implementácie je niekoho iného problém.

Zdravý vzor je zmluva medzi politikou a runtime. Vlastníci politiky definujú pravidlá, limity, výnimky a povinnosti preskúmania. Inžinieri implementujú brány, testy, záznamy a režimy zlyhania. Operátori monitorujú, či brány fungujú podľa očakávania. Recenzenti poskytujú spätnú väzbu tam, kde pravidlá vytvárajú absurdné výsledky. Riadiace orgány preskúmavajú dôkazy a menia politiku, keď sa realita ukáže byť nepríjemná. Toto je riadenie ako slučka, nie ako zarámované PDF.

Politické brány tiež potrebujú verzovanie. Žiadosť spracovaná podľa minulomesačného pravidla by nemala byť neskôr posudzovaná tak, ako keby dnešné pravidlo existovalo už vtedy. Čakajúci prípad môže prekročiť vydanie politiky. Model môže vytvárať návrhy pod jedným limitom a akcie pod iným. Ak systém zaznamenáva iba aktuálny stav politiky, audity sa stanú cestovaním v čase so zlým značením. Záznam musí uviesť, ktorá verzia pravidla sa vzťahovala na ktorý prechod.

Je tu mierna disciplína, ktorá ušetrí veľa drámy. Zaobchádzajte s politikou ako so živou závislosťou. Dajte jej identifikátory. Dajte jej vlastníkov. Testujte ju. Zavádzajte ju postupne. Vráťte ju späť. Pozorujte ju. Zaznamenávajte jej rozhodnutia. Toto nerobí politiku mechanickou. Robí mechanickú časť dostatočne čestnou na to, aby ľudia mohli riadiť zvyšok.

Lokalita mení riadenie na smerovanie

Lokalita dát sa kedysi diskutovala ako problém úložiska. Kde je databáza. Ktorý región. Ktorý dodávateľ. Ktorá záloha. V systémoch AI sa lokalita stáva aktívnejšou. Vyhľadávanie môže ťahať dáta z jedného regiónu, model môže bežať v inom, nástroj môže volať službu tretej strany a ľudský recenzent môže byť pod iným právnym režimom. Otázka už nie je len to, kde dáta odpočívajú. Je to to, kde práca prekračuje hranice.

Runtime riadenie preto musí smerovať podľa lokality. Niektoré dáta môžu opustiť zariadenie iba ako agregát. Niektoré záznamy môžu byť spracované v jednej jurisdikcii, ale nie v inej. Niektorí dodávatelia môžu byť schválení pre nízku citlivosť a blokovaní pre vyššie triedy. Niektoré trasy modelov môžu byť povolené pre verejný text, ale nie pre osobné súbory. Niektoré protokoly môžu zostať lokálne, aj keď je volanie modelu vzdialené. Tieto voľby sa nedajú vyriešiť iba pri nákupe. Živá žiadosť nesie odpoveď.

Lokalita nie je len právo. Je to výkon, odolnosť, bezpečnosť, náklady a inštitucionálna kontrola. Lokálny model môže byť pomalší, ale prijateľnejší pre citlivú prácu. Vzdialená služba môže byť lacnejšia, ale nevhodná pre určité záznamy. Regionálny index môže znížiť latenciu, ale vytvoriť divergenciu verzií. Dodávateľ môže podporovať šifrovanie, ale nie exportný formát potrebný pre audit. Runtime riadenie magicky nerieši tieto kompromisy. Robí ich explicitnými predtým, ako systém pošle prácu cez hranicu.

Alternatívou je skryté smerovanie. Pracovný postup volá akýkoľvek endpoint, ktorý je po ruke. Endpoint volá ďalšiu službu. Protokoly sa presúvajú inde. Odvodené dáta sa objavujú v analytike. O šesť mesiacov sa niekto spýta, kam šiel prípad. Odpoveď vyžaduje diagram, dvoch inžinierov a prekvapivé množstvo optimizmu. Toto nie je riadenie. Je to kartografia po expedícii.

V systémoch umelej inteligencie je lokalita živým problémom smerovania. Príslušná hranica sa môže objaviť v rámci jedinej požiadavky.

Rozpočty sú riadenie, nie účtovnícka drobnosť

O rozpočtoch umelej inteligencie sa často hovorí až po doručení faktúr, čo je trochu neskoro, podobne ako zatvárať maštaľ, keď kôň už odišiel. Náklady sú otázkou riadenia počas prevádzky, pretože neriadené náklady menia správanie. Tímy vypínajú trasovanie. Skracujú vyhodnocovanie. Vyhýbajú sa ľudskej kontrole. Znižujú kvalitu zdrojov. Dávkujú príliš agresívne. Nechávajú slučky agentov blúdiť. Problém s nákladmi sa stáva problémom kontroly s účtovníctvom navrchu.

Systém počas prevádzky by mal poznať rozpočet ako súčasť trasy. Koľko volaní modelu môže táto požiadavka vykonať. Ktoré nástroje sú povolené. Koľko kontextu je opodstatnené. Koľko opakovaní. Kedy by sa mal agent zastaviť. Kedy je prijateľná lacnejšia trasa. Kedy si prípad s veľkým dosahom zaslúži drahšie dôkazy. Náklady nie sú len strop. Sú spôsobom, ako vyjadriť priority a zabrániť nekontrolovanému správaniu.

Rozpočtové zábrany tiež znižujú bezpečnostné riziko. Slučka, ktorá spaľuje peniaze, môže tiež opakovať akcie, duplikovať správy, uzamykať záznamy alebo zahlcovať dodávateľa. Proces získavania, ktorý stiahne príliš veľa údajov, môže zvýšiť riziko narušenia súkromia. Úloha sumarizácie, ktorá spracuje každý dokument, môže vytvoriť odvodené záznamy s novými povinnosťami. Limity krokov, kvóty, zrušenie a metriky nákladov na užitočný výsledok sú kontrolné mechanizmy riadenia. Nie sú také vznešené ako vyhlásenia o hodnotách a skôr zastavia stroj v správnom okamihu.

To neznamená, že najlacnejšia trasa je zodpovedná trasa. Niekedy silnejšie dôkazy stoja viac. Niekedy lokálne spracovanie stojí viac a napriek tomu je správne. Niekedy je ľudská kontrola drahá, pretože o to ide. Riadenie počas prevádzky by malo tieto voľby zviditeľniť. Cieľom nie je lacná umelá inteligencia. Cieľom je umelá inteligencia, ktorej náklady, dôkazy a riziko sú pochopené počas prebiehajúcej práce.

Spôsoby zlyhania majú známy zápach

Zlyhania riadenia počas prevádzky málokedy prichádzajú s označením. Ich zápach je známy. Odklon od politík. Tieňové nástroje. Prekračovanie právomocí. Chýbajúce odvolanie. Rozpočtové slučky. Zastaraný súhlas. Toto nie sú exotické príšery umelej inteligencie. Sú to bežné organizačné zlyhania zrýchlené softvérom. To je takmer horšie, pretože bežné zlyhania sa dajú ľahko ospravedlniť, kým sa nestanú infraštruktúrou.

K politike dochádza, keď sa zmení písané pravidlo a runtime trasa nie, alebo sa zmení runtime trasa a písané pravidlo nie. Tieňové nástroje sa objavia, keď tímy obchádzajú pomalé kontroly neoficiálnymi integráciami. K prekročeniu právomocí dochádza, keď systém schválený na podporu začne potichu ovplyvňovať vymáhanie, ceny alebo prístup. Chýbajúce odvolanie sa objaví, keď používatelia dostanú výsledok formovaný AI, ale nemôžu ho napadnúť spôsobom, ktorý sa dostane do záznamu. K rozpočtovým slučkám dochádza, keď agenti alebo dávkové úlohy míňajú prostriedky aj po skončení užitočnej práce. K zastaranému súhlasu dochádza, keď sa staré povolenia považujú za čerstvé, pretože nikto neurobil súhlas súčasťou cesty požiadavky.

Užitočná reakcia nie je panika. Je to inštrumentácia. Pomenujte spôsob zlyhania. Pridajte ochranu tam, kde sa mu dá predísť. Pridajte upozornenie tam, kde sa dá zistiť. Pridajte vlastníka tam, kde sa dá opraviť. Pridajte záznam tam, kde sa musí auditovať. Niektoré zlyhania si vyžadujú zmenu politiky. Niektoré si vyžadujú zmenu rozhrania. Niektoré si vyžadujú dátové kontrakty. Niektoré si vyžadujú disciplínu pri obstarávaní. Runtime governance pomáha, pretože organizácii dáva miesto, kam môže ukotviť opravu.

Odhaľuje aj nepríjemné pravdy. Brána môže ukázať, že populárnemu prípadu použitia chýba právny základ. Kontrola súhlasu môže ukázať, že dátové potrubie nie je také upratané, ako tvrdí prezentácia. Rozpočtový limit môže ukázať, že obchodný prípad funguje len vtedy, keď je hodnotenie podfinancované. Záznam o odvolaní môže ukázať, že nespravodlivé výsledky vytvára politika, nie model. Dobré dôkazy o governance sú nezdvorilé. To je jedna z ich najlepších vlastností.

Runtime governance pomenúva zlyhanie, kým systém stále beží, nielen až potom, čo postmortem objaví prídavné mená.

Ľudská governance musí zostať v slučke

Runtime governance nie je plán, ako odstrániť ľudí z governance. Práve naopak. Dáva ľuďom lepšie miesta na zásah. Správna rada nemôže vyhodnotiť každú požiadavku. Vlastník politiky nemôže schváliť každé volanie nástroja. Právnik nemôže sedieť pri každom rozhodnutí o vyhľadávaní. Recenzent nemôže skontrolovať každý návrh s nízkym rizikom. Systém musí zvládnuť bežné kontroly. Ľudia musia vlastniť pravidlá, výnimky, sporné prípady, interpretáciu a opravy.

Kľúčom je návrh eskalácie. Kedy by sa mal systém zastaviť a opýtať sa. Kedy by mal odmietnuť bez otázky. Kedy by mal povoliť a zaznamenať. Kedy by mal vzorkovať na neskoršiu kontrolu. Kedy by sa opakované signály s nízkym rizikom mali stať vzorom s vysokým rizikom. Kedy by sťažnosť používateľa mala znovu otvoriť uzavretý stav. Toto sú rozhodnutia o governance. Nemali by byť skryté vo výzvach, predvolených nastaveniach frontov alebo v hrdinskom úsudku toho, kto práve slúži.

Dôkazy z prevádzky zlepšujú ľudské riadenie, pretože výborom poskytujú niečo lepšie ako anekdoty. Riadiaca skupina vidí, ako často brány blokovali, kde sa výnimky zhlukovali, ktoré odvolania uspeli, ktorí dodávatelia spôsobovali trenice, ktoré politiky spomaľovali prácu a ktoré modelové trasy vytvárali incidenty. Potom sa stretnutie zameria na dôkazy. Stále môže byť dlhé. Nemali by sme sľubovať zázraky. Ale aspoň má šancu byť užitočné.

Ľudia sú tiež naďalej potrební, pretože politika niekedy konfliktuje s realitou. Pravidlo môže byť právne správne a prevádzkovo kruté. Zdroj údajov môže byť povolený a napriek tomu spoločensky rizikový. Model môže fungovať dobre v súhrne a zlyhať pri zraniteľnom okrajovom prípade. Rozpočtový limit môže šetriť peniaze a vytvárať nespravodlivé oneskorenia. Prevádzkové systémy dokážu tieto konflikty odhaliť. Ľudia musia rozhodnúť, čo znamenajú.

Riadenie prevádzky mení obstarávanie

Nákup umelej inteligencie bez podpory riadenia prevádzky je nákup budúcej neistoty. Dodávateľ môže mať vynikajúce modely, príjemné ukážky, certifikácie a sebavedomé prezentácie. Praktické otázky sú menej atraktívne. Dokáže systém zverejniť rozhodnutia o politikách pre každú požiadavku. Dajú sa model a verzie promptov zafixovať. Dá sa lokalita údajov vynútiť dynamicky. Dajú sa volania nástrojov ohraničiť a zaznamenať. Dajú sa protokoly oddeliť podľa účelu. Dajú sa dôkazy exportovať v použiteľnom formáte. Môže inštitúcia odísť so svojimi záznamami. Dá sa prípad prehrať, keď dodávateľ zmenil svoju platformu.

Tieto otázky nie sú voči dodávateľom nepriateľské. Sú dospelé. Dodávateľ, ktorý podporuje riadenie prevádzky, pomáha kupujúcemu konať zodpovedne. Dodávateľ, ktorý to nedokáže, môže byť stále užitočný pre úlohy s nízkym rizikom, ale kupujúci by mal poznať hranicu. Najhorší výsledok je predstierať, že všeobecná schopnosť je vhodná na závažnú prácu len preto, že ukážka neobsahovala problém s riadením. Ukážky ho zriedka obsahujú. Preto sa hodia do miestností s občerstvením.

Obstarávanie by sa malo pýtať aj na zlyhanie. Čo sa stane, keď je politická brána nedostupná. Zlyhá systém zatvorený, otvorený, alebo presmeruje na preskúmanie. Čo sa stane, keď je model vyradený. Čo sa stane, keď sa región stane nedostupným. Čo sa stane, keď sa vyžiada auditný export. Čo sa stane, keď používateľ požiada o vymazanie. Čo sa stane, keď protokoly obsahujú citlivé údaje. Odpoveď na riadenie sa často skrýva v spôsobe zlyhania.

Riadenie prevádzky nevyžaduje, aby každý dodávateľ odhalil každú internú metódu. Vyžaduje, aby bola hranica služby zodpovedná. Kupujúci potrebuje dostatok kontroly a dôkazov na plnenie vlastných povinností. Ak môže komponent typu čierna skrinka bezpečne sedieť za riadenou hranicou, dobre. Ak je samotná hranica čiernou skrinkou, kupujúci outsourcoval nielen schopnosť, ale aj časť svojej schopnosti zodpovedať za prácu.

Riadenie ako prevádzková slučka

Vyspelý vzor je prevádzková slučka. Vnímajte, čo sa deje. Vyhodnoťte kontext. Zablokujte akciu. Konajte v rámci limitov. Preskúmajte výsledky. Aktualizujte pravidlá, údaje, modely a rozhrania. Táto slučka beží rôznymi rýchlosťami. Niektoré kontroly prebiehajú pri každej požiadavke. Niektoré denne. Niektoré po vydaní. Niektoré štvrťročne. Niektoré po incidentoch. Dôležité je, že slučky sú prepojené. Sťažnosť by sa mala dostať k vyhodnoteniu. Odvolanie by sa malo dostať k politike. Zmena politiky by sa mala dostať k bránam. Upgrade modelu by sa mal dostať k testom. Incident dodávateľa by sa mal dostať k smerovaniu.

Takto sa riadenie stáva menej divadelným. Prestáva byť súborom ceremónií okolo systému a stáva sa vlastnosťou prevádzky systému. Organizácia môže mať naďalej výbory, registre, politiky a správy. Mala by. Ale tieto artefakty sú teraz prepojené so živými dôkazmi. Stretnutie o riadení sa môže pýtať, čo systém urobil, nielen to, čím systém tvrdí, že je.

Prevádzková slučka robí správu adaptívnejšou. AI systémy sa menia. Zákony sa menia. Dáta sa menia. Správanie používateľov sa mení. Modely sa menia. Podmienky dodávateľov sa menia. Statické schválenie to všetko nemôže pokryť. Riadenie za behu nerieši neistotu zamrznutím sveta. Organizácii dáva spôsob, ako zisťovať, rozhodovať a aktualizovať bez straty zodpovednosti za predchádzajúce rozhodnutia.

Slučka musí mať pamäť. Inak sa adaptácia stáva tichým prepisovaním. Keď sa zmení pravidlo, staré prípady stále potrebujú svoj starý kontext. Keď sa vyradí modelová trasa, minulé rozhodnutia stále potrebujú vysvetlenie. Keď sa odstráni zdroj, odvodené výstupy stále potrebujú pôvod. Riadenie za behu by malo podporovať zmeny bez vymazania dôvodov, ktoré boli predtým. To je nudná veta s veľkými dôsledkami.

Správa sa stáva trvalou, keď živé dôkazy menia ďalšie pravidlo a ďalšie pravidlo zostáva prepojené so záznamom, ktorý nahradilo.

Ponaučenie

Správa sa stáva problémom za behu, keď sa AI systémy pohybujú rýchlejšie, širšie a kontextovejšie, než dokážu zvládnuť artefakty predstavenstva samy. Odpoveďou nie je opustiť dokumenty správy ani nahradiť ľudský úsudok kódom. Odpoveďou je prepojiť dokumenty, roly, politiky, brány, záznamy a slučky preskúmania tak, aby správa mohla fungovať počas prebiehajúcej práce.

Riadenie za behu kontroluje identitu, účel, dáta, lokalitu, modelovú trasu, oprávnenia nástrojov, rozpočet, ľudské preskúmanie, dôkazy, odvolania a uchovávanie v živej ceste. S politikami zaobchádza ako so živými závislosťami. Zámerne presmerúva cez právne a prevádzkové hranice. Zaznamenáva, ktoré pravidlo sa použilo. Pomenúva režimy zlyhania skôr, než sa stanú zvykom. Ľuďom dáva dôkazy namiesto anekdot.

Toto je menej romantický pohľad na správu a užitočnejší. Vážna otázka nie je, či má organizácia rámec riadenia AI. Vážna otázka je, čo sa stane o 09:14 v utorok, keď skutočná požiadavka chce, aby sa systém pohol. Ak je odpoveď skontrolovaná, ohraničená, zaznamenaná a preskúmateľná, správa beží. Ak je odpoveď, že politika je v priečinku, správa stále čaká na úradné hodiny.