Európa nemôže regulovať to, čo nemôže skontrolovať
Vypočutie s krásnou schémou
Naj elegantnejšia architektonická schéma, akú som kedy videl na verejnom vypočutí, nemala žiadnu prevádzkovú hodnotu. Premietali ju na stenu v miestnosti s výbornými mikrofónmi a sklamaním z kávy. Systém, o ktorom sa diskutovalo, ovplyvňoval rozhodnutia o oprávnenosti pre tisíce ľudí. Dodávateľ ukázal čistý stack: dáta, model, pravidlá, workflow, ľudskú revíziu, reportovanie. Šípky boli rovné. Farby boli zdržanlivé. Snímka mala pokoj, ktorý sa objaví len vtedy, keď nie je pozvaný žiadny front, výnimka, export, patch ani nahnevaný používateľ.
Člen výboru položil jednoduchú otázku. Mohol by regulátor preskúmať skutočné rozhodnutie od vstupu po výsledok. Nie zhrnutie. Nie vzorku vybranú dodávateľom. Nie snímku obrazovky z dashboardu. Skutočný prípad s údajmi dostupnými v danom čase, verziou pravidiel, verziou modelu, prístupovými právami, ľudským zásahom, logmi a cestou k náprave. Miestnosť stíchla. Ľudia používali slová ako obchodne citlivé, proporcionálne, plán rozhraní a balík záruk. Nie vždy ide o vyhýbanie sa. Niekedy sú to úprimné opisy systémov postavených bez kontroly ako prvotriednej požiadavky.
Tento moment vystihuje európsky problém. Európa je pohodlná pri písaní povinností. Menej pohodlná je pri budovaní technických podmienok, ktoré tieto povinnosti robia kontrolovateľnými. Právo môže vyžadovať spravodlivosť, transparentnosť, zodpovednosť, riadenie rizík, výmaz, vysvetliteľnosť a ľudský dohľad. Ale ak systém nedokáže predložiť dôkazy, ak je pôvod dát nejasný, ak verzie modelov nie sú ukotvené, ak logy kontroluje kontrolovaná strana, ak sa rozhodnutia nedajú prehrať a ak obstarávanie prijíma divadlo ako dôkaz, regulácia sa stáva dobre oblečeným divákom. Európa nemôže regulovať to, čo nemôže kontrolovať.
Kontrola nie je zvedavosť
Kontrola sa niekedy považuje za byrokratickú chuť, akoby regulátori chceli jednoducho viac dokumentov, pretože šanóny pôsobia úradne. To je nepochopenie. Kontrola je praktická cesta od pravidla k náprave. Občan napadne rozhodnutie. Nemocnica zisťuje, či triage model zmenil správanie po aktualizácii. Obec chce vedieť, či signál podvodu použil zakázaný proxy. Škola sa pýta, prečo bolo dieťa označené na mimoriadne monitorovanie. Obstarávací tím potrebuje overiť, či výmaz dosiahol odvodené úložiská. Bez kontroly sa každý z týchto prípadov stáva vyjednávaním o viere.
Seriózna kontrola je užšia ako neobmedzený prístup a silnejšia ako tlačová správa. Žiada správne dôkazy na správnej úrovni. Aké dáta boli dostupné. Ktoré transformácie sa použili. Ktorý model, pravidlá, prompt, prah a politika brány bežali. Ktorý človek alebo automatizovaný aktér schválil výsledok. Ktoré logy ukazujú prístup. Ktorá alternatívna cesta bola možná. Ktorý mechanizmus nápravy existuje. Nejde o to, aby bol každý systém transparentný v mystickom zmysle. Ide o to, aby bolo dôsledkové správanie dostatočne preskúmateľné na to, aby sa dalo spochybniť, zlepšiť a vynútiť.
Digitálne systémy sú obzvlášť dobré v tom, že pôsobia zodpovedne, ale zostávajú ťažko kontrolovateľné. Produkujú dashboardy. Produkujú exporty. Produkujú výročné správy. Produkujú skóre dôveryhodnosti s emocionálnou stabilitou horoskopu. Nič z toho nie je kontrola, pokiaľ to nesúvisí so základnou stopou udalostí. Vyhlásenie o zhode môže byť pravdivé v duchu a zbytočné v spore. Agregovaná metrika môže skryť jednu skupinu, na ktorej záleží. Modelový list môže opisovať tréning, zatiaľ čo produkčné potrubie ticho zmenilo vyhľadávanie, prahy a záložné pravidlá. Kontrola začína tam, kde končí dekoratívna vrstva.
Európska sila je zároveň jej pascou
Európa má vážnu tradíciu verejného práva, ochrany spotrebiteľa, ochrany údajov, bezpečnosti výrobkov, pracovných práv, politiky hospodárskej súťaže a inštitucionálneho konania. Táto tradícia má význam. Dáva jazyk škodám, ktoré čistá trhová logika často berie ako počasie. Uznáva, že moc sa môže skrývať vo vnútri infraštruktúry. Trvá na tom, že ľudia dotknutí systémami si zaslúžia viac než pokrčenie plecami a stránku so zmluvnými podmienkami. Toto je sila, nie byrokracia pre byrokraciu.
Pascou je presvedčenie, že dobré právne koncepty sa automaticky stanú dobrými technickými kontrolami. Účelové obmedzenie sa neimplementuje samo. Nediskriminácia sa neobjaví preto, že dashboard má záložku férovosti. Ľudský dohľad neexistuje len preto, že unavený zamestnanec môže kliknúť na schválenie po tom, čo systém už zarámoval prípad. Transparentnosť nie je vlastnosťou PDF. Vymazanie nie je úplné, pretože primárna tabuľka odstránila riadok, zatiaľ čo vyrovnávacie pamäte, zálohy, indexy, exporty a tréningové sady pokračujú v tichom posmrtnom živote. Práva potrebujú mechanizmy.
Tieto mechanizmy nie sú očarujúce. Sú to verzované dáta, stabilné identifikátory, zdrojové záznamy, registre modelov, audítorské denníky, kontroly prístupu, politické brány, evaluačné sady, nástroje na prehrávanie, exportné formáty, postupy pre incidenty a nezávislé úložiská dôkazov. Je to schopnosť opýtať sa systému, čo sa stalo v utorok v marci, a dostať viac než dojmy vo formáte JSON. Európa často vyniká v pomenovaní povinnosti. Teraz musí byť rovnako vážna pri potrubí, ktoré povinnosti dáva zuby.
Čierna skrinka je často čiernym dodávateľským reťazcom
Keď ľudia hovoria o čiernych skrinkách umelej inteligencie, zvyčajne si predstavujú model ako nepriehľadný objekt. To môže byť pravda. Niektoré modely sa vnútorne interpretujú ťažko. Mnohé zlyhania správy sú však menej záhadné. Skrinka je čierna, pretože reťazec okolo modelu nie je preskúmaný. Nikto nevie povedať, ktoré zdrojové dokumenty boli v indexe. Nikto nevie ukázať, ktorá verzia promptu bežala. Nikto nevie oddeliť chybu modelu od chyby vyhľadávania. Nikto nevie, či záložná služba použila inú politiku. Nikto nedokáže dokázať, že vymazaný záznam stále nebol prítomný vo evalvačnej vzorke. Záhada nie je inteligencia. Je to účtovníctvo s lepším marketingom.
Audrovateľný systém umelej inteligencie má k dispozícii materiálový list rozhodnutí. Uvádza zdrojové kolekcie, licencie, stavy súhlasu, kontroly kvality údajov, kroky transformácie, modely vložení, pravidlá hodnotenia, váhy modelov, adaptéry, výzvy, bezpečnostné vrstvy, povolenia nástrojov, pravidlá ľudského preskúmania a politiku protokolovania. To znie ťažko, kým sa niečo nepokazí. Potom to znie ako minimum dospelého vybavenia v miestnosti. Bez toho sa každé vyšetrovanie zmení na zdvorilý lov cez portály dodávateľov, spomienky na Slacku a tabuľky s názvom final-final-real.
Myslenie v duchu dodávateľského reťazca tiež bráni lenivému obviňovaniu dodávateľa. Dodávateľ môže byť zodpovedný za niektoré vrstvy. Verejná inštitúcia, nemocnica, banka, škola alebo prevádzkovateľ platformy môže byť zodpovedný za iné. Obstarávanie mohlo akceptovať slabé vývozné práva. Inžinieri mohli vynechať dátové zmluvy. Právne oddelenie mohlo považovať audítorské protokoly za zmluvnú prílohu namiesto prevádzkových dôkazov. Manažment mohol odmeňovať rýchlosť uvedenia na trh viac ako audrovateľnosť. Regulácia funguje len vtedy, keď možno zodpovednosť priradiť vrstve, kde kontrola skutočne žije.
Samocertifikácia má svoj strop
Samohodnotenie je užitočné. Tímy by mali dokumentovať riziká, vykonávať hodnotenia, testovať kontroly a vysvetľovať dizajnové rozhodnutia. Vyspelí dodávatelia často poznajú svoje systémy lepšie ako ktokoľvek iný. Tvrdiť opak je detinské. Samocertifikácia má však svoj strop, pretože stimuly nie sú neutrálne. Tím, ktorý si opravuje vlastné domáce úlohy, môže byť stále čestný, ale čestnosť nie je architektúra. Regulátori a zákazníci potrebujú spôsoby, ako overiť tvrdenia, na ktorých záleží, bez toho, aby sa úplne spoliehali na kontrolovanú stranu.
To neznamená, že každý regulátor potrebuje neobmedzený prístup k zdrojovému kódu, osobným údajom, obchodným tajomstvám a produkčným systémom. To by nebolo ani primerané, ani rozumné. Znamená to, že audítorské rozhrania musia byť navrhnuté. Regulátor môže potrebovať podpísané protokoly, reprodukovateľné testovacie behy, exporty línie údajov, atestácie verzií modelov, potvrdenia o vymazaní, vzorky rozhodovacích záznamov, dôkazy z hodnotení a prístup k nezávislým audítorským artefaktom. Hranica môže byť úzka. Nemôže byť imaginárna.
Najlepšie audítorské režimy rešpektujú legitímnu dôvernosť a zároveň odmietajú dôkazovú prázdnotu. Dodávateľ by nemusel odhaliť každé tajomstvo, aby dokázal, že systém dodržal pravidlo. Mal by však odhaliť dostatok nezávisle overiteľných dôkazov, aby bolo možné pravidlo vynútiť. Európa má s tým skúsenosti. Bezpečnosť výrobkov, finančný dohľad, vysledovateľnosť potravín, letectvo, medicína a energetika pracujú s citlivými informáciami. Žiadna z nich nefunguje tak, že by prijala brožúru ako dôkaz, že stroj je v poriadku.
Benchmarky nie sú audítorstvo
Benchmarky môžu byť užitočné. Odhaľujú výkon za definovaných podmienok, porovnávajú systémy a odhaľujú regresie. Zároveň je však veľmi ľahké ich preceňovať. Model, ktorý dosahuje dobré výsledky v benchmarku, môže v lokálnom pracovnom postupe zlyhať, pretože údaje sú iné, prah je nesprávny, prompt sa zmenil, vrstva vyhľadávania je zastaraná, populácia používateľov sa nepodobá testovacej sade alebo dôsledok si vyžaduje typ spoľahlivosti, ktorý benchmark nikdy nemeral. Výsledky benchmarkov sú správy o počasí z konkrétneho kopca. Nie sú stavebnou kontrolou.
Európa by mala byť opatrná pri nahrádzaní operačných dôkazov benchmarkovým divadlom. Systém môže prejsť verejným testom a napriek tomu byť nekontrolovateľný, keď človek napadne rozhodnutie. Môže dosiahnuť metriku spravodlivosti a napriek tomu skrývať proxy v nadväzujúcom pravidle. Môže vykazovať nízku mieru halucinácií a napriek tomu citovať dokumenty, ktoré používateľ nemal právo vidieť. Môže dosiahnuť dobré skóre v laboratóriu a zlyhať, keď dodávateľ ticho zmení model vloženia. Verejné číslo môže byť skutočné. Len nie je celým chodníkom.
Kontrola si vyžaduje testy špecifické pre daný kontext, viazané na skutočné použitie. Aké sú úlohy. Ktoré skupiny sú ovplyvnené. Ktoré údaje sú smerodajné. Ktoré jazyky, okrajové prípady a režimy zlyhania sú dôležité. Ktoré výstupy spôsobujú právne alebo materiálne účinky. Ktorý krok ľudskej kontroly môže skutočne zmeniť výsledok. Ktoré dôkazy prežijú odvolanie. Všeobecné benchmarky môžu informovať o základnej línii, ale nemôžu nahradiť lokálnu otázku. Správa sa tento systém, na tomto mieste, za tejto politiky, s týmito údajmi, spôsobom, ktorý možno preskúmať a opraviť.
Protokoly sú politickou infraštruktúrou
Protokoly znejú technicky, kým nezačne spor. Potom sa stanú politickou infraštruktúrou. Kto kontroluje protokol, kontroluje, čo si možno pamätať. Ak kontrolovaná strana môže podľa vlastného uváženia prepisovať, filtrovať, oneskorovať alebo sumarizovať dôkazy, dohľad je slabý. Ak protokoly vynechávajú dôležité vrstvy, dohľad je divadelný. Ak protokoly obsahujú príliš veľa osobných údajov, dohľad sa stáva novým problémom ochrany súkromia. Odpoveďou nie je maximálne protokolovanie. Odpoveďou sú navrhnuté dôkazy: úzke, trvanlivé, s preukázateľnými známkami manipulácie, s riadeným prístupom a prepojené so skutočnými udalosťami.
Pre AI a automatizované rozhodnutia by užitočné protokoly mali spájať referencie vstupov, kontroly kvality údajov, získané dôkazy, verzie modelov alebo pravidiel, politické brány, volania nástrojov, ľudské činnosti, výstupy, oznámenia a udalosti opráv. Kde je to možné, mali by držať tajomstvá vonku pomocou hashov, referencií, redakcie a oddelenia. Mali by podporovať vzorkovanie a vyšetrovanie bez toho, aby audítori museli prehliadať súkromné záznamy ako turisti s právami správcu. Mali by prežiť zmeny v dodávateľských dashboardoch a nákupné cykly. Protokol, ktorý zmizne, keď sa zmluva skončí, nebol inštitucionálnou pamäťou. Bol to prenajatý denník.
Nezávislé dôkazy sú dôležité, pretože verejná autorita sa nemôže spoliehať na súkromné snímky obrazovky. Regulátor nemusí vlastniť každý systém. Potrebuje však dôveru, že dôkazy o systémoch s významnými dôsledkami prežijú stimuly regulovaných strán. To môže znamenať protokoly držané zákazníkom, audítorské úložiská tretej strany, podpísané toky udalostí, reprodukovateľné exporty alebo zákonné povinnosti týkajúce sa uchovávania. Podrobnosti sa líšia. Princíp nie. Dohľad bez dôveryhodných záznamov je dohľad rozprávaním príbehov.
Právo na kontrolu píše obstarávanie
Kým príde regulátor, mnohé rozhodnutia o kontrole už urobilo obstarávanie. Zmluva rozhodla, či sú logy exportovateľné. Bezpečnostná príloha rozhodla, či sú kľúče spravované zákazníkom. Opis služby rozhodol, či možno verzie modelu ukotviť. Podmienky spracúvania údajov rozhodli, či možno odvodené údaje opätovne použiť. Výstupná klauzula rozhodla, či môžu dôkazy odísť v použiteľnom formáte. Dohoda o podpore rozhodla, kto sa môže dotknúť produkcie a aká stopa zostane. Obstaranávanie nie je administratíva po architektúre. Je to architektúra s obstarávacím oddelením.
Toto je nepríjemné, pretože verejní aj súkromní kupujúci často hodnotia digitálne systémy podľa funkcií, ceny a harmonogramu implementácie. Kontrolovateľnosť sa považuje za peknú tému na upokojenie, niekedy sa rieši až po tom, čo už preferovaného dodávateľa emocionálne vybrali. To je neskoro. Ak systém ovplyvní práva, služby, bezpečnosť, peniaze, prácu, vzdelávanie, zdravie alebo dôveru verejnosti, právo na kontrolu nie je voliteľná dekorácia. Je súčasťou produktu. Lacný systém, ktorý nemožno kontrolovať, sa môže predražiť hneď, ako súd, audítor, novinár, odborová organizácia, pacient, občan alebo predstavenstvo položí presnú otázku.
Dobré obstarávanie žiada rozhrania pre dôkazy ešte pred spustením. Pýta sa, ako sa sledujú rozhodnutia, ako sa ukotvujú verzie, ako sa oznamujú zmeny, ako sa opätovne spúšťajú testy, ako sa dokazuje výmaz, ako sa riadia aktualizácie modelu, ako sa oddeľujú lokálne údaje, ako sa zaznamenáva prístup podpory, ako sa vzorkujú spory a ako výstup zachováva inštitucionálnu pamäť. Tieto otázky nezabíjajú inovácie. Zabíjajú istý druh optimizmu, ktorý rád fakturuje najskôr a vysvetľuje neskôr. Európa nepotrebuje menej ambícií. Potrebuje ambície, ktoré prežijú kontrolu.
Aj ľudský dohľad musí byť kontrolovateľný
Ľudský dohľad je jedno z najzneužívanejších slov v digitálnom riadení. Človek v blízkosti systému nie je automaticky dohľad. Človek, ktorý klikne na schválenie predvyplneného odporúčania bez času, dôkazov, právomoci alebo spätnej väzby, nie je zmysluplná kontrola. Človek, ktorý posudzuje okrajové prípady, kým systém ticho smeruje väčšinu prípadov, nestačí, pokiaľ samotné smerovanie nemožno kontrolovať. Ľudský dohľad treba navrhnúť ako rozhodovaciu vrstvu s právomocami, obmedzeniami, limitmi pracovného zaťaženia a záznamami.
Kontrola ľudského dohľadu znamená klásť praktické otázky. Čo videl posudzovateľ. Ktoré dôkazy boli skryté alebo nedostupné. Mohol posudzovateľ zmeniť výsledok. Boli nezhody zaznamenané. Tlačil na schválenie tlak, dĺžka poradia alebo predvolené nastavenia. Boli prepísania vrátené do vyhodnotenia. Naučil sa systém z ľudských opráv, alebo ich len absorboval do prehľadu. Boli posudzovatelia vyškolení na politiku, alebo len na rozhranie. Človek v slučke môže chrániť ľudí. Človek v slučke sa však môže stať aj hubkou na zodpovednosť s heslom.
Európa by mala odolať pohodliu symbolických ľudí. Účelom dohľadu nie je pridať automatizácii tvár. Je ním vytvoriť skutočný kontrolný bod, kde úsudok môže zmeniť závažnú cestu. Tento kontrolný bod musí zanechať dôkazy, pretože inak nikto nedokáže povedať, či fungoval. Ak zákon vyžaduje ľudský dohľad, ale systém zaznamenáva len schválené operátorom, zákon dostal tlačidlo, nie záruku.
Inšpekčná kapacita je verejná schopnosť
O regulácii sa často hovorí ako o texte: články, odôvodnenia, normy, usmernenia, zmluvy, kódexy správania. Text je dôležitý, ale inšpekčná kapacita sú aj ľudia, nástroje, rozpočty, testovacie prostredia, pravidlá prístupu k údajom, bezpečnostné previerky, technické školenia a inštitucionálna trpezlivosť. Regulátor, ktorý dostane milióny riadkov protokolov bez nástrojov, nie je posilnený. Regulátor, ktorý má nástroje, ale nemá právomoc vyžadovať dôkazy, nie je posilnený. Regulátor, ktorý je úplne závislý od vysvetlení dodávateľov, nie je posilnený. Kapacita je nenápadná polovica suverenity.
Európa potrebuje inšpektorov, ktorí vedia čítať systémy ako systémy. Nie každý právnik sa musí stať inžinierom a nie každý inžinier sa musí stať právnikom. Inšpekčné tímy však potrebujú kombinovanú schopnosť mapovať pracovné postupy, čítať protokoly, rozumieť pôvodu údajov, spochybňovať vyhodnotenie modelov, odhaľovať proxy premenné, kontrolovať cesty mazania, testovať kontroly prístupu a premietať zistenia do vymáhateľného jazyka. Toto je odborná práca. Nevyrieši ju jedno školenie o etike umelej inteligencie a nový portál s modrým tlačidlom.
Inštitúcie tiež potrebujú spoločné vzory. Spoločné schémy dôkazov, reprodukovateľné audítorské balíky, formáty hlásení incidentov, atestácie verzií, potvrdenia o mazaní, oznámenia o zmenách modelov a testovacie prostredia môžu znížiť trenie. Štandardizácia by nemala sploštiť každú oblasť. Zdravotníctvo, financie, školstvo, práca a verejná správa majú rôzne škody. Spoločné inšpekčné základné prvky by však zabránili tomu, aby každé vyšetrovanie vymýšľalo vlastnú lopatu. Európa má rada rámce. Tu musí rámec obsahovať skutočné rukoväte.
Slučka, ktorá dáva pravidlám zuby
Inšpekcia nie je jednorazový obrad. Systémy sa menia. Údaje sa posúvajú. Dodávatelia aktualizujú služby. Politiky sa hýbu. Objavujú sa nové skupiny používateľov. Náklady tlačia na smerovanie. Obchádzky sa stávajú zvykmi. Systém, ktorý bol v januári prijateľný, môže byť v septembri rizikový, pretože sa zmenil svet okolo neho alebo preto, že sa systém naučil nový spôsob, ako byť sebavedomo nesprávny. Regulácia, ktorá inšpekciu vykonáva len pri vstupe, je ako kontrola kuchynskej reštaurácie, keď je farba ešte mokrá, a už nikdy po obede.
Užitočný vzor je slučka. Definujte povinnosť v operačných podmienkach. Vzorkujte skutočné udalosti. Sledujte dôkazy. Testujte systém za známych aj nepriateľských podmienok. Nariaďte nápravu tam, kde je potrebná. Overte, že náprava zmenila správanie. Vráťte zistenia do obstarávania, noriem a usmernení. Táto slučka nie je očarujúca, ale nie sú ani protipožiarne cvičenia. Nejde o drámu. Ide o inštitucionálnu svalovú pamäť.
Pre regulované organizácie je tento cyklus tiež zdravý. Oddeľuje skutočné riziká od fám. Umožňuje tímom preukázať dobrú prácu dôkazmi namiesto toho, aby prosili o dôveru. Zachytí slabé kontroly skôr, než sa stanú verejnými zlyhaniami. Dáva obstarávaniu lepšie otázky a inžinierom jasnejšie požiadavky. Bráni tomu, aby sa z riadenia stalo múzeum sľubov. Inšpekcia by nemala byť obávaná, pretože je nepriateľská. Má byť očakávaná, pretože vážne systémy ovplyvňujú vážne životy.
Čo musí Európa vybudovať
Záver nie je taký, že by Európa mala regulovať menej. Je taký, že by Európa mala regulovať lepšími nástrojmi. Silné práva a povinnosti sú nevyhnutné, ale musia byť spojené s technickými požiadavkami na dôkazy, disciplínou v obstarávaní, nezávislými logmi, verzovanými systémami, praktickými audítorskými rozhraniami, kvalifikovanými inšpekčnými tímami a overiteľnými cestami nápravy. Inak sa právny jazyk stane krásnym diagramom: koherentným, pokojným a neschopným odpovedať, čo sa stalo v reálnom prípade.
Je tu ponaučenie o suverenite. Suverenita nie je vlajka v cloudovom regióne ani prejav o hodnotách. Je to schopnosť inšpektovať, pozastaviť, opraviť, nahradiť a vysvetliť systémy, ktoré formujú verejný aj súkromný život. Ak dôkazy žijú inde, ak rozhodujúce verzie nie sú známe, ak sú logy meniteľné, ak odchod ničí pamäť, alebo ak regulátori nemajú nástroje na testovanie tvrdení, Európa je závislá, aj keď je politický text výborný. Závislosť nemusí vždy vyzerať ako cudzia kontrola. Niekedy vyzerá ako chýbajúce tlačidlo exportu.
Európa nemôže regulovať to, čo nemôže inšpektovať. Táto veta by sa nemala čítať ako pesimizmus. Je to požiadavka na dizajn. Budujte systémy, ktoré zanechávajú primerané dôkazy. Kupujte systémy s právami na inšpekciu. Škoľte regulátorov na čítanie technických stôp. Vyžadujte nápravy, ktoré možno overiť. Pristupujte k ľudskému dohľadu ako k skutočnému kontrolnému bodu. Prestaňte akceptovať dashboardy ako dôkaz. Zákon môže povedať, čo musí byť pravda. Inšpekcia je spôsob, akým Európa zistí, či to je.