Môže regulátor auditovať pohyblivý cieľ?

Yes, ale nie tak, že by sme adaptívny systém vydávali za statický objekt. Audit potrebuje zachytený stav, ohraničené tvrdenie, dôkazy s podmienkami a záznam...

Môže regulátor auditovať pohyblivý cieľ?

Audit môže urobiť fotografiu

Pohyblivý cieľ neuniká kontrole. Uniká len tomu druhu kontroly, ktorá položí jednu nadčasovú otázku a očakáva jednu nadčasovú odpoveď. Tento rozdiel je dôležitý. Systémy umelej inteligencie sa menia viacerými spôsobmi naraz. Poskytovateľ vydá novú verziu modelu. Nasadenie zmení prompt alebo rozhodovací prah. Vyhľadávací korpus získa nový politický dokument. Pravidlo identity zmení, kto môže volať nástroj. Nástroj získa pole, stratí pole alebo začne vracať iný význam pod rovnakým názvom poľa. Ľudský tím zmení svoj postup. Svet, ktorý dodáva vstupy, sa mení bez toho, aby sa niekoho pýtal na povolenie vydania.

Nič z toho nerobí audit zbytočným. Robí predmet auditu presnejším. Otázkou nie je, či organizácia dokáže preukázať, že systém zostane navždy nezmenený. To by bol zvláštny sľub aj pre kalkulačku pripojenú k databáze. Otázkou je, či organizácia dokáže preukázať, aký systém bol v prevádzke v relevantnom bode, čo mal robiť, aké dôkazy podporovali toto použitie, ktoré podmienky ohraničovali dôkazy, kto vlastnil rozhodnutie a aká neskoršia zmena by mala spôsobiť, že sa rozhodnutie znovu otvorí.

Audit môže urobiť fotografiu. Len ju nesmie nazvať krajinou. Riadny záznam identifikuje stav, ktorý bol skontrolovaný, a uchováva cestu z tohto stavu do nasledujúceho. Potom môže povedať niečo užitočné: toto hodnotenie sa týkalo tohto modelu, týchto nastavení, tejto dátovej hranice, týchto nástrojov, tejto politiky, tohto pracovného postupu a tohto rozhodnutia o vydaní. Môže tiež povedať niečo menej pohodlné a cennejšie: záver sa automaticky nepreniesol do nasledujúceho stavu.

To je lepší východiskový bod ako známe divadlo nemenných odznakov. Odznak naznačuje, že niekto vec uzavrel. Záznam auditu by mal umožniť vidieť, čo bolo uzavreté, na akom základe, na aké použitie a ako dlho tento základ zostal použiteľný. Regulátor nepotrebuje zamrznutú organizáciu. Regulátor potrebuje organizáciu, ktorá dokáže rozlíšiť zamrznutý záznam od živého servisu bez toho, aby jeden z nich považovala za mystický objekt.

Európske pravidlá pre umelú inteligenciu už týmto smerom ukazujú. Pre systémy umelej inteligencie s vysokým rizikom zákon o umelej inteligencii vyžaduje technickú dokumentáciu pred uvedením systému na trh alebo do prevádzky a vyžaduje, aby bola aktualizovaná. Vyžaduje tiež automatické zaznamenávanie relevantných udalostí počas životnosti systému a zdokumentovaný systém monitorovania po uvedení na trh, primeraný technológii a riziku. Toto nie sú pokyny na zachytenie jediného slávnostného záberu. Sú to pokyny na vedenie stopy dôkazov cez zmenu.

Pohyblivým cieľom je zvyčajne systém

Je lákavé opísať systém umelej inteligencie ako model a potom diskutovať o verzovaní, akoby nový súbor váh modelu bol celý príbeh. To je vhodné pre prezentácie a nepresné pre väčšinu prevádzkových otázok. Model je dôležitá súčasť. Málokedy je však úplným objektom, ktorého správanie ovplyvňuje človeka, pracovný postup alebo právnu povinnosť.

Zoberme si bežnú trasu na podporu rozhodovania, opísanú tu ako hypotetický príklad, nie ako opis skutočného nasadenia. Používateľ odošle žiadosť. Servis vyhľadá dokumenty, ktoré môže použiť. Model navrhne odporúčanie. Pravidlo skontroluje, či sú prítomné požadované dôkazy. Vyškolený recenzent môže odporúčanie prijať, upraviť alebo zamietnuť. Pracovný postup potom zaznamená akciu. Pozorovaný výsledok závisí od viac než len modelu. Závisí od verzií zdrojov, nastavení vyhľadávania, povolení, znenia rozhrania, prahov, pravidiel frontu, ľudskej autority a hranice akcie.

Ak sa zmení zdrojový korpus, model môže dostať iný faktický základ bez toho, aby sa zmenil čo i len jeden parameter. Ak sa zmení prompt, model môže byť požiadaný o iný druh úsudku. Ak sa na obrazovke recenzenta prestane zobrazovať neistota, ľudský dohľad opísaný v súbore o rizikách už nemusí byť dohľadom, ktorý ľudia skutočne vykonávajú. Ak integrácia začne automaticky uplatňovať odporúčania, systém získal novú právomoc, aj keď je odpoveď modelu bajtovo identická.

Preto sa rozumný záznam auditu začína zamýšľaným účelom a hranicami systému. Požiadavky na technickú dokumentáciu podľa aktu o umelej inteligencii v prílohe IV zahŕňajú opisy zamýšľaného účelu, verzií, funkcií monitorovania a riadenia, validácie a testovania, riadenia rizík, zmien vykonaných počas životného cyklu a relevantných metrík výkonnosti. Nejde o to, že každý systém potrebuje katedrálu papierovačiek. Ide o to, že recenzent nemôže posúdiť tvrdenie, keď sa objekt, na ktorý sa tvrdenie vzťahuje, potichu mení.

Nazývať širší objekt systémom nie je spôsob, ako znieť dôležitejšie. Je to spôsob, ako sa vyhnúť kategoriálnej chybe. Vyhodnotenie modelu môže odpovedať na otázku o modeli. Audit systému musí odpovedať na otázku o systéme. Prvé môže určiť, ako sa komponent správal za definovaných podmienok. Druhé musí ukázať, ako bol tento komponent prepojený s ľuďmi, údajmi, pravidlami, nástrojmi a dôsledkami. Ani jedno nenahrádza druhé. Skóre modelu nie je opis pracovného postupu, rovnako ako dobrý test pneumatík nie je plán trasy.

Čo sa audítor v skutočnosti snaží zistiť

Audit meniaceho sa systému neznamená prehrávať každý okamih jeho života v zasadačke. Znamená to sprístupniť konkrétne tvrdenia kontrole. Používal sa systém v rámci uvedeného účelu? Podporovalo rozhodnutie o vydaní dôkazy primerané tomuto účelu? Zachovala organizácia informácie potrebné na vyšetrenie sporného výsledku? Spustili zmysluplné zmeny prehodnotenie? Urobil monitoring viditeľným rozdiel medzi neškodnou aktualizáciou a podstatnou zmenou? Mohli zodpovední ľudia pozastaviť, obmedziť alebo opraviť postup, keď dôkazy už neplatili?

Toto sú praktické otázky, pretože každá má pozorovateľný náprotivok. Zamýšľaný účel patrí do záznamu. Vyhodnotenie má sadu testov, konfiguráciu, testovaciu populáciu alebo hranicu vstupov, metódu, výsledok a obmedzenia. Rozhodnutie o vydaní má vlastníka a podmienky. Zmena má identitu, dátum, dôvod a posúdený vplyv. Monitoring má pomenované signály, prahové hodnoty alebo spúšťače kontroly. Postup pozastavenia má právomoc a operáciu. Detaily sa líšia, ale auditovateľnosť pochádza z premeny abstraktných uistení na veci, ktoré môže niekto iný preskúmať.

Je tu dôležitá hranica. Audit nedokazuje, že každý budúci výstup bude správny, spravodlivý alebo neškodný. Nedokáže zmeniť neistý svet na deterministický. Môže určiť, či organizácia predložila tvrdenia dostatočne úzke na preskúmanie, či zhromaždila dôkazy schopné podporiť tieto tvrdenia a či si zachovala schopnosť ich prehodnotiť. To môže znieť skromne. Je to však aj miesto, kde sa začína zodpovednosť.

Rozdiel medzi dôkazom a jazykom uistenia je dôležitý. Povedať, že model bol vyhodnotený, ešte nie je dôkazom užitočného vyhodnotenia. Slovo potrebuje objekt. Vyhodnotený voči ktorej úlohe, ktorým kritériám a ktorým údajom? S ktorým modelom a stavom systému? Za akých prevádzkových podmienok? Kto skontroloval metódu? Čo bolo mimo rozsahu? Čo by spôsobilo, že výsledok je zastaraný? Bez týchto otázok je vyhodnotenie len upokojujúcim minulým časom.

Európska komisia vo svojich skorších etických usmerneniach k dôveryhodnej umelej inteligencii definovala reprodukovateľnosť jednoducho: experiment s umelou inteligenciou by sa mal pri opakovaní za rovnakých podmienok správať rovnako. Táto definícia je užitočná, pretože v sebe nesie vlastné obmedzenie. Rovnaké podmienky sú podstatné. Zopakovaný experiment môže ukázať, či je zaznamenané tvrdenie reprodukovateľné. Nemôže však ukázať, že sa nezmenené správanie prejaví aj po zmene zdroja údajov, politiky alebo spôsobu nasadenia. Reprodukovateľnosť teda nie je prísľubom, že svet zostane stáť. Je to disciplína, ktorá presne určuje, čo sa stalo.

Zachytené hodnotenie je časový bod. Audit sa stáva trvanlivým, keď sa s ním dá porovnať nasledujúci stav.

Číslo verzie je nevyhnutné, ale nie postačujúce

Čísla verzií sú užitočné, pretože bránia tomu, aby záznam predstieral, že názvy stačia. Označenie verzie však môže vytvoriť aj falošný pocit istoty. Označenie ako verzia 4.2 môže identifikovať vydanie softvéru, ale nemusí nevyhnutne identifikovať skutočný stav trasy umelej inteligencie. Hodnota konfigurácie môže byť mimo úložiska modelu. Index vyhľadávania sa môže znovu vytvoriť zo zmenených dokumentov. Príznak funkcie môže zvoliť inú cestu nástroja. Engine politiky môže zmeniť povolenú akciu. Služba preto môže mať bezchybne naformátované číslo verzie a napriek tomu môže byť ťažké ju zrekonštruovať.

Dôležitá je identita zodpovedajúca tvrdeniu. Ak sa tvrdenie týka offline benchmarku modelu, môžu byť podstatné artefakt modelu, kód inferencie, nastavenia parametrov, verzia súboru údajov, definícia metriky a prostredie spustenia. Ak sa tvrdenie týka živého rozhodovacieho servisu, záznam môže dodatočne potrebovať výzvu alebo šablónu, konfiguráciu vyhľadávania, identifikátory a aktuálnosť zdrojov, stav povolení, schémy nástrojov, verziu politiky, rozhranie recenzenta a pravidlá pracovného postupu. Balík auditu nemusí obsahovať každý bajt každého systému. Musí obsahovať alebo spoľahlivo odkazovať na prvky, ktoré by mohli zmeniť význam tvrdenia.

Preto je manifest často užitočnejší ako archív uložený na pevnom disku. Manifest uvádza, ktoré artefakty patria k sebe, ich identifikátory, odkazy na integritu, vzťahy a podmienky prístupu. Umožňuje audítorovi nájsť príslušný balík bez predpokladu, že každý zdroj možno skopírovať do neobmedzeného priečinka. Niektoré dôkazy obsahujú osobné údaje, citlivé bezpečnostné detaily, licencovaný materiál alebo obchodné tajomstvá. Auditovateľnosť vyžaduje riadený prístup a zmysluplnú vysledovateľnosť, nie povinné verejné zverejnenie všetkého, čo robí systém funkčným.

Príloha IV zaujíma podobný praktický prístup. Technickú dokumentáciu nepovažuje za krátky opis produktu. Vyžaduje informácie o systéme a jeho životnom cykle vrátane zmien vykonaných počas vývoja a po uvedení na trh, funkcií monitorovania a kontroly, postupov a výsledkov validácie a testovania, opatrení riadenia rizík a opisu metrík výkonnosti. Dokument musí byť dostatočne jasný, aby národné kompetentné orgány a notifikované orgány mohli posúdiť súlad. Inými slovami, informácie musia byť usporiadané na účely preskúmania, nielen zhromaždené preto, že bol k dispozícii systém ukladania.

Za tým všetkým stojí malá, ale rozhodujúca konštrukčná otázka: čo by sa muselo zmeniť, aby predchádzajúce dôkazy už nemohli podporovať súčasné tvrdenie? Odpoveď vytvára hranicu verzie. Ak nový zdroj vyhľadávania zmení faktický základ odporúčaní, patrí do identity. Ak nové rozhranie pre recenzenta zatemní upozornenie, patrí do identity. Ak kozmetická úprava textu nemôže ovplyvniť hodnotené správanie, pravdepodobne patrí do histórie zmien, ale nie do odtlačku hodnotenia. Dobré verzovanie nie je maximálny zber. Je to odôvodnená relevantnosť.

Zachyťte kontrakt, nielen výstup

Výstup je dôkazom niečoho, ale nie vždy je dôkazom dostatočným. Snímka obrazovky môže ukázať, čo sa zobrazilo na obrazovke. Často však nemôže ukázať, ktorý model ju vytvoril, ktorý zdroj bol vyhľadaný, čo vrátil nástroj, ktoré pravidlo sa použilo, ktoré vstupy boli vynechané alebo či zobrazenie skrylo upozornenie. To je jeden z dôvodov, prečo sa snímky obrazovky hromadia v priečinkoch na dodržiavanie predpisov s vážnosťou archeologických nálezov a s podstatne menšou vysvetľovacou silou.

Zachytený kontrakt je bohatší. Spája výsledok s podmienkami, za ktorých sa očakávalo, že systém bude konať. Pre hodnotenie to môže zahŕňať presnú sadu, vstupy alebo chránený odkaz na ne, očakávané tvrdenia, konfiguráciu modelu a služby, príslušné verzie politík a nástrojov, prostredie vykonávania, ak ovplyvňuje výsledok, a pravidlo prijatia. Pre živé spustenie to môže zahŕňať identitu požiadavky, autorizovaný rozsah, záznamy o zdroji a vyhľadávaní, trasu modelu, volania nástrojov, kontroly, ľudský zásah a výslednú zmenu stavu. Cieľom nie je zaznamenávať nekonečný denník. Je to zachovať dostatok kauzálne relevantných informácií, aby bolo možné neskôr položiť vážnu otázku.

Je užitočné urobiť rozlíšenie. Zachytenie hodnotenia preukazuje tvrdenie o definovanom teste alebo cvičení. Prevádzkový záznam pomáha rekonštruovať konkrétnu udalosť alebo rozhodnutie. Záznam o vydaní vysvetľuje, prečo organizácia umožnila systému vstúpiť do definovanej trasy. Záznam o zmene vysvetľuje, čo sa neskôr zmenilo. Tieto záznamy sa prekrývajú, ale nemali by sa zamieňať. Zaobchádzať s produkčným protokolom ako s benchmarkom alebo s benchmarkom ako s dôkazom produkčného pracovného postupu je efektívny spôsob, ako spôsobiť, aby každý záznam niesol viac, než dokáže uniesť.

Pravidlo zaznamenávania podľa aktu o umelej inteligencii pre systémy s vysokým rizikom je podobne viazané na účel. Článok 12 vyžaduje automatické zaznamenávanie relevantných udalostí počas životnosti systému, pričom možnosti zaznamenávania musia zodpovedať zamýšľanému účelu. Nariadenie sa odvoláva na vysledovateľnosť fungovania systému, monitorovanie prevádzky a monitorovanie po uvedení na trh. Nevyžaduje nerozlišujúci návyk zaznamenávania. Vyžaduje záznamy s úlohou.

To slovné spojenie, záznamy s pracovným miestom, je lepším vodidlom ako všeobecná požiadavka na pozorovateľnosť. Identifikátor modelu môže pomôcť rozlíšiť aktualizáciu. Pôvod vstupných údajov môže vysvetliť prekvapivé odporúčanie. Verzia pravidla môže vysvetliť, prečo bol výsledok zablokovaný. Zásah recenzenta môže vysvetliť, prečo sa prevádzkový úkon líši od návrhu modelu. Časová pečiatka môže určiť poradie. Dizajn rešpektujúci súkromie sa stále pýta, či je každé pole nevyhnutné, primerané, uchovávané po stanovené obdobie a chránené pred samotným systémom, ktorý má kontrolovať.

Reprodukovateľnosť má dve poctivé podoby

Ľudia často používajú slovo reprodukovateľný na označenie viacerých rôznych vecí. Tento zmätok je pochopiteľný. Tím môže myslieť, že dokáže znova spustiť pevne stanovené vyhodnotenie a získať rovnaké skóre. Výskumník môže myslieť, že iný tím dokáže spustiť opísanú metódu a preskúmať výsledok. Prevádzkovateľ môže myslieť, že vyšetrovanie dokáže obnoviť stav použitý na konkrétne rozhodnutie. Zákazník môže myslieť, že pracovný postup poskytuje konzistentné zaobchádzanie a nemení sa svojvoľne z utorka na štvrtok. Tieto ciele spolu súvisia. Nie sú jednou vlastnosťou s viacerými podobami.

Po prvé, ide o reprodukovateľnosť zachyteného spustenia. Ak sú artefakt, konfigurácia, vstupy, relevantný stav a podmienky vykonávania pevne stanovené, opakované spustenie by malo priniesť zdokumentovaný výsledok v rámci podmienok, ktoré systém sľubuje. Niektoré systémy dokážu pre definovanú cestu vykonávania poskytnúť silnejšie deterministické tvrdenie. Iné sa spoliehajú na riadenú náhodnosť, distribuovanú infraštruktúru alebo služby tretích strán a môžu poskytnúť len užšie tvrdenie. Zodpovedný jazyk je konkrétny. Hovorí, čo je pevne stanovené, čo sa meria, aká odchýlka zostáva možná a ako sa vykonáva porovnanie.

Po druhé, ide o reprodukovateľnosť argumentu vyhodnotenia. Recenzent musí vidieť, prečo súbor testov predstavuje dané tvrdenie, či má metrika uvedený význam, či je prah prijatia odôvodnený a či sa dôkazy dajú preniesť do prevádzkového kontextu. Toto sa nerieši kontrolným súčtom. Kontrolný súčet môže preukázať, že súbor sa nezmenil. Nemôže preukázať, že súbor testoval správnu otázku, že populácia bola vhodná alebo že skóre podporuje rozhodnutie, ktoré je k nemu pripojené.

Tieto dve podoby by sa mali stretnúť. Dokonale opakovateľný test, ktorý meria nesprávnu vec, je stále nesprávnym testom. Sofistikovaný argument pripojený k neopakovateľnému spusteniu ponecháva recenzentov bez možnosti rozlíšiť zistenie od šťastného popoludnia. Užitočný štandard nie je abstraktná požiadavka na dokonalú reprodukovateľnosť. Je to viditeľná zhoda medzi tvrdením, metódou, zachytenými podmienkami, pozorovaným výsledkom a použitím, ktoré organizácia chce povoliť.

Usmernenie Komisie k povinnostiam poskytovateľov modelov AI na všeobecné účely tiež spája vyhodnotenie s dokumentáciou a rizikom. Opisuje technickú dokumentáciu pre orgány a samostatné informácie pre downstream poskytovateľov vrátane schopností, obmedzení a integračných informácií. Pre modely AI na všeobecné účely so systémovým rizikom článok 55 vyžaduje vyhodnotenie pomocou štandardizovaných protokolov a najmodernejších nástrojov vrátane zdokumentovaného adversariálneho testovania na identifikáciu a zmiernenie systémových rizík. Vyhodnotenie, ktoré nedokáže povedať, čo sa testovalo, za akých podmienok a s akými obmedzeniami, sa tým, že sa nazve štandardizované, nestáva užitočnejším.

Dôkazy majú dátum spotreby

Dôkazy nevypršia preto, že sa niekto rozhodol byť nepríjemný. Vypršia vtedy, keď sa podmienky, ktoré im umožňovali podporovať tvrdenie, zmenia natoľko, že spojenie už nemožno predpokladať. Toto je bežné uvažovanie. Skúška návrhu mosta sa automaticky nevzťahuje na iný materiál. Kontrola bezpečnosti potravín nepokryje nového dodávateľa silou optimizmu. Hodnotenie AI trasy by sa nemalo automaticky vzťahovať na zmenený model, zmenenú hranicu údajov, zmenenú autoritu nástroja alebo zmenený dôsledok rozhodnutia.

Náročná práca spočíva v rozhodovaní o tom, ktoré zmeny sú podstatné. Je to vec technického úsudku, analýzy rizík a riadenia, nie jediného percenta zapísaného v politike. Oprava, ktorá zmení farbu tlačidla, nemusí mať žiadny vplyv na hodnotenie. Zmena, ktorá zníži viditeľnosť varovania, môže byť podstatná, ak bezpečnostný argument závisí od toho, či ho recenzent uvidí. Preindexovanie zdrojového korpusu môže byť pre jednu úlohu neškodné a pre inú kritické. Nový koncový bod modelu môže zachovať širokú schopnosť, pričom zmení latenciu, správanie pri odmietaní, jazykové pokrytie alebo vzorce používania nástrojov, ktoré sú pre trasu dôležité.

Užitočná kontrola zmien preto začína otázkou o vplyve, nie rituálom vydávania. Ktoré tvrdenie by táto zmena mohla ovplyvniť? Ktorý predpoklad narúša? Ktoré dôkazy boli podmienené predchádzajúcim stavom? Odpovedá na otázku ohraničená kontrola, alebo trasa potrebuje nové hodnotenie a rozhodnutie o vydaní? Kto môže toto rozhodnutie urobiť a kto ho môže spochybniť? Odpovede by sa mali zaznamenať, pretože inak ich bude musieť ďalší recenzent odvodiť z názvov tiketov, folklóru a miernej zmeny písma na informačnom paneli vydávania.

Tu sa monitorovanie stáva súčasťou dôkazov, nie samostatným koníčkom pozorovateľnosti. Článok 72 vyžaduje, aby poskytovatelia systémov umelej inteligencie s vysokým rizikom aktívne a systematicky zhromažďovali, dokumentovali a analyzovali relevantné údaje o výkonnosti počas celej životnosti systému, aby mohli vyhodnotiť priebežnú zhodu. Plán monitorovania po uvedení na trh je súčasťou technickej dokumentácie. Monitorovanie teda nie je len spôsob, ako zistiť, či je služba vyťažená. Je to spôsob, ako sa dozvedieť, či podmienky stojace za pôvodným tvrdením naďalej platia.

Monitorovanie nerobí každý výsledok samovysvetľujúcim. Nárast nezhody medzi recenzentmi a systémom môže mať mnoho príčin. Zmena čerstvosti zdroja môže odrážať problém s dátovým potrubím, nie posun modelu. Vyššia miera odmietania môže predstavovať bezpečnejšiu politiku, prerušenú integráciu alebo novú populáciu žiadostí. Záznam by mal zachovať dostatok kontextu pre ľudské vyšetrovanie. Metriky sú signály. Nie sú svedkami.

Dôkazy platia v definovanom kontexte. Podstatná zmena vytvára otázku na preskúmanie, nie medzeru, ako sa preskúmaniu vyhnúť.

Podstatná zmena si vyžaduje rozhodovací postup

Fráza material change sa často používa, ako keby označovala samozrejmú vlastnosť. Nie je to tak. Materiál voči ktorej požiadavke, riziku a používateľovi? Odpoveď musí byť dostatočne konkrétna, aby ju ľudia mohli použiť, keď sú unavení, meškajú a chcú zmenu označiť za menšiu. Dobrá politika nesľubuje, že vopred zatriedi každú možnú aktualizáciu. Pomenúva faktory, ktoré určujú, či je potrebné nové posúdenie.

Tieto faktory zvyčajne zahŕňajú zamýšľaný účel, dotknuté osoby, právomoc udelenú trase, zdroje údajov a ich kontroly kvality, architektúru modelu alebo systému, rozsah hodnotenia, rozhodovacie prahy, monitorovacie signály, ľudský dohľad, bezpečnostné kontroly a spôsoby obnovy. Zmena, ktorá ovplyvní niektorý z týchto faktorov, môže, ale nemusí byť podstatná. Dôležité je, či môže zmeniť dôkazy potrebné pre existujúcu požiadavku alebo riziko zostávajúce po kontrolách.

Akt o umelej inteligencii obsahuje výslovnú zodpovednosť týkajúcu sa podstatnej zmeny. Jeho presné právne uplatnenie závisí od systému a zúčastnených subjektov, preto by sa nemal zjednodušovať na slogan. Prevádzkové ponaučenie je jednoduchšie a širšie: organizácia by mala vedieť, kedy zmena prenáša alebo vytvára zodpovednosť, kedy existujúca dokumentácia už nie je dostatočná a kedy sa musí systém znova posúdiť pred pokračovaním nového použitia. Je to menej vzrušujúce ako uvedenie funkcie. Je tiež menej pravdepodobné, že povedie k zložitému rozhodnutiu, pri ktorom všetci súhlasia, že sa systém zmenil, ale nikto nezodpovedá za rozhodnutie.

Rozhodovacia cesta dáva zmene miesto, kam môže smerovať. Jedna cesta môže povoliť zdokumentované zistenie o žiadnom vplyve. Iná môže vyžadovať cielené regresné hodnotenie. Ďalšia môže vyžadovať širšie preskúmanie rizík, zmenu návodu na použitie, revidovaný plán monitorovania alebo nové schválenie vydania. Najzávažnejšia cesta môže vyžadovať, aby trasa zostala obmedzená alebo pozastavená, kým nie sú k dispozícii dôkazy. Nejde o to, aby bola každá úprava nákladná. Ide o to, aby sa dôležitá úprava nedala zamaskovať ako bežná administratíva.

Je na tom osviežujúco málo romantiky. Záznam o zmene môže ukázať predchádzajúci stav, navrhovaný stav, dotknuté požiadavky, preskúmané dôkazy, rozhodnutie, právomoc a podmienky po vydaní. To je správa v pracovnom odeve. Nikdy nebude vyzerať tak vzrušujúco ako ukážka modelu. Má užitočnejšiu vlastnosť, že pomáha organizácii vysvetliť sa, keď sa z ukážky stal skutočný servis.

Hodnotenie by malo byť schopné zlyhať verejne, alebo aspoň v súbore

Hodnotenie sa stáva performatívnym, keď sa každý výsledok považuje za výsledok vydania. Vyspelý program hodnotenia musí byť schopný dospieť k záveru, že dôkazy sú neúplné, že prah nebol dosiahnutý, že známe obmedzenie bráni navrhovanému použitiu alebo že požiadavku treba zúžiť. Toto nie sú trápne výnimky z procesu. Sú to výstupy procesu.

To je obzvlášť dôležité pre adaptívne alebo externe prepojené systémy. Tím môže zistiť, že sada už nezodpovedá živej populácii vstupov. Zmluva o nástroji sa môže stať príliš nestabilnou na podporu požiadavky na prehratie. Aktualizácia modelu môže zlepšiť jednu úlohu, ale sťažiť dohľad nad chránenou trasou. Prevádzkový signál môže ukázať, že odovzdanie zo systému na recenzenta zlyháva pri bežnom pracovnom zaťažení. Správna odpoveď nemusí byť nevyhnutne dramatické vypnutie. Môže to byť obmedzenie, revidovaný pracovný postup, ďalší test, nová podmienka prijatia alebo rozhodnutie nepôvodnú požiadavku vzniesť.

Záznam musí recenzentovi umožniť vidieť tento negatívny výsledok. Inak si organizácia vybuduje veľmi účinný stroj na zbieranie len tých dôkazov, ktoré sa jej páčia. Požiadavky na manažérstvo kvality v článku 17 sú tu relevantné. Zahŕňajú okrem iného techniky a postupy pre dizajn, vývoj a kontrolu kvality; skúšanie, testovanie a validáciu; správu údajov; manažérstvo rizík; monitorovanie po uvedení na trh; hlásenie incidentov; a komunikáciu s orgánmi. Systém kvality nie je priečinok, v ktorom sa zlyhania stratia. Je to spôsob, ako ich odhaliť, zdokumentovať a riešiť.

Rovnaký princíp platí pre prístup. Externý regulátor, notifikovaný orgán alebo oprávnený recenzent môže potrebovať technické dôkazy, ktoré nemožno zverejniť otvorene. Verejné zhrnutie môže byť vhodné pre iné časti záznamu. Sú to rôzne spôsoby prístupu, nie rôzne fakty. Verejnosť by nemala dostávať optimistický opis, zatiaľ čo kontrolovaný záznam opisuje užšiu a podmienenejšiu realitu. Dôvernosť môže byť legitímna. Protirečenie je zlyhanie riadenia.

V spoločnosti Dweve naše verejné Centrum dôvery ponúka malý, zámerne obmedzený príklad tohto rozlíšenia. Jeho stránka s hodnoteniami uvádza, že hodnotenie identifikuje model, presnú sadu, konfiguráciu, zachytený stav, dôkazy a rozhodnutie recenzenta. Tiež uvádza, že opakovaný zachytený kontrakt by mal na podporovaných architektúrach priniesť bitovo identické výsledky, zatiaľ čo živé opätovné spustenie sa môže líšiť, keď sa zmenia externé dôkazy alebo adaptívny stav. Stránka oddeľuje verejnú metódu od vyplneného marketingového výsledku. To nie je dôkaz kvality modelu. Je to jednoducho správny tvar tvrdenia o záznamoch hodnotení.

Živé monitorovanie nenahrádza rozhodnutie pred uvedením na trh

Monitorovanie sa niekedy opisuje ako odpoveď na neistotu: uvoľnite systém, sledujte dashboard, neustále sa zlepšujte. V tejto vete je užitočný inštinkt. Systémy potrebujú pozorovanie po uvedení na trh, pretože nasadenie prináša informácie, ktoré laboratórium nemôže získať. Monitorovanie však nemôže spätne podporiť rozhodnutie, pre ktoré dôkazy nikdy neboli dostatočné. Nemôže povedať človeku zasiahnutému chybným vysoko rizikovým konaním, že sa organizácia z grafu poučí budúci mesiac.

Hodnotenie pred uvedením na trh a monitorovanie po uvedení na trh odpovedajú na rôzne otázky. Hodnotenie sa pýta, či má organizácia dostatok dôkazov na povolenie definovaného použitia teraz. Monitorovanie sa pýta, či podmienky tohto povolenia stále platia a či sa objavujú nové riziká alebo zlyhania. Prvé stanovuje počiatočnú hranicu. Druhé sleduje hranicu v prevádzke. Dôveryhodný systém potrebuje oboje, ako aj cestu, aby sa údaje a prevádzkové poznatky vrátili do posudzovania rizík, dokumentácie a riadenia zmien.

Táto slučka mení statický balík záruk na živý záznam. Hodnotenie poskytuje základnú úroveň. Záznam o nasadení uvádza, ktorá základná úroveň bola prijatá. Protokolovanie a monitorovanie ukazujú relevantné správanie. Zmena môže zmeniť základnú úroveň alebo odhaliť jej limity. Recenzia potom aktualizuje tvrdenie, jeho dôkazy, jeho obmedzenia alebo jeho status. Systém sa pohybuje. Záznam sa pohybuje s ním, ale neprepisuje svoju vlastnú minulosť. Audítor vidí súčasnú pozíciu aj cestu, ktorou sa k nej dospelo.

Pre vysoko rizikové systémy je akt o umelej inteligencii explicitný, že monitorovanie po uvedení na trh by malo zhromažďovať a analyzovať relevantné údaje o výkonnosti počas celej životnosti a umožniť hodnotenie nepretržitého súladu. Tiež vyžaduje, aby nasadzovatelia monitorovali prevádzku na základe návodu na použitie a informovali poskytovateľa a príslušný orgán bez zbytočného odkladu, ak majú dôvod domnievať sa, že použitie môže predstavovať riziko. Tieto požiadavky neodstraňujú potrebu odborného úsudku. Dávajú odbornému úsudku záznamy, spúšťače a cesty.

Existuje organizačné pokušenie považovať monitorovanie za zodpovednosť prevádzkového tímu a hodnotenie za zodpovednosť tímu modelov. Toto rozdelenie zlyhá pri prvej zmysluplnej otázke o živom modeli. Tvorca modelu môže vedieť, prečo bol vybraný test. Prevádzkový pracovník môže vedieť, že zdroje boli zastarané. Vlastník politiky môže vedieť, že sa zmenilo rozhodovacie pravidlo. Posudzovateľ môže vedieť, že rozhranie vytvára automatizačné skreslenie. Auditná stopa by mala spojiť ich dôkazy bez toho, aby tvrdila, že jeden človek vidí celý systém.

Dokáže regulátor zreprodukovať rozhodnutie?

Niekedy by odpoveď mala byť áno, v rámci vymedzeného rozsahu. Ak organizácia tvrdí, že rozhodnutie alebo hodnotenie možno prehrať, musí uviesť, čo prehratie znamená. Znamená to zopakovanie volania modelu s rovnakou výzvou? Znamená to znovupostavenie celého postupu vyhľadávania a nástrojov? Znamená to rekonštrukciu záznamu, ktorý videl posudzovateľ? Znamená to overenie deterministického výpočtu z uložených vstupov? Každá možnosť je užitočná. Každá má iné technické a právne predpoklady.

Zmysluplné prehratie sa začína zachovanou identitou. Posudzovateľ potrebuje vedieť, ktorá verzia systému a konfigurácia boli v platnosti, ktoré vstupy a verzie zdrojov boli prípustné, ktoré politiky a povolenia sa uplatňovali, ktoré externé závislosti odpovedali a ktoré ľudské úkony zmenili cestu. Niektoré prvky môže byť potrebné uložiť priamo. Iné možno odkazovať stabilnými identifikátormi a rekonštruovať prostredníctvom riadených systémov. Neprijateľné je označiť cvičenie za prehrateľné, keď závisí od živého vyhľadávania na webe, prepísaného riadku databázy a zapamätaného nastavenia z notebooku inžiniera.

Aj potom môže prehratie reprodukovať záznam, nie zopakovať svet. Živý zdroj môže byť aktualizovaný alebo stiahnutý. Služba tretej strany sa môže zmeniť. Adaptívna služba môže nahromadiť nový riadený stav. Človek môže urobiť iný úsudok, keď dostane rovnaké informácie. Toto nie sú chyby v myšlienke prehratia. Sú to rozdiely, ktoré musí záznam zachovať. Prehratie môže ukázať, čo systém urobil v rámci zachytenej zmluvy. Netvrdí, že súčasný svet je identický s touto zmluvou.

Preto záznamy o ľudských rozhodnutiach patria vedľa technických záznamov, keď je ľudský dohľad súčasťou argumentu o bezpečnosti alebo právach. Audit môže potrebovať vedieť, že osoba preskúmala odporúčanie, aké informácie mala k dispozícii, čo si vybrala a akú právomoc mala. Nepotrebuje z každého posudzovateľa urobiť cieľ sledovania ani uchovávať neobmedzený osobný materiál. Potrebuje dostatok informácií na to, aby sa zistilo, či sľúbený dohľad v danej udalosti existoval.

Reprodukcia je preto rebrík, nie chvastanie sa. Na jednom stupni môže posudzovateľ identifikovať vydanie. Na ďalšom môže preskúmať dôkazy. Vyššie môže znovu vytvoriť test alebo analyzovať cestu živého rozhodnutia. Organizácia by mala uviesť, ktorý stupeň podporuje, kde sú hranice a ktoré časti vyžadujú autorizovaný prístup. Skromné a testovateľné tvrdenie o prehratí je oveľa silnejšie ako vágne uistenie, že všetko je vysledovateľné.

Audity potrebujú záznamy, ktoré si navzájom odporujú

Verejný štatútový záznam organizácie, interný záznam o vydaní, správa o hodnotení, prevádzkové protokoly a register incidentov by nemali hovoriť rôzne veci o rovnakom základnom stave. Ale nemali by byť ani identickými dokumentmi. Každý má iné publikum a účel. Verejný záznam môže uvádzať zamýšľaný účel, štatút, známe obmedzenia a cestu k ďalším informáciám. Technický súbor môže obsahovať podrobnú architektúru, údaje, testy a kontroly. Prevádzkový záznam môže obsahovať vysledovateľnosť na úrovni udalostí. Súbor zmien môže vysvetliť, prečo sa predchádzajúci záver prehodnotil.

Integrita pochádza z korešpondencie. Ak verejná stránka uvádza, že trasa je obmedzená na odporúčanie, technické a prevádzkové záznamy by nemali opisovať automatickú činnosť. Ak hodnotenie uvádza, že sa týka zachyteného zdrojového súboru, záznam o vydaní by ho nemal ticho aplikovať na neskorší súbor. Ak záznam o zmene uvádza, že aktualizácia modelu bola nepodstatná, posúdenie vplyvu by malo uviesť dotknuté tvrdenie a dôkazy. Ak monitorovací signál vyvolá preskúmanie, následné rozhodnutie by malo byť vysledovateľné. Dokumenty sa môžu líšiť v miere podrobnosti. Nesmú sa líšiť v tom, čo hovoria o realite.

Táto korešpondencia je užitočná pre regulátorov, pretože znižuje potrebu dôverovať jednému vyleštenému artefaktu. Recenzent môže porovnávať záznamy. Je užitočná pre organizácie, pretože odhaľuje odchýlky medzi tímami skôr, než ich odhalí externý audit. A je užitočná pre dotknutých ľudí, pretože verejné vysvetlenie sa môže stať skutočnou cestou k zodpovednosti, nie len dekoratívnou vrstvou položenou na samostatný súkromný systém.

Architektúra nemusí byť zložitá. Malá organizácia môže použiť kontrolovaný register, verzované dokumenty, podpísané exporty a disciplinované preskúmania zmien. Väčšia organizácia môže použiť štruktúrované manifesty, logy s možnosťou iba pridávania, politické motory a automatizované zachytávanie dôkazov. Dôležitá otázka je, či metóda dokáže spoľahlivo prepojiť tvrdenie, stav, dôkazy, rozhodnutie a neskoršiu zmenu. Obrovský nástrojový ekosystém, ktorý túto súvislosť stráca, je jednoducho drahší spôsob, ako byť vágny.

Je v tom osobitná európska cnosť, keď je záznam preskúmateľný bez toho, aby bol teatrálny. Nie každá odpoveď patrí na verejný dashboard. Nie každá zdokumentovaná neistota potrebuje veselú ikonu. Ale keď organizácia urobí závažné tvrdenie o adaptívnom systéme, mala by byť schopná ukázať regulátorovi, kde toto tvrdenie žije, na aký stav sa odvoláva a ako by organizácia vedela, že sa stalo zastaraným.

Otázka auditu mení otázku návrhu

Opýtajte sa včas, či by regulátor mohol auditovať systém tak, ako bude skutočne fungovať. Odpoveď mení rozhodnutia o návrhu dávno pred začiatkom formálneho auditu. Uprednostňuje stabilné identifikátory pred nejednoznačnými označeniami. Uprednostňuje explicitné verzie politík pred pravidlami vloženými do prózy. Uprednostňuje zmluvy o nástrojoch, ktoré možno zaznamenať a testovať. Uprednostňuje pôvod zdrojov a ukazovatele čerstvosti. Uprednostňuje jasnú hranicu medzi odporúčaním a činnosťou. Uprednostňuje obrazovky preskúmania, ktoré zachovávajú informácie, ktoré recenzent potrebuje. Uprednostňuje mechanizmy pozastavenia a obnovenia s menovanou autoritou.

Tiež mení obstarávanie. Vyhlásenie dodávateľa, že model sa pravidelne zlepšuje, nestačí, keď nasadenie závisí od definovaného vyhodnoteného stavu. Kupujúci potrebuje vedieť, ako sa oznamujú zmeny, ktoré artefakty možno identifikovať, aké informácie sú k dispozícii na posúdenie vplyvu, či historické záznamy zostávajú interpretovateľné a ako možno trasu obmedziť alebo pozastaviť. Toto nie sú exotické požiadavky. Sú to praktické podmienky, za ktorých organizácia zostáva zodpovedná za systém, ktorý obsahuje komponent dodávateľa.

Rovnaká otázka mení návrh hodnotenia. Užitočná sada má identitu a zdôvodnenie. Jej vstupy alebo referencie sú kontrolované. Jej metriky a prahy sú definované pred prečítaním výsledku. Jej vylúčenia sú viditeľné. Jej výsledky sa viažu na stav systému, o ktorom sa skutočne diskutuje. Jej zlyhania majú cestu k rozhodnutiu. Jej podmienky opätovného spustenia sú jasné. Hodnotenie s týmito vlastnosťami možno spochybniť. To je funkcia, nie nešťastný vedľajší účinok dôkladnosti.

Predovšetkým táto otázka mení úlohu zmeny. Zmena prestáva byť rozpakmi, ktoré sa dokumentácia snaží skryť. Stáva sa prvotriednou udalosťou v modeli dôkazov systému. Niektoré zmeny si vyžiadajú len záznam. Niektoré spustia test. Niektoré znovu otvoria rozhodnutie o vydaní. Disciplinovaná organizácia si tieto kategórie nemýli a nepotrebuje budúci incident, aby zistila, že existovali.

Takže áno: regulátor môže auditovať pohyblivý cieľ. Audit sa začína odmietnutím falošnej voľby medzi zamrznutým modelovým listom a úplne nespoznateľnou živou službou. Zaznamenajte stav. Uveďte tvrdenie. Zachovajte podmienky. Prepojte dôkazy s rozhodnutím. Zaznamenajte, čo sa mení. Prehodnoťte, keď prepojenie už neplatí. Cieľ sa môže pohybovať. Chodník musí zostať čitateľný.

Zdroje