Kto môže zastaviť model, keď sa mýli?

Ľudský dohľad nie je človek stojaci pri modeli. Je to autorita, dôkazy a bezpečný stav, ktoré niekomu umožňujú odmietnuť výstup, prerušiť proces a vrátiť...

Kto môže zastaviť model, keď sa mýli?

Nariadenie Európskej únie o umelej inteligencii používa pre digitálnu povinnosť prekvapivo fyzické slovo. Článok 14 hovorí, že osoby poverené dohľadom nad systémom umelej inteligencie s vysokým rizikom musia byť schopné zasiahnuť alebo prerušiť systém pomocou tlačidla zastavenia alebo podobného postupu, ktorý umožní jeho zastavenie v bezpečnom stave. Veta sa týka softvéru. Znie, akoby si niekto rozumne uvedomil, že stroje sa dajú vypnúť.

Táto spomienka je dôležitejšia, než sa zdá. V mnohých organizáciách sa ľudský dohľad chápe ako prítomnosť osoby niekde v blízkosti systému. Recenzent dostane odporúčanie. Operátor si môže otvoriť dashboard. Manažér je uvedený v politike. Existuje podporná adresa pre sťažnosti. Takéto usporiadanie sa potom označuje ako human-in-the-loop, akoby bol človek vložený do slučky a slučka sa následne stala múdrou.

Skutočná otázka je ťažšia a užitočnejšia: keď je model nesprávny, neistý, mimo svojho schváleného účelu alebo sa správa spôsobom, ktorý dôkazy nepodporujú, kto má právomoc zastaviť prácu? Kto môže pozastaviť nové akcie bez čakania na dodávateľa? Kto môže zabrániť tomu, aby sa už vygenerované výstupy stali rozhodnutiami? Kto môže zachovať stav, ktorý je potrebné preskúmať? Kto môže znovu otvoriť cestu a na základe akých dôkazov? Osoba, ktorá si všimne problém, ale nemôže zmeniť systém, je svedkom. Osoba, ktorá môže kliknúť na tlačidlo, ale nevie, čo tlačidlo zastavuje, obsluhuje rekvizitu.

Preto musí byť právo zastaviť navrhnuté ešte pred nasadením. Potrebuje určenú úlohu, rozsah, bezpečný stav, záznam o dôkazoch, cestu na eskaláciu a spôsob návratu do prevádzky, ktorý ticho nezavedie rovnaké zlyhanie. Potrebuje dostatok technických detailov, aby fungovalo, keď je systém vyťažený, dodávateľ je nedostupný a osoba, ktorá vytvorila pôvodný pracovný postup, prešla na iný projekt. Potrebuje tiež dostatok inštitucionálnej jasnosti, aby človek mohol právomoc použiť bez obvinenia, že prerušil inováciu.

Zastavenie je schopnosť, nie zdvorilosť

Zastavenie sa často opisuje ako posledná možnosť, čo mu dáva nešťastný ceremoniálny charakter. Organizácia sľubuje, že niekto môže zastaviť systém, ak sa okolnosti stanú dostatočne vážnymi. Okolnosti nastanú. Osoba hľadá právomoc. Právomoc sa ukáže ako odsek v dokumente, povolenie držané iným tímom alebo eskalácia adresa, ktorá je monitorovaná počas pracovnej doby. Systém pokračuje, veľmi zdvorilo.

Zastavenie nie je nálada. Je to schopnosť s rozhraním a zmluvou. Rozhraním môže byť tlačidlo, príkaz, politická brána, zrušený token, zakázaná cesta, pozastavenie frontu alebo riadené vypnutie. Zmluva hovorí, čo akcia robí, čo nerobí, ktorej práci sa bráni, ktorá práca môže dokončiť, aký stav sa zachováva, kto je upozornený a ako organizácia vie, že zastavenie nadobudlo účinok. Ak tieto odpovede chýbajú, slovo zastavenie znamená len to, že všetci súhlasia, že zastavenie by bolo pekné.

Existuje užitočné rozlíšenie medzi zastavením modelu a zastavením dôsledku. Model môže bežať, zatiaľ čo jeho výstupy sú zadržané na preskúmanie. Služba môže zostať dostupná pre návrhy s nízkym dopadom, zatiaľ čo jej cesta odporúčaní je zatvorená. Nástroj môže vrátiť informácie iba na čítanie, zatiaľ čo prístup na zápis je odobratý. Pracovný postup môže prijímať nové prípady, ale odmietnuť ich postúpiť na externé rozhodnutie. Toto sú rôzne ovládacie plochy. Zaobchádzanie s nimi ako s jedným veľkým červeným vypínačom buď zastaví príliš málo, alebo zničí viac práce, než je potrebné.

Proporcionalita je dôležitá, ale proporcionalita nie je povolením urobiť zastavenie vágne. Asistent s nízkym dosahom môže potrebovať lokálne odmietnutie a cestu k človeku. Systém používaný v oblasti s vysokým dosahom môže potrebovať tvrdú bariéru predtým, než výstup môže ovplyvniť práva osoby alebo prístup k službe. Autonómny nástroj, ktorý môže zmeniť externý záznam, môže potrebovať samostatnú cestu zásahu od modelu, ktorý len píše návrh. Riziko, miera autonómie a kontext použitia určujú silu kontroly. Neodstraňujú potrebu kontroly.

Jazyk aktu o umelej inteligencii je užitočný práve preto, že spája ľudský dohľad so skutočným rizikovým cieľom. Dohľad má zabrániť rizikám pre zdravie, bezpečnosť a základné práva alebo ich minimalizovať. Nie je tam na to, aby ozdobil systém ľudskou siluetou. Ak určená osoba nedokáže rozpoznať anomáliu, interpretovať výstup, prepísať ho alebo bezpečne zastaviť prevádzku, opatrenie nespĺňa praktický účel dohľadu, bez ohľadu na to, koľko podpisov sa objaví v projektovom súbore.

Čítajte článok 14 ako technickú špecifikáciu

Článok 14 sa vzťahuje na systémy umelej inteligencie s vysokým rizikom, nie na každý softvér, ktorý získal označenie AI. Jeho prvou požiadavkou je, aby bol systém navrhnutý a vyvinutý tak, aby ho fyzické osoby mohli účinne dohliadať počas jeho používania. Slovné spojenie „počas jeho používania“ je dôležité. Preskúmanie v čase obstarávania nie je dohľadom nad živým systémom. Školiaci kurz absolvovaný pred spustením nie je dohľadom nad zmeneným modelom. Vysvetlenie po incidente nenahrádza kontrolu, ktorá mohla konaniu zabrániť.

Druhá požiadavka dáva dohľadu účel. Má zabrániť rizikám, ktoré vznikajú pri používaní systému na zamýšľaný účel alebo pri primerane predvídateľnom zneužití, alebo ich minimalizovať. Táto formulácia odoláva pohodlnému triku, pri ktorom organizácia považuje každé škodlivé použitie za nepredvídateľné prekvapenie. Ľudia budú používať systémy pod tlakom, s neúplnými informáciami, cez preklady, v nezvyčajných kombináciách a na hranici svojich pokynov. Seriózny návrh sa pýta, ktoré zneužitie je primerane predvídateľné, a dáva posudzovateľovi spôsob, ako reagovať skôr, než výstup získa inštitucionálnu silu.

Tretia požiadavka robí dohľad úmerným riziku, autonómii a kontextu. Poskytovateľ môže zabudovať opatrenia do systému a môže tiež určiť opatrenia, ktoré musí implementovať nasadzovateľ. Toto je rozdelenie práce, nie rozdelenie zodpovednosti. Poskytovateľ nemôže odovzdať systém bez funkčného spôsobu prerušenia a ukazovať na nasadzovateľa. Nasadzovateľ nemôže ignorovať stanovené limity a tvrdiť, že poskytovateľ sľúbil bezpečnosť v abstraktnej rovine. Kontrola musí prežiť hranicu medzi dodanou vecou a spôsobom jej použitia.

Štvrtý odsek je miestom, kde sa právny jazyk stáva praktickým kontrolným zoznamom. Osoby určené na dohľad musia byť schopné porozumieť príslušným schopnostiam a obmedzeniam systému. Musia byť schopné ho monitorovať, a to aj z hľadiska anomálií, porúch a neočakávaného výkonu. Musia si byť vedomé automatizačného skreslenia, tendencie spoliehať sa alebo príliš sa spoliehať na strojový výstup. Musia byť schopné interpretovať výstup. Musia byť schopné rozhodnúť sa ho nepoužiť, ignorovať ho, prepísať ho alebo zvrátiť ho. Nakoniec musia byť schopné zasiahnuť alebo prerušiť prevádzku prostredníctvom tlačidla zastavenia alebo podobného postupu, ktorý ju uvedie do bezpečného stavu.

Každé sloveso vytvára inú dizajnérsku povinnosť. Porozumenie si vyžaduje použiteľné informácie o rozsahu a obmedzeniach. Monitorovanie si vyžaduje signály, čas a cestu, ako ich preskúmať. Uvedomenie si rizika automatizačnej zaujatosti si vyžaduje školenie a rozhranie, ktoré nezmení odporúčanie na predvolený verdikt. Interpretácia si vyžaduje dôkazy a kontext. Zásah si vyžaduje právomoc a záznam o nesúhlase. Prerušenie si vyžaduje zmenu stavu, ktorá je bezpečnejšia ako pokračovanie. Jediný zelený dashboard nemôže uspokojiť päť rôznych slovies len tým, že je veľký.

Akt zahŕňa aj konkrétnejšie pravidlo pre určité vysokorizikové systémy biometrickej identifikácie. V prípadoch, na ktoré sa ustanovenie vzťahuje, nemožno rozhodnutie prijať na základe výsledku identifikácie, pokiaľ ho samostatne neoverili a nepotvrdili aspoň dve kompetentné, vyškolené a oprávnené fyzické osoby, a to s výhradou uvedených právnych výnimiek. Toto je konkrétny európsky príklad dohľadu vyjadreného ako nezávislá právomoc, a nie ako osamelý recenzent klikajúci cez odporúčanie. Zároveň ukazuje, prečo musí dizajn pomenovať typ rozhodnutia a dôkazy, ktoré sú naň potrebné.

Článok 14 nepredpisuje jeden univerzálny model personálneho obsadenia. Stanovuje hranicu. Osoba musí mať dostatočnú kompetenciu, školenie a právomoc na výkon svojej úlohy. Poskytovateľ a nasadzovateľ musia zabezpečiť, aby bola kontrola primeraná systému. Organizácia stále musí rozhodnúť, ktoré roly vykonávajú ktoré činnosti, kedy je zastavenie povinné, ako sa spracúva pozastavený prípad a čo sa považuje za bezpečné obnovenie. Právo môže vyžadovať dvere. Nemôže si vybrať osobu, ktorá má kľúč v každej budove.

Zastavenie nie je koniec riadenia. Je to prechod, ktorý umožňuje vyšetrovanie, nápravu a obhájiteľné obnovenie.

Päť právomocí skrytých v slove dohľad

Pomáha vziať si päť praktických právomocí z článku 14 jednu po druhej. Prvou je porozumenie. Dohliadajúca rola nemôže pracovať so sloganom, ako napríklad model je zvyčajne presný. Rola potrebuje zamýšľaný účel, známe obmedzenia, vstupné podmienky, relevantné dôkazy o výkonnosti, režimy zlyhania, politiku aktualizácií a význam výstupu v skutočnom pracovnom postupe. Porozumenie nie je to isté ako čítanie modelovej karty. Je to schopnosť rozpoznať, kedy živý prípad spadá mimo podmienok, v ktorých bol systém vyhodnotený.

Druhým je monitorovanie. Monitorovanie sa často redukuje na dostupnosť, latenciu a skóre modelu. Tieto ukazovatele sú dôležité, ale služba môže byť dostupná a zároveň nesprávna. Model si môže zachovať svoju agregovanú výkonnosť, zatiaľ čo zdrojová kolekcia zastará, jazykové rozloženie sa zmení, termín politiky uplynie alebo downstream tím začne používať odporúčanie ako automatické rozhodnutie. Operačné monitorovanie sleduje dôsledok. Hľadá neočakávanú výkonnosť, zmeny vo vstupoch, zmeny v trase, nezvyčajné vzory prepísania, zablokované prípady, sťažnosti a náznaky, že systém je žiadaný o prácu, ktorá mu nebola zverená.

Tretím je interpretácia. Človek nemôže vykonávať dohľad, ak výstup prichádza bez svojich podmienok. Interpretácia môže vyžadovať príslušný zdroj, informácie o spoľahlivosti, verziu politiky, signál kvality vstupu, metódu vysvetlenia alebo porovnanie s bezpečnou základňou. Nevyžaduje mystický pohľad do každého parametra. Vyžaduje dostatok kontextu na zodpovedanie otázky, za ktorú je osoba zodpovedná: čo tento výstup znamená tu, čo neznamená a čo by sa malo stať, ak sú dôkazy nedostatočné?

Štvrtým je odmietnutie a zvrátenie. Článok 14 výslovne dáva úlohe dohľadu schopnosť rozhodnúť nepoužiť systém, ignorovať jeho výstup, prepísať ho alebo ho zvrátiť. Toto je silnejšie ako žiadať osobu, aby pridala komentár po prijatí výsledku. Znamená to, že pracovný postup musí umožniť prežitie odlišného rozhodnutia. Alternatíva sa nesmie považovať za výnimku, ktorá zmizne v ďalšom automatizovanom kroku. Ak človek môže nesúhlasiť, ale systém aj tak vykoná pôvodné odporúčanie, človek bol pozvaný vyjadriť názor, nie mu bol daný dohľad.

Piatym je prerušenie. Prerušenie pôsobí na samotnú operáciu. Môže zastaviť volanie nástroja pred externou zmenou, pozastaviť prípad, zabrániť vstupu novej práce do trasy, odvolať povolenie alebo prepnúť službu na ohraničenú záložnú možnosť. Technická metóda sa líši. Bezpečnostná vlastnosť sa nelíši: operácia musí dospieť do definovaného stavu, v ktorom ďalšia závažná akcia nemôže nastať len zotrvačnosťou.

Tieto právomoci spolu súvisia, ale nie sú zameniteľné. Človek môže systému rozumieť, ale nemusí mať práva ho zastaviť. Človek môže mať tlačidlo zastavenia, ale žiadny užitočný signál, ktorý by mu povedal, kedy ho stlačiť. Človek môže prepísať jeden výsledok, zatiaľ čo dávkový proces naďalej produkuje rovnaký výsledok pre všetkých ostatných. Človek môže zastaviť príjem, zatiaľ čo existujúce úlohy naďalej zapisujú do externého systému. Návrh dohľadu musí prepojiť právomoci naprieč skutočným životným cyklom práce.

Toto prepojenie je tiež miestom, kde sa ľudská úloha stáva dôstojnou. Recenzent tu nie je na to, aby absorboval neistotu systému podpisom. Recenzent je tu na to, aby vykonával ohraničenú právomoc, ktorú organizácia zámerne umožnila. Práca môže byť stále náročná. Môže vyžadovať odborné znalosti, úsudok a odvahu spochybniť populárny systém. Ale náročnosť nie je dôvod skrývať kontrolu. Je dôvodom ju špecifikovať.

Kto dostane kľúč?

Neexistuje jediný človek v slučke. Zvyčajne existuje niekoľko autorít, každá s iným dôvodom zasiahnuť. Poskytovateľ kontroluje časti návrhu a vydania. Nasadzovateľ kontroluje účel, konfiguráciu a operačné použitie. Osoba poverená dohľadom kontroluje konkrétne rozhodnutie alebo zásah počas behu. Vlastník domény kontroluje, či je výstup prijateľný v profesionálnom kontexte. Bezpečnostná alebo súkromná rola môže kontrolovať prístup k dôkazom alebo údajom. Dotknutá osoba môže mať právo napadnúť výsledok. Príslušný orgán môže vyžadovať informácie, nápravné opatrenie alebo stiahnutie. Zaobchádzanie so všetkými týmito ako s jednou rolou robí systém zdanlivo jednoduchým a zodpovednosť nemožnou.

Zodpovednosť poskytovateľa začína skôr, než sa systém dostane k používateľovi. Poskytovateľ rozhoduje o tom, ktoré ovládacie prvky sú zabudované, ktoré obmedzenia sú zdokumentované, ktoré protokoly možno vytvárať a ktoré zmeny sa považujú za podstatné. Poskytovateľ, ktorý tvrdí, že nasadzovateľ môže systém jednoducho monitorovať, musí ukázať, ako to môže nasadzovateľ urobiť pomocou dodaného rozhrania a informácií. Ak zastavenie závisí od nezdokumentovaného interného príkazu alebo od lístka na podporu s neistou odozvou, zastavenie nie je schopnosťou nasadzovateľa. Je to nádej, že dodávateľ zostane bdelý.

Nasadzovateľ má inú právomoc. Nasadzovateľ rozhoduje o tom, kde sa systém používa, na aký účel, s akými údajmi, v rámci akého pracovného postupu a s ktorými ľuďmi zodpovednými za dohľad. Nasadzovateľ môže zmeniť poradný výstup na faktické rozhodnutie prostredníctvom návrhu rozhrania, stimulov alebo tlaku, aj keď poskytovateľ systém starostlivo opísal. Nasadzovateľ preto musí zmapovať miestnu cestu, nielen zopakovať zamýšľaný účel dodávateľa. Rovnaký komponent môže mať iný profil rizika, keď je pripojený k inej činnosti.

Úloha dohľadu počas prevádzky si vyžaduje užšie a jasnejšie poverenie. Táto osoba môže mať povolené viesť prípad, odmietnuť odporúčanie, požiadať o ďalšie dôkazy, postúpiť vec vlastníkovi domény alebo aktivovať bezpečné zastavenie. Nesmie mať povolené meniť model, vymazávať dôkazy, robiť právne rozhodnutia ani obnoviť pozastavenú cestu. Tieto hranice nie sú urážkou tejto úlohy. Zabraňujú tomu, aby osoba, ktorá môže zastaviť proces, mohla zároveň vymazať dôvod na jeho zastavenie.

Právomoc by mala nasledovať dôsledok. Recenzent, ktorý môže pozastaviť návrh, nemusí mať možnosť pozastaviť každú cestu v organizácii. Osoba, ktorá môže zastaviť činnosť relevantnú pre bezpečnosť, môže potrebovať prístup k širšiemu incidentnému tímu a jasnú povinnosť informovať. Odborník v danej oblasti môže byť jedinou osobou oprávnenou zvrátiť výstup v regulovanom rozhodnutí. Bezpečnostný operátor môže mať možnosť izolovať službu, zatiaľ čo iná právomoc rozhoduje, či sa má používanie obnoviť. Dôležité nie je vytvoriť veľkú hierarchiu. Dôležité je urobiť odovzdávanie explicitným.

Postupovanie sa nesmie zamieňať so vzdaním sa zodpovednosti. Ak prvý recenzent postúpi každý zložitý prípad výboru, systém nezískal dohľad. Získal pomalší rad. Postupová cesta by mala uviesť, ktorá otázka sa postupuje, ktorá práca je pozastavená, kým sa čaká na odpoveď, kto musí odpovedať, aké dôkazy sa s prípadom posielajú a čo sa stane, ak cesta nie je dostupná. Prvá osoba zostáva zodpovedná za zachovanie prípadu a za použitie bezpečného predvoleného stavu. Nie je povinná vymyslieť konečnú odpoveď sama.

Právomoc tiež potrebuje cestu návratu. Zastavenie bez spôsobu, ako odovzdať kontrolu späť, sa stane buď trvalým výpadkom, alebo tichým obchádzaním. Cesta návratu by mala uviesť, kto môže obnoviť, ktoré podmienky musia byť splnené, či zachytený stav zostáva platný, ktorá čakajúca práca si vyžaduje nové vyhodnotenie a ako sú používatelia informovaní, že sa cesta zmenila. Obnovenie je ďalšie rozhodnutie. Zaslúži si rovnakú vážnosť ako prerušenie, hoci len zriedka dostane rovnaké príťažlivé tlačidlo.

Zastavenie musí byť bezpečné

Fráza bezpečný stav z nariadenia o umelej inteligencii si zaslúži viac pozornosti než hardvérové predstavy o tlačidle zastavenia. Systém môže prestať odosielať nové požiadavky a stále zanechať nebezpečnú prácu v pohybe. Môže ukončiť proces v polovici transakcie. Môže opustiť výstup bez toho, aby informoval osobu, ktorá čakala na rozhodnutie. Môže vypnúť viditeľné rozhranie, zatiaľ čo naplánovaná úloha pokračuje na pozadí. Môže zastaviť model a ponechať odporúčanie z vyrovnávacej pamäte dostupné pre ďalšiu službu. Zastavenie je bezpečné len vo vzťahu k skutočným účinkom systému.

Definujte stavy pred výberom ovládania. Spustená trasa môže prijímať, vyhodnocovať, odporúčať a konať. Pozastavená trasa nemôže prijímať nič nové, ale zachováva už prijatý materiál. Zastavená trasa môže odmietnuť všetku závažnú prácu a zároveň umožniť autorizovanú inšpekciu. Degradovaná trasa môže poskytovať obmedzenú službu iba na čítanie alebo iba pre ľudí. Stiahnutá trasa môže pred návratom vyžadovať nové schválenie. Toto sú dizajnové voľby, nie univerzálne názvy. Stanú sa užitočnými, keď ľudia vidia, v akom stave sa nachádzajú a čo každý stav povoľuje.

Prebiehajúca práca potrebuje vlastné pravidlo. Niektoré operácie sú reverzibilné a môžu sa bezpečne dokončiť. Niektoré už prekročili externú hranicu a potrebujú kompenzačnú akciu. Niektoré sa musia zahodiť a znovu vytvoriť, pretože dôkazy už nie sú dôveryhodné. Niektoré majú nízky dopad a môžu zostať ako koncepty. Systém by nemal nechať operátora hádať z jediného stavového štítku. Mal by zobraziť množinu práce, jej bod prechodu a akciu, ktorá nastane, ak sa neurobí nič iné.

Bezpečný stav tiež chráni dôkazy. Zastavenie systému odstránením jeho dočasných súborov môže odstrániť práve ten kontext potrebný na pochopenie zlyhania. Zastavenie systému ponechaním tajomstiev v širokom diagnostickom exporte môže vytvoriť druhý incident. Ovládanie potrebuje cestu na zachovanie dôkazov s hranicami prístupu, pravidlami uchovávania a menovaným vlastníkom. Bezpečnosť a súkromie tu nie sú rivalmi. Obe vyžadujú zámerné zaobchádzanie, nie bežnú núdzovú prax kopírovania všetkého do priečinka s názvom urgentné.

Testovanie zastavenia je súčasťou nasadenia systému. Tlačidlo, ktoré bolo kliknuté iba počas demonštrácie, dokazuje, že tlačidlo možno kliknúť. Nedokazuje, že sa príjem zastaví, akcie sa ustália, záznamy zostanú konzistentné, oznámenia sa dostanú k správnym ľuďom alebo že reštart nezopakuje prácu dvakrát. Test by mal precvičiť skutočnú trasu vrátane čiastočného zlyhania a operátora, ktorý má zamýšľanú autoritu, ale nie súkromné znalosti vývojára. Ak sa zastavenie nedá nacvičiť bez špeciálneho výkonu, ešte to nie je operačné ovládanie.

Fronta je súčasťou rozhodnutia

Zastavenie systému umelej inteligencie sa často predstavuje ako zastavenie modelu. V praxi je fronta okolo modelu súčasťou rozhodnutia. Práca môže čakať na vstup, na výsledok modelu, na ľudskú kontrolu, na nástroj nižšie v reťazci alebo na oznámenie. Každá pozícia má iné riziko. Zastavenie, ktoré chráni iba model, môže umožniť okolitej fronte naďalej považovať staré výstupy za platné.

Čakajúca práca potrebuje politiku. Dostane nová požiadavka jasné odmietnutie, oznámenie o oneskorení alebo ľudskú trasu? Zostane výsledok vytvorený pred zastavením použiteľný? Sú prípady, ktoré ešte neboli skontrolované, označené ako vyžadujúce nové vyhodnotenie? Rozlišuje systém prácu pozastavenú človekom od práce, ktorá technicky zlyhala? Môže používateľ odvolať požiadavku, kým je pozastavená? Podrobnosti závisia od služby, ale rozhodnutie nemožno ponechať na predvolené správanie fronty pri opakovaní.

Opakovania sú obzvlášť odhaľujúce. Technická fronta často predpokladá, že operácia, ktorá sa nedokončila, by sa mala skúsiť znova. Riadiaca fronta nemôže predpokladať, že rovnaké odporúčanie by sa malo vytvoriť znova, keď dôvodom zastavenia je neistota, rozsah alebo potenciálna škoda. Opakovanie môže byť bezpečné pre idempotentné čítanie a nebezpečné pre externú akciu. Politika zastavenia by preto mala niesť dôvod a povolený ďalší krok, nielen červený stav.

Existujúce výstupy si vyžadujú klasifikáciu. Niektoré sú návrhy, na ktoré sa nikto nespoliehal. Niektoré boli ukázané pracovníkovi. Niektoré boli skopírované do rozhodovacieho záznamu. Niektoré spustili upozornenie alebo zmenili systém mimo trasy AI. Organizácia nemôže rozhodnúť, čo s nimi urobiť, kým nevie, ktorú hranicu každý výstup prekročil. Preto sledovateľnosť nie je administratívna ozdoba. Je mapou dôsledkov, ktoré musí zastavenie obsiahnuť.

Fronta tiež mení pracovné zaťaženie ľudí. Zastavenie môže chrániť ľudí pred nebezpečnou automatizovanou činnosťou a zároveň vytvoriť veľké množstvo revíznej práce. Túto prácu treba uznať, stanoviť jej priority a zabezpečiť na ňu zdroje. Inak organizácia trasu nakoniec znovu otvorí preto, lebo zadržané prípady sa stali nepohodlnými, a nie preto, že sa zlepšili dôkazy. Pozastavenie, ktoré len presunie škodu do vyčerpanej manuálnej fronty, je odklad s dobrými úmyslami.

Nie je žiadna hanba, keď sa fronta spomalí, ak je alternatívou nepreskúmaný dôsledok. Dizajnový problém nastáva vtedy, keď fronta nemá model kapacity, žiadne pravidlo triedenia a žiadny spôsob, ako informovať dotknutých ľudí o tom, čo sa deje. Ľudský dohľad nie je bezplatná pozornosť. Je to prevádzková služba s obmedzeniami, ktoré by mali byť známe skôr, než sa stroj požiada o prevádzku vo veľkom rozsahu.

Po zastavení, pamäť

Zastavenie je udalosť, ktorá mení to, čo organizácia vie a čo je povinná urobiť. Záznam by mal obsahovať spúšťač, čas, trasu, stav pred zásahom, použitú právomoc, rozsah pozastavenia, dotknutú prácu, zachytené dôkazy, vykonané upozornenia a podmienky preskúmania. Mal by rozlišovať medzi pozorovaním a záverom. Operátor môže zaznamenať, že výstup nebol v súlade s poskytnutými dôkazmi, bez toho, aby tvrdil, že incident bol dokázaný. Presnosť v zázname chráni vyšetrovanie aj zúčastnených ľudí.

Akt o umelej inteligencii považuje vedenie záznamov za technickú vlastnosť systémov s vysokým rizikom. Článok 12 vyžaduje, aby takéto systémy umožňovali automatické zaznamenávanie udalostí počas celej ich životnosti, s možnosťami protokolovania, ktoré podporujú sledovateľnosť, identifikáciu rizík, monitorovanie po uvedení na trh a monitorovanie prevádzky. Článok 19 sa zaoberá uchovávaním automaticky generovaných protokolov pod kontrolou poskytovateľa, v súlade s zamýšľaným účelom a platným právom o ochrane údajov. Toto je užitočná pripomienka, že zastavenie nemôže závisieť od snímky obrazovky zostavenej dodatočne. Systém musí byť schopný zanechať stopu počas svojej prevádzky.

Protokolovanie nie je pokyn na zhromažďovanie všetkých osobných údajov navždy. Je to požiadavka zaznamenávať udalosti relevantné pre účel a riziko. Dobrý záznam o zastavení môže používať odkazy, haše, identifikátory verzií, redigovaný obsah a samostatné kontroly prístupu. Môže uchovávať vstup potrebný na prehratie v chránenom úložisku namiesto toho, aby ho umiestnil do bežného informačného panela. Vyšetrovanie by malo byť možné bez toho, aby sa úložisko dôkazov zmenilo na druhý nekontrolovaný dátový majetok.

Povinnosť poskytovateľa prijať nápravné opatrenia je tiež dôležitá. Ak poskytovateľ zastáva názor alebo má dôvod sa domnievať, že systém s vysokým rizikom nie je v zhode, akt vyžaduje potrebné nápravné opatrenia, ktoré môžu zahŕňať uvedenie do zhody, stiahnutie, deaktiváciu alebo odvolanie podľa potreby. Voľba nie je marketingové rozhodnutie. Je to reakcia viazaná na dôkazy, rozsah a riziko. Nasadzovateľ môže potrebovať zastaviť miestnu trasu skôr, ako poskytovateľ dokončí toto posúdenie. Poskytovateľ môže potrebovať deaktivovať alebo stiahnuť trasu, ktorú nasadzovateľ ponechal v prevádzke. Tieto dve právomoci musia byť schopné komunikovať bez straty dôkazov, ktoré vysvetľujú zmenu.

Monitorovanie po uvedení na trh rozširuje pamäť za hranice jednej udalosti. Zákon opisuje systém, ktorý aktívne a systematicky zbiera, dokumentuje a analyzuje relevantné údaje počas celej životnosti vysokorizikového systému. Nejde o to, aby poskytovateľ zízal na dashboard. Ide o to, aby sa zistilo, či systém naďalej spĺňa požiadavky a či sa nezmenil kontext okolo neho. Zastavenie môže byť prvým užitočným signálom v tomto procese. Séria malých zásahov môže o vhodnosti systému vypovedať viac ako jedna úhľadná evalvácia pri uvedení.

Závažné incidenty majú v zákone samostatnú cestu hlásenia vrátane povinnosti vyšetriť ich a prijať nápravné opatrenia po nahlásení. Článok nepremieňa každé prepísanie rozhodnutia na závažný incident. Tento rozdiel je dôležitý. Prevádzkovateľ, ktorý zruší odporúčanie, môže vykonávať zdravú kontrolu, a nie objavovať udalosť, ktorá sa musí hlásiť. Záznam by mal zachovať dostatok informácií na to, aby sa organizácia mohla rozhodnúť, čo sa stalo, namiesto toho, aby nútil každý nesúhlas buď do ticha, alebo do dramatického označenia.

Eskalácia je kontrolovaný prenos otázky, nie zdvorilý spôsob, ako nechať zodpovednosť zmiznúť.

Eskalácia je cesta, nie nálada

Ľudia často hovoria, že náročný prípad by sa mal eskalovať. Táto fráza znie zodpovedne, ale neobsahuje takmer žiadnu prevádzkovú informáciu. Eskalovať komu? Na aké rozhodnutie? S akými dôkazmi? V akom čase? Čo sa drží, kým čakáme na odpoveď? Čo sa stane, ak nikto neodpovie? Cesta, ktorá nezodpovedá žiadnu z týchto otázok, odmení vytrvalosť, nie úsudok. Prípad sa bude buď posúvať, až kým sa termín nestane rozhodnutím, alebo sa potichu vráti človeku, ktorý si problém všimol ako prvý.

Užitočná eskalácia sa začína otázkou. Je výstup mimo schváleného účelu? Sú dôkazy neúplné? Zmenil sa systém od evalvácie? Existuje riziko pre základné právo? Už nastala vonkajšia akcia? Je problém technický, právny, doménovo špecifický, bezpečnostný alebo ich kombinácia? Otázka určuje, ktorá rola na ňu môže odpovedať. Eskalácia, ktorá pošle rovnaký nediferencovaný prípad každému tímu, nie je dôkladná. Je to skupinový e-mail s budúcim časom.

Úloha miestneho dohľadu by mala mať bezpečnú predvolenú možnosť, kým je otázka otvorená. Môže ňou byť pozastavenie, odmietnutie, návrat na výlučne ľudskú cestu, zachovanie návrhu alebo obmedzenie systému na režim len na čítanie. Predvolená možnosť by mala byť viditeľná pre danú osobu a v prípade potreby aj pre dotknutého používateľa. Ticho nie je bezpečnou predvolenou možnosťou, keď pracovný postup pod ním pokračuje.

Dôkazy musia putovať spolu s eskaláciou. Prijímajúca úloha by nemala musieť rekonštruovať prípad z výstupu modelu a časovej pečiatky. Mala by dostať príslušný referenčný vstup, výstup, verzie modelu a politiky, zdrojový materiál, signál istoty alebo neistoty, stav akcie, predchádzajúce zásahy a presné rozhodnutie, ktoré sa vyžaduje. Tu tiež záleží na disciplíne ochrany súkromia. Pošlite dosť na zodpovedanie otázky, nie celý život človeka len preto, že tlačidlo exportu bolo nablízku.

Eskalácia potrebuje hodiny, ale nie každé hodiny sú termínom na schválenie. Otázka s nízkym dopadom môže počkať na bežnú kontrolu. Akcia s vysokým dopadom môže vyžadovať okamžité pozastavenie a pohotovostnú cestu. Pravidlo načasovania by malo určiť, čo sa stane, keď okno odozvy uplynie. Môže predĺžiť pozastavenie, preniesť právomoc, upovedomiť nadriadeného alebo vyžadovať nové rozhodnutie. Nemalo by ticho premeniť chýbajúcu odpoveď na povolenie.

Uzavretie je súčasťou eskalácie. Záznam by mal uviesť, čo sa rozhodlo, kto to rozhodol, na základe akých dôkazov, s akými obmedzeniami a aké nasledujúce kroky sa plánujú. Ak je odpoveďou, že systém môže pokračovať len v užšom kontexte, nová hranica by sa mala uplatniť, nie obdivovať. Ak je odpoveďou, že systém sa musí stiahnuť, dotknutá práca a používatelia potrebujú plán. Ak je odpoveďou, že anomália bola neškodná, dôkazy by mali stále informovať monitorovanie a školenie. Eskalácia, ktorá zmizne po stretnutí, sa nestala inštitucionálnym poznatkom.

Dobrá eskalácia tiež chráni osobu, ktorá problém nastolí. Právomoc zastaviť systém je zbytočná, ak sa jej použitie považuje za nelojálnosť. Organizácie učia svoje skutočné priority tým, čo sa stane po tom, čo osoba povie nie. Ak je odpoveďou zvedavosť, dôkazy a podpora, ľudia sa naučia, že dohľad je súčasťou práce. Ak je odpoveďou obviňovanie, meškanie a žiadosť o väčšiu pozitivitu, systém dostane menej varovaní a varovania, ktoré dostane, prídu neskôr.

Ľudský dohľad je pracovná záťaž

Odkaz zákona na kompetenciu, školenie a právomoc sa dá ľahko čítať ako požiadavka na ľudské zdroje. Je to tiež požiadavka na kapacitu. Osoba nemôže efektívne monitorovať systém umelej inteligencie, ak rozhranie ukazuje príliš veľa šumu, rad nenecháva čas na kontrolu, dôkazy prichádzajú v inom nástroji, rozhodnutia sa merajú len rýchlosťou alebo organizácia pridelila prácu niekomu bez odborných znalostí v danej oblasti. Úloha môže existovať na papieri a stále môže byť nemožné ju vykonávať.

Školenie by malo zahŕňať limity systému, schválený účel, znaky neočakávaného výkonu, význam neistoty, mechaniku prepísania a zastavenia, súkromie dôkazov a cestu po zásahu. Malo by zahŕňať prípady, v ktorých výstup vyzerá vierohodne. Dohľad je najviac potrebný, keď odpoveď nie je dosť absurdná na to, aby sa okamžite odmietla. Kurz, ktorý učí ľudí rozpoznať karikatúrne nesprávnu odpoveď, ich pripravuje na demonštráciu, nie na fungujúcu službu.

Automatizačná zaujatosť si zaslúži praktickú pozornosť. Odporúčanie sa môže stať kotvou skôr, než posudzovateľ prečíta podporné dôkazy. Štítok s mierou spoľahlivosti možno interpretovať ako pravdepodobnosť, aj keď ňou nie je. Vybrúsené vysvetlenie môže pôsobiť ako nezávislé potvrdenie, aj keď je len zopakovaním. Poradie rozhrania záleží. Ak systém predstaví svoju odpoveď ako prvú a dôkazy až potom, posudzovateľ môže stráviť zvyšok procesu obhajovaním alebo opravovaním prvého dojmu. Ovládací prvok na zastavenie, ktorý je skrytý v rovnakom pracovnom postupe ako schválenie, tiež vypovedá o tom, ktorú činnosť organizácia očakáva.

Limity pracovného zaťaženia sú bezpečnostné ovládacie prvky. Posudzovateľ, ktorý musí vybaviť veľký front, sa môže naučiť považovať predvolenú voľbu modelu za najrýchlejšie bezpečné riešenie. Špecialista, ktorý dostáva každý nejednoznačný prípad, môže začať schvaľovať len preto, aby služba bežala ďalej. Malý tím, ktorý vlastní pohotovostnú trasu zastavenia, môže byť nedostupný v hodinách, keď systém skutočne beží. Toto nie sú osobné zlyhania. Sú to predvídateľné reakcie na prevádzkový dizajn, ktorý žiada, aby ľudský úsudok kompenzoval neobmedzenú automatizáciu.

Merajte samotnú prácu dohľadu. Ako často sú výstupy prepísané? Ako často sa pokúša o zastavenie? Ktoré signály vedú k zásahu? Ako dlho zostávajú pozastavenia otvorené? Ktoré skupiny alebo jazyky vytvárajú viac neistoty? Koľko opráv je potrebných, kým sa výstup môže použiť? Metriky nenahrádzajú úsudok, ale môžu odhaliť, že sľubovaná kontrola sa stáva len formalitou. Cieľom nie je trestať vysokú mieru prepisovania. Cieľom je pýtať sa, čo nám táto miera hovorí o systéme a pracovnom postupe.

Európske bezpečnostné tradície to už poznajú

Európsky politický jazyk o dôveryhodnej umelej inteligencii sa nezačal aktom o umelej inteligencii. V roku 2019 skupina odborníkov na vysokej úrovni Európskej komisie pre umelú inteligenciu zverejnila Etické usmernenia pre dôveryhodnú umelú inteligenciu. Usmernenia označujú ľudskú činnosť a dohľad za jednu zo siedmich požiadaviek a opisujú prístupy človek v slučke, človek nad slučkou a človek vo velení. Spájajú tiež dohľad s technickou robustnosťou, záložnými plánmi, transparentnosťou, vysledovateľnosťou a zodpovednosťou. Dôležitý nie je slovník. Dôležité je rozhodnutie opísať dôveryhodnosť ako súbor podmienok, ktoré možno posúdiť.

Neskoršia hodnotiaca práca Komisie dáva organizáciám spôsob, ako premeniť tieto podmienky na otázky. Sú si ľudia vedomí, že interagujú so systémom umelej inteligencie? Dokážu pochopiť schopnosti a obmedzenia systému? Môžu zasiahnuť a rozhodnúť sa ho nepoužívať? Existujú mechanizmy nápravy? Kontrolný zoznam neurobí prevádzku bezpečnou. Uľahčuje však predstieranie, že osoba určená na dohľad je automaticky osobou oprávnenou ho vykonávať.

Práca agentúry ENISA o kybernetickej bezpečnosti umelej inteligencie pristupuje k téme cez životný cyklus a ekosystém okolo modelu. Jej mapa hrozieb pre umelú inteligenciu z roku 2020 mapuje aktíva, aktérov, hrozby a fázy od požiadaviek až po nasadenie. Táto perspektíva je cenná pre zastavenie, pretože to, čo treba izolovať, nemusí byť model. Môže to byť zdroj údajov, povolenie nástroja, balík nasadenia, monitorovacia cesta alebo komponent dodávateľa. Zastavenie navrhnuté okolo názvu modelu môže ponechať skutočnú schopnosť nedotknutú inde v reťazci.

Toto sú zdokumentované európske prístupy, nie tvrdenia, že Európa vyriešila dohľad. Usmernenia a akt stanovujú očakávania. Agentúra ENISA mapuje bezpečnostný problém. Práca implementácie zostáva miestna, technická a nevyhnutne všedná. Niekto stále musí rozhodnúť, ktorá rola môže držať trasu o tretej popoludní, ktoré dôkazy sa zobrazia na jej obrazovke a kto odpovedá, keď sa zastavenie použije.

Obstarávanie rozhoduje skôr ako prevádzkovatelia

Mnohé zlyhania pri zastavení systému sú rozhodnutia o nákupe oblečené do prevádzkového hávu. Zmluva môže poskytovateľovi umožniť zmenu modelu bez použiteľného oznámenia. Služba nemusí sprístupňovať logy ani identifikátor verzie. Export môže vynechávať rozpracovanú prácu a históriu zásahov. Zmluva o podpore nemusí ponúkať žiadnu cestu reakcie na bezpečnostné pozastavenie. Kupujúci mohol prijať všeobecné vyhlásenie, že zákazník zodpovedá za používanie, bez toho, aby získal kontrolné mechanizmy potrebné na výkon tejto zodpovednosti. V čase, keď operátor požiada o vypínač, zmluva už rozhodla, či existuje.

Obstarávanie by preto malo klásť prevádzkové otázky. Ktorá strana môže deaktivovať jednotlivé trasy? Môže nasadzujúci zastaviť závažnú akciu bez čakania na podporu poskytovateľa? Čo sa stane s prebiehajúcou a čakajúcou prácou? Aký stav sa zaznamenáva? Ako sa oznamujú zmeny? Môže zákazník získať logy a dôkazy v použiteľnom formáte? Aké je záložné riešenie, keď je služba nedostupná? Ktoré roly sú vyškolené a kto financuje toto školenie? Ako sa opraví sporný výstup? Ako organizácia odíde bez straty záznamov potrebných na vysvetlenie predchádzajúcich rozhodnutí?

Tieto otázky nie sú pokusom prinútiť každého dodávateľa, aby sa správal ako verejný orgán. Sú spôsobom, ako udržať právomoc v súlade s používaním. Ak organizácia nesie povinnosť chrániť ľudí ovplyvnených systémom, potrebuje dostatočnú kontrolu nad trasou na splnenie tejto povinnosti. Zmluva, ktorá ponecháva zákazníka zodpovedného, ale prevádzkovo bezmocného, nie je model riadenia. Je to prevod zodpovednosti s logom.

Krátka poznámka od nás

V spoločnosti Dweve naša práca na stavovom zodpovednom systéme umelej inteligencie prináša rovnaký skromný bod z inžinierskej stránky: zodpovedný pracovný postup má pomenované stavy, ochrany, záznamy, vlastníkov a výstupy. To nie je tvrdenie, že diagram môže vyriešiť riadenie. Je to pripomienka, že princípy potrebujú miesto, kde môžu pristáť, keď systém beží. Či už je nástrojom komponent Dweve, služba verejného sektora alebo model dodávateľa, test je rovnaký. Môže skutočná osoba vidieť problém, vykonať právomoc, zastaviť ďalší dôsledok, zachovať dôkazy a vrátiť prácu do obhájiteľného stavu?

Otázky pred nasadením

Predtým, ako model vstúpi do závažného pracovného postupu, položte otázky o zastavení v miestnosti, kde bude systém skutočne fungovať. Nenechávajte ich na preskúmanie politiky, ktoré nikdy neuvidí front, bránu nástroja ani osobu, ktorá dostane upozornenie.

  • Čo presne možno zastaviť? Pomenujte modelovú trasu, volanie nástroja, frontu, notifikáciu, zápis a nadväzujúcu službu. Ak je odpoveďou iba proces modelu, hľadajte schopnosť, ktorá zostane po jeho zastavení.
  • Kto to môže zastaviť bez toho, aby sa pýtal tvorcu? Pomenujte rolu za behu systému, jej právomoc, jej zálohu a jej limit. Osoba by na použitie ovládania nemala potrebovať súkromné znalosti o implementácii.
  • Aký signál im hovorí, že majú konať? Definujte anomálie, chýbajúce dôkazy, konflikt rozsahu, neprijateľnú neistotu, zmenu politiky, bezpečnostný problém a námietku používateľa spôsobom, ktorý môže operátor pozorovať.
  • Čo sa stane s prácou, ktorá už beží? Oddeľte nové vstupy, čakajúcu prácu, prebiehajúce operácie, výstupy zobrazené ľuďom a už vykonané akcie. Každej priraďte bezpečné zaobchádzanie.
  • Čo je bezpečný stav? Opíšte, čo systém po prerušení prijíma, odmieta, podrží, dokončí alebo sprístupní. Overte, že stav je skutočný, a nie iba označenie na obrazovke.
  • Aké dôkazy prežijú? Zachovajte príslušný vstup, výstup, verzie, politiku, referencie na zdroje, ľudské akcie, časovanie a notifikácie s primeranými kontrolami súkromia.
  • Kto dostane eskaláciu? Uveďte rozhodovaciu otázku, okno na odpoveď, balík dôkazov a predvolený postup počas čakania. Distribučný zoznam nie je mapa právomocí.
  • Kto môže trasu obnoviť, zúžiť alebo zrušiť? Rozhodnutie o návrate uveďte explicitne. Identifikujte podmienky, opätovné vyhodnotenie, komunikáciu s používateľom a spúšťač kontroly, ktoré ho sprevádzajú.
  • Čo vám povie, že ovládanie zlyháva? Sledujte vzory obchádzania, trvanie podržania, opakované incidenty, nerovnomerné účinky, tlak vo fronte, sťažnosti používateľov a odchýlky v okolitom pracovnom postupe. Zriedkavo použité zastavenie môže znamenať bezpečný systém alebo skryté ovládanie.

Otázky sú zámerne jednoduché. Nie sú náhradou za posúdenie rizika, proces zhody, plán incidentov ani právne preskúmanie. Sú bodom, v ktorom sa tieto činnosti stávajú prevádzkovými. Ak na ne organizácia nevie odpovedať, chýbajúca práca nie je filozofický nesúhlas o tom, či sa má AI dôverovať. Je to chýbajúca súčasť systému.

Právomoc zastaviť je právomocou starať sa

Model sa môže mýliť spôsobom, ktorý vyzerá obyčajne. Zdroj je starý. Vstup je neúplný. Trasa sa rozšírila. Hranica sa posunula. Preklad zmenil význam. Povolenie nástroja prežilo svoj účel. Recenzent vidí záver, ale nie dôkazy. Nezaznie žiadny alarm, pretože systém je stále dostupný a dashboard je stále zelený. Škoda začína ako malý nesúlad medzi tým, čo systém smel robiť, a tým, čo od neho organizácia teraz očakáva.

Ľudský dohľad je odpoveďou inštitúcie na tento nesúlad, ale iba vtedy, keď je viac než len prítomnosťou. Úloha dohľadu potrebuje znalosti na rozpoznanie problému, čas na jeho vyšetrenie, právomoc odmietnuť alebo prerušiť, bezpečný stav, ktorý dáva prerušeniu zmysel, a záznamy, ktoré iným ľuďom umožnia pochopiť, čo sa stalo. Potrebuje eskaláciu, ktorá nesie otázku a dôkazy, a nie vágne volanie o pomoc. Potrebuje obnovenie, ktoré je rozhodnutím, a nie koncom výpadku.

Európsky akt o umelej inteligencii správne používa jazyk zásahu a bezpečného zastavenia pre systémy s vysokým rizikom. Dáva správe fyzickú hranu. Žiada ľudí, ktorí navrhujú a nasadzujú systémy, aby umožnili ľudskú kontrolu počas používania, a nie iba obdivuhodnú v zásade. Skoršia práca Komisie o dôveryhodnej AI a prístup ENISA k životnému cyklu posilňujú rovnaký smer: dohľad patrí do prevádzky systému, jeho dôkazov a jeho okolitého dodávateľského reťazca.

V spoločnosti Dweve uprednostňujeme neromantickú verziu tejto myšlienky. Seriózny systém by mal poznať svoje stavy, svoje limity a svojho vlastníka. Mal by vedieť zadržať prácu, ukázať, prečo ju zadržal, a čestne sa zastaviť, keď dôkazy nestačia. To nie je osobitná cnosť jednej architektúry. Je to minimálna úcta voči ľuďom, ktorí musia žiť s výsledkom.

Keď je model nesprávny, rozhodujúca otázka nie je, či bol človek technicky prítomný. Je to, či pomenovaná ľudská autorita mohla zmeniť to, čo nasledovalo, a či si organizácia túto zmenu dokázala zapamätať. Ak je odpoveď áno, dohľad plní svoju úlohu. Ak je odpoveď nie, systém má nablízku človeka, niekde tlačidlo a žiadnu brzdu.

Zdroje