Vysokorizikový systém nie je vysokorizikový model

Riziko nežije v modeli ako výstražný štítok. Vzniká zo zamýšľaného účelu, nasadenia, autority, rozhraní a ľudí, ktorí musia žiť s výsledkom.

Vysokorizikový systém nie je vysokorizikový model

Označenie sa viaže na použitie, nie na škatuľu

Model možno skopírovať z jedného servera na druhý bez toho, aby sa čokoľvek naučil. Jeho váhy, kód a inzerované schopnosti môžu zostať nezmenené. No otázka, ktorú si Európa kladie o veci okolo neho, sa môže úplne zmeniť. Na čo slúži? Kto ho používa? Koho postavenie môže zmeniť? Ktorý záznam vstupuje do pracovného postupu? Kto môže spochybniť odpoveď, opraviť ju, zastaviť ju alebo neskôr zistiť, prečo sa ňou riadil?

Nejde o pokus urobiť z jednoduchej témy niečo veľkolepejšie, než je. Je to bežný rozdiel medzi komponentom a systémom. Brzdový kotúč nie je cestné vozidlo. Vzorec v tabuľke nie je daňové rozhodnutie. Univerzálny model umelej inteligencie sám o sebe nie je každým systémom umelej inteligencie, ktorý sa okolo neho môže neskôr vybudovať. Na tomto rozlíšení sa dá ľahko prikývnuť a pozoruhodne ľahko sa stráca, akonáhle sa na porade o obstarávaní začne hovoriť o modeli, akoby už obsahoval celé budúce nasadenie.

Akt o umelej inteligencii EÚ toto rozlíšenie udržiava v zornom poli. Definuje systém umelej inteligencie a osobitne definuje univerzálny model umelej inteligencie. Jeho pravidlá pre vysoké riziko sa týkajú systémov umelej inteligencie v konkrétnych okolnostiach, vrátane systémov, ktoré sú bezpečnostnými komponentmi regulovaných výrobkov, a systémov používaných v uvedených oblastiach. Akt tiež robí zamýšľaný účel ústredným pre klasifikáciu a dokumentáciu systému umelej inteligencie. Nevyzýva tím, aby ukázal na názov modelu, pripevnil červenú, oranžovú alebo zelenú nálepku a vyhlásil prácu za hotovú.

To by malo byť oslobodzujúce aj náročné. Model nenesie trvalý morálny horoskop. Starostlivá analýza môže byť úzka tam, kde je zamýšľaný účel úzky, a môže sa stať závažnou tam, kde sa závažnými stanú právomoc, miera vplyvu a dôsledky. Háčik je v tom, že analýza musí sledovať skutočný systém. Nie demo. Nie prezentáciu dodávateľa. Nie neškodnú úlohu, ktorá pred šiestimi mesiacmi otvorila projekt. Systém, ktorý bude prijímať vstupy, sprístupňovať výstupy, formovať rozhodnutie a bude prevádzkovaný v obyčajný utorok.

Predstavme si zámerne hypotetický príklad. Rovnaký jazykový model je najprv pripojený k internému nástroju na vyhľadávanie znalostí. Vyhľadáva pasáže z politík pre vyškoleného kolegu, ktorý si môže otvoriť pôvodný zdroj a napísať vlastnú odpoveď. Neskôr organizácia pripojí model k prihlasovaciemu formuláru, umiestni jeho odporúčanie na začiatok záznamu o prípade, nastaví časovač na prípad a urobí z prijatia odporúčania najrýchlejší spôsob, ako vybaviť front. Na to, aby sme videli zmenu, netreba žiadnu fiktívnu radu, pacienta, zamestnanca ani incident. Model môže byť identický. Úloha výstupu, dátová cesta, motivácia, dotknutá osoba a praktická autorita rozhrania identické nie sú.

To je argument tohto článku: systém s vysokým rizikom nie je model s vysokým rizikom. Model môže byť dôležitou súčasťou systému a môže mať vlastné povinnosti. Ale analýza rizika sa stáva zmysluplnou až vtedy, keď sa dostane k zamýšľanému účelu, kontextu nasadenia, používateľom, dotknutým osobám a následnej integrácii. Tieto podrobnosti nie sú papierovačkou pripojenou až po inžinierskej práci. Sú to okolnosti, ktoré dávajú výstupu inštitucionálnu silu.

Prejdite myšou alebo vyberte vrstvu. Model je len jedna vrstva; dôsledok sa objaví až vtedy, keď sa vrstvy stretnú.

Európa zámerne používa dve rôzne podstatné mená

Rozdiel začína v definíciách nariadenia. Systém umelej inteligencie je strojový systém navrhnutý tak, aby fungoval s rôznou mierou autonómie a po nasadení mohol vykazovať adaptívnosť, ktorý z vstupov odvodzuje, ako generovať výstupy, ako sú predpovede, obsah, odporúčania alebo rozhodnutia, ktoré môžu ovplyvniť fyzické alebo virtuálne prostredie. Model umelej inteligencie na všeobecné účely je iný: je to model umelej inteligencie schopný kompetentne vykonávať širokú škálu rôznych úloh, či už je uvedený na trh alebo nie, a možno ho integrovať do rôznych nadväzujúcich systémov alebo aplikácií.

Tieto definície sa v bežnej konverzácii prekrývajú, pretože to isté slovo, AI, vykonáva veľa neplatenej práce. V hodnotení by sa prekrývať nemali. Model na všeobecné účely je vytvorený na cestovanie. Jeho možné použitia sú zámerne široké. Systém umelej inteligencie je prevádzkové usporiadanie, prostredníctvom ktorého výstupy ovplyvňujú prostredie. Má účel, konfiguráciu, rozhranie a prostredie. Môže zahŕňať model, niekoľko modelov, deterministické pravidlá, databázy, senzory, ľudí, postupy a množstvo malých rozhodnutí, ktoré nikto nenazýva umelou inteligenciou, kým nezlyhajú.

Preto si poskytovateľ modelu umelej inteligencie na všeobecné účely a poskytovateľ alebo nasadzovateľ systému umelej inteligencie nemôžu jednoducho vymeniť kontrolné zoznamy. Usmernenia Komisie o modeloch umelej inteligencie na všeobecné účely uvádzajú, že poskytovatelia modelov musia sprístupniť informácie a dokumentáciu poskytovateľom nadväzujúcich systémov umelej inteligencie, aby títo poskytovatelia mohli pochopiť schopnosti a obmedzenia modelu a splniť si vlastné povinnosti. Táto veta je zaujímavejšia, než sa na prvý pohľad zdá. Predpokladá, že poskytovateľ nadväzujúceho systému má prácu, ktorú poskytovateľ modelu nemôže dokončiť. Dokumentácia modelu cestuje, ale nedokončí cestu.

Je v tom praktická pokora. Poskytovateľ modelu môže opísať architektúru, proces tréningu, hodnotenie, zamýšľané úlohy, požiadavky na integráciu, vstupy a výstupy, obmedzenia a známe podmienky. Nadväzujúci tím vie, či je používateľ vyškolený špecialista, či dotknutá osoba môže napadnúť výsledok, či je odporúčanie poradné len v mene, ale záväzné v praxi, či volanie externej služby zmení záznam a či možno chybné konanie zvrátiť. Žiadna strana nemá sama o sebe úplný obraz.

Toto rozdelenie nie je medzera v zákone. Je to mapa zodpovednosti. Hovorí, že systém nemožno riadiť tak, že požiadame poskytovateľa modelu, aby sľúbil kontrolu nad nasadením, ktoré neprevádzkuje ani nevidí. Zároveň hovorí, že integrátor sa nemôže vyhovárať na neznalosť tam, kde dokumentácia robí dôležité obmedzenie viditeľným. Nejde o to vytvoriť čisté odovzdanie medzi právnickými osobami. Ide o to, aby sa otázka nestratila v medzere medzi nimi.

Okrem prvého rozlišovania existuje ešte jedno, ktoré stojí za to zachovať. Klasifikácia ako vysokoriziková sama osebe neznamená povolenie, bezpečnosť, spravodlivosť ani zákonnosť. Vo svojom spoločnom stanovisku k pôvodnému návrhu Komisie Európsky výbor pre ochranu údajov a európsky dozorný úradník pre ochranu údajov zdôraznili, že klasifikácia ako vysokoriziková nemusela nevyhnutne znamenať, že systém je ako taký zákonný alebo že ho jeho používateľ môže ako taký nasadiť. Zákon v konečnom znení zmenil právny rámec od čias tohto stanoviska, ale základné varovanie zostáva užitočné. Klasifikácia je regulačná podmienka. Nie je to potvrdenka o tom, že inštitúcia môže prestať premýšľať.

To je dôležité, pretože označenie vysokorizikový môže viesť k dvom opačným chybám. Jeden tím ho môže vnímať ako trvalú škvrnu na modeli a rozhodnúť sa, že odpoveďou je jednoducho sa ďalej nepozerať. Iný môže považovať ukončený proces posudzovania zhody za povolenie pre akýkoľvek neskorší kontext. Oba prístupy nahrádzajú označením argument. Európa si zvolila nepohodlnejší prístup: identifikovať systém, jeho účel a jeho úlohu, potom preskúmať relevantné riziká a povinnosti počas celého jeho životného cyklu.

Určený účel je miestom, kde sa analýza orientuje

Určený účel znie skromne, takmer úradnícky. Nie je. Zákon ho definuje ako použitie, na ktoré je systém umelej inteligencie určený poskytovateľom, vrátane špecifického kontextu a podmienok použitia uvedených v informáciách poskytnutých poskytovateľom. Inými slovami, účel nie je slogan na produktovej stránke. Zahŕňa kontext a podmienky, v ktorých poskytovateľ uvádza, že sa má systém používať. Užitočné vyhlásenie o účele má jasné hranice. Hovorí, čo systém robí, pre koho, s akými vstupmi, v akom pracovnom postupe a kde sa končí jeho právomoc.

Porovnajte dva opisy. Prvý hovorí, že systém využíva umelú inteligenciu na pomoc organizáciám pri prijímaní lepších rozhodnutí. Je dostatočne široký na to, aby sa zmestil na konferenčné pozadie, a príliš široký na to, aby sa dal použiť. Druhý hovorí, že systém predkladá vyškoleným posudzovateľom návrhy súhrnov s odkazmi na zdroje z existujúceho spisu; nemôže rozhodnutie vytvoriť, odoslať ani vykonať; posudzovateľ musí pred použitím súhrnu overiť citované zdroje; a funkcia nie je dostupná pre kategórie, ktoré si vyžadujú samostatný zákonný proces. Druhý opis je menej vzrušujúci. Je však aj niečím, s čím môže inžinier, vedúci obstarávania, kolega z oblasti súladu a dotknutá osoba konkrétne nesúhlasiť.

Účel nemusí byť jedna veta. Pri serióznom systéme je to zvyčajne kompaktný balík: úloha, výstup, používateľ, dotknutá populácia, prostredie, právomoc, vylúčenia, závislosti a podmienky. Požiadavky zákona na technickú dokumentáciu vytvárajú priestor práve pre takýto opis. Príloha IV si vyžaduje všeobecný opis systému umelej inteligencie vrátane určeného účelu, osôb a skupín, na ktorých sa má používať, a konkrétnych verzií alebo foriem, v ktorých sa uvádza na trh. Vyžaduje si aj opisy architektúry systému, požiadaviek na údaje, opatrení ľudského dohľadu, monitorovania životného cyklu a opatrení na riadenie rizík. Dokumentácia má taký rozsah, pretože samotný modelový list nedokáže opísať nasadenie.

Účel je tiež miestom, kde tím zistí, že opisoval ambíciu, nie prevádzku. Vyhlásenie, že budeme podporovať pracovníkov s prípadmi, môže skrývať tucet rôznych usporiadaní. Vyhľadáva nástroj dokumenty, triedi prácu, navrhuje odpoveď, odporúča kategóriu, zamieta žiadosť, eskaluje upozornenie, nastavuje prioritu alebo volá inú službu? Používa ho kolega pred vytvorením nezávislého názoru alebo po ňom? Je výstup návrhom na bočnom paneli alebo poľom, ktoré musí byť vyplnené, aby sa záznam mohol posunúť ďalej? Je účinok okamžitý, oneskorený, reverzibilný alebo ťažko rozpoznateľný? Odpoveď mení systém, aj keď používateľské rozhranie vyzerá povedome.

Zamýšľaný účel poskytovateľa nemôže spôsobiť, že realita zmizne. Tím nemôže dať systému širokú praktickú právomoc, opísať ho ako neškodného asistenta a očakávať, že tento opis vec vyrieši. Ale správne ohraničený účel je stále kontrolným prvkom. Hovorí používateľom, aké dôkazy sa zohľadnili, integrátorom, čo nesmú bezhlavo rozširovať, a posudzovateľom, aká zmena by si vyžiadala nové posúdenie. Vágny účel mení každú neskoršiu otázku na spor o tom, čo sa myslelo. Ohraničený účel umožňuje organizácii pýtať sa, či stále robí to, čo schválila.

Toto sa stáva obzvlášť dôležitým, keď organizácia vykoná podstatnú úpravu. Akt obsahuje pravidlá pre prípady, keď sa distribútor, dovozca, nasadzovateľ alebo iná tretia strana môže stať poskytovateľom, a to aj vtedy, keď uvedie systém na trh pod vlastným menom, vykoná podstatnú úpravu alebo zmení zamýšľaný účel tak, že sa systém stane vysokorizikovým. Presné právne uplatnenie závisí od okolností a treba ho overiť v kontexte. Prevádzkové ponaučenie je jednoduchšie: zmena integrácie môže byť udalosťou správy a riadenia. Presun výstupu modelu z konceptu do frontu rozhodnutí môže byť zároveň zmenou produktu, zmenou pracovného postupu aj zmenou zodpovednosti.

Kontext nie je kulisa

S kontextom nasadenia sa často zaobchádza ako s časťou, ktorá prichádza až po skutočnej práci: zoznam krajín, výber hostingu, niekoľko používateľských osobností, možno diagram so šípkami vedúcimi poslušne zľava doprava. Ale kontext dáva riziku jeho podobu. Rovnaký druh výstupu môže byť v jednom prostredí nepríjemnosťou a v inom mať závažné dôsledky. Chybný doplnený text v písacom nástroji sa dá opraviť v ďalšej vete. Chybná priorita v pracovnom postupe so vzácnymi zdrojmi môže rozhodnúť o tom, ktorý súbor osoba uvidí ako prvý. Skóre, ktoré sa zdá byť jedným z mnohých vstupov, sa môže stať rozhodujúcim, ak je každý iný vstup pomalý, vágny alebo skrytý za iným tímom.

Prístup Aktu k vysokému riziku to odzrkadľuje. Článok 6 spája klasifikáciu vysokého rizika so systémami určenými na použitie ako bezpečnostné komponenty určitých výrobkov alebo so systémami uvedenými v prílohe III. Príloha III uvádza oblasti, v ktorých môžu byť systémy umelej inteligencie vysokorizikové, pretože sú určené na špecifické použitia, ako sú určité biometrické použitia, kritická infraštruktúra, vzdelávanie a odborná príprava, zamestnanosť, prístup k základným súkromným a verejným službám a výhodám, presadzovanie práva, migrácia a správa hraníc a výkon súdnictva a demokratické procesy. Právne podrobnosti sú dôležité, ale dôležitá je aj gramatika. Nehovorí sa v ňom, že technický artefakt je vysokorizikový abstraktne. Opakovane sa v ňom hovorí, že je určený na použitie.

Článok 6 obsahuje aj výnimku pre určité systémy z prílohy III: nepovažujú sa za vysokorizikové, ak nepredstavujú významné riziko poškodenia zdravia, bezpečnosti alebo základných práv fyzických osôb, a to aj tým, že podstatne neovplyvňujú výsledok rozhodovania. Poskytovatelia musia toto posúdenie zdokumentovať pred uvedením systému na trh alebo do prevádzky. Toto nie je všeobecná výnimka. Je to pripomienka, že skutočný účinok systému je dôležitý. Užitočná analýza má dostatok podrobností na vysvetlenie toho, prečo systém podstatne ovplyvňuje alebo neovplyvňuje výsledok. Ak sa toto vysvetlenie nedá napísať bez mlátenia prázdnej slamy, tím sa pred vydaním niečo naučil.

Kontext zahŕňa čas. Odporúčanie na začiatku širokého vyšetrovania má iný účinok ako odporúčanie v momente, keď má človek jedinú šancu doplniť chýbajúci materiál. Zahŕňa objem. Individuálny posudzovateľ môže spochybniť výstup, keď denne príde päť prípadov, a môže ho štandardne prijať, keď ich pred obedom príde päťsto. Zahŕňa jazyk. Posudzovateľ, ktorý si môže prečítať dôkazy vo svojom pracovnom jazyku, môže vykonávať iný druh dohľadu ako posudzovateľ, ktorý dostane asertívne zhrnutie materiálu, ktorý nemôže nezávisle preskúmať. Zahŕňa miestny postup, právo na odvolanie, personálne zabezpečenie, prístup k špecialistovi, dostupnosť záložného riešenia a to, či sa výstup dostane k osobe s dostatočnou právomocou urobiť niečo užitočné.

Nič z toho nevyžaduje, aby bol vymyslený incident pravdivý. Je to jednoducho spôsob, akým systémy fungujú. Formálna politika môže hovoriť o človeku v slučke, ale systém môže byť napriek tomu funkčne automatický, ak daná osoba nemá čas, informácie, právomoc ani praktickú možnosť nesúhlasiť. Článok 14 nariadenia preto hovorí o účinnom ľudskom dohľade primeranom rizikám, úrovni autonómie a kontextu použitia. Vyžaduje, aby boli systémy s vysokým rizikom navrhnuté a vyvinuté tak, aby ľudia dokázali pochopiť príslušné schopnosti a obmedzenia, uvedomovali si tendenciu automaticky sa spoliehať na výstup, správne interpretovať výstup, rozhodnúť sa ho nepoužiť, prepísať ho alebo zvrátiť a v prípade potreby systém bezpečne zastaviť. Toto sú prevádzkové otázky. Nedá sa na ne odpovedať len z benchmarku modelu.

Vyberte spôsob nasadenia. Model zostáva na mieste; hranica systému, právomoc a potrebné dôkazy sa menia.

Používatelia sú súčasťou riadiaceho povrchu

Je lákavé hovoriť o používateľoch, ako keby sedeli mimo systému, držali klávesnicu a zabezpečovali ľudskú časť. Sú súčasťou prevádzkového usporiadania. Ich znalosti, pracovné zaťaženie, právomoc, stimuly a možnosti pomoci určujú, čo výstup spôsobí. Systém navrhnutý pre špecialistu, ktorý môže preskúmať zdrojový materiál, nie je automaticky vhodný pre všeobecne zameraného pracovníka, od ktorého sa očakáva rýchle tempo. Nástroj, ktorý je užitočný pre posudzovateľa, ktorý môže odmietnuť odporúčanie, nie je automaticky vhodný pre kolegu, ktorý môže len kliknúť na schválenie alebo čakať na niekoho iného.

To neznamená, že používateľ musí spochybňovať každý komponent zakaždým. To by bola čudná definícia užitočnej technológie. Znamená to, že dohľad by mal byť navrhnutý ako skutočná úloha. Osoba potrebuje vedieť, kedy sa systém používa, aké je relevantné obmedzenie, aké dôkazy sú k dispozícii, aký druh nesúhlasu môže zaznamenať a čo sa stane po jeho zaznamenaní. Potrebuje právomoc, ktorá zodpovedá zodpovednosti. Žiadať niekoho, aby dohliadal na výstup, ktorý nemôže pozastaviť, opraviť ani presmerovať, je menej ľudským dohľadom a viac ľudskou dekoráciou.

Nariadenie dáva prevádzkovateľom úlohu. Článok 26 vyžaduje, aby prevádzkovatelia vysokorizikových systémov prijali primerané technické a organizačné opatrenia na zabezpečenie toho, aby systémy používali v súlade s priloženými pokynmi. Žiada prevádzkovateľov, aby poverili ľudským dohľadom fyzické osoby s potrebnou kompetenciou, školením a právomocou a aby monitorovali prevádzku na základe pokynov. V určitých prípadoch tiež vyžaduje, aby automaticky generované protokoly zostali pod ich kontrolou. Toto nie je žiadosť, aby v blízkosti stál znalý človek pre prípad, že by rozhranie zlyhalo. Je to požiadavka na usporiadanie pracovnej praxe.

Školenie sa často spomína ako celé riešenie. Nie je. Školenie môže pomôcť človeku rozpoznať obmedzenie, ale nemôže vytvoriť zdrojový záznam, ktorý rozhranie skrýva. Nemôže vytvoriť čas, ktorý spotrebúva dizajn fronty. Nemôže vytvoriť právomoc, ktorú zmluva vyhradzuje inde. Nemôže opraviť integráciu, ktorá mení opatrné odporúčanie na nezvratnú akciu. Organizácia by samozrejme mala školiť ľudí. Mala by tiež zabezpečiť, aby úloha, na ktorú ich školí, bola vykonateľná v systéme, ktorý skutočne dostanú.

Existuje užitočný test: opíšte činnosť používateľa bez použitia slovesa preskúmať. Čo čítajú? Aké porovnanie môžu urobiť? Čo môžu odmietnuť? Kam smeruje dôvod? Kto ho vidí? Čo sa stane s odporúčaním po zamietnutí? Môže sa osoba, ktorej sa výsledok týka, opýtať, čo sa stalo? Môže neskorší kolega rekonštruovať príslušný stav? Ak odpovede zostanú všeobecné, návrh dohľadu je pravdepodobne tiež všeobecný.

Tento test sa vzťahuje aj na systémy mimo vysokorizikových. Zákon má konkrétny rozsah a dátumy; dobrý prevádzkový úsudok nečaká na kategóriu, kým sa spýta, či bola osoba umiestnená do performatívnej úlohy. Je úplne možné vytvoriť nástroj s nízkymi následkami, ktorý robí ľudí hlúpejšími v ich vlastnej práci, pretože výstup je príliš plynulý na spochybnenie. Je tiež možné vytvoriť obmedzený nástroj, ktorý zvyšuje schopnosť človeka klásť dobré otázky, pretože zachováva dôkazy, obmedzuje svoju právomoc a zviditeľňuje neistotu. Model môže prispieť k obidvom výsledkom. Systém rozhoduje, ktorý výsledok má kde sa uskutočniť.

Dotknuté osoby sedia mimo konzoly

Mnohí z najdôležitejších ľudí v systéme umelej inteligencie sa ho nikdy nedotknú. Môžu to byť kandidát, žiak, pracovník, pacient, cestujúci, obyvateľ, zákazník, žiadateľ, dlžník, svedok alebo člen verejnosti. Nemusia vedieť, že bol zapojený model. Môžu zažiť len odpoveď, ktorá príde rýchlo, žiadosť, ktorá je oneskorená, službu, ktorá sa stane nedostupnou, prioritu, ktorá sa zmení, alebo rozhodnutie, ktoré sa zdá nemožné pochopiť. Ich neprítomnosť v rozhraní ich nerobí neprítomnými v systéme.

Toto je jeden z dôvodov, prečo sa rizikový rámec nariadenia odvoláva na zdravie, bezpečnosť a základné práva. Zameriava pozornosť na dôsledky, ktoré nemožno zredukovať na to, či prihlásený kolega si nástroj užil. Je to tiež dôvod, prečo by vyhlásenie o účele malo uvádzať osoby a skupiny, na ktoré sa má systém používať, ako to vyžaduje príloha IV. Systém postavený okolo kategórie nazvanej používateľ môže ticho skrývať rozdiel medzi osobou obsluhujúcou rozhranie a osobou žijúcou s výsledkom.

Dotknutí ľudia menia otázky, ktoré si tím musí klásť. Existuje spôsob, ako zistiť, či systém zohral zmysluplnú úlohu? Je rozhodnutie založené na informáciách, ktoré možno opraviť? Sťažuje jazyk, zdravotné postihnutie, zariadenie, lokalita alebo administratívny status účasť? Dostáva prevádzkový tím signály od dotknutých ľudí, alebo iba z informačného panela? Dostane sa oprava k údajom, odporúčaniu, rozhodnutiu a akémukoľvek následnému textu, ktorý sa naň spoliehal? Tieto otázky nie sú žiadosťou premeniť každý systém na verejnú konzultáciu. Sú žiadosťou sledovať dôsledok dostatočne ďaleko, aby sme na druhom konci videli človeka.

Právo na ochranu údajov je relevantné tam, kde sa spracúvajú osobné údaje, a to popri rámci aktu o umelej inteligencii. EDPB a EDPS to jasne uviedli vo svojom spoločnom stanovisku z roku 2021 k návrhu: existujúce právo EÚ na ochranu údajov sa vzťahuje na spracúvanie osobných údajov v rozsahu návrhu. Presná právna analýza bude závisieť od spracúvania a zúčastnených aktérov. Poučenie pre riadenie je jednoznačné. Klasifikačné cvičenie nemôže pohltiť všetky ostatné povinnosti. Súkromie, nediskriminácia, sektorové povinnosti, požiadavky správneho práva, spotrebiteľské pravidlá a zmluvné záväzky nezmiznú len preto, že tím vytvoril pekne vyzerajúci register rizík.

Existuje tiež základná otázka čitateľnosti. Človek sa nemusí stať špecialistom na strojové učenie, aby pochopil, ako požiadať o opravu. Systém však nesmie používať technickú zložitosť ako dôvod na to, aby opravu znemožnil. Dobrá cesta rozlišuje, čo systém zaznamenal, čo rozhodol človek, aké dôkazy sa zvážili, čo zostáva neisté a čo sa ešte dá zmeniť. Netvrdí presnosť, ktorú záznamy nedokážu podporiť. V tejto oblasti nie je čestnosť iba tónom hlasu. Je súčasťou služby.

Integrácia je miestom, kde si zodpovednosť odovzdávajú ruky

Tímy niekedy zobrazujú architektúru umelej inteligencie ako úhľadný reťazec: model, výzva, odpoveď, používateľ. Skutočné nasadenia pripomínajú skôr mestskú mapu po tom, čo si niekto spomenul na vodovodné potrubia. Existujú systémy identity, úložiská na vyhľadávanie, povolenia nástrojov, fronty, schémy, vyrovnávacie pamäte, platformy na monitorovanie, rozšírenia prehliadača, dávkové úlohy, pravidlá schvaľovania, nastavenia uchovávania, dodávatelia a ľudia, ktorí zdedia úlohu, pretože predchádzajúci človek odišiel na dovolenku. Model je dôležitý. Málokedy je však sám.

Každá integrácia môže zmeniť to, čo systém dokáže, a to, ako sa šíri chyba. Vyhľadávanie môže spôsobiť, že výstup modelu bude vyzerať podložene, zatiaľ čo zdroj je zastaraný, neúplný alebo nesprávne vymedzený. Volanie nástroja môže zmeniť návrh na zmenu stavu. Front môže zmeniť včasné odporúčanie na oneskorené. Orchesterová vrstva môže vybrať iný model alebo verziu výzvy. Používateľské rozhranie môže skrývať neistotu, ktorá existuje v nižšej vrstve. Integrácia identity môže poskytnúť užitočnému nástroju prístup k materiálom, ktoré by používateľ inak nemohol otvoriť. Žiadne z týchto pozorovaní neobviňuje konkrétny produkt ani organizáciu. Opisujú bežné vlastnosti systému, a práve preto by mali byť zdokumentované skôr, než sa stanú prekvapením.

Usmernenie Komisie o GPAI je tu užitočné, pretože umiestňuje informácie do bodu odovzdania. Dokumentácia pre poskytovateľov v ďalšom reťazci má im pomôcť pochopiť schopnosti a obmedzenia modelu, jeho zamýšľané úlohy, technické požiadavky na integráciu, špecifikácie vstupov a výstupov a informácie o tréningových údajoch. Tieto informácie sú nevyhnutné. Nestačia však. Tímy v ďalšom reťazci stále musia rozhodnúť, ako sa model vyzýva, či sa výstup zobrazuje s dôkazmi, aké povolenia nástrojov sú povolené, ako sa testuje zmena, aké protokoly sa uchovávajú a či odporúčanie môže ovplyvniť konkrétny pracovný postup.

Preto nákup modelovej služby neznamená nákup kompletného rizikového profilu. Dokumentácia poskytovateľa môže tímu povedať, že model má známe obmedzenie alebo že bol vyhodnotený za určitých podmienok. Nemôže však dokázať, že vyhľadávací index kupujúceho je aktuálny, že zamestnanci kupujúceho majú potrebné oprávnenia, alebo že dotknutá osoba má prístup k postupu odvolania. Naopak, kupujúci nemôže od poskytovateľa modelu žiadať, aby poznal každú miestnu politiku alebo nadväzujúci proces. Zodpovedným prístupom nie je predstierať, že jedna strana môže poznať celý systém. Je ním jasne vymedziť hranicu a zabezpečiť, aby dôkazy cez ňu neustále prúdili.

Článok 25 poskytuje užitočný právny ukazovateľ pre túto prevádzkovú realitu. Stanovuje okolnosti, za ktorých sa strana iná ako pôvodný poskytovateľ považuje za poskytovateľa systému umelej inteligencie s vysokým rizikom. Patrí sem uvedenie systému na trh pod menom alebo ochrannou známkou tejto strany, vykonanie podstatnej úpravy alebo zmena zamýšľaného účelu tak, že systém sa stane vysoko rizikovým. Toto ustanovenie je technické a závisí od konkrétnych skutočností; nikto by sa nemal sám klasifikovať podľa blogového príspevku. Jeho smerovanie je však jasné. Integrácia a zmena účelu môžu zmeniť to, kto nesie povinnosti poskytovateľa. Nadväzujúce usporiadanie nie je navždy nadväzujúce len preto, že pôvodný model prišiel odinakiaľ.

Existuje inštitucionálny dôvod brať to vážne. Keď sa zodpovednosť mení ticho, bezpečnosť a náprava sa stávajú hrou organizačného ping-pongu. Poskytovateľ modelu ukazuje na nasadenie. Prevádzkovateľ ukazuje na model. Integrátor ukazuje na cloudovú službu. Vlastník služby ukazuje na konfiguráciu, ktorá už neexistuje. Dotknuté osoby dostanú vyleštené vysvetlenie, aké je všetko zložité. To môže byť presné, ale nie je to odpoveď. Systém potrebuje záznam o tom, ktorá organizácia vlastní otázku na každej hranici, a cestu, ktorou sa otázka môže dostať tam, kde sa nachádza odpoveď.

Dokumentácia by mala opisovať systém, ktorý sa môže ešte meniť

Technická dokumentácia má povesť toho, že prichádza na konci projektu s miernym zápachom paniky. Nariadenie opisuje inú úlohu. Pre systémy s vysokým rizikom sa technická dokumentácia musí vypracovať pred uvedením systému na trh alebo do prevádzky a musí sa priebežne aktualizovať. Zoznam v prílohe IV presahuje správanie modelu a zahŕňa zamýšľaný účel, verzie, architektúru systému, vývoj, požiadavky na údaje, validáciu a testovanie, ľudský dohľad, presnosť a opatrenia kybernetickej bezpečnosti, riadenie rizík, zmeny a monitorovanie po uvedení na trh. To nie je dekoratívna príloha. Je to pokus zachovať dostatok pamäte na to, aby niekto mohol systém preskúmať aj vtedy, keď sa z úvodného stretnutia stane folklór.

Dokumentácia funguje len vtedy, keď dokáže zobrazovať vzťahy. Verzia modelu musí byť prepojená s verziou systému, ktorá ju používala. Test musí byť prepojený so svojimi vstupnými podmienkami a účelom. Politika musí byť prepojená s miestom jej presadzovania. Používateľská rola musí byť prepojená s oprávnením, ktoré má v rozhraní. Politika protokolovania musí byť prepojená s udalosťou, ktorú dokáže zrekonštruovať. Zmena musí byť prepojená s posúdením, ktoré spustila. Inak má tím knižnicu dobrých dokumentov, ale žiadny spôsob, ako odpovedať na konkrétnu otázku.

Protokoly sú podobný prípad. Článok 12 vyžaduje, aby systémy umelej inteligencie s vysokým rizikom mali technické schopnosti na automatické zaznamenávanie udalostí počas životnosti systému, primerané zamýšľanému účelu. Protokoly môžu pomôcť pri vysledovateľnosti, monitorovaní po uvedení na trh a prevádzkovom monitorovaní. Nevysvetľujú rozhodnutie zázrakom. Protokol môže neskoršiemu vyšetrovateľovi povedať, že sa použil nástroj, že bola aktívna určitá verzia alebo že recenzent klikol na ovládací prvok. Sám o sebe nemôže preukázať, či recenzent porozumel dôkazom, či bol zdroj vstupu smerodajný alebo či bol proces spravodlivý. Záznamy sú cenné, pretože dávajú vyšetrovaniu čestný začiatok, nie preto, že odstraňujú potrebu úsudku.

Monitorovanie po uvedení na trh dotvára obraz. Článok 72 vyžaduje, aby poskytovatelia systémov s vysokým rizikom vytvorili a zdokumentovali systém monitorovania po uvedení na trh spôsobom primeraným povahe technológií a rizikám systému umelej inteligencie s vysokým rizikom. Pre tímy nasadzovania to má jednoduchý dôsledok: vydanie verzie nie je okamihom, v ktorom sa systém stáva úplne známym. Organizácia potrebuje spôsob, ako prijímať relevantné informácie, rozlíšiť signál od záveru, rozhodnúť, či hranica zamýšľaného účelu stále platí, a vykonať zmenu alebo zastaviť používanie tam, kde to dôkazy vyžadujú.

Táto práca nie je okázalá. Vyzerá ako identifikátory verzií, jasné kritériá vydania, záznam závislostí, test cesty späť, určený vlastník obmedzenia a rozhodnutie, ktoré zostáva viditeľné aj potom, čo osoba, ktorá ho prijala, zmení rolu. Vyzerá ako otázka, či sa zmenila integrácia, skôr než otázka, či sa zmenil model. Vyzerá ako uchovávanie dostatočných dôkazov na nápravu následku, nie len na jeho vysvetlenie dodatočne. Nuda tu nie je opakom ambícií. Je to časť, vďaka ktorej sa ambície zmestia do inštitúcie.

Ako uvažovať o celom systéme bez predstierania istoty

Úplná analýza nie je hľadanie univerzálneho skóre rizika. Je to postupnosť otázok, ktorá sa stáva presnejšou, keď sa dizajn stáva presnejším. Prvá otázka je účel: čo má tento systém robiť a čo konkrétne nemá robiť? Druhá je dôsledok: koho môže ovplyvniť, ako a prostredníctvom akého rozhodnutia alebo služby? Tretia je autorita: ktorý výstup môže zmeniť stav, ovplyvniť rozhodnutie, nastaviť prioritu alebo zmeniť to, čo osoba dostáva? Štvrtá je dôkaz: čo podporuje používanie systému v tomto kontexte a ktoré podmienky umožňujú, aby sa tento dôkaz preniesol?

Potom prichádzajú nepríjemné otázky. Čo sa stane, keď je model neistý, nesprávny, nedostupný alebo používaný mimo svojej deklarovanej hranice? Čo sa zmení, keď je zdroj zastaraný alebo je nástroj odmietnutý? Čo ak je používateľ v zhone, nový v danej role alebo nie je schopný preskúmať základný materiál? Čo ak dotknutá osoba požiada o opravu? Čo ak aktualizácia zmení výzvu, korpus na vyhľadávanie, predvolené rozhranie, verziu modelu alebo povolenia role? Odpoveďou je niekedy technický kontrolný mechanizmus, niekedy postup, niekedy užšie použitie, niekedy iný vlastník a niekedy rozhodnutie nenasadzovať. Riadenie, ktoré poslednú odpoveď nikdy nepripúšťa, je len schvaľovanie v krajšom kabáte.

Pomáha držať niekoľko tvrdení oddelene. Potvrdený fakt hovorí, čo poskytovateľ modelu zdokumentoval alebo čo organizácia pozorovala v definovanom teste. Odvodenie hovorí, prečo môže byť tento fakt dôležitý v konkrétnom pracovnom postupe. Navrhovaný kontrolný mechanizmus hovorí, čo tím zamýšľa implementovať. Zvyškové riziko hovorí, čo zostáva po kontrolnom mechanizme. Právny záver hovorí, čo platí podľa práva. Tieto veci nie sú zameniteľné. Dobrý dokument ich označuje, pretože čitateľ môže potrebovať spochybniť jedno bez toho, aby zahodil ostatné.

Napríklad možno povedať: dokumentácia poskytovateľa uvádza, že model má určité obmedzenie; tím nasadenia usudzuje, že obmedzenie by mohlo ovplyvniť špecifikované použitie; tím navrhne bránu na overenie zdroja; brána ešte nebola otestovaná pri zamýšľanom zaťažení; a právne oddelenie musí posúdiť výsledné použitie podľa platného práva. Táto veta je menej uspokojivá ako zelená fajka. Je užitočnejšia ako zelená fajka, pretože nenecháva žiadne tajomstvo o tom, čo je a čo nie je preukázané.

Tímy by mali byť obzvlášť opatrné so slovom človek. Ľudská úloha môže byť kontrolou, ale len tam, kde má definovanú náplň, dostatočné informácie, čas, školenie, právomoc a spôsob, ako konať. Ľudská úloha sa však môže stať aj spôsobom presunu viny na osobu, ktorá je najbližšie k obrazovke. Tento rozdiel nie je filozofický. Je viditeľný v pracovnom postupe. Ak môže recenzent iba schvaľovať, ak nesúhlas zmizne v nesledovanom poli na komentáre, alebo ak nikto nemôže napraviť následný dôsledok, systém nezískal zmysluplný dohľad len preto, že niekto na niečo klikol.

Rovnaká opatrnosť sa vzťahuje na transparentnosť. Dlhý dokument môže systém opísať bez toho, aby ho spravil napadnuteľným. Informačný panel ho môže spraviť viditeľným bez toho, aby ho spravil zrozumiteľným. Vyhlásenie môže používateľovi povedať, že je zapojená AI, bez toho, aby mu povedalo, čo sa dá robiť s chybou. Užitočná otázka je praktická: môže príslušná osoba nájsť hranicu, dôkazy, zodpovednú úlohu a spôsob nápravy v bode, kde na týchto veciach záleží? Ak nie, informácie existujú na nesprávnom mieste na to, aby mohla prebiehať správa a riadenie.

Malá poznámka od nás

V spoločnosti Dweve naše verejné Centrum dôvery zaobchádza so záznamom o modeli a s downstream integráciou ako so súvisiacimi, ale oddelenými záznamami. Jeho downstream stránka uvádza, že tímy, ktoré integrujú alebo nasadzujú Loom, potrebujú aktuálne schopnosti, limity, rozhrania, kontext hodnotenia a zmeny, zatiaľ čo verejný záznam uvádza, že model je jedným vláknom v širšej tkanine komponentov a prevádzkových hraníc. Toto je postoj dokumentácie, nie tvrdenie, že verejná stránka klasifikuje každé možné nasadenie alebo dokazuje súlad pre integrátora. Účel oddelenia je skromnejší: záznam o modeli by mal cestovať s integráciou bez toho, aby predstieral, že nahrádza vlastnú systémovú analýzu integrátora.

Toto je štandard, ktorý sa oplatí zachovať. Poskytovateľ modelu by mal sprístupniť užitočné informácie. Organizácia, ktorá model nasadzuje alebo integruje, by mala opísať skutočný systém, ktorý vytvorila: účel, ľudí, dáta, rozhrania, právomoc, monitorovanie a nápravu. Žiadna strana by nemala používať dokumentáciu ako ceremoniálnu výmenu, pri ktorej jedna strana dostane PDF a druhá rozhrešenie.

Ťažšia otázka je zvyčajne tá lepšia

Keď sa tím pýta, či je model vysoko rizikový, možno sa snaží rýchlo odpovedať na rozumnú obavu. Užitočnejšia otázka je však zvyčajne dlhšia: aký systém z tohto modelu vytvárame, na aký účel, v akom kontexte, s akými ľuďmi a čo sa stane, keď zlyhá? Na túto otázku sa nedá vždy odpovedať na jednom stretnutí. Môže odhaliť, že navrhované použitie je užšie, než sa očakávalo, že dôkazy sú neúplné, že používateľská úloha nemá právomoc, že zmluva ponecháva dôležitú hranicu bez vlastníka, alebo že downstream integrácia sa ticho stala centrom systému.

Žiadne z týchto zistení nie je zlyhaním inovácie. Sú to veci, ktoré sa inštitúcia naučí skôr, než systému udelí právomoc formovať možnosti inej osoby. Európsky prístup sa často opisuje ako súbor povinností. Je to však aj disciplína pomenúvania: pomenujte účel, aktéra, kontext, verziu, dotknutú osobu, obmedzenie, dôkazy a cestu k zásahu. Keď sú tieto veci pomenované, možno ich testovať, meniť a spochybňovať. Kým nie sú pomenované, majú tendenciu sa neskôr vrátiť ako prekvapenie.

Model môže byť schopný, starostlivo zdokumentovaný a hodnotný. Môže byť tiež umiestnený v systéme, ktorý od neho žiada príliš veľa, skrýva pred svojimi používateľmi príliš veľa alebo ponecháva príliš málo priestoru pre osobu dotknutú výsledkom. Rozdiel vzniká mimo váh. Práve tam žije náročná práca a tam je aj vážna príležitosť: budujte systémy, ktorých autorita zodpovedá ich dôkazom, ktorých hranice prežijú integráciu a ktorých prevádzkovatelia stále vedia povedať nie.

Zdroje