Majhen model lahko nosi veliko odgovornost

Velikost modela je inženirska lastnost. Obveznost izhaja iz namena, konteksta, podatkov, pooblastil in ljudi okoli sistema.

Majhen model lahko nosi veliko odgovornost

Zakon ne sprašuje, kako velik je

Odprite akt o umetni inteligenci Evropske unije in ne boste naleteli na števec modelov. Ni prve strani, na kateri bi stroj stehtali, izmerili in ga pospravili v lep pravni predal. Akt se začne s sistemom: strojno zasnovanim sistemom, ki deluje z različnimi stopnjami avtonomije, se lahko prilagaja po uvedbi ter iz vhodnih podatkov sklepa, kako ustvariti napovedi, vsebine, priporočila ali odločitve, ki lahko vplivajo na fizično ali virtualno okolje. Njegova opredelitev govori o tem, kaj sistem počne in kaj lahko spremenijo njegovi izhodi.

To je dobro izhodišče, ker pogovor o tehnologiji nenehno poskuša velikost postaviti na mesto konteksta. Manjši model deluje skromno. Morda se prilega običajni strojni opremi, odgovori na eno ozko vprašanje ali vrne oznako namesto odstavka. To so lahko dragocene inženirske lastnosti. Lahko zmanjšajo površino, ki jo je treba preizkusiti, znižajo apetit uvedbe po virih ali olajšajo zamenjavo komponente. Nobena od njih pa nam ne pove, ali lahko človek zaradi oznake izgubi pravico, storitev, službo ali varno pot.

Obveznost se pojavi v razmerju med sistemom in svetom okoli njega. Kdo uporablja izhod. Kakšna odločitev sledi. Kateri podatki vstopijo v pot. Koliko avtoritete ima sistem. Ali lahko človek izpodbija rezultat. Ali ga lahko kdo razveljavi, preden škoda postane trajna. Ali je prizadeta oseba odvisna od izida, morda zato, ker ni praktične alternative. Model je lahko tehnično majhen in institucionalno velik. To je argument tega članka, pri čemer beseda institucionalno nosi glavno težo.

To ni argument za obravnavanje vsakega klasifikatorja kot javne izredne razmere. Je argument za sorazmernost. Sorazmernost ne pomeni, da majhni sistemi dobijo ceremonialen nasmeh in nobenih vprašanj. Pomeni, da vprašanja sledijo dejanski posledici. Model, ki se uporablja za razvrščanje zasebne zbirke zapiskov, in model, ki se uporablja za odločanje o tem, kdo je deležen nadzora, sta si lahko v repozitoriju videti podobna. V svetu si nista podobna.

Velikost modela opisuje komponento. Namen, prizadeti ljudje in nadzor določajo obveznost, ki jo ta komponenta nosi.

Majhnost je meritev, ne kontekst

Majhen lahko pomeni več različnih stvari in ti pomeni se pogosto tiho zamenjujejo. Lahko pomeni manj parametrov, manjši pomnilniški odtis, manj računske moči za učenje, omejen besednjak, ozko izhodno shemo ali kratko vhodno okno. Lahko pomeni, da model deluje na napravi in ne prek oddaljene storitve. Lahko pomeni tudi, da je ekipa modelu dodelila ozko nalogo. To niso iste trditve. Majhno število parametrov ne pomeni majhne družbene vloge, tako kot veliko število parametrov ne pove, kje sistem lahko deluje.

Obstaja še druga zmeda. Ljudje uporabljajo besedo majhen v pomenu lokalno, lokalno pa v pomenu neškodljivo. Lokalna namestitev lahko izboljša nadzor nad pretokom podatkov, razpoložljivostjo ali operativnim lastništvom. Prav tako lahko odločitev postavi neposredno v delovno okolje, na javni pult, v zdravstveni potek dela ali v napravo, ki jo oseba težko zapusti. Fizična bližina lahko zmanjša eno vrsto odvisnosti, hkrati pa poveča pomen ljudi, ki sistem upravljajo. Strežnik v isti stavbi ni moralna kategorija.

Nato je tu še majhen kot obljuba o zmogljivosti. Komponenta je lahko usposobljena za eno nalogo in še vedno vpliva na širši proces. Morda vrne le odobri, pregledaj ali zavrni. Nadaljnji potek dela lahko te tri besede obravnava kot vrata. Komponenta ne potrebuje pisanja eseja, da bi sprejela pomembno odločitev. Le postaviti jo je treba na mesto, kjer je naslednji sistem ali naslednja oseba ne more zlahka vprašati.

Za upravljanje zato uporabna enota ni le model sam. Je model, kakršen je nameščen, z namenom, upravljavcem, vhodno mejo, izhodno pogodbo, nadaljnjim dejanjem in potjo za popravek. To je manj urejeno kot lestvica najboljših. Je pa tudi bližje resničnosti. Lestvica vam lahko pove, kako je model opravil nalogo. Ne more vam povedati, ali je bila ta naloga dovoljena, ali so lahko prizadeti ljudje ugovarjali ali ali je imela organizacija pooblastilo za uporabo rezultata.

Jezik Evropske komisije o splošnonamenski umetni inteligenci to razlikovanje tiho ponazarja. Komisija podaja tehnična merila za pomoč pri ugotavljanju, kdaj model lahko spada pod obveznosti za splošnonamensko UI, hkrati pa pravi, da so merila okvirna in da je ocena primera od primera še vedno potrebna. Smernica se ne pretvarja, da lahko ena številka opiše vsako vlogo, ki jo model lahko igra. Poskuša narediti eno klasifikacijsko vprašanje izvedljivo, ne da bi ga spremenila v univerzalno teorijo škode.

Prag ni razsodba

V aktu o umetni inteligenci so številke, kar je eden od razlogov, da ljudje posežejo po številkah, ko želijo gotovost. Člen 51 ustvarja domnevo o visoko vplivnih zmogljivostih za splošnonamenski model umetne inteligence, usposobljen s kumulativno količino računanja, večjo od 1025 operacij s plavajočo vejico. Ta domneva spada h klasifikaciji modelov splošnonamenske UI s sistemskim tveganjem. Ni pravilo, da je model pod pragom varen, niti pravilo, da vsak model nad njim povzroča enako škodo.

Smernice Komisije o splošnonamenski UI uporabljajo drugačen okvirni prag, nad 1023 operacij s plavajočo vejico skupaj s široko generativno zmogljivostjo, za pomoč pri ugotavljanju, kateri modeli so lahko splošnonamenski. Stran je izrecna glede omejitev. Model pod kazalnikom lahko še vedno izpolnjuje pogoje, če kaže pomembno splošnost. Model, ki ga dosega, lahko izjemoma ne izpolnjuje pogojev, če mu manjka ustrezna splošnost. Smernica je razlaga za določeno pravno vprašanje, ne dovoljenje za vsako nadaljnjo uporabo.

Ta dva praga sta uporabna prav zato, ker sta ozka. Organom in ponudnikom pomagata razvrstiti določen razred obveznosti modelov. Ne odločata o tem, ali majhen model, vgrajen v visoko tvegan sistem, zahteva skrbnost. Ne odločata o tem, ali je obdelava podatkov zakonita. Ne odločata o tem, ali lahko posameznik izpodbija odločitev. Prag lahko določi, da je treba zastaviti vprašanje. Ne more odgovoriti na vprašanje, ki sodi v drugo raven.

Tehnični pragovi se tudi starajo. Akt določa, da lahko Komisija prag sistemskega tveganja prilagodi glede na tehnološki razvoj, vključno z izboljšavami algoritmov in učinkovitostjo strojne opreme. Smernice Komisije navajajo, da njeno lastno merilo ni absolutno. To je razumen priznanje. Številka, ki je v nabavni preglednici videti stabilna, se lahko spremeni, ko se spremeni okoliška tehnologija. Odgovoren odziv ni nezaupanje v vsako številko. Je ohranjanje številke, povezane z vprašanjem, za odgovor na katero je bila zasnovana.

Za ekipe, ki objavljajo kartice modelov ali notranje arhitekturne zapiske, obstaja praktična lekcija. Navedite prag, enoto, pravno določbo in mejo. Povejte, ali je številka pravna domneva, indikator Komisije, merilo za primerjalno analizo ali notranji načrtovalski cilj. Ne dovolite, da ena metrika dobi pomembnejši pomen, ker je priročna v predstavitvi. Tudi majhna metrika lahko nosi veliko obveznost. Številka potrebuje svoj lasten izvor.

Sistem je več kot model v njem

Akt o umetni inteligenci naredi mejo sistema vidno. Opredeljuje ponudnike in uvajalce, ločuje modele od sistemov ter dodeljuje dolžnosti vzdolž verige vrednosti. Ponudnik je lahko oseba ali organizacija, ki razvije sistem ali da sistem razviti ter ga da na trg ali ga začne uporabljati pod svojim imenom. Uvajalec je oseba ali organizacija, ki sistem uporablja pod svojo odgovornostjo. Te vloge so pomembne, ker lahko ista osnovna komponenta deluje v različnih ureditvah z različnimi odgovornostmi.

Predstavljajte si kompakten klasifikator besedil, ki vrne eno od štirih kategorij. Model nima uporabniškega vmesnika, spomina niti zmožnosti klicanja orodja. V enem okolju razvršča dokumente lastne ekipe v mape. V drugem označuje vloge za javno storitev, tako da so nekateri posamezniki napoteni na dodatni pregled. Komponenta je lahko tehnično enaka. Drugi sistem ima drugačen namen, drugačne prizadete posameznike, drugačno razmerje moči ter drugačno potrebo po pojasnilu in pravnem sredstvu.

Pravila Akta o razvrščanju visokega tveganja sledijo tovrstnim razlikam. Upoštevajo, ali je sistem varnostna komponenta, ali se uporablja na področju, navedenem v Prilogi III, in ali predstavlja znatno tveganje za zdravje, varnost ali temeljne pravice. Pot navedene uporabe ni presoja elegance modela. Je presoja tega, kaj sistem počne v okolju, kjer je lahko napačen rezultat pomemben. Ozka postopkovna naloga lahko spada v skrbno oblikovano izjemo, kadar ne vpliva bistveno na odločitev, vendar mora ponudnik to oceno dokumentirati.

Te zahteve po dokumentaciji je lahko podceniti. Ekipa, ki pravi, da je sistem le pripravljalni, trdi nekaj o vzročnosti. Pravi, da rezultat ne vpliva bistveno na odločitev, ki sledi. Če pregledovalec oznako obravnava kot razlog za odprtje zadeve, če se osebje zanaša na razvrstitev ali če prosilec nima smiselne možnosti popraviti podatkov za zastavico, je lahko dejanski vpliv večji, kot kaže vmesnik. Besedi pripravljalni ni mogoče dovoliti, da pomeni neviden.

Meje sistema vključujejo tudi dolgočasno ogrodje okoli modela: vir podatkov, prag, čakalno vrsto, osebo, ki prejme rezultat, zapis, ki se ohrani, pogodbo z dobaviteljem, postopek posodabljanja in pot za zaustavitev delovnega toka. Majhen model je lahko vidni predmet, medtem ko je pravo tveganje v predaji. Zato je ocena tveganja, ki sprašuje le, kaj model napoveduje, nepopolna. Težje vprašanje je, kaj organizacija stori, ker je to napovedal.

Namen spremeni pomen istega rezultata

Rezultat v vakuumu nima nobene obveznosti. Ista verjetnost, kategorija ali priporočilo je lahko v eni nalogi neškodljivo, v drugi pa pomembno. To ni zato, ker bi besede spremenile svoj slovarski pomen. Temveč zato, ker rezultat vstopi v odločitveno strukturo. Razvrstitev, ki se uporablja za izbiro, katere raziskovalne zapiske prebrati najprej, ni isto kot razvrstitev, ki se uporablja za odločitev, katero gospodinjstvo bo deležno preiskave zaradi goljufije. Stroj lahko uporablja isto matematiko. Institucija pa nima enakega odnosa z ljudmi na drugi strani.

Člen 7 uredbe o umetni inteligenci navaja merila, ki jih mora Komisija upoštevati pri dodajanju ali spreminjanju primerov uporabe z visokim tveganjem. Vključujejo predvideni namen, kako široko se sistem uporablja ali bi se verjetno uporabljal, naravo in količino podatkov, avtonomijo in možnost človeškega posega, obseg in intenzivnost morebitne škode, odvisnost od rezultata, neravnovesje moči, ranljivost, reverzibilnost, korist in razpoložljivost pravnih sredstev. Če jih beremo skupaj, ta merila tvorijo koristen protiargument razmišljanju, osredotočenemu na velikost modela. Opisujejo odnos, ne datoteke z utežmi.

Komponenta ostaja majhna, medtem ko okoliški namen, moč, odvisnost in reverzibilnost spreminjajo vprašanje nadzora.

Odvisnost je še posebej pomembna. Oseba lahko včasih prezre priporočilo, poišče drugo storitev ali prosi sodelavca, naj preveri odgovor. Oseba pa morda tudi nima praktične alternative. Če avtomatiziran korak presejanja določa, ali je storitev zamujena, ali aplikacija prejme pozornost ali ali je delavec poklican na sestanek, mora prizadeta oseba morda živeti s prvo razlago sistema, medtem ko se organizacija odloča, ali bo pogledala znova. Manjša kot je vidna odločitev, lažje je spregledati odvisnost pod njo.

Reverzibilnost je pomembna iz istega razloga. Tipkarska napaka v notranji oznaki je lahko popravljena, preden se kdo nanjo zanese. Oznaka tveganja lahko spremeni vrstni red obravnave primera, zamuda pa lahko sama postane posledična. Zavrnitev lahko vodi do zamujenega roka. Razvrstitev lahko postane edina razvrstitev, ki jo zaposlena ekipa sploh vidi. Dejstvo, da lahko skrbnik tehnično ureja podatkovno zbirko, ne dokazuje, da je družbeni izid enostavno obrniti. Tehnična reverzibilnost in doživeta reverzibilnost sta povezani, vendar nista enaki.

Tu sorazmernost dobi vsebino. Notranji predlog z majhnim vplivom morda potrebuje lahek zapis in jasnega lastnika. Sistem, ki vpliva na dostop do javne storitve, potrebuje močnejšo sled dokazov, informirano človeško pot ter način za izpodbijanje vnosa in izida. Sorazmerni nadzori niso odsotnost nadzorov. So nadzori, izbrani zato, ker si jih odnos zasluži.

Podatki ohranijo svoje obveznosti

Velikost modela ne naredi podatkov anonimnih kar po zraku. Mnenje 28/2024 Evropskega odbora za varstvo podatkov pravi, da je treba presoditi, ali je model umetne inteligence mogoče šteti za anonimnega, za vsak primer posebej. Test v javnem povzetku EOVP se sprašuje, ali je zelo malo verjetno, da bi model lahko neposredno ali posredno identificiral ljudi, katerih podatki so bili uporabljeni za njegovo ustvarjanje, in ali je zelo malo verjetno, da bi bilo njihove osebne podatke mogoče izluščiti s poizvedbami. Manjši model lahko vsebuje manj informacij, vendar manj ni pravni zaključek.

EOVP ima v mislih tudi kontekst okoli legitimnega interesa. Njegova analiza kaže na nujnost in tehtanje ter navaja odnos med ljudmi in upravljavcem, naravo storitve, okoliščine, v katerih so bili podatki zbrani, vir, možne nadaljnje uporabe in kaj bi ljudje lahko razumno pričakovali. Ti dejavniki ne izginejo, ko je model stisnjen, destiliran, kvantiziran ali postavljen za urejen API. Stiskanje spremeni tehnični predmet. Ne prepiše zgodovine, zakaj so bili podatki zbrani, ali tega, kaj so ljudje izvedeli.

Koristna disciplina je brati to mnenje skupaj z modelarskim inženirstvom. Vprašajte se, za kaj je bil model usposobljen ali prilagojen, katere podatke prejema med delovanjem, kateri zapisi se hranijo in kdo lahko vanj poizveduje. Nato se vprašajte, kaj se zgodi naprej. Ali se izid kopira v spis primera. Ali razvrstitev postane navodilo. Ali človeški pregledovalec vidi izvorno gradivo ali samo oznako modela. Ali obstaja pot, po kateri lahko prizadeta oseba popravi dejansko napako. To so vprašanja o podatkih in upravljanju, ne le vprašanja o točnosti.

Javni povzetek EOVP tudi ugotavlja, da lahko uporaba nezakonito obdelanih osebnih podatkov pri razvoju modela vpliva na zakonitost uvajanja, razen če je bil model ustrezno anonimiziran. Ta stavek se upira znani poti za izmikanje. Ekipa ne more narediti problema nevidnega tako, da reče, da je končni model majhen, da podatki niso več vidni ali da je model le ena od komponent. Pravna in etična zgodovina podatkov ostaja del zgodbe sistema.

Za inženirje to pomeni, da zapisa o usposabljanju in zapisa o uvajanju ne bi smeli obravnavati kot ločena svetova. Za javna naročila to pomeni, da dobaviteljeva izjava o velikosti modela ni nadomestilo za izvor podatkov, namen, hrambo, obravnavo pravic ali dokumentacijo o nadaljnji uporabi. Za prizadeto osebo to pomeni, da koristno vprašanje ni, koliko parametrov je bilo vključenih. Gre za to, kaj se je zgodilo z njenimi informacijami in kaj lahko organizacija stori, ko je rezultat napačen.

Majhen signal lahko premakne veliko čakalno vrsto

Predstavljajmo si namišljeno službo za pomoč uporabnikom, ki prejema zahtevke stanovalcev. Kompakten klasifikator prebere prvo sporočilo in določi pot: informacija, rutinsko delo, nujni pregled ali obravnava pri specialistu. Primer je namerno običajen in povsem ilustrativen. Ni imenovanega sveta, ni dejanske uvedbe, ni časovnega žiga in ni trditve, da se je to zgodilo. Bistvo je, da postane meja vidna.

Če kategorije delavcu le pomagajo urediti zasebni niz zapiskov, je tveganje lahko zmerno. Če nujna pot določa, kdo bo deležen varnostnega pregleda, je rezultat zdaj bližje javni odločitvi. Če manjkajoča ključna beseda pošlje zahtevek osebe v rutinsko delo, je zamuda lahko pomembna, čeprav model nikoli ne spregovori s stanovalcem. Če delavec lahko vidi izvirno sporočilo, spremeni pot, zapiše razlog in se hitro odzove na ugovor, ima sistem drugačen nadzorni položaj kot sistem, v katerem oznaka postane skrita vrata.

Model ni postal večji. Obveznost je postala jasnejša. Sledi poti od vnosa do posledice. Organizacija mora vedeti, kaj kategorije pomenijo, katere dokaze model lahko uporabi, kateri primeri zahtevajo zavrnitev ali eskalacijo, kdo lahko preglasi pot in kakšen zapis poznejšemu pregledovalcu omogoča razumeti odločitev. Skromnost modela ni razlog, da ta vprašanja preskočimo. Morda je razlog, da nanje odgovorimo natančneje, ker je pogodba komponente lahko ozka.

Podoben namišljen primer se pojavi pri zaposlovanju. Majhen model bi lahko iz življenjepisa izluščil veščine, razvrstil vlogo ali označil manjkajoče potrdilo. Izluščanje se sliši manj posledično kot izbira, vendar lahko izluščanje oblikuje razvrstitev, ki sledi. Če se rezultat nikoli ne uporabi za odločanje o tem, kdo napreduje, lahko sistem ostane na pripravljalni strani meje. Če ljudje obravnavajo izluščeno oznako kot objektiven povzetek in nehajo gledati dokument, se meja premakne. Obveznost živi v uporabi, ne v glagolu, izbranem za opis delovne naloge modela.

V obeh ponazoritvah pravilen odziv ni panika zaradi majhnega modela. Gre za to, da predajo naredimo izrecno. Poimenujmo predvideni namen. Razglasimo, kaj rezultat lahko in česa ne more spremeniti. Ohranimo vir in različico modela tam, kjer je od njiju odvisna odločitev. Osebi zagotovimo dovolj informacij in pooblastil, da lahko ugovarja. Preizkusimo dele, kjer se pričakuje, da bo sistem negotov. Preglejmo potek dela, ko organizacija spremeni podatke, prag, občinstvo ali nadaljnje dejanje.

Kaj nizozemska sodba SyRI dejansko uči

Evropa že ima dokumentiran primer kompaktno videti sistema tveganja, ki nosi obveznost v velikosti pravic. Okrožno sodišče v Haagu je 5. februarja 2020 opisalo SyRI kot zakonski vladni instrument za boj proti goljufijam pri prejemkih, nadomestilih in davkih. Sodišče primera ni odločilo z vprašanjem, koliko parametrov je imel sistem. Ocenilo je pravni okvir glede na 8. člen Evropske konvencije o človekovih pravicah, vključno s tem, ali je poseg v zasebno življenje vzpostavljal pravično ravnotežje.

Sodišče je ugotovilo, da zakonodaja SyRI tega preizkusa ni prestala. Po navedbah sodišča je bila uporaba sistema SyRI premalo pregledna in nadzorovana. Pravni okvir je bil zato nezdružljiv z višjim pravom in v obstoječi obliki ni mogel obstati. Javna stran primera je jedrnata, a njeno sporočilo ni majhno: kadar država uporablja sistem za označevanje tveganja proti ljudem, ki imajo morda malo moči, da bi ga razumeli ali mu ugovarjali, sistem potrebuje raven vpogleda in nadzora, ki ustreza temu razmerju.

SyRI je bil nizozemski zakonski instrument za ugotavljanje tveganj, ne študija primera sodobnega nevronskega modela, in stran sodišča nam ne daje števila parametrov, o katerem bi lahko razpravljali. Prav zato spada sem. Primer nam preprečuje, da bi na arhitekturo modela gledali kot na edini zanimiv predmet. Pravilni mehanizem, točkovnik, statistični model ali majhen klasifikator lahko vsi postanejo del institucionalne odločitve. Vprašanje pravic se pojavi skozi uporabo.

Sodba tudi postavlja preglednost na pravo mesto. Ni zgolj zahteva po pojasnilu, potem ko je bil človek oškodovan. Je del pogojev, pod katerimi je mogoče sistem presojati pred delovanjem in med njim. Če ljudje ne vidijo dovolj namena, uporabe podatkov, zaščitnih ukrepov in poti za izpodbijanje, da bi razumeli poseg, organizacija morda ne more dokazati poštenega ravnovesja, za katerega trdi, da ga je vzpostavila.

SyRIja ni treba spremeniti v univerzalno analogijo. Nizozemski pravni okvir, dejstva primera in Evropska konvencija so posebni. Koristen prenos je ožji: ne sprašujte se, ali je sistem tehnično impresiven, preden se vprašate, ali je njegovo institucionalno razmerje vidno, obvladljivo in izpodbojno. Manjši stroj ne opravičuje večje tišine.

Oznaka potuje tja, kjer se uporablja naprej

Model je lahko uveden kot sestavni del in še vedno postane del sistema, ki nosi drugo obveznost. Smernice Komisije o GPAI pojasnjujejo, zakaj ponudniki v nadaljnji verigi potrebujejo informacije o zmogljivostih in omejitvah modela. Te informacije potrebujejo za odgovorno vključitev modela in za izpolnjevanje lastnih obveznosti po Aktu o umetni inteligenci. Ponudnik modela in ponudnik sistema ne pišeta istega dokumenta, ker ne odgovarjata na isto vprašanje.

To razlikovanje je pomembno, ko ekipe obravnavajo kartico modela kot potni list. Kartica modela lahko opisuje arhitekturo, usposabljanje, vrednotenje, znane omejitve in predvidene uporabe. Sama po sebi ne more opisati vsakega okolja, v katerega bi ekipa v nadaljnji verigi lahko umestila model. Sistem v nadaljnji verigi dodaja uporabnika, namen, podatkovne tokove, vmesnik, vloge ljudi, odločitev in nabor prizadetih ljudi. Ti dodatki lahko spremenijo obveznost, tudi če uteži modela ostanejo nespremenjene.

Odgovornost se lahko spremeni tudi, ko organizacija spremeni predvideni namen ali izvede bistveno spremembo. Določbe Akta o umetni inteligenci o vrednostni verigi opisujejo okoliščine, v katerih lahko akter prevzame odgovornosti ponudnika, vključno s spremembo predvidenega namena sistema umetne inteligence, tako da postane visoko tvegan. To je koristno opozorilo pred pogodbeno meglo. Dobavitelj lahko zagotovi sestavni del, vendar uvajalec ne more izbrisati lastne uporabe tako, da sestavni del imenuje knjižnica.

Praktična predaja bi zato morala nositi več kot le povezavo za prenos. Navesti bi morala predvidene naloge, meje vhodov in izhodov, zahteve za vključitev, informacije o usposabljanju in vrednotenju, kjer so pomembne, znane omejitve in pogoje, pod katerimi sestavnega dela ne bi smeli uporabljati. Pojasniti bi morala, česa model ni vrednotil. Ekipa v nadaljnji verigi ne bi smela odsotnosti jamstva sklepati iz prisotnosti samozavestnega diagrama.

Za tem papirnatim postopkom je človeški razlog. Oseba, ki jo prizadene končni sistem, ne sreča ponudnika modela v abstraktnem smislu. Sreča organizacijo, ki je izbrala delovni potek. Organizacija mora znati povedati, kaj je sestavni del naredil, kaj je organizacija z njim naredila in kako lahko oseba izpodbija rezultat. Če odgovori živijo v treh pogodbah in ni operativne evidence, sistem ni dobro vključen. Je le dobro porazdeljen.

Človeška pot mora biti resnična

Človeški nadzor je pogosto predstavljen kot oseba, ki sedi pred zaslonom. Akt o umetni inteligenci je natančnejši. Pri visoko tveganih sistemih mora biti nadzor učinkovit in sorazmeren s tveganji, stopnjo avtonomije in okoliščinami uporabe. Oseba, ki ji je nadzor dodeljen, bi morala razumeti ustrezne zmogljivosti in omejitve, spremljati nepravilnosti, interpretirati izhod, se odločiti, da ga ne bo uporabila, ga prezreti ali preglasiti, ga razveljaviti ter varno posredovati ali ustaviti sistem.

Nobeden od teh glagolov ni zagotovljen z majhnim modelom. Ozko usmerjen izhod je morda lažje interpretirati, vendar interpretacija ni enako kot pooblastilo. Gumb za preglasitev, ki ga nihče ne more uporabiti, ker je čakalna vrsta prevelika, ni učinkovit nadzor. Pregledovalec, ki vidi le barvo ali oznako, ne more smiselno preveriti vira. Oseba, ki je krivljena za odločitev, vendar ne more začasno ustaviti delovnega toka, ni nadzorna točka. Je le okrasna človeška vrzel v diagramu.

Sorazmeren nadzor je lahko tih. Lahko je jasna pot za delavca, da označi nezadostne dokaze, drugi pregled za občutljivo kategorijo, zapis o tem, zakaj je bilo priporočilo zavrnjeno, ali samodejni premor, ko manjkajo obvezna polja. Lahko je oseba, ki je lastnica odločitve in ima čas za preiskavo primerov, ki jih sistem usmeri k njej. Podrobnosti so odvisne od okoliščin. Zahteva je, da pot deluje, ko je sistem negotov, napačen, nedosegljiv ali sporen.

Pri majhnih modelih je lahko strukturirana zavrnitev prednost. Če lahko klasifikator reče manjkajoči vir, zunaj obsega ali potreben pregled, ima organizacija konkreten dogodek, ki ga mora obravnavati. To je bolje kot tekoč odstavek, ki negotovost tiho spremeni v navodilo. Toda zavrnitev še vedno potrebuje lastnika. Če vsaka zavrnitev postane slepa ulica, je sistem preprosto prenesel breme na nekoga, ne da bi mu dal pot skozi to.

Človeška pot se razširi na prizadeto osebo. Oseba za izpodbijanje rezultata ne bi smela potrebovati prodajalčeve terminologije. Organizacija bi morala vedeti, katere informacije je mogoče pojasniti, kaj je mogoče popraviti, kdo pregleda primer in kaj se zgodi, medtem ko je pregled odprt. Majhen model lahko olajša opis notranje sledi. Ne zmanjšuje pomena osebe zunaj sistema.

Sorazmerni nadzor je še vedno nadzor

Sorazmerno upravljanje se začne z zavrnitvijo dveh slabih dogovorov. Prvi pravi, da si vsak sistem zasluži enak težek postopek, kar tveganje spremeni v papirologijo in sčasoma nauči ekipe skrivati delo. Drugi pravi, da si majhni modeli ne zaslužijo resnega postopka, kar zamenjuje ozko komponento z neškodljivo institucijo. Sorazmeren pristop sprašuje, kaj lahko sistem spremeni, kdo je lahko prizadet in kateri dokazi bi organizaciji omogočili popravilo napake.

Prvi nadzor je izjava o namenu, ki jo razume tudi nestrokovnjak. Navesti mora nalogo, predvidene uporabnike, prizadete osebe, dovoljen vnos, izhod in dejanja, ki jih sistem ne sme izvesti. Namen, kot je podpora pri razvrščanju prednosti, je preveč ohlapen, če bi lahko pomenil urejanje zasebnega zaostanka, odločanje o tem, kdo prejme zakonsko določen pregled, ali izbiranje kandidatov za disciplinski postopek. Ta stavek ni marketinško besedilo. Je meja, glede na katero se preverjajo poznejše spremembe.

Drugi nadzor je meja vnosa in dokazov. Katere vire lahko sistem bere. Katera polja so avtoritativna. Kako sveža morajo biti. Kaj se zgodi, ko vrednost manjka ali je v nasprotju z drugim virom. Ali lahko osebni podatki vstopijo v pot. Kateri zapis se ohrani. Kompakten model je lahko strog glede vnosa in še vedno odpove, če okoliški delovni tok tiho razširi podatke. Obseg potrebuje lastnika, ne le sheme.

Tretji nadzor je izhodna pogodba. Določite dovoljene oznake, stanja negotovosti, pogoje zavrnitve in nadaljnje ukrepe za vsak rezultat. Če sistem vrne oceno, povejte, kaj ocena pomeni in česa ne pomeni. Če vrne razvrstitev, povejte, ali je razvrstitev predlog ali vrata. Če vrne kategorijo, povejte, kdo jo lahko spremeni in kateri zapis zajame spremembo. Majhen besednjak je uporaben le, če se institucija strinja, da vanj ne bo pretihotapljala dodatne avtoritete.

Četrti nadzor je pot sprememb. Posodobitve modela, spremembe pragov, novi viri podatkov, drugačna skupina uporabnikov, nov dobavitelj ali spremenjen nadaljnji ukrep lahko spremenijo tveganje sistema. Jezik zakona o umetni inteligenci nas opominja, da je upravljanje tveganj ponavljajoč se proces. Komponenta, ki je bila januarja ozka, se lahko avgusta znajde v drugačni odločitvi. Obveznost sledi spremenjenemu razmerju, ne datumu na prvem načrtovalnem dokumentu.

Peti nadzor je izhod. Ali lahko organizacija začasno ustavi komponento, preklopi na človeško pot, izvozi zapise, pojasni zgodovino odločitev in zamenja dobavitelja, ne da bi izgubila dokaze, potrebne za popravilo primerov. Izhod ni razkošje, namenjeno le velikim sistemom. Majhen model lahko postane edina točka institucionalnega spomina, če nihče ne ohrani vira, različice in poti odločanja okoli njega.

Proporcionalna zbirka dokazov

Proporcionalna zbirka dokazov ni skladišče vseh misli, ki jih je kdo imel o modelu. Je berljiv odgovor na vprašanja, ki si jih lahko upravičeno zastavijo pregledovalec, operater, prizadeta oseba ali regulator. Kakšen je bil predvideni namen. Katera različica je delovala. Katere podatke je prejela. Kaj je vrnila. Katero pravilo ali prag je ta rezultat spremenil v ukrep. Kdo je imel pooblastilo za spremembo rezultata. Kaj se je zgodilo, ko so dokazi manjkali. Kako je mogoče odločitev ponoviti ali izpodbijati.

Za predlog z nizkimi posledicami je lahko zbirka majhna. Vsebuje lahko namen, vir, različico, osnovno vrednotenje, lastnika, pravilo hrambe in povezavo do poti za popravke. Za sistem, ki vpliva na dostop, varnost, zaposlovanje ali pravice, zbirka potrebuje več. Povezati mora analizo tveganj s podatki in izhodno pogodbo, pokazati, kako človeški nadzor deluje v praksi, dokumentirati znane omejitve in hraniti dovolj operativne zgodovine za preiskavo spornega rezultata. Proporcionalnost raste s posledicami, ne s številom parametrov.

Testiranje mora slediti isti logiki. Ena sama številka točnosti ne more opisati primernosti sistema za vsak kontekst. Preizkusite dele podatkov in pogoje, ki so pomembni za namen. Vključite manjkajoče in nasprotujoče si vnose. Vključite primere, kjer je zavrnitev pravilna. Preverite, ali različne ekipe uporabljajo rezultat modela različno. Zabeležite, kaj je bilo izmerjeno, pod katerimi pogoji in kaj ostaja neznano. Model, ki dobro deluje na čistem testnem nizu, je lahko še vedno slabo umeščen v neurejeni instituciji.

Spremljanje ni okras na nadzorni plošči. Je način, kako organizacija ugotovi, da se je dejanski delovni proces spremenil. Spremljajte premike v vhodnih podatkih, stopnje nestrinjanja, stopnje zavrnitev, spremembe pri človeških posegih, nove nadaljnje uporabe ter pritožbe ali zahtevke za popravke. Natančni signali so odvisni od sistema. Načelo je stabilno: dokazi morajo vključevati razmerje, ki ustvarja obveznost, ne le notranjo oceno modela.

Dobri dokazi imajo tudi datum poteka, tudi če zapise hranimo dlje. Pravna razlaga se lahko spremeni. Storitev lahko doseže novo populacijo. Dobavitelj lahko posodobi model. Pot, ki je bila nekoč reverzibilna, se lahko vgradi v drug sistem. Označite, kaj je bilo ocenjeno, kdaj, kdo je ocenil in glede na kateri namen. Zapis tako postane zgodovina odločitev in ne statično potrdilo, ki preživi pogoje, ki so mu dajali pomen.

Načini odpovedi majhnih modelov

Majhni sistemi odpovedujejo na prepoznavne načine. Klasifikator lahko zgreši kategorijo, ker je definicija oznake dvoumna. Ekstraktor lahko vrne verjetno polje iz napačnega stavka. Model za razvrščanje lahko daje prednost znanim primerom in skriva nenavadne. Prag lahko spremeni neprekinjeno negotovost v lažno binarnost. Lokalni model lahko zanesljivo deluje, medtem ko so izvorni podatki zastareli. Nobena od teh napak ni samodejno katastrofalna. Vsaka postane pomembna, ko delovni tok obravnava rezultat kot bolj avtoritativen, kot to dovoljuje pogodba komponente.

Prvi način odpovedi je lažna skromnost. Ekipa reče, da model samo označuje, razvršča ali pomaga, nato pa oblikuje delovni tok tako, da se osebje redko ne strinja. Oznaka postane odločitev iz navade. To ni napaka v številu parametrov modela. To je napaka v ravnanju institucije z avtoriteto. Zdravilo je, da predaja postane vidna, da se merijo preglasovanja in nestrinjanja ter da imajo ljudje praktično pot do spremembe rezultata.

Drugi je skrita sestava. Majhen model lahko stoji ob iskanju, pravilih, čakalni vrsti, razvrščanju in storitvi za obveščanje. Vsaka komponenta je videti omejena. Skupaj lahko ustvarijo močno pot odločanja. Pregled tveganj bi moral slediti poti od začetka do konca. Kateri vir vstopi prvi. Katera transformacija odstrani kontekst. Katera oznaka sproži dejanje. Kateri zapis preživi. Katera oseba lahko ustavi verigo. Zagotavljanje kakovosti na ravni komponent je potrebno, vendar to ni pogled na sistem.

Tretji je zastarela obveznost. Model ostane nespremenjen, medtem ko se njegov namen ali občinstvo spremeni. Ekipa doda nov vir podatkov, pošlje rezultat drugemu oddelku ali začne uporabljati zasebno orodje za razvrščanje v delovnem toku, namenjenem javnosti. Kartica modela ostane enaka, zato vsi domnevajo, da je tveganje enako. Ni. Predvideni namen se je premaknil, zato bi se morala datoteka z dokazi premakniti z njim.

Četrti je halo majhnega modela. Nizek strošek virov ali urejena lokalna namestitev dajeta občutek, da je sistem bolj odgovoren, kot je. Organizacija lahko še vedno ne pojasni rezultata, ne ohrani vnosa, ne zagotovi popravka ali ne določi osebe z avtoriteto. Tehnična učinkovitost je dobrodošla. Ni nadomestilo za institucionalni nadzor. Sistem je lahko poceni za delovanje in drag za zagovor.

Peti je manjkajoči izhod. Majhne komponente je enostavno dodati in težko odstraniti, ko so vtkane v zaseden proces. Zamenjava spremeni kategorije, pragove ali zapise, ki jih pričakujejo oddelki navzdol po verigi. Če nihče ni vadil preklopa, sistem postane lepljiv. Model je morda majhen, vendar je selitev zdaj javni problem. Prenosljivost sodi v prvi pogovor o načrtovanju, ne na zadnji sestanek o nabavi.

Ko je majhnost prava inženirska izbira

Nič od tega se ne sme spremeniti v kampanjo proti majhnim modelom. Majhnost je lahko povsem prava. Ozka naloga z jasno pogodbo morda ne potrebuje modela splošnega namena. Lokalna komponenta lahko občutljive vnose obdrži bližje ljudem, ki so zanje odgovorni. Fiksni rezultat lahko olajša preverjanje in spremljanje. Model, ki zavrne delovanje zunaj svojega področja, je lahko varnejši za sestavljanje kot tisti, ki na vsako vprašanje odgovori z elegantno samozavestjo.

Inženirski argument je najmočnejši, ko ekipa lahko pove, česa komponenta ne bo storila. Razvrstila bo samo odobrene kategorije. Prebrala bo samo deklarirana polja. Vrnila bo nezadostne dokaze, ko manjka obvezno polje. Ne bo klicala orodja. Ne bo sprejela končne odločitve. Nosila bo različico in zapis o vrednotenju. Zamenljiva bo, ker sta vmesnik in pogodba o dokazih dokumentirana. Te omejitve sistema ne naredijo otročjega. Naredijo njegove odgovornosti razvidne.

Majhne komponente lahko podpirajo tudi boljšo delitev dela. Širok model lahko razlaga nejasen jezik ali pripravi človeku berljivo razlago. Stroga komponenta lahko izlušči polje, uporabi politično vrata, razvrsti deklariran nabor virov ali preveri, ali rezultat ustreza znani obliki. Pravilniški mehanizem ali reševalnik lahko prevzame del, ki mora biti natančen. Človek lahko prevzame presojo, ki je ni mogoče varno reducirati. Pomembna ni čistost. Pomembno je, da ima vsak del omejeno nalogo in da sistem beleži, kako so naloge povezane.

V tej ureditvi je evropska praktičnost. Institucije le redko lahko vse zamenjajo naenkrat. Potrebujejo sisteme, ki lahko delujejo v strojnih, pravnih, jezikovnih in nabavnih pogojih, ki jih dejansko imajo. Manjše komponente je včasih mogoče namestiti bližje delu, jih ovrednotiti na podlagi lokalnih dokazov in zamenjati, ne da bi morala celotna organizacija spremeniti svoj spomin. To je pričakovanje, ne trditev o vsakem majhnem modelu. Uvedba še vedno potrebuje dokaz, da je ustreznost resnična.

Majhnost je uporabna tudi kot disciplina. Ko ekipa težave ne more rešiti z dodajanjem splošnejših zmogljivosti, se mora odločiti, katere informacije so pomembne, katero negotovost je mogoče razkriti in kateri primeri zahtevajo človeka. To načrtovanje lahko razkrije, da model ni potreben. Včasih je prava komponenta omejitev podatkovne zbirke, iskalni indeks, podpisan zapis ali dobro napisan obrazec. Manjši model lahko nosi veliko obveznost. Tudi ne-model jo lahko nosi.

Ko se majhnost uporablja kot kamuflaža

Majhnost postane kamuflaža, ko jo ponudijo kot odgovor, preden je kdo opisal vprašanje. Predstavitev lahko reče, da je komponenta lahka, lokalna, zasebna, učinkovita ali odprta. Vse to so lahko uporabna dejstva. Ne povedo prizadeti osebi, ali je sistem mogoče izpodbijati, operaterju, ali je rezultat mogoče razveljaviti, ali regulatorju, ali je organizacija razumela svoj namen.

Kamuflaža se pogosto pojavi v nabavnem jeziku. Kupcu pokažejo velikost modela, podatek o zakasnitvi in strošek sklepanja. Pogodba pravi, da dobavitelj zagotavlja orodje za podporo odločanju. Nihče ne zapiše, katere odločitve, čigavi podatki, katere populacije, katera človeška pot ali katere spremembe sprožijo pregled. Pozneje notranja ekipa odkrije, da je orodje postalo vrata, ker so čakalna vrsta, rok ali nadzorna plošča priporočilo naredili priročno za upoštevanje. Model je bil majhen. Upravljanje je bilo manjše.

Druga kamuflaža je besedna zveza človek v zanki. Oseba lahko tehnično obravnava vsak primer, a nima smiselnega časa, informacij ali pooblastil. Zanka potem deluje kot ritual odobritve. Majhen model je lahko pri tem še posebej mamljiv, ker je rezultat videti preprost. Prispejo tri kategorije, oseba klikne eno in organizacija rezultat imenuje pregledan. Pregled zahteva zmožnost razumeti, izpodbijati in spremeniti izid. Klik sam po sebi ni zaščita.

Tretja kamuflaža je trditev, da lokalno pomeni suvereno. Lokalna obdelava lahko pomaga pri rezidenčnosti, zakasnitvi in operativnem nadzoru, vendar suverenost zadeva tudi to, kdo lahko spreminja programsko opremo, ima ključe, dostopa do zapisov in ohranja delovanje storitve, ko dobavitelj ali omrežje ni na voljo. Majhen model v napravi je lahko lokalen, medtem ko so njegove posodobitve, vrednotenje in pooblastila drugje. Lokacija je dejstvo na zemljevidu. Nadzor je dejstvo v odnosu.

Protistrup ni večja oblika. Je ostrejša. Vprašajte po namenu. Vprašajte, kaj se spremeni zaradi rezultata. Vprašajte, kdo lahko ugovarja. Vprašajte, kaj lahko stori prizadeta oseba. Vprašajte, kateri dokazi se ohranijo. Vprašajte, kako se sistem začasno ustavi, zamenja in ponovno ovrednoti. Če so odgovori jasni, se lahko velikost modela vrne na svoje pravo mesto kot ena od mnogih inženirskih izbir.

Kupčeva vprašanja

Preden majhen model vstopi v postopek s pomembnimi posledicami, bi moral kupec znati odgovoriti na vrsto preprostih vprašanj. Kakšen je predvideni namen v enem stavku. Kaj je izven obsega. Katere osebe so lahko prizadete, neposredno ali prek nadaljnjega dejanja. Kateri podatki so potrebni in kateri podatki so prepovedani. Kaj organizaciji omogoča vsak izhod. Česa ji ne omogoča.

Nato se vprašajte o pooblastilih. Kdo je lastnik odločitve. Kdo lahko preglasi model. Kdo lahko ustavi postopek. Katere informacije ta oseba vidi. Koliko časa ima na voljo. Kaj se zgodi, ko se ne strinja. Ali je prizadeta oseba dovolj obveščena, da lahko zahteva pregled. Ali lahko organizacija popravi tako vhod kot izhod. Ta vprašanja niso obtožba dobavitelja. So minimalni opis institucije, ki kupuje orodje.

Vprašajte o dokazih. Katera različica je tekla. Katera konfiguracija modela in pravilnika je bila aktivna. Kateri viri so bili na voljo. Kateri prag ali pravilo je izhod spremenil v naslednje dejanje. Kaj se zabeleži, ko človek spremeni rezultat. Ali lahko organizacija ponovno izvede primer, ne da bi se pretvarjala, da je novi zagon stari. Ali lahko izvozi zapise v obliki, ki jo lahko prebere drug sistem. Odgovor ni treba, da je velika platforma. Mora pa biti pravi zapis.

Vprašajte o spremembah. Kaj se šteje za posodobitev modela. Kaj se šteje za nov vir podatkov. Kaj se zgodi, ko se namen spremeni. Katere spremembe zahtevajo novo oceno. Kdo je obveščen. Kako so prizadete osebe zaščitene med vračanjem ali selitvijo. Če dobavitelj ne more odgovoriti, kupec ne kupuje majhnega tveganja. Kupec sprejema majhen opis velike neznanke.

Nazadnje se vprašajte o izhodu. Ali lahko postopek varno teče brez modela. Ali lahko organizacija pridobi vhode, izhode, odločitve in zgodovino popravkov. Ali lahko druga komponenta izpolni isti vmesnik brez nove odvisnosti. Ali je mogoče sistem umakniti, ne da bi ljudje ostali v negotovosti. Model ni zares majhen, če njegova odstranitev zahteva, da institucija pozabi, kako je sprejemala odločitve.

Kratka opomba z naše strani

Pri Dweve je Loom en primer oblikovalskega stališča, ki ga prinašamo k temu vprašanju. Njegov javni opis izdelka predstavlja majhne jezikovne komponente kot upodabljalnike okoli tipiziranega grafa sklepanja, s sledmi, ponovnim izvajanjem in izrecnimi mejami zavrnitve. To je izjava o naši arhitekturi in o tem, kako želimo, da je odgovornost komponente vidna. Ni neodvisen dokaz, regulativna klasifikacija, namestitev pri stranki ali obljuba, da je majhna komponenta samodejno primerna za uporabo s pomembnimi posledicami.

Koristni del primera je meja. Komponenta je lahko majhna in si še vedno zasluži natančno pogodbo. Lahko je umeščena v večji graf, ne da bi postala lastnica vsake odločitve. Lahko nosi sled, ne da bi trdila, da sled dokazuje, da je celotna institucija ravnala zakonito. Loom omenjamo samo zato, da pokažemo, kako poskušamo v lastnem delu ločiti zmogljivost modela, namen sistema, dokaze in človeško pooblastilo. Evropsko vprašanje ostaja za nas enako kot za vse druge: kaj lahko ta sistem spremeni in ali lahko odgovorne osebe še vedno pregledajo in popravijo?

Obveznost nosi odnos

Majhen model je lahko lažje poganjati, lažje preizkusiti in lažje zamenjati. To so dobri razlogi za izbiro takega modela. Niso pa razlogi za krčenje okoliške dolžnosti skrbnosti. Opredelitve in pravila tveganja iz akta o umetni inteligenci, smernice Komisije o modelih GPAI, pristop EDPB k podatkom od primera do primera in nizozemska sodba SyRI kažejo v isto praktično smer, ne da bi postali en sam pravni preizkus: upoštevajte namen, okoliščine, pooblastila, dokaze, prizadete osebe in možnost pravnega varstva.

Pravo vprašanje torej ni, ali je model majhen. Vprašanje je, kaj sme model spreminjati. Če človeku le pomaga pri iskanju po lastnih zapiskih, je odgovor lahko skromen. Če spreminja to, kdo je deležen pozornosti, kateri zapis je zaupanja vreden ali ali javna storitev odpre vrata, je odgovor večji. Če organizacija ne more pojasniti predaje, ohraniti dokazov ali nekomu omogočiti, da izpodbija rezultat, je obveznost že prerasla komponento.

Dobro upravljanje pušča prostor za sorazmernost. Ne zahteva, da vsak model postane odbor. Ekipo spodbuja, naj pomembna razmerja naredi vidna, trditve poveže z dokazi in ljudem da resnično pooblastilo, kadar je sistem negotov ali napačen. Majhni modeli lahko pri tem pomagajo, ker je omejeno komponento mogoče poimenovati in preizkusiti. Toda omejenost je oblikovalski dosežek, ne samodejna lastnost majhnosti.

Velikost sodi v inženirski zapis. Namen sodi v sistemski zapis. Posledice sodijo v človeški zapis. Ko ti trije zapisi lahko spregovorijo drug z drugim, je mogoče majhen model uporabljati preudarno, ne da bi ga obravnavali kot neškodljivega. Ko so ločeni, postane skromnost modela gledališče, ljudje, ki nosijo posledice, pa plačajo za manjkajoči kontekst.

Viri