Mali model može nositi veliku obvezu

Veličina modela inženjersko je svojstvo. Obveza proizlazi iz svrhe, konteksta, podataka, ovlasti i ljudi oko sustava.

Mali model može nositi veliku obvezu

Zakon ne pita koliko je velik

Otvorite Akt o umjetnoj inteligenciji Europske unije i nećete naići na brojač modela. Ne postoji prva stranica na kojoj se stroj važe, mjeri i svrstava u urednu pravnu ladicu. Akt počinje sa sustavom: strojno utemeljenim sustavom koji radi s različitim razinama autonomije, može se prilagođavati nakon stavljanja u uporabu te iz ulaznih podataka zaključuje kako generirati predviđanja, sadržaj, preporuke ili odluke koje mogu utjecati na fizičko ili virtualno okruženje. Njegova definicija govori o tome što sustav čini i što njegovi rezultati mogu promijeniti.

To je dobro polazište jer se u raspravama o tehnologiji neprestano pokušava veličinu pretvoriti u kontekst. Manji model zvuči skromno. Može stati na običan hardver, odgovoriti na jedno usko pitanje ili vratiti oznaku umjesto odlomka. To mogu biti vrijedna inženjerska svojstva. Mogu smanjiti površinu koju treba testirati, smanjiti apetit implementacije za resurse ili olakšati zamjenu komponente. Nijedno od njih ne govori može li osoba izgubiti pravo, uslugu, posao ili siguran put zbog te oznake.

Obveza se pojavljuje u odnosu između sustava i svijeta oko njega. Tko koristi rezultat. Koja odluka slijedi. Koji podaci ulaze u putanju. Koliko autoriteta sustav ima. Može li osoba osporiti rezultat. Može li ga netko poništiti prije nego šteta postane trajna. Ovisi li pogođena osoba o ishodu, možda zato što ne postoji praktična alternativa. Model može biti tehnički malen, a institucionalno velik. To je teza ovog članka, a riječ institucionalno nosi glavni teret.

Ovo nije argument da se svaki klasifikator tretira kao javna opasnost. To je argument za proporcionalnost. Proporcionalnost ne znači da mali sustavi dobiju ceremonijalni osmijeh i bez pitanja. Znači da pitanja prate stvarnu posljedicu. Model koji se koristi za razvrstavanje privatne zbirke bilješki i model koji se koristi za odluku o tome tko će biti podvrgnut nadzoru mogu u repozitoriju izgledati slično. U svijetu nisu slični.

Veličina modela opisuje komponentu. Svrha, pogođene osobe i kontrola određuju obvezu koju ta komponenta nosi.

Malo je mjera, a ne kontekst

Malo može značiti nekoliko različitih stvari, a ta se značenja često tiho zamjenjuju. Može značiti manji broj parametara, manji memorijski otisak, manje računalne snage za treniranje, ograničen vokabular, uzak izlazni obrazac ili kratak ulazni prozor. Može značiti da model radi na uređaju, a ne putem udaljene usluge. Može također značiti da je tim modelu dodijelio uzak zadatak. To nisu iste tvrdnje. Mali broj parametara ne podrazumijeva malu društvenu ulogu, baš kao što velik broj parametara ne govori gdje sustavu smije djelovati.

Postoji i druga zabluda. Ljudi koriste riječ malo da bi označili lokalno, a lokalno da bi označili bezopasno. Lokalna implementacija može poboljšati kontrolu nad kretanjem podataka, dostupnošću ili operativnim vlasništvom. Također može smjestiti odluku izravno u radno okruženje, na javni šalter, u medicinski tijek rada ili u uređaj koji osoba ne može lako napustiti. Fizička blizina može smanjiti jednu vrstu ovisnosti, a istovremeno povećati važnost ljudi koji upravljaju sustavom. Poslužitelj u istoj zgradi nije moralna kategorija.

Zatim postoji malo kao obećanje o sposobnosti. Komponenta može biti trenirana za jedan zadatak i dalje utjecati na širi proces. Može vraćati samo odobri, pregledaj ili odbij. Nizvodni tijek rada može te tri riječi tretirati kao vrata. Komponenta ne mora napisati esej da bi donijela smislenu odluku. Treba je samo postaviti na mjesto gdje je sljedeći sustav ili sljedeća osoba ne može lako dovesti u pitanje.

Za upravljanje, korisna jedinica stoga nije samo model. To je model u implementaciji, sa svrhom, operaterom, ulaznom granicom, izlaznim ugovorom, nizvodnom radnjom i putem za ispravak. To je manje uredno od ljestvice poretka. Također je bliže stvarnosti. Ljestvica poretka može vam reći kako je model izvršio zadatak. Ne može vam reći je li taj zadatak bio dopušten, jesu li pogođene osobe mogle prigovoriti ili je li organizacija imala ovlast koristiti rezultat.

Jezik Europske komisije o umjetnoj inteligenciji opće namjene tiho ilustrira tu razliku. Komisija daje tehničke kriterije koji pomažu utvrditi kada model može potpasti pod obveze GPAI, ali također kaže da su kriteriji indikativni i da je procjena od slučaja do slučaja i dalje nužna. Smjernica se ne pretvara da jedan broj može opisati svaku ulogu koju model može imati. Pokušava učiniti jedno klasifikacijsko pitanje provedivim bez pretvaranja u univerzalnu teoriju štete.

Prag nije presuda

U Aktu o umjetnoj inteligenciji postoje brojevi, što je jedan od razloga zašto ljudi posežu za brojevima kada žele sigurnost. Članak 51. stvara pretpostavku sposobnosti visokog utjecaja za model umjetne inteligencije opće namjene treniran s kumulativnom količinom računanja većom od 1025 operacija s pomičnim zarezom. Ta pretpostavka pripada klasifikaciji GPAI modela sa sistemskim rizikom. To nije pravilo da je model ispod praga siguran, niti pravilo da svaki model iznad njega uzrokuje istu štetu.

Smjernice Komisije o GPAI koriste drugačiji indikativni prag, iznad 1023 operacija s pomičnim zarezom zajedno sa širokom generativnom sposobnošću, kako bi pomogle identificirati modele koji mogu biti opće namjene. Stranica je izričita o ograničenjima. Model ispod pokazatelja i dalje može ispunjavati uvjete ako pokazuje značajnu općenitost. Model koji ga zadovoljava iznimno može ne ispunjavati uvjete ako mu nedostaje relevantna općenitost. Smjernica je tumačenje za određeno pravno pitanje, a ne dozvola za svaku nizvodnu upotrebu.

Ove su dvije granične vrijednosti korisne upravo zato što su uske. Pomažu tijelima i pružateljima da razvrstaju određenu klasu obveza za modele. One ne rješavaju zaslužuje li mali model ugrađen u sustav visokog rizika posebnu pozornost. Ne rješavaju je li obrada podataka zakonita. Ne rješavaju može li osoba osporiti odluku. Granična vrijednost može utvrditi da se pitanje treba postaviti. Ne može odgovoriti na pitanje koje pripada drugom sloju.

Tehničke granične vrijednosti također stare. Akt kaže da Komisija može prilagoditi graničnu vrijednost za sistemski rizik s obzirom na tehnološki razvoj, uključujući poboljšanja algoritama i učinkovitost sklopovlja. Komisijine smjernice kažu da njezin vlastiti kriterij nije apsolutan. To je razumno priznanje. Broj koji u proračunskoj tablici nabave izgleda stabilno može se promijeniti kada se promijeni okolna tehnologija. Odgovoran odgovor nije nepovjerenje prema svakom broju. Odgovor je zadržati broj povezan s pitanjem na koje je osmišljen da odgovori.

Za timove koji objavljuju kartice modela ili interne bilješke o arhitekturi postoji praktična pouka. Navedite graničnu vrijednost, mjernu jedinicu, pravnu odredbu i granicu. Recite je li broj pravna pretpostavka, Komisijin pokazatelj, uvjet mjerila ili interni projektni cilj. Ne dopustite da jedna metrika dobije veće značenje samo zato što je zgodna na slajdu. I mala metrika može nositi veliku obvezu. Broj treba vlastitu provjerljivost podrijetla.

Sustav je više od modela unutar njega

Akt o umjetnoj inteligenciji čini granicu sustava vidljivom. Definira pružatelje i korisnike, razdvaja modele od sustava i dodjeljuje dužnosti duž lanca vrijednosti. Pružatelj može biti osoba ili organizacija koja razvija sustav ili daje da se razvije te ga stavlja na tržište ili u uporabu pod vlastitim imenom. Korisnik je osoba ili organizacija koja sustav upotrebljava pod svojom odgovornošću. Te su uloge važne jer se ista temeljna komponenta može nalaziti u različitim aranžmanima s različitim odgovornostima.

Zamislite kompaktni klasifikator teksta koji vraća jednu od četiriju kategorija. Model nema korisničko sučelje, nema memoriju i nema mogućnost pozivanja alata. U jednom okruženju razvrstava dokumente vlastitog tima u mape. U drugom označava prijave za javnu uslugu tako da se neke osobe upućuju na dodatnu provjeru. Komponenta može biti tehnički identična. Drugi sustav ima drugu svrhu, druge pogođene osobe, drugačiji odnos moći i drugu potrebu za objašnjenjem i pravnom zaštitom.

Pravila Akta o razvrstavanju visokog rizika slijede upravo takvu razliku. Gledaju je li sustav sigurnosna komponenta, upotrebljava li se u području navedenom u Prilogu III. te predstavlja li značajan rizik za zdravlje, sigurnost ili temeljna prava. Put navedene uporabe nije prosudba o eleganciji modela. To je prosudba o tome što sustav čini u okruženju u kojem pogrešan rezultat može biti važan. Uzak postupovni zadatak može potpasti pod pomno sročenu iznimku ako materijalno ne utječe na odluku, ali pružatelj mora dokumentirati tu procjenu.

Taj zahtjev za dokumentacijom lako je podcijeniti. Tim koji kaže da je sustav samo pripremne naravi iznosi tvrdnju o uzročnosti. Kaže da rezultat materijalno ne utječe na odluku koja slijedi. Ako recenzent oznaku tretira kao razlog za otvaranje predmeta, ako se osoblje povodi za rangiranjem ili ako podnositelj zahtjeva nema smislen način ispraviti podatke iza oznake, praktičan utjecaj može biti veći nego što sučelje sugerira. Riječi pripremne naravi ne smije se dopustiti da znače nevidljivo.

Granice sustava uključuju i dosadnu infrastrukturu oko modela: izvor podataka, prag, red čekanja, osobu koja prima rezultat, zapis koji ostaje sačuvan, ugovor s dobavljačem, postupak ažuriranja i put za zaustavljanje tijeka rada. Mali model može biti vidljivi objekt, dok stvarni rizik živi u predaji rezultata. Zato je procjena rizika koja pita samo što model predviđa nepotpuna. Teže je pitanje što organizacija čini zato što je model to predvidio.

Svrha mijenja značenje istog rezultata

Rezultat nema nikakvu obvezu u vakuumu. Ista vjerojatnost, ista kategorija ili ista preporuka mogu biti bezazleni u jednom zadatku, a posljedični u drugom. To nije zato što riječi mijenjaju svoje rječničko značenje. To je zato što rezultat ulazi u strukturu odlučivanja. Rangiranje koje se koristi za odabir kojih će se istraživačkih bilješki prvo pročitati nije isto što i rangiranje koje se koristi za odluku o tome koje će kućanstvo biti predmet istrage prijevare. Stroj može koristiti istu matematiku. Institucija nema isti odnos prema ljudima na drugoj strani.

Članak 7. Akta o umjetnoj inteligenciji navodi kriterije koje Komisija mora uzeti u obzir pri dodavanju ili izmjeni slučajeva uporabe visokog rizika. To uključuje namjeravanu svrhu, širinu uporabe sustava ili vjerojatnost njegove uporabe, prirodu i količinu podataka, autonomiju i mogućnost ljudske intervencije, opseg i intenzitet moguće štete, ovisnost o rezultatu, neravnotežu moći, ranjivost, reverzibilnost, korist i dostupnost pravne zaštite. Čitani zajedno, ti kriteriji čine koristan protuargument razmišljanju usmjerenom na veličinu modela. Oni opisuju odnos, a ne datoteku s težinama.

Komponenta ostaje mala dok okolna svrha, moć, ovisnost i reverzibilnost mijenjaju pitanje kontrole.

Ovisnost je posebno važna. Osoba ponekad može zanemariti preporuku, potražiti drugu uslugu ili zamoliti kolegu da provjeri odgovor. Osoba također može nemati praktičnu alternativu. Ako automatizirani korak probira određuje hoće li usluga biti odgođena, hoće li zahtjev dobiti pozornost ili hoće li radnik biti pozvan na sastanak, pogođena osoba možda mora prihvatiti prvo tumačenje sustava dok organizacija odlučuje hoće li ponovno pogledati. Što je vidljiva odluka manja, to je lakše previdjeti ovisnost koja se krije ispod nje.

Reversibilnost je važna iz istog razloga. Pogreška u unutarnjoj oznaci može se popraviti prije nego što se itko na nju osloni. Oznaka rizika može promijeniti redoslijed kojim se predmet obrađuje, a kašnjenje samo po sebi može postati posljedično. Odbijanje može dovesti do propuštenog roka. Rangiranje može postati jedino rangiranje koje zaposleni tim uopće vidi. Činjenica da administrator tehnički može urediti bazu podataka ne dokazuje da je društveni ishod lako poništiti. Tehnička reverzibilnost i doživljena reverzibilnost povezane su, ali nisu istovjetne.

Tu proporcionalnost dobiva svoj sadržaj. Unutarnji prijedlog malog utjecaja može zahtijevati lagani zapis i jasnog vlasnika. Sustav koji utječe na pristup javnoj usluzi treba jači put dokaza, informiranu ljudsku rutu i način za osporavanje unosa i rezultata. Proporcionalne kontrole nisu odsutnost kontrola. One su kontrole odabrane jer ih odnos zaslužuje.

Podaci zadržavaju svoje obveze

Veličina modela ne čini podatke anonimnima po atmosferi. Mišljenje 28/2024 Europskog odbora za zaštitu podataka kaže da se to može li se model umjetne inteligencije smatrati anonimnim mora procjenjivati od slučaja do slučaja. Test u javnom sažetku EDPB-a pita je li vrlo nevjerojatno da model može izravno ili neizravno identificirati osobe čiji su podaci korišteni za njegovu izradu te je li vrlo nevjerojatno da se njihovi osobni podaci mogu izvući upitima. Manji model može sadržavati manje informacija, ali manje nije pravni zaključak.

EDPB također drži na vidiku kontekst legitimnog interesa. Njegova analiza upućuje na nužnost i vaganje te navodi odnos između osoba i voditelja obrade, prirodu usluge, kontekst u kojem su podaci prikupljeni, izvor, moguće daljnje uporabe i ono što bi osobe razumno mogle očekivati. Ti čimbenici ne nestaju kada se model sažme, destilira, kvantizira ili stavi iza urednog API-ja. Kompresija mijenja tehnički objekt. Ona ne prepisuje povijest toga zašto su podaci prikupljeni ili što je osobama rečeno.

Postoji korisna disciplina u čitanju tog mišljenja zajedno s inženjeringom modela. Pitajte za što je model treniran ili prilagođen, koje podatke prima u trenutku izvođenja, koji se zapisi zadržavaju i tko ga može upitati. Zatim pitajte što se događa nizvodno. Kopira li se rezultat u spis predmeta. Postaje li rangiranje uputa. Vidi li ljudski pregledavatelj izvorni materijal ili samo oznaku modela. Postoji li put za dotičnu osobu da ispravi činjeničnu pogrešku. To su pitanja o podacima i upravljanju, a ne samo pitanja o točnosti.

Javni sažetak EDPB-a također napominje da uporaba nezakonito obrađenih osobnih podataka u razvoju modela može utjecati na zakonitost primjene osim ako model nije propisno anonimiziran. Ta rečenica odolijeva poznatom putu bijega. Tim ne može učiniti da problem nestane rekavši da je konačni model mali, da podaci više nisu vidljivi ili da je model samo jedna komponenta. Pravna i etička povijest podataka ostaje dio priče sustava.

Za inženjere to znači da se zapis o treniranju i zapis o primjeni ne bi trebali tretirati kao odvojeni svjetovi. Za nabavu to znači da izjava dobavljača o veličini modela nije zamjena za podrijetlo podataka, svrhu, zadržavanje, postupanje s pravima ili nizvodnu dokumentaciju. Za pogođenu osobu to znači da korisno pitanje nije koliko je parametara bilo uključeno. Ono je što se dogodilo s njihovim informacijama i što organizacija može učiniti kada je rezultat pogrešan.

Mali signal može pomaknuti veliki red čekanja

Zamislite hipotetski servisni ured koji zaprima zahtjeve stanovnika. Kompaktni klasifikator čita prvu poruku i dodjeljuje rutu: informacija, rutinski posao, hitan pregled ili stručna obrada. Primjer je namjerno običan i u potpunosti ilustrativan. Ne postoji imenovano vijeće, nema stvarne implementacije, nema vremenske oznake niti tvrdnje da se to dogodilo. Poanta je učiniti granicu vidljivom.

Ako kategorije samo pomažu zaposleniku da sredi privatne bilješke, rizik može biti umjeren. Ako hitna ruta određuje tko će dobiti sigurnosni pregled, rezultat se sada približava javnoj odluci. Ako zbog nedostajuće ključne riječi zahtjev osobe završi u rutinskom poslu, kašnjenje može biti važno iako model nikada ne razgovara sa stanovnikom. Ako zaposlenik može vidjeti izvornu poruku, promijeniti rutu, zabilježiti razlog i brzo odgovoriti na prigovor, sustav ima drugačiji kontrolni položaj od onoga u kojem oznaka postaje skrivena kapija.

Model nije postao veći. Obveza je postala jasnija. Slijedi put od ulaza do posljedice. Organizacija mora znati što kategorije znače, koje dokaze model smije koristiti, koji slučajevi zahtijevaju odbijanje ili eskalaciju, tko može nadjačati rutu i koji zapis omogućuje kasnijem pregledavaču da razumije odluku. Sklromnost modela nije razlog da se ta pitanja preskoče. Možda je razlog da se na njih odgovori preciznije jer se ugovor komponente može usko definirati.

Slična hipoteza pojavljuje se u zapošljavanju. Mali model mogao bi izdvojiti vještine iz životopisa, klasificirati ulogu ili označiti nedostajuću potvrdu. Izdvajanje zvuči manje posljedično od selekcije, ali izdvajanje može oblikovati rangiranje koje slijedi. Ako se rezultat nikada ne koristi za odluku o tome tko napreduje, sustav može ostati na pripremnoj strani granice. Ako ljudi tretiraju izdvojenu oznaku kao objektivan sažetak i prestanu gledati dokument, granica se pomiče. Obveza živi u uporabi, ne u glagolu odabranom za opis posla modela.

U obje ilustracije ispravan odgovor nije panika zbog malog modela. To je učiniti primopredaju izričitom. Imenujte namjeravanu svrhu. Izjavite što rezultat može, a što ne može promijeniti. Sačuvajte izvor i verziju modela tamo gdje odluka ovisi o njima. Dajte osobi dovoljno informacija i ovlasti da se ne složi. Testirajte dijelove u kojima se od sustava očekuje nesigurnost. Pregledajte tijek rada kada organizacija promijeni podatke, prag, publiku ili naknadnu radnju.

Što nizozemska presuda o SyRI-ju zapravo poučava

Europa već ima dokumentiran primjer kompaktnog sustava procjene rizika koji nosi obvezu primjerenu pravima. Dana 5. veljače 2020. Okružni sud u Haagu opisao je SyRI kao zakonski vladin instrument koji se koristi za borbu protiv prijevara u naknadama, doplatcima i porezima. Sud nije odlučio slučaj pitajući koliko parametara sustav ima. Ocijenio je pravni okvir prema članku 8. Europske konvencije o ljudskim pravima, uključujući i to je li miješanje u privatni život postiglo pravednu ravnotežu.

Sud je zaključio da zakonodavstvo o SyRI-ju nije prošlo taj test. Prema riječima suda, uporaba SyRI-ja bila je nedovoljno transparentna i kontrolirana. Pravni okvir stoga nije bio u skladu s višim pravom i nije mogao opstati u postojećem obliku. Javna stranica predmeta je sažeta, ali njezina pouka nije mala: kada država koristi sustav pokazatelja rizika protiv ljudi koji možda imaju malo moći da ga razumiju ili ospore, sustav treba razinu uvida i kontrole koja odgovara tom odnosu.

SyRI je bio nizozemski zakonski instrument za procjenu rizika, a ne studija slučaja o modernom neuronskom modelu, a stranica suda nam ne daje broj parametara o kojima bismo raspravljali. Upravo zato pripada ovdje. Primjer nas sprječava da arhitekturu modela tretiramo kao jedini zanimljiv objekt. Pravila, bodovna kartica, statistički model ili mali klasifikator mogu postati dio institucionalne odluke. Pitanje prava dolazi kroz upotrebu.

Presuda također postavlja transparentnost na pravo mjesto. To nije samo zahtjev za objašnjenjem nakon što je osoba pretrpjela štetu. To je dio uvjeta pod kojima se sustav može prosuđivati prije i tijekom rada. Ako ljudi ne mogu dovoljno vidjeti svrhu, upotrebu podataka, zaštitne mjere i put za prigovor kako bi razumjeli zadiranje, organizacija možda neće moći dokazati pravednu ravnotežu koju tvrdi da je postigla.

Nema potrebe pretvarati SyRI u univerzalnu analogiju. Nizozemski pravni okvir, činjenice slučaja i Europska konvencija specifični su. Koristan prijenos je uži: ne pitajte je li sustav tehnički impresivan prije nego što pitate je li njegov institucionalni odnos vidljiv, kontroliran i osporiv. Manji stroj ne opravdava veću šutnju.

Nizvodna upotreba je mjesto gdje oznaka putuje

Model se može uvesti kao komponenta i i dalje postati dio sustava koji nosi drugu obvezu. Smjernice Komisije o GPAI objašnjavaju zašto nizvodni pružatelji trebaju informacije o mogućnostima i ograničenjima modela. Te informacije trebaju kako bi odgovorno integrirali model i ispunili vlastite obveze prema Aktu o umjetnoj inteligenciji. Pružatelj modela i pružatelj sustava ne pišu isti dokument jer ne odgovaraju na isto pitanje.

Ova razlika je važna kada timovi tretiraju karticu modela kao putovnicu. Kartica modela može opisati arhitekturu, obuku, evaluaciju, poznata ograničenja i namjeravanu upotrebu. Sama po sebi ne može opisati svako okruženje u kojem bi nizvodni tim mogao postaviti model. Nizvodni sustav dodaje korisnika, svrhu, tokove podataka, sučelje, ljudske uloge, odluku i skup pogođenih ljudi. Ti dodaci mogu promijeniti obvezu čak i kada težine modela ostanu netaknute.

Odgovornost se također može promijeniti kada organizacija modificira namjeravanu svrhu ili napravi bitnu izmjenu. Odredbe Akta o umjetnoj inteligenciji o lancu vrijednosti opisuju okolnosti u kojima akter može preuzeti odgovornosti pružatelja, uključujući promjenu namjeravane svrhe sustava umjetne inteligencije tako da postane visokorizičan. Ovo je korisno upozorenje protiv ugovorne magle. Dobavljač može isporučiti komponentu, ali implementator ne može učiniti da vlastita upotreba nestane nazivajući komponentu bibliotekom.

Praktična predaja stoga bi trebala nositi više od poveznice za preuzimanje. Trebala bi navesti namjeravane zadatke, granice ulaza i izlaza, zahtjeve za integraciju, informacije o obuci i validaciji gdje su relevantne, poznata ograničenja i uvjete pod kojima se komponenta ne smije koristiti. Trebala bi objasniti što model nije evaluirao. Nizvodni tim ne bi trebao zaključivati o odsutnosti jamstva iz prisutnosti samouvjerenog dijagrama.

Postoji ljudski razlog za ovu papirologiju. Osoba pogođena konačnim sustavom ne susreće pružatelja modela u apstraktnom smislu. Susreće organizaciju koja je odabrala tijek rada. Organizacija mora moći reći što je komponenta učinila, što je organizacija učinila s njom i kako osoba može osporiti rezultat. Ako odgovori žive u tri ugovora i nema operativnog zapisa, sustav nije dobro integriran. Samo je dobro distribuiran.

Ljudski put mora biti stvaran

Ljudski nadzor često se prikazuje kao osoba koja sjedi ispred zaslona. Akt o umjetnoj inteligenciji precizniji je. Za sustave visokog rizika nadzor mora biti učinkovit i razmjeran rizicima, razini autonomije i kontekstu uporabe. Osoba zadužena za nadzor trebala bi moći razumjeti relevantne mogućnosti i ograničenja, pratiti nepravilnosti, tumačiti rezultat, odlučiti da ga neće upotrijebiti, zanemariti ga ili nadjačati, poništiti ga te sigurno intervenirati ili zaustaviti sustav.

Nijedan od tih glagola nije zajamčen malim modelom. Uzak rezultat može biti lakše protumačiti, ali tumačenje nije isto što i ovlast. Gumb za nadjačavanje koji nitko ne može upotrijebiti jer je red čekanja prevelik nije učinkovit nadzor. Recenzent koji vidi samo boju ili oznaku ne može smisleno provjeriti izvor. Osoba koja je okrivljena za odluku, a ne može pauzirati tijek rada, nije kontrolna točka. Ona je ukrasni ljudski oblik u praznini dijagrama.

Razmjeran nadzor može biti tih. To može biti jasan put radniku da označi nedostatne dokaze, druga provjera za osjetljivu kategoriju, zapis o tome zašto je preporuka odbijena ili automatska pauza kada nedostaju obvezna polja. To može biti osoba koja je vlasnik odluke i ima vremena istražiti slučajeve koje joj sustav prosljeđuje. Pojedinosti ovise o kontekstu. Zahtjev je da put funkcionira kada je sustav nesiguran, pogrešan, nedostupan ili osporen.

Za male modele strukturirano odbijanje može biti prednost. Ako klasifikator može reći nedostaje izvor, izvan opsega ili zahtijeva pregled, organizacija ima konkretan događaj koji treba riješiti. To je bolje od tečnog odlomka koji nesigurnost tiho pretvara u uputu. No odbijanje i dalje treba vlasnika. Ako svako odbijanje postane slijepa ulica, sustav je jednostavno prebacio teret na nekoga bez da mu je dao put kroz njega.

Ljudski put proteže se i na zahvaćenu osobu. Osoba ne bi trebala trebati terminologiju dobavljača da bi osporila rezultat. Organizacija bi trebala znati koje se informacije mogu objasniti, što se može ispraviti, tko pregledava slučaj i što se događa dok je pregled otvoren. Mali model može olakšati opisivanje unutarnjeg traga. To ne smanjuje važnost osobe izvan sustava.

Razmjerni nadzor i dalje je nadzor

Razmjerno upravljanje počinje odbijanjem dviju loših pogodbi. Prva kaže da svaki sustav zaslužuje isti težak postupak, što upravljanje rizicima pretvara u papirologiju i na kraju uči timove skrivati posao. Druga kaže da mali modeli ne zaslužuju ozbiljan postupak, što usku komponentu brka s bezopasnom institucijom. Razmjeran pristup pita što sustav može promijeniti, na koga može utjecati i koji bi dokazi omogućili organizaciji da ispravi pogrešku.

Prva kontrola je izjava o svrsi koju nespecijalist može razumjeti. Trebala bi navesti zadatak, predviđene korisnike, zahvaćene osobe, dopušteni unos, rezultat i radnje koje sustav ne smije poduzimati. Svrha poput podrška prioritizaciji previše je nejasna ako bi mogla značiti uređivanje privatnog zaostatka, odlučivanje o tome tko dobiva zakonsku inspekciju ili odabir kandidata za stegovni pregled. Ta rečenica nije marketinški tekst. Ona je granica prema kojoj se provjeravaju kasnije promjene.

Druga kontrola je granica unosa i dokaza. Koje izvore sustav smije čitati. Koja su polja mjerodavna. Koliko svježa moraju biti. Što se događa kada vrijednost nedostaje ili je u sukobu s drugim izvorom. Mogu li osobni podaci ući u put. Koji se zapis čuva. Kompaktan model može biti strog oko unosa, a ipak zakazati ako okolni tijek rada tiho proširi podatke. Opseg treba vlasnika, ne samo shemu.

Treća je kontrola izlazni ugovor. Navedite dopuštene oznake, stanja nesigurnosti, uvjete odbijanja i nizvodne radnje za svaki rezultat. Ako sustav vraća ocjenu, recite što ocjena znači, a što ne znači. Ako vraća rangiranje, recite je li rangiranje prijedlog ili zapreka. Ako vraća kategoriju, recite tko je može mijenjati i koji zapis bilježi tu promjenu. Mali rječnik koristan je samo ako se institucija složi da u njega neće unositi dodatni autoritet.

Četvrta je kontrola put promjene. Ažuriranja modela, promjene pragova, novi izvori podataka, drugačija skupina korisnika, novi dobavljač ili promijenjena nizvodna radnja mogu promijeniti rizik sustava. Jezik životnog ciklusa iz Akta o umjetnoj inteligenciji podsjetnik je da je upravljanje rizikom iterativno. Sastavnica koja je u siječnju bila uska može se u kolovozu naći unutar drukčije odluke. Obveza prati promijenjeni odnos, a ne datum na prvom projektnom dokumentu.

Peta je kontrola izlaz. Može li organizacija pauzirati sastavnicu, vratiti se na ljudski put, izvesti zapise, objasniti povijest odluka i zamijeniti dobavljača, a da pritom ne izgubi dokaze potrebne za ispravak slučajeva. Izlaz nije luksuz za velike sustave. Mali model može postati jedina točka institucionalnog pamćenja ako nitko ne čuva izvor, verziju i put odluke oko njega.

Razmjerna datoteka dokaza

Razmjerna datoteka dokaza nije skladište svake misli koju je itko imao o modelu. Ona je čitljiv odgovor na pitanja koja recenzent, operater, pogođena osoba ili regulator mogu opravdano postaviti. Koja je bila namjena. Koja je verzija radila. Koje je podatke primila. Što je vratila. Koje je pravilo ili prag pretvorilo taj izlaz u radnju. Tko je imao ovlast promijeniti rezultat. Što se dogodilo kada su dokazi nedostajali. Kako se odluka može ponoviti ili osporiti.

Za prijedlog niskih posljedica datoteka može biti mala. Može sadržavati namjenu, izvor, verziju, osnovnu evaluaciju, vlasnika, pravilo čuvanja i poveznicu na put ispravka. Za sustav koji utječe na pristup, sigurnost, zapošljavanje ili prava, datoteka mora biti opsežnija. Treba povezati analizu rizika s podacima i izlaznim ugovorom, pokazati kako ljudski nadzor funkcionira u praksi, dokumentirati poznata ograničenja i zadržati dovoljno operativne povijesti za istragu spornog rezultata. Razmjernost raste s posljedicama, a ne s brojem parametara.

Testiranje treba slijediti istu logiku. Jedan podatak o točnosti ne može opisati prikladnost sustava za svaki kontekst. Testirajte dijelove podataka i uvjete koji su važni za namjenu. Uključite nedostajuće i sukobljene ulaze. Uključite slučajeve u kojima je odbijanje ispravno. Provjerite koriste li različiti timovi izlaz modela na različite načine. Zabilježite što je izmjereno, pod kojim uvjetima i što ostaje nepoznato. Model koji dobro radi na čistom testnom skupu i dalje može biti loše smješten u neurednoj instituciji.

Praćenje nije ukras na nadzornoj ploči. To je način na koji organizacija saznaje da se stvarni tijek rada promijenio. Pazite na pomake u ulaznim podacima, stope neslaganja, stope odbijanja, promjene u ljudskim nadjačavanjima, nove nizvodne namjene te pritužbe i zahtjeve za ispravkom. Točni signali ovise o sustavu. Načelo je stabilno: dokazi trebaju uključivati odnos koji stvara obvezu, a ne samo unutarnju ocjenu modela.

Dobri dokazi imaju i datum isteka, čak i kada se zapisi čuvaju dulje. Pravno tumačenje može se promijeniti. Usluga može dosegnuti novu populaciju. Dobavljač može ažurirati model. Put koji je bio reverzibilan može se ugraditi u drugi sustav. Označite što je procijenjeno, kada, tko je procijenio i prema kojoj namjeni. Zapis tada postaje povijest odluka, a ne statična potvrda koja nadživi uvjete koji su je činili smislenom.

Načini na koje mali modeli podbacuju

Mali sustavi otkazuju na prepoznatljive načine. Klasifikator može promašiti kategoriju jer je definicija oznake dvosmislena. Ekstraktor može vratiti uvjerljivo polje iz pogrešne rečenice. Model za rangiranje može preferirati poznate slučajeve i sakriti neuobičajene. Prag može pretvoriti kontinuiranu nesigurnost u lažnu binarnost. Lokalni model može pouzdano raditi dok su izvorni podaci zastarjeli. Nijedan od tih otkaza nije sam po sebi katastrofalan. Svaki postaje važan kada tijek rada tretira izlaz kao autoritativniji nego što ugovor komponente dopušta.

Prvi način otkaza je lažna skromnost. Tim kaže da model samo označava, sortira ili pomaže, a zatim osmišljava tijek rada tako da se osoblje rijetko ne slaže. Oznaka postaje odluka iz navike. To nije mana u broju parametara modela. To je mana u postupanju institucije s autoritetom. Lijek je učiniti primopredaju vidljivom, mjeriti nadjačavanja i neslaganja te dati ljudima praktičan put da promijene rezultat.

Drugi je skrivena kompozicija. Mali model može stajati uz pretraživanje, pravila, red čekanja, rangiranje i uslugu obavijesti. Svaka komponenta izgleda ograničeno. Zajedno mogu stvoriti snažan put odlučivanja. Pregled rizika trebao bi pratiti put od početka do kraja. Koji izvor prvi ulazi. Koja transformacija uklanja kontekst. Koja oznaka pokreće radnju. Koji zapis preživljava. Koja osoba može zaustaviti lanac. Osiguranje na razini komponente nužno je, ali to nije pogled na sustav.

Treći je zastarjela obveza. Model ostaje nepromijenjen dok se njegova svrha ili publika mijenja. Tim dodaje novi izvor podataka, šalje izlaz drugom odjelu ili počinje koristiti privatni alat za prioritizaciju u tijeku rada okrenutom javnosti. Kartica modela ostaje ista, pa svi pretpostavljaju da je rizik isti. Nije. Namjeravana svrha se pomaknula, a datoteka s dokazima trebala bi se pomaknuti s njom.

Četvrti je oreol malog modela. Nizak račun za resurse ili uredna lokalna implementacija čine da se sustav čini odgovornijim nego što jest. Organizacija i dalje može propustiti objasniti rezultat, sačuvati ulaz, osigurati ispravak ili imenovati osobu s ovlastima. Tehnička učinkovitost je dobrodošla. Ona nije zamjena za institucionalnu kontrolu. Sustav može biti jeftin za pokretanje, a skup za obranu.

Peti je nedostatak izlaza. Male komponente lako je dodati, a teško ukloniti kada postanu utkane u užurbani proces. Zamjena mijenja kategorije, pragove ili zapise koje nizvodni timovi očekuju. Ako nitko nije uvježbao prelazak, sustav postaje ljepljiv. Model može biti mali, ali migracija je sada javni problem. Prenosivost pripada prvom razgovoru o dizajnu, ne posljednjem sastanku o nabavi.

Kada je mali ispravan inženjerski izbor

Ništa od ovoga ne bi se trebalo pretvoriti u kampanju protiv malih modela. Mali može biti upravo ispravan. Uzak zadatak s jasnim ugovorom možda ne treba model opće namjene. Lokalna komponenta može zadržati osjetljive ulaze bliže ljudima odgovornima za njih. Fiksni izlaz može olakšati validaciju i praćenje. Model koji odbija izvan svojeg opsega može biti sigurniji za sastavljanje od onoga koji na svako pitanje odgovara s uglađenim samopouzdanjem.

Inženjerski argument najjači je kada tim može imenovati što komponenta neće raditi. Klasificirat će samo odobrene kategorije. Čitat će samo deklarirana polja. Vratit će nedovoljno dokaza kada nedostaje obavezno polje. Neće pozvati alat. Neće donijeti konačnu odluku. Nositi će verziju i zapis o evaluaciji. Bit će zamjenjiva jer su sučelje i ugovor o dokazima dokumentirani. Ta ograničenja ne čine sustav djetinjastim. Čine njegove odgovornosti čitljivima.

Male komponente također mogu podržati bolju podjelu rada. Širok model može protumačiti neuredan jezik ili sastaviti objašnjenje razumljivo ljudima. Stroga komponenta može izdvojiti polje, primijeniti pravilo pristupa, rangirati utvrđeni skup izvora ili provjeriti zadovoljava li izlaz poznati oblik. Pravilni mehanizam ili rješavač može preuzeti dio koji mora biti točan. Osoba može preuzeti prosudbu koju se ne može sigurno svesti. Nije bitna čistoća. Bitno je da svaki dio ima ograničen zadatak i da sustav bilježi kako su zadaci povezani.

U ovom je rasporedu prisutna europska praktičnost. Institucije rijetko mogu odjednom zamijeniti sve. Trebaju sustave koji mogu raditi u uvjetima hardvera, prava, jezika i nabave koje zapravo imaju. Manje komponente ponekad se mogu postaviti bliže poslu, vrednovati na temelju lokalnih dokaza i zamijeniti bez potrebe da cijela organizacija mijenja svoje pamćenje. To je očekivanje, a ne tvrdnja o svakom malom modelu. Za primjenu i dalje treba dokaz da je pristup stvarno prikladan.

Malost je korisna i kao disciplina. Kada tim ne može riješiti problem dodavanjem općenitijih mogućnosti, mora odlučiti koje su informacije važne, koja se neizvjesnost može izložiti i koji slučajevi zahtijevaju osobu. Taj dizajnerski rad može otkriti da model nije ni potreban. Ponekad je prava komponenta ograničenje baze podataka, indeks pretraživanja, potpisani zapis ili dobro napisan obrazac. Manji model može nositi veliku odgovornost. I nešto što nije model može je nositi.

Kada se malost koristi kao kamuflaža

Malost postaje kamuflaža kada se nudi kao odgovor prije nego što je itko opisao pitanje. U predstavljanju se može reći da je komponenta lagana, lokalna, privatna, učinkovita ili otvorena. Sve to mogu biti korisne činjenice. One ne govore pogođenoj osobi može li se sustav osporiti, ni operateru može li se rezultat poništiti, ni regulatoru je li organizacija razumjela svoju svrhu.

Kamuflaža se često pojavljuje u jeziku nabave. Kupcu se pokažu veličina modela, podatak o latenciji i trošak zaključivanja. Ugovor kaže da dobavljač pruža alat za potporu odlučivanju. Nitko ne zapisuje o kojim se odlukama radi, čiji su podaci, koje populacije, koji ljudski put ili koje promjene pokreću pregled. Kasnije unutarnji tim otkrije da je alat postao vrata jer su red čekanja, rok ili nadzorna ploča učinili preporuku zgodnom za poslušnost. Model je bio malen. Upravljanje je bilo manje.

Druga je kamuflaža izraz čovjek u petlji. Osoba tehnički može dotaknuti svaki slučaj, a da pritom nema smisleno vrijeme, informacije ili ovlasti. Petlja tada funkcionira kao ritual odobravanja. Mali model to može učiniti posebno primamljivim jer izlaz izgleda jednostavno. Stignu tri kategorije, osoba klikne jednu i organizacija rezultat nazove pregledanim. Pregled zahtijeva sposobnost razumijevanja, osporavanja i mijenjanja ishoda. Klik sam po sebi nije zaštita.

Treća je kamuflaža tvrdnja da lokalno znači suvereno. Lokalna obrada može pomoći kod smještaja podataka, latencije i operativne kontrole, ali suverenost se također odnosi na to tko može mijenjati softver, držati ključeve, pristupati zapisima i održavati uslugu u radu kada dobavljač ili mreža nisu dostupni. Mali model u uređaju može biti lokalan, dok njegova ažuriranja, vrednovanje i ovlasti ostaju negdje drugdje. Lokacija je činjenica na karti. Kontrola je činjenica u odnosu.

Protulijek nije veći oblik. On je oštriji. Pitajte o svrsi. Pitajte što se mijenja zbog izlaza. Pitajte tko se može usprotiviti. Pitajte što pogođena osoba može učiniti. Pitajte koji se dokazi čuvaju. Pitajte kako se sustav zaustavlja, zamjenjuje i ponovno vrednuje. Ako su odgovori jasni, veličina modela može se vratiti na svoje pravo mjesto kao jedan od mnogih inženjerskih izbora.

Pitanja kupca

Prije nego što mali model uđe u radni tijek s posljedicama, kupac bi trebao moći odgovoriti na niz jednostavnih pitanja. Koja je namjena u jednoj rečenici. Što je izvan opsega. Na koje osobe može utjecati, izravno ili putem naknadne radnje. Koji su podaci potrebni, a koji zabranjeni. Što svaki izlaz dopušta organizaciji da učini. Što joj ne dopušta da učini.

Zatim pitajte o ovlastima. Tko je vlasnik odluke. Tko može nadjačati model. Tko može zaustaviti radni tijek. Koje informacije ta osoba vidi. Koliko vremena ima. Što se događa kada se ne složi. Je li pogođena osoba dovoljno obaviještena da zatraži preispitivanje. Može li organizacija ispraviti ulaz kao i izlaz. Ova pitanja nisu optužba protiv dobavljača. Ona su minimalni opis institucije koja kupuje alat.

Pitajte o dokazima. Koja je verzija bila pokrenuta. Koja je konfiguracija modela i pravila bila aktivna. Koji su izvori bili dostupni. Koji je prag ili pravilo pretvorilo izlaz u sljedeću radnju. Što se bilježi kada čovjek promijeni rezultat. Može li organizacija ponoviti slučaj bez pretvaranja da je novo pokretanje staro. Može li izvesti zapise u obliku koji drugi sustav može čitati. Odgovor ne mora biti velika platforma. Mora biti stvaran zapis.

Pitajte o promjenama. Što se smatra ažuriranjem modela. Što se smatra novim izvorom podataka. Što se događa kada se namjena promijeni. Koje promjene zahtijevaju novu procjenu. Tko se obavještava. Kako su pogođene osobe zaštićene tijekom vraćanja ili migracije. Ako dobavljač ne može odgovoriti, kupac ne kupuje mali rizik. Kupac prihvaća mali opis velike nepoznanice.

Na kraju pitajte o izlasku. Može li se radni tijek sigurno izvoditi bez modela. Može li organizacija dohvatiti ulaze, izlaze, odluke i povijest ispravaka. Može li druga komponenta zadovoljiti isto sučelje bez nove ovisnosti. Može li se sustav povući bez ostavljanja ljudi u neizvjesnosti. Model nije uistinu mali ako njegovo uklanjanje zahtijeva od institucije da zaboravi kako je donosila odluke.

Kratka napomena s naše strane

U Dweveu, Loom je jedan od primjera dizajnerskog stava koji donosimo na ovo pitanje. Njegov javni opis proizvoda predstavlja male jezične komponente kao prikazivače oko tipiziranog grafa zaključivanja, s tragovima, ponovnim izvođenjem i izričitim granicama odbijanja. To je izjava o našoj arhitekturi i načinu na koji želimo da odgovornost komponente bude vidljiva. To nije neovisni dokaz, regulatorna klasifikacija, implementacija kod kupca ni obećanje da je mala komponenta automatski prikladna za upotrebu s posljedicama.

Korisni dio primjera je granica. Komponenta može biti mala i i dalje zasluživati precizan ugovor. Može se smjestiti u veći graf bez da postane vlasnik svake odluke. Može nositi trag bez tvrdnje da trag dokazuje da je cijela institucija postupala zakonito. Loom ovdje spominjemo samo kako bismo pokazali da naš vlastiti rad nastoji odvojiti sposobnost modela, svrhu sustava, dokaze i ljudske ovlasti. Europsko pitanje ostaje isto za nas kao i za sve druge: što ovaj sustav može promijeniti i mogu li odgovorne osobe i dalje pregledavati i ispravljati ga?

Obvezu nosi odnos

Mali model može biti lakše pokrenuti, lakše testirati i lakše zamijeniti. To su dobri razlozi za odabir. Oni nisu razlog za smanjivanje okolne dužnosti pažnje. Definicije i pravila rizika iz Akta o umjetnoj inteligenciji, smjernice Komisije o GPAI, pristup EDPB-a podacima od slučaja do slučaja i nizozemska presuda SyRI svi upućuju u istom praktičnom smjeru bez pretvaranja u jedinstveni pravni test: gledajte svrhu, kontekst, ovlasti, dokaze, pogođene osobe i mogućnost pravne zaštite.

Pravo pitanje stoga nije je li model malen. Pitanje je što model smije mijenjati. Ako samo pomaže osobi pretraživati vlastite bilješke, odgovor može biti skroman. Ako mijenja tko prima pozornost, koji se zapis smatra pouzdanim ili hoće li javna služba otvoriti vrata, odgovor je veći. Ako organizacija ne može objasniti primopredaju, sačuvati dokaze ili nekome dati put za osporavanje rezultata, obveza je već prerasla komponentu.

Dobro upravljanje ostavlja prostora za proporcionalnost. Ne zahtijeva da svaki model postane odbor. Od tima traži da učini važne odnose vidljivima, da tvrdnje drži povezanima s dokazima i da ljudima da stvarni autoritet kada je sustav nesiguran ili pogrešan. Mali modeli mogu pomoći u tom radu jer se ograničena komponenta može imenovati i testirati. No ograničenost je dizajnersko postignuće, a ne zadano svojstvo malenosti.

Veličina pripada inženjerskom zapisu. Svrha pripada zapisu sustava. Posljedica pripada ljudskom zapisu. Kada tim trima zapisima dopustimo da razgovaraju jedan s drugim, mali se model može koristiti oprezno, a da se ne tretira kao bezopasan. Kada su odvojeni, skromnost modela postaje kazalište, a ljudi koji snose posljedicu plaćaju za nedostajući kontekst.

Izvori