En lille model kan bære et stort ansvar

Modelstørrelse er en teknisk egenskab. Forpligtelsen følger af formålet, konteksten, dataene, autoriteten og menneskerne omkring systemet.

En lille model kan bære et stort ansvar

Loven spørger ikke om, hvor stor den er

Åbn EU's forordning om kunstig intelligens, og du møder ikke en modeltæller. Der er ingen første side, hvor en maskine vejes, måles og placeres i en pæn juridisk skuffe. Forordningen starter med et system: et maskinbaseret system, der opererer med varierende grader af autonomi, kan tilpasse sig efter udrulning og udleder af input, hvordan det skal generere forudsigelser, indhold, anbefalinger eller beslutninger, der kan påvirke et fysisk eller virtuelt miljø. Definitionen handler om, hvad systemet gør, og hvad dets output kan ændre.

Det er et nyttigt sted at begynde, fordi teknologisamtalen bliver ved med at forsøge at lade størrelse gøre arbejdet for kontekst. En mindre model virker beskeden. Den kan måske køre på almindelig hardware, besvare ét snævert spørgsmål eller returnere en etiket i stedet for et afsnit. Det kan være værdifulde tekniske egenskaber. De kan reducere det areal, der skal testes, mindske en udrulnings ressourcebehov eller gøre en komponent lettere at udskifte. Ingen af dem fortæller os, om et menneske kan miste en rettighed, en service, et job eller en sikker rute på grund af etiketten.

Forpligtelsen opstår i forholdet mellem et system og verden omkring det. Hvem bruger outputtet. Hvilken beslutning følger efter. Hvilke data kommer ind på stien. Hvor meget autoritet har systemet. Kan et menneske udfordre resultatet. Kan nogen omgøre det, før skaden bliver varig. Er den berørte person afhængig af resultatet, måske fordi der ikke er noget praktisk alternativ. En model kan være teknisk lille og institutionelt stor. Det er denne artikels argument, og ordet institutionelt bærer hovedvægten.

Dette er ikke et argument for at behandle enhver klassifikator som en offentlig nødsituation. Det er et argument for proportionalitet. Proportionalitet betyder ikke, at små systemer får et ceremonielt smil og ingen spørgsmål. Det betyder, at spørgsmålene følger den faktiske konsekvens. En model, der bruges til at sortere en privat samling af noter, og en model, der bruges til at afgøre, hvem der skal underlægges kontrol, kan ligne hinanden i et repository. De ligner ikke hinanden i verden.

Modelstørrelse beskriver en komponent. Formål, berørte personer og kontrol afgør, hvilken forpligtelse den komponent bærer.

Lille er en måling, ikke en kontekst

Lille kan betyde flere forskellige ting, og betydningerne bliver ofte stille og roligt byttet rundt. Det kan betyde færre parametre, et mindre hukommelsesforbrug, mindre træningsberegning, et begrænset ordforråd, et snævert outputschema eller et kort inputvindue. Det kan betyde, at en model kører på en enhed frem for gennem en ekstern tjeneste. Det kan også betyde, at et team har givet modellen en snæver opgave. Det er ikke den samme påstand. Et lille antal parametre indebærer ikke en lille samfundsmæssig rolle, ligesom et stort antal parametre ikke fortæller dig, hvor systemet har lov til at handle.

Der er en anden forvirring. Folk bruger lille til at betyde lokal, og lokal til at betyde harmløs. Lokal implementering kan forbedre kontrollen over dataflytning, tilgængelighed eller operationelt ejerskab. Det kan også placere en beslutning direkte på en arbejdsplads, ved en offentlig skranke, i en medicinsk arbejdsgang eller i en enhed, som en person ikke nemt kan forlade. Fysisk nærhed kan reducere én form for afhængighed, mens den øger betydningen af de mennesker, der driver systemet. En server i samme bygning er ikke en moralsk kategori.

Så er der lille som et løfte om kapacitet. En komponent kan være trænet til én opgave og stadig påvirke en større proces. Den kan kun returnere godkend, gennemgå eller afvis. Den efterfølgende arbejdsgang kan behandle de tre ord som en port. Komponenten behøver ikke at skrive et essay for at træffe en meningsfuld beslutning. Den skal blot placeres, hvor det næste system eller den næste person ikke nemt kan stille spørgsmålstegn ved den.

For styring er den nyttige enhed derfor ikke modellen alene. Det er modellen som implementeret, med et formål, en operatør, en inputgrænse, en outputkontrakt, en efterfølgende handling og en vej til korrektion. Det er mindre ryddeligt end en leaderboard. Det er også tættere på virkeligheden. Leaderboardet kan fortælle dig, hvordan en model klarede sig på en opgave. Det kan ikke fortælle dig, om opgaven var tilladt, om de berørte mennesker kunne gøre indsigelse, eller om organisationen havde autoritet til at bruge resultatet.

Europa-Kommissionens sprog om generel kunstig intelligens illustrerer stille og roligt denne sondring. Kommissionen giver tekniske kriterier til at hjælpe med at identificere, hvornår en model kan falde ind under GPAI-forpligtelserne, men den siger også, at kriterierne er vejledende, og at en vurdering fra sag til sag stadig er nødvendig. Retningslinjen lader ikke som om, at ét tal kan beskrive enhver rolle, en model kan spille. Den forsøger at gøre ét klassifikationsspørgsmål håndterbart uden at gøre det til en universel teori om skade.

Tærsklen er ikke dommen

Der er tal i AI-forordningen, hvilket er en af grundene til, at folk griber til tal, når de vil have sikkerhed. Artikel 51 skaber en formodning om højindvirkningskapaciteter for en generel AI-model, der er trænet med en kumulativ mængde beregning større end 1025 flydende komma-operationer. Den formodning tilhører klassificeringen af GPAI-modeller med systemisk risiko. Det er ikke en regel om, at en model under tærsklen er sikker, og heller ikke en regel om, at hver model over den forårsager samme skade.

Kommissionens GPAI-vejledning bruger en anden vejledende tærskel, over 1023 flydende komma-operationer sammen med bred generativ kapacitet, til at hjælpe med at identificere modeller, der kan være generelle. Siden er eksplicit om begrænsningerne. En model under indikatoren kan stadig kvalificere sig, hvis den udviser betydelig generalitet. En model, der opfylder den, kan undtagelsesvis ikke kvalificere sig, hvis den mangler den relevante generalitet. Vejledningen er en fortolkning til et bestemt juridisk spørgsmål, ikke en tilladelse til enhver efterfølgende brug.

Disse to tærskler er netop nyttige, fordi de er snævre. De hjælper myndigheder og udbydere med at sortere en bestemt klasse af modelforpligtelser. De afgør ikke, om en lille model indlejret i et højrisikosystem fortjener omhu. De afgør ikke, om databehandling er lovlig. De afgør ikke, om en person kan anfægte en afgørelse. En tærskel kan fastslå, at et spørgsmål bør stilles. Den kan ikke besvare det spørgsmål, der hører til et andet lag.

Tekniske tærskler ældes også. Forordningen siger, at Kommissionen kan justere tærsklen for systemiske risici i lyset af den teknologiske udvikling, herunder algoritmiske forbedringer og hardwareeffektivitet. Kommissionens vejledning siger, at dens eget kriterium ikke er absolut. Det er en fornuftig indrømmelse. Et tal, der ser stabilt ud i et indkøbsregneark, kan flytte sig, når den omkringliggende teknologi ændrer sig. Den ansvarlige reaktion er ikke at mistro ethvert tal. Det er at holde tallet knyttet til det spørgsmål, det var designet til at besvare.

Der er en praktisk lektion for teams, der udgiver modelkort eller interne arkitekturnotater. Angiv tærsklen, enheden, den juridiske bestemmelse og grænsen. Sig, om et tal er en juridisk formodning, en Kommissionsindikator, en benchmarkbetingelse eller et internt designtarget. Lad ikke én metrik få en større betydning, fordi det er bekvemt i en præsentation. En lille metrik kan også bære en stor forpligtelse. Tallet har brug for sin egen oprindelse.

Et system er mere end modellen indeni

AI-forordningen gør systemgrænsen synlig. Den definerer udbydere og anvendere, adskiller modeller fra systemer og tildeler pligter langs en værdikæde. En udbyder kan være den person eller organisation, der udvikler et system eller får det udviklet og bringer det i omsætning eller tager det i brug under eget navn. En anvender er den person eller organisation, der bruger et system under sin myndighed. Disse roller betyder noget, fordi den samme underliggende komponent kan indgå i forskellige arrangementer med forskellige ansvarsområder.

Forestil dig en kompakt tekstklassifikator, der returnerer én af fire kategorier. Modellen har ingen brugergrænseflade, ingen hukommelse og ingen evne til at kalde et værktøj. I én sammenhæng sorterer den et teams egne dokumenter i mapper. I en anden mærker den ansøgninger til en offentlig tjeneste, så nogle personer sendes til yderligere granskning. Komponenten kan være teknisk identisk. Det andet system har et andet formål, andre berørte personer, et andet magtforhold og et andet behov for forklaring og klageadgang.

Forordningens regler for klassificering af høj risiko følger den slags forskel. De ser på, om et system er en sikkerhedskomponent, om det anvendes på et område, der er opført i bilag III, og om det udgør en væsentlig risiko for sundhed, sikkerhed eller grundlæggende rettigheder. Vejen via de opførte anvendelser er ikke en vurdering af modellens elegance. Det er en vurdering af, hvad systemet gør i en sammenhæng, hvor et forkert output kan have betydning. En snæver proceduremæssig opgave kan falde ind under en omhyggeligt formuleret undtagelse, hvor den ikke i væsentlig grad påvirker en afgørelse, men udbyderen skal dokumentere den vurdering.

Dette dokumentationskrav er let at undervurdere. Et team, der siger, at systemet kun er forberedende, har fremsat en påstand om kausalitet. Det siger, at outputtet ikke i væsentlig grad påvirker den afgørelse, der følger. Hvis sagsbehandleren behandler mærkningen som en grund til at åbne en sag, hvis personalet følger en rangering, eller hvis en ansøger ikke har nogen meningsfuld måde at rette de data, der ligger bag flaget, kan den praktiske indflydelse være større, end grænsefladen antyder. Ordet forberedende kan ikke tillades at betyde usynlig.

Systemgrænserne omfatter også det kedelige maskineri omkring en model: datakilden, tærsklen, køen, den person, der modtager resultatet, den registrering, der overlever, leverandørkontrakten, opdateringsprocessen og ruten til at stoppe arbejdsgangen. En lille model kan være det synlige objekt, mens den reelle risiko ligger i overdragelsen. Derfor er en risikovurdering, der kun spørger om, hvad modellen forudsiger, ufuldstændig. Det sværere spørgsmål er, hvad organisationen gør, fordi den fik en forudsigelse.

Formålet ændrer betydningen af samme output

Et output har ingen forpligtelse i et vakuum. Den samme sandsynlighed, kategori eller anbefaling kan være harmløs i én opgave og konsekvensrig i en anden. Det skyldes ikke, at ord ændrer deres ordbogsbetydning. Det skyldes, at et output indgår i en beslutningsstruktur. En rangering, der bruges til at vælge, hvilke forskningsnotater man læser først, er ikke det samme som en rangering, der bruges til at afgøre, hvilken husstand der får en svindelundersøgelse. Maskinen kan bruge den samme matematik. Institutionen har ikke det samme forhold til menneskerne i den anden ende.

Artikel 7 i AI-forordningen opregner de kriterier, som Kommissionen skal overveje, når den tilføjer eller ændrer højrisikoanvendelser. De omfatter tilsigtet formål, hvor udbredt systemet er eller sandsynligvis vil blive, arten og mængden af data, autonomi og muligheden for menneskelig indgriben, omfanget og intensiteten af mulig skade, afhængighed af resultatet, magtubalance, sårbarhed, reversibilitet, fordele og adgang til klageadgang. Læst sammen udgør disse kriterier en nyttig imødegåelse af tænkning i modellens størrelse. De beskriver et forhold, ikke en vægtfil.

Komponenten forbliver lille, mens det omgivende formål, magt, afhængighed og reversibilitet ændrer kontrolspørgsmålet.

Afhængighed er særlig vigtig. En person kan nogle gange se bort fra en anbefaling, søge en anden service eller bede en kollega om at kontrollere svaret. En person kan også stå uden reelle alternativer. Hvis et automatisk screeningstrin afgør, om en service forsinkes, om en ansøgning får opmærksomhed, eller om en medarbejder kaldes ind til et møde, kan den berørte person være nødt til at leve med systemets første fortolkning, mens organisationen beslutter, om den vil se nærmere på sagen. Jo mindre den synlige beslutning er, jo lettere kan det være at overse den underliggende afhængighed.

Reversibilitet betyder noget af samme grund. En tastefejl i et internt tag kan rettes, før nogen stoler på det. Et risikomarkør kan ændre rækkefølgen, som en sag behandles i, og forsinkelsen kan i sig selv få konsekvenser. Et afslag kan føre til en overskredet frist. En rangering kan blive den eneste rangering, et travlt team ser. Det faktum, at en administrator teknisk set kan redigere en database, beviser ikke, at det sociale resultat er let at vende om. Teknisk reversibilitet og oplevet reversibilitet er beslægtede, men de er ikke identiske.

Det er her, proportionalitet får substans. Et internt forslag med lav påvirkning kan have brug for en let registrering og en klar ejer. Et system, der påvirker adgangen til en offentlig service, har brug for en stærkere evidenssti, en informeret menneskelig vej og en måde at udfordre input og output på. Proportionelle kontroller er ikke fraværet af kontroller. De er kontroller valgt, fordi relationen fortjener dem.

Data beholder sine forpligtelser

Modelstørrelse gør ikke data anonyme ved atmosfære. Det Europæiske Databeskyttelsesråds udtalelse 28/2024 siger, at det skal vurderes fra sag til sag, om en AI-model kan betragtes som anonym. Testen i EDBP's offentlige resumé spørger, om det er meget usandsynligt, at modellen direkte eller indirekte kan identificere de personer, hvis data blev brugt til at skabe den, og om det er meget usandsynligt, at deres personoplysninger kan udtrækkes gennem forespørgsler. En mindre model kan indeholde mindre information, men mindre er ikke en juridisk konklusion.

EDPB holder også konteksten omkring legitim interesse for øje. Dens analyse peger på nødvendighed og afvejning og lister forholdet mellem personer og den dataansvarlige, serviceartens karakter, den kontekst, hvor data blev indsamlet, kilden, mulige videre anvendelser og hvad folk med rimelighed kunne forvente. Disse faktorer forsvinder ikke, når en model komprimeres, destilleres, kvantiseres eller placeres bag et pænt API. Kompression ændrer et teknisk objekt. Det omskriver ikke historien om, hvorfor data blev indsamlet, eller hvad folk fik at vide.

Der er en nyttig disciplin i at læse den udtalelse sammen med modelengineering. Spørg, hvad modellen blev trænet eller tilpasset til at gøre, hvilke data den modtager ved kørsel, hvilke registreringer der bevares, og hvem der kan forespørge på den. Spørg derefter, hvad der sker nedstrøms. Kopieres outputtet ind i en sagsmappe. Bliver en rangering til en instruks. Ser en menneskelig reviewer kildematerialet eller kun modellens etiket. Er der en vej for den berørte person til at rette en faktuel fejl. Disse er data- og forvaltningsspørgsmål, ikke blot spørgsmål om nøjagtighed.

EDPB's offentlige resumé bemærker også, at brugen af ulovligt behandlede personoplysninger i udviklingen af en model kan påvirke lovligheden af udrulningen, medmindre modellen er behørigt anonymiseret. Den sætning modstår en velkendt flugtvej. Et team kan ikke få et problem til at forsvinde ved at sige, at den endelige model er lille, at dataene ikke længere er synlige, eller at modellen kun er én komponent. Dataenes juridiske og etiske historie forbliver en del af systemets fortælling.

For ingeniører betyder det, at træningsregistret og udrulningsregistret ikke skal behandles som separate universer. For indkøb betyder det, at en leverandørs udsagn om modelstørrelse ikke er en erstatning for dataoprindelse, formål, opbevaring, håndtering af rettigheder eller nedstrøms dokumentation. For en berørt person betyder det, at det nyttige spørgsmål ikke er, hvor mange parametre der var involveret. Det er, hvad der skete med deres oplysninger, og hvad organisationen kan gøre, når resultatet er forkert.

Et lille signal kan flytte en stor kø

Forestil dig en serviceafdeling, der modtager henvendelser fra borgere. En kompakt klassifikator læser den første besked og tildeler en rute: information, rutinearbejde, akut gennemgang eller specialisthåndtering. Eksemplet er bevidst almindeligt og udelukkende illustrativt. Der er ikke tale om en navngiven kommune, en reel implementering, et tidsstempel eller en påstand om, at dette er sket. Pointen er at gøre grænsen synlig.

Hvis kategorierne kun hjælper en medarbejder med at organisere et privat sæt noter, kan risikoen være beskeden. Hvis den akutte rute afgør, hvem der modtager en sikkerhedsinspektion, ligger outputtet nu tættere på en offentlig beslutning. Hvis et manglende søgeord sender en persons henvendelse til rutinearbejde, kan forsinkelsen have betydning, selvom modellen aldrig taler med borgeren. Hvis medarbejderen kan se den oprindelige besked, ændre ruten, registrere hvorfor og hurtigt svare på en udfordring, har systemet en anden kontrolprofil end et system, hvor etiketten bliver en skjult port.

Modellen er ikke blevet større. Forpligtelsen er blevet tydeligere. Den følger stien fra input til konsekvens. Organisationen skal vide, hvad kategorierne betyder, hvilke beviser modellen må bruge, hvilke sager der kræver afvisning eller eskalering, hvem der kan tilsidesætte ruten, og hvilken registrering der gør det muligt for en senere reviewer at forstå beslutningen. Modellens beskedenhed er ikke en grund til at springe disse spørgsmål over. Det kan være en grund til at besvare dem mere præcist, fordi komponentens kontrakt kan gøres snæver.

Et lignende hypotetisk eksempel optræder i ansættelsessammenhæng. En lille model kunne udtrække kompetencer fra et CV, klassificere en rolle eller markere et manglende certifikat. Udtrækning lyder mindre konsekvensrigt end udvælgelse, men udtrækningen kan forme den rangordning, der følger. Hvis outputtet aldrig bruges til at afgøre, hvem der går videre, kan systemet forblive på den forberedende side af en grænse. Hvis folk behandler den udtrukne etiket som et objektivt resumé og holder op med at se på dokumentet, flytter grænsen sig. Forpligtelsen ligger i brugen, ikke i det verbum, der vælges til modellens jobbeskrivelse.

I begge illustrationer er den rigtige reaktion ikke at gå i panik over en lille model. Det er at gøre overdragelsen eksplicit. Navngiv det tilsigtede formål. Erklær, hvad outputtet kan og ikke kan ændre. Bevar kilden og modelversionen, hvor en beslutning afhænger af dem. Giv en person tilstrækkelig information og autoritet til at være uenig. Test de dele, hvor systemet forventes at være usikkert. Gennemgå arbejdsgangen, når organisationen ændrer data, tærskel, målgruppe eller efterfølgende handling.

Hvad den hollandske SyRI-dom faktisk lærer os

Europa har allerede et dokumenteret eksempel på et kompakt udseende risksystem, der bærer en forpligtelse af rettighedsstørrelse. Den 5. februar 2020 beskrev Retten i Haag SyRI som et lovbestemt statsligt instrument, der bruges til at bekæmpe svindel med ydelser, tilskud og skatter. Retten afgjorde ikke sagen ved at spørge, hvor mange parametre systemet havde. Den vurderede den juridiske ramme mod artikel 8 i den europæiske menneskerettighedskonvention, herunder om indgrebet i privatlivet opnåede en rimelig balance.

Retten konkluderede, at SyRI-lovgivningen ikke bestod denne test. Ifølge retten var brugen af SyRI utilstrækkeligt transparent og kontrollerbar. Den juridiske ramme var derfor uforenelig med højere ret og kunne ikke opretholdes i sin nuværende form. Den offentlige sagsside er kortfattet, men dens lektie er ikke lille: når en stat bruger et risikoindikationssystem mod mennesker, der måske har ringe magt til at forstå eller bestride det, har systemet brug for et niveau af indsigt og kontrol, der matcher det forhold.

SyRI var et hollandsk lovbestemt risikovurderingsinstrument, ikke et casestudie af en moderne neural model, og domssiden giver os ikke et parametertal at diskutere. Det er netop derfor, det hører hjemme her. Eksemplet forhindrer os i at behandle modelarkitektur som det eneste interessante objekt. En regelmotor, et scorecard, en statistisk model eller en lille klassifikator kan alle blive en del af en institutionel beslutning. Rettighedsspørgsmålet opstår gennem brugen.

Dommen placerer også gennemsigtigheden det rigtige sted. Det er ikke blot en anmodning om en forklaring, efter at en person er blevet skadet. Det er en del af betingelserne for, at systemet kan vurderes før og under drift. Hvis folk ikke kan se tilstrækkeligt af formålet, dataanvendelsen, sikkerhedsforanstaltningerne og klagemuligheden til at forstå indgrebet, kan en organisation muligvis ikke dokumentere den rimelige balance, den hævder at have opnået.

Der er ingen grund til at gøre SyRI til en universel analogi. Den hollandske lovgivning, sagens faktiske omstændigheder og den europæiske konvention er specifikke. Den nyttige overførsel er snævrere: spørg ikke, om et system er teknisk imponerende, før du spørger, om dets institutionelle relation er synlig, kontrollerbar og anfægtelig. En mindre maskine undskylder ikke en større tavshed.

Videre brug er der, hvor mærkaten rejser hen

En model kan introduceres som en komponent og stadig blive en del af et system, der bærer en anden forpligtelse. Kommissionens GPAI-vejledning forklarer, hvorfor downstream-udbydere har brug for oplysninger om en models kapaciteter og begrænsninger. De har brug for disse oplysninger for at integrere modellen ansvarligt og for at opfylde deres egne forpligtelser i henhold til AI-forordningen. Modeludbyderen og systemudbyderen skriver ikke det samme dokument, fordi de ikke besvarer det samme spørgsmål.

Denne sondring betyder noget, når teams behandler et modelkort som et pas. Et modelkort kan beskrive arkitektur, træning, evaluering, kendte begrænsninger og tilsigtede anvendelser. Det kan ikke i sig selv beskrive alle miljøer, hvor et downstream-team kan placere modellen. Downstream-systemet tilføjer en bruger, et formål, dataflow, en grænseflade, menneskelige roller, en beslutning og et sæt berørte personer. Disse tilføjelser kan ændre forpligtelsen, selv når modelvægtene forbliver urørte.

Ansvaret kan også ændre sig, når en organisation ændrer det tilsigtede formål eller foretager en væsentlig ændring. AI-forordningens bestemmelser om værdikæden beskriver omstændigheder, hvor en aktør kan påtage sig udbyderansvar, herunder ændring af et AI-systems tilsigtede formål, så det bliver højrisiko. Dette er en nyttig advarsel mod kontraktuel uklarhed. En leverandør kan levere en komponent, men en implementerende part kan ikke få sin egen brug til at forsvinde ved at kalde komponenten et bibliotek.

Den praktiske overdragelse bør derfor indeholde mere end et downloadlink. Den bør angive de tilsigtede opgaver, input- og outputgrænser, integrationskrav, trænings- og valideringsoplysninger, hvor det er relevant, kendte begrænsninger og betingelser, hvorunder komponenten ikke bør bruges. Den bør forklare, hvad modellen ikke evaluerede. Et downstream-team bør ikke skulle udlede fraværet af en garanti fra tilstedeværelsen af et selvsikkert diagram.

Der er en menneskelig grund til dette papirarbejde. Den person, der berøres af det endelige system, møder ikke en modeludbyder i abstrakt forstand. De møder en organisation, der valgte en arbejdsgang. Organisationen skal kunne sige, hvad komponenten gjorde, hvad organisationen gjorde med den, og hvordan en person kan anfægte resultatet. Hvis svarene ligger i tre kontrakter og ingen operationel registrering, er systemet ikke godt integreret. Det er blot godt distribueret.

Den menneskelige vej skal være reel

Menneskeligt tilsyn præsenteres ofte som en person, der sidder foran en skærm. AI-forordningen er mere præcis. For højrisikosystemer skal tilsynet være effektivt og stå i et rimeligt forhold til risiciene, graden af autonomi og brugskonteksten. Den person, der får tilsynsopgaven, skal kunne forstå relevante kapaciteter og begrænsninger, overvåge for uregelmæssigheder, fortolke outputtet, beslutte ikke at bruge det, se bort fra eller tilsidesætte det, omgøre det og gribe ind eller standse systemet sikkert.

Ingen af disse verber er garanteret af en lille model. Et snævert output kan være lettere at fortolke, men fortolkning er ikke det samme som autoritet. En tilsidesættelsesknap, som ingen kan bruge, fordi køen er for lang, er ikke effektivt tilsyn. En gennemgående, der kun ser en farve eller etiket, kan ikke reelt kontrollere kilden. En person, der får skylden for en beslutning, men ikke kan sætte arbejdsgangen på pause, er ikke kontrolpunktet. De er et dekorativt menneskeformet hul i diagrammet.

Proportionelt tilsyn kan være stille. Det kan være en tydelig vej for en medarbejder til at markere utilstrækkelig dokumentation, en ekstra kontrol for en følsom kategori, en registrering af, hvorfor en anbefaling blev afvist, eller en automatisk pause, når obligatoriske felter mangler. Det kan være en person, der ejer beslutningen og har tid til at undersøge de sager, systemet sender videre til dem. Detaljerne afhænger af konteksten. Kravet er, at vejen virker, når systemet er usikkert, forkert, utilgængeligt eller bliver udfordret.

For små modeller kan et struktureret afslag være en fordel. Hvis en klassifikator kan sige manglende kilde, uden for anvendelsesområde eller kræver gennemgang, har organisationen en konkret hændelse at håndtere. Det er bedre end et flydende afsnit, der stille og roligt forvandler usikkerhed til en instruktion. Men afslaget skal stadig have en ejer. Hvis ethvert afslag bliver en blindgyde, har systemet blot flyttet byrden til nogen uden at give dem en vej igennem den.

Den menneskelige vej strækker sig til den berørte person. En person skal ikke have brug for leverandørens terminologi for at bestride et resultat. Organisationen skal vide, hvilke oplysninger der kan forklares, hvad der kan rettes, hvem der gennemgår sagen, og hvad der sker, mens gennemgangen er åben. En lille model kan gøre den interne sporbarhed lettere at beskrive. Det mindsker ikke vigtigheden af personen uden for systemet.

Proportionelle kontroller er stadig kontroller

Proportionel styring begynder med at afvise to dårlige byttehandler. Den første siger, at ethvert system fortjener den samme tunge proces, hvilket gør risikostyring til papirarbejde og i sidste ende lærer teams at skjule arbejde. Den anden siger, at små modeller ikke fortjener nogen seriøs proces, hvilket forveksler en snæver komponent med en harmløs institution. En proportionel tilgang spørger, hvad systemet kan ændre, hvem der kan blive berørt, og hvilken dokumentation der ville gøre det muligt for organisationen at udbedre en fejl.

Den første kontrol er en formålserklæring, som en ikke-specialist kan forstå. Den skal nævne opgaven, de tilsigtede brugere, de berørte personer, de tilladte input, outputtet og de handlinger, systemet ikke kan foretage. Et formål som understøttelse af prioritering er for vagt, hvis det kunne betyde at tilrettelægge en privat kø, beslutte, hvem der modtager en lovbestemt inspektion, eller udvælge kandidater til en disciplinær gennemgang. Sætningen er ikke marketingtekst. Det er grænsen, som senere ændringer kontrolleres op imod.

Den anden kontrol er en grænse for input og dokumentation. Hvilke kilder må systemet læse. Hvilke felter er autoritative. Hvor friske skal de være. Hvad sker der, når en værdi mangler eller er i konflikt med en anden kilde. Kan personoplysninger komme ind i forløbet. Hvilken registrering bevares. En kompakt model kan være streng med input og stadig fejle, hvis den omkringliggende arbejdsgang stille og roligt udvider dataene. Anvendelsesområdet har brug for en ejer, ikke kun et skema.

The third control is an output contract. State the allowed labels, the uncertainty states, the refusal conditions, and the downstream actions for each result. If the system returns a score, say what the score means and what it does not mean. If it returns a ranking, say whether the ranking is a suggestion or a gate. If it returns a category, say who may change it and what record captures the change. A small vocabulary is useful only when the institution agrees not to smuggle extra authority into it.

The fourth control is a change path. Model updates, threshold changes, new data sources, a different user group, a new supplier, or a changed downstream action can alter the system's risk. The AI Act's lifecycle language is a reminder that risk management is iterative. A component that was narrow in January may sit inside a different decision in August. The obligation follows the changed relationship, not the date on the first design document.

The fifth control is an exit. Can the organisation pause the component, fall back to a human route, export the records, explain the decision history, and replace the supplier without losing the evidence needed to repair cases. Exit is not a luxury for large systems. A small model can become a single point of institutional memory if nobody preserves the source, version, and decision path around it.

A proportionate evidence file

A proportionate evidence file is not a warehouse of every thought anyone had about the model. It is a readable answer to the questions a reviewer, operator, affected person, or regulator may reasonably ask. What was the intended purpose. Which version ran. What data did it receive. What did it return. Which rule or threshold turned that output into an action. Who had authority to change the result. What happened when evidence was missing. How can the decision be replayed or challenged.

For a low-consequence suggestion, the file may be small. It might contain the purpose, source, version, basic evaluation, owner, retention rule, and a link to the correction route. For a system that influences access, safety, employment, or rights, the file needs more. It should connect the risk analysis to the data and the output contract, show how human oversight works in practice, document known limitations, and retain enough operational history to investigate a disputed result. Proportion grows with consequence, not with parameter count.

Testing should follow the same logic. A single accuracy figure cannot describe a system's fitness for every context. Test the data slices and conditions that matter to the purpose. Include missing and conflicting inputs. Include cases where refusal is correct. Check whether the model's output is used differently by different teams. Record what was measured, under which conditions, and what remains unknown. A model that performs well on a clean test set can still be badly placed in a messy institution.

Monitoring is not a dashboard ornament. It is how the organisation learns that the real workflow has changed. Watch for shifts in input data, disagreement rates, refusal rates, changes in human overrides, new downstream uses, and complaints or correction requests. The exact signals depend on the system. The principle is stable: the evidence should include the relationship that creates the obligation, not only the model's internal score.

Good evidence also has an expiry date, even when the records are retained longer. A legal interpretation can change. A service can reach a new population. A supplier can update a model. A route that was reversible can become embedded in another system. Mark what was assessed, when, by whom, and against which purpose. The record then becomes a history of decisions rather than a static certificate that outlives the conditions that made it meaningful.

The failure modes of small models

Små systemer fejler på genkendelige måder. En klassifikator kan misse en kategori, fordi definitionen af etiketten er tvetydig. En ekstraktor kan returnere et plausibelt felt fra den forkerte sætning. En rangeringsmodel kan foretrække velkendte tilfælde og skjule usædvanlige. En tærskel kan forvandle en kontinuerlig usikkerhed til en falsk binær. En lokal model kan køre pålideligt, mens kildedataene er forældede. Ingen af disse fejl er automatisk katastrofale. Hver enkelt bliver vigtig, når arbejdsgangen behandler outputtet som mere autoritativt, end komponentens kontrakt tillader.

Den første fejltilstand er falsk beskedenhed. Teamet siger, at modellen kun markerer, sorterer eller assisterer, og designer derefter arbejdsgangen, så personalet sjældent er uenige. Etiketten bliver en beslutning af vane. Dette er ikke en fejl i modellens antal af parametre. Det er en fejl i institutionens håndtering af autoritet. Kuren er at gøre overdragelsen synlig, måle tilsidesættelser og uenigheder og give folk en praktisk vej til at ændre resultatet.

Den anden er skjult komposition. En lille model kan stå sammen med retrieval, regler, en kø, en rangering og en notifikationstjeneste. Hver komponent ser begrænset ud. Sammen kan de skabe en kraftfuld beslutningssti. Risikogennemgangen bør følge stien fra ende til anden. Hvilken kilde kommer ind først. Hvilken transformation fjerner kontekst. Hvilken etiket udløser en handling. Hvilken post overlever. Hvilken person kan stoppe kæden. Sikring på komponentniveau er nødvendig, men det er ikke systemperspektivet.

Den tredje er forældet forpligtelse. En model forbliver uændret, mens dens formål eller publikum ændrer sig. Et team tilføjer en ny datakilde, sender outputtet til en anden afdeling eller begynder at bruge et privat prioriteringsværktøj i en offentlig arbejdsgang. Modelkortet forbliver det samme, så alle antager, at risikoen er den samme. Det er den ikke. Det tilsigtede formål er flyttet, og evidensfilen bør følge med.

Den fjerde er den lille models glorie. En lav ressourceomkostning eller en pæn lokal implementering får systemet til at føles mere ansvarligt, end det er. Organisationen kan stadig undlade at forklare resultatet, bevare inputtet, give mulighed for klage eller tildele en person med autoritet. Teknisk effektivitet er velkommen. Det er ikke en erstatning for institutionel kontrol. Et system kan være billigt at køre og dyrt at forsvare.

Den femte er den manglende udgang. Små komponenter er nemme at tilføje og svære at fjerne, når de bliver vævet ind i en travl proces. En udskiftning ændrer kategorierne, tærsklerne eller posterne, som downstream-teams forventer. Hvis ingen har øvet skiftet, bliver systemet klæbrigt. Modellen kan være lille, men migrationen er nu et offentligt problem. Portabilitet hører til i den første design-samtale, ikke det sidste indkøbsmøde.

Når lille er det rigtige ingeniørvalg

Intet af dette bør blive til en kampagne mod små modeller. Lille kan være præcis rigtigt. En snæver opgave med en klar kontrakt behøver måske ikke en generel model. En lokal komponent kan holde følsomme input tættere på de personer, der er ansvarlige for dem. Et fast output kan gøre validering og overvågning lettere. En model, der afviser uden for sit område, kan være sikrere at komponere end en, der svarer på ethvert spørgsmål med selvsikker elegance.

Ingeniørargumentet er stærkest, når teamet kan navngive, hvad komponenten ikke vil gøre. Den vil kun klassificere de godkendte kategorier. Den vil kun læse de erklærede felter. Den vil returnere utilstrækkelig evidens, når et påkrævet felt mangler. Den vil ikke kalde et værktøj. Den vil ikke træffe den endelige beslutning. Den vil bære en version og en evalueringspost. Den vil være udskiftelig, fordi grænsefladen og evidenskontrakten er dokumenteret. Disse begrænsninger gør ikke systemet barnligt. De gør dets ansvarsområder læselige.

Små komponenter kan også understøtte en bedre arbejdsdeling. En bred model kan fortolke ustruktureret sprog eller udarbejde en læsbar forklaring. En streng komponent kan udtrække et felt, anvende en politikbarriere, rangere et erklæret sæt af kilder eller kontrollere, om et output opfylder en kendt form. En regel- eller løsningsmotor kan håndtere den del, der skal være præcis. Et menneske kan eje den vurdering, der ikke sikkert kan reduceres. Det vigtige er ikke renhed. Det er, at hver del har en afgrænset opgave, og at systemet registrerer, hvordan opgaverne hænger sammen.

Der er en europæisk pragmatik i dette arrangement. Institutioner får sjældent mulighed for at udskifte alt på én gang. De har brug for systemer, der kan køre under de hardware-, juridiske, sproglige og indkøbsmæssige forhold, de faktisk har. Mindre komponenter kan nogle gange implementeres tættere på arbejdet, evalueres mod lokal dokumentation og udskiftes uden at kræve, at en hel organisation ændrer sin hukommelse. Det er en forventning, ikke et krav om hver lille model. Implementeringen kræver stadig bevis for, at tilpasningen er reel.

Småt er også nyttigt som en disciplin. Når et team ikke kan løse et problem ved at tilføje mere generel kapacitet, må det beslutte, hvilke oplysninger der betyder noget, hvilken usikkerhed der kan eksponeres, og hvilke tilfælde der kræver et menneske. Det designarbejde kan afsløre, at en model er unødvendig. Nogle gange er den rigtige komponent en databasebegrænsning, et søgeindeks, en signeret post eller et velskrevet formular. En mindre model kan bære et stort ansvar. En ikke-model kan også bære et.

Når småt bruges som camouflage

Småt bliver camouflage, når det tilbydes som svaret, før nogen har beskrevet spørgsmålet. Præsentationen kan sige, at komponenten er letvægt, lokal, privat, effektiv eller åben. Det kan alle være nyttige fakta. De fortæller ikke en berørt person, om systemet kan udfordres, eller en operatør, om resultatet kan omgøres, eller en tilsynsmyndighed, om organisationen forstod sit formål.

Camouflage optræder ofte i indkøbssprog. En køber får vist en modelstørrelse, et latenstal og en inferensomkostning. Kontrakten siger, at leverandøren leverer et værktøj til beslutningsstøtte. Ingen skriver ned, hvilke beslutninger, hvis data, hvilke befolkningsgrupper, hvilken menneskelig vej eller hvilke ændringer der udløser gennemgang. Senere opdager et internt team, at værktøjet er blevet en barriere, fordi køen, deadline eller dashboardet gjorde anbefalingen bekvem at følge. Modellen var lille. Styringen var mindre.

En anden camouflage er udtrykket human in the loop. En person kan teknisk set røre ved hvert tilfælde uden at have meningsfuld tid, information eller autoritet. Sløjfen fungerer så som et godkendelsesritual. En lille model kan gøre dette særligt fristende, fordi outputtet ser enkelt ud. Tre kategorier ankommer, en person klikker på én, og organisationen kalder resultatet gennemgået. Gennemgang kræver evnen til at forstå, udfordre og ændre resultatet. Et klik er ikke i sig selv en sikkerhedsforanstaltning.

En tredje camouflage er påstanden om, at lokalt betyder suverænt. Lokal behandling kan hjælpe med datalokalitet, latenstid og operationel kontrol, men suverænitet handler også om, hvem der kan ændre softwaren, holde nøglerne, få adgang til registrene og holde tjenesten kørende, når en leverandør eller et netværk er utilgængeligt. Den lille model i en enhed kan være lokal, mens dens opdateringer, evaluering og autoritet forbliver andre steder. Placering er et faktum på kortet. Kontrol er et faktum i relationen.

Modgiften er ikke en større form. Det er en skarpere. Spørg om formålet. Spørg, hvad der ændres på grund af outputtet. Spørg, hvem der kan være uenig. Spørg, hvad den berørte person kan gøre. Spørg, hvilke beviser der bevares. Spørg, hvordan systemet sættes på pause, udskiftes og revurderes. Hvis svarene er klare, kan modellens størrelse vende tilbage til sin rette plads som ét ingeniørvalg blandt mange.

En købers spørgsmål

Før en lille model indgår i en arbejdsgang med væsentlige konsekvenser, bør en køber kunne besvare en række simple spørgsmål. Hvad er det tilsigtede formål i én sætning. Hvad ligger uden for anvendelsesområdet. Hvilke personer kan blive berørt, direkte eller gennem en efterfølgende handling. Hvilke data kræves, og hvilke data er forbudt. Hvad giver hvert output organisationen tilladelse til at gøre. Hvad giver det ikke organisationen tilladelse til at gøre.

Spørg derefter om autoritet. Hvem ejer beslutningen. Hvem kan tilsidesætte modellen. Hvem kan standse arbejdsgangen. Hvilke oplysninger ser denne person. Hvor meget tid har de. Hvad sker der, når de er uenige. Får den berørte person nok oplysninger til at anmode om en gennemgang. Kan organisationen rette både input og output. Disse spørgsmål er ikke en anklage mod leverandøren. De er den mindste beskrivelse af den institution, der køber værktøjet.

Spørg om dokumentation. Hvilken version kørte. Hvilken model- og politik-konfiguration var aktiv. Hvilke kilder var tilgængelige. Hvilken tærskel eller regel gjorde output til den næste handling. Hvad registreres, når et menneske ændrer resultatet. Kan organisationen genskabe en sag uden at lade, som om en ny kørsel er den gamle. Kan den eksportere registreringerne i et format, som et andet system kan læse. Svaret behøver ikke at være en stor platform. Det skal være en reel registrering.

Spørg om ændringer. Hvad tæller som en modelopdatering. Hvad tæller som en ny datakilde. Hvad sker der, når formålet ændres. Hvilke ændringer kræver en ny vurdering. Hvem får besked. Hvordan beskyttes berørte personer under en tilbagerulning eller migrering. Hvis leverandøren ikke kan svare, køber køberen ikke en lille risiko. Køberen accepterer en lille beskrivelse af en stor ukendt størrelse.

Til sidst skal du spørge om udtræden. Kan arbejdsgangen køre sikkert uden modellen. Kan organisationen hente input, output, beslutninger og korrektionshistorik. Kan en anden komponent opfylde samme grænseflade uden en ny afhængighed. Kan systemet trækkes tilbage uden at lade personer blive hængende i uvished. En model er ikke rigtig lille, hvis fjernelse kræver, at institutionen glemmer, hvordan den traf beslutninger.

En kort bemærkning fra os

Hos Dweve er Loom ét eksempel på den designposition, vi bringer til dette spørgsmål. Dens offentlige produktbeskrivelse præsenterer små sprogkomponenter som renderere omkring en typet ræsonneringsgraf med spor, genskabelse og eksplicitte afvisningsgrænser. Det er en udtalelse om vores arkitektur og den måde, vi ønsker, at en komponents ansvar skal være synligt. Det er ikke uafhængig dokumentation, en reguleringsmæssig klassificering, en kundeimplementering eller et løfte om, at en lille komponent automatisk er egnet til en brug med væsentlige konsekvenser.

Den nyttige del af eksemplet er grænsen. En komponent kan være lille og stadig fortjene en præcis kontrakt. Den kan placeres i en større graf uden at blive ejer af enhver beslutning. Den kan bære et spor uden at hævde, at sporet beviser, at hele institutionen handlede lovligt. Vi nævner Loom her kun for at vise, hvordan vores eget arbejde forsøger at holde modelkapacitet, systemformål, dokumentation og menneskelig autoritet adskilt. Det europæiske spørgsmål forbliver det samme for os som for alle andre: hvad kan dette system ændre, og kan de ansvarlige stadig inspicere og rette det?

Forpligtelsen bæres af relationen

En lille model kan være lettere at køre, lettere at teste og lettere at udskifte. Det er gode grunde til at vælge en. De er ikke grunde til at formindske den omkringliggende omsorgspligt. AI-forordningens definitioner og risikoregler, Kommissionens GPAI-vejledning, EDPB's tilgang til data fra sag til sag og den hollandske SyRI-dom peger alle i samme praktiske retning uden at blive én enkelt juridisk test: se på formål, kontekst, autoritet, dokumentation, berørte personer og muligheden for oprejsning.

Det rigtige spørgsmål er derfor ikke, om modellen er lille. Det er, hvad modellen har lov til at ændre. Hvis den kun hjælper en person med at søge i egne noter, kan svaret være beskedent. Hvis den ændrer, hvem der får opmærksomhed, hvilken registrering der stoles på, eller om en offentlig tjeneste åbner en dør, er svaret større. Hvis organisationen ikke kan forklare overdragelsen, bevare dokumentationen eller give nogen en mulighed for at bestride resultatet, er forpligtelsen allerede vokset ud over komponenten.

God styring levner plads til proportionalitet. Den kræver ikke, at enhver model bliver til et udvalg. Den beder teamet om at gøre de vigtige relationer synlige, holde påstande knyttet til dokumentation og give mennesker reel myndighed, når systemet er usikkert eller forkert. Små modeller kan hjælpe med det arbejde, fordi en afgrænset komponent kan navngives og testes. Men afgrænset er en designmæssig præstation, ikke en standardegenskab ved at være lille.

Størrelse hører til i den tekniske dokumentation. Formål hører til i systemdokumentationen. Konsekvens hører til i den menneskelige dokumentation. Når disse tre dokumentationer får lov til at tale sammen, kan en lille model bruges omhyggeligt uden at blive behandlet som harmløs. Når de holdes adskilt, bliver modellens beskedenhed til teater, og de mennesker, der bærer resultatet, betaler for den manglende kontekst.

Kilder