En liten modell kan bära ett stort ansvar

Modellstorlek är en teknisk egenskap. Ansvar följer av syfte, sammanhang, data, auktoritet och människorna kring systemet.

En liten modell kan bära ett stort ansvar

Lagen frågar inte hur stor den är

Öppnar du EU:s förordning om artificiell intelligens möter du ingen modellräknare. Det finns ingen första sida där en maskin vägs, mäts och placeras i en prydlig juridisk låda. Förordningen börjar med ett system: ett maskinbaserat system som fungerar med varierande grad av autonomi, som kan anpassas efter utplacering och som utifrån indata sluter sig till hur det ska generera förutsägelser, innehåll, rekommendationer eller beslut som kan påverka en fysisk eller virtuell miljö. Definitionen handlar om vad systemet gör och vad dess utdata kan förändra.

Det är en bra utgångspunkt, eftersom tekniksamtalet hela tiden försöker låta storleken göra jobbet som sammanhanget borde göra. En mindre modell låter blygsam. Den kan få plats på vanlig hårdvara, svara på en enda avgränsad fråga eller returnera en etikett i stället för ett stycke text. Det kan vara värdefulla tekniska egenskaper. De kan minska den yta som måste testas, sänka en utplacerings resursbehov eller göra en komponent lättare att byta ut. Ingen av dem säger oss om en människa kan förlora en rättighet, en tjänst, ett jobb eller en säker väg på grund av etiketten.

Skyldigheten finns i relationen mellan ett system och världen omkring det. Vem använder utdatan. Vilket beslut följer. Vilka data går in i kedjan. Hur mycket befogenhet har systemet. Kan en människa ifrågasätta resultatet. Kan någon vända det innan skadan blir bestående. Är den berörda personen beroende av utfallet, kanske för att det inte finns något praktiskt alternativ. En modell kan vara tekniskt liten och institutionellt stor. Det är den här artikelns tes, och ordet institutionellt bär hela tyngden.

Det här är inte ett argument för att behandla varje klassificerare som ett allmänt nödläge. Det är ett argument för proportionalitet. Proportionalitet innebär inte att små system får ett ceremoniellt leende och inga frågor. Det innebär att frågorna följer de faktiska konsekvenserna. En modell som används för att sortera en privat samling anteckningar och en modell som används för att avgöra vem som ska granskas kan se likadana ut i ett arkiv. De är inte likadana i världen.

Modellstorlek beskriver en komponent. Syfte, berörda personer och kontroll avgör vilken skyldighet komponenten bär.

Liten är en mätning, inte ett sammanhang

Små kan betyda flera olika saker, och dessa betydelser byts ofta tyst. Det kan betyda färre parametrar, ett mindre minnesavtryck, mindre beräkningskraft för träning, ett begränsat ordförråd, ett snävt utdataschema eller ett kort inmatningsfönster. Det kan betyda att en modell körs på en enhet snarare än via en fjärrtjänst. Det kan också betyda att ett team har gett modellen en snäv uppgift. Dessa är inte samma påstående. Ett litet antal parametrar innebär inte en liten social roll, precis som ett stort antal parametrar inte talar om var systemet får verka.

Det finns en andra förväxling. Människor använder små för att betyda lokala, och lokala för att betyda ofarliga. Lokal driftsättning kan förbättra kontrollen över dataflöden, tillgänglighet eller operativt ägande. Den kan också placera ett beslut direkt i en arbetsplats, en offentlig disk, ett medicinskt arbetsflöde eller en enhet som en person inte lätt kan lämna. Fysisk närhet kan minska en typ av beroende samtidigt som den ökar betydelsen av de människor som driver systemet. En server i samma byggnad är inte en moralisk kategori.

Sedan finns det små som ett löfte om förmåga. En komponent kan vara tränad för en uppgift och ändå påverka en större process. Den kan bara returnera godkänn, granska eller avslå. Det nedströms arbetsflödet kan behandla dessa tre ord som en grind. Komponenten behöver inte skriva en uppsats för att fatta ett meningsfullt beslut. Den behöver bara placeras där nästa system, eller nästa person, inte lätt kan ifrågasätta den.

För styrning är den användbara enheten därför inte modellen ensam. Det är modellen som driftsatt, med ett syfte, en operatör, en inmatningsgräns, ett utdatakontrakt, en nedströms åtgärd och en väg för korrigering. Det är mindre prydligt än en ledartavla. Det är också närmare verkligheten. Ledartavlan kan berätta hur en modell presterade på en uppgift. Den kan inte berätta om den uppgiften var tillåten, om de berörda människorna kunde invända, eller om organisationen hade befogenhet att använda resultatet.

Europeiska kommissionens språk kring allmän artificiell intelligens illustrerar tyst denna åtskillnad. Kommissionen ger tekniska kriterier för att hjälpa till att identifiera när en modell kan omfattas av GPAI-skyldigheterna, men den säger också att kriterierna är vägledande och att en bedömning från fall till fall fortfarande är nödvändig. Riktlinjen låtsas inte att ett enda tal kan beskriva varje roll en modell kan spela. Den försöker göra en klassificeringsfråga hanterbar utan att göra den till en universell teori om skada.

Tröskeln är inte domen

Det finns siffror i AI-förordningen, vilket är en anledning till att människor sträcker sig efter siffror när de vill ha säkerhet. Artikel 51 skapar en presumtion om hög påverkansförmåga för en allmän AI-modell som tränats med en kumulativ mängd beräkningar större än 1025 flyttalsoperationer. Den presumtionen hör till klassificeringen av GPAI-modeller med systemrisk. Det är inte en regel att en modell under tröskeln är säker, inte heller en regel att varje modell över den orsakar samma skada.

Kommissionens GPAI-vägledning använder en annan vägledande tröskel, över 1023 flyttalsoperationer tillsammans med bred generativ förmåga, för att hjälpa till att identifiera modeller som kan vara allmänna. Sidan är tydlig med begränsningarna. En modell under indikatorn kan fortfarande kvalificera sig om den uppvisar betydande generalitet. En modell som uppfyller den kan undantagsvis inte kvalificera sig om den saknar den relevanta generaliteten. Vägledningen är en tolkning för en särskild juridisk fråga, inte ett tillstånd för varje nedströms användning.

Dessa två tröskelvärden är användbara just för att de är snäva. De hjälper myndigheter och leverantörer att sortera en specifik klass av skyldigheter för modeller. De avgör inte om en liten modell som är inbäddad i ett högrisksystem förtjänar omsorg. De avgör inte om databehandling är laglig. De avgör inte om en person kan överklaga ett beslut. Ett tröskelvärde kan fastställa att en fråga bör ställas. Det kan inte besvara den fråga som hör till ett annat lager.

Tekniska tröskelvärden åldras också. Förordningen säger att kommissionen kan justera tröskelvärdet för systemrisk mot bakgrund av teknisk utveckling, inklusive algoritmiska förbättringar och hårdvarueffektivitet. Kommissionens vägledning säger att dess eget kriterium inte är absolut. Det är ett förnuftigt medgivande. En siffra som ser stabil ut i ett upphandlingskalkylblad kan förändras när den omgivande tekniken ändras. Det ansvarsfulla svaret är inte att misstro varje siffra. Det är att hålla siffran kopplad till den fråga den utformades för att besvara.

Det finns en praktisk lärdom för team som publicerar modellkort eller interna arkitekturnoteringar. Ange tröskelvärdet, enheten, den rättsliga bestämmelsen och gränsen. Säg om en siffra är en rättslig presumtion, en kommissionsindikator, ett riktmärkesvillkor eller ett internt designmål. Låt inte en enda mätpunkt få en större innebörd än den har bara för att den passar i en presentationsbild. En liten mätpunkt kan också bära en stor skyldighet. Siffran behöver sin egen härkomst.

Ett system är mer än modellen inuti det

AI-förordningen gör systemgränsen synlig. Den definierar leverantörer och distributörer, skiljer modeller från system och fördelar skyldigheter längs en värdekedja. En leverantör kan vara den person eller organisation som utvecklar ett system eller låter utveckla det och släpper ut det på marknaden eller tar det i bruk under eget namn. En distributör är den person eller organisation som använder ett system under sin egen auktoritet. Dessa roller spelar roll eftersom samma underliggande komponent kan sitta i olika arrangemang med olika ansvar.

Tänk dig en kompakt textklassificerare som returnerar en av fyra kategorier. Modellen har inget användargränssnitt, inget minne och ingen förmåga att anropa ett verktyg. I en miljö sorterar den ett teams egna dokument i mappar. I en annan etiketterar den ansökningar för en offentlig tjänst så att vissa personer skickas till ytterligare granskning. Komponenten kan vara tekniskt identisk. Det andra systemet har ett annat syfte, andra berörda personer, en annan maktrelation och ett annat behov av förklaring och rättelse.

Förordningens klassificeringsregler för högrisk följer den typen av skillnad. De undersöker om ett system är en säkerhetskomponent, om det används inom ett område som anges i bilaga III och om det utgör en betydande risk för hälsa, säkerhet eller grundläggande rättigheter. Vägen via listade användningsområden är inte en bedömning av modellens elegans. Det är en bedömning av vad systemet gör i en miljö där ett felaktigt resultat kan spela roll. En snäv proceduruppgift kan falla inom ett omsorgsfullt formulerat undantag där den inte väsentligen påverkar ett beslut, men leverantören måste dokumentera den bedömningen.

Det dokumentationskravet är lätt att underskatta. Ett team som säger att systemet bara är förberedande har gjort ett påstående om kausalitet. Det säger att resultatet inte väsentligen påverkar det beslut som följer. Om handläggaren behandlar etiketten som en anledning att öppna ett ärende, om personalen följer en rangordning, eller om en sökande inte har något meningsfullt sätt att korrigera uppgifterna bakom flaggan, kan den praktiska påverkan vara större än gränssnittet antyder. Ordet förberedande kan inte tillåtas betyda osynligt.

Systemgränserna omfattar också den tråkiga infrastrukturen runt en modell: datakällan, tröskelvärdet, kön, personen som tar emot resultatet, den post som bevaras, leverantörsavtalet, uppdateringsprocessen och vägen för att stoppa arbetsflödet. En liten modell kan vara det synliga objektet medan den verkliga risken ligger i överlämningen. Därför är en riskgranskning som bara frågar vad modellen förutsäger ofullständig. Den svårare frågan är vad organisationen gör för att den förutsagt det.

Syftet ändrar innebörden av samma utdata

En utdata har ingen skyldighet i ett vakuum. Samma sannolikhet, kategori eller rekommendation kan vara ofarlig i en uppgift och konsekvensrik i en annan. Det beror inte på att ord ändrar sin lexikala betydelse. Det beror på att en utdata går in i en beslutsstruktur. En rangordning som används för att välja vilka forskningsanteckningar som ska läsas först är inte samma sak som en rangordning som används för att avgöra vilket hushåll som får en bedrägeriutredning. Maskinen kan använda samma matematik. Institutionen har inte samma relation till människorna i andra änden.

Artikel 7 i AI-förordningen listar de kriterier som kommissionen måste beakta när den lägger till eller ändrar högrisk-användningsfall. De omfattar avsett syfte, hur brett systemet används eller sannolikt kommer att användas, arten och mängden data, autonomi och möjligheten till mänsklig överstyrning, omfattningen och intensiteten av möjlig skada, beroende av utfallet, maktobalans, sårbarhet, reversibilitet, nytta och tillgången till rättsmedel. Lästa tillsammans utgör dessa kriterier ett användbart motargument mot modellstorlekstänkande. De beskriver en relation, inte en viktfil.

Komponenten förblir liten medan det omgivande syftet, makten, beroendet och reversibiliteten ändrar kontrollfrågan.

Beroende är särskilt viktigt. En person kan ibland ignorera en rekommendation, söka en annan tjänst eller be en kollega kontrollera svaret. En person kan också sakna praktiska alternativ. Om ett automatiskt screeningsteg avgör om en tjänst försenas, om en ansökan får uppmärksamhet eller om en anställd kallas till ett möte, kan den berörda personen tvingas leva med systemets första tolkning medan organisationen beslutar om den ska titta igen. Ju mindre det synliga beslutet är, desto lättare kan det vara att missa beroendet under ytan.

Reversibilitet spelar roll av samma anledning. Ett stavfel i en intern tagg kan åtgärdas innan någon hunnit förlita sig på den. En riskmarkering kan ändra i vilken ordning ett ärende hanteras, och fördröjningen kan i sig bli betydelsefull. Ett avslag kan leda till en missad deadline. En rangordning kan bli den enda rangordning ett upptaget team ser. Att en administratör tekniskt sett kan redigera en databas bevisar inte att det sociala utfallet är lätt att reversera. Teknisk reversibilitet och levd reversibilitet är relaterade, men de är inte identiska.

Det är här proportionalitet får substans. Ett internt förslag med låg påverkan kan behöva en lätt dokumentation och en tydlig ägare. Ett system som påverkar tillgången till en offentlig tjänst behöver en starkare bevisväg, en informerad mänsklig väg och ett sätt att ifrågasätta både indata och utdata. Proportionella kontroller är inte frånvaro av kontroller. De är kontroller som valts för att relationen förtjänar dem.

Data behåller sina skyldigheter

Modellstorlek gör inte data anonym genom atmosfär. Europeiska dataskyddsstyrelsens yttrande 28/2024 säger att huruvida en AI-modell kan anses vara anonym måste bedömas från fall till fall. Testet i EDPB:s offentliga sammanfattning frågar om det är mycket osannolikt att modellen direkt eller indirekt kan identifiera de personer vars data användes för att skapa den, och om det är mycket osannolikt att deras personuppgifter kan extraheras genom frågor. En mindre modell kan innehålla mindre information, men mindre är inte en juridisk slutsats.

EDPB håller också sammanhanget kring berättigat intresse i sikte. Dess analys pekar på nödvändighet och avvägning och listar relationen mellan personer och personuppgiftsansvarig, tjänstens karaktär, sammanhanget där data samlades in, källan, eventuell vidare användning och vad personer rimligen kunde förvänta sig. Dessa faktorer försvinner inte när en modell komprimeras, destilleras, kvantiseras eller placeras bakom ett snyggt API. Komprimering förändrar ett tekniskt objekt. Den skriver inte om historien om varför data samlades in eller vad personer informerades om.

Det finns en användbar disciplin i att läsa det yttrandet tillsammans med modellteknik. Fråga vad modellen tränades eller anpassades för att göra, vilken data den tar emot vid körning, vilka poster som behålls och vem som kan ställa frågor till den. Fråga sedan vad som händer nedströms. Kopieras utdata till en ärendeakt. Blir en rangordning en instruktion. Ser en mänsklig granskare källmaterialet eller bara modellens etikett. Finns det en väg för den berörda personen att korrigera ett faktiskt fel. Detta är data- och styrningsfrågor, inte bara frågor om noggrannhet.

EDPB:s offentliga sammanfattning noterar också att användning av olagligt behandlade personuppgifter vid utveckling av en modell kan påverka lagligheten av driftsättning om inte modellen har vederbörligen anonymiserats. Den meningen motstår en välbekant flyktväg. Ett team kan inte få ett problem att försvinna genom att säga att den slutliga modellen är liten, att data inte längre är synlig eller att modellen bara är en komponent. Datans juridiska och etiska historia förblir en del av systemets berättelse.

För ingenjörer innebär detta att träningsregistret och driftsättningsregistret inte bör behandlas som separata universum. För upphandling innebär det att en leverantörs uttalande om modellstorlek inte är en ersättning för dataproviniens, syfte, lagring, rättighetshantering eller nedströmsdokumentation. För en berörd person innebär det att den användbara frågan inte är hur många parametrar som var inblandade. Det är vad som hände med deras information och vad organisationen kan göra när resultatet är fel.

En liten signal kan flytta en stor kö

Betrakta en hypotetisk servicedesk som tar emot ärenden från invånare. En kompakt klassificerare läser det första meddelandet och tilldelar en väg: information, rutinarbete, brådskande granskning eller specialisthantering. Exemplet är medvetet vardagligt och helt illustrativt. Det finns ingen namngiven kommun, ingen verklig driftsättning, ingen tidsstämpel och inget påstående om att detta har hänt. Poängen är att göra gränsen synlig.

Om kategorierna bara hjälper en handläggare att ordna en privat uppsättning anteckningar kan risken vara måttlig. Om den brådskande vägen avgör vem som får en säkerhetsinspektion befinner sig resultatet nu närmare ett offentligt beslut. Om ett saknat nyckelord skickar en persons ärende till rutinarbete kan fördröjningen spela roll även om modellen aldrig talar med invånaren. Om handläggaren kan se det ursprungliga meddelandet, ändra vägen, dokumentera varför och snabbt svara på en invändning har systemet en annan kontrollprofil än ett där etiketten blir en dold grind.

Modellen har inte blivit större. Skyldigheten har blivit tydligare. Den följer vägen från indata till konsekvens. Organisationen måste veta vad kategorierna betyder, vilka bevis modellen får använda, vilka fall som kräver avslag eller eskalering, vem som kan åsidosätta vägen och vilken dokumentation som gör att en senare granskare kan förstå beslutet. Modellens anspråkslöshet är inte ett skäl att hoppa över dessa frågor. Den kan vara ett skäl att besvara dem mer precist, eftersom komponentens kontrakt kan göras snävt.

Ett liknande hypotetiskt exempel finns inom anställning. En liten modell skulle kunna extrahera färdigheter från ett CV, klassificera en roll eller flagga ett saknat intyg. Extraktion låter mindre konsekvensfyllt än urval, men extraktionen kan forma den rangordning som följer. Om resultatet aldrig används för att avgöra vem som går vidare kan systemet förbli på den förberedande sidan av en gräns. Om människor behandlar den extraherade etiketten som en objektiv sammanfattning och slutar titta på dokumentet flyttar sig gränsen. Skyldigheten ligger i användningen, inte i det verb som valts för modellens arbetsbeskrivning.

I båda illustrationerna är rätt svar inte att få panik över en liten modell. Det är att göra överlämningen explicit. Ange det avsedda syftet. Förklara vad resultatet kan och inte kan förändra. Bevara källan och modellversionen där ett beslut är beroende av dem. Ge en person tillräcklig information och befogenhet att invända. Testa de delar där systemet förväntas vara osäkert. Granska arbetsflödet när organisationen ändrar data, tröskelvärde, målgrupp eller efterföljande åtgärd.

Vad den nederländska SyRI-domen faktiskt lär oss

Europa har redan ett dokumenterat exempel på ett kompakt riskindikeringssystem med en skyldighet som motsvarar rättigheternas tyngd. Den 5 februari 2020 beskrev domstolen i Haag SyRI som ett lagstadgat statligt verktyg för att bekämpa bedrägeri inom bidrag, förmåner och skatter. Domstolen avgjorde inte målet genom att fråga hur många parametrar systemet hade. Den bedömde den rättsliga ramen mot artikel 8 i Europakonventionen om skydd för de mänskliga rättigheterna, inklusive om intrånget i privatlivet uppnådde en rimlig balans.

Domstolen fann att SyRI-lagstiftningen inte klarade det testet. Enligt domstolens redogörelse var användningen av SyRI otillräckligt transparent och kontrollerbar. Den rättsliga ramen var därför oförenlig med högre rätt och kunde inte bestå i sin nuvarande form. Den offentliga domssidan är kortfattad, men dess lärdom är inte liten: när en stat använder ett riskindikeringssystem mot människor som kan ha liten makt att förstå eller bestrida det, kräver systemet en nivå av insyn och kontroll som motsvarar den relationen.

SyRI var ett nederländskt lagstadgat riskindikationsinstrument, inte en fallstudie av en modern neural modell, och domstolssidan ger oss inget antal parametrar att diskutera. Det är just därför det hör hemma här. Exemplet hindrar oss från att behandla modellarkitektur som det enda intressanta objektet. En regelbaserad motor, en scorecard, en statistisk modell eller en liten klassificerare kan alla bli en del av ett institutionellt beslut. Rättighetsfrågan uppstår genom användningen.

Domen placerar också transparens på rätt plats. Det handlar inte bara om en begäran om förklaring efter att en person har skadats. Det är en del av villkoren för att systemet ska kunna bedömas före och under drift. Om människor inte kan se tillräckligt av syftet, dataanvändningen, skyddsåtgärderna och vägen för överklagande för att förstå ingreppet, kanske en organisation inte kan visa upp den rimliga balans som den påstår sig ha gjort.

Det finns inget behov av att göra SyRI till en universell analogi. Den nederländska rättsliga ramen, omständigheterna i målet och Europakonventionen är specifika. Den användbara överföringen är snävare: fråga inte om ett system är tekniskt imponerande innan du frågar om dess institutionella relation är synlig, kontrollerbar och möjlig att bestrida. En mindre maskin ursäktar inte en större tystnad.

Nedströmsanvändning är där etiketten färdas

En modell kan introduceras som en komponent och ändå bli en del av ett system som bär en annan skyldighet. Kommissionens vägledning om GPAI förklarar varför nedströmsleverantörer behöver information om en modells kapacitet och begränsningar. De behöver den informationen för att integrera modellen på ett ansvarsfullt sätt och för att uppfylla sina egna skyldigheter enligt AI-förordningen. Modellleverantören och systemleverantören skriver inte samma dokument eftersom de inte svarar på samma fråga.

Denna distinktion spelar roll när team behandlar ett modellkort som ett pass. Ett modellkort kan beskriva arkitektur, träning, utvärdering, kända begränsningar och avsedda användningar. Det kan inte i sig beskriva varje miljö där ett nedströms team kan placera modellen. Nedströmssystemet lägger till en användare, ett syfte, dataflöden, ett gränssnitt, mänskliga roller, ett beslut och en uppsättning berörda personer. Dessa tillägg kan ändra skyldigheten även när modellvikterna förblir orörda.

Ansvar kan också ändras när en organisation ändrar avsett syfte eller gör en väsentlig modifiering. AI-förordningens bestämmelser om värdekedjan beskriver omständigheter där en aktör kan ta på sig leverantörsansvar, inklusive att ändra det avsedda syftet med ett AI-system så att det blir högrisk. Detta är en användbar varning mot kontraktuell dimma. En leverantör kan tillhandahålla en komponent, men en distributör kan inte få sin egen användning att försvinna genom att kalla komponenten för ett bibliotek.

Den praktiska överlämningen bör därför bära mer än en nedladdningslänk. Den bör ange de avsedda uppgifterna, gränserna för indata och utdata, integrationskrav, tränings- och valideringsinformation där det är relevant, kända begränsningar och villkor under vilka komponenten inte bör användas. Den bör förklara vad modellen inte utvärderade. Ett nedströms team bör inte behöva sluta sig till frånvaron av en garanti från närvaron av ett självsäkert diagram.

Det finns en mänsklig anledning till detta pappersarbete. Den person som påverkas av det slutliga systemet möter inte en modellleverantör i abstrakt mening. De möter en organisation som valde ett arbetsflöde. Organisationen måste kunna säga vad komponenten gjorde, vad organisationen gjorde med den och hur en person kan bestrida resultatet. Om svaren finns i tre kontrakt och ingen operativ dokumentation, är systemet inte väl integrerat. Det är bara väl distribuerat.

Den mänskliga vägen måste vara verklig

Mänsklig tillsyn framställs ofta som en person som sitter framför en skärm. AI-förordningen är mer precis. För system med hög risk måste tillsynen vara effektiv och stå i proportion till riskerna, graden av autonomi och användningssammanhanget. Den person som utsetts för tillsyn ska kunna förstå relevanta förmågor och begränsningar, övervaka avvikelser, tolka resultatet, besluta att inte använda det, bortse från eller åsidosätta det, återkalla det samt ingripa eller stoppa systemet på ett säkert sätt.

Inget av dessa verb garanteras av en liten modell. Ett snävt resultat kan vara lättare att tolka, men tolkning är inte samma sak som befogenhet. En åsidosättningsknapp som ingen kan använda för att kön är för lång är inte effektiv tillsyn. En granskare som bara ser en färg eller etikett kan inte meningsfullt kontrollera källan. En person som får skulden för ett beslut men inte kan pausa arbetsflödet är inte kontrollpunkten. De är en dekorativ människoliknande lucka i diagrammet.

Proportionerlig tillsyn kan vara stillsam. Det kan vara en tydlig väg för en arbetstagare att markera otillräcklig bevisning, en andra kontroll för en känslig kategori, en registrering av varför en rekommendation avvisades eller en automatisk paus när obligatoriska fält saknas. Det kan vara en person som äger beslutet och har tid att utreda de ärenden som systemet dirigerar till dem. Detaljerna beror på sammanhanget. Kravet är att vägen fungerar när systemet är osäkert, felaktigt, otillgängligt eller ifrågasatt.

För små modeller kan en strukturerad vägran vara en fördel. Om en klassificerare kan säga saknad källa, utanför omfattningen eller kräver granskning har organisationen en konkret händelse att hantera. Det är bättre än ett flytande stycke som tyst förvandlar osäkerhet till en instruktion. Men vägran behöver fortfarande en ägare. Om varje vägran blir en återvändsgränd har systemet helt enkelt flyttat bördan till någon utan att ge dem en väg genom den.

Den mänskliga vägen sträcker sig till den berörda personen. En person ska inte behöva leverantörens terminologi för att bestrida ett resultat. Organisationen ska veta vilken information som kan förklaras, vad som kan korrigeras, vem som granskar ärendet och vad som händer medan granskningen pågår. En liten modell kan göra den interna spårningen lättare att beskriva. Det minskar inte betydelsen av personen utanför systemet.

Proportionerliga kontroller är fortfarande kontroller

Proportionerlig styrning börjar med att vägra två dåliga uppgörelser. Den första säger att varje system förtjänar samma tunga process, vilket förvandlar riskhantering till pappersarbete och så småningom lär team att dölja arbete. Den andra säger att små modeller inte förtjänar någon seriös process, vilket förväxlar en snäv komponent med en ofarlig institution. Ett proportionerligt synsätt frågar vad systemet kan förändra, vem som kan påverkas och vilken bevisning som skulle göra det möjligt för organisationen att åtgärda ett misstag.

Den första kontrollen är en syftesbeskrivning som en icke-specialist kan förstå. Den ska namnge uppgiften, de avsedda användarna, de berörda personerna, den tillåtna indatan, resultatet och de åtgärder som systemet inte kan vidta. Ett syfte som stöd för prioritering är för vagt om det skulle kunna innebära att ordna en privat kö, besluta vem som får en lagstadgad inspektion eller välja ut kandidater för en disciplinär granskning. Meningen är inte marknadsföringstext. Den är gränsen mot vilken senare ändringar kontrolleras.

Den andra kontrollen är en gräns för indata och bevisning. Vilka källor får systemet läsa. Vilka fält är auktoritativa. Hur aktuella måste de vara. Vad händer när ett värde saknas eller står i konflikt med en annan källa. Kan personuppgifter komma in i processen. Vilken post behålls. En kompakt modell kan vara strikt med indata och ändå misslyckas om det omgivande arbetsflödet tyst vidgar datamängden. Omfattningen behöver en ägare, inte bara ett schema.

The third control is an output contract. State the allowed labels, the uncertainty states, the refusal conditions, and the downstream actions for each result. If the system returns a score, say what the score means and what it does not mean. If it returns a ranking, say whether the ranking is a suggestion or a gate. If it returns a category, say who may change it and what record captures the change. A small vocabulary is useful only when the institution agrees not to smuggle extra authority into it.

The fourth control is a change path. Model updates, threshold changes, new data sources, a different user group, a new supplier, or a changed downstream action can alter the system's risk. The AI Act's lifecycle language is a reminder that risk management is iterative. A component that was narrow in January may sit inside a different decision in August. The obligation follows the changed relationship, not the date on the first design document.

The fifth control is an exit. Can the organisation pause the component, fall back to a human route, export the records, explain the decision history, and replace the supplier without losing the evidence needed to repair cases. Exit is not a luxury for large systems. A small model can become a single point of institutional memory if nobody preserves the source, version, and decision path around it.

A proportionate evidence file

A proportionate evidence file is not a warehouse of every thought anyone had about the model. It is a readable answer to the questions a reviewer, operator, affected person, or regulator may reasonably ask. What was the intended purpose. Which version ran. What data did it receive. What did it return. Which rule or threshold turned that output into an action. Who had authority to change the result. What happened when evidence was missing. How can the decision be replayed or challenged.

For a low-consequence suggestion, the file may be small. It might contain the purpose, source, version, basic evaluation, owner, retention rule, and a link to the correction route. For a system that influences access, safety, employment, or rights, the file needs more. It should connect the risk analysis to the data and the output contract, show how human oversight works in practice, document known limitations, and retain enough operational history to investigate a disputed result. Proportion grows with consequence, not with parameter count.

Testing should follow the same logic. A single accuracy figure cannot describe a system's fitness for every context. Test the data slices and conditions that matter to the purpose. Include missing and conflicting inputs. Include cases where refusal is correct. Check whether the model's output is used differently by different teams. Record what was measured, under which conditions, and what remains unknown. A model that performs well on a clean test set can still be badly placed in a messy institution.

Monitoring is not a dashboard ornament. It is how the organisation learns that the real workflow has changed. Watch for shifts in input data, disagreement rates, refusal rates, changes in human overrides, new downstream uses, and complaints or correction requests. The exact signals depend on the system. The principle is stable: the evidence should include the relationship that creates the obligation, not only the model's internal score.

Good evidence also has an expiry date, even when the records are retained longer. A legal interpretation can change. A service can reach a new population. A supplier can update a model. A route that was reversible can become embedded in another system. Mark what was assessed, when, by whom, and against which purpose. The record then becomes a history of decisions rather than a static certificate that outlives the conditions that made it meaningful.

The failure modes of small models

Små system misslyckas på igenkännbara sätt. En klassificerare kan missa en kategori eftersom etikettdefinitionen är tvetydig. En extraherare kan returnera ett rimligt fält från fel mening. En rankningsmodell kan föredra välkända fall och dölja ovanliga. Ett tröskelvärde kan förvandla en kontinuerlig osäkerhet till en falsk binär. En lokal modell kan köras tillförlitligt medan källdatan är inaktuell. Inget av dessa misslyckanden är automatiskt katastrofalt. Varje sådant blir viktigt när arbetsflödet behandlar resultatet som mer auktoritativt än komponentens kontrakt tillåter.

Det första felsättet är falsk blygsamhet. Teamet säger att modellen bara flaggar, sorterar eller assisterar, och utformar sedan arbetsflödet så att personalen sällan invänder. Etiketten blir ett beslut av vana. Detta är inte en brist i modellens parameterantal. Det är en brist i institutionens hantering av auktoritet. Botemedlet är att göra överlämningen synlig, mäta åsidosättanden och meningsskiljaktigheter, och ge människor en praktisk väg att ändra resultatet.

Det andra är dold komposition. En liten modell kan sitta bredvid hämtning, regler, en kö, en rankning och en notifieringstjänst. Varje komponent ser begränsad ut. Tillsammans kan de skapa en kraftfull beslutsväg. Riskgranskningen bör följa vägen från början till slut. Vilken källa kommer in först. Vilken transformation tar bort kontext. Vilken etikett utlöser en åtgärd. Vilken post överlever. Vilken person kan stoppa kedjan. Säkerställande på komponentnivå är nödvändigt, men det är inte systemperspektivet.

Det tredje är inaktuell förpliktelse. En modell förblir oförändrad medan dess syfte eller målgrupp ändras. Ett team lägger till en ny datakälla, skickar resultatet till en annan avdelning, eller börjar använda ett privat prioriteringsverktyg i ett publikvänt arbetsflöde. Modellkortet förblir detsamma, så alla antar att risken är densamma. Det är den inte. Det avsedda syftet har flyttats, och evidensfilen bör följa med.

Det fjärde är den lilla modellens gloria. En låg resurskostnad eller en snygg lokal driftsättning får systemet att kännas mer ansvarsfullt än det är. Organisationen kan fortfarande misslyckas med att förklara resultatet, bevara indata, erbjuda rättelse, eller utse en person med befogenhet. Teknisk effektivitet är välkommen. Det är inte en ersättning för institutionell kontroll. Ett system kan vara billigt att driva och dyrt att försvara.

Det femte är den saknade utgången. Små komponenter är lätta att lägga till och svåra att ta bort när de vävs in i en hektisk process. En ersättning ändrar kategorierna, tröskelvärdena eller posterna som nedströms team förväntar sig. Om ingen har övat på bytet blir systemet klibbigt. Modellen kan vara liten, men migreringen är nu ett publikt problem. Portabilitet hör hemma i det första designmötet, inte det sista upphandlingsmötet.

När litet är rätt ingenjörsval

Inget av detta bör bli en kampanj mot små modeller. Litet kan vara precis rätt. En avgränsad uppgift med ett tydligt kontrakt kanske inte behöver en generell modell. En lokal komponent kan hålla känslig indata närmare de som ansvarar för den. Ett fast resultat kan göra validering och övervakning enklare. En modell som vägrar utanför sitt scope kan vara säkrare att komponera än en som svarar på varje fråga med graciös självsäkerhet.

Ingenjörsargumentet är starkast när teamet kan namnge vad komponenten inte kommer att göra. Den kommer bara att klassificera de godkända kategorierna. Den kommer bara att läsa de deklarerade fälten. Den kommer att returnera otillräcklig evidens när ett obligatoriskt fält saknas. Den kommer inte att anropa ett verktyg. Den kommer inte att fatta det slutgiltiga beslutet. Den kommer att bära en version och en utvärderingspost. Den kommer att vara utbytbar eftersom gränssnittet och evidenskontraktet är dokumenterade. Dessa begränsningar gör inte systemet barnsligt. De gör dess ansvarsområden läsbara.

Små komponenter kan också möjliggöra en bättre arbetsfördelning. En bred modell kan tolka otydligt språk eller utforma en läsbar förklaring. En strikt komponent kan extrahera ett fält, tillämpa en policygrind, rangordna en deklarerad uppsättning källor eller kontrollera om ett resultat uppfyller en känd form. En regel- eller lösningsmotor kan äga den del som måste vara exakt. En människa kan äga den bedömning som inte säkert kan reduceras. Det viktiga är inte renhet. Det är att varje del har ett avgränsat uppdrag och att systemet registrerar hur uppdragen hänger ihop.

Det finns en europeisk praktikalitet i detta arrangemang. Institutioner får sällan ersätta allt på en gång. De behöver system som kan köras i de hårdvaru-, juridiska, språkliga och upphandlingsmässiga förhållanden de faktiskt har. Mindre komponenter kan ibland distribueras närmare arbetet, utvärderas mot lokala bevis och ersättas utan att en hel organisation behöver ändra sitt minne. Det är en förväntning, inte ett påstående om varje liten modell. Distributionen kräver fortfarande bevis på att passformen är verklig.

Smått är också användbart som en disciplin. När ett team inte kan lösa ett problem genom att lägga till mer generell kapacitet måste det besluta vilken information som spelar roll, vilken osäkerhet som kan exponeras och vilka fall som kräver en människa. Det designarbetet kan avslöja att en modell är onödig. Ibland är rätt komponent en databasbegränsning, ett sökindex, en signerad post eller ett välskrivet formulär. En mindre modell kan bära ett stort ansvar. En icke-modell kan också göra det.

När smått används som kamouflage

Smått blir kamouflage när det erbjuds som svaret innan någon har beskrivit frågan. Budskapet kan säga att komponenten är lättviktig, lokal, privat, effektiv eller öppen. Det kan alla vara användbara fakta. De säger inte till en berörd person om systemet kan ifrågasättas, inte till en operatör om resultatet kan återställas, inte till en tillsynsmyndighet om organisationen förstod sitt syfte.

Kamouflage förekommer ofta i upphandlingsspråk. En köpare visas en modellstorlek, en latenssiffra och en inferenskostnad. Kontraktet säger att leverantören tillhandahåller ett verktyg för beslutsstöd. Ingen skriver ner vilka beslut, vems data, vilka populationer, vilken mänsklig väg eller vilka ändringar som utlöser granskning. Senare upptäcker ett internt team att verktyget har blivit en grind eftersom kön, deadline eller instrumentpanelen gjorde rekommendationen bekväm att följa. Modellen var liten. Styrningen var mindre.

Ett annat kamouflage är frasen människa i loopen. En person kan tekniskt röra varje fall utan att ha meningsfull tid, information eller auktoritet. Loopen fungerar då som en godkännanderitual. En liten modell kan göra detta särskilt lockande eftersom resultatet ser enkelt ut. Tre kategorier anländer, en person klickar på en, och organisationen kallar resultatet granskat. Granskning kräver förmågan att förstå, ifrågasätta och ändra resultatet. Ett klick är inte en säkerhetsåtgärd i sig.

Ett tredje kamouflage är påståendet att lokalt betyder suveränt. Lokal bearbetning kan hjälpa med residens, latens och operativ kontroll, men suveränitet handlar också om vem som kan ändra programvaran, inneha nycklarna, komma åt posterna och hålla tjänsten igång när en leverantör eller ett nätverk är otillgängligt. Den lilla modellen i en enhet kan vara lokal medan dess uppdateringar, utvärdering och auktoritet finns någon annanstans. Plats är ett faktum på kartan. Kontroll är ett faktum i relationen.

Motgiften är inte en större form. Det är en skarpare. Fråga efter syftet. Fråga vad som förändras på grund av resultatet. Fråga vem som kan invända. Fråga vad den berörda personen kan göra. Fråga vilka bevis som behålls. Fråga hur systemet pausas, ersätts och omvärderas. Om svaren är tydliga kan modellens storlek återgå till sin rätta plats som ett ingenjörsval bland många.

En köpares frågor

Innan en liten modell går in i ett arbetsflöde med konsekvenser bör en köpare kunna besvara en rad enkla frågor. Vad är det avsedda syftet i en mening. Vad ligger utanför omfattningen. Vilka människor kan påverkas, direkt eller genom en efterföljande åtgärd. Vilka uppgifter krävs, och vilka uppgifter är förbjudna. Vad tillåter varje utdata organisationen att göra. Vad tillåter den inte organisationen att göra.

Fråga sedan om befogenhet. Vem äger beslutet. Vem kan åsidosätta modellen. Vem kan stoppa arbetsflödet. Vilken information ser den personen. Hur mycket tid har de. Vad händer när de inte håller med. Får den berörda personen tillräcklig information för att begära en omprövning. Kan organisationen korrigera både indata och utdata. Dessa frågor är inte en anklagelse mot leverantören. De är den minimibeskrivning som krävs av den institution som köper verktyget.

Fråga om bevis. Vilken version kördes. Vilken modell- och policykonfiguration var aktiv. Vilka källor var tillgängliga. Vilken tröskel eller regel omvandlade utdatan till nästa åtgärd. Vad registreras när en människa ändrar resultatet. Kan organisationen spela upp ett fall utan att låtsas att en ny körning är den gamla. Kan den exportera registren i en form som ett annat system kan läsa. Svaret behöver inte vara en storslagen plattform. Det måste vara en verklig registrering.

Fråga om förändring. Vad räknas som en modelluppdatering. Vad räknas som en ny datakälla. Vad händer när syftet ändras. Vilka ändringar kräver en ny bedömning. Vem underrättas. Hur skyddas berörda människor under en återställning eller migrering. Om leverantören inte kan svara köper köparen inte en liten risk. Köparen accepterar en liten beskrivning av en stor okändhet.

Fråga slutligen om utträde. Kan arbetsflödet köras säkert utan modellen. Kan organisationen hämta indata, utdata, beslut och korrigeringshistorik. Kan en annan komponent uppfylla samma gränssnitt utan ett nytt beroende. Kan systemet dras tillbaka utan att lämna människor i ovisshet. En modell är inte verkligt liten om borttagandet kräver att institutionen glömmer hur den fattade beslut.

En kort not från oss

På Dweve är Loom ett exempel på den designposition vi tar i denna fråga. Dess offentliga produktbeskrivning presenterar små språkkomponenter som renderare kring ett typat resonemangsgraf, med spår, uppspelning och tydliga avgränsningar för vägran. Det är ett uttalande om vår arkitektur och hur vi vill att en komponents ansvar ska vara synligt. Det är inte oberoende bevis, en regulatorisk klassificering, en kunddistribution eller ett löfte om att en liten komponent automatiskt är lämplig för en användning med konsekvenser.

Den användbara delen av exemplet är gränsen. En komponent kan vara liten och ändå förtjäna ett precist kontrakt. Den kan placeras i en större graf utan att bli ägare av varje beslut. Den kan bära ett spår utan att påstå att spåret bevisar att hela institutionen agerat lagligt. Vi nämner Loom här endast för att visa hur vårt eget arbete försöker hålla modellkapacitet, systemets syfte, bevis och mänsklig befogenhet åtskilda. Den europeiska frågan är densamma för oss som för alla andra: vad kan detta system ändra, och kan de ansvariga fortfarande granska och korrigera det?

Skyldigheten bärs av relationen

En liten modell kan vara lättare att köra, lättare att testa och lättare att ersätta. Det är goda skäl att välja en. Det är inte skäl att krympa den omgivande omsorgsskyldigheten. AI-förordningens definitioner och riskregler, kommissionens vägledning om GPAI, EDPB:s fall-för-fall-metod för uppgifter och den nederländska SyRI-domen pekar alla i samma praktiska riktning utan att bli ett enda juridiskt test: titta på syfte, sammanhang, befogenhet, bevis, berörda människor och möjligheten till rättelse.

Den rätta frågan är därför inte om modellen är liten. Det är vad modellen tillåts ändra. Om den bara hjälper en person att söka i sina egna anteckningar kan svaret vara blygsamt. Om den ändrar vem som får uppmärksamhet, vilken post som litas på, eller om en offentlig tjänst öppnar en dörr, är svaret större. Om organisationen inte kan förklara överlämnandet, bevara bevisen eller ge någon en väg att överklaga resultatet, har skyldigheten redan vuxit sig större än komponenten.

God styrning lämnar utrymme för proportionalitet. Den kräver inte att varje modell blir en kommitté. Den ber teamet att göra de viktiga relationerna synliga, att hålla påståenden kopplade till bevis och att ge människor verklig makt när systemet är osäkert eller fel. Små modeller kan hjälpa till med det arbetet eftersom en avgränsad komponent kan namnges och testas. Men avgränsad är en designprestation, inte en standardegenskap hos det lilla.

Storleken hör hemma i den tekniska dokumentationen. Syftet hör hemma i systemdokumentationen. Konsekvensen hör hemma i den mänskliga dokumentationen. När dessa tre dokumentationer tillåts tala med varandra kan en liten modell användas försiktigt utan att behandlas som ofarlig. När de hålls åtskilda blir modellens blygsamhet teater, och de människor som bär resultatet betalar för den saknade kontexten.

Källor