Modellens språk är inte samhällets språk

A multilingual model is not fair because its interface lists many languages. Language coverage is an institutional, cultural and safety question, and Europe...

Modellens språk är inte samhällets språk

Sexton språk är en början, inte en slutdom

Den 22 juli 2026 publicerade Europeiska kommissionens generaldirektorat för översättning EU MMLU, ett riktmärke avsett att testa stora språkmodeller i europeiska språkliga och kulturella sammanhang. Publiceringen var ovanligt ärlig om det gap den försökte sluta. Många utvärderingsdataset byggdes på engelska. En modell kan prestera bra där och ändå fungera dåligt på franska, ungerska eller maltesiska. Det nya datasetet börjar med sexton officiella EU-språk, sju ämnesområden och mer än tusen frågor översatta och reviderade av nästan 250 studenter från 21 europeiska universitet.

Den viktigaste delen av tillkännagivandet är inte listan över språk. Det är meningen under den: en modells beteende kan inte utläsas av det språk där den verkar mest flytande. Det borde vara självklart. Det är också antagandet bakom en anmärkningsvärd mängd upphandling, forskning och offentlig debatt. Vi talar fortfarande om en språkmodell som om den har ett sinne, och ber den sedan bära olika språk som rockar. Rocken byts. Sinnet, bevisen, de blinda fläckarna och den sociala kontexten behandlas som stabila.

De är inte stabila. Språk är där en människa möter en institution. Det bär villkoren för en förmån, tonen i ett överklagande, skillnaden mellan råd och instruktion, formen på ett skämt, namnet på en plats och antagandena i ett formulär. När ett system hanterar ett språk bättre än ett annat producerar det inte bara en mindre elegant mening. Det kan förändra vem som blir förstådd, vem som blir trodd, vem som kan ifrågasätta ett resultat och vem som ger upp innan hen hittar rätt dörr.

Den praktiska slutsatsen är tydlig. Flerspråkig AI är inte en översättningsfunktion som läggs till efter att modellen byggts. Det är en fråga om tillgång, bevis och auktoritet. Europas arbete med språkteknologi, språkdata och flerspråkig utvärdering är värdefullt eftersom det behandlar problemet som infrastruktur. Arbetet är fortfarande ofullständigt. Ett riktmärke är ingen garanti, och sexton språk är inte hela Europa. Men riktningen är rätt: sluta fråga om en modell talar ett språk och börja fråga vad den säkert kan göra på det språket, för vem, under vilka villkor, med vilka bevis.

Språktäckning är trovärdig endast när källa, kontext, granskning och tjänstepåståenden förblir sammankopplade.

Språk är en tillgångsgräns

Europa har gjort språk till en institutionell realitet, inte en privat preferens. Artikel 22 i Europeiska unionens stadga om de grundläggande rättigheterna slår fast att unionen ska respektera den kulturella, religiösa och språkliga mångfalden. Kommissionens egen språkteknologipolicy ställer denna skyldighet bredvid en praktisk varning: språkteknologier kräver opartisk användning om rättigheter och principer ska överleva kontakten med mjukvara. Detta är inte tomma åtaganden. De beskriver den gräns som ett offentligt system möter när en invånare inte kan läsa ett meddelande, inte kan förstå varför ett beslut fattades eller inte kan uttrycka en relevant uppgift på det språk som uppgiften existerar på.

Den gränsen är lätt att missa när ett team bara mäter om en översättning har producerats. En mening kan komma fram på det begärda språket och ändå svika den person som behöver den. Översättningen kan platta ut en juridisk distinktion, ändra artighetsnivån som signalerar om en tjänsteman frågar eller beordrar, eller använda en term som har en vardaglig betydelse men en specialiserad betydelse inom en viss verksamhet. En taligenkännare kan förvandla ett regionalt uttal till ett annat ord. En sammanfattare kan ta bort den kvalificering som bär ansvaret. Flyt säger inte om transaktionen förblev intakt.

Tänk dig en offentlig informationstjänst som erbjuder samma förklaring av behörighet på nederländska, franska och ett regionalt språk. De två första vägarna har tränats och testats med administrativt material, överklaganden och samtal med domänexperter. Den tredje vägen har utmärkt allmän prosa men ingen meningsfull utvärdering av tjänstens egen terminologi. En instrumentpanel kan visa tre gröna språkmarkeringar. Invånarna får inte tre likvärdiga tjänster. En grupp får en förklaring; en annan får en uppskattning; den tredje får en polerad osäkerhet som ser officiell ut eftersom den har rätt logotyp.

Exemplet är medvetet hypotetiskt. Det är inte ett påstående om en viss kommun eller leverantör. Dess syfte är att blotta ett designfel. Språkstöd räknas ofta vid gränssnittet medan den faktiska skyldigheten sitter längre ner i kedjan. Systemet måste veta vilka data som stöder språket, vilka uppgifter som utvärderades, vem som granskade fel, hur användare kan korrigera dem och när vägen måste avböja att svara. Om dessa detaljer saknas är språkväljaren ett löfte utan kontrakt.

En modells karta är inte samhällets karta

En modell lär sig från en karta över språk som dess data och träningsprocess gör tillgänglig. Ett samhälle lever i en mycket större karta. Modellens karta innehåller de texter, inspelningar, etiketter, översättningar och utvärderingar som släpptes in. Samhällets karta innehåller människor som talar annorlunda hemma och på jobbet, växlar register utan att meddela det, lånar ord över en gräns, använder ett minoritetsspråk i en lokal institution eller skriver i ett skriftsystem som ett benchmark inte inkluderade. Den ena kartan är en teknisk artefakt. Den andra är en ordning av liv, rättigheter och skyldigheter.

Skillnaden spelar roll även för språk med stora offentliga korpusar. Ett nationellt språk är inte en enda enhetlig ström. Myndighetsformulär, domstolsbeslut, klassrumsspråk, hälsoråd, textmeddelanden och ett samtal mellan grannar använder olika ordförråd och olika toleranser för tvetydighet. En modell kan vara kompetent på nyhetsprosa och svag på ett förmånsöverklagande. Den kan hantera standardstavning och kämpa med en dialekt. Den kan översätta en bokstavlig mening och missa den pragmatiska betydelsen som bärs av en artighetsfras. Att kalla hela språket för stött döljer uppgiftsgränsen.

Språkteknologin behöver därför ett mer exakt ordförråd. Vi bör skilja mellan att ett språk finns i träningsdata och att en uppgift utvärderas på det språket. Vi bör skilja mellan en benchmark-översättning och en oberoende skriven testuppgift. Vi bör skilja mellan att läsa ett skriftsystem och att förstå en gemenskaps register. Vi bör skilja mellan ett systems förmåga att generera text och dess befogenhet att råda, klassificera eller besluta. Varje åtskillnad är en liten del av det administrativa arbetet. Tillsammans hindrar de att ett brett påstående byggs upp av snäva bevis.

Det finns en institutionell anledning att vara strikt. Offentliga tjänster är inte fria att välja det enklaste språket och kalla resultatet effektivt. En bank, ett sjukhus, en arbetsgivare eller en programvaruleverantör kan ha olika rättsliga skyldigheter, men var och en beslutar hur mycket friktion en person måste absorbera för att bli förstådd. En flerspråkig väg som misslyckas tyst överför kostnaden till användaren. Användaren måste hitta en översättare, upprepa en berättelse, acceptera ett sämre resultat eller avbryta processen. Systemet rapporterar framgång eftersom det returnerade en sträng. Personen upplever exkludering med utmärkt grammatik.

Vad lågresurs faktiskt innebär

Lågresurs behandlas ofta som en egenskap hos ett språk, som om vissa språk anlände till modellens dörr med färre resurser och borde be om ursäkt för besväret. Det är mer användbart att behandla det som en egenskap hos en uppgift, en datauppsättning och ett styrningsbeslut. Ett språk kan ha betydande litterärt material men lite märkt data för en medicinsk klassificerare. Det kan ha parallelltext men nästan inga talinspelningar. Det kan vara representerat i en korpus utan de rättigheter eller den metadata som behövs för en viss driftsättning. Det kan ha data i en standardform medan de berörda personerna använder en regional variant.

Europeiska kommissionens språkteknologipolitik benämner detta tydligt. Språkdata är grunden för språkverktyg, och mänsklig expertis är en nödvändig del av framgångsrik utveckling. En modell behöver text eller tal, algoritmer, beräkning och människor som förstår språket och domänen. Att ta bort något av dessa element förändrar systemet. Mer beräkning kan inte skapa ett saknat samtal. Fler exempel kan inte reparera en etikett som blandar ihop två juridiska kategorier. En större modell kan inte avgöra vilken källa en gemenskap anser vara auktoritativ.

Arbete med lågresursspråk är därför inte en inbjudan att sänka standarden. Det är en anledning att göra standarden synlig. Om en uppgift har lite utvärderingsmaterial, säg det. Om ett mått är instabilt för ett språkpar, rapportera instabiliteten. Om den mänskliga granskningen var liten, identifiera granskningens omfattning i stället för att presentera den som en allmän garanti. Om en väg är användbar för utkast men inte för beslut, placera den gränsen där en köpare och en användare kan se den. Ärlig brist är säkrare än tystnad som ser rik ut.

Europas språklandskap gör denna disciplin oundviklig. Kommissionen beskriver en komplex uppsättning officiella, regionala och minoritetsspråk och har stöttat initiativ som European Language Grid, European Language Equality-agendan och Common European Language Data Space. Dessa projekt är inte en enda lösning och bör inte beskrivas som en sådan. De är delar av ett ekosystem där data, verktyg, rättigheter, expertis och offentliga institutioner kan mötas. Den institutionella formen är lika viktig som modellen inuti den.

Rättighetsskiktet kommer före benchmarken

Det är frestande att diskutera språkmodeller som om språk vore en neutral ingångskanal. Det är det inte. Ingången kan bära på personuppgifter, en skyddad egenskap, ett lokalt ortnamn, en medicinsk uppgift eller en registrering av en person som ber om hjälp. Källan kan vara upphovsrättsskyddad eller omfattas av en reservation. En översatt utdata kan användas i ett beslut även om översättningsvägen aldrig utvärderades för det sammanhanget. Modellens språkproblem är redan ett rättighetsproblem innan någon väljer ett resultat.

Kommissionens vägledning om språkteknologi kopplar språkdata till både upphovsrätt och dataskydd. Den kopplingen borde förändra hur team utformar pipelines. En korpus är inte bara en hög med meningar. Den har källidentitet, insamlingsvillkor, licens- eller rättighetsstatus, metadata om språk och skrift, kvalitetssignaler, syfte och regler för lagring. Om ett objekt korrigeras eller dras tillbaka behöver organisationen veta vilka härledda artefakter som påverkades. Annars kan en senare modell upprepa ett gammalt fel med samma självsäkerhet som ett nyutskrivet formulär.

Det är här begreppet härkomst visar sitt värde. Härkomst är inte en fotnot som säger att data kom från någonstans. Det är den uppsättning relationer som låter en granskare gå från ett resultat till den relevanta bevisningen och tillbaka igen. I flerspråkigt arbete måste dessa relationer överleva översättning, transkribering, normalisering, segmentering och utvärdering. En mening som översatts för en benchmark är inte utbytbar mot källmeningen. En etikett som skapats av en granskare är inte utbytbar mot en etikett som ärvts från ett annat språk. Transformationen är en del av bevisningen.

Det finns inget krav på att varje användare ska se en forskningslogg. Det finns ett krav på att en organisation kan besvara en allvarlig fråga när den kommer. Vilken version av språkresursen användes? Vilken uppgift stödde den? Vilka språkexperter granskade den? Vad gjorde systemet när förtroendet var lågt? Behandlades ett klagomål som en korrigering av ett svar eller som en möjlig klass av fel? Språkvägen blir pålitlig när dessa frågor har ägare och dokumentation.

Europa bygger språkinfrastruktur, inte bara översättningsknappar

Europeiska kommissionens beskrivning av det gemensamma europeiska språkdataområdet är användbar eftersom den inte reducerar projektet till en modellrelease. Målet är en plattform och marknadsplats för att samla in, dela och återanvända flerspråkiga och multimodala språkdata, samtidigt som de organisationer och individer som genererar datan behåller kontrollen. Den formuleringen pekar mot en annan idé om framsteg. Arbetet handlar inte bara om att producera en bättre mening. Det handlar om att göra språkresurser upptäckbara, rättighetsmedvetna, återanvändbara och ansvarsfulla inom offentlig förvaltning, forskning och industri.

European Language Grid gjorde ett liknande drag genom att samla specialiserade språkteknologiska verktyg och resurser i en gemensam katalog. En katalog bevisar inte att varje tjänst fungerar för varje uppgift. Den gör däremot ett dolt beroende lättare att granska. Ett team kan fråga vad verktyget gör, vilket språk det stöder, var dess data kom ifrån och om licensen matchar den avsedda användningen. Detta är oglamorös infrastruktur. Det är också så en kontinent med många institutioner undviker att bygga samma språkförmåga i isolerade rum.

Infrastruktur spelar roll eftersom den långa svansen av språkarbete inte löses av en enda flaggskeppsmodell. En offentlig myndighet kan behöva taligenkänning för en regional accent, terminologiextrahering för en specialiserad domän, översättningsminne för lagstiftning, namngiven enhetsigenkänning för ortnamn, eller ett sätt att jämföra två versioner av ett dokument utan att förlora diakritiska tecken. Ett företag kan behöva en lokal driftsättning eftersom materialet inte får lämna dess jurisdiktion. En forskningsgrupp kan behöva en datauppsättning med tydlig härkomst snarare än ännu ett anonymt resultat.

Det finns ett tyst politiskt val i detta synsätt. Data och verktyg behandlas som förmågor som Europa ska kunna granska och forma, inte som en tjänst som kommer från ett osynligt annanstans. Det betyder inte att europeiska system automatiskt är bra eller att kommersiella leverantörer på andra håll inte kan vara användbara. Det betyder att ett språk är för viktigt för att lämnas utan ett offentligt ordförråd för sin data, sina brister och sin utvärdering. Suveränitet börjar med att veta vad systemet inte kan se.

Översättning är inte neutral rördragning

Översättning placeras ofta mellan två komponenter i ett arkitekturdiagram, som om den vore ett rör som för mening från en sida till en annan. Verklig översättning är en serie beslut. Vilken källtext är auktoritativ? Vilka ord måste förbli exakta? Vilken tvetydighet ska bevaras? Vilken kulturell referens behöver en förklaring? Vilken stilnivå är lämplig för ett offentligt meddelande? Vilken enhet får inte översättas? Vilket datum, vilken siffra eller vilken enhet ska återges i läsarens konvention? En modell kan fatta dessa beslut snabbt. Snabbhet gör dem inte osynliga.

Betrakta skillnaden mellan att översätta en väderlek-mening och att översätta ett meddelande om en deadline. I det första fallet kan ett litet stilfel vara irriterande. I det andra kan en siffra eller ett modalt verb ändra vad en person tror att de måste göra. Den underliggande språkmodellen kan ha samma tokenbudget och samma konfidensvisning. De sociala konsekvenserna är inte desamma. Utvärdering måste därför följa uppgiften, inte stanna vid en allmän språkpoäng.

Kommissionens sida om sin egen språkanvändning gör poängen utan dramatik. Maskinöversättning kan ge en grundläggande uppfattning, men kvalitet och träffsäkerhet varierar avsevärt från en text till en annan och mellan språkpar. Det är en användbar offentlig mening eftersom den vägrar att förvandla en tjänst till ett orakel. Den ger läsaren tillåtelse att använda en översättning som en orientering samtidigt som den bevarar en anledning att söka en mänsklig eller auktoritativ version när konsekvensen motiverar det.

För produktteam innebär det en uppsättning tydliga vägar. En översättning med låga konsekvenser kan returneras direkt med en tydlig status. En juridisk eller medicinsk väg kan kräva mänsklig granskning, en källänk eller ett avslag. Ett internt utkast kan bevara källtexten bredvid översättningen. Ett talgränssnitt kan upprepa ett kritiskt namn och be om bekräftelse. Valet står inte mellan full automatisering och ingen automatisering. Det står mellan en pipeline som deklarerar sina överlämningar och en som döljer dem bakom ett flytande stycke.

Meningen överlever, situationen gör det inte

Modeller arbetar med representationer. Samhällen arbetar med situationer. När en översättning rör sig från det ena till det andra kan små detaljer bli hela meningen. En fras som är artig på ett språk kan låta undvikande på ett annat. En term som skiljer en lagstadgad rättighet från en diskretionär tjänst kan kollapsas till ett generiskt ord för hjälp. En idiom kan översättas bokstavligt och bli nonsens, eller översättas fritt och förlora referensen som identifierar en gemenskap. Ingen av dessa misslyckanden kräver en absurd utdata. Det farliga svaret är det som ser vanligt ut.

EU MMLU-utgåvan pekar ut exakt detta område. Dess kvalitetskriterier ber flerspråkiga riktmärken att testa inte bara mening och svårighetsgrad, utan också idiom, humor, kulturella referenser, datum- och nummerformat samt skillnader i förväntad ton eller artighet. Detta är en viktig utvidgning av utvärderingsmålet. En språkmodell tillfrågas inte bara om den kan producera en grammatisk mening. Den tillfrågas om meningen hör hemma i situationen där en person kommer att agera på den.

Att nämna humor är inte en inbjudan att göra benchmarken underhållande. Det är ett erkännande av att humor är ett stresstest för kontext. En ordagrann översättning kan bevara orden och förstöra skämtet. En kulturellt anpassad översättning kan bevara effekten samtidigt som referensen ändras. I en offentlig informationstjänst uppträder samma mekanism utan skratt. Ett ordspråk, en lokal ortnamn eller en formell hälsning kan signalera vem som talar och vilken relation meddelandet skapar.

När team säger att en modell förstår ett språk bör de fråga sig vilket lager de menar. Känner den igen skriften? Segmenterar den ord korrekt? Identifierar den entiteter? Översätter den propositionen? Bevarar den rättslig giltighet? Följer den en lokal konvention? Bevarar talarens grad av säkerhet? Hanterar den en icke-standardiserad stavning? Svarar den i rätt register? Detta är separata förmågor. En enda etikett som kallas flerspråkig döljer det arbete som krävs för att etablera var och en av dem.

Varför utvärdering måste följa med språket

Utvärdering läggs ofta till i slutet eftersom team vill ha en siffra att fästa vid en modell. Flerspråkiga system gör den ordningen omöjlig. Testdatan avgör vad som räknas som ett fel. Språket avgör hur en mening kan misslyckas. Domänen avgör vilket misslyckande som spelar roll. Användaren avgör om systemets svar är en hjälp eller ett hinder. Utvärdering måste följa med alla fyra.

Den europeiska forskningsrapporten Towards Multilingual LLM Evaluation for European Languages visar problemets omfattning. Författarna bedömer 40 språkmodeller över 21 europeiska språk, undersöker översatta versioner av fem välanvända benchmarks och publicerar ett ramverk som inkluderar EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA och EU20-GSM8K. Rapporten hävdar inte att en översättning av en befintlig benchmark automatiskt gör den rättvis. Den behandlar översättningstjänster, benchmarkkonstruktion och jämförbarhet mellan språk som saker att undersöka.

Det är rätt hållning. En översatt testuppgift kan ärva en svårighetsförändring, ett kulturellt antagande eller en ledtråd som inte fanns i originalet. En modell kan få högre poäng för att den översatta formuleringen gör svaret lättare, inte för att modellen blev mer kapabel. Den kan få lägre poäng för att en grammatisk konstruktion är onaturlig på målspråket, även om det underliggande resonemanget är sunt. Båda utfallen är bevis om testet såväl som modellen.

Mänsklig granskning förblir nödvändig, men mänsklig granskning behöver också ett kontrakt. Vem granskade uppgiften? Var granskarna modersmålstalare, domänexperter eller både och? Granskade de isolerade meningar eller uppgiften i sitt sammanhang? Dokumenterades meningsskiljaktigheter? Bevarade benchmarken alternativa godtagbara svar? En språkexpert kan berätta för oss att en fras är fel. En domänexpert kan berätta för oss varför felet ändrar ett beslut. En trovärdig utvärdering behöver ofta båda och måste säga vilken den hade.

Poängen är inte att få varje system att klara en oändlig examination innan någon kan använda det. Det är att förhindra att ett snävt test misstas för ett brett påstående. Om en modell har utvärderats på korta faktabaserade frågor i standardskrivet språk, rapportera det. Låt inte resultatet tyst bli ett påstående om talad interaktion, juridisk textförfattning, lokal förvaltning, barn, äldre eller varje register i språket.

En poäng blir användbar när dess uppgift, språk, kontext och granskning förblir synliga.

Läxan från maltesiska och baskiska

En artikel som presenterades vid LREC-COLING-konferensen 2024 undersökte utvärdering av maskinöversättning från engelska till maltesiska och från spanska till baskiska. Författarna granskade utvärderingsmåttet COMET, samlade in direkta mänskliga bedömningar och testade hur väl måttet fungerade när det anpassades till de två språkparen. Deras slutsats är modest men betydelsefull: måttets prestanda kan förbättras med finjustering, och det kan vara mycket känsligt för fördelningen av poäng i träningsdatan, särskilt i miljöer med begränsade resurser.

Det här handlar inte om att ett enskilt mått misslyckas. Det handlar om vad en poäng är beroende av. Ett mått som tränats på en fördelning kan bete sig annorlunda när det får bedöma en annan. Ett språkpar med mindre utvärderingsmaterial kan få poängen att se mer avgörande ut än den är. Ett system som är bekvämt att jämföra kan ändå vara en dålig proxy för vad talare anser vara en bra översättning. Mänskliga bedömningar gör inte utvärderingen perfekt, men de blottar de ställen där ett automatiskt mått gör antaganden.

En annan studie från 2024, Benchmarking Low-Resource Machine Translation Systems, jämför offentligt tillgängliga system över fyra dataset och 26 språk och publicerar resultaten genom BENG, en FAIR-plattform för riktmärkning av naturlig språkgenerering. Även här är bidraget inte en universell rankning. Det är en mer granskbar jämförelse. Effektivitet och verkan betraktas tillsammans, och språklistan är synlig. En läsare kan fråga sig om riktmärket inkluderar den väg som faktiskt betyder något, i stället för att acceptera en enda rubriksiffra.

Dessa studier erbjuder en europeisk läxa i återhållsamhet. Det svåra är inte att uppfinna ännu en poäng. Det är att bygga en utvärdering som låter läsaren se vems språk, vems uppgift och vems definition av kvalitet som producerade poängen. När den kontexten saknas blir en siffra en gränspassage utan pass. Den kan ta sig igenom presentationen, men ingen kan fastställa var den kommer ifrån.

Språktäckning kan vara en säkerhetsegenskap

Säkerhetsdiskussioner fokuserar ofta på innehåll som ett system bör vägra, attacker som det bör motstå eller fel som det bör fånga upp. Språk lägger till en annan fråga: kan systemet känna igen när det är utanför sin kompetens? En väg som fungerar på ett språk kan misslyckas oftare på ett annat samtidigt som den behåller samma självsäkra ton. Om gränssnittet inte visar skillnaden kan användarna inte kalibrera sitt förtroende.

Detta är särskilt viktigt när språk ingår i en säkerhetskritisk interaktion. En patient kan beskriva ett symtom på en regional variant. En arbetare kan rapportera en fara med en lokal term. En boende kan lämna in ett överklagande med en stavningskonvention som en normaliserare behandlar som brus. En modell kan vara tekniskt korrekt på sitt riktmärke och operativt osäker för den vägen. Den relevanta frågan är inte om systemet kan generera ett rimligt svar. Det är om säkerhetskontrollerna utvärderades på det språk och den situation som ligger framför det.

Säkerhet kräver inte att varje språkväg behandlas som ett särskilt nödläge. Det kräver att kontrollen matchas mot konsekvensen. Ett lågrisksökresultat kan visa sina källor och inbjuda till en korrigering. Ett medicinskt triagegränssnitt kan dirigera osäker språkinmatning till en utbildad professionell. Ett juridiskt dokumentarbetsflöde kan hålla källan och översättningen sida vid sida och kräva godkännande före publicering. Ett röstsystem kan be användaren att upprepa ett namn i stället för att tyst välja den närmaste kända enheten. Detta är vanliga tekniska val när språk behandlas som en del av systemgränsen.

Vägran i sig behöver språkdesign. Att säga till en användare att ett system inte kan svara är inte tillräckligt om vägran är otydlig, nedlåtande eller inte tillgänglig på användarens språk. Systemet bör säga vad det inte kunde fastställa, vilken information som skulle hjälpa och vilken mänsklig eller auktoritativ väg som är tillgänglig. Annars blir en säkerhetskontroll ytterligare en tillgångsbarriär. Europas språkprincip testas tydligast när ett system inte kan ge det begärda svaret.

Den operativa utformningen av en flerspråkig tjänst

En pålitlig flerspråkig tjänst har en operativ form som är lätt att beskriva och förvånansvärt svår att upprätthålla. För det första namnger den uppgiften. Översättning, transkribering, klassificering, hämtning, sammanfattning och generering är inte utbytbara. För det andra namnger den språkvägen, inklusive skrift och eventuell relevant regional eller domänspecifik gräns. För det tredje registrerar den källmaterialet och de transformationer som tillämpats på det. För det fjärde definierar den gransknings- och eskaleringsvägen. För det femte berättar den för användaren vad systemet kan och inte kan hävda.

Dessa steg är inte ett krav på en enorm byråkrati. De är det minimum som krävs för att göra ett språklöfte testbart. Om en leverantör säger att en modell stöder finska, bör en köpare kunna fråga om det innebär textgenerering, taligenkänning, översättning från vilka språk eller allt ovanstående. Om ett produktteam säger att det stöder ett regionalt språk, bör det säga om stödet baseras på inhemsk data, översatt data, en liten utvärderingsuppsättning eller en expertgranskning. Om svaret är okänt, är okänt en giltig status.

Tjänsten behöver också en ändringspolicy. Nytt utbildningsmaterial, en ny tokeniserare, en ny översättningsmodell, en ny terminologilista eller en ny användargrupp kan förändra språkbeteendet. En release som förbättrar en väg kan försämra en annan. Ett riktmärkesresultat från förra året beskriver inte automatiskt dagens system. Versionsregister, jämförelsetester och en väg för att rapportera språkspecifika fel gör tjänsten underhållbar snarare än ceremoniell.

Underhåll har en mänsklig sida. Språkexperter behöver ett sätt att se de fel som påverkar deras samhällen. Domänteam behöver ett sätt att skilja ett översättningsfel från en policyotydlighet. Operatörer behöver ett sätt att pausa en väg utan att vänta på att en modellleverantör tolkar ett klagomål. Användare behöver ett sätt att säga att systemet missförstod ett ord, ett sammanhang eller en persons namn. En flerspråkig tjänst är inte komplett när modellen är utplacerad. Den är tillräckligt komplett för att vara ansvarig när nästa språkproblem dyker upp.

Proveniens genom en språkpipeline

Proveniens blir konkret när vi följer en enda betydelsebärande enhet genom ett system. Börja med ett källstycke. Registrera dess språk, skriftsystem, författare eller institution när detta är känt, samt rättigheter och syfte. Om texten är segmenterad, bevara relationen till originalet. Om den är översatt, behåll källan samt översättaren eller översättningsprocessen. Om en granskare ändrar formuleringen, registrera det som ett nytt tillstånd, inte som en tyst ersättning. Om stycket blir en benchmarkpost, för med dig uppgiften, facit, språk och granskningsprotokoll.

Vid körning gäller samma disciplin i omvänd ordning. Lagra vilken språkväg som hanterade begäran, vilken modell- eller verktygsversion som kördes, vilka källevidens som hämtades, vilket osäkerhets- eller avvisningstillstånd som nåddes, och vilken mänsklig åtgärd som följde. Registret behöver inte exponera privat innehåll för varje operatör. Det måste dock göra de väsentliga fakta tillgängliga för en behörig granskare. Utan dem blir en språkincident en debatt om intryck.

Det är här flerspråkig proveniens skiljer sig från en generisk granskningslogg. En tidsstämpel och ett modellnamn berättar att något hände. De berättar inte om källan översattes, om svaret ändrade ett nummerformat, om en namngiven enhet normaliserades, eller om granskaren arbetade på målspråket. Omvandlingsvägen är beviset. Ett kort svar kan dölja en lång kedja av beslut.

Det finns en liten holländsk dygd i detta synsätt: håll registret tillräckligt tråkigt för att någon ska kunna använda det en tisdagseftermiddag. En provenienspost ska inte vara en museiskylt skriven för en granskning som kanske aldrig kommer. Den ska hjälpa en operatör att besvara nästa fråga, stoppa rätt väg och förklara resultatet för en person som inte har något intresse av din arkitekturritning. God språkstyrning är något lätt ointressant. Det är så du vet att den kan överleva kontakt med arbete.

De dolda valen i en översättning

Varje översättningssystem bär på val som förtjänar namn. Tokenisering avgör hur indata delas upp. Normalisering avgör vilka distinktioner som bevaras eller kastas bort. Uppriktning avgör vilka delar av två texter som behandlas som likvärdiga. Terminologi avgör vilka ord som är stabila. Avkodning avgör hur utdata väljs. Efterbearbetning avgör vad läsaren ser. Ingen av dessa steg är i sig fel. Varje steg kan skapa ett språkspecifikt fel som är osynligt i en generisk demo.

Ta ett egennamn. Ett system kan översätta det, translitterera det, bevara det eller ersätta det med en välbekant stavning. För en dikt kan flera val vara försvarbara. För ett identitetsdokument kan bara ett vara acceptabelt, och det kan bero på utfärdande myndighet. Ta en enhet eller ett datum. Värdena kan förbli matematiskt likvärdiga medan formen blir tvetydig för en läsare. Ta ett genusburet substantiv eller pronomen. En översättning kan införa information som källan undanhöll, eller radera en distinktion som källan gjorde medvetet.

Designsvaret är inte att frysa språket. Det är att ange policyn och göra undantaget synligt. En terminologilista kan skydda juridiska termer. En regel för namngivna enheter kan förhindra att en stad blir en person. En källbevarande vy kan låta en granskare jämföra original och utdata. En mänsklig eskalering kan utlösas av ett namn med låg konfidens, en oenighet mellan vägar eller en uppgift som klassificerats som högrisk. Modellen förblir användbar eftersom dess gränser är en del av arbetsflödet.

Stora språkmodeller gör valen svårare att se eftersom resultatet är så jämnt och flytande. Ett jämnt och flytande resultat är ett utmärkt gränssnitt men en opålitlig förklaring. Systemet kan producera en mening som låter inhemsk samtidigt som det väljer fel betydelse av ett ord. Det kan bevara det övergripande ämnet men tappa bort en negation. Det kan översätta ett lokalt uttryck till ett standardspråkligt som ändrar talarens ståndpunkt. Därför kan språkkvalitet inte representeras av enbart grammatik. Betydelse har en social form.

Skriftsystem, dialekter, register och institutioner

Språkstöd presenteras ofta på nivån av ett språknamn, men läsare möter skriftsystem, varieteter och register. Ett system som hanterar modern standardspråklig stavning kan ha svårt med historiska dokument. En taligenkännare kan hantera studioinspelat ljud men misslyckas på en fullsatt station. En chattbot för allmänheten kan svara i ett formellt register när användaren behöver ett enkelt språk. En institution kan använda en term som skiljer sig från vardagsspråket av en anledning som är juridiskt viktig.

Detta är inte randfall i nedlåtande bemärkelse. Det är här språket möter världen. Ett regionalt namn kan vara skillnaden mellan en korrekt adress och en misslyckad leverans. Ett dialektalt ord kan vara det enda ord en person känner till för ett symtom. En formell fras kan signalera att ett meddelande har rättslig verkan. En skriftvariant kan avgöra om ett dokument är sökbart. Om ett riktmärke utesluter dessa vägar kan det fortfarande vara användbart, men det kan inte stå för hela språket.

Att testa alla varieteter är inte alltid möjligt. Det ärliga svaret är att beskriva den delmängd som stöds och bjuda in till bevis om resten. Ett system kan publicera att det utvärderades på standardiserad skriven nederländska för sammanfattning av offentlig information, utan att göra anspråk på regional taligenkänning. Det kan lägga till ett test för frisiska eller baskiska utan att låtsas att tillägget löser alla frågor om regionala och minoritetsspråk. Specificitet är inte en svaghet. Den talar om för användarna var golvet ligger.

Institutioner bör också motstå idén att en nationell språkväg automatiskt är neutral. Förvaltningsspråk kan vara otillgängligt för talare av samma språk. Tillgänglighet och flerspråkighet överlappar eftersom båda frågar om läsaren kan förstå och agera. Kommissionens språkarbete inkluderar verktyg för förenkling och tillgänglig text just av denna anledning. En mening kan vara språkligt korrekt och ändå institutionellt oanvändbar.

När gränssnittet är flytande men fel

De svåraste språkfelen är inte spektakulära. De är svar som klarar ögonprovet. En sammanfattning innehåller rätt namn men ändrar vem som är ansvarig. En översättning bevarar substantiven men förvandlar en rekommendation till en instruktion. En klassificerare förstår ämnet men missar en negation. Ett röstsystem känner igen orden men inte talarens tvekan. En användare läser resultatet på sitt eget språk och antar att flytet är ett tecken på omsorg.

Vi bör designa för denna typ av fel istället för att vänta på att ett bisarrt exempel blir en rubrik. Jämför källa och resultat för innehåll med höga insatser. Bevara osäkerhetsmarkörer. Håll kvar citat eller dokumentreferenser. Be om bekräftelse när ett nummer, namn eller en deadline är central. Gör vägen synlig för operatören. Erbjud en korrigeringsmekanism som inte kräver att användaren vet vilken komponent som misslyckades. Dessa kontroller är små, men de förvandlar en översättning till en granskbar transaktion.

Mänsklig granskning ska inte beskrivas som en magisk sista utväg. Granskare har tidsbegränsningar, kunskapsluckor och egna språkliga antaganden. Ett användbart granskningsgränssnitt ger dem källan, resultatet, sammanhanget och anledningen till eskalering. Det dokumenterar meningsskiljaktigheter snarare än att sopa dem under mattan. Om granskare upprepade gånger rättar samma term kan organisationen förbättra terminologin eller ändra uppgiftens avgränsning. Om meningsskiljaktigheten visar att källan i sig är tvetydig kan rätt åtgärd vara att fråga författaren, inte att träna modellen hårdare.

Operatörer behöver också ett sätt att se negativa belägg. Vilka språk utvärderades inte? Vilka uppgifter saknar mänsklig granskning? Vilka förfrågningar avvisades? Vilka användare lämnade flödet efter en översättning? En frånvaro kan vara en signal. Ett grönt täckningsdiagram som utelämnar de misslyckade vägarna är en karta över marknadsföringsytan, inte över tjänsten.

Mänsklig expertis är inte en reservknapp

Europeisk språkteknologipolitik placerar lingvister, dataforskare, datortekniker och domänexperter i samma mening. Det är ett designkrav, inte en lista över yrkesgrupper att bjuda in till ett lanseringssamtal. Varje person ser ett annat slags fel. Lingvisten ser en onaturlig konstruktion eller en förlorad distinktion. Ingenjören ser ett segmenterings- eller dirigeringsproblem. Domänexperten ser ett farligt kategorifel. Operatören ser en kö som ingen äger. Personen som använder tjänsten upplever ett beslut som inte längre är begripligt.

Mänsklig expertis bör komma in innan riktmärket fryses. En språkexpert kan hjälpa till att välja testmaterial som representerar verkliga register snarare än bara rena meningar. En domänexpert kan identifiera termer som inte får glida. En företrädare för användarna kan berätta för teamet vilka formuleringar som känns officiella, förtrogna eller kränkande. En dataansvarig kan förklara vilken härkomst som finns tillgänglig och vilken som inte gör det. Dessa bidrag formar systemets kontrakt. De är inte dekoration efter att de tekniska valen har gjorts.

Det finns förstås en kostnad. God granskning tar tid och betalar människor för kunskap som ofta behandlas som osynlig. Den kostnaden är en del av språkstödet. Alternativet är att lägga den på användarna, som betalar med förvirring och överklaganden, eller på personalen, som översätter och reparerar flödet informellt. Ett system som verkar billigt för att det ignorerar språkexpertis är inte effektivt. Det har bara flyttat fakturan.

Vad ett rättvist riktmärke måste visa

Ett flerspråkigt riktmärke bör börja med ett påstående som är tillräckligt litet för att testas. Påståendet kan vara att ett system kan besvara frågor om offentlig information på en uppsättning språk, bevara datum och siffror samt avvisa när källbelägg saknas. Det kan vara att en översättningsväg hanterar ett visst språkpar och en viss domän på en definierad kvalitetsnivå. Det kan vara att en taligenkännare kan transkribera en specificerad variant under specificerade akustiska förhållanden. Riktmärket är ett kontrakt för det påståendet.

Kontraktet behöver mer än en språklista. Det bör visa uppgiften, källan, domänen, registret, skriften, riktningen, kontextlängden, inmatningsförhållandena, referenssvaren, acceptabla varianter, mätvärden, mänsklig granskning och osäkerhet. Det bör ange om materialet ursprungligen skrevs på varje språk eller översattes. Det bör dokumentera vem som reviderade det och vilka meningsskiljaktigheter som kvarstod. Det bör skilja aggregerade resultat från resultat per språk. Det bör visa tillräckligt många exempel för att en läsare ska kunna förstå vad poängen mäter.

EU:s MMLU-kriterier är användbara eftersom de vidgar ordet rättvisa. Balanserad representation av EU:s officiella språk är en del. Att bevara innebörd, svårighetsgrad och testvärde mellan språk är en annan. Att testa EU-värderingar och kulturella sammanhang, inklusive idiom, humor, referenser, datum- och nummerformat, ton och artighet, gör benchmarken till ett socialt instrument såväl som ett tekniskt. Kriterierna tar inte bort omdömet. De gör omdömet granskningsbart.

De som designar benchmarks bör publicera felslice, inte bara medelvärden. En modell kan ha ett bra medelvärde samtidigt som den misslyckas med varje uppgift som rör en viss stilnivå eller typ av nummer. En rutt kan vara effektiv i en riktning och långsam eller dyr i en annan. Ett mått kan korrelera med mänskligt omdöme på ett språk och bli instabilt på ett annat. Vyer per språk och per uppgift är ingen lyx. De är hur en köpare undviker att köpa medelvärdet och använda undantaget.

Slutligen bör en benchmark ange vad den inte kan berätta för oss. Ett skriftligt test fastställer inte talprestanda. En översättningspoäng fastställer inte juridisk tillförlitlighet. En uppsättning officiella språk fastställer inte stöd för regionala språk eller minoritetsspråk. En hög poäng fastställer inte att en person kan överklaga ett beslut. Begränsningen är ingen skamfläck. Den är kartans kant, och användarna behöver se den innan de ger sig ut.

En poäng är en kartförklaring, inte terrängen

Siffror är användbara eftersom de tvingar fram en jämförelse. De är farliga eftersom de inbjuder till en slutsats som är större än mätningen. En poäng kan berätta hur ett system betedde sig på ett definierat urval under en definierad metod. Den kan inte berätta hur en gemenskap kommer att uppleva systemet utan en bro av antaganden. Bron kan vara hållbar. Den måste namnges.

Anta att ett system förbättras på en flerspråkig benchmark efter finjustering. Det är bevis på förbättrad prestanda på den utvärderingen. Det är inte automatiskt bevis på att systemet är säkrare i en offentlig tjänst. Tjänsten kan använda annan terminologi, längre kontext, talinmatning, en annan stilnivå eller ett nedströms arbetsflöde som gör ett förslag till ett beslut. Benchmarken kan fortfarande vara värdefull. Den blir mer värdefull när organisationen anger vilken del av tjänsten den representerar.

Samma disciplin gäller energi, hastighet och kostnad. En rutt på ett språk med få resurser kan kräva mer mänsklig granskning eller en större hämtningskontext. Det är ingen defekt att dölja i ett medelvärde. Det är en egenskap hos tjänsten som bör informera designen. Europeiska institutioner har ägnat decennier åt att bygga översättnings- och språktjänster eftersom den praktiska kostnaden för språklig mångfald är verklig. Ett AI-system avskaffar inte den kostnaden genom att producera text snabbt.

Det är ingen skam att välja en smalare rutt. Ett team kan stödja färre uppgifter väl, publicera gränsen och lägga till språk i takt med att bevisen växer. Det är bättre än att hävda varje språk och be användarna upptäcka luckorna. Den europeiska instinkten för en standard är starkast när den kombineras med den holländska instinkten att kontrollera om saken fungerar en helt vanlig onsdag.

Bygg för 24, testa bortom 24

Europeiska unionen har 24 officiella språk och arbetsspråk, och kommissionens översättningstjänst arbetar över alla dessa. Den siffran skapar en användbar baslinje för offentlig infrastruktur. Den definierar inte Europas språkliga liv. Regionala språk, minoritetsspråk, icke-territoriella språk och migrantspråk formar också gemenskaper och institutioner. Ett system byggt för 24 kan fortfarande utesluta människor som inte använder en av dessa rutter, eller som använder ett officiellt språk i en form som systemet inte utvärderade.

Att bygga för 24 är därför ett ansvar att göra baslinjen verklig, inte ett tillstånd att sluta. En språkväg bör bära sin egen bevisning. En offentlig aktör bör kunna säga vilka officiella språk som omfattas för vilka uppgifter, vilken mänsklig granskning som finns och var användare kan få en auktoritativ version. Den bör också ha ett sätt att lära från språk utanför den initiala uppsättningen utan att göra gemenskapen till ett obetalt testlabb.

Att testa bortom 24 innebär mer än att lägga till ett nyhetsspråk i en demo. Det innebär att arbeta med talare, institutioner och forskare för att avgöra vad uppgiften är, vad källmaterialet får användas till och vad som räknas som ett skadligt fel. Processen kan producera en liten, noggrant avgränsad förmåga. Det är fortfarande framsteg. En blygsam väg med ett tydligt kontrakt kan vara mer värd än ett imponerande påstående som ingen operatör kan försvara.

Vad vi försöker göra explicit

På Dweve närmar vi oss detta ämne från infrastruktursidan. Loom beskrivs i vårt offentliga produktmaterial som en uppgiftskompilerad kognitiv modell vars språkkomponenter renderar en styrd resultatgraf, medan begränsningsinlärning, grafkomposition, lösare och verifiering bär beslutsauktoriteten. Det är en arkitektonisk position, inte ett påstående om flerspråkig prestanda. Den gör inte en språkväg korrekt. Den gör en skyldighet svår att dölja: språkutdata bör inte vara den enda plats där systemets resonemang och bevisning finns.

Vårt Ground Truth-arbete gör samma poäng i en mer mänsklig skala. Människor behöver tillräckligt med gemensamt språk för att skilja en modell från ett arbetsflöde, en förutsägelse från bevisning och ett flytande svar från ett kontrollerat resultat. I flerspråkiga system behöver det ordförrådet ytterligare ett ord: väg. Ett nederländskt svar, ett franskt svar och ett baskiskt svar är inte bara renderingar av en intern händelse om bevisningen, terminologin, granskningen och felbeteendet skiljer sig åt. Vägen är en del av påståendet.

Den positionen är medvetet mindre spännande än att säga att en modell förstår Europa. Den är också mer användbar. Vi vill att ett system ska visa vad det fick, vilka källor och begränsningar det kunde använda, vad det inte kunde fastställa och när en människa bör ta över. Språk är en yta genom vilken en person möter det arbetet. Ytan bör vara tydlig, men den bör inte tillåtas radera strukturen under.

Vi är inte undantagna från de standarder som beskrivs här. Ett proveniensfält reparerar inte saknade data. En deterministisk väg bevisar inte att en översättning är rättvis. En europeisk behandlingsgräns ger inte språklig kompetens. Det enda ärliga sättet att göra ett flerspråkigt påstående är att fortsätta testa, publicera begränsningarna och låta språkexperter utmana vägen. Produktnamnet är inte bevisning. Registret är det.

En praktisk standard för team

Team som överväger att införa en flerspråkig AI-funktion kan börja med en kort uppsättning frågor. Vad exakt måste systemet göra på varje språk? Vilka människor påverkas om det är fel? Vilket källmaterial är auktoritativt? Hur skapades testobjekten, och av vem? Vilka register, skript, dialekter och domäner ingår i påståendet? Vad gör systemet när det inte kan fastställa mening? Vem kan pausa vägen? Hur kan en användare korrigera ett svar utan att bli projektets obetalda lingvist?

Frågorna blir konkreta när de kopplas till artefakter. Håll ett språkvägskort med uppgiften, språkvarieteter som stöds, källfamiljer, rättighetsstatus, modell- och verktygsversioner, utvärderingsresultat, kända felsätt och granskningsansvarig. Håll exempel på fel med deras sammanhang, inte bara ett resultat. Håll källan bredvid en översättning med höga konsekvenser. Håll en eskaleringsanledning som en operatör kan förstå. Håll en ändringslogg när en tokenizer, terminologilista, benchmark eller modell ändras.

Inköpsorganisationer kan be leverantörer om resultat per språk och per uppgift i stället för ett enda genomsnitt över flera språk. De kan fråga om en benchmark har översatts eller skrivits på originalspråket, om mänskliga bedömningar finns tillgängliga, hur vägar med begränsade resurser hanteras och om leverantören kan exportera det underlag som behövs för en granskning. De kan fråga vad som händer när ett språk inte stöds, eftersom ett avslag och en tyst reservlösning får mycket olika konsekvenser.

Produktteam kan utforma gränssnittet så att väg och konfidens visas utan att låtsas att en konfidenssiffra är en sannolikhet för sanning. De kan bevara källänkar, använda ett tydligt språk i avslag och göra granskningsåtgärder synliga. De kan undvika formuleringen stöder alla språk om de inte kan definiera verbet. Stöder kan betyda visar text, tar emot indata, översätter, sammanfattar, svarar, klassificerar, talar eller hanterar ett reglerat arbetsflöde. En språkväljare är inte en specifikation.

Forskningsteam kan publicera datamängder med härkomst och korrigeringsvägar. De kan inkludera negativa resultat och rapportera när ett mått inte överförs väl. De kan bjuda in språkgemenskaper till utvärderingen innan en modell förklaras redo och betala för expertisen. De kan stå emot trycket att omvandla ett snävt resultat till ett universellt påstående. Den mest värdefulla benchmarken kan vara den som får ett team att ta bort en mening från sin produktsida.

Samhället bakom modellen

En språkmodell kan vara mycket bra på att producera språk utan att veta vad språk gör i ett samhälle. Den kan förutsäga en fras, översätta ett stycke och svara på en fråga samtidigt som den missar den institutionella relation som orden bär. Det gapet är inte ett bevis på att modellen är oanvändbar. Det är ett bevis på att språk är mer än en datatyp.

Europas svar bör inte vara en tävling i att räkna språk i ett modellkort. Det bör vara ett uthålligt arbete för att göra språkdata, rättigheter, expertis, utvärdering och offentlig kontroll till en del av samma infrastruktur. Kommissionens språkteknologiarbete, Language Data Space, European Language Grid och EU:s MMLU-benchmark pekar alla i den riktningen. Europeiska forskare testar vad som händer när översatta benchmarks behandlas som forskningsfrågor i stället för som oemotsagda instrument. Arbetet förtjänar uppmärksamhet eftersom det gör ett gammalt politiskt faktum tekniskt synligt: människor upplever inte unionen på ett enda språk.

Nästa gång en leverantör säger att en modell är flerspråkig, fråga vad påståendet innehåller. Vilka språk? Vilka uppgifter? Vilka gemenskaper? Vilka källor? Vilken granskning? Vilket avslag? Vilken ändringslogg? Frågan är inte fientlig. Den är den vanliga början på ansvarsutkrävande.

Ett samhälle blir inte rättvist för att en maskin kan upprepa dess ord. Det blir mer rättvist när människor kan komma in i dess institutioner, förstå vad som händer, ifrågasätta ett resultat och bli hörda på det språk som bär deras liv. En modell kan hjälpa till i det arbetet. Den kan inte definiera det. Språket i en modell är en teknisk förmåga. Språket i ett samhälle är ett gemensamt ansvar.

Källor