Sproget i en model er ikke sproget i et samfund

En flersproget model er ikke retfærdig, fordi dens grænseflade viser mange sprog. Sprogdækning er et institutionelt, kulturelt og sikkerhedsmæssigt...

Sproget i en model er ikke sproget i et samfund

Seksten sprog er en begyndelse, ikke en dom

Den 22. juli 2026 offentliggjorde Europa-Kommissionens Generaldirektorat for Oversættelse EU MMLU, en benchmark, der skal teste store sprogmodeller på tværs af europæiske sproglige og kulturelle sammenhænge. Offentliggørelsen var usædvanligt ærlig om det hul, den forsøgte at lukke. Mange evalueringsdatasæt er bygget på engelsk. En model kan klare sig godt der og stadig præstere dårligt på fransk, ungarsk eller maltesisk. Det nye datasæt begynder med seksten officielle EU-sprog, syv fagområder og mere end tusind spørgsmål, der er oversat og revideret af næsten 250 studerende fra 21 europæiske universiteter.

Den vigtigste del af den meddelelse er ikke listen over sprog. Det er sætningen under den: en models adfærd kan ikke udledes af det sprog, hvor den virker mest flydende. Det burde være indlysende. Det er også den antagelse, der ligger bag en bemærkelsesværdig mængde indkøb, forskning og offentlig debat. Vi taler stadig om en sprogmodel, som om den har ét sind, og beder den så tage forskellige sprog på som frakker. Frakken skifter. Sindet, beviserne, de blinde vinkler og den sociale kontekst behandles som stabile.

Det er de ikke. Sprog er der, hvor et menneske møder en institution. Det bærer vilkårene for en ydelse, tonen i en klage, forskellen mellem råd og instruktion, formen på en vittighed, navnet på et sted og antagelserne i en formular. Når et system håndterer ét sprog bedre end et andet, producerer det ikke blot en mindre elegant sætning. Det kan ændre, hvem der bliver forstået, hvem der bliver troet, hvem der kan udfordre et resultat, og hvem der giver op, før de finder den rigtige dør.

Den praktiske konklusion er klar. Flersproget AI er ikke en oversættelsesfunktion, der tilføjes, efter modellen er bygget. Det er et spørgsmål om adgang, beviser og autoritet. Europas arbejde med sprogteknologier, sprogdata og flersproget evaluering er værdifuldt, fordi det behandler problemet som infrastruktur. Arbejdet er stadig ufuldstændigt. En benchmark er ikke en garanti, og seksten sprog er ikke hele Europa. Men retningen er rigtig: stop med at spørge, om en model taler et sprog, og begynd at spørge, hvad den sikkert kan gøre på det sprog, for hvem, under hvilke betingelser og med hvilke beviser.

Sprogdækning er kun troværdig, når kilde, kontekst, gennemgang og servicekrav forbliver forbundet.

Sprog er en adgangsgrænse

Europa har gjort sprog til et institutionelt faktum, ikke en privat præference. Artikel 22 i chartret om grundlæggende rettigheder siger, at Unionen skal respektere den kulturelle, religiøse og sproglige mangfoldighed. Kommissionens egen sprogteknologipolitik stiller denne forpligtelse sammen med en praktisk advarsel: sprogteknologier har brug for upartisk brug, hvis rettigheder og principper skal overleve mødet med software. Det er ikke dekorative forpligtelser. De beskriver den grænse, et offentligt system møder, når en borger ikke kan læse en meddelelse, ikke kan forstå, hvorfor en beslutning blev truffet, eller ikke kan udtrykke et relevant faktum på det sprog, faktumet findes på.

Den grænse er let at overse, når et team kun måler, om en oversættelse blev produceret. En sætning kan ankomme på det ønskede sprog og stadig svigte den person, der har brug for den. Oversættelsen kan udjævne en juridisk skelnen, ændre høflighedsniveauet, der signalerer, om en embedsmand spørger eller beordrer, eller bruge et udtryk, der har en dagligdags betydning, men en specialiseret betydning i en bestemt tjeneste. En talegenkender kan forvandle en regional udtale til et andet ord. En opsummerer kan fjerne den kvalifikation, der bærer ansvaret. Flydende sprog fortæller os ikke, om transaktionen forblev intakt.

Forestil dig en offentlig informationstjeneste, der tilbyder den samme berettigelsesforklaring på nederlandsk, fransk og et regionalt sprog. De to første veje er blevet trænet og testet med administrativt materiale, klagebreve og samtaler med domæneeksperter. Den tredje vej har fremragende generel prosa, men ingen meningsfuld evaluering på tjenestens egen terminologi. Et dashboard kan rapportere tre grønne sprogmarkører. Borgerne modtager ikke tre tilsvarende tjenester. Én gruppe modtager en forklaring; en anden modtager en tilnærmelse; den tredje modtager en poleret usikkerhed, der ser officiel ud, fordi den har det rigtige logo.

Eksemplet er bevidst hypotetisk. Det er ikke en påstand om en bestemt kommune eller leverandør. Dets formål er at afsløre en designfejl. Sprogstøtte tælles ofte ved grænsefladen, mens den faktiske forpligtelse sidder længere nede i kæden. Systemet skal vide, hvilke data der understøtter sproget, hvilke opgaver der blev evalueret, hvem der gennemgik fejl, hvordan brugere kan rette dem, og hvornår vejen skal afvise at svare. Hvis disse detaljer mangler, er sprogvælgeren et løfte uden en kontrakt.

En models kort er ikke samfundets kort

En model lærer fra et kort over sprog, som dens data og træningsproces gør tilgængeligt. Et samfund lever i et meget større kort. Modellens kort indeholder de tekster, optagelser, etiketter, oversættelser og evalueringer, der blev optaget. Samfundets kort indeholder mennesker, der taler forskelligt derhjemme og på arbejde, skifter register uden at annoncere det, låner ord på tværs af en grænse, bruger et minoritetssprog i en lokal institution eller skriver i et skriftsystem, som en benchmark ikke inkluderede. Det ene kort er en teknisk artefakt. Det andet er et arrangement af liv, rettigheder og forpligtelser.

Forskellen betyder noget, selv for sprog med store offentlige korpora. Et nationalsprog er ikke én ensartet strøm. Regeringsformularer, domstolsafgørelser, klassesprog, sundhedsråd, tekstbeskeder og en samtale mellem naboer bruger forskellige ordforråd og forskellige tolerancer for tvetydighed. En model kan være kompetent til nyhedsprosa og svag til en ydelsesklage. Den kan håndtere standardstavning og kæmpe med en dialekt. Den kan oversætte en bogstavelig sætning og misse den pragmatiske betydning, der bæres af en høflig formel. At kalde hele sproget understøttet skjuler opgavegrænsen.

Sprogteknologi har derfor brug for et mere præcist ordforråd. Vi bør skelne mellem, at et sprog er til stede i træningsdata, og at en opgave evalueres på det pågældende sprog. Vi bør skelne mellem en benchmark-oversættelse og et selvstændigt skrevet testelement. Vi bør skelne mellem at læse et skriftsystem og at forstå et fællesskabs register. Vi bør skelne mellem et systems evne til at generere tekst og dets autoritet til at rådgive, klassificere eller træffe beslutninger. Hver enkelt skelnen er et lille stykke papirarbejde. Tilsammen forhindrer de, at en bred påstand kan samles ud fra snævre beviser.

Der er en institutionel grund til at være streng. Offentlige tjenester har ikke frit valg til at vælge det letteste sprog og kalde resultatet effektivt. En bank, et hospital, en arbejdsgiver eller en softwareudbyder kan have forskellige juridiske forpligtelser, men hver enkelt beslutter, hvor meget friktion en person skal absorbere for at blive forstået. En flersproget løsning, der fejler stille og roligt, overfører omkostningen til brugeren. Brugeren skal finde en oversætter, gentage en historie, acceptere et dårligere resultat eller opgive processen. Systemet rapporterer succes, fordi det returnerede en streng. Personen oplever eksklusion med fremragende grammatik.

Hvad lavressource faktisk betyder

Lavressource behandles ofte som en egenskab ved et sprog, som om nogle sprog ankom til modellens dør med færre ressourcer og burde undskylde for besværet. Det er mere nyttigt at behandle det som en egenskab ved en opgave, et datasæt og en styringsbeslutning. Et sprog kan have betydeligt litterært materiale, men få mærkede data til en medicinsk klassifikator. Det kan have paralleltekst, men næsten ingen taleoptagelser. Det kan være repræsenteret i et korpus uden de rettigheder eller metadata, der er nødvendige for en bestemt implementering. Det kan have data i en standardform, mens de berørte personer bruger en regional variant.

Europa-Kommissionens sprogteknologipolitik nævner dette klart. Sprogdata er fundamentet for sprogværktøjer, og menneskelig ekspertise er en nødvendig del af en vellykket udvikling. En model har brug for tekst eller tale, algoritmer, beregning og mennesker, der forstår sproget og domænet. Fjernelse af et af disse elementer ændrer systemet. Mere beregning kan ikke skabe en manglende samtale. Flere eksempler kan ikke reparere en etiket, der forveksler to juridiske kategorier. En større model kan ikke beslutte, hvilken kilde et fællesskab anser for autoritativ.

Lavressourcearbejde er derfor ikke en invitation til at sænke standarden. Det er en grund til at gøre standarden synlig. Hvis en opgave har lidt evalueringsmateriale, så sig det. Hvis en metric er ustabil for et sprogpar, så rapporter ustabiliteten. Hvis menneskelig gennemgang var lille, så identificer gennemgangens omfang i stedet for at præsentere den som en generel garanti. Hvis en løsning er nyttig til udkast, men ikke til beslutninger, så placer den grænse, hvor en køber og en bruger kan se den. Ærlig knaphed er sikrere end tavshed, der ligner overflod.

Europas sproglandskab gør denne disciplin uundgåelig. Kommissionen beskriver et komplekst sæt af officielle, regionale og minoritetssprog og har støttet initiativer som European Language Grid, European Language Equality-dagsordenen og Common European Language Data Space. Disse projekter er ikke en enkelt løsning og bør ikke beskrives som sådan. De er dele af et økosystem, hvor data, værktøjer, rettigheder, ekspertise og offentlige institutioner kan mødes. Den institutionelle form er lige så vigtig som modellen indeni.

Rettighedslaget kommer før benchmarket

Det er fristende at tale om sprogmodeller, som om sprog var en neutral indgangskanal. Det er det ikke. Inputtet kan indeholde personoplysninger, en beskyttet karakteristik, et lokalt stednavn, en medicinsk detalje eller en registrering af en person, der beder om hjælp. Kilden kan være ophavsretligt beskyttet eller underlagt en reservation. Et oversat output kan blive brugt i en beslutning, selvom oversættelsesvejen aldrig er blevet evalueret i den sammenhæng. Modellens sprogproblem er allerede et rettighedsproblem, før nogen vælger en score.

Kommissionens vejledning om sprogteknologi forbinder sprogdata med både ophavsret og databeskyttelse. Den forbindelse bør ændre, hvordan teams designer pipelines. Et korpus er ikke blot en bunke sætninger. Det har kildeidentitet, indsamlingsbetingelser, licens- eller rettighedsstatus, metadata om sprog og skrift, kvalitetssignaler, formål og opbevaringsregler. Hvis et element rettes eller trækkes tilbage, skal organisationen vide, hvilke afledte artefakter der blev påvirket. Ellers kan en senere model gentage en gammel fejl med selvtilliden fra et nyprintet dokument.

Det er her, begrebet provenance viser sin værdi. Provenance er ikke en fodnote, der siger, at data kom et sted fra. Det er det sæt af relationer, der gør det muligt for en reviewer at bevæge sig fra et resultat til den relevante dokumentation og tilbage igen. I flersproget arbejde skal disse relationer overleve oversættelse, transskription, normalisering, segmentering og evaluering. En sætning oversat til en benchmark er ikke udskiftelig med kildesætningen. En label lavet af en reviewer er ikke udskiftelig med en label, der er nedarvet fra et andet sprog. Transformationen er en del af dokumentationen.

Der er intet krav om, at enhver bruger skal se en forskningslog. Der er et krav om, at en organisation kan besvare et alvorligt spørgsmål, når det kommer. Hvilken version af sprogressourcen blev brugt? Hvilken opgave understøttede den? Hvilke sprogeksperter gennemgik den? Hvad gjorde systemet, når tilliden var lav? Blev en klage behandlet som en korrektion af ét svar eller som en mulig klasse af fejl? Sprogvejen bliver troværdig, når disse spørgsmål har ejere og registreringer.

Europa bygger sproginfrastruktur, ikke kun oversættelsesknapper

Europa-Kommissionens beskrivelse af Det Fælles Europæiske Sprogdataområde er nyttig, fordi den ikke reducerer projektet til en modeludgivelse. Målet er en platform og markedsplads til at indsamle, dele og genbruge flersprogede og multimodale sprogdata, samtidig med at organisationer og enkeltpersoner, der genererer dataene, bevarer kontrollen. Den formulering peger mod en anden idé om fremskridt. Arbejdet handler ikke kun om at producere en bedre sætning. Det handler om at gøre sprogressourcer findbare, rettighedsbevidste, genanvendelige og ansvarlige på tværs af offentlig forvaltning, forskning og industri.

Den Europæiske Sproggrid gjorde et lignende træk ved at samle specialiserede sprogteknologiske værktøjer og ressourcer i en fælles katalog. En katalog beviser ikke, at hver tjeneste fungerer til enhver opgave. Den gør det dog lettere at inspicere en skjult afhængighed. Et team kan spørge, hvad værktøjet gør, hvilket sprog det understøtter, hvor dets data kom fra, og om licensen matcher den tilsigtede brug. Dette er uglamourøs infrastruktur. Det er også sådan, et kontinent med mange institutioner undgår at genopbygge den samme sprogkapacitet i adskilte rum.

Infrastruktur betyder noget, fordi den lange hale af sprogarbejde ikke løses af én flagskibsmodel. En offentlig myndighed kan have brug for talegenkendelse til en regional accent, terminologiudtrækning til et specialiseret domæne, oversættelseshukommelse til lovgivning, genkendelse af navneenheder til stednavne eller en måde at sammenligne to versioner af et dokument uden at miste diakritiske tegn. En virksomhed kan have brug for en lokal installation, fordi materialet ikke må forlade dens jurisdiktion. En forskningsgruppe kan have brug for et datasæt med klar provenance frem for endnu en anonym score.

Der er et stille politisk valg i denne tilgang. Dataene og værktøjerne behandles som kapaciteter, som Europa bør kunne inspicere og forme, ikke som en tjeneste, der ankommer fra et usynligt andetsteds. Det betyder ikke, at europæiske systemer automatisk er gode, eller at kommercielle udbydere andre steder ikke kan være nyttige. Det betyder, at et sprog er for vigtigt til at stå uden et offentligt vokabular for dets data, dets huller og dets evaluering. Suverænitet begynder med at vide, hvad systemet ikke kan se.

Oversættelse er ikke neutral infrastruktur

Oversættelse placeres ofte mellem to komponenter i et arkitekturdiagram, som om det var et rør, der fører betydning fra den ene side til den anden. Rigtig oversættelse er en række beslutninger. Hvilken kilde tekst er autoritativ? Hvilke ord skal forblive eksakte? Hvilken tvetydighed skal bevares? Hvilken kulturel reference har brug for en forklaring? Hvilket register er passende for en offentlig meddelelse? Hvilken enhed må ikke oversættes? Hvilken dato, hvilket tal eller hvilken enhed skal gengives i læserens konvention? En model kan træffe disse beslutninger hurtigt. Hastighed gør dem ikke usynlige.

Overvej forskellen mellem at oversætte en vejrsætning og at oversætte en meddelelse om en frist. I det første tilfælde kan en lille stilistisk fejl være irriterende. I det andet kan et tal eller et modalverbum ændre, hvad en person tror, de skal gøre. Den underliggende sprogmodel kan have det samme token-budget og den samme konfidensvisning. De sociale konsekvenser er ikke de samme. Evaluering må derfor følge opgaven og ikke stoppe ved en generel sprogscore.

Kommissionens side om dens egen brug af sprog gør pointen uden dramatik. Maskinoversættelse kan give en grundlæggende idé, men kvalitet og nøjagtighed varierer betydeligt fra tekst til tekst og mellem sprogpar. Det er en nyttig offentlig sætning, fordi den nægter at forvandle en tjeneste til et orakel. Den giver læseren tilladelse til at bruge en oversættelse som en orientering, mens den bevarer en grund til at søge en menneskelig eller autoritativ version, når konsekvensen berettiger det.

For produktteams er implikationen et sæt eksplicitte ruter. En oversættelse med lave konsekvenser kan returneres direkte med en klar status. En juridisk eller medicinsk rute kan kræve menneskelig gennemgang, et kildelink eller et afslag. Et internt udkast kan bevare kilden ved siden af oversættelsen. En taleinterface kan gentage et kritisk navn og bede om bekræftelse. Valget er ikke mellem fuld automatisering og ingen automatisering. Det er mellem en pipeline, der erklærer sine overdragelser, og en, der skjuler dem bag et flydende afsnit.

Sætningen overlever, situationen gør ikke

Modeller arbejder på repræsentationer. Samfund arbejder på situationer. Når en oversættelse bevæger sig fra det ene til det andet, kan små detaljer blive hele betydningen. En sætning, der er høflig på ét sprog, kan lyde undvigende på et andet. Et udtryk, der adskiller en lovbestemt ret fra en skønsmæssig tjeneste, kan blive kollapset til et generisk ord for hjælp. En idiomatisk vending kan oversættes bogstaveligt og blive nonsens, eller oversættes frit og miste den reference, der identificerer et fællesskab. Ingen af disse fejl kræver et absurd output. Det farlige svar er det, der ser almindeligt ud.

EU MMLU-udgivelsen peger præcis på dette område. Dens kvalitetskriterier beder flersprogede benchmarks om ikke kun at teste betydning og sværhedsgrad, men også idiomatiske vendinger, humor, kulturelle referencer, dato- og talformater samt forskelle i forventet tone eller høflighed. Dette er en vigtig udvidelse af evalueringsmålet. En sprogmodel bliver ikke kun spurgt, om den kan producere en grammatisk korrekt sætning. Den bliver spurgt, om sætningen hører til i den situation, hvor en person vil handle på den.

The mention of humour is not an invitation to make the benchmark entertaining. It recognises that humour is a stress test for context. A literal translation can preserve words and destroy the joke. A culturally adapted translation can preserve the effect while changing the reference. In a public information service, the same mechanism appears without laughter. A proverb, a local place-name or a formal greeting can signal who is speaking and what relationship the message creates.

When teams say that a model understands a language, they should ask which layer they mean. Does it recognise the script? Segment words correctly? Identify entities? Translate the proposition? Preserve the legal force? Follow a local convention? Keep the speaker’s level of certainty? Handle a non-standard spelling? Reply in the right register? These are separate capabilities. A single label called multilingual conceals the work required to establish each one.

Why evaluation must travel with language

Evaluation is often added at the end because teams want a number to attach to a model. Multilingual systems make that order impossible. The test data determines what counts as an error. The language determines how a sentence can fail. The domain determines which failure matters. The user determines whether the system’s answer is an aid or an obstacle. Evaluation has to travel with all four.

The European research paper Towards Multilingual LLM Evaluation for European Languages demonstrates the scale of the problem. The authors assess 40 language models across 21 European languages, examine translated versions of five widely used benchmarks and publish a framework that includes EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA and EU20-GSM8K. The paper does not claim that translating an existing benchmark automatically makes it fair. It treats translation services, benchmark construction and cross-language comparability as things to investigate.

That is the right posture. A translated test item can inherit a difficulty change, a cultural assumption or a clue that did not exist in the original. A model may score higher because the translated wording makes the answer easier, not because the model became more capable. It may score lower because a grammatical construction is unnatural in the target language, even though the underlying reasoning is sound. Both outcomes are evidence about the test as well as the model.

Human review remains necessary, but human review also needs a contract. Who reviewed the item? Were reviewers native speakers, domain specialists, or both? Did they review isolated sentences or the task in context? Were disagreements recorded? Did the benchmark preserve alternate acceptable answers? A language expert can tell us that a phrase is wrong. A domain expert can tell us why the wrongness changes a decision. A credible evaluation often needs both and must say which one it had.

The point is not to make every system pass an endless examination before anyone can use it. It is to prevent a narrow test from being mistaken for a wide claim. If a model has been evaluated on short factual questions in standard written language, report that. Do not let the result silently become a claim about spoken interaction, legal drafting, local government, children, older people or every register in the language.

En score bliver brugbar, når dens opgave-, sprog-, kontekst- og review-grænse forbliver synlig.

Lærdommen fra maltesisk og baskisk

En artikel præsenteret på LREC-COLING-konferencen i 2024 undersøgte evaluering af maskinoversættelse fra engelsk til maltesisk og fra spansk til baskisk. Forfatterne undersøgte COMET-evalueringsmetrikken, indsamlede direkte menneskelige vurderinger og testede, hvor godt metrikken opførte sig, når den blev tilpasset de to sprogpar. Deres konklusion er beskeden, men betydningsfuld: metrikkens ydeevne kan forbedres med finjustering, og den kan være meget følsom over for fordelingen af scores i dens træningsdata, især i miljøer med få ressourcer.

Dette er ikke en historie om én metrik, der fejler. Det er en historie om, hvad en score afhænger af. En metrik trænet på én fordeling kan opføre sig anderledes, når den bliver bedt om at vurdere en anden. Et sprogpar med mindre evalueringsmateriale kan få scoren til at se mere afgørende ud, end den er. Et system, der er bekvemt at sammenligne, kan stadig være en dårlig proxy for, hvad sprogbrugere anser for en god oversættelse. Menneskelige vurderinger gør ikke evaluering perfekt, men de afslører de steder, hvor et automatisk mål gør antagelser.

En anden undersøgelse fra 2024, Benchmarking Low-Resource Machine Translation Systems, sammenligner offentligt tilgængelige systemer på tværs af fire datasæt og 26 sprog og offentliggør resultaterne via BENG, en FAIR-benchmarkingplatform til naturlig sproggenerering. Igen er bidraget ikke en universel rangering. Det er en mere inspicerbar sammenligning. Effektivitet og effektivitet betragtes sammen, og sproglisten er synlig. En læser kan spørge, om benchmarken inkluderer den rute, der betyder noget, i stedet for at acceptere ét enkelt overskriftstal.

Disse undersøgelser tilbyder en europæisk lektion i tilbageholdenhed. Det svære er ikke at opfinde endnu en score. Det er at bygge en evaluering, der lader læseren se, hvis sprog, hvis opgave og hvis definition af kvalitet der producerede scoren. Når den kontekst mangler, bliver et tal en grænseovergang uden pas. Det kan komme igennem præsentationen, men ingen kan fastslå, hvor det kom fra.

Sprogdækning kan være en sikkerhedsegenskab

Sikkerhedsdiskussioner fokuserer ofte på indhold, som et system bør afvise, angreb, som det bør modstå, eller fejl, som det bør fange. Sprog tilføjer et andet spørgsmål: kan systemet genkende, når det er uden for sin kompetence? En rute, der fungerer på ét sprog, kan fejle oftere på et andet, mens den bevarer samme selvsikre tone. Hvis grænsefladen ikke afslører forskellen, kan brugerne ikke kalibrere deres tillid.

Dette er især vigtigt, når sprog er en del af en sikkerhedskritisk interaktion. En patient kan beskrive et symptom på en regional variant. En arbejder kan rapportere en fare ved hjælp af et lokalt udtryk. En borger kan indsende en klage med en stavekonvention, som en normalisator behandler som støj. En model kan være teknisk præcis på sin benchmark og operationelt usikker for den pågældende kanal. Det relevante spørgsmål er ikke, om systemet kan generere et plausibelt svar. Det er, om sikkerhedskontrollerne blev evalueret på det sprog og den situation, der er foran det.

Sikkerhed kræver ikke, at man behandler enhver sprogkanal som en særlig nødsituation. Det kræver, at kontrollen matcher konsekvensen. Et lavrisiko-søgeresultat kan vise sine kilder og invitere til en korrektion. En medicinsk triage-grænseflade kan sende usikkert sproginput videre til en uddannet professionel. En arbejdsgang for juridiske dokumenter kan holde kilde og oversættelse side om side og kræve godkendelse før offentliggørelse. Et talesystem kan bede brugeren om at gentage et navn i stedet for lydløst at vælge den nærmeste kendte enhed. Det er almindelige tekniske valg, når sprog behandles som en del af systemets grænse.

Afvisningen kræver i sig selv sprogdesign. At fortælle en bruger, at et system ikke kan svare, er ikke nok, hvis afvisningen er uigennemsigtig, nedladende eller ikke tilgængelig på brugerens sprog. Systemet bør sige, hvad det ikke kunne fastslå, hvilke oplysninger der ville hjælpe, og hvilken menneskelig eller autoritativ kanal der er tilgængelig. Ellers bliver en sikkerhedskontrol endnu en adgangsbarriere. Europas sprogprincip testes tydeligst, når et system ikke kan levere det ønskede svar.

Den operationelle udformning af en flersproget tjeneste

En troværdig flersproget tjeneste har en operationel form, der er let at beskrive og overraskende svær at opretholde. For det første navngiver den opgaven. Oversættelse, transskription, klassificering, søgning, opsummering og generering er ikke udskiftelige. For det andet navngiver den sprogkanalen, herunder skriftsystem og enhver relevant regional eller faglig grænse. For det tredje registrerer den kildematerialet og de transformationer, der er anvendt på det. For det fjerde definerer den gennemgangs- og eskaleringsvejen. For det femte fortæller den brugeren, hvad systemet kan og ikke kan hævde.

Disse trin er ikke et krav om et stort bureaukrati. De er det minimum, der er nødvendigt for at gøre et sprogløfte testbart. Hvis en leverandør siger, at en model understøtter finsk, bør en køber kunne spørge, om det betyder tekstgenerering, talegenkendelse, oversættelse fra hvilke sprog eller alt det ovenstående. Hvis et produktteam siger, at det understøtter et regionalt sprog, bør det sige, om understøttelsen er baseret på indfødte data, oversatte data, et lille evalueringssæt eller en ekspertgennemgang. Hvis svaret er ukendt, er ukendt en gyldig status.

Tjenesten har også brug for en ændringspolitik. Nyt træningsmateriale, en ny tokenizer, en ny oversættelsesmodel, en ny terminologiliste eller en ny brugergruppe kan ændre sprogadfærd. En udgivelse, der forbedrer én kanal, kan forringe en anden. Et benchmarkresultat fra sidste år beskriver ikke automatisk dagens system. Versionsregistreringer, sammenligningstests og en kanal til at rapportere sprogspecifikke fejl gør tjenesten vedligeholdelsesvenlig frem for ceremoniel.

Vedligeholdelse har en menneskelig side. Sprogeksperter har brug for en måde at se de fejl, der påvirker deres samfund. Domæneteams har brug for en måde at skelne en oversættelsesfejl fra en politisk tvetydighed. Operatører har brug for en måde at pause en kanal uden at vente på, at en modelleverandør fortolker en klage. Brugere har brug for en måde at sige, at systemet misforstod et ord, en kontekst eller en persons navn. En flersproget tjeneste er ikke færdig, når modellen er implementeret. Den er færdig nok til at være ansvarlig, når det næste sprogproblem opstår.

Proveniens gennem en sprogpipeline

Proveniens bliver konkret, når vi følger en enkelt betydning gennem et system. Start med et kildeafsnit. Registrer dets sprog, skriftsystem, forfatter eller institution, når det kendes, samt rettigheder og formål. Hvis det er opdelt i segmenter, skal forholdet til originalen bevares. Hvis det er oversat, skal kilden og oversætteren eller oversættelsesprocessen fastholdes. Hvis en korrekturlæser ændrer ordlyden, registreres det som en ny tilstand, ikke som en stille erstatning. Hvis afsnittet bliver et benchmark-element, skal opgaven, svarnøglen, sproget og korrekturlæsningsregistreringen følge med.

Ved kørsel gælder samme disciplin i omvendt rækkefølge. Registrer, hvilken sprogrute der håndterede forespørgslen, hvilken model- eller værktøjsversion der kørte, hvilke kildebeviser der blev hentet, hvilken usikkerheds- eller afvisningstilstand der blev nået, og hvilken menneskelig handling der fulgte. Registreringen behøver ikke at udsætte privat indhold for enhver operatør. Den skal gøre de væsentlige fakta tilgængelige for en autoriseret korrekturlæser. Uden dem bliver en sproglig hændelse en debat om indtryk.

Det er her, flersproget proveniens adskiller sig fra en generisk revisionslog. Et tidsstempel og et modelnavn fortæller os, at noget skete. De fortæller os ikke, om kilden blev oversat, om svaret ændrede et talformat, om en navngiven enhed blev normaliseret, eller om korrekturlæseren arbejdede på målsproget. Transformationsstien er beviset. Et kort svar kan skjule en lang kæde af beslutninger.

Der er en lille hollandsk dyd i denne tilgang: hold registret så kedeligt, at nogen kan bruge det en tirsdag eftermiddag. En proveniensregistrering skal ikke være et museumsskilt skrevet til en revision, der måske aldrig kommer. Den skal hjælpe en operatør med at besvare det næste spørgsmål, stoppe den rigtige rute og forklare resultatet til en person, der ikke har nogen interesse i dit arkitekturdiagram. God sprogstyring er en smule kedelig. Det er sådan, du ved, at den kan overleve kontakt med arbejde.

De skjulte valg i en oversættelse

Ethvert oversættelsessystem bærer valg, der fortjener navne. Tokenisering afgør, hvordan inputtet opdeles. Normalisering afgør, hvilke skel der bevares eller kasseres. Alignment afgør, hvilke dele af to tekster der behandles som ækvivalente. Terminologi afgør, hvilke ord der er stabile. Afkodning afgør, hvordan outputtet vælges. Efterbehandling afgør, hvad læseren ser. Ingen af disse trin er i sig selv forkert. Hvert kan skabe en sprogspecifik fejl, der er usynlig i en generel demo.

Tag et egenavn. Et system kan oversætte det, translitterere det, bevare det eller erstatte det med en velkendt stavemåde. For et digt kan flere valg være forsvarlige. For et identitetsdokument kan kun ét være acceptabelt, og det kan afhænge af den udstedende myndighed. Tag en enhed eller en dato. Værdierne kan forblive matematisk ækvivalente, mens formen bliver tvetydig for en læser. Tag et kønnet substantiv eller pronomen. En oversættelse kan indføre information, som kilden tilbageholdt, eller udslette et skel, som kilden bevidst lavede.

Designsvaret er ikke at fryse sproget. Det er at angive politikken og gøre undtagelsen synlig. En terminologiliste kan beskytte juridiske termer. En regel for navngivne enheder kan forhindre, at en by bliver til en person. En kildebevarende visning kan lade en korrekturlæser sammenligne originalen og outputtet. En menneskelig eskalering kan udløses af et navn med lav sikkerhed, en uenighed mellem ruter eller en opgave klassificeret som høj konsekvens. Modellen forbliver nyttig, fordi dens grænser er en del af arbejdsgangen.

Store sprogmodeller gør valgene sværere at se, fordi outputtet er glat. Glat output er en vidunderlig grænseflade og en upålidelig forklaring. Systemet kan producere en sætning, der lyder modersmålsagtig, mens det vælger den forkerte betydning af et ord. Det kan bevare det overordnede emne, mens det taber en negation. Det kan oversætte et lokalt udtryk til en standardformulering, der ændrer talerens position. Derfor kan sprogkvalitet ikke repræsenteres af grammatik alene. Betydning har en social form.

Skriftsystemer, dialekter, registre og institutioner

Sprogunderstøttelse annonceres ofte på niveauet af et sprognavn, men læsere møder skriftsystemer, variationer og registre. Et system, der håndterer moderne standardsprog, kan have svært ved historiske dokumenter. En talegenkender kan håndtere studieoptagelser og fejle i en overfyldt station. En offentlig chatbot kan svare i et formelt register, mens brugeren har brug for et letforståeligt sprog. En institution kan bruge et udtryk, der adskiller sig fra almindelig tale, af en grund, der er juridisk vigtig.

Dette er ikke kanttilfælde i den afvisende forstand. Det er de steder, hvor sproget møder verden. Et regionalt navn kan være forskellen mellem en korrekt adresse og en mislykket levering. Et dialektord kan være det eneste ord, en person kender for et symptom. En formel formulering kan signalere, at en besked har juridisk virkning. En skriftvariant kan afgøre, om et dokument er søgbart. Hvis en benchmark udelukker disse ruter, kan den stadig være nyttig, men den kan ikke stå i stedet for hele sproget.

At teste alle variationer er ikke altid muligt. Den ærlige reaktion er at beskrive den understøttede delmængde og invitere til dokumentation om resten. Et system kan offentliggøre, at det blev evalueret på standard skriftlig nederlandsk til sammenfatning af offentlig information, uden at gøre krav på regional talegenkendelse. Det kan tilføje en test for frisisk eller baskisk uden at lade som om, at tilføjelsen løser alle regionale og minoritetssproglige spørgsmål. Specificitet er ikke en svaghed. Den fortæller brugerne, hvor gulvet er.

Institutioner bør også modstå ideen om, at én national sprogrute automatisk er neutral. Administrativt sprog kan være utilgængeligt for talere af samme sprog. Tilgængelighed og flersprogethed overlapper, fordi begge spørger, om læseren kan forstå og handle. Kommissionens sprogarbejde inkluderer værktøjer til forenkling og tilgængelig tekst netop af denne grund. En sætning kan være sprogligt korrekt og stadig institutionelt ubrugelig.

Når grænsefladen er flydende, men forkert

De sværeste sprogfejl er ikke spektakulære. De er svar, der består øjetesten. En sammenfatning inkluderer de rigtige navne, men ændrer, hvem der er ansvarlig. En oversættelse bevarer navneordene, men gør en anbefaling til en instruktion. En klassifikator forstår emnet, men overser en negation. Et talesystem genkender ordene, men ikke talerens tøven. En bruger læser outputtet på deres eget sprog og antager, at flydende sprog er et tegn på omhu.

Vi bør designe til denne type fejl i stedet for at vente på, at et bizart eksempel bliver en overskrift. Sammenlign kilde og output for indhold med høje konsekvenser. Bevar usikkerhedsmarkører. Hold citater eller dokumenthenvisninger knyttet. Bed om bekræftelse, når et tal, navn eller en deadline er central. Gør ruten synlig for operatøren. Tilbyd en korrektionsmekanisme, der ikke kræver, at brugeren ved, hvilken komponent der fejlede. Disse kontroller er små, men de gør en oversættelse til en kontrollerbar transaktion.

Menneskelig gennemgang bør ikke beskrives som en magisk sidste linje. Anmeldere har tidsbegrænsninger, domænemæssige huller og deres egne sproglige antagelser. En brugbar gennemgangsgrænseflade giver dem kilden, outputtet, konteksten og årsagen til eskalering. Den registrerer uenighed frem for at glatte den væk. Hvis anmeldere gentagne gange retter et bestemt udtryk, kan organisationen forbedre terminologien eller ændre opgaveafgrænsningen. Hvis uenigheden afslører, at selve kilden er tvetydig, kan den rigtige handling være at spørge forfatteren, ikke at træne modellen hårdere.

Operatører har også brug for en måde at se negativ dokumentation på. Hvilke sprog blev ikke evalueret? Hvilke opgaver har ingen menneskelig gennemgang? Hvilke anmodninger blev afvist? Hvilke brugere forlod ruten efter en oversættelse? Et fravær kan være et signal. Et grønt dækningsdiagram, der udelader de fejlede stier, er et kort over markedsføringsoverfladen, ikke over tjenesten.

Menneskelig ekspertise er ikke en nødknap

Europæisk sprogteknologipolitik placerer lingvister, dataforskere, computeringeniører og domænespecialister i samme sætning. Det er et designkrav, ikke en liste over professioner at invitere til et lanceringstelefonmøde. Hver person ser en forskellig fejl. Lingvisten ser en unaturlig konstruktion eller en mistet skelnen. Ingeniøren ser et segmenterings- eller routingproblem. Domænespecialisten ser en farlig kategorifejl. Operatøren ser en kø, som ingen kan eje. Personen, der bruger tjenesten, oplever en beslutning, der ikke længere giver mening.

Menneskelig ekspertise bør inddrages, før benchmarket fastfryses. En sprogekspert kan hjælpe med at udvælge testmateriale, der repræsenterer reelle registre frem for kun rene sætninger. En domæneekspert kan identificere udtryk, der ikke må afvige. En samfundsrepræsentant kan fortælle et team, hvilken formulering der føles officiel, velkendt eller fornærmende. En dataforvalter kan forklare, hvilken oprindelse der er tilgængelig, og hvilken der ikke er. Disse input former systemets kontrakt. De er ikke dekoration, efter at de tekniske valg er truffet.

Der er selvfølgelig en omkostning. God gennemgang tager tid og betaler folk for viden, der ofte behandles som usynlig. Den omkostning er en del af sprogstøtten. Alternativet er at eksternalisere den til brugerne, som betaler med forvirring og appeller, eller til personalet, som oversætter og reparerer ruten uformelt. Et system, der virker billigt, fordi det ignorerer sproglig ekspertise, er ikke effektivt. Det har blot flyttet regningen.

Hvad en fair benchmark skal afsløre

En flersproget benchmark bør begynde med et krav, der er lille nok til at teste. Kravet kan være, at et system kan besvare spørgsmål om offentlig information på en række sprog, bevare datoer og tal og afvise, når kildedokumentationen mangler. Det kan være, at en oversættelsesrute håndterer et bestemt sprogpar og domæne på et defineret kvalitetsniveau. Det kan være, at en talegenkender kan transskribere en specificeret variant under specificerede akustiske forhold. Benchmarken er en kontrakt for det krav.

Kontrakten har brug for mere end en sprogliste. Den bør afsløre opgaven, kilden, domænet, registret, skriften, retningen, kontekstlængden, inputbetingelserne, referencebesvarelser, acceptable varianter, målinger, menneskelig gennemgang og usikkerhed. Den bør sige, om elementer oprindeligt blev skrevet på hvert sprog eller oversat. Den bør registrere, hvem der reviderede dem, og hvilke uenigheder der forblev. Den bør adskille samlede resultater fra resultater pr. sprog. Den bør vise tilstrækkeligt mange eksempler til, at en læser kan forstå, hvad scoren måler.

EU-MMLU-kriterierne er nyttige, fordi de udvider ordet fair. Afbalanceret repræsentation på tværs af EU's officielle sprog er én del. At bevare betydning, sværhedsgrad og testværdi på tværs af sprog er en anden. At teste EU-værdier og kulturelle kontekster, herunder idiomer, humor, referencer, dato- og talformater, tone og høflighed, gør benchmarken til et socialt instrument såvel som et teknisk. Kriterierne fjerner ikke skønnet. De gør skønnet gennemsigtigt.

Benchmarkdesignere bør offentliggøre fejlsegmenter, ikke kun gennemsnit. En model kan have en god gennemsnitsscore, mens den fejler hvert eneste punkt, der involverer en bestemt register eller type af tal. En rute kan være effektiv i én retning og langsom eller dyr i en anden. En metric kan korrelere med menneskelig vurdering på ét sprog og blive ustabil på et andet. Visninger pr. sprog og pr. opgave er ikke en luksus. Det er sådan, en køber undgår at købe gennemsnittet, mens de implementerer undtagelsen.

Endelig bør en benchmark angive, hvad den ikke kan fortælle os. En skriftlig test fastslår ikke taleevne. En oversættelsesscore fastslår ikke juridisk pålidelighed. Et sæt officielle sprog fastslår ikke støtte til regionale eller minoritetssprog. En høj score fastslår ikke, at en person kan udfordre en beslutning. Begrænsningen er ikke en forlegenhed. Det er kanten af kortet, og brugerne skal se den, før de sejler.

En score er en kortlegende, ikke territoriet

Tal er nyttige, fordi de tvinger en sammenligning. De er farlige, fordi de inviterer til en konklusion, der er større end målingen. En score kan fortælle os, hvordan et system opførte sig på en defineret stikprøve under en defineret metode. Den kan ikke fortælle os, hvordan et fællesskab vil opleve systemet uden en bro af antagelser. Broen kan være solid. Den skal navngives.

Antag, at et system forbedres på en flersproget benchmark efter finjustering. Det er bevis på forbedret ydeevne på den evaluering. Det er ikke automatisk bevis på, at systemet er sikrere i en offentlig tjeneste. Tjenesten kan bruge anden terminologi, længere kontekst, taleinput, en anden register eller en downstream-arbejdsgang, der gør et forslag til en beslutning. Benchmarken kan stadig være værdifuld. Den bliver mere værdifuld, når organisationen angiver, hvilken del af tjenesten den repræsenterer.

Den samme disciplin gælder for energi, hastighed og omkostninger. En rute med lavressourcesprog kan kræve mere menneskelig gennemgang eller en større retrieval-kontekst. Det er ikke en defekt at skjule i et gennemsnit. Det er en egenskab ved tjenesten, der bør informere design. Europæiske institutioner har brugt årtier på at opbygge oversættelses- og sprogtjenester, fordi de praktiske omkostninger ved sproglig mangfoldighed er reelle. Et AI-system afskaffer ikke den omkostning ved at udsende tekst hurtigt.

Der er ingen skam i at vælge en smallere rute. Et team kan understøtte færre opgaver godt, offentliggøre grænsen og tilføje sprog, efterhånden som beviser vokser. Det er bedre end at hævde alle sprog og bede brugerne om at opdage hullerne. Den europæiske instinkt for en standard er stærkest, når den parres med den hollandske instinkt for at tjekke, om tingen virker på en almindelig onsdag.

Byg til 24, test ud over 24

Den Europæiske Union har 24 officielle og arbejdssprog, og Kommissionens oversættelsestjeneste opererer på tværs af dem. Det tal skaber en nyttig baseline for offentlig infrastruktur. Det definerer ikke Europas sproglige liv. Regionale, minoritets-, ikke-territoriale og migrantsprog former også fællesskaber og institutioner. Et system bygget til 24 kan stadig udelukke mennesker, der ikke bruger en af disse ruter, eller som bruger et officielt sprog i en form, systemet ikke evaluerede.

At bygge til 24 er derfor et ansvar for at gøre grundlaget reelt, ikke en tilladelse til at stoppe. En sprogrute skal bære sit eget bevis. Et offentligt organ skal kunne sige, hvilke officielle sprog der er dækket til hvilke opgaver, hvilken menneskelig gennemgang der findes, og hvor brugere kan få en autoritativ version. Det skal også have en måde at lære fra sprog uden for det oprindelige sæt uden at gøre fællesskabet til et ubetalt testlaboratorium.

At teste ud over 24 betyder mere end at tilføje et nyt sprog til en demo. Det betyder at arbejde med talere, institutioner og forskere for at beslutte, hvad opgaven er, hvad kildematerialet må bruges til, og hvad der tæller som en skadelig fejl. Processen kan producere en lille, nøje afgrænset kapacitet. Det er stadig fremskridt. En beskeden rute med en klar kontrakt kan være mere værd end en imponerende påstand, som ingen operatør kan forsvare.

Hvad vi forsøger at gøre eksplicit

Hos Dweve nærmer vi os dette emne fra infrastruktursiden. Loom er beskrevet i vores offentlige produktmateriale som en opgavekompileret kognitiv model, hvis sprogkomponenter gengiver en styret resultatgraf, mens begrænsningslæring, grafkomposition, løsere og verifikation bærer beslutningsautoriteten. Det er en arkitektonisk position, ikke et flersproget præstationskrav. Det gør ikke en sprogrute korrekt. Det gør én forpligtelse svær at skjule: sprogoutputtet bør ikke være det eneste sted, hvor systemets ræsonnement og beviser findes.

Vores Ground Truth-arbejde gør samme pointe i en mere menneskelig skala. Folk har brug for nok fælles sprog til at skelne en model fra en arbejdsgang, en forudsigelse fra beviser og et flydende svar fra et kontrolleret resultat. I flersprogede systemer har den ordforråd brug for et ord mere: rute. Et hollandsk svar, et fransk svar og et baskisk svar er ikke blot gengivelser af én intern begivenhed, hvis beviser, terminologi, gennemgang og fejlhåndtering adskiller sig. Ruten er en del af påstanden.

Den position er bevidst mindre spændende end at sige, at én model forstår Europa. Den er også mere nyttig. Vi ønsker, at et system viser, hvad det modtog, hvilke kilder og begrænsninger det kunne bruge, hvad det ikke kunne fastslå, og hvornår et menneske skal overtage. Sprog er en overflade, hvorigennem en person møder det arbejde. Overfladen skal være klar, men den skal ikke have lov til at slette strukturen under den.

Vi er ikke fritaget for de standarder, der er beskrevet her. Et oprindelsesfelt reparerer ikke manglende data. En deterministisk sti beviser ikke, at en oversættelse er fair. En europæisk behandlingsgrænse giver ikke sproglig kompetence. Den eneste ærlige måde at komme med en flersproget påstand på er at blive ved med at teste, offentliggøre begrænsningerne og lade sprogeksperter udfordre ruten. Produktnavnet er ikke bevis. Registreringen er.

En praktisk standard for teams

Teams, der overvejer at introducere en flersproget AI-funktion, kan begynde med et kort sæt spørgsmål. Hvad skal systemet præcist gøre på hvert sprog? Hvilke mennesker bliver berørt, hvis det tager fejl? Hvilket kildemateriale er autoritativt? Hvordan blev testemnerne oprettet, og af hvem? Hvilke registre, skriftsystemer, dialekter og domæner er inden for påstanden? Hvad gør systemet, når det ikke kan fastslå betydning? Hvem kan sætte ruten på pause? Hvordan kan en bruger rette et svar uden at blive projektets ubetalt lingvist?

Spørgsmålene bliver konkrete, når de knyttes til artefakter. Hold et sprogrute-kort med opgaven, understøttede sprogvarianter, kildefamilier, rettighedsstatus, model- og værktøjsversioner, evalueringsresultater, kendte fejltilstande og gennemgangsejer. Behold eksempler på fejl med deres kontekst, ikke kun en score. Hold kilden ved siden af en højkonsekvensoversættelse. Behold en eskaleringsårsag, som en operatør kan forstå. Behold en ændringsregistrering, når en tokenizer, terminologiliste, benchmark eller model ændres.

Indkøbsteams kan bede leverandører om resultater pr. sprog og pr. opgave i stedet for ét gennemsnit på tværs af sprog. De kan spørge, om en benchmark er oversat eller skrevet på originalsproget, om der findes menneskelige vurderinger, hvordan lavressource-ruter håndteres, og om leverandøren kan eksportere den dokumentation, der er nødvendig for en gennemgang. De kan spørge, hvad der sker, når et sprog ikke understøttes, fordi et afslag og en stille fallback har meget forskellige konsekvenser.

Produktteams kan designe grænsefladen, så den viser rute og konfidens uden at lade, som om et konfidens-tal er en sandsynlighed for, at noget er sandt. De kan bevare kildehenvisninger, bruge et klart sprog i afslag og gøre gennemgangshandlinger synlige. De kan undgå formuleringen understøtter alle sprog, medmindre de kan definere udsagnsordet. Understøtter kan betyde viser tekst, accepterer input, oversætter, opsummerer, svarer, klassificerer, taler eller håndterer en reguleret arbejdsgang. En sprogvælger er ikke en specifikation.

Forskningsteams kan publicere datasæt med dokumentation for oprindelse og korrektionsveje. De kan inkludere negative resultater og rapportere, når en metrik ikke kan overføres. De kan invitere sprogsamfund ind i evalueringen, før en model erklæres klar, og betale for ekspertisen. De kan modstå presset for at omdanne et snævert resultat til en universel påstand. Den mest værdifulde benchmark kan være den, der får et team til at fjerne en sætning fra sin produktside.

Samfundet bag modellen

En sprogmodel kan være meget god til at producere sprog uden at vide, hvad sprog gør i et samfund. Den kan forudsige en sætning, oversætte et afsnit og besvare et spørgsmål, mens den overser den institutionelle relation, som ordene bærer. Det hul er ikke bevis for, at modellen er ubrugelig. Det er bevis for, at sprog er mere end en datatype.

Europas svar bør ikke være en konkurrence om at tælle sprog i et modelkort. Det bør være en vedvarende indsats for at gøre sprogdata, rettigheder, ekspertise, evaluering og offentlig kontrol til en del af den samme infrastruktur. Kommissionens sprogteknologiske arbejde, Language Data Space, European Language Grid og EU MMLU-benchmarken peger alle i den retning. Europæiske forskere tester, hvad der sker, når oversatte benchmarks behandles som forskningsspørgsmål snarere end som ubestridte instrumenter. Arbejdet fortjener opmærksomhed, fordi det gør en gammel politisk kendsgerning teknisk synlig: Mennesker oplever ikke Unionen på ét sprog.

Næste gang en leverandør siger, at en model er flersproget, så spørg, hvad påstanden indeholder. Hvilke sprog? Hvilke opgaver? Hvilke samfund? Hvilke kilder? Hvilken gennemgang? Hvilket afslag? Hvilken ændringslog? Spørgsmålet er ikke fjendtligt. Det er den almindelige begyndelse på ansvarlighed.

Et samfund bliver ikke retfærdigt, fordi en maskine kan gentage dets ord. Det bliver mere retfærdigt, når mennesker kan komme ind i dets institutioner, forstå, hvad der sker, udfordre et resultat og blive hørt på det sprog, der bærer deres liv. En model kan hjælpe med det arbejde. Den kan ikke definere det. Sproget i en model er en teknisk kapacitet. Sproget i et samfund er et fælles ansvar.

Kilder