Egy modell nyelve nem egy társadalom nyelve

A többnyelvű modell nem azért igazságos, mert a felülete sok nyelvet sorol fel. A nyelvi lefedettség intézményi, kulturális és biztonsági kérdés, és Európa...

Egy modell nyelve nem egy társadalom nyelve

Sechzehn Sprachen sind ein Anfang, kein Urteil

Am 22. Juli 2026 veröffentlichte die Generaldirektion Übersetzung der Europäischen Kommission EU MMLU, eine Benchmark zur Bewertung großer Sprachmodelle in europäischen sprachlichen und kulturellen Kontexten. Die Veröffentlichung war ungewöhnlich ehrlich über die Lücke, die sie zu schließen versuchte. Viele Bewertungsdatensätze wurden auf Englisch erstellt. Ein Modell kann dort gut abschneiden und dennoch auf Französisch, Ungarisch oder Maltesisch schlecht abschneiden. Der neue Datensatz beginnt mit sechzehn EU-Amtssprachen, sieben Themenbereichen und mehr als tausend Fragen, die von fast 250 Studierenden von 21 europäischen Universitäten übersetzt und überarbeitet wurden.

Der wichtigste Teil dieser Ankündigung ist nicht die Liste der Sprachen. Es ist der Satz darunter: Das Verhalten eines Modells kann nicht aus der Sprache abgeleitet werden, in der es am flüssigsten wirkt. Das sollte offensichtlich sein. Es ist auch die Annahme hinter einer bemerkenswerten Menge an Beschaffung, Forschung und öffentlicher Diskussion. Wir sprechen immer noch über ein Sprachmodell, als hätte es einen Geist, und bitten es dann, verschiedene Sprachen wie Mäntel zu tragen. Der Mantel wechselt. Der Geist, die Beweise, die blinden Flecken und das soziale Umfeld werden als stabil behandelt.

Sie sind nicht stabil. Sprache ist der Ort, an dem ein Mensch auf eine Institution trifft. Sie trägt die Bedingungen einer Leistung, den Ton einer Berufung, den Unterschied zwischen Rat und Anweisung, die Form eines Witzes, den Namen eines Ortes und die Annahmen in einem Formular. Wenn ein System eine Sprache besser beherrscht als eine andere, erzeugt es nicht nur einen weniger eleganten Satz. Es kann verändern, wer verstanden wird, wem geglaubt wird, wer ein Ergebnis anfechten kann und wer aufgibt, bevor er die richtige Tür findet.

Die praktische Schlussfolgerung ist klar. Mehrsprachige KI ist keine Übersetzungsfunktion, die nach dem Bau des Modells hinzugefügt wird. Es ist eine Frage des Zugangs, der Beweise und der Autorität. Europas Arbeit an Sprachtechnologien, Sprachdaten und mehrsprachiger Bewertung ist wertvoll, weil sie das Problem als Infrastruktur behandelt. Die Arbeit ist noch unvollständig. Eine Benchmark ist keine Garantie, und sechzehn Sprachen sind nicht ganz Europa. Aber die Richtung stimmt: Hören Sie auf zu fragen, ob ein Modell eine Sprache spricht, und fragen Sie, was es in dieser Sprache sicher tun kann, für wen, unter welchen Bedingungen, mit welchen Beweisen.

Language coverage is credible only when source, context, review and service claims remain connected.

Language is an access boundary

Európa a nyelvet intézményi ténnyé tette, nem magánüggyé. Az Alapjogi Charta 22. cikke kimondja, hogy az Unió tiszteletben tartja a kulturális, vallási és nyelvi sokszínűséget. A Bizottság saját nyelvtechnológiai politikája ezt a kötelezettséget egy gyakorlati figyelmeztetés mellé helyezi: a nyelvtechnológiáknak elfogulatlan használatra van szükségük, ha azt akarjuk, hogy a jogok és elvek túléljék a szoftverrel való érintkezést. Ezek nem díszítő jellegű kötelezettségvállalások. Azt a határt írják le, amelyet egy közszolgáltatási rendszer akkor ér el, amikor egy lakos nem tud elolvasni egy értesítést, nem érti, miért született egy döntés, vagy nem tud egy lényeges tényt abban a nyelvben kifejezni, amelyben a tény létezik.

Ezt a határt könnyű figyelmen kívül hagyni, ha egy csapat csak azt méri, hogy elkészült-e a fordítás. Egy mondat megérkezhet a kért nyelven, és mégis cserben hagyhatja azt, akinek szüksége van rá. A fordítás ellaposíthat egy jogi megkülönböztetést, megváltoztathatja az udvariasság szintjét, amely jelzi, hogy egy hivatalos személy kérdez vagy utasít, vagy olyan kifejezést használhat, amelynek van egy hétköznapi jelentése, de egy adott szolgáltatásban szaknyelvi jelentése is. Egy beszédfelismerő egy regionális kiejtést más szóvá alakíthat. Egy összefoglaló eltávolíthatja azt a megszorítást, amely a felelősséget hordozza. A folyékonyság nem mondja meg nekünk, hogy az ügylet érintetlen maradt-e.

Képzeljünk el egy közérdekű tájékoztató szolgáltatást, amely ugyanazt a jogosultsági magyarázatot kínálja hollandul, franciául és egy regionális nyelven. Az első két útvonalat közigazgatási anyagokkal, fellebbezési levelekkel és szakértőkkel folytatott beszélgetésekkel tanították és tesztelték. A harmadik útvonal kiváló általános prózát nyújt, de nincs érdemi értékelése a szolgáltatás saját terminológiáján. Egy irányítópult három zöld nyelvi jelzést mutathat. A lakosok nem három egyenértékű szolgáltatást kapnak. Az egyik csoport magyarázatot kap; a másik közelítést; a harmadik egy kifinomult bizonytalanságot, amely hivatalosnak tűnik, mert rajta van a megfelelő logó.

A példa szándékosan hipotetikus. Nem állítás egy adott önkormányzatról vagy szállítóról. Célja egy tervezési hiba feltárása. A nyelvi támogatást gyakran a felületen mérik, miközben a tényleges kötelezettség lejjebb helyezkedik el a láncban. A rendszernek tudnia kell, hogy milyen adatok támasztják alá a nyelvet, mely feladatokat értékelték, ki vizsgálta felül a hibákat, hogyan javíthatják azokat a felhasználók, és mikor kell az útvonalnak megtagadnia a választ. Ha ezek az adatok hiányoznak, a nyelvválasztó ígéret szerződés nélkül.

A modell térképe nem a társadalom térképe

Egy modell a nyelvnek abból a térképéből tanul, amelyet az adatai és a tanítási folyamat elérhetővé tesz. Egy társadalom sokkal nagyobb térképben él. A modell térképe azokat a szövegeket, felvételeket, címkéket, fordításokat és értékeléseket tartalmazza, amelyeket beengedtek. A társadalom térképe olyan embereket tartalmaz, akik otthon és munkahelyen másképp beszélnek, bejelentés nélkül váltanak regisztert, kölcsönöznek szavakat egy határon át, kisebbségi nyelvet használnak egy helyi intézményben, vagy olyan írásrendszerben írnak, amelyet egy benchmark nem tartalmazott. Az egyik térkép technikai műtermék. A másik életek, jogok és kötelezettségek elrendezése.

A különbség még a nagy nyilvános korpuszokkal rendelkező nyelvek esetében is számít. Egy nemzeti nyelv nem egyetlen egységes folyam. A kormányzati űrlapok, bírósági határozatok, tantermi beszéd, egészségügyi tanácsok, szöveges üzenetek és a szomszédok közötti beszélgetés különböző szókincset és különböző tűréshatárt használ a kétértelműségre. Egy modell lehet kompetens a hírszövegekben, és gyenge egy ellátási fellebbezésben. Megbirkózhat a szabványos helyesírással, és küszködhet egy nyelvjárással. Lefordíthat egy szó szerinti mondatot, és elvéti a pragmatikai jelentést, amelyet egy udvarias formula hordoz. Ha az egész nyelvet támogatottnak nevezzük, az elrejti a feladat határát.

A nyelvtechnológiának ezért pontosabb szókincsre van szüksége. Különbséget kell tennünk aközött, hogy egy nyelv szerepel-e a tanítóadatokban, és aközött, hogy egy feladatot az adott nyelven értékelnek-e. Különbséget kell tennünk a benchmarkfordítás és az önállóan írt tesztfeladat között. Különbséget kell tennünk egy írásrendszer olvasása és egy közösség regiszterének megértése között. Különbséget kell tennünk egy rendszer szöveggeneráló képessége és aközött, hogy jogosult-e tanácsot adni, osztályozni vagy dönteni. Mindegyik megkülönböztetés egy kis adag aprómunka. Együtt megakadályozzák, hogy szűk bizonyítékokból tág állítást lehessen összerakni.

Az intézményi szigorúságnak oka van. A közszolgáltatások nem választhatják szabadon a legkönnyebb nyelvet, és nevezhetik az eredményt hatékonynak. Egy banknak, kórháznak, munkáltatónak vagy szoftverszolgáltatónak eltérő jogi kötelezettségei lehetnek, de mindegyik eldönti, mennyi súrlódást kell elviselnie az embernek ahhoz, hogy megértsék. A csendben kudarcot valló többnyelvű út a költséget a felhasználóra hárítja. A felhasználónak fordítót kell keresnie, el kell ismételnie a történetét, rosszabb kimenetelt kell elfogadnia, vagy fel kell adnia a folyamatot. A rendszer sikert jelent, mert visszaadott egy sztringet. Az ember kirekesztést él át kiváló nyelvhelyességgel.

Mit jelent valójában az alacsony erőforrás

Az alacsony erőforrást gyakran a nyelv tulajdonságaként kezelik, mintha egyes nyelvek kevesebb erőforrással érkeznének a modell ajtajához, és bocsánatot kellene kérniük a kellemetlenségért. Hasznosabb feladat, adathalmaz és irányítási döntés tulajdonságaként kezelni. Egy nyelvnek lehet jelentős irodalmi anyaga, de kevés címkézett adata egy orvosi osztályozóhoz. Lehet párhuzamos szövege, de szinte semmilyen beszédfelvétele. Lehet, hogy egy korpuszban szerepel, de a jogok vagy a metaadatok hiányoznak egy adott telepítéshez. Lehet, hogy az adatai szabványos formában vannak, miközben az érintett emberek regionális változatot használnak.

Az Európai Bizottság nyelvtechnológiai politikája ezt világosan megnevezi. A nyelvi adat a nyelvi eszközök alapja, és az emberi szakértelem a sikeres fejlesztés elengedhetetlen része. Egy modellnek szövegre vagy beszédre, algoritmusokra, számítási kapacitásra és olyan emberekre van szüksége, akik értik a nyelvet és a szakterületet. Ha ezen elemek bármelyike hiányzik, a rendszer megváltozik. Több számítási kapacitás nem hozhat létre hiányzó beszélgetést. Több példa nem javíthat ki egy olyan címkét, amely két jogi kategóriát összekever. Egy nagyobb modell nem döntheti el, hogy egy közösség melyik forrást tekinti mérvadónak.

Az alacsony erőforrású munka ezért nem felhívás a színvonal csökkentésére. Inkább ok arra, hogy a színvonal láthatóvá váljon. Ha egy feladathoz kevés értékelőanyag van, mondjuk meg. Ha egy mérőszám instabil egy nyelvpárnál, számoljunk be az instabilitásról. Ha az emberi felülvizsgálat kicsi volt, határozzuk meg a felülvizsgálat körét, ahelyett hogy általános garanciaként mutatnánk be. Ha egy út vázlatkészítésre hasznos, de döntésekre nem, tegyük ezt a határt oda, ahol a vásárló és a felhasználó látja. A becsületes hiány biztonságosabb, mint a bőségesnek tűnő csend.

Európa nyelvi tájképe ezt a fegyelmet elkerülhetetlenné teszi. A Bizottság a hivatalos, regionális és kisebbségi nyelvek összetett rendszerét írja le, és olyan kezdeményezéseket támogatott, mint az European Language Grid, az European Language Equality menetrend és a Common European Language Data Space. Ezek a projektek nem egyetlen megoldást jelentenek, és nem is szabad őket egyetlen megoldásként leírni. Egy ökoszisztéma darabjai, amelyben az adatok, az eszközök, a jogok, a szakértelem és a közintézmények találkozhatnak. Az intézményi forma ugyanolyan fontos, mint a benne lévő modell.

A jogi réteg a benchmark előtt érkezik

Csábító úgy beszélni a nyelvi modellekről, mintha a nyelv semleges bemeneti csatorna lenne. Pedig nem az. A bemenet tartalmazhat személyes adatot, védett tulajdonságot, helyi helynevet, egészségügyi adatot vagy feljegyzést arról, hogy valaki segítséget kért. A forrás lehet szerzői jogi védelem alatt álló vagy fenntartással érintett. Egy lefordított kimenet felhasználható döntéshozatalban akkor is, ha a fordítási útvonalat soha nem értékelték arra a kontextusra. A modell nyelvi problémája már a pontozás előtt jogi problémává válik.

A Bizottság nyelvtechnológiai iránymutatása a nyelvi adatokat mind a szerzői joghoz, mind az adatvédelemhez köti. Ennek a kapcsolatnak meg kell változtatnia, hogyan tervezik a csapatok a feldolgozási folyamatokat. A korpusz nem csupán mondatok halmaza. Van forrásazonossága, beszerzési körülményei, licenc- vagy jogállása, nyelvi és írásrendszeri metaadatai, minőségi jelzései, célja és megőrzési szabályai. Ha egy tételt javítanak vagy visszavonnak, a szervezetnek tudnia kell, mely származtatott artefaktumokat érinti a változás. Ellenkező esetben egy későbbi modell egy régi hibát ismételhet meg egy frissen nyomtatott űrlap magabiztosságával.

Itt válik be igazán a származás kifejezés. A származás nem lábjegyzet arról, hogy az adat valahonnan jött. Ez azoknak a kapcsolatoknak az összessége, amelyek lehetővé teszik, hogy egy ellenőrző az eredménytől a releváns bizonyítékig jusson, majd onnan vissza. Többnyelvű munkában ezeknek a kapcsolatoknak túl kell élniük a fordítást, az átírást, a normalizálást, a szegmentálást és az értékelést. Egy benchmarkhoz lefordított mondat nem felcserélhető a forrásmondattal. Egy ellenőrző által készített címke nem felcserélhető egy másik nyelvből örökölt címkével. Az átalakítás maga is része a bizonyítéknak.

Nincs előírás arra, hogy minden felhasználó lásson kutatási nyilvántartást. Van viszont előírás arra, hogy egy szervezet meg tudjon válaszolni egy komoly kérdést, amikor az felmerül. A nyelvi erőforrás melyik verzióját használták? Melyik feladatot támogatta? Melyik nyelvi szakértők ellenőrizték? Mit tett a rendszer, amikor alacsony volt a megbízhatóság? A panaszt egyetlen válasz javításaként kezelték, vagy lehetséges hibacsoportként? A nyelvi útvonal akkor válik megbízhatóvá, ha ezeknek a kérdéseknek gazdája és nyilvántartása van.

Európa nyelvi infrastruktúrát épít, nem csupán fordítási gombokat

Az Európai Bizottság leírása a közös európai nyelvi adattérről azért hasznos, mert nem szűkíti le a projektet egy modell kiadására. A cél egy platform és piactér többnyelvű és multimodális nyelvi adatok gyűjtésére, megosztására és újrafelhasználására, miközben az adatokat előállító szervezetek és személyek megtartják az ellenőrzést. Ez a megfogalmazás a haladás másfajta elképzelése felé mutat. A munka nem csupán jobb mondat előállításáról szól. Arról szól, hogy a nyelvi erőforrások felfedezhetők, jogtudatosak, újrafelhasználhatók és elszámoltathatók legyenek a közigazgatásban, a kutatásban és az iparban.

Az Európai Nyelvi Grid hasonló lépést tett azzal, hogy a speciális nyelvtechnológiai eszközöket és erőforrásokat közös katalógusba gyűjtötte. A katalógus nem bizonyítja, hogy minden szolgáltatás minden feladatra működik. Viszont megkönnyíti egy rejtett függőség vizsgálatát. Egy csapat megkérdezheti, mit csinál az eszköz, melyik nyelvet támogatja, honnan származnak az adatai, és hogy a licenc megfelel-e a tervezett felhasználásnak. Ez nem látványos infrastruktúra. De így kerüli el egy sok intézményből álló kontinens, hogy egymástól elszigetelt helyiségekben építse újra ugyanazt a nyelvi képességet.

Az infrastruktúra azért fontos, mert a nyelvi munka hosszú farkát nem oldja meg egyetlen zászlóshajó modell. Egy közintézménynek szüksége lehet regionális akcentusra működő beszédfelismerésre, szakterületi kifejezéskinyerésre, jogszabályokhoz fordítási memóriára, helynevek felismerésére vagy egy dokumentum két verziójának összehasonlítására a diakritikus jelek elvesztése nélkül. Egy vállalatnak szüksége lehet helyi telepítésre, mert az anyag nem hagyhatja el a joghatóságát. Egy kutatócsoportnak szüksége lehet egyértelmű származású adatkészletre egy újabb névtelen pontszám helyett.

Ebben a megközelítésben csendes politikai döntés rejlik. Az adatokra és eszközökre úgy tekintenek, mint olyan képességekre, amelyeket Európa képes megvizsgálni és alakítani, nem pedig olyan szolgáltatásként, amely egy láthatatlan távolból érkezik. Ez nem jelenti azt, hogy az európai rendszerek automatikusan jók, vagy hogy a máshol működő kereskedelmi szolgáltatók ne lehetnének hasznosak. Azt jelenti, hogy egy nyelv túl fontos ahhoz, hogy ne legyen nyilvános szókincse az adatairól, hiányosságairól és értékeléséről. A szuverenitás azzal kezdődik, hogy tudjuk, mit nem lát a rendszer.

A fordítás nem semleges csővezeték

A fordítást gyakran két összetevő közé helyezik egy architektúra-ábrán, mintha egy cső lenne, amely az egyik oldalról a másikra szállítja a jelentést. A valódi fordítás döntések sorozata. Melyik forrásszöveg a mérvadó? Mely szavaknak kell pontosan megmaradniuk? Mely kétértelműséget kell megőrizni? Mely kulturális utalás szorul magyarázatra? Melyik regiszter illik egy hatósági közleményhez? Melyik entitást nem szabad lefordítani? Melyik dátumot, számot vagy mértékegységet kell az olvasó konvenciói szerint megjeleníteni? Egy modell gyorsan tud dönteni ezekről. A gyorsaság nem teszi láthatatlanná a döntéseket.

Gondoljuk végig a különbséget egy időjárásról szóló mondat és egy határidőről szóló közlemény fordítása között. Az elsőben egy apró stílushiba bosszantó lehet. A másodikban egy szám vagy egy módbeli segédige megváltoztathatja azt, amit az ember kötelezettségének hisz. A mögöttes nyelvi modellnek ugyanaz a tokenkerete és ugyanaz a bizalmi kijelzése lehet. A társadalmi következmények nem ugyanazok. Az értékelésnek ezért a feladathoz kell igazodnia, nem állhat meg egy általános nyelvi pontszámnál.

A Bizottság saját nyelvhasználatáról szóló oldala dráma nélkül világít rá erre. A gépi fordítás alapvető képet adhat, de a minőség és a pontosság jelentősen változhat szövegről szövegre és nyelvpáronként. Ez hasznos közérdekű mondat, mert nem hajlandó egy szolgáltatást jósdává változtatni. Felhatalmazza az olvasót, hogy tájékozódásra használja a fordítást, miközben meghagyja az okot, hogy emberi vagy hiteles változatot keressen, ha a következmény indokolja.

A termékcsapatok számára ez konkrét útvonalak sorát jelenti. Egy alacsony kockázatú fordítás közvetlenül visszaadható egyértelmű állapotjelzéssel. Egy jogi vagy orvosi útvonal megkövetelheti az emberi felülvizsgálatot, a forrásra mutató hivatkozást vagy az elutasítást. Egy belső tervezet megőrizheti a forrást a fordítás mellett. Egy beszédalapú felület megismételhet egy kritikus nevet, és megerősítést kérhet. A választás nem a teljes automatizálás és a teljes elutasítása között van. Hanem egy olyan folyamat között, amely nyíltan jelzi az átadási pontjait, és egy olyan között, amely egy gördülékeny bekezdés mögé rejti azokat.

A mondat fennmarad, a helyzet nem

A modellek reprezentációkon dolgoznak. A társadalmak helyzeteken. Amikor egy fordítás az egyikből a másikba lép, apró részletek válhatnak a teljes jelentéssé. Egy kifejezés, amely az egyik nyelvben udvarias, a másikban kitérőnek hangozhat. Egy fogalom, amely megkülönböztet egy törvényi jogot egy mérlegelésen alapuló szolgáltatástól, összeolvadhat egy általános segítség szóvá. Egy idióma lefordítható szó szerint, és értelmetlenné válhat, vagy szabadon, és elveszítheti azt a hivatkozást, amely egy közösséget azonosít. Egyik hibához sem kell abszurd kimenet. A veszélyes válasz az, amelyik hétköznapinak tűnik.

Az EU MMLU kiadása pontosan ezt a területet jelöli ki. Minőségi kritériumai azt kérik a többnyelvű benchmarkoktól, hogy ne csak a jelentést és a nehézséget teszteljék, hanem az idiómákat, a humort, a kulturális utalásokat, a dátum- és számformátumokat, valamint a várható hangnem vagy udvariasság különbségeit is. Ez az értékelési cél fontos kiterjesztése. A nyelvi modelltől nem csak azt kérik, hogy képes-e nyelvtanilag helyes mondatot létrehozni. Azt kérik tőle, hogy a mondat illeszkedjen-e abba a helyzetbe, ahol egy ember cselekedni fog annak alapján.

A humor említése nem felhívás arra, hogy a benchmark szórakoztató legyen. Elismeri, hogy a humor a kontextus igénybevétele. A szó szerinti fordítás megőrizheti a szavakat, és tönkreteheti a poént. A kulturálisan adaptált fordítás megőrizheti a hatást, miközben megváltoztatja a hivatkozást. Egy közérdekű információs szolgáltatásban ugyanez a mechanizmus nevetés nélkül jelenik meg. Egy közmondás, egy helyi helységnév vagy egy hivatalos köszöntés jelezheti, hogy ki beszél, és milyen kapcsolatot teremt az üzenet.

Amikor a csapatok azt mondják, hogy egy modell érti a nyelvet, meg kell kérdezniük, melyik rétegre gondolnak. Felismeri az írásrendszert? Helyesen szegmentálja a szavakat? Azonosítja az entitásokat? Lefordítja az állítást? Megőrzi a jogi erőt? Követi a helyi konvenciót? Megtartja a beszélő bizonyosságának szintjét? Kezeli a nem szabványos helyesírást? A megfelelő regiszterben válaszol? Ezek különálló képességek. Egyetlen, többnyelvűnek nevezett címke elrejti azt a munkát, amely mindegyikük megalapozásához szükséges.

Miért kell az értékelésnek együtt járnia a nyelvvel

Az értékelést gyakran a végén adják hozzá, mert a csapatok számot szeretnének rendelni a modellhez. A többnyelvű rendszerek lehetetlenné teszik ezt a sorrendet. A tesztadatok határozzák meg, mi számít hibának. A nyelv határozza meg, hogy egy mondat hogyan vallhat kudarcot. A tartomány határozza meg, hogy melyik hiba számít. A felhasználó határozza meg, hogy a rendszer válasza segítség vagy akadály. Az értékelésnek mind a néggyel együtt kell járnia.

Az európai kutatási cikk, a Towards Multilingual LLM Evaluation for European Languages bemutatja a probléma mértékét. A szerzők 40 nyelvi modellt értékelnek 21 európai nyelven, megvizsgálják öt széles körben használt benchmark lefordított változatait, és közzétesznek egy keretrendszert, amely magában foglalja az EU20-MMLU-t, az EU20-HellaSwag-ot, az EU20-ARC-ot, az EU20-TruthfulQA-t és az EU20-GSM8K-t. A cikk nem állítja, hogy egy meglévő benchmark lefordítása automatikusan méltányossá teszi azt. A fordítási szolgáltatásokat, a benchmark felépítését és a nyelvek közötti összehasonlíthatóságot vizsgálandó dolgokként kezeli.

Ez a helyes hozzáállás. Egy lefordított tesztfeladat örökölhet nehézségváltozást, kulturális feltételezést vagy olyan támpontot, amely az eredetiben nem létezett. Egy modell magasabb pontszámot érhet el, mert a lefordított megfogalmazás könnyebbé teszi a választ, nem pedig azért, mert a modell képessé vált. Alacsonyabb pontszámot érhet el, mert egy nyelvtani szerkezet természetellenes a célnyelvben, még akkor is, ha a mögöttes érvelés helyes. Mindkét eredmény bizonyíték a tesztre és a modellre is.

Az emberi felülvizsgálat továbbra is szükséges, de az emberi felülvizsgálatnak is szerződésre van szüksége. Ki vizsgálta felül a feladatot? A felülvizsgálók anyanyelvi beszélők, területi szakértők vagy mindkettő voltak? Elszigetelt mondatokat vagy a feladatot kontextusban vizsgálták? Rögzítették a nézeteltéréseket? A benchmark megőrizte az alternatív elfogadható válaszokat? Egy nyelvi szakértő megmondhatja, hogy egy kifejezés helytelen. Egy területi szakértő megmondhatja, hogy a helytelenség miért változtat meg egy döntést. Egy hiteles értékelés gyakran mindkettőt igényli, és meg kell mondania, melyikkel rendelkezett.

A lényeg nem az, hogy minden rendszert végtelen vizsgán vezessenek át, mielőtt bárki használhatná. Az, hogy megakadályozzák, hogy egy szűk tesztet széles körű állításként értelmezzenek. Ha egy modellt rövid, tényszerű kérdéseken értékeltek szabványos írott nyelven, számoljanak be erről. Ne hagyják, hogy az eredmény csendben a beszélt interakcióra, a jogi szövegezésre, a helyi önkormányzatra, a gyermekekre, az idősekre vagy a nyelv minden regiszterére vonatkozó állítássá váljon.

Egy pontszám akkor válik hasznossá, ha látható marad a feladat, a nyelv, a kontextus és a felülvizsgálat határa.

A máltai és a baszk tanulság

A 2024-es LREC-COLING konferencián bemutatott tanulmány a gépi fordítás értékelését vizsgálta angolról máltaira és spanyolról baszkra. A szerzők elemezték a COMET értékelési mutatót, közvetlen emberi értékeléseket gyűjtöttek, és tesztelték, hogyan viselkedik a mutató, ha a két nyelvpárhoz igazítják. A következtetésük szerény, de jelentőségteljes: a mutató teljesítménye javulhat finomhangolással, ugyanakkor nagyon érzékeny lehet a tanítóadatok pontszámeloszlására, különösen alacsony erőforrású környezetben.

Ez nem arról szól, hogy egy mutató kudarcot vall. Arról szól, hogy mitől függ egy pontszám. Az egyik eloszláson tanított mutató másként viselkedhet, ha egy másikat kell megítélnie. Egy nyelvpár, amelyhez kevesebb értékelési anyag áll rendelkezésre, határozottabbnak mutathatja a pontszámot, mint amilyen valójában. Egy rendszer, amelyet kényelmes összehasonlítani, még rossz helyettesítője lehet annak, amit a beszélők jó fordításnak tartanak. Az emberi ítéletek nem teszik tökéletessé az értékelést, de felfedik azokat a pontokat, ahol egy automatikus mérőeszköz feltételezésekre épít.

Egy másik 2024-es tanulmány, a Benchmarking Low-Resource Machine Translation Systems, nyilvánosan elérhető rendszereket hasonlít össze négy adatkészleten és 26 nyelven, az eredményeket pedig a BENG, a természetesnyelv-generálás FAIR benchmarkplatformja teszi közzé. A hozzájárulás itt sem egy egyetemes rangsor. Hanem egy jobban áttekinthető összehasonlítás. A hatékonyságot és a hatásosságot együtt vizsgálják, és a nyelvlista is látható. Az olvasó megkérdezheti, hogy a benchmark tartalmazza-e a számára fontos útvonalat, ahelyett hogy egyetlen kiemelt számot fogadna el.

Ezek a tanulmányok európai leckét adnak a visszafogottságról. A nehéz rész nem az, hogy újabb pontszámot találjunk ki. Hanem hogy olyan értékelést építsünk, amelyből az olvasó látja, kinek a nyelve, kinek a feladata és kinek a minőségdefiníciója hozta létre a pontszámot. Ha ez a kontextus hiányzik, egy szám olyan lesz, mint egy útlevél nélküli határátlépés. Lehet, hogy átjut az előadáson, de senki sem tudja megállapítani, honnan jött.

A nyelvi lefedettség biztonsági tulajdonság is lehet

A biztonsági viták gyakran arra összpontosítanak, hogy milyen tartalmat utasítson el egy rendszer, milyen támadásoknak álljon ellen, vagy milyen hibákat kell kiszűrnie. A nyelv újabb kérdést vet fel: felismeri-e a rendszer, ha kompetenciáján kívül van? Egy útvonal, amely az egyik nyelven működik, egy másik nyelven gyakrabban hibázhat, miközben ugyanazt a magabiztos hangnemet őrzi meg. Ha a felület nem mutatja a különbséget, a felhasználók nem tudják beállítani, mennyire bízzanak benne.

Ez különösen fontos, ha a nyelv egy biztonságkritikus interakció része. Egy beteg regionális nyelvváltozatban írhatja le a tünetét. Egy munkavállaló helyi kifejezéssel jelenthet be egy veszélyt. Egy lakos olyan helyesírási konvencióval nyújthat be fellebbezést, amelyet egy normalizáló zajként kezel. Egy modell lehet technikailag pontos a saját benchmarkján, és működés közben veszélyes az adott útvonalon. A releváns kérdés nem az, hogy a rendszer képes-e elfogadható választ generálni. Hanem az, hogy a biztonsági ellenőrzéseket az előtte álló nyelven és helyzetben értékelték-e ki.

A biztonság nem követeli meg, hogy minden nyelvi útvonalat különleges vészhelyzetként kezeljünk. Azt követeli meg, hogy az ellenőrzést a következményhez igazítsuk. Egy alacsony kockázatú keresési eredmény felfedheti a forrásait, és korrekcióra hívhatja fel a figyelmet. Egy orvosi triázs felület a bizonytalan nyelvi bemenetet képzett szakemberhez irányíthatja. Egy jogi dokumentum-munkafolyamat egymás mellett tarthatja a forrást és a fordítást, és jóváhagyást követelhet meg a közzététel előtt. Egy hangalapú rendszer megkérheti a felhasználót, hogy ismételje meg a nevet, ahelyett hogy némán kiválasztaná a legközelebbi ismert entitást. Ezek mindennapi mérnöki döntések, ha a nyelvet a rendszer határának részeként kezeljük.

Maga az elutasítás is nyelvi tervezést igényel. Nem elég közölni a felhasználóval, hogy a rendszer nem tud válaszolni, ha az elutasítás átláthatatlan, lekezelő, vagy nem érhető el a felhasználó nyelvén. A rendszernek meg kell mondania, hogy mit nem tudott megállapítani, milyen információ segítene, és melyik emberi vagy hiteles forrású útvonal áll rendelkezésre. Ellenkező esetben a biztonsági ellenőrzés újabb akadályt jelent a hozzáférésben. Európa nyelvi elve akkor válik a legvilágosabban próbára, amikor a rendszer nem tudja megadni a kért választ.

A többnyelvű szolgáltatás működési kialakítása

Egy megbízható többnyelvű szolgáltatás működési formája könnyen leírható, de meglepően nehezen tartható fenn. Először is megnevezi a feladatot. A fordítás, az átírás, az osztályozás, a visszakeresés, az összefoglalás és a generálás nem felcserélhető. Másodszor, megnevezi a nyelvi útvonalat, beleértve az írásrendszert és minden releváns regionális vagy szakterületi határt. Harmadszor, rögzíti a forrásanyagot és az alkalmazott átalakításokat. Negyedszer, meghatározza a felülvizsgálati és eszkalációs útvonalat. Ötödször, közli a felhasználóval, hogy a rendszer mire képes és mire nem.

Ezek a lépések nem egy óriási bürokrácia követelései. Ezek a minimumok ahhoz, hogy egy nyelvi ígéret tesztelhető legyen. Ha egy szállító azt állítja, hogy a modell támogatja a finn nyelvet, a vevőnek meg kell tudnia kérdezni, hogy ez szöveggenerálást, beszédfelismerést, fordítást mely nyelvekből, vagy mindezt együtt jelenti-e. Ha egy termékcsapat azt mondja, hogy támogat egy regionális nyelvet, meg kell mondania, hogy a támogatás natív adatokon, fordított adatokon, egy kis kiértékelési halmazon vagy szakértői felülvizsgálaton alapul-e. Ha a válasz ismeretlen, az ismeretlen érvényes állapot.

A szolgáltatásnak változáskezelési szabályzatra is szüksége van. Új tanítóanyag, új tokenizáló, új fordítási modell, új terminológiai lista vagy új felhasználói csoport megváltoztathatja a nyelvi viselkedést. Egy kiadás, amely javít az egyik útvonalon, ronthat egy másikon. Egy tavalyi benchmarkeredmény nem feltétlenül írja le a mai rendszert. A verziórekordok, az összehasonlító tesztek és a nyelvspecifikus hibák bejelentésére szolgáló útvonal teszik a szolgáltatást karbantarthatóvá, nem pedig puszta formasággá.

A karbantartásnak van emberi oldala is. A nyelvi szakértőknek módot kell kapniuk arra, hogy lássák a közösségüket érintő hibákat. A szakterületi csapatoknak módot kell kapniuk arra, hogy megkülönböztessék a fordítási hibát a szabályzati kétértelműségtől. Az üzemeltetőknek módot kell kapniuk arra, hogy szüneteltessenek egy útvonalat anélkül, hogy meg kellene várniuk, amíg egy modellszállító értelmezi a panaszt. A felhasználóknak módot kell kapniuk arra, hogy jelezzék, ha a rendszer félreértett egy szót, egy kontextust vagy egy személy nevét. Egy többnyelvű szolgáltatás nem akkor tekinthető késznek, amikor a modellt üzembe helyezték. Akkor tekinthető kellően késznek, amikor elszámoltatható, amikor a következő nyelvi probléma felmerül.

Származás egy nyelvi feldolgozási láncon keresztül

Provenance becomes concrete when we follow one piece of meaning through a system. Start with a source paragraph. Record its language, script, author or institution when known, rights and purpose. If it is segmented, preserve the relationship to the original. If it is translated, retain the source and the translator or translation process. If a reviewer changes the wording, record that as a new state, not as a silent replacement. If the paragraph becomes a benchmark item, carry the task, answer key, language and review record with it.

At runtime, the same discipline applies in reverse. Store which language route handled the request, which model or tool version ran, which source evidence was retrieved, which uncertainty or refusal state was reached, and which human action followed. The record does not need to expose private content to every operator. It does need to make the material facts available to an authorised reviewer. Without them, a language incident becomes a debate about impressions.

This is where multilingual provenance differs from a generic audit log. A timestamp and model name tell us that something happened. They do not tell us whether the source was translated, whether the answer changed a number format, whether a named entity was normalised, or whether the reviewer was working in the target language. The transformation path is the evidence. A short answer can hide a long chain of decisions.

There is a small Dutch virtue in this approach: keep the ledger boring enough that someone can use it on a Tuesday afternoon. A provenance record should not be a museum label written for an audit that may never arrive. It should help an operator answer the next question, stop the right route and explain the result to a person who has no interest in your architecture diagram. Good language governance is slightly dull. That is how you know it might survive contact with work.

The hidden choices in a translation

Every translation system carries choices that deserve names. Tokenisation decides how the input is split. Normalisation decides which distinctions are preserved or discarded. Alignment decides which parts of two texts are treated as equivalent. Terminology decides which words are stable. Decoding decides how the output is selected. Post-processing decides what the reader sees. None of these steps is inherently wrong. Each can create a language-specific failure that is invisible in a general demo.

Take a proper name. A system may translate it, transliterate it, preserve it, or replace it with a familiar spelling. For a poem, several choices may be defensible. For an identity document, only one may be acceptable, and that one may depend on the issuing authority. Take a unit or date. The values may remain mathematically equivalent while the form becomes ambiguous to a reader. Take a gendered noun or pronoun. A translation can introduce information that the source withheld, or erase a distinction the source made deliberately.

The design answer is not to freeze language. It is to state the policy and make the exception visible. A terminology list can protect legal terms. A named-entity rule can prevent a town from becoming a person. A source-preserving view can let a reviewer compare the original and output. A human escalation can be triggered by a low-confidence name, a disagreement between routes or a task classified as high consequence. The model remains useful because its boundaries are part of the workflow.

A nagy nyelvi modellek nehezebbé teszik a döntések átlátását, mert a kimenet gördülékeny. A gördülékeny kimenet csodálatos felület, de megbízhatatlan magyarázat. A rendszer képes anyanyelvinek hangzó mondatot produkálni, miközben a szó rossz jelentését választja ki. Megőrizheti a tág témát, miközben kihagy egy tagadást. Lefordíthat egy helyi kifejezést egy szabványos fordulatra, ami megváltoztatja a beszélő álláspontját. Ezért a nyelvi minőség nem írható le pusztán nyelvtannal. A jelentésnek társadalmi alakja van.

Írásrendszerek, nyelvjárások, regiszterek és intézmények

A nyelvi támogatást gyakran egy nyelv nevének szintjén jelentik be, de az olvasók írásrendszerekkel, nyelvváltozatokkal és regiszterekkel találkoznak. Egy rendszer, amely a modern sztenderd helyesírást kezeli, nehézségekbe ütközhet történeti dokumentumokkal. Egy beszédfelismerő megbirkózhat a stúdióhanggal, de kudarcot vallhat egy zsúfolt állomáson. Egy ügyfelekkel kommunikáló chatbot formális regiszterben válaszolhat, miközben a felhasználónak közérthető nyelvre van szüksége. Egy intézmény olyan kifejezést használhat, amely jogilag fontos okból különbözik a hétköznapi beszédtől.

Ezek nem elhanyagolható szélsőséges esetek abban az értelemben, ahogyan ezt legyintve szokták mondani. Ezek azok a pontok, ahol a nyelv találkozik a világgal. Egy regionális név jelentheti a különbséget a helyes cím és a sikertelen kézbesítés között. Egy nyelvjárási szó lehet az egyetlen szó, amit valaki egy tünetre ismer. Egy formális fordulat jelezheti, hogy egy üzenetnek jogi hatálya van. Egy írásrendszer-változat eldöntheti, hogy egy dokumentum kereshető-e. Ha egy benchmark kizárja ezeket az utakat, még hasznos lehet, de nem helyettesítheti az egész nyelvet.

Az összes változat tesztelése nem mindig lehetséges. A becsületes válasz az, ha leírjuk a támogatott részhalmazt, és bizonyítékokat kérünk a többi részről. Egy rendszer közzéteheti, hogy a közérdekű tájékoztatás összefoglalására szolgáló sztenderd írott holland nyelvet értékelték, anélkül hogy állítást tenne a regionális beszédfelismerésről. Hozzáadhat egy tesztet a frízre vagy a baszkra anélkül, hogy azt állítaná, hogy ezzel minden regionális és kisebbségi nyelvi kérdést megoldott. A pontosság nem gyengeség. Megmutatja a felhasználóknak, hol van a mélypont.

Az intézményeknek ellen kell állniuk annak a gondolatnak is, hogy egyetlen nemzeti nyelvi út automatikusan semleges. A hivatali nyelv hozzáférhetetlen lehet ugyanazon nyelv beszélői számára. A hozzáférhetőség és a többnyelvűség átfedi egymást, mert mindkettő azt kérdezi, hogy az olvasó megérti-e és cselekedni tud-e. A Bizottság nyelvi munkája éppen ezért foglal magában eszközöket az egyszerűsítéshez és a hozzáférhető szövegekhez. Egy mondat lehet nyelvtanilag helyes, és mégis intézményileg használhatatlan.

Amikor a felület gördülékeny, de hibás

A legnehezebb nyelvi hibák nem látványosak. Ezek azok a válaszok, amelyek átmennek a szemrevételezésen. Egy összefoglaló tartalmazza a megfelelő neveket, de megváltoztatja, hogy ki a felelős. Egy fordítás megőrzi a főneveket, de egy ajánlást utasítássá alakít. Egy osztályozó érti a témát, de kihagy egy tagadást. Egy hangvezérelt rendszer felismeri a szavakat, de nem a beszélő tétovázását. A felhasználó a saját nyelvén olvassa a kimenetet, és feltételezi, hogy a gördülékenység a gondosság jele.

Erre a hibacsoportra kell tervezni, ahelyett, hogy arra várnánk, hogy egy bizarr példa címlapra kerüljön. Hasonlítsuk össze a forrást és a kimenetet a nagy jelentőségű tartalmaknál. Őrizzük meg a bizonytalanságot jelölő elemeket. Tartsuk meg a hivatkozásokat vagy a dokumentumokra való utalásokat. Kérjünk megerősítést, ha egy szám, név vagy határidő központi jelentőségű. Tegyük láthatóvá az utat a kezelő számára. Kínáljunk korrekciós mechanizmust, amelyhez a felhasználónak nem kell tudnia, hogy melyik összetevő hibásodott meg. Ezek az ellenőrzések aprók, de a fordítást ellenőrizhető tranzakcióvá teszik.

Az emberi felülvizsgálatot nem szabad varázslatos utolsó lépésként leírni. A lektoroknak időkorlátjaik, szakterületi hiányosságaik és saját nyelvi feltételezéseik vannak. Egy hasznos felülvizsgálati felület megmutatja nekik a forrást, a kimenetet, a kontextust és a továbbítás okát. Rögzíti a nézeteltéréseket, nem pedig elsiklik felettük. Ha a lektorok újra és újra ugyanazt a kifejezést javítják, a szervezet javíthat a terminológián vagy módosíthatja a feladat határait. Ha a nézeteltérésből kiderül, hogy maga a forrás kétértelmű, a helyes lépés lehet, hogy megkérdezzük a szerzőt, nem pedig az, hogy keményebben tanítsuk a modellt.

Az üzemeltetőknek is szükségük van arra, hogy lássák a negatív bizonyítékokat. Mely nyelveket nem értékelték? Mely feladatokhoz nincs emberi felülvizsgálat? Mely kéréseket utasították el? Mely felhasználók hagyták el az útvonalat egy fordítás után? A hiány is lehet jelzés. Egy zöld lefedettségi diagram, amely kihagyja a sikertelen útvonalakat, a marketingfelület térképe, nem pedig a szolgáltatásé.

Az emberi szakértelem nem tartalék gomb

Az európai nyelvtechnológiai politika egy mondatban említi a nyelvészeket, adattudósokat, számítógépes mérnököket és szakterületi szakértőket. Ez tervezési követelmény, nem pedig egy lista a szakmákról, amelyeket meghívhatunk egy induló megbeszélésre. Mindenki más hibát lát. A nyelvész természetellenes szerkezetet vagy elveszett megkülönböztetést lát. A mérnök szegmentálási vagy útválasztási problémát lát. A szakterületi szakértő veszélyes kategóriahibát lát. Az üzemeltető olyan várakozási sort lát, amelyért senki nem vállal felelősséget. A szolgáltatást használó személy olyan döntéssel találkozik, amelynek már nincs értelme.

Az emberi szakértelemnek még a benchmark rögzítése előtt be kell kapcsolódnia. Egy nyelvi szakértő segíthet olyan tesztanyagot kiválasztani, amely valós regisztereket képvisel, nem csak tiszta mondatokat. Egy szakterületi szakértő azonosíthatja azokat a kifejezéseket, amelyek nem változhatnak. Egy közösségi képviselő megmondhatja a csapatnak, hogy melyik megfogalmazás tűnik hivatalosnak, ismerősnek vagy sértőnek. Egy adatgazda elmagyarázhatja, milyen származási adatok állnak rendelkezésre, és melyek nem. Ezek a hozzájárulások alakítják a rendszer szerződését. Nem díszítés a technikai döntések meghozatala után.

Ennek persze költsége van. A jó felülvizsgálat időt vesz igénybe, és fizet azért a tudásért, amelyet gyakran láthatatlanként kezelnek. Ez a költség a nyelvi támogatás része. Az alternatíva az, hogy áthárítjuk a felhasználókra, akik zűrzavarral és fellebbezésekkel fizetnek, vagy a munkatársakra, akik informálisan fordítanak és javítanak az útvonalon. Egy rendszer, amely azért tűnik olcsónak, mert figyelmen kívül hagyja a nyelvi szakértelmet, nem hatékony. Egyszerűen csak áthelyezte a számlát.

Mit kell feltárnia egy tisztességes benchmarknak

Egy többnyelvű benchmarknak egy elég kicsi állítással kell kezdődnie ahhoz, hogy tesztelhető legyen. Az állítás lehet az, hogy egy rendszer képes közérdekű kérdésekre válaszolni egy nyelvkészleten, megőrzi a dátumokat és számokat, és visszautasítja, ha a forrásbizonyíték hiányzik. Lehet az, hogy egy fordítási útvonal egy adott nyelvpáron és szakterületen meghatározott minőségi szinten működik. Lehet az, hogy egy beszédfelismerő egy meghatározott nyelvváltozatot képes átírni meghatározott akusztikai körülmények között. A benchmark ennek az állításnak a szerződése.

A szerződéshez többre van szükség, mint egy nyelvlistára. Fel kell tárnia a feladatot, a forrást, a szakterületet, a regisztert, az írásrendszert, az irányt, a kontextus hosszát, a bemeneti feltételeket, a referenciaválaszokat, az elfogadható változatokat, a mérőszámokat, az emberi felülvizsgálatot és a bizonytalanságot. Meg kell mondania, hogy az elemeket eredetileg az adott nyelven írták-e, vagy fordították őket. Rögzítenie kell, hogy ki javította őket, és milyen nézeteltérések maradtak. El kell különítenie az összesített eredményeket a nyelvenkénti eredményektől. Elég példát kell mutatnia ahhoz, hogy az olvasó megértse, mit mér a pontszám.

Az EU MMLU-kritériumok azért hasznosak, mert kitágítják a „méltányos” fogalmát. Az egyik rész a hivatalos nyelvek közötti kiegyensúlyozott reprezentáció. A másik a jelentés, a nehézség és a tesztelési érték megőrzése a nyelvek között. Azzal, hogy az EU értékeit és kulturális kontextusait is tesztelik, beleértve az idiómákat, a humort, a hivatkozásokat, a dátum- és számformátumokat, a hangnemet és az udvariasságot, a benchmark társadalmi eszközzé is válik, nem csupán technikaivá. A kritériumok nem szüntetik meg a mérlegelést. Csupán ellenőrizhetővé teszik azt.

A benchmarkok tervezőinek a kudarcokról szóló részleteket is közzé kell tenniük, nem csak az átlagokat. Egy modellnek lehet jó az átlagpontszáma, miközben minden olyan elemen elbukik, amely egy adott regisztert vagy számfajtát érint. Egy útvonal lehet hatékony az egyik irányban, és lassú vagy költséges a másikban. Egy mérőszám korrelálhat az emberi ítélettel az egyik nyelven, és instabillá válhat egy másikon. A nyelvenkénti és feladatonkénti nézetek nem luxus. Így kerülheti el a vásárló, hogy az átlagot megvásárolja, miközben a kivételt alkalmazza.

Végül egy benchmarknak ki kell mondania, mit nem tud megmondani. Egy írásbeli teszt nem bizonyítja a beszélt nyelvi teljesítményt. Egy fordítási pontszám nem bizonyítja a jogi megbízhatóságot. A hivatalos nyelvek listája nem jelenti a regionális vagy kisebbségi nyelvek támogatását. A magas pontszám nem jelenti azt, hogy egy személy megkérdőjelezhet egy döntést. A korlát nem szégyen. Ez a térkép széle, és a felhasználóknak látniuk kell, mielőtt vitorlát bontanak.

A pontszám térképjelmagyarázat, nem a terület maga

A számok azért hasznosak, mert összehasonlításra kényszerítenek. Azért veszélyesek, mert a mérésnél nagyobb következtetésre csábítanak. Egy pontszám megmondhatja, hogyan viselkedett egy rendszer egy meghatározott mintán, meghatározott módszerrel. Azt nem mondhatja meg, hogyan fogja egy közösség megtapasztalni a rendszert, hacsak nincs egy hídnyi feltételezés. A híd lehet szilárd. De meg kell nevezni.

Tegyük fel, hogy egy rendszer javul egy többnyelvű benchmarkon a finomhangolás után. Ez bizonyíték a teljesítmény javulására azon az értékelésen. Nem automatikusan bizonyíték arra, hogy a rendszer biztonságosabb egy közszolgáltatásban. A szolgáltatás eltérő terminológiát, hosszabb kontextust, beszélt nyelvi bemenetet, más regisztert vagy olyan downstream munkafolyamatot használhat, amely egy javaslatot döntéssé alakít. A benchmark így is értékes lehet. Még értékesebbé válik, ha a szervezet megmondja, a szolgáltatás melyik részét képviseli.

Ugyanez a fegyelem vonatkozik az energiára, a sebességre és a költségre. Egy alacsony erőforrás-igényű nyelvi útvonal több emberi felülvizsgálatot vagy nagyobb visszakeresési kontextust igényelhet. Ez nem az átlagban elrejtendő hiba. Ez a szolgáltatás egy olyan tulajdonsága, amelynek tájékoztatnia kell a tervezést. Az európai intézmények évtizedeket töltöttek fordítói és nyelvi szolgáltatások kiépítésével, mert a nyelvi sokszínűség gyakorlati költsége valós. Egy MI-rendszer nem törli el ezt a költséget azzal, hogy gyorsan bocsát ki szöveget.

Nincs szégyen a szűkebb útvonal választásában. Egy csapat kevesebb feladatot is jól tud támogatni, közzéteheti a határokat, és a bizonyítékok gyarapodásával bővítheti a nyelveket. Ez jobb, mint minden nyelvet ígérni, és hagyni, hogy a felhasználók fedezzék fel a hiányosságokat. Az európai ösztön a szabványra akkor a legerősebb, ha párosul a holland ösztönnel, hogy ellenőrizzük, működik-e a dolog egy hétköznapi szerdán.

24 nyelvre építeni, 24-en túl tesztelni

Az Európai Uniónak 24 hivatalos és munkanyelve van, és a Bizottság fordítószolgálata ezeken dolgozik. Ez a szám hasznos alapvonalat teremt a közinfrastruktúra számára. Nem határozza meg Európa nyelvi életét. A regionális, kisebbségi, nem területi és migráns nyelvek is alakítják a közösségeket és az intézményeket. A 24 nyelvre épített rendszer így is kizárhat olyan embereket, akik nem használják ezen útvonalak egyikét sem, vagy akik egy hivatalos nyelvet olyan formában használnak, amelyet a rendszer nem értékelt.

Building for 24 is therefore a responsibility to make the baseline real, not a permission to stop. A language route should carry its own evidence. A public body should be able to say which official languages are covered for which tasks, what human review exists and where users can obtain an authoritative version. It should also have a way to learn from languages outside the initial set without turning the community into an unpaid test lab.

Testing beyond 24 means more than adding a novelty language to a demo. It means working with speakers, institutions and researchers to decide what the task is, what the source material may be used for, and what counts as a harmful error. The process may produce a small, carefully scoped capability. That is still progress. A modest route with a clear contract can be more valuable than an impressive claim that no operator can defend.

What we are trying to make explicit

At Dweve, we approach this subject from the infrastructure side. Loom is described in our public product material as a task-compiled cognitive model whose language components render a governed result graph, while constraint learning, graph composition, solvers and verification carry the decision authority. That is an architectural position, not a multilingual performance claim. It does not make a language route correct. It does make one obligation difficult to hide: the language output should not be the only place where the system’s reasoning and evidence exist.

Our Ground Truth work makes the same point at a more human scale. People need enough shared language to distinguish a model from a workflow, a prediction from evidence and a fluent answer from a checked result. In multilingual systems, that vocabulary needs one more word: route. A Dutch answer, a French answer and a Basque answer are not merely renderings of one internal event if the evidence, terminology, review and failure behaviour differ. The route is part of the claim.

That position is deliberately less exciting than saying that one model understands Europe. It is also more useful. We want a system to show what it received, which sources and constraints it could use, what it could not establish, and when a human should take over. Language is a surface through which a person meets that work. The surface should be clear, but it should not be allowed to erase the structure underneath.

We are not exempt from the standards described here. A provenance field does not repair missing data. A deterministic path does not prove that a translation is fair. A European processing boundary does not confer linguistic competence. The only honest way to make a multilingual claim is to keep testing, publish the limits and let language experts challenge the route. The product name is not evidence. The record is.

A practical standard for teams

Teams deciding whether to introduce a multilingual AI feature can begin with a short set of questions. What exactly must the system do in each language? Which people are affected if it is wrong? Which source material is authoritative? How were the test items created, and by whom? Which registers, scripts, dialects and domains are inside the claim? What does the system do when it cannot establish meaning? Who can pause the route? How can a user correct an answer without becoming the project’s unpaid linguist?

The questions become concrete when attached to artefacts. Keep a language-route card with the task, supported language varieties, source families, rights status, model and tool versions, evaluation results, known failure modes and review owner. Keep examples of errors with their context, not just a score. Keep the source beside a high-consequence translation. Keep an escalation reason that an operator can understand. Keep a change record when a tokenizer, terminology list, benchmark or model changes.

Procurement teams can ask suppliers for per-language and per-task results rather than one multilingual average. They can ask whether a benchmark was translated or written natively, whether human judgements are available, how low-resource routes are handled, and whether the supplier can export the evidence needed for a review. They can ask what happens when a language is not supported, because a refusal and a silent fallback have very different consequences.

Product teams can design the interface to show route and confidence without pretending that a confidence number is a probability of truth. They can preserve source links, use plain language in refusals and make review actions visible. They can avoid the phrase supports all languages unless they can define the verb. Supports may mean displays text, accepts input, translates, summarises, answers, classifies, speaks or handles a regulated workflow. A language selector is not a specification.

Research teams can publish datasets with provenance and correction paths. They can include negative results and report when a metric does not travel well. They can invite language communities into evaluation before a model is declared ready, and pay for the expertise. They can resist the pressure to convert a narrow result into a universal claim. The most valuable benchmark may be the one that makes a team remove a sentence from its product page.

The society behind the model

A language model can be very good at producing language without knowing what language does in a society. It can predict a phrase, translate a paragraph and answer a question while missing the institutional relationship carried by the words. That gap is not evidence that the model is useless. It is evidence that language is more than a data type.

Europe’s response should not be a competition to count languages in a model card. It should be a sustained effort to make language data, rights, expertise, evaluation and public control part of the same infrastructure. The Commission’s language-technology work, the Language Data Space, the European Language Grid and the EU MMLU benchmark all point in that direction. European researchers are testing what happens when translated benchmarks are treated as research questions rather than unquestioned instruments. The work deserves attention because it makes an old political fact technically visible: people do not experience the Union in one language.

The next time a supplier says that a model is multilingual, ask what the claim contains. Which languages? Which tasks? Which communities? Which sources? Which review? Which refusal? Which change record? The question is not hostile. It is the ordinary beginning of accountability.

A society is not made fair because a machine can repeat its words. It becomes more fair when people can enter its institutions, understand what is happening, challenge a result and be heard in the language that carries their life. A model can assist that work. It cannot define it. The language of a model is a technical capability. The language of a society is a shared responsibility.

Sources