Modelio kalba nėra visuomenės kalba.

Daugiakalbis modelis nėra teisingas vien todėl, kad jo sąsajoje išvardytos daugybė kalbų. Kalbų aprėptis yra institucinis, kultūrinis ir saugumo klausimas,...

Modelio kalba nėra visuomenės kalba.

Šešiolika kalbų yra pradžia, o ne nuosprendis

2026 m. liepos 22 d. Europos Komisijos Vertimo generalinis direktoratas paskelbė EU MMLU, etaloną, skirtą didelių kalbos modelių veikimui tikrinti įvairiuose Europos kalbiniuose ir kultūriniuose kontekstuose. Šis pranešimas buvo neįprastai atviras dėl atotrūkio, kurį jis bandė užpildyti. Daugelis vertinimo duomenų rinkinių buvo sudaryti anglų kalba. Modelis gali gerai pasirodyti juose ir vis tiek prastai veikti prancūzų, vengrų ar maltiečių kalbomis. Naujasis duomenų rinkinys pradedamas šešiolika oficialių ES kalbų, septyniomis dalykinėmis sritimis ir daugiau nei tūkstančiu klausimų, kuriuos išvertė ir peržiūrėjo beveik 250 studentų iš 21 Europos universiteto.

Svarbiausia to pranešimo dalis yra ne kalbų sąrašas. Tai sakinys po juo: modelio elgsenos negalima numanyti iš kalbos, kuria jis atrodo sklandžiausias. Tai turėtų būti akivaizdu. Tai taip pat prielaida, slypinti už didelės dalies viešųjų pirkimų, mokslinių tyrimų ir viešų diskusijų. Vis dar kalbame apie kalbos modelį taip, lyg jis turėtų vieną protą, o paskui prašome, kad jis dėvėtų skirtingas kalbas kaip paltus. Paltas keičiasi. Protas, įrodymai, aklosios zonos ir socialinis kontekstas laikomi pastoviais.

Jie nėra pastovūs. Kalba yra ta vieta, kur žmogus susiduria su institucija. Ji perteikia išmokos sąlygas, kreipimosi toną, skirtumą tarp patarimo ir nurodymo, pokšto formą, vietovės pavadinimą ir formoje įrašytas prielaidas. Kai sistema viena kalba tvarkosi geriau nei kita, ji ne tik sukuria ne tokį elegantišką sakinį. Ji gali pakeisti tai, kas yra suprastas, kuo tikima, kas gali užginčyti rezultatą ir kas pasiduoda nespėjęs rasti tinkamų durų.

Praktinė išvada aiški. Daugiakalbis dirbtinis intelektas nėra vertimo funkcija, kurią galima pridėti sukūrus modelį. Tai prieigos, įrodymų ir autoriteto klausimas. Europos darbas kalbos technologijų, kalbos duomenų ir daugiakalbio vertinimo srityse yra vertingas, nes į problemą žiūrima kaip į infrastruktūrą. Šis darbas dar nebaigtas. Etalonas nėra garantija, o šešiolika kalbų nėra visa Europa. Tačiau kryptis teisinga: nustokime klausti, ar modelis kalba kalba, ir pradėkime klausti, ką jis gali saugiai daryti ta kalba, kam, kokiomis sąlygomis ir su kokiais įrodymais.

Kalbų aprėptis yra patikima tik tada, kai šaltinio, konteksto, peržiūros ir paslaugos teiginiai lieka susieti.

Kalba yra prieigos riba

Europe has made language an institutional fact, not a private preference. Article 22 of the Charter of Fundamental Rights says that the Union shall respect cultural, religious and linguistic diversity. The Commission’s own language-technology policy places that obligation beside a practical warning: language technologies need unbiased use if rights and principles are to survive contact with software. These are not decorative commitments. They describe the boundary a public system meets when a resident cannot read a notice, cannot understand why a decision was made, or cannot express a relevant fact in the language in which the fact exists.

That boundary is easy to miss when a team measures only whether a translation was produced. A sentence can arrive in the requested language and still fail the person who needs it. The translation might flatten a legal distinction, change the level of politeness that signals whether an official is asking or ordering, or use a term that has an everyday meaning but a specialised meaning in a particular service. A speech recogniser might turn a regional pronunciation into a different word. A summariser might remove the qualification that carries the liability. Fluency does not tell us whether the transaction remained intact.

Imagine a public information service that offers the same eligibility explanation in Dutch, French and a regional language. The first two routes have been trained and tested with administrative material, appeal letters and conversations with domain experts. The third route has excellent general prose but no meaningful evaluation on the service’s own terminology. A dashboard can report three green language labels. The residents do not receive three equivalent services. One group receives an explanation; another receives an approximation; the third receives a polished uncertainty that looks official because it has the right logo.

The example is deliberately hypothetical. It is not a claim about a particular municipality or vendor. Its purpose is to expose a design error. Language support is often counted at the interface while the actual obligation sits further down the chain. The system must know what data supports the language, which tasks were evaluated, who reviewed errors, how users can correct them, and when the route must decline to answer. If those details are missing, the language selector is a promise without a contract.

A model’s map is not society’s map

A model learns from a map of language that its data and training process make available. A society lives in a much larger map. The model’s map contains the texts, recordings, labels, translations and evaluations that were admitted. Society’s map contains people who speak differently at home and at work, switch registers without announcing it, borrow words across a border, use a minority language in a local institution, or write in a script a benchmark did not include. One map is a technical artefact. The other is an arrangement of lives, rights and obligations.

The difference matters even for languages with large public corpora. A national language is not one uniform stream. Government forms, court decisions, classroom speech, health advice, text messages and a conversation between neighbours use different vocabularies and different tolerances for ambiguity. A model can be competent on news prose and weak on a benefits appeal. It can handle standard spelling and struggle with a dialect. It can translate a literal sentence and miss the pragmatic meaning carried by a courteous formula. Calling the whole language supported hides the task boundary.

Kalbų technologijoms todėl reikia tikslesnio žodyno. Turėtume skirti kalbos buvimą mokymo duomenyse nuo užduoties vertinimo ta kalba. Turėtume skirti vertimo etaloną nuo savarankiškai parašyto testo elemento. Turėtume skirti scenarijaus skaitymą nuo bendruomenės registro supratimo. Turėtume skirti sistemos gebėjimą generuoti tekstą nuo jos įgaliojimo patarti, klasifikuoti ar spręsti. Kiekvienas skirtumas yra maža dokumentų dalis. Kartu jie neleidžia iš siaurų įrodymų sudaryti plataus teiginio.

Griežtumui yra institucinė priežastis. Viešosios paslaugos negali laisvai pasirinkti lengviausios kalbos ir vadinti rezultatą efektyviu. Bankas, ligoninė, darbdavys ar programinės įrangos teikėjas gali turėti skirtingas teisines pareigas, bet kiekvienas nusprendžia, kiek trinties žmogus turi pakęsti, kad būtų suprastas. Daugiakalbis kelias, kuris tyliai nepavyksta, perkelia išlaidas vartotojui. Vartotojas turi susirasti vertėją, pakartoti istoriją, susitaikyti su prastesniu rezultatu arba atsisakyti proceso. Sistema praneša apie sėkmę, nes grąžino eilutę. Žmogus patiria atskirtį su puikia gramatika.

Ką iš tikrųjų reiškia mažai išteklių

Mažai išteklių dažnai traktuojama kaip kalbos savybė, tarsi kai kurios kalbos atėjo prie modelio durų su mažiau išteklių ir turėtų atsiprašyti už nepatogumus. Naudingiau tai traktuoti kaip užduoties, duomenų rinkinio ir valdymo sprendimo savybę. Kalba gali turėti daug literatūrinės medžiagos, bet mažai pažymėtų duomenų medicininiam klasifikatoriui. Ji gali turėti lygiagretųjį tekstą, bet beveik jokių kalbos įrašų. Ji gali būti atstovaujama tekstyne be teisių ar metaduomenų, reikalingų konkrečiam diegimui. Ji gali turėti duomenis standartine forma, o paveikti žmonės naudoja regioninę atmainą.

Europos Komisijos kalbų technologijų politika tai įvardija aiškiai. Kalbos duomenys yra kalbos įrankių pagrindas, o žmogaus kompetencija yra būtina sėkmingos plėtros dalis. Modeliui reikia teksto ar kalbos, algoritmų, skaičiavimo galios ir žmonių, suprantančių kalbą ir sritį. Pašalinus bet kurį iš šių elementų, sistema pasikeičia. Didesnė skaičiavimo galia negali sukurti trūkstamo pokalbio. Daugiau pavyzdžių negali ištaisyti etiketės, kuri painioja dvi teisines kategorijas. Didesnis modelis negali nuspręsti, kurį šaltinį bendruomenė laiko autoritetingu.

Darbas su mažai išteklių todėl nėra kvietimas sumažinti standartą. Tai priežastis padaryti standartą matomą. Jei užduotis turi mažai vertinamosios medžiagos, pasakykite tai. Jei metrika yra nestabili kalbų porai, praneškite apie nestabilumą. Jei žmogaus peržiūra buvo nedidelė, nurodykite peržiūros apimtį, o ne pateikite ją kaip bendrą garantiją. Jei kelias tinka juodraščiams, bet ne sprendimams, įdėkite tą ribą ten, kur ją matytų pirkėjas ir vartotojas. Sąžiningas trūkumas yra saugesnis nei įspūdingai atrodanti tyla.

Europos kalbų kraštovaizdis daro šią discipliną neišvengiamą. Komisija apibūdina sudėtingą oficialių, regioninių ir mažumų kalbų rinkinį ir rėmė iniciatyvas, tokias kaip Europos kalbų tinklelis, Europos kalbų lygybės darbotvarkė ir Bendroji Europos kalbų duomenų erdvė. Šie projektai nėra vienas sprendimas ir neturėtų būti apibūdinami kaip vienas. Jie yra ekosistemos dalys, kuriose gali susitikti duomenys, įrankiai, teisės, kompetencija ir viešosios institucijos. Institucinė forma yra tokia pat svarbi kaip modelis jos viduje.

Teisių sluoksnis atsiranda prieš etaloną

Kalbėti apie kalbos modelius gali kilti pagunda tarsi kalba būtų neutralus įvesties kanalas. Tačiau taip nėra. Įvestyje gali būti asmens duomenų, saugomos charakteristikos, vietovės pavadinimas, medicininė detalė arba įrašas apie žmogų, prašantį pagalbos. Šaltinis gali būti saugomas autorių teisių arba apribojimų. Išverstas rezultatas gali būti naudojamas priimant sprendimą, net jei vertimo kelias tam kontekstui niekada nebuvo įvertintas. Modelio kalbos problema jau yra teisių problema, dar prieš kam nors pasirenkant balą.

Komisijos kalbos technologijų gairės susieja kalbos duomenis ir su autorių teisėmis, ir su duomenų apsauga. Šis ryšys turėtų pakeisti tai, kaip komandos kuria dujotiekius. Tekstynas nėra tik krūva sakinių. Jis turi šaltinio tapatybę, įgijimo sąlygas, licencijos ar teisių būseną, kalbos ir rašto metaduomenis, kokybės signalus, paskirtį ir saugojimo taisykles. Jei elementas pataisomas ar atšaukiamas, organizacija turi žinoti, kurie išvestiniai artefaktai buvo paveikti. Priešingu atveju vėlesnis modelis gali pakartoti seną klaidą tokiu pasitikėjimu, tarsi tai būtų ką tik atspausdinta forma.

Čia ir praverčia kilmės sąvoka. Kilmė nėra išnaša, teigianti, kad duomenys iš kažkur atkeliavo. Tai ryšių rinkinys, leidžiantis vertintojui pereiti nuo rezultato prie svarbių įrodymų ir atgal. Daugiakalbystės darbuose šie ryšiai turi išlikti per vertimą, transkripciją, normalizavimą, segmentavimą ir vertinimą. Sakinys, išverstas etalonui, nėra keičiamas šaltinio sakiniu. Vertintojo sukurta etiketė nėra keičiama etikete, paveldėta iš kitos kalbos. Transformacija yra įrodymų dalis.

Nereikalaujama, kad kiekvienas vartotojas matytų tyrimų žurnalą. Reikalaujama, kad organizacija galėtų atsakyti į rimtą klausimą, kai jis iškyla. Kuri kalbos ištekliaus versija buvo naudota? Kokiai užduočiai jis buvo skirtas? Kurie kalbos ekspertai jį peržiūrėjo? Ką sistema darė, kai pasitikėjimas buvo mažas? Ar skundas buvo traktuojamas kaip vieno atsakymo pataisa, ar kaip galima klaidų klasė? Kalbos kelias tampa patikimas, kai šie klausimai turi atsakingus asmenis ir įrašus.

Europa kuria kalbos infrastruktūrą, o ne tik vertimo mygtukus

Europos Komisijos Bendrosios Europos kalbos duomenų erdvės aprašymas yra naudingas, nes nesuveda projekto vien į modelio išleidimą. Tikslas yra platforma ir rinka, skirta rinkti, dalytis ir pakartotinai naudoti daugiakalbius ir daugiarūšius kalbos duomenis, išlaikant duomenis kuriančių organizacijų ir asmenų kontrolę. Tokia formuluotė nukreipia į kitokią pažangos sampratą. Darbas yra ne tik sukurti geresnį sakinį. Tai padaryti kalbos išteklius randamus, teises gerbiančius, pakartotinai naudojamus ir atskaitingus viešajame administravime, moksle ir pramonėje.

Europos kalbos tinklelis žengė panašų žingsnį, sujungdamas specializuotus kalbos technologijų įrankius ir išteklius į bendrą katalogą. Katalogas neįrodo, kad kiekviena paslauga tinka kiekvienai užduočiai. Tačiau jis palengvina paslėptos priklausomybės patikrinimą. Komanda gali paklausti, ką įrankis daro, kurią kalbą palaiko, iš kur atkeliavo jo duomenys ir ar licencija atitinka numatytą naudojimą. Tai neblizgi infrastruktūra. Tai taip pat būdas, kaip žemynas su daugybe institucijų išvengia tos pačios kalbos galimybės atkūrimo nesusijusiuose kambariuose.

Infrastruktūra svarbi, nes ilgoji kalbos darbų uodega neišsprendžiama vienu flagmanu modeliu. Viešoji įstaiga gali prireikti kalbos atpažinimo regioniniam akcentui, terminų išgavimo specializuotai sričiai, vertimo atminties teisės aktams, pavadintųjų objektų atpažinimo vietovardžiams arba būdo palyginti dvi dokumento versijas neprarandant diakritikų. Įmonė gali prireikti vietinio diegimo, nes medžiaga negali palikti jos jurisdikcijos. Mokslo grupė gali prireikti duomenų rinkinio su aiškia kilme, o ne dar vieno anoniminio balo.

Šiame požiūryje slypi tylus politinis pasirinkimas. Duomenys ir įrankiai traktuojami kaip galimybės, kurias Europa turėtų galėti tikrinti ir formuoti, o ne kaip paslauga, atkeliaujanti iš nematomos vietos. Tai nereiškia, kad Europos sistemos automatiškai yra geros arba kad komerciniai teikėjai kitur negali būti naudingi. Tai reiškia, kad kalba yra pernelyg svarbi, kad jos duomenims, spragoms ir vertinimui nebūtų viešojo žodyno. Suverenumas prasideda nuo žinojimo, ko sistema nemato.

Vertimas nėra neutralus vamzdynas

Vertimas architektūros diagramose dažnai įdedamas tarp dviejų komponentų, tarsi jis būtų vamzdis, pernešantis prasmę iš vienos pusės į kitą. Tikras vertimas yra sprendimų seka. Kuris šaltinio tekstas yra autoritetingas? Kurie žodžiai turi likti tikslūs? Kuris dviprasmiškumas turi būti išsaugotas? Kuri kultūrinė nuoroda reikalauja paaiškinimo? Koks registras tinka viešam pranešimui? Kuris subjektas neturi būti verčiamas? Kuri data, skaičius ar matavimo vienetas turi būti pateiktas pagal skaitytojo įprastą formatą? Modelis gali priimti šiuos sprendimus greitai. Greitis jų nepadaro nematomų.

Apsvarstykite skirtumą tarp orų sakinio vertimo ir pranešimo apie terminą vertimo. Pirmuoju atveju nedidelė stiliaus klaida gali būti erzinanti. Antruoju atveju skaičius arba veiksmažolio nuosaka gali pakeisti tai, ką žmogus supranta kaip privalomą veiksmą. Pagrindinis kalbos modelis gali turėti tą patį ženklų biudžetą ir tą patį pasitikėjimo rodymą. Socialinės pasekmės nėra tos pačios. Todėl vertinimas turi sekti užduotį, o ne sustoti ties bendru kalbos balu.

Komisijos puslapis apie jos pačios kalbų vartojimą tai iliustruoja be dramatiškumo. Mašininis vertimas gali suteikti pagrindinę idėją, tačiau kokybė ir tikslumas labai skiriasi tarp skirtingų tekstų ir kalbų porų. Tai naudingas viešas sakinys, nes jis atsisako paversti paslaugą orakulu. Jis suteikia skaitytojui leidimą naudoti vertimą kaip orientyrą, kartu išlaikant priežastį ieškoti žmogaus arba autoritetingos versijos, kai to reikalauja pasekmės.

Produktų komandoms tai reiškia aiškių kelių rinkinį. Mažos pasekmės vertimas gali būti grąžintas tiesiogiai su aiškiu statusu. Teisiniam ar medicininiam keliui gali reikėti žmogaus peržiūros, šaltinio nuorodos arba atsisakymo. Vidinis juodraštis gali išlaikyti šaltinį greta vertimo. Balso sąsaja gali pakartoti kritinį pavadinimą ir paprašyti patvirtinimo. Pasirinkimas nėra tarp visiškos automatizacijos ir jos nebuvimo. Tai pasirinkimas tarp vamzdyno, kuris aiškiai nurodo savo perdavimo taškus, ir tokio, kuris juos slepia už sklandžios pastraipos.

Sakinys išlieka, situacija ne

Modeliai dirba su reprezentacijomis. Visuomenės dirba su situacijomis. Kai vertimas pereina iš vienos į kitą, smulkmenos gali tapti visa prasme. Frazė, kuri vienoje kalboje yra mandagi, kitoje gali skambėti kaip išsisukinėjimas. Terminas, skiriantis įstatyminę teisę nuo diskrecinės paslaugos, gali būti suspaustas į bendrą žodį, reiškiantį pagalbą. Idioma gali būti išversta pažodžiui ir tapti nesąmone arba išversta laisvai ir prarasti nuorodą, kuri identifikuoja bendruomenę. Nė vienai iš šių nesėkmių nereikia absurdiškos išvesties. Pavojingas atsakymas yra tas, kuris atrodo įprastas.

ES MMLU leidinys tiksliai įvardija šią sritį. Jo kokybės kriterijai reikalauja, kad daugiakalbiai etalonai tikrintų ne tik prasmę ir sudėtingumą, bet ir idiomas, humorą, kultūrines nuorodas, datos ir skaičių formatus bei numatomo tono ar mandagumo skirtumus. Tai svarbus vertinimo tikslo išplėtimas. Kalbos modelio klausiama ne tik ar jis gali sukurti gramatiškai taisyklingą sakinį. Klausiama, ar sakinys tinka situacijai, kurioje žmogus veiks pagal jį.

Paminėjimas apie humorą nėra kvietimas paversti etaloną pramoginiu. Juo pripažįstama, kad humoras yra konteksto atsparumo išbandymas. Pažodinis vertimas gali išsaugoti žodžius, bet sunaikinti pokštą. Kultūriškai pritaikytas vertimas gali išsaugoti efektą, pakeisdamas nuorodą. Viešosios informacijos paslaugoje tas pats mechanizmas veikia be juoko. Patarlė, vietovardis ar oficialus pasveikinimas gali parodyti, kas kalba ir kokį santykį kuria žinutė.

Kai komandos sako, kad modelis supranta kalbą, jos turėtų paklausti, kurį lygmenį turi omenyje. Ar jis atpažįsta raštą? Ar teisingai skaido žodžius? Ar atpažįsta esybes? Ar išverčia teiginį? Ar išlaiko teisinę galią? Ar laikosi vietos konvencijų? Ar išlaiko kalbėtojo užtikrintumo lygį? Ar susidoroja su nestandartine rašyba? Ar atsako tinkamu registru? Tai atskiros galimybės. Viena etiketė, vadinama daugiakalbyste, paslepia darbą, reikalingą kiekvienai iš jų užtikrinti.

Kodėl vertinimas turi keliauti kartu su kalba

Vertinimas dažnai pridedamas pabaigoje, nes komandos nori skaičiaus, kurį galėtų priskirti modeliui. Daugiakalbės sistemos daro tokią tvarką neįmanomą. Testo duomenys nustato, kas laikoma klaida. Kalba nustato, kaip sakinys gali nepavykti. Sritis nustato, kuri nesėkmė svarbi. Vartotojas nustato, ar sistemos atsakymas yra pagalba, ar kliūtis. Vertinimas turi keliauti kartu su visais keturiais.

Europos moksliniame straipsnyje Towards Multilingual LLM Evaluation for European Languages parodoma problemos mastas. Autoriai įvertina 40 kalbos modelių 21 Europos kalba, išnagrinėja penkių plačiai naudojamų etalonų vertimus ir paskelbia sistemą, apimančią EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA ir EU20-GSM8K. Straipsnyje neteigiama, kad esamo etalono vertimas automatiškai padaro jį teisingą. Vertimo paslaugos, etalonų kūrimas ir tarpkalbinis palyginamumas traktuojami kaip dalykai, kuriuos reikia tirti.

Tai teisinga laikysena. Išverstas testo elementas gali įgyti pasikeitusį sudėtingumą, kultūrinę prielaidą ar užuominą, kurios originale nebuvo. Modelis gali surinkti daugiau taškų, nes išverstas tekstas palengvina atsakymą, o ne todėl, kad modelis tapo pajėgesnis. Jis gali surinkti mažiau taškų, nes gramatinė konstrukcija tikslinėje kalboje yra nenatūrali, nors pagrindinis samprotavimas yra teisingas. Abi baigtys liudija ir apie testą, ir apie modelį.

Žmogaus peržiūra išlieka būtina, tačiau žmogaus peržiūrai taip pat reikia susitarimo. Kas peržiūrėjo elementą? Ar recenzentai buvo gimtoji kalba kalbantys asmenys, srities specialistai ar abu? Ar jie peržiūrėjo atskirus sakinius ar užduotį kontekste? Ar nesutarimai buvo užfiksuoti? Ar etalonas išlaikė alternatyvius priimtinus atsakymus? Kalbos specialistas gali pasakyti, kad frazė neteisinga. Srities specialistas gali pasakyti, kodėl klaida keičia sprendimą. Patikimam vertinimui dažnai reikia abiejų, ir jis turi nurodyti, kurį turėjo.

Esmė ne tai, kad kiekviena sistema turėtų išlaikyti begalinį egzaminą, kol kas nors galės ja naudotis. Esmė neleisti, kad siauras testas būtų supainiotas su plačiu teiginiu. Jei modelis buvo įvertintas trumpais faktiniais klausimais standartine rašytine kalba, praneškite apie tai. Neleiskite, kad rezultatas tyliai taptų teiginiu apie sakytinę sąveiką, teisinių dokumentų rengimą, vietos valdžią, vaikus, vyresnio amžiaus žmones ar kiekvieną kalbos registrą.

A score becomes useful when its task, language, context and review boundary remain visible.

The Maltese and Basque lesson

A paper presented at the 2024 LREC-COLING conference studied machine-translation evaluation for English to Maltese and Spanish to Basque. The authors examined the COMET evaluation metric, collected direct human assessments and tested how well the metric behaved when adapted to the two language pairs. Their conclusion is modest but consequential: the metric’s performance can improve with fine-tuning, and it can be highly susceptible to the distribution of scores in its training data, especially in low-resource settings.

This is not a story about one metric failing. It is a story about what a score depends on. A metric trained on one distribution can behave differently when asked to judge another. A language pair with less evaluation material can make the score look more decisive than it is. A system that is convenient to compare may still be a poor proxy for what speakers regard as a good translation. Human judgements do not make evaluation perfect, but they expose the places where an automatic measure is making assumptions.

Another 2024 study, Benchmarking Low-Resource Machine Translation Systems, compares publicly available systems across four datasets and 26 languages and publishes the results through BENG, a FAIR benchmarking platform for natural-language generation. Again, the contribution is not a universal ranking. It is a more inspectable comparison. Efficiency and effectiveness are considered together, and the language list is visible. A reader can ask whether the benchmark includes the route that matters instead of accepting a single headline number.

These studies offer a European lesson in restraint. The hard part is not inventing another score. It is building an evaluation that lets the reader see whose language, whose task and whose definition of quality produced the score. When that context is missing, a number becomes a border crossing without a passport. It may get through the presentation, but nobody can establish where it came from.

Language coverage can be a safety property

Safety discussions often focus on content that a system should refuse, attacks that it should resist or errors that it should catch. Language adds another question: can the system recognise when it is outside its competence? A route that works in one language may fail more often in another while preserving the same confident tone. If the interface does not expose the difference, users cannot calibrate their trust.

Tai ypač svarbu, kai kalba yra saugai kritiškos sąveikos dalis. Pacientas gali apibūdinti simptomą regionine kalbos atmaina. Darbuotojas gali pranešti apie pavojų vartodamas vietinį terminą. Gyventojas gali pateikti skundą su rašybos konvencija, kurią normalizavimo priemonė laiko triukšmu. Modelis gali būti techniškai tikslus savo etalone, bet veikti nesaugiai tame kanale. Svarbus klausimas yra ne tai, ar sistema gali sugeneruoti įtikimą atsakymą, o tai, ar saugos kontrolės priemonės buvo įvertintos atsižvelgiant į kalbą ir situaciją, su kuria susiduriama.

Sauga nereikalauja kiekvieno kalbos kanalo traktuoti kaip ypatingos avarijos. Ji reikalauja priderinti kontrolės priemonę prie pasekmių. Mažos rizikos paieškos rezultatas gali atskleisti savo šaltinius ir pakviesti pataisyti. Medicininės triažo sąsajos gali nukreipti neaiškią kalbinę informaciją apmokytam specialistui. Teisinių dokumentų darbo eiga gali laikyti šaltinį ir vertimą greta vienas kito bei reikalauti patvirtinimo prieš paskelbiant. Balso sistema gali paprašyti vartotojo pakartoti vardą, o ne tyliai pasirinkti artimiausią žinomą objektą. Tai įprasti inžineriniai sprendimai, kai kalba traktuojama kaip sistemos ribos dalis.

Pats atsisakymas reikalauja kalbos dizaino. Pasakyti vartotojui, kad sistema negali atsakyti, nepakanka, jei atsisakymas yra neaiškus, globėjiškas ar neprieinamas vartotojo kalba. Sistema turėtų pasakyti, ko jai nepavyko nustatyti, kokia informacija padėtų ir koks žmogiškasis ar autoritetingas kanalas yra prieinamas. Priešingu atveju saugos kontrolės priemonė tampa dar viena prieigos kliūtimi. Europos kalbos principas aiškiausiai išbandomas tada, kai sistema negali pateikti prašomo atsakymo.

Operacinis daugiakalbės paslaugos dizainas

Patikima daugiakalbė paslauga turi operacinę struktūrą, kurią lengva apibūdinti, bet stebėtinai sunku išlaikyti. Pirma, ji įvardija užduotį. Vertimas, transkripcija, klasifikavimas, paieška, apibendrinimas ir generavimas nėra keičiami dalykai. Antra, ji įvardija kalbos kanalą, įskaitant rašto sistemą ir bet kokią svarbią regioninę ar srities ribą. Trečia, ji užfiksuoja šaltinio medžiagą ir jai pritaikytas transformacijas. Ketvirta, ji apibrėžia peržiūros ir eskalavimo kelią. Penkta, ji pasako vartotojui, ką sistema gali ir ko negali teigti.

Tie žingsniai nėra reikalavimas sukurti didžiulę biurokratiją. Tai minimumas, reikalingas, kad kalbos pažadas būtų patikrinamas. Jei tiekėjas teigia, kad modelis palaiko suomių kalbą, pirkėjas turėtų galėti paklausti, ar tai reiškia teksto generavimą, kalbos atpažinimą, vertimą iš kurių kalbų ar visus išvardytus dalykus. Jei produktų komanda teigia palaikanti regioninę kalbą, ji turėtų pasakyti, ar palaikymas pagrįstas vietiniais duomenimis, išverstais duomenimis, mažu vertinimo rinkiniu ar ekspertų peržiūra. Jei atsakymas nežinomas, nežinomas yra teisėtas statusas.

Paslaugai taip pat reikia pokyčių politikos. Nauja mokymo medžiaga, naujas tokenizatorius, naujas vertimo modelis, naujas terminų sąrašas ar nauja vartotojų grupė gali pakeisti kalbos elgseną. Leidimas, pagerinantis vieną kanalą, gali pabloginti kitą. Praėjusių metų etaloninis rezultatas automatiškai neapibūdina šiandienos sistemos. Versijų įrašai, palyginamieji testai ir kanalas, skirtas pranešti apie su kalba susijusias klaidas, daro paslaugą prižiūrima, o ne ceremonine.

Priežiūra turi žmogiškąją pusę. Kalbos ekspertams reikia būdo pamatyti klaidas, kurios paveikia jų bendruomenes. Srities komandoms reikia būdo atskirti vertimo klaidą nuo politikos neaiškumo. Operatoriams reikia būdo pristabdyti kanalą nelaukiant, kol modelio tiekėjas interpretuos skundą. Vartotojams reikia būdo pasakyti, kad sistema nesuprato žodžio, konteksto ar asmens vardo. Daugiakalbė paslauga nėra baigta, kai modelis yra diegiamas. Ji yra pakankamai baigta, kad būtų atskaitinga, kai ateis kita kalbos problema.

Kilmė per kalbos apdorojimo grandinę

Provenansas tampa apčiuopiamas, kai vieną reikšmės vienetą atsekiame per visą sistemą. Pradėkite nuo šaltinio pastraipos. Užfiksuokite jos kalbą, raštą, autorių ar instituciją, jei žinomi, teises ir paskirtį. Jei tekstas suskirstytas į segmentus, išsaugokite ryšį su originalu. Jei tekstas išverstas, išlaikykite šaltinį bei vertėją ar vertimo procesą. Jei recenzentas pakeičia formuluotę, užfiksuokite tai kaip naują būseną, o ne kaip tylų pakeitimą. Jei pastraipa tampa etaloninės užduoties elementu, kartu perkelkite užduotį, atsakymų raktą, kalbą ir recenzijos įrašą.

Veikimo metu ta pati disciplina taikoma atvirkščiai. Užfiksuokite, koks kalbos maršrutas aptarnavo užklausą, kuri modelio ar įrankio versija buvo paleista, kokie šaltinio įrodymai buvo gauti, kokia neapibrėžtumo ar atsisakymo būsena pasiekta ir koks žmogaus veiksmas atliktas. Įrašas neturi atskleisti privačios informacijos kiekvienam operatoriui. Jis turi suteikti įgaliotam recenzentui prieigą prie esminių faktų. Be jų kalbos incidentas virsta ginču dėl įspūdžių.

Čia daugiakalbis provenansas skiriasi nuo bendrojo audito žurnalo. Laiko žyma ir modelio pavadinimas pasako, kad kažkas įvyko. Jie nepasako, ar šaltinis buvo išverstas, ar atsakyme pasikeitė skaičiaus formatas, ar buvo normalizuotas pavadinimas, ar recenzentas dirbo tiksline kalba. Transformacijos kelias ir yra įrodymas. Trumpas atsakymas gali paslėpti ilgą sprendimų grandinę.

Šiame požiūryje yra maža olandiška dorybė: laikykite apskaitą pakankamai nuobodžią, kad ja kas nors galėtų naudotis antradienio popietę. Provenanso įrašas neturi būti muziejaus etiketė, parašyta auditui, kuris gali niekada neįvykti. Jis turi padėti operatoriui atsakyti į kitą klausimą, sustabdyti netinkamą maršrutą ir paaiškinti rezultatą žmogui, kuriam neįdomi jūsų architektūros schema. Gera kalbos valdysena yra šiek tiek nuobodi. Būtent taip suprantate, kad ji gali išgyventi susidūrimą su realiu darbu.

Paslėpti vertimo sprendimai

Kiekviena vertimo sistema turi sprendimų, kuriems verta suteikti pavadinimus. Tokenizacija nusprendžia, kaip skaidomas įvesties tekstas. Normalizacija nusprendžia, kurie skirtumai išsaugomi, o kurie atmetami. Lygiavimas nusprendžia, kurios dviejų tekstų dalys laikomos lygiavertėmis. Terminija nusprendžia, kurie žodžiai yra stabilūs. Dekodavimas nusprendžia, kaip parenkama išvestis. Poprocesinis apdorojimas nusprendžia, ką mato skaitytojas. Nė vienas iš šių žingsnių savaime nėra klaidingas. Kiekvienas gali sukelti kalbai būdingą gedimą, nematomą bendroje demonstracijoje.

Paimkite tikrinį pavadinimą. Sistema gali jį išversti, transliteruoti, išsaugoti arba pakeisti įprasta rašyba. Poezijos kūriniui keli sprendimai gali būti priimtini. Tapatybės dokumentui priimtinas gali būti tik vienas, ir tas vienas gali priklausyti nuo išduodančiosios institucijos. Paimkite matavimo vienetą ar datą. Reikšmės gali likti matematiškai lygiavertės, o forma skaitytojui tapti dviprasmiška. Paimkite giminę turintį daiktavardį ar įvardį. Vertimas gali įvesti informacijos, kurios šaltinis nepateikė, arba ištrinti skirtumą, kurį šaltinis sąmoningai padarė.

Dizaino atsakymas nėra kalbos įšaldymas. Tai politikos apibrėžimas ir išimties matomumo užtikrinimas. Terminų sąrašas gali apsaugoti teisinius terminus. Tikrinių pavadinimų taisyklė gali neleisti miestui virsti asmeniu. Šaltinį išsaugantis rodinys gali leisti recenzentui palyginti originalą ir išvestį. Žmogaus įsikišimas gali būti suaktyvintas dėl mažo pasitikėjimo pavadinimo, maršrutų nesutarimo arba užduoties, priskirtos prie didelės rizikos. Modelis išlieka naudingas, nes jo ribos yra darbo eigos dalis.

Didieji kalbos modeliai apsunkina sprendimų matymą, nes jų pateikiamas rezultatas yra sklandus. Sklandus rezultatas yra puiki sąsaja, bet nepatikimas paaiškinimas. Sistema gali sukurti sakinį, kuris skamba gimtąja kalba, tačiau parinkti netinkamą žodžio reikšmę. Ji gali išlaikyti bendrą temą, bet praleisti neigimą. Ji gali išversti vietinę frazę į standartinį posakį, kuris pakeičia kalbėtojo poziciją. Todėl kalbos kokybės negalima apibūdinti vien gramatika. Reikšmė turi socialinę formą.

Rašto sistemos, tarmės, registrai ir institucijos

Kalbos palaikymas dažnai skelbiamas nurodant kalbos pavadinimą, tačiau skaitytojai susiduria su rašto sistemomis, kalbos variantais ir registrais. Sistema, kuri susidoroja su šiuolaikine standartine rašyba, gali strigti prie istorinių dokumentų. Kalbos atpažinimo sistema gali susidoroti su studijos įrašu, bet žlugti perpildytoje stotyje. Viešai prieinamas pokalbių robotas gali atsakyti oficialiu registru, kai vartotojui reikia paprastos kalbos. Institucija gali vartoti terminą, kuris skiriasi nuo įprastos kalbos dėl teisiškai svarbios priežasties.

Tai nėra kraštiniai atvejai menkinamąja prasme. Tai vietos, kuriose kalba susiduria su pasauliu. Regioninis pavadinimas gali lemti skirtumą tarp teisingo adreso ir nepavykusio pristatymo. Tarminis žodis gali būti vienintelis žodis, kurį žmogus žino simptomui įvardyti. Formali frazė gali reikšti, kad pranešimas turi teisinę galią. Rašto sistemos variantas gali nulemti, ar dokumentą galima rasti paieškoje. Jei etalonas neapima šių kelių, jis vis tiek gali būti naudingas, bet negali atstovauti visai kalbai.

Išbandyti visus variantus ne visada įmanoma. Sąžiningas atsakymas yra apibūdinti palaikomą poaibį ir pakviesti pateikti įrodymų apie likusią dalį. Sistema gali paskelbti, kad buvo įvertinta pagal standartinę rašytinę olandų kalbą viešosios informacijos santraukoms rengti, neteigdama nieko apie regioninių kalbų atpažinimą. Ji gali pridėti fryzų ar baskų kalbos testą neapsimesdama, kad šis papildymas išsprendžia visus regioninių ir mažumų kalbų klausimus. Konkretumas nėra silpnybė. Jis parodo vartotojams, kur yra apatinė riba.

Institucijos taip pat turėtų atsispirti minčiai, kad vienas nacionalinės kalbos kelias automatiškai yra neutralus. Administracinė kalba gali būti nesuprantama tos pačios kalbos vartotojams. Prieinamumas ir daugiakalbystė persidengia, nes abu klausia, ar skaitytojas gali suprasti ir veikti. Komisijos kalbos darbas apima supaprastinimo ir prieinamo teksto įrankius būtent dėl šios priežasties. Sakinys gali būti kalbiškai teisingas ir vis tiek instituciniu požiūriu netinkamas naudoti.

Kai sąsaja sklandi, bet klaidinga

Sudėtingiausi kalbos trūkumai nėra įspūdingi. Tai atsakymai, kurie atlaiko akies patikrinimą. Santrauka įtraukia teisingus pavadinimus, bet pakeičia atsakomybę. Vertimas išlaiko daiktavardžius, bet rekomendaciją paverčia nurodymu. Klasifikatorius supranta temą, bet praleidžia neigimą. Balso sistema atpažįsta žodžius, bet ne kalbėtojo dvejonę. Vartotojas skaito rezultatą savo kalba ir mano, kad sklandumas yra rūpesčio ženklas.

Turėtume kurti sistemas atsižvelgdami į šią klaidų klasę, o ne laukti, kol keistas pavyzdys taps antrašte. Palyginkite šaltinį ir rezultatą, kai turinys yra labai svarbus. Išsaugokite neapibrėžtumo žymenis. Palikite citatas ar dokumentų nuorodas pritvirtintas. Prašykite patvirtinimo, kai skaičius, pavadinimas ar terminas yra esminis. Padarykite kelią matomą operatoriui. Pasiūlykite taisymo mechanizmą, kuriam nereikėtų, kad vartotojas žinotų, kuris komponentas sugedo. Šios priemonės yra nedidelės, bet jos paverčia vertimą patikrinama operacija.

Žmogaus peržiūra neturėtų būti apibūdinama kaip stebuklinga paskutinė gynybos linija. Peržiūrintys asmenys turi laiko apribojimų, žinių spragų ir savo kalbinių prielaidų. Naudinga peržiūros sąsaja jiems pateikia šaltinį, rezultatą, kontekstą ir eskalavimo priežastį. Ji užfiksuoja nesutarimus, o ne juos išlygina. Jei peržiūrintys asmenys pakartotinai taiso vieną terminą, organizacija gali patobulinti terminiją arba pakeisti užduoties ribas. Jei nesutarimas atskleidžia, kad pats šaltinis yra dviprasmiškas, tinkamas veiksmas gali būti kreiptis į autorių, o ne intensyviau mokyti modelį.

Operatoriams taip pat reikia būdo matyti neigiamus įrodymus. Kurios kalbos nebuvo vertinamos? Kurios užduotys neturi žmogaus peržiūros? Kurie prašymai buvo atmesti? Kurie vartotojai paliko maršrutą po vertimo? Nebuvimas gali būti signalas. Žalia aprėpties diagrama, kurioje praleisti nepavykę keliai, yra rinkodaros paviršiaus žemėlapis, o ne paslaugos.

Žmogaus kompetencija nėra atsarginis mygtukas

Europos kalbų technologijų politika į tą patį sakinį įtraukia kalbininkus, duomenų mokslininkus, kompiuterių inžinierius ir srities specialistus. Tai dizaino reikalavimas, o ne profesijų sąrašas, kurį reikia pakviesti į pristatymo skambutį. Kiekvienas žmogus mato skirtingą gedimą. Kalbininkas mato nenatūralią konstrukciją arba prarastą skirtumą. Inžinierius mato segmentavimo ar maršrutizavimo problemą. Srities specialistas mato pavojingą kategorijos klaidą. Operatorius mato eilę, kurios niekas negali valdyti. Paslaugą naudojantis asmuo patiria sprendimą, kuris nebeturi prasmės.

Žmogaus kompetencija turėtų įsitraukti prieš užšaldant etaloną. Kalbos ekspertas gali padėti atrinkti bandomąją medžiagą, atspindinčią realius registrus, o ne tik švarius sakinius. Srities ekspertas gali nustatyti terminus, kurie neturi kisti. Bendruomenės atstovas gali pasakyti komandai, kuri formuluotė atrodo oficiali, pažįstama ar įžeidžianti. Duomenų tvarkytojas gali paaiškinti, kokia kilmės informacija yra prieinama, o kokia ne. Šie įnašai formuoja sistemos sutartį. Jie nėra puošmena po to, kai techniniai sprendimai jau priimti.

Žinoma, yra sąnaudų. Gera peržiūra reikalauja laiko ir moka žmonėms už žinias, kurios dažnai laikomos nematomomis. Šios sąnaudos yra kalbos palaikymo dalis. Alternatyva yra perkelti jas vartotojams, kurie moka sumišimu ir skundais, arba darbuotojams, kurie neoficialiai verčia ir taiso maršrutą. Sistema, kuri atrodo pigi, nes ignoruoja kalbos kompetenciją, nėra efektyvi. Ji tiesiog perkėlė sąskaitą.

Ką privalo atskleisti teisingas etalonas

Daugiakalbis etalonas turėtų prasidėti pakankamai mažu teiginiu, kad jį būtų galima patikrinti. Teiginys gali būti toks, kad sistema gali atsakyti į viešosios informacijos klausimus tam tikru kalbų rinkiniu, išsaugoti datas ir skaičius bei atsisakyti, kai trūksta šaltinio įrodymų. Tai gali būti, kad vertimo maršrutas apdoroja konkrečią kalbų porą ir sritį nustatytu kokybės lygiu. Tai gali būti, kad kalbos atpažinimo sistema gali transkribuoti nurodytą kalbos variantą nurodytomis akustinėmis sąlygomis. Etalonas yra to teiginio sutartis.

Sutarčiai reikia daugiau nei kalbų sąrašo. Ji turėtų atskleisti užduotį, šaltinį, sritį, registrą, rašto sistemą, kryptį, konteksto ilgį, įvesties sąlygas, atsakymų pavyzdžius, priimtinus variantus, metrikas, žmogaus peržiūrą ir neapibrėžtumą. Ji turėtų nurodyti, ar elementai buvo iš pradžių parašyti kiekviena kalba, ar išversti. Ji turėtų užfiksuoti, kas juos taisė ir kokie nesutarimai liko. Ji turėtų atskirti apibendrintus rezultatus nuo rezultatų pagal kalbas. Ji turėtų parodyti pakankamai pavyzdžių, kad skaitytojas suprastų, ką matuoja balas.

The EU MMLU criteria are useful because they widen the word fair. Balanced representation across the EU’s official languages is one part. Retaining meaning, difficulty and testing value across languages is another. Testing EU values and cultural contexts, including idioms, humour, references, date and number formats, tone and politeness, makes the benchmark a social instrument as well as a technical one. The criteria do not remove judgement. They make the judgement inspectable.

Benchmark designers should publish failure slices, not only averages. A model can have a good mean score while failing every item involving a particular register or type of number. A route can be efficient in one direction and slow or expensive in another. A metric can correlate with human judgement in one language and become unstable in another. Per-language and per-task views are not a luxury. They are how a buyer avoids purchasing the average while deploying the exception.

Finally, a benchmark should state what it cannot tell us. A written test does not establish speech performance. A translation score does not establish legal reliability. A set of official languages does not establish support for regional or minority languages. A high score does not establish that a person can challenge a decision. The limitation is not an embarrassment. It is the edge of the map, and users need to see it before they sail.

A score is a map legend, not the territory

Numbers are useful because they force a comparison. They are dangerous because they invite a conclusion larger than the measurement. A score can tell us how a system behaved on a defined sample under a defined method. It cannot tell us how a community will experience the system without a bridge of assumptions. The bridge may be sound. It must be named.

Suppose a system improves on a multilingual benchmark after fine-tuning. That is evidence of improved performance on that evaluation. It is not automatically evidence that the system is safer in a public service. The service may use different terminology, longer context, speech input, a different register or a downstream workflow that turns a suggestion into a decision. The benchmark can still be valuable. It becomes more valuable when the organisation says which part of the service it represents.

The same discipline applies to energy, speed and cost. A low-resource language route may require more human review or a larger retrieval context. That is not a defect to conceal in an average. It is a property of the service that should inform design. European institutions have spent decades building translation and language services because the practical cost of linguistic diversity is real. An AI system does not abolish that cost by emitting text quickly.

There is no shame in choosing a narrower route. A team can support fewer tasks well, publish the boundary and add languages as evidence grows. That is better than claiming every language and asking users to discover the gaps. The European instinct for a standard is strongest when it is paired with the Dutch instinct to check whether the thing works on an ordinary Wednesday.

Build for 24, test beyond 24

The European Union has 24 official and working languages, and the Commission’s translation service operates across them. That number creates a useful baseline for public infrastructure. It does not define Europe’s linguistic life. Regional, minority, non-territorial and migrant languages also shape communities and institutions. A system built for 24 can still exclude people who do not use one of those routes, or who use an official language in a form the system did not evaluate.

Kurti 24 kalboms todėl reiškia atsakomybę pagrindą paversti realybe, o ne leidimą sustoti. Kalbos maršrutas turi turėti savo įrodymų. Viešoji įstaiga turėtų galėti pasakyti, kurios oficialios kalbos yra aprėptos kurioms užduotims, kokia žmogiškoji peržiūra egzistuoja ir kur vartotojai gali gauti autoritetingą versiją. Ji taip pat turėtų turėti būdą mokytis iš kalbų, esančių už pradinio rinkinio ribų, nepaverčiant bendruomenės nemokama bandymų laboratorija.

Testavimas už 24 kalbų ribų reiškia daugiau nei naujos kalbos pridėjimą prie demonstracijos. Tai reiškia darbą su kalbėtojais, institucijomis ir mokslininkais siekiant nuspręsti, kokia yra užduotis, kam gali būti naudojama šaltinio medžiaga ir kas laikoma žalinga klaida. Procesas gali sukurti mažą, kruopščiai apibrėžtą galimybę. Tai vis tiek yra pažanga. Kuklus maršrutas su aiškiu susitarimu gali būti vertingesnis nei įspūdingas teiginys, kurio joks operatorius negali apginti.

Ką siekiame padaryti aišku

„Dweve“ prie šios temos artėjame iš infrastruktūros pusės. „Loom“ mūsų viešoje produkto medžiagoje apibūdinamas kaip užduočių pagrindu sudarytas pažinimo modelis, kurio kalbos komponentai pateikia valdomą rezultatų grafą, o apribojimų mokymasis, grafų sudėtis, sprendikliai ir patikra turi sprendimų autoritetą. Tai architektūrinė pozicija, o ne daugiakalbystės veikimo teiginys. Ji nepadaro kalbos maršruto teisingu. Ji tik apsunkina vienos pareigos nuslėpimą: kalbos išvestis neturėtų būti vienintelė vieta, kur egzistuoja sistemos samprotavimas ir įrodymai.

Mūsų „Ground Truth“ darbas tą patį teiginį pateikia žmogiškesniu mastu. Žmonėms reikia pakankamai bendros kalbos, kad atskirtų modelį nuo darbo eigos, prognozę nuo įrodymų ir sklandų atsakymą nuo patikrinto rezultato. Daugiakalbėse sistemose tam žodynui reikia dar vieno žodžio: maršrutas. Olandiškas atsakymas, prancūziškas atsakymas ir baskų atsakymas nėra tik vieno vidinio įvykio pateikimai, jei įrodymai, terminija, peržiūra ir klaidų elgsena skiriasi. Maršrutas yra teiginio dalis.

Ši pozicija sąmoningai mažiau įdomi nei teiginys, kad vienas modelis supranta Europą. Ji taip pat naudingesnė. Norime, kad sistema parodytų, ką gavo, kokius šaltinius ir apribojimus galėjo naudoti, ko negalėjo nustatyti ir kada žmogus turėtų perimti. Kalba yra paviršius, per kurį žmogus susiduria su tuo darbu. Paviršius turėtų būti aiškus, bet jam neturėtų būti leista ištrinti po juo esančios struktūros.

Mes nesame atleisti nuo čia aprašytų standartų. Kilmės laukas neištaiso trūkstamų duomenų. Deterministas kelias neįrodo, kad vertimas yra teisingas. Europos duomenų apdorojimo riba nesuteikia kalbinės kompetencijos. Vienintelis sąžiningas būdas pateikti daugiakalbį teiginį yra nuolat testuoti, skelbti ribas ir leisti kalbos ekspertams kvestionuoti maršrutą. Produkto pavadinimas nėra įrodymas. Įrašas yra.

Praktinis standartas komandoms

Komandos, svarstančios, ar diegti daugiakalbę dirbtinio intelekto funkciją, gali pradėti nuo trumpo klausimų rinkinio. Ką tiksliai sistema turi daryti kiekviena kalba? Kurie žmonės nukenčia, jei ji klysta? Kuri šaltinio medžiaga yra autoritetinga? Kaip ir kas sukūrė testavimo elementus? Kokie registrai, raštai, tarmės ir sritys patenka į teiginį? Ką sistema daro, kai negali nustatyti reikšmės? Kas gali sustabdyti maršrutą? Kaip vartotojas gali ištaisyti atsakymą netapdamas projekto nemokamu kalbininku?

Klausimai tampa konkretūs, kai pririšami prie artefaktų. Laikykite kalbos maršruto kortelę su užduotimi, palaikomomis kalbos atmainomis, šaltinių šeimomis, teisių statusu, modelio ir įrankių versijomis, vertinimo rezultatais, žinomais klaidų režimais ir peržiūros atsakingu asmeniu. Laikykite klaidų pavyzdžius su jų kontekstu, ne tik balą. Laikykite šaltinį šalia didelės svarbos vertimo. Laikykite eskalavimo priežastį, kurią operatorius gali suprasti. Laikykite pakeitimų įrašą, kai keičiasi tokenizatorius, terminų sąrašas, etalonas ar modelis.

Pirkimų komandos gali paprašyti tiekėjų rezultatų pagal kalbą ir pagal užduotį, o ne vieno daugiakalbio vidurkio. Jos gali paklausti, ar etalonas buvo išverstas, ar parašytas gimtąja kalba, ar yra žmogiškųjų vertinimų, kaip tvarkomi mažai išteklių turintys maršrutai ir ar tiekėjas gali eksportuoti peržiūrai reikalingus įrodymus. Jos gali paklausti, kas atsitinka, kai kalba nepalaikoma, nes atsisakymas ir tylus atsarginis variantas turi labai skirtingas pasekmes.

Produktų komandos gali sukurti sąsają, kad būtų matomas maršrutas ir pasitikėjimo lygis, neapsimetant, kad pasitikėjimo skaičius yra tiesos tikimybė. Jos gali išsaugoti šaltinio nuorodas, atsisakymuose vartoti aiškią kalbą ir padaryti peržiūros veiksmus matomus. Jos gali vengti frazės palaiko visas kalbas, nebent gali apibrėžti veiksmažodį. Palaikyti gali reikšti rodyti tekstą, priimti įvestį, versti, apibendrinti, atsakyti, klasifikuoti, kalbėti arba vykdyti reglamentuojamą darbo eigą. Kalbos parinkiklis nėra specifikacija.

Mokslinių tyrimų komandos gali skelbti duomenų rinkinius su kilme ir taisymo keliais. Jos gali įtraukti neigiamus rezultatus ir pranešti, kai metrika netinka kitoms aplinkybėms. Jos gali pakviesti kalbų bendruomenes į vertinimą, kol modelis dar nepaskelbtas paruoštu, ir sumokėti už ekspertines žinias. Jos gali atsispirti spaudimui paversti siaurą rezultatą universaliu teiginiu. Vertingiausias etalonas gali būti tas, dėl kurio komanda pašalina sakinį iš savo produkto puslapio.

Visuomenė už modelio

Kalbinis modelis gali būti labai geras kuriant kalbą, nesuprasdamas, ką kalba daro visuomenėje. Jis gali nuspėti frazę, išversti pastraipą ir atsakyti į klausimą, nepastebėdamas institucinio ryšio, kurį neša žodžiai. Ši spraga nėra įrodymas, kad modelis nenaudingas. Tai įrodymas, kad kalba yra daugiau nei duomenų tipas.

Europos atsakymas neturėtų būti varžybos, kas suskaičiuos daugiau kalbų modelio kortelėje. Tai turėtų būti nuoseklios pastangos, kad kalbos duomenys, teisės, ekspertinės žinios, vertinimas ir viešoji kontrolė taptų tos pačios infrastruktūros dalimi. Komisijos kalbos technologijų darbas, Kalbos duomenų erdvė, Europos kalbų tinklelis ir EU MMLU etalonas visi rodo ta kryptimi. Europos tyrėjai tikrina, kas atsitinka, kai išversti etalonai traktuojami kaip mokslinių tyrimų klausimai, o ne kaip neabejotini instrumentai. Šis darbas nusipelno dėmesio, nes jis techniškai matomą daro seną politinį faktą: žmonės Sąjungos nepatiria viena kalba.

Kai kitą kartą tiekėjas sakys, kad modelis yra daugiakalbis, paklauskite, ką tas teiginys apima. Kurios kalbos? Kurios užduotys? Kurios bendruomenės? Kurie šaltiniai? Kuri peržiūra? Kuris atsisakymas? Kuris pakeitimų įrašas? Klausimas nėra priešiškas. Tai įprasta atskaitomybės pradžia.

Visuomenė netampa teisinga vien todėl, kad mašina gali kartoti jos žodžius. Ji tampa teisingesnė, kai žmonės gali patekti į jos institucijas, suprasti, kas vyksta, ginčyti rezultatą ir būti išgirsti kalba, kuri neša jų gyvenimą. Modelis gali padėti tam darbui. Jis negali jo apibrėžti. Modelio kalba yra techninis gebėjimas. Visuomenės kalba yra bendra atsakomybė.

Šaltiniai