Limba unui model nu este limba unei societăți

Un model multilingv nu este echitabil doar pentru că interfața sa listează multe limbi. Acoperirea lingvistică este o chestiune instituțională, culturală și...

Limba unui model nu este limba unei societăți

Șaisprezece limbi sunt un început, nu o sentință

La 22 iulie 2026, Direcția Generală Traduceri a Comisiei Europene a publicat EU MMLU, un benchmark menit să testeze modelele lingvistice de mari dimensiuni în contexte culturale și lingvistice europene. Publicarea a fost neobișnuit de onestă în privința decalajului pe care încerca să îl acopere. Multe seturi de date de evaluare au fost construite în limba engleză. Un model poate obține scoruri bune acolo și totuși să performeze slab în franceză, maghiară sau malteză. Noul set de date începe cu șaisprezece limbi oficiale ale UE, șapte domenii tematice și peste o mie de întrebări traduse și revizuite de aproape 250 de studenți de la 21 de universități europene.

Cea mai importantă parte a acestui anunț nu este lista de limbi. Este fraza de sub ea: comportamentul unui model nu poate fi dedus din limba în care pare cel mai fluent. Ar trebui să fie evident. Este și ipoteza din spatele unei cantități remarcabile de achiziții publice, cercetare și conversație publică. Încă vorbim despre un model lingvistic ca și cum ar avea o singură minte, apoi îi cerem să poarte diferite limbi ca pe niște haine. Haina se schimbă. Mintea, dovezile, punctele oarbe și contextul social sunt tratate ca fiind stabile.

Nu sunt stabile. Limba este locul unde o persoană întâlnește o instituție. Ea poartă termenii unui beneficiu, tonul unei contestații, diferența dintre sfat și instrucțiune, forma unei glume, numele unui loc și presupunerile dintr-un formular. Când un sistem gestionează o limbă mai bine decât alta, nu produce doar o frază mai puțin elegantă. Poate schimba cine este înțeles, cui i se dă crezare, cine poate contesta un rezultat și cine renunță înainte să găsească ușa potrivită.

Concluzia practică este simplă. IA multilingvă nu este o funcție de traducere care se adaugă după ce modelul este construit. Este o chestiune de acces, dovezi și autoritate. Munca Europei în domeniul tehnologiilor lingvistice, al datelor lingvistice și al evaluării multilingve este valoroasă pentru că tratează problema ca infrastructură. Munca este încă incompletă. Un benchmark nu este o garanție, iar șaisprezece limbi nu reprezintă întreaga Europă. Dar direcția este corectă: nu mai întrebați dacă un model vorbește o limbă, ci începeți să întrebați ce poate face în siguranță în acea limbă, pentru cine, în ce condiții și cu ce dovezi.

Acoperirea lingvistică este credibilă doar când sursa, contextul, revizuirea și afirmațiile despre serviciu rămân conectate.

Limba este o graniță de acces

Europa a făcut din limbă un fapt instituțional, nu o preferință privată. Articolul 22 din Carta drepturilor fundamentale prevede că Uniunea respectă diversitatea culturală, religioasă și lingvistică. Politica proprie a Comisiei în domeniul tehnologiilor lingvistice așază această obligație alături de un avertisment practic: tehnologiile lingvistice au nevoie de o utilizare nepărtinitoare dacă drepturile și principiile trebuie să supraviețuiască contactului cu software-ul. Acestea nu sunt angajamente decorative. Ele descriu limita pe care o întâlnește un sistem public atunci când un rezident nu poate citi o notificare, nu poate înțelege de ce a fost luată o decizie sau nu poate exprima un fapt relevant în limba în care acel fapt există.

Această limită este ușor de trecut cu vederea atunci când o echipă măsoară doar dacă a fost produsă o traducere. O propoziție poate ajunge în limba cerută și totuși să nu îi fie de folos persoanei care are nevoie de ea. Traducerea poate aplatiza o distincție juridică, poate schimba nivelul de politețe care arată dacă un oficial întreabă sau ordonă, sau poate folosi un termen care are un sens cotidian, dar și un sens specializat într-un anumit serviciu. Un recunoscător de vorbire poate transforma o pronunție regională într-un cuvânt diferit. Un rezumator poate elimina calificarea care poartă răspunderea. Fluența nu ne spune dacă tranzacția a rămas intactă.

Imaginați-vă un serviciu public de informare care oferă aceeași explicație privind eligibilitatea în neerlandeză, franceză și într-o limbă regională. Primele două rute au fost instruite și testate cu material administrativ, scrisori de contestație și conversații cu experți din domeniu. A treia rută are o proză generală excelentă, dar nicio evaluare semnificativă pe terminologia proprie a serviciului. Un tablou de bord poate raporta trei etichete verzi pentru limbi. Rezidenții nu primesc trei servicii echivalente. Un grup primește o explicație; altul primește o aproximare; al treilea primește o incertitudine lustruită care pare oficială pentru că are sigla potrivită.

Exemplul este în mod deliberat ipotetic. Nu este o afirmație despre o anumită municipalitate sau un anumit furnizor. Scopul său este să expună o eroare de proiectare. Suportul lingvistic este adesea numărat la interfață, în timp ce obligația reală se află mai departe în lanț. Sistemul trebuie să știe ce date susțin limba, ce sarcini au fost evaluate, cine a revizuit erorile, cum le pot corecta utilizatorii și când ruta trebuie să refuze să răspundă. Dacă aceste detalii lipsesc, selectorul de limbă este o promisiune fără contract.

Harta unui model nu este harta societății

Un model învață dintr-o hartă a limbii pe care datele și procesul de instruire i-o pun la dispoziție. O societate trăiește într-o hartă mult mai mare. Harta modelului conține textele, înregistrările, etichetele, traducerile și evaluările care au fost admise. Harta societății conține oameni care vorbesc diferit acasă și la locul de muncă, schimbă registrele fără să anunțe, împrumută cuvinte peste graniță, folosesc o limbă minoritară într-o instituție locală sau scriu într-un sistem de scriere pe care un benchmark nu l-a inclus. O hartă este un artefact tehnic. Cealaltă este o alcătuire de vieți, drepturi și obligații.

Diferența contează chiar și pentru limbile cu corpusuri publice mari. O limbă națională nu este un singur flux uniform. Formularele guvernamentale, deciziile judecătorești, vorbirea la clasă, sfaturile medicale, mesajele text și o conversație între vecini folosesc vocabularuri diferite și toleranțe diferite față de ambiguitate. Un model poate fi competent în proza de știri și slab la o contestație privind beneficiile. Poate gestiona ortografia standard și se poate lupta cu un dialect. Poate traduce o propoziție literală și poate rata sensul pragmatic purtat de o formulă politicoasă. A numi întreaga limbă suportată ascunde limita sarcinii.

Tehnologia lingvistică are, așadar, nevoie de un vocabular mai exact. Ar trebui să distingem între prezența unei limbi în datele de antrenament și evaluarea unei sarcini în acea limbă. Ar trebui să distingem între o traducere de referință și un item de test scris independent. Ar trebui să distingem între citirea unui sistem de scriere și înțelegerea registrului unei comunități. Ar trebui să distingem între capacitatea unui sistem de a genera text și autoritatea sa de a sfătui, clasifica sau decide. Fiecare distincție este o mică piesă de birocrație. Împreună, ele împiedică asamblarea unei afirmații ample din dovezi înguste.

Există un motiv instituțional pentru a fi stricți. Serviciile publice nu sunt libere să aleagă cea mai ușoară limbă și să numească rezultatul eficiență. O bancă, un spital, un angajator sau un furnizor de software pot avea obligații legale diferite, dar fiecare decide cât de mult efort trebuie să depună o persoană pentru a fi înțeleasă. O rută multilingvă care eșuează în tăcere transferă costul către utilizator. Utilizatorul trebuie să găsească un traducător, să repete o poveste, să accepte un rezultat mai prost sau să abandoneze procesul. Sistemul raportează succes pentru că a returnat un șir de caractere. Persoana trăiește excluderea cu o gramatică impecabilă.

Ce înseamnă de fapt resurse reduse

Resursele reduse sunt adesea tratate ca o proprietate a unei limbi, ca și cum unele limbi ar fi ajuns la ușa modelului cu mai puține resurse și ar trebui să își ceară scuze pentru inconvenient. Este mai util să le tratăm ca pe o proprietate a unei sarcini, a unui set de date și a unei decizii de guvernanță. O limbă poate avea material literar substanțial, dar puține date etichetate pentru un clasificator medical. Poate avea text paralel, dar aproape nicio înregistrare audio. Poate fi reprezentată într-un corpus fără drepturile sau metadatele necesare pentru o anumită implementare. Poate avea date într-o formă standard, în timp ce persoanele afectate folosesc o varietate regională.

Politica Comisiei Europene în domeniul tehnologiei lingvistice numește acest lucru clar. Datele lingvistice sunt fundamentul instrumentelor lingvistice, iar expertiza umană este o parte necesară a dezvoltării de succes. Un model are nevoie de text sau vorbire, algoritmi, putere de calcul și oameni care înțeleg limba și domeniul. Eliminarea oricăruia dintre aceste elemente schimbă sistemul. Mai multă putere de calcul nu poate crea o conversație care lipsește. Mai multe exemple nu pot repara o etichetă care confundă două categorii juridice. Un model mai mare nu poate decide ce sursă consideră o comunitate autoritară.

Munca cu resurse reduse nu este, așadar, o invitație de a coborî standardul. Este un motiv pentru a face standardul vizibil. Dacă o sarcină are puțin material de evaluare, spuneți acest lucru. Dacă o metrică este instabilă pentru o pereche de limbi, raportați instabilitatea. Dacă analiza umană a fost redusă, identificați amploarea analizei în loc să o prezentați ca o garanție generală. Dacă o rută este utilă pentru redactare, dar nu pentru decizii, puneți această graniță acolo unde un cumpărător și un utilizator o pot vedea. Lipsa onestă este mai sigură decât tăcerea care pare abundentă.

Peisajul lingvistic al Europei face această disciplină inevitabilă. Comisia descrie un set complex de limbi oficiale, regionale și minoritare și a sprijinit inițiative precum European Language Grid, agenda European Language Equality și Common European Language Data Space. Aceste proiecte nu sunt o soluție unică și nu ar trebui descrise ca atare. Ele sunt piese ale unui ecosistem în care datele, instrumentele, drepturile, expertiza și instituțiile publice se pot întâlni. Forma instituțională este la fel de importantă ca modelul din interiorul ei.

Stratul drepturilor sosește înaintea reperului

Este tentant să discutăm despre modelele lingvistice ca și cum limba ar fi un canal neutru de intrare. Nu este. Intrare poate conține date personale, o caracteristică protejată, un nume de loc local, un detaliu medical sau o înregistrare a unei persoane care cere ajutor. Sursa poate fi protejată de drepturi de autor sau supusă unei rezerve. Un rezultat tradus poate fi folosit într-o decizie chiar dacă ruta de traducere nu a fost niciodată evaluată pentru acel context. Problema lingvistică a modelului este deja o problemă de drepturi înainte ca cineva să aleagă un scor.

Ghidul Comisiei privind tehnologia lingvistică leagă datele lingvistice atât de drepturile de autor, cât și de protecția datelor. Această legătură ar trebui să schimbe modul în care echipele proiectează fluxurile de lucru. Un corpus nu este doar o grămadă de propoziții. Are identitate de sursă, condiții de achiziție, statut de licență sau de drepturi, metadate privind limba și scriptul, semnale de calitate, scop și reguli de păstrare. Dacă un element este corectat sau retras, organizația trebuie să știe care artefacte derivate au fost afectate. În caz contrar, un model ulterior poate repeta o eroare veche cu încrederea unui formular proaspăt tipărit.

Aici își dovedește utilitatea expresia proveniență. Proveniența nu este o notă de subsol care spune că datele provin de undeva. Este ansamblul de relații care permite unui evaluator să se deplaseze de la un rezultat la dovezile relevante și înapoi. În activitatea multilingvă, aceste relații trebuie să supraviețuiască traducerii, transcrierii, normalizării, segmentării și evaluării. O propoziție tradusă pentru un punct de referință nu este interschimbabilă cu propoziția sursă. O etichetă făcută de un evaluator nu este interschimbabilă cu o etichetă moștenită dintr-o altă limbă. Transformarea face parte din dovezi.

Nu există nicio cerință ca fiecare utilizator să vadă un registru de cercetare. Există cerința ca o organizație să poată răspunde la o întrebare serioasă atunci când apare. Ce versiune a resursei lingvistice a fost folosită? Ce sarcină a susținut? Ce experți lingvistici au revizuit-o? Ce a făcut sistemul când încrederea era scăzută? A fost tratată o plângere ca o corecție a unui singur răspuns sau ca o posibilă clasă de eșecuri? Ruta lingvistică devine demnă de încredere atunci când aceste întrebări au responsabili și înregistrări.

Europa construiește infrastructură lingvistică, nu doar butoane de traducere

Descrierea Comisiei Europene privind Spațiul european comun al datelor lingvistice este utilă pentru că nu reduce proiectul la o lansare de model. Scopul este o platformă și o piață pentru colectarea, partajarea și reutilizarea datelor lingvistice multilingve și multimodale, păstrând în același timp controlul organizațiilor și persoanelor care generează datele. Această formulare indică o idee diferită de progres. Munca nu înseamnă doar producerea unei propoziții mai bune. Înseamnă să faci resursele lingvistice descoperibile, conștiente de drepturi, reutilizabile și responsabile în administrația publică, cercetare și industrie.

European Language Grid a făcut o mișcare similară prin aducerea instrumentelor și resurselor specializate de tehnologie lingvistică într-un catalog comun. Un catalog nu dovedește că fiecare serviciu funcționează pentru fiecare sarcină. Face însă mai ușor de inspectat o dependență ascunsă. O echipă poate întreba ce face instrumentul, ce limbă suportă, de unde provin datele sale și dacă licența corespunde utilizării preconizate. Aceasta este infrastructură lipsită de strălucire. Este și modul în care un continent cu multe instituții evită să reconstruiască aceeași capacitate lingvistică în încăperi deconectate.

Infrastructura contează pentru că coada lungă a activității lingvistice nu este rezolvată de un singur model emblematic. Un organism public poate avea nevoie de recunoaștere vocală pentru un accent regional, extragere de terminologie pentru un domeniu specializat, memorie de traducere pentru legislație, recunoaștere a entităților numite pentru nume de locuri sau o modalitate de a compara două versiuni ale unui document fără a pierde diacriticele. O companie poate avea nevoie de o implementare locală pentru că materialul nu poate părăsi jurisdicția sa. Un grup de cercetare poate avea nevoie de un set de date cu proveniență clară, mai degrabă decât de un alt scor anonim.

Există o alegere politică tăcută în această abordare. Datele și instrumentele sunt tratate ca niște capacități pe care Europa ar trebui să le poată inspecta și modela, nu ca un serviciu care sosește dintr-un loc invizibil. Asta nu înseamnă că sistemele europene sunt automat bune sau că furnizorii comerciali din altă parte nu pot fi utili. Înseamnă că o limbă este prea importantă pentru a rămâne fără un vocabular public pentru datele ei, lipsurile ei și evaluarea ei. Suveranitatea începe cu a ști ce nu poate vedea sistemul.

Traducerea nu este o conductă neutră

Traducerea este adesea plasată între două componente într-o diagramă de arhitectură, ca și cum ar fi o conductă care transportă sensul dintr-o parte în alta. Traducerea reală este o succesiune de decizii. Care text sursă este autoritar? Care cuvinte trebuie să rămână exacte? Care ambiguitate ar trebui păstrată? Care referință culturală are nevoie de o explicație? Care registru este potrivit pentru un anunț public? Care entitate nu trebuie tradusă? Care dată, număr sau unitate ar trebui redate în convenția cititorului? Un model poate lua aceste decizii rapid. Rapiditatea nu le face invizibile.

Gândiți-vă la diferența dintre traducerea unei propoziții despre vreme și traducerea unui anunț despre un termen limită. În primul caz, o mică eroare de stil poate fi enervantă. În al doilea, un număr sau un verb modal poate schimba ceea ce o persoană crede că trebuie să facă. Modelul lingvistic subiacent poate avea același buget de tokeni și aceeași afișare a încrederii. Consecințele sociale nu sunt aceleași. Evaluarea trebuie, așadar, să urmeze sarcina, nu să se oprească la un scor general de limbă.

Pagina Comisiei despre propria utilizare a limbilor face acest punct fără dramatism. Traducerea automată poate oferi o idee de bază, dar calitatea și acuratețea variază semnificativ de la un text la altul și între perechile de limbi. Aceasta este o propoziție publică utilă, pentru că refuză să transforme un serviciu într-un oracol. Îi dă cititorului permisiunea de a folosi o traducere ca orientare, păstrând în același timp un motiv de a căuta o versiune umană sau autoritară atunci când consecințele o justifică.

Pentru echipele de produs, implicația este un set de rute explicite. O traducere cu consecințe reduse poate fi returnată direct, cu un status clar. O rută juridică sau medicală poate necesita o revizuire umană, un link către sursă sau un refuz. O schiță internă poate păstra sursa alături de traducere. O interfață vocală poate repeta un nume critic și poate cere confirmare. Alegerea nu este între automatizare completă și nicio automatizare. Este între o conductă care își declară predările și una care le ascunde în spatele unui paragraf fluent.

Propoziția supraviețuiește, situația nu

Modelele lucrează cu reprezentări. Societățile lucrează cu situații. Când o traducere trece de la una la cealaltă, micile detalii pot deveni întregul sens. O frază politicoasă într-o limbă poate suna evazivă în alta. Un termen care distinge un drept statutar de un serviciu discreționar poate fi redus la un cuvânt generic pentru ajutor. O expresie idiomatică poate fi tradusă literal și poate deveni un nonsens, sau tradusă liber și poate pierde referința care identifică o comunitate. Niciunul dintre aceste eșecuri nu are nevoie de un rezultat absurd. Răspunsul periculos este cel care pare obișnuit.

Lansarea EU MMLU evidențiază exact acest teritoriu. Criteriile sale de calitate cer ca reperele multilingve să testeze nu doar sensul și dificultatea, ci și expresiile idiomatice, umorul, referințele culturale, formatele de dată și număr și diferențele de ton sau politețe așteptate. Aceasta este o extindere importantă a țintei de evaluare. Un model lingvistic nu este întrebat doar dacă poate produce o propoziție gramaticală. Este întrebat dacă propoziția aparține situației în care o persoană va acționa pe baza ei.

Menționarea umorului nu este o invitație de a face benchmark-ul distractiv. Recunoaște că umorul este un test de stres pentru context. O traducere literală poate păstra cuvintele și poate distruge gluma. O traducere adaptată cultural poate păstra efectul, schimbând în același timp referința. Într-un serviciu public de informare, același mecanism apare fără râs. Un proverb, un nume de loc local sau o salutare formală pot semnala cine vorbește și ce relație creează mesajul.

Când echipele spun că un model înțelege o limbă, ar trebui să se întrebe la ce strat se referă. Recunoaște scrierea? Segmentează corect cuvintele? Identifică entități? Traduce propoziția? Păstrează forța juridică? Urmează o convenție locală? Păstrează nivelul de certitudine al vorbitorului? Gestionează o ortografie nestandard? Răspunde în registrul potrivit? Acestea sunt capacități separate. O singură etichetă numită multilingvism ascunde munca necesară pentru a stabili fiecare dintre ele.

De ce evaluarea trebuie să călătorească împreună cu limba

Evaluarea este adesea adăugată la final, pentru că echipele vor un număr de atașat modelului. Sistemele multilingve fac această ordine imposibilă. Datele de test determină ce contează ca eroare. Limba determină cum poate eșua o propoziție. Domeniul determină care eșec contează. Utilizatorul determină dacă răspunsul sistemului este un ajutor sau un obstacol. Evaluarea trebuie să călătorească cu toate cele patru.

Lucrarea de cercetare europeană Towards Multilingual LLM Evaluation for European Languages demonstrează amploarea problemei. Autorii evaluează 40 de modele de limbaj în 21 de limbi europene, examinează versiuni traduse a cinci benchmark-uri utilizate pe scară largă și publică un cadru care include EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA și EU20-GSM8K. Lucrarea nu susține că traducerea unui benchmark existent îl face automat echitabil. Tratează serviciile de traducere, construcția benchmark-urilor și comparabilitatea între limbi ca aspecte de investigat.

Aceasta este atitudinea corectă. Un element de test tradus poate moșteni o schimbare de dificultate, o presupunere culturală sau un indiciu care nu exista în original. Un model poate obține un scor mai mare pentru că formularea tradusă face răspunsul mai ușor, nu pentru că modelul a devenit mai capabil. Poate obține un scor mai mic pentru că o construcție gramaticală este nefirească în limba țintă, chiar dacă raționamentul de bază este solid. Ambele rezultate sunt dovezi despre test, precum și despre model.

Revizuirea umană rămâne necesară, dar și revizuirea umană are nevoie de un contract. Cine a revizuit elementul? Recenzenții au fost vorbitori nativi, specialiști de domeniu sau ambii? Au revizuit propoziții izolate sau sarcina în context? Au fost înregistrate dezacordurile? Benchmark-ul a păstrat răspunsuri alternative acceptabile? Un expert în limbă ne poate spune că o frază este greșită. Un expert de domeniu ne poate spune de ce greșeala schimbă o decizie. O evaluare credibilă are adesea nevoie de ambii și trebuie să spună pe care l-a avut.

Scopul nu este de a face fiecare sistem să treacă un examen nesfârșit înainte ca cineva să îl poată folosi. Este de a preveni ca un test îngust să fie confundat cu o afirmație amplă. Dacă un model a fost evaluat pe întrebări scurte de tip factual în limbaj scris standard, raportați acest lucru. Nu lăsați rezultatul să devină în tăcere o afirmație despre interacțiunea vorbită, redactarea juridică, administrația locală, copii, persoane în vârstă sau fiecare registru al limbii.

Un scor devine util când rămân vizibile granițele sarcinii, limbii, contextului și evaluării umane.

Lecția din malteză și bască

O lucrare prezentată la conferința LREC-COLING 2024 a studiat evaluarea traducerii automate din engleză în malteză și din spaniolă în bască. Autorii au analizat metrica de evaluare COMET, au colectat evaluări umane directe și au testat cât de bine s-a comportat metrica atunci când a fost adaptată la cele două perechi de limbi. Concluzia lor este modestă, dar cu consecințe: performanța metricii se poate îmbunătăți prin reglaj fin și poate fi foarte sensibilă la distribuția scorurilor din datele de antrenament, mai ales în contexte cu resurse limitate.

Nu este o poveste despre eșecul unei singure metrici. Este o poveste despre ce depinde un scor. O metrică antrenată pe o anumită distribuție se poate comporta diferit atunci când este folosită pentru a evalua altceva. O pereche de limbi cu mai puțin material de evaluare poate face scorul să pară mai concludent decât este. Un sistem care este ușor de comparat poate fi totuși un substitut slab pentru ceea ce vorbitorii consideră o traducere bună. Judecățile umane nu fac evaluarea perfectă, dar scot la iveală locurile în care o măsură automată face presupuneri.

Un alt studiu din 2024, Benchmarking Low-Resource Machine Translation Systems, compară sisteme disponibile public pe patru seturi de date și 26 de limbi și publică rezultatele prin BENG, o platformă FAIR de evaluare comparativă pentru generarea de limbaj natural. Din nou, contribuția nu este un clasament universal. Este o comparație mai ușor de inspectat. Eficiența și eficacitatea sunt luate în considerare împreună, iar lista de limbi este vizibilă. Un cititor poate întreba dacă evaluarea comparativă include ruta care contează, în loc să accepte un singur număr de referință.

Aceste studii oferă o lecție europeană despre reținere. Partea dificilă nu este inventarea unui alt scor. Este construirea unei evaluări care să permită cititorului să vadă a cui limbă, a cui sarcină și a cui definiție a calității au produs scorul. Când acest context lipsește, un număr devine o trecere de frontieră fără pașaport. Poate trece de prezentare, dar nimeni nu poate stabili de unde provine.

Acoperirea lingvistică poate fi o proprietate de siguranță

Discuțiile despre siguranță se concentrează adesea pe conținutul pe care un sistem ar trebui să îl refuze, pe atacurile pe care ar trebui să le respingă sau pe erorile pe care ar trebui să le detecteze. Limba adaugă o altă întrebare: poate sistemul să recunoască atunci când este în afara competenței sale? O rută care funcționează într-o limbă poate eșua mai des în alta, păstrând în același timp același ton încrezător. Dacă interfața nu expune diferența, utilizatorii nu își pot calibra încrederea.

Acest lucru este deosebit de important atunci când limba face parte dintr-o interacțiune critică pentru siguranță. Un pacient poate descrie un simptom într-o varietate regională. Un muncitor poate raporta un pericol folosind un termen local. Un rezident poate depune o contestație cu o convenție de scriere pe care un normalizator o tratează ca zgomot. Un model poate fi tehnic precis pe benchmark-ul său și operațional nesigur pentru acea rută. Întrebarea relevantă nu este dacă sistemul poate genera un răspuns plauzibil. Este dacă controalele de siguranță au fost evaluate pe limba și situația din fața sa.

Siguranța nu necesită tratarea fiecărei rute lingvistice ca pe o urgență specială. Necesită potrivirea controlului cu consecința. Un rezultat de căutare cu risc scăzut își poate expune sursele și poate invita la o corecție. O interfață de triaj medical poate direcționa intrarea lingvistică incertă către un profesionist instruit. Un flux de lucru pentru documente juridice poate păstra sursa și traducerea una lângă alta și poate cere aprobare înainte de publicare. Un sistem vocal poate cere utilizatorului să repete un nume, în loc să selecteze în tăcere cea mai apropiată entitate cunoscută. Acestea sunt alegeri inginerești obișnuite atunci când limba este tratată ca parte a graniței sistemului.

Refuzul în sine necesită proiectare lingvistică. A spune unui utilizator că un sistem nu poate răspunde nu este suficient dacă refuzul este opac, condescendent sau indisponibil în limba utilizatorului. Sistemul ar trebui să spună ce nu a putut stabili, ce informații ar ajuta și ce rută umană sau autoritară este disponibilă. În caz contrar, un control de siguranță devine o altă barieră de acces. Principiul lingvistic al Europei este testat cel mai clar atunci când un sistem nu poate furniza răspunsul cerut.

Proiectarea operațională a unui serviciu multilingv

Un serviciu multilingv de încredere are o formă operațională ușor de descris și surprinzător de greu de menținut. În primul rând, numește sarcina. Traducerea, transcrierea, clasificarea, regăsirea, rezumarea și generarea nu sunt interschimbabile. În al doilea rând, numește ruta lingvistică, inclusiv scrierea și orice graniță regională sau de domeniu relevantă. În al treilea rând, înregistrează materialul sursă și transformările aplicate acestuia. În al patrulea rând, definește calea de revizuire și escaladare. În al cincilea rând, spune utilizatorului ce poate și ce nu poate pretinde sistemul.

Acești pași nu sunt o cerere pentru o birocrație uriașă. Sunt minimul necesar pentru a face o promisiune lingvistică testabilă. Dacă un furnizor spune că un model acceptă finlandeza, un cumpărător ar trebui să poată întreba dacă aceasta înseamnă generare de text, recunoaștere vocală, traducere din care limbi sau toate cele de mai sus. Dacă o echipă de produs spune că acceptă o limbă regională, ar trebui să spună dacă suportul se bazează pe date native, date traduse, un set mic de evaluare sau o revizuire de specialitate. Dacă răspunsul este necunoscut, necunoscut este un statut valid.

Serviciul are nevoie și de o politică de schimbare. Material nou de instruire, un nou tokenizator, un nou model de traducere, o nouă listă de terminologie sau o nouă populație de utilizatori pot schimba comportamentul lingvistic. O versiune care îmbunătățește o rută poate regresa alta. Un rezultat de benchmark de anul trecut nu descrie automat sistemul de astăzi. Înregistrările de versiuni, testele comparative și o rută pentru raportarea erorilor specifice limbii fac serviciul menținabil, nu ceremonial.

Întreținerea are o latură umană. Experții lingvistici au nevoie de o modalitate de a vedea erorile care afectează comunitățile lor. Echipele de domeniu au nevoie de o modalitate de a distinge o eroare de traducere de o ambiguitate de politică. Operatorii au nevoie de o modalitate de a întrerupe o rută fără a aștepta ca un furnizor de modele să interpreteze o plângere. Utilizatorii au nevoie de o modalitate de a spune că sistemul a înțeles greșit un cuvânt, un context sau numele unei persoane. Un serviciu multilingv nu este complet atunci când modelul este implementat. Este suficient de complet pentru a fi responsabil atunci când apare următoarea problemă lingvistică.

Proveniența printr-o conductă lingvistică

Proveniența devine concretă atunci când urmărim o singură bucată de sens printr-un sistem. Începeți cu un paragraf sursă. Înregistrați limba, scrierea, autorul sau instituția atunci când sunt cunoscute, drepturile și scopul. Dacă este segmentat, păstrați relația cu originalul. Dacă este tradus, rețineți sursa și traducătorul sau procesul de traducere. Dacă un recenzent modifică formularea, înregistrați aceasta ca o stare nouă, nu ca o înlocuire tăcută. Dacă paragraful devine un element de referință, transportați împreună cu el sarcina, cheia de răspuns, limba și dosarul de recenzie.

La momentul execuției, aceeași disciplină se aplică în sens invers. Stocați ce rută lingvistică a gestionat solicitarea, ce versiune de model sau instrument a rulat, ce dovezi sursă au fost recuperate, ce stare de incertitudine sau refuz a fost atinsă și ce acțiune umană a urmat. Dosarul nu trebuie să expună conținut privat fiecărui operator. Trebuie să pună la dispoziție faptele materiale unui recenzent autorizat. Fără ele, un incident lingvistic devine o dezbatere despre impresii.

Aici proveniența multilingvă diferă de un jurnal de audit generic. O marcă temporală și un nume de model ne spun că s-a întâmplat ceva. Nu ne spun dacă sursa a fost tradusă, dacă răspunsul a schimbat un format numeric, dacă o entitate numită a fost normalizată sau dacă recenzentul lucra în limba țintă. Calea de transformare este dovada. Un răspuns scurt poate ascunde un lanț lung de decizii.

Există o mică virtute olandeză în această abordare: păstrați registrul suficient de plictisitor încât cineva să îl poată folosi într-o marți după-amiază. Un dosar de proveniență nu ar trebui să fie o etichetă de muzeu scrisă pentru un audit care s-ar putea să nu ajungă niciodată. Ar trebui să ajute un operator să răspundă la următoarea întrebare, să oprească ruta corectă și să explice rezultatul unei persoane căreia nu îi pasă de diagrama voastră de arhitectură. O bună guvernanță lingvistică este ușor ternă. Așa știi că ar putea supraviețui contactului cu munca.

Alegerile ascunse dintr-o traducere

Fiecare sistem de traducere poartă alegeri care merită nume. Tokenizarea decide cum este împărțită intrarea. Normalizarea decide ce distincții sunt păstrate sau eliminate. Alinierea decide ce părți din două texte sunt tratate ca echivalente. Terminologia decide ce cuvinte sunt stabile. Decodarea decide cum este selectată ieșirea. Post-procesarea decide ce vede cititorul. Niciunul dintre acești pași nu este greșit în mod inerent. Fiecare poate crea o defecțiune specifică limbii, invizibilă într-o demonstrație generală.

Luați un nume propriu. Un sistem îl poate traduce, translitera, păstra sau înlocui cu o ortografie familiară. Pentru o poezie, mai multe alegeri pot fi apărabile. Pentru un document de identitate, doar una poate fi acceptabilă, iar aceea poate depinde de autoritatea emitentă. Luați o unitate de măsură sau o dată. Valorile pot rămâne echivalente matematic, în timp ce forma devine ambiguă pentru un cititor. Luați un substantiv sau un pronume cu gen. O traducere poate introduce informații pe care sursa le-a ascuns sau poate șterge o distincție pe care sursa a făcut-o în mod deliberat.

Răspunsul de design nu este să înghețe limba. Este să declare politica și să facă excepția vizibilă. O listă de terminologie poate proteja termenii juridici. O regulă pentru entități numite poate împiedica un oraș să devină o persoană. O vizualizare care păstrează sursa poate permite unui recenzent să compare originalul și ieșirea. O escaladare umană poate fi declanșată de un nume cu încredere scăzută, de un dezacord între rute sau de o sarcină clasificată ca având consecințe mari. Modelul rămâne util pentru că limitele sale fac parte din fluxul de lucru.

Modelele de limbaj de mari dimensiuni fac alegerile mai greu de observat, deoarece rezultatul este fluent. Un rezultat fluent este o interfață minunată, dar o explicație nesigură. Sistemul poate produce o propoziție care sună nativ, alegând însă sensul greșit al unui cuvânt. Poate păstra subiectul general, dar poate omite o negație. Poate traduce o expresie locală într-o formulare standard care schimbă poziția vorbitorului. De aceea, calitatea limbii nu poate fi reprezentată doar prin gramatică. Sensul are o formă socială.

Scrieri, dialecte, registre și instituții

Suportul lingvistic este adesea anunțat la nivelul numelui unei limbi, dar cititorii întâlnesc scrieri, varietăți și registre. Un sistem care gestionează ortografia standard modernă poate avea dificultăți cu documentele istorice. Un recunoscător vocal poate gestiona audio de studio, dar poate eșua într-o gară aglomerată. Un chatbot destinat publicului poate răspunde într-un registru formal, în timp ce utilizatorul are nevoie de un limbaj simplu. O instituție poate folosi un termen care diferă de vorbirea obișnuită dintr-un motiv important din punct de vedere juridic.

Acestea nu sunt cazuri limită în sensul peiorativ. Sunt locurile în care limba întâlnește lumea. Un nume regional poate face diferența între o adresă corectă și o livrare eșuată. Un cuvânt dialectal poate fi singurul cuvânt pe care o persoană îl cunoaște pentru un simptom. O formulare formală poate semnala că un mesaj are efect juridic. O variantă de scriere poate determina dacă un document este căutabil. Dacă un benchmark exclude aceste căi, poate fi totuși util, dar nu poate înlocui întreaga limbă.

Testarea tuturor varietăților nu este întotdeauna posibilă. Răspunsul onest este să descriem subsetul acceptat și să invităm la dovezi despre restul. Un sistem poate publica faptul că a fost evaluat pe neerlandeză scrisă standard pentru rezumarea informațiilor publice, fără nicio pretenție privind recunoașterea vorbirii regionale. Poate adăuga un test pentru frizonă sau bască, fără să pretindă că această adăugare rezolvă toate problemele regionale și ale limbilor minoritare. Specificitatea nu este o slăbiciune. Ea le spune utilizatorilor unde este limita.

Instituțiile ar trebui, de asemenea, să reziste ideii că o singură rută lingvistică națională este automat neutră. Limbajul administrativ poate fi inaccesibil pentru vorbitorii aceleiași limbi. Accesibilitatea și multilingvismul se suprapun, deoarece ambele întreabă dacă cititorul poate înțelege și acționa. Activitatea lingvistică a Comisiei include instrumente de simplificare și texte accesibile tocmai din acest motiv. O propoziție poate fi corectă din punct de vedere lingvistic și totuși inutilizabilă instituțional.

Când interfața este fluentă, dar greșită

Cele mai dificile eșecuri lingvistice nu sunt spectaculoase. Sunt răspunsuri care trec testul vizual. Un rezumat include numele corecte, dar schimbă cine este responsabil. O traducere păstrează substantivele, dar transformă o recomandare într-o instrucțiune. Un clasificator înțelege subiectul, dar ratează o negație. Un sistem vocal recunoaște cuvintele, dar nu și ezitarea vorbitorului. Un utilizator citește rezultatul în propria limbă și presupune că fluența este un semn de grijă.

Ar trebui să proiectăm pentru această clasă de erori, în loc să așteptăm ca un exemplu bizar să devină titlu de presă. Comparați sursa și rezultatul pentru conținutul cu impact ridicat. Păstrați markerii de incertitudine. Mențineți citatele sau referințele documentelor atașate. Cereți confirmarea atunci când un număr, un nume sau un termen limită este esențial. Faceți ruta vizibilă pentru operator. Oferiți un mecanism de corecție care să nu necesite ca utilizatorul să știe care componentă a eșuat. Aceste controale sunt mici, dar transformă o traducere într-o tranzacție inspectabilă.

Revizuirea umană nu ar trebui descrisă ca o linie de apărare magică. Revizorii au limite de timp, lacune de domeniu și propriile presupuneri lingvistice. O interfață de revizuire utilă le oferă sursa, rezultatul, contextul și motivul escaladării. Ea consemnează dezacordurile, nu le netezește. Dacă revizorii corectează în mod repetat un termen, organizația poate îmbunătăți terminologia sau poate schimba granița sarcinii. Dacă dezacordul relevă că sursa în sine este ambiguă, acțiunea corectă poate fi să întrebi autorul, nu să antrenezi modelul mai intens.

Operatorii au nevoie, de asemenea, de o modalitate de a vedea dovezile negative. Ce limbi nu au fost evaluate? Ce sarcini nu au avut parte de revizuire umană? Ce cereri au fost refuzate? Ce utilizatori au părăsit ruta după o traducere? O absență poate fi un semnal. O diagramă verde a acoperirii care omite căile eșuate este o hartă a suprafeței de marketing, nu a serviciului.

Expertiza umană nu este un buton de rezervă

Politica europeană privind tehnologia lingvistică îi pune pe lingviști, oameni de știință de date, ingineri informaticieni și specialiști de domeniu în aceeași propoziție. Aceasta este o cerință de proiectare, nu o listă de profesii pe care să le inviti la un apel de lansare. Fiecare persoană vede o defecțiune diferită. Lingvistul vede o construcție nenaturală sau o distincție pierdută. Inginerul vede o problemă de segmentare sau de rutare. Specialistul de domeniu vede o eroare de categorie periculoasă. Operatorul vede o coadă de care nimeni nu poate răspunde. Persoana care folosește serviciul trăiește o decizie care nu mai are sens.

Expertiza umană ar trebui să intervină înainte ca reperul să fie înghețat. Un expert lingvistic poate ajuta la selectarea materialului de testare care reprezintă registre reale, nu doar propoziții curate. Un expert de domeniu poate identifica termenii care nu trebuie să devieze. Un reprezentant al comunității poate spune unei echipe ce formulare pare oficială, familiară sau jignitoare. Un custode al datelor poate explica ce proveniență este disponibilă și ce nu. Aceste contribuții modelează contractul sistemului. Nu sunt un decor după ce alegerile tehnice au fost făcute.

Există un cost, desigur. O bună revizuire necesită timp și plătește oameni pentru cunoștințe care sunt adesea tratate ca invizibile. Acest cost face parte din suportul lingvistic. Alternativa este să îl externalizezi către utilizatori, care plătesc cu confuzie și contestații, sau către personal, care traduce și repară ruta informal. Un sistem care pare ieftin pentru că ignoră expertiza lingvistică nu este eficient. Pur și simplu a mutat factura.

Ce trebuie să expună un reper echitabil

Un reper multilingv ar trebui să înceapă cu o afirmație suficient de mică pentru a fi testată. Afirmația ar putea fi că un sistem poate răspunde la întrebări de informații publice într-un set de limbi, poate păstra datele și numerele și poate refuza atunci când dovezile din sursă lipsesc. Ar putea fi că o rută de traducere gestionează o anumită pereche și un anumit domeniu la un nivel de calitate definit. Ar putea fi că un recunoscător de vorbire poate transcrie o varietate specificată în condiții acustice specificate. Reperul este un contract pentru acea afirmație.

Contractul are nevoie de mai mult decât o listă de limbi. Ar trebui să expună sarcina, sursa, domeniul, registrul, scriptul, direcția, lungimea contextului, condițiile de intrare, răspunsurile de referință, variantele acceptabile, metricile, revizuirea umană și incertitudinea. Ar trebui să spună dacă elementele au fost scrise inițial în fiecare limbă sau traduse. Ar trebui să consemneze cine le-a revizuit și ce dezacorduri au rămas. Ar trebui să separe rezultatele agregate de rezultatele pe limbă. Ar trebui să arate suficiente exemple pentru ca un cititor să poată înțelege ce măsoară scorul.

Criteriile MMLU ale UE sunt utile pentru că lărgesc sensul cuvântului corect. Reprezentarea echilibrată a limbilor oficiale ale UE este o parte. Păstrarea sensului, dificultății și valorii de testare între limbi este alta. Testarea valorilor și contextelor culturale europene, inclusiv expresii idiomatice, umor, referințe, formate de dată și număr, ton și politețe, face din benchmark un instrument social, nu doar unul tehnic. Criteriile nu elimină judecata. Ele fac judecata verificabilă.

Proiectanții de benchmark ar trebui să publice secțiuni de eșec, nu doar medii. Un model poate avea un scor mediu bun, dar să eșueze la fiecare element care implică un anumit registru sau tip de număr. O rută poate fi eficientă într-o direcție și lentă sau scumpă în alta. O metrică poate corela cu judecata umană într-o limbă și poate deveni instabilă în alta. Vizualizările pe limbă și pe sarcină nu sunt un lux. Ele sunt modul în care un cumpărător evită să cumpere media, dar să implementeze excepția.

În cele din urmă, un benchmark ar trebui să declare ce nu ne poate spune. Un test scris nu stabilește performanța vorbirii. Un scor de traducere nu stabilește fiabilitatea juridică. Un set de limbi oficiale nu stabilește suportul pentru limbile regionale sau minoritare. Un scor mare nu stabilește că o persoană poate contesta o decizie. Limitarea nu este o jenă. Este marginea hărții, iar utilizatorii trebuie să o vadă înainte de a porni la drum.

Un scor este o legendă a hărții, nu teritoriul

Numerele sunt utile pentru că forțează o comparație. Sunt periculoase pentru că invită la o concluzie mai amplă decât măsurarea. Un scor ne poate spune cum s-a comportat un sistem pe un eșantion definit, sub o metodă definită. Nu ne poate spune cum va experimenta o comunitate sistemul fără o punte de presupuneri. Puntea poate fi solidă. Trebuie numită.

Să presupunem că un sistem se îmbunătățește la un benchmark multilingv după reglaj fin. Aceasta este o dovadă a performanței îmbunătățite la acea evaluare. Nu este automat o dovadă că sistemul este mai sigur într-un serviciu public. Serviciul poate folosi o terminologie diferită, un context mai lung, intrare vocală, un registru diferit sau un flux de lucru din aval care transformă o sugestie într-o decizie. Benchmark-ul poate fi totuși valoros. Devine mai valoros atunci când organizația spune ce parte a serviciului reprezintă.

Aceeași disciplină se aplică energiei, vitezei și costului. O rută într-o limbă cu resurse reduse poate necesita mai multă revizuire umană sau un context de regăsire mai mare. Aceasta nu este un defect de ascuns într-o medie. Este o proprietate a serviciului care ar trebui să informeze proiectarea. Instituțiile europene au petrecut decenii construind servicii de traducere și lingvistice, deoarece costul practic al diversității lingvistice este real. Un sistem de inteligență artificială nu elimină acest cost prin emiterea rapidă de text.

Nu este nicio rușine să alegi o rută mai îngustă. O echipă poate suporta bine mai puține sarcini, poate publica limita și poate adăuga limbi pe măsură ce apar dovezi. Aceasta este mai bună decât să pretinzi fiecare limbă și să ceri utilizatorilor să descopere golurile. Instinctul european pentru un standard este cel mai puternic atunci când este împerecheat cu instinctul olandez de a verifica dacă lucrul funcționează într-o miercuri obișnuită.

Construiește pentru 24, testează dincolo de 24

Uniunea Europeană are 24 de limbi oficiale și de lucru, iar serviciul de traducere al Comisiei operează în toate acestea. Acest număr creează o linie de bază utilă pentru infrastructura publică. Nu definește viața lingvistică a Europei. Limbile regionale, minoritare, non-teritoriale și ale migranților modelează, de asemenea, comunitățile și instituțiile. Un sistem construit pentru 24 poate totuși exclude persoane care nu folosesc una dintre aceste rute sau care folosesc o limbă oficială într-o formă pe care sistemul nu a evaluat-o.

Construirea pentru 24 este, așadar, o responsabilitate de a face linia de bază reală, nu o permisiune de a te opri. O rută lingvistică ar trebui să își susțină propria dovadă. O instituție publică ar trebui să poată spune ce limbi oficiale sunt acoperite pentru ce sarcini, ce verificare umană există și unde pot obține utilizatorii o versiune autorizată. Ar trebui să aibă, de asemenea, o modalitate de a învăța din limbile din afara setului inițial, fără a transforma comunitatea într-un laborator de testare neplătit.

Testarea dincolo de 24 înseamnă mai mult decât adăugarea unei limbi noi într-o demonstrație. Înseamnă să lucrezi cu vorbitori, instituții și cercetători pentru a decide care este sarcina, la ce poate fi folosit materialul sursă și ce contează ca eroare dăunătoare. Procesul poate produce o capacitate mică, atent delimitată. Asta este totuși progres. O rută modestă, cu un contract clar, poate fi mai valoroasă decât o afirmație impresionantă pe care niciun operator nu o poate susține.

Ce încercăm să facem explicit

La Dweve, abordăm acest subiect din perspectiva infrastructurii. Loom este descris în materialul nostru public de produs ca un model cognitiv compilat pe sarcini, ale cărui componente lingvistice redau un graf de rezultate guvernat, în timp ce învățarea cu constrângeri, compoziția graficelor, solutorii și verificarea dețin autoritatea decizională. Aceasta este o poziție arhitecturală, nu o afirmație de performanță multilingvă. Nu face o rută lingvistică corectă. Dar face o obligație greu de ascuns: rezultatul lingvistic nu ar trebui să fie singurul loc în care există raționamentul și dovezile sistemului.

Munca noastră Ground Truth face același punct la o scară mai umană. Oamenii au nevoie de suficient limbaj comun pentru a distinge un model de un flux de lucru, o predicție de o dovadă și un răspuns fluent de un rezultat verificat. În sistemele multilingve, acest vocabular are nevoie de încă un cuvânt: rută. Un răspuns în neerlandeză, un răspuns în franceză și un răspuns în bască nu sunt doar redări ale unui singur eveniment intern dacă dovezile, terminologia, verificarea și comportamentul la eșec diferă. Ruta face parte din afirmație.

Această poziție este în mod deliberat mai puțin captivantă decât a spune că un singur model înțelege Europa. Este, însă, mai utilă. Vrem ca un sistem să arate ce a primit, ce surse și constrângeri a putut folosi, ce nu a putut stabili și când ar trebui să preia un om controlul. Limba este o suprafață prin care o persoană întâlnește acea muncă. Suprafața ar trebui să fie clară, dar nu ar trebui să i se permită să șteargă structura de dedesubt.

Nu suntem scutiți de standardele descrise aici. Un câmp de proveniență nu repară datele lipsă. O cale deterministă nu dovedește că o traducere este corectă. O graniță europeană de procesare nu conferă competență lingvistică. Singura modalitate onestă de a face o afirmație multilingvă este să continui testarea, să publici limitele și să lași experții în limbă să conteste ruta. Numele produsului nu este dovadă. Recordul este.

Un standard practic pentru echipe

Echipele care decid dacă să introducă o funcție AI multilingvă pot începe cu un set scurt de întrebări. Ce anume trebuie să facă sistemul în fiecare limbă? Ce persoane sunt afectate dacă greșește? Ce material sursă este autoritar? Cum au fost create itemii de test și de cine? Ce registre, scripturi, dialecte și domenii sunt incluse în afirmație? Ce face sistemul când nu poate stabili sensul? Cine poate pune ruta pe pauză? Cum poate un utilizator corecta un răspuns fără să devină lingvistul neplătit al proiectului?

Întrebările devin concrete când sunt atașate artefactelor. Ține o fișă a rutei lingvistice cu sarcina, varietățile lingvistice acceptate, familiile de surse, statutul drepturilor, versiunile de model și instrumente, rezultatele evaluării, modurile cunoscute de eșec și responsabilul de verificare. Păstrează exemple de erori cu contextul lor, nu doar un scor. Păstrează sursa lângă o traducere cu consecințe mari. Păstrează un motiv de escaladare pe care un operator să îl poată înțelege. Păstrează un record al modificărilor când se schimbă un tokenizator, o listă de terminologie, un benchmark sau un model.

Echipele de achiziții pot cere furnizorilor rezultate pe limbă și pe sarcină, nu o singură medie multilingvă. Pot întreba dacă un benchmark a fost tradus sau scris nativ, dacă sunt disponibile evaluări umane, cum sunt gestionate rutele cu resurse limitate și dacă furnizorul poate exporta dovezile necesare pentru o analiză. Pot întreba ce se întâmplă când o limbă nu este acceptată, pentru că un refuz și o revenire silențioasă la o altă limbă au consecințe foarte diferite.

Echipele de produs pot proiecta interfața astfel încât să afișeze ruta și gradul de încredere fără să pretindă că un scor de încredere este o probabilitate de adevăr. Pot păstra linkurile către surse, pot folosi un limbaj simplu în refuzuri și pot face vizibile acțiunile de analiză. Pot evita sintagma acceptă toate limbile, dacă nu pot defini verbul. Accept poate însemna afișează text, primește date de intrare, traduce, rezumă, răspunde, clasifică, vorbește sau gestionează un flux de lucru reglementat. Un selector de limbă nu este o specificație.

Echipele de cercetare pot publica seturi de date cu proveniență și căi de corectare. Pot include rezultate negative și pot raporta când o metrică nu se transferă bine. Pot invita comunitățile lingvistice să participe la evaluare înainte ca un model să fie declarat gata și pot plăti pentru expertiza lor. Pot rezista presiunii de a transforma un rezultat îngust într-o afirmație universală. Cel mai valoros benchmark poate fi cel care face o echipă să elimine o propoziție de pe pagina produsului său.

Societatea din spatele modelului

Un model de limbaj poate fi foarte bun la a produce limbaj fără să știe ce face limbajul într-o societate. Poate prezice o frază, traduce un paragraf și răspunde la o întrebare, ratând însă relația instituțională purtată de cuvinte. Acest decalaj nu este o dovadă că modelul este inutil. Este o dovadă că limbajul este mai mult decât un tip de date.

Răspunsul Europei nu ar trebui să fie o competiție de numărare a limbilor într-o fișă de model. Ar trebui să fie un efort susținut de a face datele lingvistice, drepturile, expertiza, evaluarea și controlul public parte din aceeași infrastructură. Activitatea Comisiei în domeniul tehnologiei limbajului, Language Data Space, European Language Grid și benchmark-ul EU MMLU indică toate în această direcție. Cercetătorii europeni testează ce se întâmplă când benchmark-urile traduse sunt tratate ca întrebări de cercetare, nu ca instrumente acceptate fără discuție. Activitatea merită atenție pentru că face vizibil tehnic un vechi fapt politic: oamenii nu trăiesc experiența Uniunii într-o singură limbă.

Data viitoare când un furnizor spune că un model este multilingv, întrebați ce conține afirmația. Ce limbi? Ce sarcini? Ce comunități? Ce surse? Ce analiză? Ce refuz? Ce jurnal de modificări? Întrebarea nu este ostilă. Este începutul obișnuit al responsabilității.

O societate nu devine echitabilă pentru că o mașină îi poate repeta cuvintele. Devine mai echitabilă când oamenii pot intra în instituțiile ei, pot înțelege ce se întâmplă, pot contesta un rezultat și pot fi ascultați în limba care le poartă viața. Un model poate ajuta la această activitate. Nu o poate defini. Limbajul unui model este o capacitate tehnică. Limbajul unei societăți este o responsabilitate comună.

Surse