Jezik modela nije jezik društva

Višejezični model nije pravedan samo zato što njegovo sučelje navodi mnogo jezika. Jezična pokrivenost institucionalno je, kulturno i sigurnosno pitanje, a...

Jezik modela nije jezik društva

Šesnaest jezika početak je, a ne presuda

Europska komisija, njezina Glavna uprava za prevođenje, objavila je 22. srpnja 2026. EU MMLU, mjerilo osmišljeno za testiranje velikih jezičnih modela u europskim jezičnim i kulturnim kontekstima. Objava je bila neobično iskrena o jazu koji je trebalo premostiti. Mnogi skupovi podataka za evaluaciju sastavljeni su na engleskom. Model na njima može postići dobre rezultate, a i dalje loše raditi na francuskom, mađarskom ili malteškom. Novi skup podataka započinje sa šesnaest službenih jezika EU-a, sedam predmetnih područja i više od tisuću pitanja koja je prevelo i revidiralo gotovo 250 studenata s 21 europskog sveučilišta.

Najvažniji dio te objave nije popis jezika. To je rečenica ispod njega: ponašanje modela ne može se zaključiti iz jezika na kojem djeluje najtečnije. To bi trebalo biti očito. To je ujedno i pretpostavka iza iznimne količine nabave, istraživanja i javnog razgovora. I dalje govorimo o jezičnom modelu kao da ima jedan um, a zatim ga molimo da nosi različite jezike poput kaputa. Kaput se mijenja. Um, dokazi, slijepe točke i društveni kontekst smatraju se stabilnima.

Oni nisu stabilni. Jezik je mjesto gdje se osoba susreće s institucijom. On nosi uvjete naknade, ton žalbe, razliku između savjeta i upute, oblik šale, naziv mjesta i pretpostavke u obrascu. Kada sustav bolje upravlja jednim jezikom nego drugim, on ne proizvodi samo manje elegantnu rečenicu. Može promijeniti toga tko je shvaćen, kome se vjeruje, tko može osporiti rezultat i tko odustaje prije nego što pronađe prava vrata.

Praktičan je zaključak jasan. Višejezična umjetna inteligencija nije značajka prevođenja koja se dodaje nakon što je model izgrađen. To je pitanje pristupa, dokaza i autoriteta. Europski rad na jezičnim tehnologijama, jezičnim podacima i višejezičnoj evaluaciji vrijedan je jer problem tretira kao infrastrukturu. Taj rad još nije dovršen. Mjerilo nije jamstvo, a šesnaest jezika nije cijela Europa. No smjer je ispravan: prestanite pitati govori li model jezik i počnite pitati što može sigurno učiniti na tom jeziku, za koga, pod kojim uvjetima, s kojim dokazima.

Pokrivenost jezika vjerodostojna je samo kada tvrdnje o izvoru, kontekstu, reviziji i usluzi ostaju povezane.

Jezik je granica pristupa

Europa je jezik učinila institucionalnom činjenicom, a ne privatnom preferencijom. Članak 22. Povelje o temeljnim pravima kaže da Unija poštuje kulturnu, vjersku i jezičnu raznolikost. Politika jezičnih tehnologija same Komisije stavlja tu obvezu uz praktično upozorenje: jezične tehnologije zahtijevaju nepristranu uporabu ako prava i načela trebaju preživjeti dodir sa softverom. To nisu puke deklarativne obveze. One opisuju granicu na koju javni sustav nailazi kada stanovnik ne može pročitati obavijest, ne može razumjeti zašto je donesena odluka ili ne može izraziti relevantnu činjenicu na jeziku na kojem ta činjenica postoji.

Tu je granicu lako previdjeti kada tim mjeri samo je li prijevod proizveden. Rečenica može stići na traženom jeziku, a opet ne ispuniti potrebu osobe kojoj je namijenjena. Prijevod može izgubiti pravnu razliku, promijeniti razinu uljudnosti koja pokazuje pita li službenik ili naređuje, ili upotrijebiti izraz koji ima svakodnevno značenje, ali i stručno značenje u određenoj službi. Prepoznavač govora može regionalni izgovor pretvoriti u drugu riječ. Sažetak može ukloniti ogradu koja nosi odgovornost. Tečnost nam ne govori je li transakcija ostala netaknuta.

Zamislite javnu informativnu službu koja nudi isto objašnjenje uvjeta za ostvarivanje prava na nizozemskom, francuskom i regionalnom jeziku. Prva dva puta osposobljena su i testirana na upravnim materijalima, žalbama i razgovorima sa stručnjacima iz područja. Treći put ima izvrsnu opću prozu, ali bez smislene evaluacije na terminologiji same službe. Nadzorna ploča može prikazati tri zelene jezične oznake. Stanovnici ne dobivaju tri jednakovrijedne usluge. Jedna skupina dobiva objašnjenje; druga dobiva približnu inačicu; treća dobiva uglađenu neizvjesnost koja izgleda službeno jer nosi pravi logotip.

Primjer je namjerno hipotetski. Nije riječ o tvrdnji o određenoj općini ili dobavljaču. Njegova je svrha razotkriti pogrešku u dizajnu. Jezična se potpora često broji na sučelju, dok stvarna obveza leži dublje u lancu. Sustav mora znati koji podaci podupiru jezik, koji su zadaci evaluirani, tko je pregledao pogreške, kako ih korisnici mogu ispraviti i kada put mora odbiti odgovoriti. Ako ti podaci nedostaju, birač jezika obećanje je bez ugovora.

Modelova karta nije karta društva

Model uči iz karte jezika koju mu omogućuju njegovi podaci i postupak osposobljavanja. Društvo živi na mnogo većoj karti. Modelova karta sadrži tekstove, snimke, oznake, prijevode i evaluacije koje su uključene. Karta društva sadrži ljude koji kod kuće i na poslu govore različito, mijenjaju registar bez najave, posuđuju riječi preko granice, rabe manjinski jezik u lokalnoj instituciji ili pišu pismom koje mjerilo nije uključilo. Jedna je karta tehnički artefakt. Druga je uređenje života, prava i obveza.

Razlika je važna čak i za jezike s velikim javnim korpusima. Nacionalni jezik nije jedinstven tok. Vladini obrasci, sudske odluke, govor u učionici, zdravstveni savjeti, tekstualne poruke i razgovor među susjedima rabe različite vokabulare i različitu toleranciju na dvosmislenost. Model može biti kompetentan u novinskoj prozi, a slab u žalbi na socijalnu naknadu. Može obrađivati standardni pravopis, a teško se nositi s dijalektom. Može prevesti doslovnu rečenicu, a promašiti pragmatično značenje koje nosi uljudna formula. Nazvati cijeli jezik podržanim skriva granicu zadatka.

Jezična tehnologija stoga treba precizniji rječnik. Trebamo razlikovati jezik prisutan u podacima za obuku od zadatka koji se vrednuje na tom jeziku. Trebamo razlikovati referentni prijevod od samostalno napisane ispitne čestice. Trebamo razlikovati čitanje pisma od razumijevanja registra neke zajednice. Trebamo razlikovati sposobnost sustava da generira tekst od njegova ovlaštenja da savjetuje, klasificira ili odlučuje. Svaka je razlika mali dio administrativnog posla. Zajedno sprječavaju da se široka tvrdnja sastavi od uskih dokaza.

Postoji institucionalni razlog za strogost. Javne službe nisu slobodne odabrati najlakši jezik i rezultat nazvati učinkovitim. Banka, bolnica, poslodavac ili pružatelj softvera mogu imati različite zakonske obveze, ali svaki odlučuje koliko napora osoba mora uložiti da bi bila shvaćena. Višejezični put koji ne uspijeva tiho prebacuje trošak na korisnika. Korisnik mora pronaći prevoditelja, ponoviti priču, prihvatiti lošiji ishod ili odustati od postupka. Sustav prijavljuje uspjeh jer je vratio niz znakova. Osoba doživljava isključenost uz besprijekornu gramatiku.

Što zapravo znači niska pokrivenost resursima

Niska pokrivenost resursima često se tretira kao svojstvo jezika, kao da su neki jezici došli na vrata modela s manje resursa i trebali bi se ispričati zbog neugodnosti. Korisnije ju je tretirati kao svojstvo zadatka, skupa podataka i upravljačke odluke. Jezik može imati znatnu književnu građu, ali malo označenih podataka za medicinski klasifikator. Može imati paralelne tekstove, ali gotovo nimalo zvučnih snimki. Može biti zastupljen u korpusu bez prava ili metapodataka potrebnih za određenu primjenu. Može imati podatke u standardnom obliku dok ljudi na koje se to odnosi koriste regionalnu inačicu.

Politika Europske komisije o jezičnoj tehnologiji to jasno imenuje. Jezični podaci temelj su jezičnih alata, a ljudska stručnost nužan je dio uspješnog razvoja. Model treba tekst ili govor, algoritme, računalnu snagu i ljude koji razumiju jezik i područje. Uklanjanje bilo kojeg od tih elemenata mijenja sustav. Više računalne snage ne može stvoriti razgovor koji nedostaje. Više primjera ne može popraviti oznaku koja brka dvije pravne kategorije. Veći model ne može odlučiti koji izvor zajednica smatra mjerodavnim.

Rad na jezicima s niskom pokrivenošću resursima stoga nije poziv na spuštanje standarda. To je razlog da standard bude vidljiv. Ako zadatak ima malo materijala za vrednovanje, recite to. Ako je metrika nestabilna za jezični par, prijavite nestabilnost. Ako je ljudski pregled bio malen, odredite opseg pregleda umjesto da ga predstavite kao opće jamstvo. Ako je put koristan za izradu nacrta, ali ne i za odluke, postavite tu granicu tamo gdje je kupac i korisnik mogu vidjeti. Poštena oskudica sigurnija je od obilnog izgleda šutnje.

Europski jezični krajolik čini tu disciplinu neizbježnom. Komisija opisuje složen skup službenih, regionalnih i manjinskih jezika te je podržala inicijative poput Europske jezične mreže (European Language Grid), programa Europska jezična jednakost (European Language Equality) i Zajedničkog europskog prostora jezičnih podataka (Common European Language Data Space). Ti projekti nisu jedinstveno rješenje i ne bi ih trebalo tako opisivati. Oni su dijelovi ekosustava u kojem se mogu susresti podaci, alati, prava, stručnost i javne institucije. Institucionalni oblik jednako je važan kao i model unutar njega.

Sloj prava dolazi prije referentnog skupa

Primamljivo je o jezičnim modelima govoriti kao da je jezik neutralan ulazni kanal. Nije. Ulaz može nositi osobne podatke, zaštićeno obilježje, lokalni naziv mjesta, medicinski podatak ili zapis o osobi koja traži pomoć. Izvor može biti zaštićen autorskim pravima ili podložan pridržavanju prava. Prevedeni izlaz može se koristiti u odluci iako taj prijevodni put nikada nije bio vrednovan za taj kontekst. Jezični problem modela već je problem prava prije nego itko odabere rezultat.

Smjernice Komisije o jezičnoj tehnologiji povezuju jezične podatke i s autorskim pravima i sa zaštitom podataka. Ta bi poveznica trebala promijeniti način na koji timovi oblikuju procese obrade. Korpus nije samo hrpa rečenica. On ima identitet izvora, uvjete prikupljanja, status licence ili prava, metapodatke o jeziku i pismu, signale kvalitete, svrhu i pravila čuvanja. Ako je stavka ispravljena ili povučena, organizacija mora znati na koje je izvedene artefakte to utjecalo. Inače kasniji model može ponoviti staru pogrešku s uvjerenjem svježe ispisana obrasca.

Tu fraza o podrijetlu podataka pokazuje svoju vrijednost. Podrijetlo nije bilješka u kojoj piše da podaci dolaze odnekud. To je skup odnosa koji recenzentu omogućuje da se iz rezultata vrati do relevantnih dokaza i natrag. U višejezičnom radu ti odnosi moraju preživjeti prijevod, transkripciju, normalizaciju, segmentaciju i vrednovanje. Rečenica prevedena za mjerilo nije zamjenjiva s izvornom rečenicom. Oznaka koju je napravio recenzent nije zamjenjiva s oznakom naslijeđenom iz drugog jezika. Transformacija je dio dokaza.

Ne postoji zahtjev da svaki korisnik vidi istraživački zapisnik. Postoji zahtjev da organizacija može odgovoriti na ozbiljno pitanje kada ono stigne. Koja je verzija jezičnog resursa korištena? Koju je zadaću podržavao? Koji su jezični stručnjaci pregledali? Što je sustav učinio kada je pouzdanost bila niska? Je li se pritužba tretirala kao ispravak jednog odgovora ili kao moguća klasa pogrešaka? Jezični put postaje pouzdan kada ta pitanja imaju vlasnike i zapise.

Europa gradi jezičnu infrastrukturu, ne samo gumbe za prijevod

Opis Zajedničkog europskog prostora jezičnih podataka Europske komisije koristan je jer projekt ne svodi na objavu modela. Cilj je platforma i tržište za prikupljanje, dijeljenje i ponovnu uporabu višejezičnih i multimodalnih jezičnih podataka, uz zadržavanje kontrole organizacija i pojedinaca koji te podatke stvaraju. Taj tekst upućuje na drugačiju ideju napretka. Posao nije samo proizvesti bolju rečenicu. Posao je učiniti jezične resurse pronalazivima, osviještenima o pravima, ponovno uporabljivima i odgovornima u javnoj upravi, istraživanju i industriji.

Europska jezična mreža učinila je sličan korak dovodeći specijalizirane alate i resurse jezične tehnologije u zajednički katalog. Katalog ne dokazuje da svaka usluga radi za svaku zadaću. On ipak čini skrivenu ovisnost lakšom za pregled. Tim može pitati što alat radi, koji jezik podržava, odakle su došli njegovi podaci i odgovara li licenca namjeravanoj uporabi. To je neugledna infrastruktura. To je također način na koji kontinent s mnogo institucija izbjegava ponovnu izgradnju iste jezične sposobnosti u nepovezanim sobama.

Infrastruktura je važna jer dugi rep jezičnog rada ne rješava jedan vodeći model. Javno tijelo može trebati prepoznavanje govora za regionalni naglasak, izdvajanje nazivlja za specijalizirano područje, prijevodnu memoriju za zakonodavstvo, prepoznavanje imenovanih entiteta za nazive mjesta ili način usporedbe dviju verzija dokumenta bez gubitka dijakritičkih znakova. Tvrtka može trebati lokalnu implementaciju jer materijal ne smije napustiti njezinu jurisdikciju. Istraživačka skupina može trebati skup podataka s jasnim podrijetlom umjesto još jednog anonimnog rezultata.

U ovom pristupu postoji tiha politička odluka. Podaci i alati tretiraju se kao sposobnosti koje bi Europa trebala moći nadzirati i oblikovati, a ne kao usluga koja dolazi iz nevidljivog drugdje. To ne znači da su europski sustavi automatski dobri ili da komercijalni pružatelji drugdje ne mogu biti korisni. To znači da je jezik previše važan da bi ostao bez javnog vokabulara za svoje podatke, svoje nedostatke i svoju evaluaciju. Suverenitet počinje spoznajom onoga što sustav ne može vidjeti.

Prevođenje nije neutralna infrastruktura

Prevođenje se često smješta između dviju komponenti u arhitekturnom dijagramu, kao da je cijev koja prenosi značenje s jedne strane na drugu. Pravo prevođenje niz je odluka. Koji je izvorni tekst mjerodavan? Koje riječi moraju ostati točne? Koju dvosmislenost treba sačuvati? Koja kulturna referenca zahtijeva objašnjenje? Koji je registar primjeren za javnu obavijest? Koji se entitet ne smije prevoditi? Koji datum, broj ili mjernu jedinicu treba prikazati prema čitateljevoj konvenciji? Model može brzo donijeti te odluke. Brzina ih ne čini nevidljivima.

Razmotrite razliku između prevođenja vremenske prognoze i prevođenja obavijesti o roku. U prvom slučaju manja stilska pogreška može biti iritantna. U drugom, broj ili modalni glagol može promijeniti ono što osoba vjeruje da mora učiniti. Temeljni jezični model može imati isti token proračun i isti prikaz pouzdanosti. Društvene posljedice nisu iste. Evaluacija stoga mora slijediti zadatak, a ne zaustaviti se na općoj jezičnoj ocjeni.

Komisijina stranica o vlastitoj uporabi jezika iznosi poantu bez drame. Strojno prevođenje može pružiti osnovnu ideju, no kvaliteta i točnost znatno variraju od jednog teksta do drugog i između jezičnih parova. To je korisna javna rečenica jer odbija pretvoriti uslugu u proročište. Čitatelju daje dopuštenje da prijevod koristi kao orijentaciju, zadržavajući pritom razlog da potraži ljudsku ili mjerodavnu verziju kada posljedice to opravdavaju.

Za proizvodne timove implikacija je skup jasnih putanja. Prijevod niskih posljedica može se vratiti izravno s jasnim statusom. Pravna ili medicinska putanja može zahtijevati ljudski pregled, poveznicu na izvor ili odbijanje. Interni nacrt može zadržati izvornik uz prijevod. Glasovno sučelje može ponoviti kritično ime i zatražiti potvrdu. Izbor nije između potpune automatizacije i nikakve automatizacije. Izbor je između cjevovoda koji jasno objavljuje svoje prijenose i onoga koji ih skriva iza tečnog odlomka.

Rečenica preživljava, situacija ne

Modeli rade na reprezentacijama. Društva rade na situacijama. Kada se prijevod pomakne s jedne na drugu, mali detalji mogu postati cijelo značenje. Izraz koji je pristojan na jednom jeziku može zvučati izbjegavajuće na drugom. Pojam koji razlikuje zakonsko pravo od diskrecijske usluge može se svesti na generičku riječ za pomoć. Idiom se može prevesti doslovno i postati besmislica, ili slobodno i izgubiti referencu koja identificira zajednicu. Nijedan od tih neuspjeha ne zahtijeva apsurdan rezultat. Opasan je odgovor onaj koji izgleda obično.

EU MMLU izdanje izravno se bavi upravo tim područjem. Njegovi kriteriji kvalitete traže od višejezičnih benchmarkova da testiraju ne samo značenje i težinu, već i idiome, humor, kulturne reference, formate datuma i brojeva te razlike u očekivanom tonu ili uljudnosti. To je važno proširenje cilja evaluacije. Jezični model ne pita se samo može li proizvesti gramatički ispravnu rečenicu. Pita se pripada li rečenica situaciji u kojoj će osoba postupati na temelju nje.

Spominjanje humora nije poziv da se mjerilo učini zabavnim. Njime se priznaje da je humor stres-test za kontekst. Doslovan prijevod može sačuvati riječi, a uništiti šalu. Kulturološki prilagođen prijevod može sačuvati učinak, a promijeniti referencu. U javnoj informativnoj službi isti se mehanizam pojavljuje bez smijeha. Poslovica, mjesni naziv ili formalni pozdrav mogu otkriti tko govori i kakav odnos poruka uspostavlja.

Kad timovi kažu da model razumije jezik, trebali bi se zapitati na koju razinu misle. Prepoznaje li pismo? Ispravno segmentira riječi? Prepoznaje entitete? Prevodi propoziciju? Čuva pravnu snagu? Slijedi lokalnu konvenciju? Zadržava govornikov stupanj izvjesnosti? Nosil li se s nestandardnim pravopisom? Odgovara li u pravom registru? To su zasebne sposobnosti. Jedinstvena oznaka koja se zove višejezičnost prikriva posao potreban za uspostavu svake od njih.

Zašto evaluacija mora putovati s jezikom

Evaluacija se često dodaje na kraju jer timovi žele broj koji će pripisati modelu. Višejezični sustavi čine taj redoslijed nemogućim. Podaci za testiranje određuju što se smatra pogreškom. Jezik određuje na koje načine rečenica može podbaciti. Područje primjene određuje koja pogreška ima posljedice. Korisnik određuje je li odgovor sustava pomoć ili prepreka. Evaluacija mora putovati sa sve četiri sastavnice.

Europski istraživački rad Towards Multilingual LLM Evaluation for European Languages pokazuje razmjere problema. Autori procjenjuju 40 jezičnih modela na 21 europskom jeziku, ispituju prevedene inačice pet široko korištenih mjerila i objavljuju okvir koji uključuje EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA i EU20-GSM8K. Rad ne tvrdi da prevođenje postojećeg mjerila automatski čini mjerilo poštenim. Usluge prevođenja, izradu mjerila i usporedivost među jezicima tretira kao stvari koje treba istražiti.

To je ispravan stav. Prevedena ispitna stavka može naslijediti promjenu težine, kulturološku pretpostavku ili trag koji u izvorniku nije postojao. Model može postići viši rezultat jer prevedeni tekst olakšava odgovor, a ne zato što je model postao sposobniji. Može postići niži rezultat jer je gramatička konstrukcija neprirodna u ciljnom jeziku, iako je temeljno zaključivanje ispravno. Oba ishoda govore i o testu i o modelu.

Ljudski pregled i dalje je nužan, ali i ljudski pregled treba ugovor. Tko je pregledao stavku? Jesu li recenzenti bili izvorni govornici, stručnjaci za područje ili oboje? Jesu li pregledali izolirane rečenice ili zadatak u kontekstu? Jesu li neslaganja zabilježena? Je li mjerilo sačuvalo alternativne prihvatljive odgovore? Jezični stručnjak može nam reći da je izraz pogrešan. Stručnjak za područje može nam reći zašto pogreška mijenja odluku. Vjerodostojna evaluacija često treba oboje i mora reći koje je imala.

Poanta nije natjerati svaki sustav da prođe beskonačan ispit prije nego ga itko može upotrijebiti. Poanta je spriječiti da se uzak test zamijeni za široku tvrdnju. Ako je model ocijenjen na kratkim činjeničnim pitanjima na standardnom pisanom jeziku, to treba i prijaviti. Ne dopustite da rezultat neprimjetno postane tvrdnja o govornoj interakciji, pravnim tekstovima, lokalnoj upravi, djeci, starijim osobama ili svakom registru u jeziku.

Ocjena postaje korisna kada njezine granice zadatka, jezika, konteksta i ljudskog pregleda ostanu vidljive.

Lekcija s malteškog i baskijskog

Rad izložen na konferenciji LREC-COLING 2024. proučavao je evaluaciju strojnog prevođenja s engleskog na malteški i sa španjolskog na baskijski. Autori su ispitali evaluacijsku metriku COMET, prikupili izravne ljudske procjene i testirali koliko se metrika dobro ponaša kada se prilagodi tim dvama jezičnim parovima. Njihov je zaključak skroman, ali važan: učinkovitost metrike može se poboljšati finim podešavanjem, a metrika može biti vrlo osjetljiva na raspodjelu ocjena u podacima za treniranje, osobito u okruženjima s oskudnim resursima.

Ovo nije priča o neuspjehu jedne metrike. To je priča o tome o čemu ocjena ovisi. Metrika trenirana na jednoj raspodjeli može se ponašati drugačije kada se od nje zatraži da prosuđuje drugu. Jezični par s manje evaluacijskog materijala može učiniti da ocjena izgleda odlučnije nego što jest. Sustav koji je zgodno uspoređivati može i dalje biti loš zamjenski pokazatelj za ono što govornici smatraju dobrim prijevodom. Ljudske procjene ne čine evaluaciju savršenom, ali otkrivaju mjesta na kojima automatska mjera donosi pretpostavke.

Druga studija iz 2024., Benchmarking Low-Resource Machine Translation Systems, uspoređuje javno dostupne sustave na četirima skupovima podataka i 26 jezika te objavljuje rezultate putem BENG-a, FAIR platforme za mjerila u generiranju prirodnog jezika. I ovdje doprinos nije univerzalna ljestvica. Riječ je o preglednijoj usporedbi. Učinkovitost i djelotvornost razmatraju se zajedno, a popis jezika vidljiv je. Čitatelj može provjeriti uključuje li mjerilo rutu koja mu je važna, umjesto da prihvati jedan naslovni broj.

Te studije nude europsku lekciju o suzdržanosti. Teži dio nije izmišljanje nove ocjene. Teži dio jest izgradnja evaluacije koja čitatelju omogućuje da vidi čiji je jezik, čiji zadatak i čija definicija kvalitete proizvela ocjenu. Kada taj kontekst nedostaje, broj postaje prijelaz granice bez putovnice. Može proći u prezentaciji, ali nitko ne može utvrditi odakle je došao.

Jezična pokrivenost može biti sigurnosno svojstvo

Rasprave o sigurnosti često se usredotočuju na sadržaj koji bi sustav trebao odbiti, napade kojima bi se trebao oduprijeti ili pogreške koje bi trebao uhvatiti. Jezik dodaje još jedno pitanje: može li sustav prepoznati kada je izvan svoje nadležnosti? Ruta koja funkcionira na jednom jeziku može češće zakazati na drugome, zadržavajući pritom isti samouvjereni ton. Ako sučelje ne otkriva tu razliku, korisnici ne mogu kalibrirati svoje povjerenje.

To je osobito važno kada je jezik dio interakcije kritične za sigurnost. Pacijent može opisati simptom na regionalnoj inačici jezika. Radnik može prijaviti opasnost koristeći lokalni izraz. Stanovnik može podnijeti žalbu s pravopisnom konvencijom koju normalizator tretira kao šum. Model može biti tehnički točan na svojoj referentnoj ljestvici, a operativno nesiguran za tu rutu. Relevantno pitanje nije može li sustav generirati uvjerljiv odgovor. Pitanje je jesu li sigurnosne kontrole vrednovane na jeziku i situaciji koja je pred njim.

Sigurnost ne zahtijeva da se svaka jezična ruta tretira kao poseban hitni slučaj. Zahtijeva usklađivanje kontrole s posljedicom. Rezultat pretraživanja niskog rizika može otkriti svoje izvore i pozvati na ispravak. Sučelje za medicinsku trijažu može usmjeriti nesiguran jezični unos stručnoj osobi. Tijek rada za pravne dokumente može držati izvornik i prijevod jedan uz drugi te zahtijevati odobrenje prije objave. Glasovni sustav može zatražiti od korisnika da ponovi ime umjesto da šutke odabere najbliži poznati entitet. To su uobičajeni inženjerski izbori kada se jezik tretira kao dio granice sustava.

I samo odbijanje treba jezično oblikovanje. Reći korisniku da sustav ne može odgovoriti nije dovoljno ako je odbijanje nerazumljivo, pokroviteljsko ili nedostupno na korisnikovu jeziku. Sustav bi trebao reći što nije mogao utvrditi, koje informacije bi pomogle i koja je ljudska ili ovlaštena ruta dostupna. U suprotnom, sigurnosna kontrola postaje još jedna prepreka pristupu. Europsko jezično načelo najjasnije se testira kada sustav ne može pružiti traženi odgovor.

Operativno oblikovanje višejezične usluge

Pouzdana višejezična usluga ima operativni oblik koji je lako opisati, a iznenađujuće teško održavati. Prvo, imenuje zadatak. Prevođenje, transkripcija, klasifikacija, pronalaženje, sažimanje i generiranje nisu zamjenjivi. Drugo, imenuje jezičnu rutu, uključujući pismo i svaku relevantnu regionalnu ili domenu granicu. Treće, bilježi izvorni materijal i transformacije primijenjene na njega. Četvrto, definira put pregleda i eskalacije. Peto, govori korisniku što sustav može, a što ne može tvrditi.

Ti koraci nisu zahtjev za golemu birokraciju. Oni su minimum potreban da jezično obećanje bude provjerljivo. Ako dobavljač kaže da model podržava finski, kupac bi trebao moći pitati znači li to generiranje teksta, prepoznavanje govora, prevođenje s kojih jezika ili sve navedeno. Ako tim za proizvod kaže da podržava regionalni jezik, trebao bi reći temelji li se podrška na izvornim podacima, prevedenim podacima, malom skupu za vrednovanje ili stručnom pregledu. Ako je odgovor nepoznat, nepoznato je valjan status.

Usluga također treba politiku promjena. Novi materijal za obuku, novi tokenizator, novi model prevođenja, novi popis terminologije ili nova populacija korisnika mogu promijeniti jezično ponašanje. Izdanje koje poboljša jednu rutu može pogoršati drugu. Rezultat referentne ljestvice od prošle godine ne opisuje automatski današnji sustav. Zapisi o verzijama, usporedni testovi i ruta za prijavu jezično specifičnih pogrešaka čine uslugu održivom, a ne ceremonijalnom.

Održavanje ima ljudsku stranu. Jezični stručnjaci trebaju način da vide pogreške koje utječu na njihove zajednice. Timovi za domene trebaju način da razlikuju pogrešku u prevođenju od nejasnoće u politici. Operateri trebaju način da zaustave rutu bez čekanja da dobavljač modela protumači pritužbu. Korisnici trebaju način da kažu da je sustav pogrešno razumio riječ, kontekst ili ime osobe. Višejezična usluga nije dovršena kada je model implementiran. Dovoljno je dovršena da bude odgovorna kada se pojavi sljedeći jezični problem.

Podrijetlo kroz jezični tijek obrade

Provenance postaje konkretna kada jedan djelić značenja pratimo kroz sustav. Krenimo od izvornog odlomka. Zabilježimo njegov jezik, pismo, autora ili instituciju ako su poznati, prava i svrhu. Ako je segmentiran, sačuvajmo odnos prema izvorniku. Ako je preveden, zadržimo izvor te prevoditelja ili proces prevođenja. Ako recenzent promijeni formulaciju, zabilježimo to kao novo stanje, a ne kao tihu zamjenu. Ako odlomak postane element za mjerilo, prenesimo s njim zadatak, ključ za odgovore, jezik i zapis recenzije.

U izvođenju ista se disciplina primjenjuje obrnuto. Zabilježimo kojom je jezičnom rutom zahtjev obrađen, koja je inačica modela ili alata radila, koji je izvorni dokaz dohvaćen, koje je stanje nesigurnosti ili odbijanja dosegnuto te koja je ljudska radnja uslijedila. Zapis ne mora otkrivati privatni sadržaj svakom operateru. Mora omogućiti ovlaštenom recenzentu uvid u materijalne činjenice. Bez njih jezični incident postaje rasprava o dojmovima.

Tu se višejezična provenance razlikuje od generičkog dnevnika revizije. Vremenska oznaka i naziv modela govore nam da se nešto dogodilo. Ne govore nam je li izvor preveden, je li odgovor promijenio format broja, je li imenovani entitet normaliziran ili je li recenzent radio na ciljnom jeziku. Put transformacije dokaz je. Kratak odgovor može skrivati dug lanac odluka.

U tom pristupu postoji mala nizozemska vrlina: vodimo dnevnik dovoljno jednostavan da ga netko može upotrijebiti u utorak poslijepodne. Zapis o provenanci ne bi trebao biti muzejska etiketa pisana za reviziju koja možda nikad neće doći. Trebao bi pomoći operateru da odgovori na sljedeće pitanje, zaustavi pravu rutu i objasni rezultat osobi kojoj vaš dijagram arhitekture nije zanimljiv. Dobro upravljanje jezikom pomalo je dosadno. Tako znate da bi moglo preživjeti dodir sa stvarnim radom.

Skriveni izbori u prijevodu

Svaki sustav prevođenja nosi izbore koji zaslužuju imena. Tokenizacija odlučuje kako se unos dijeli. Normalizacija odlučuje koje se razlike čuvaju, a koje odbacuju. Usklađivanje odlučuje koji se dijelovi dvaju tekstova tretiraju kao istovjetni. Terminologija odlučuje koje su riječi stabilne. Dekodiranje odlučuje kako se odabire izlaz. Naknadna obrada odlučuje što čitatelj vidi. Nijedan od tih koraka nije sam po sebi pogrešan. Svaki može stvoriti grešku specifičnu za jezik koja je nevidljiva u općoj demonstraciji.

Uzmimo vlastito ime. Sustav ga može prevesti, transliterirati, zadržati ili zamijeniti poznatim oblikom. Za pjesmu nekoliko izbora može biti opravdano. Za identifikacijski dokument samo jedan može biti prihvatljiv, i taj jedan može ovisiti o izdavatelju. Uzmimo mjernu jedinicu ili datum. Vrijednosti mogu ostati matematički istovjetne dok oblik postaje dvosmislen čitatelju. Uzmimo imenicu ili zamjenicu s rodom. Prijevod može unijeti informaciju koju je izvor uskratio ili izbrisati razliku koju je izvor namjerno napravio.

Dizajnerski odgovor nije zamrznuti jezik. Odgovor je navesti politiku i učiniti iznimku vidljivom. Popis terminologije može zaštititi pravne pojmove. Pravilo za imenovane entitete može spriječiti da grad postane osoba. Prikaz koji čuva izvor može recenzentu omogućiti usporedbu izvornika i izlaza. Ljudska eskalacija može se pokrenuti imenom s niskom pouzdanošću, neslaganjem između ruta ili zadatkom klasificiranim kao visokorizičan. Model ostaje koristan jer su njegove granice dio radnog tijeka.

Veliki jezični modeli otežavaju uočavanje pogrešnih odluka jer je izlaz tečan. Glatki izlaz izvrstan je sučelje, ali nepouzdano objašnjenje. Sustav može proizvesti rečenicu koja zvuči izvorno, a pritom odabrati pogrešno značenje riječi. Može zadržati široku temu, a ispustiti negaciju. Može prevesti lokalni izraz u standardnu formulaciju koja mijenja stajalište govornika. Zato se kvaliteta jezika ne može prikazati samo gramatikom. Značenje ima društveni oblik.

Pisma, narječja, registri i institucije

Podrška za jezik često se najavljuje na razini naziva jezika, no čitatelji se susreću s pismima, inačicama i registrima. Sustav koji dobro barata suvremenim standardnim pravopisom može imati poteškoća s povijesnim dokumentima. Prepoznavač govora može dobro funkcionirati sa studijskim zvukom, a zakazati u prepunoj postaji. Chatbot namijenjen javnosti može odgovarati formalnim registrom dok korisnik treba jednostavan jezik. Institucija može rabiti pojam koji se razlikuje od svakodnevnog govora iz razloga koji je pravno važan.

To nisu rubni slučajevi u omalovažavajućem smislu. To su mjesta na kojima se jezik susreće sa svijetom. Regionalni naziv može biti razlika između točne adrese i neuspjele dostave. Narječna riječ može biti jedina riječ koju osoba zna za simptom. Formalna formulacija može upućivati na to da poruka ima pravni učinak. Inačica pisma može odrediti je li dokument pretraživ. Ako mjerilo isključuje te putove, ono može i dalje biti korisno, ali ne može zamijeniti cijeli jezik.

Ispitivanje svih inačica nije uvijek moguće. Pošten je odgovor opisati podržani podskup i pozvati na dokaze o ostatku. Sustav može objaviti da je vrednovan na standardnom pisanom nizozemskom za sažimanje javnih informacija, bez tvrdnje o prepoznavanju regionalnoga govora. Može dodati test za frizijski ili baskijski bez pretvaranja da taj dodatak rješava sva pitanja regionalnih i manjinskih jezika. Određenost nije slabost. Ona korisnicima govori gdje je donja granica.

Institucije bi se također trebale oduprijeti ideji da je jedan nacionalni jezični put automatski neutralan. Upravni jezik može biti nedostupan govornicima istoga jezika. Pristupačnost i višejezičnost preklapaju se jer obje postavljaju pitanje može li čitatelj razumjeti i djelovati. Jezični rad Komisije uključuje alate za pojednostavljivanje i pristupačan tekst upravo iz toga razloga. Rečenica može biti jezično ispravna, a i dalje institucionalno neupotrebljiva.

Kada je sučelje tečno, ali pogrešno

Najteže jezične pogreške nisu spektakularne. To su odgovori koji prolaze provjeru na prvi pogled. Sažetak sadrži točna imena, ali mijenja tko je odgovoran. Prijevod zadržava imenice, ali pretvara preporuku u uputu. Klasifikator razumije temu, ali propušta negaciju. Glasovni sustav prepoznaje riječi, ali ne i govornikovo oklijevanje. Korisnik čita izlaz na vlastitome jeziku i pretpostavlja da je tečnost znak pažnje.

Trebali bismo osmisliti zaštitu za ovu vrstu pogreške umjesto da čekamo da bizaran primjer postane naslovnica. Usporedite izvor i izlaz za sadržaj od velike važnosti. Zadržite oznake nesigurnosti. Pridružite citate ili upućivanja na dokumente. Zatražite potvrdu kada su broj, ime ili rok ključni. Učinite putanju vidljivom operateru. Ponudite mehanizam ispravka koji ne zahtijeva od korisnika da zna koja je komponenta zakazala. Te su kontrole male, ali pretvaraju prijevod u provjerljivu transakciju.

Ljudsku provjeru ne treba opisivati kao čarobnu posljednju crtu obrane. Recenzenti imaju vremenska ograničenja, rupe u domeni znanja i vlastite jezične pretpostavke. Korisno sučelje za provjeru daje im izvor, izlaz, kontekst i razlog eskalacije. Ono bilježi neslaganje umjesto da ga zataškava. Ako recenzenti opetovano ispravljaju jedan pojam, organizacija može poboljšati terminologiju ili promijeniti granicu zadatka. Ako neslaganje otkrije da je sam izvor dvosmislen, ispravan postupak može biti pitati autora, a ne jače trenirati model.

Operatori također trebaju način da vide negativne dokaze. Koji jezici nisu evaluirani? Koji zadaci nemaju ljudsku provjeru? Koji su zahtjevi odbijeni? Koji su korisnici napustili putanju nakon prijevoda? Odsutnost može biti signal. Zelena karta pokrivenosti koja izostavlja neuspjele putanje karta je marketinške površine, a ne usluge.

Ljudska stručnost nije gumb za rezervni plan

Europska politika jezičnih tehnologija stavlja lingviste, znanstvenike za podatke, računalne inženjere i stručnjake za domene u istu rečenicu. To je dizajnerski zahtjev, a ne popis profesija koje treba pozvati na lansirni poziv. Svaka osoba vidi drugačiji neuspjeh. Lingvist vidi neprirodnu konstrukciju ili izgubljenu razliku. Inženjer vidi problem segmentacije ili usmjeravanja. Stručnjak za domene vidi opasnu kategorijsku pogrešku. Operater vidi red čekanja koji nitko ne može preuzeti. Osoba koja koristi uslugu doživljava odluku koja više nema smisla.

Ljudska stručnost treba ući prije nego što se referentna vrijednost zamrzne. Jezični stručnjak može pomoći u odabiru ispitnog materijala koji predstavlja stvarne registre, a ne samo čiste rečenice. Stručnjak za domene može identificirati pojmove koji ne smiju odstupati. Predstavnik zajednice može reći timu koji izraz zvuči službeno, poznato ili uvredljivo. Skrbnik podataka može objasniti koje je podrijetlo dostupno, a koje nije. Ti doprinosi oblikuju ugovor sustava. Oni nisu ukras nakon što su tehničke odluke već donesene.

Naravno, postoji cijena. Dobra provjera zahtijeva vrijeme i plaća ljude za znanje koje se često tretira kao nevidljivo. Ta je cijena dio jezične podrške. Alternativa je prebaciti je na korisnike, koji plaćaju zbunjenošću i žalbama, ili na osoblje, koje neslužbeno prevodi i popravlja putanju. Sustav koji se čini jeftinim jer ignorira jezičnu stručnost nije učinkovit. On je jednostavno premjestio račun.

Što poštena referentna vrijednost mora otkriti

Višejezična referentna vrijednost trebala bi započeti tvrdnjom dovoljno malom za testiranje. Tvrdnja bi mogla biti da sustav može odgovoriti na pitanja o javnim informacijama na skupu jezika, zadržati datume i brojeve te odbiti kada izvorni dokaz nedostaje. Mogla bi biti da putanja prijevoda obrađuje određeni par jezika i domenu na definiranoj razini kvalitete. Mogla bi biti da prepoznavač govora može transkribirati određenu varijantu pod određenim akustičnim uvjetima. Referentna vrijednost je ugovor za tu tvrdnju.

Ugovor treba više od popisa jezika. Trebao bi otkriti zadatak, izvor, domenu, registar, pismo, smjer, duljinu konteksta, ulazne uvjete, referentne odgovore, prihvatljive varijante, metrike, ljudsku provjeru i nesigurnost. Trebao bi reći jesu li stavke izvorno napisane na svakom jeziku ili prevedene. Trebao bi zabilježiti tko ih je revidirao i koja su neslaganja ostala. Trebao bi odvojiti zbirne rezultate od rezultata po jeziku. Trebao bi pokazati dovoljno primjera da čitatelj može razumjeti što rezultat mjeri.

Kriteriji EU MMLU korisni su jer proširuju značenje riječi pošteno. Uravnotežena zastupljenost službenih jezika EU-a jedan je dio. Zadržavanje značenja, težine i vrijednosti testiranja na različitim jezicima drugi je dio. Testiranje europskih vrijednosti i kulturnih konteksta, uključujući idiome, humor, reference, formate datuma i brojeva, ton i uljudnost, čini mjerilo društvenim instrumentom, a ne samo tehničkim. Kriteriji ne uklanjaju prosudbu. Oni čine prosudbu provjerljivom.

Dizajneri mjerila trebali bi objavljivati presjeke neuspjeha, ne samo prosjeke. Model može imati dobru prosječnu ocjenu, a pritom ne uspjeti na svakoj stavci koja uključuje određeni registar ili vrstu broja. Ruta može biti učinkovita u jednom smjeru, a spora ili skupa u drugom. Metrika može biti u korelaciji s ljudskom prosudbom na jednom jeziku, a postati nestabilna na drugom. Prikazi po jeziku i po zadatku nisu luksuz. Oni su način na koji kupac izbjegava kupnju prosjeka dok implementira iznimku.

Naposljetku, mjerilo bi trebalo navesti što nam ne može reći. Pisani test ne utvrđuje govornu izvedbu. Ocjena prijevoda ne utvrđuje pravnu pouzdanost. Skup službenih jezika ne utvrđuje podršku za regionalne ili manjinske jezike. Visoka ocjena ne utvrđuje da osoba može osporiti odluku. Ograničenje nije sramota. Ono je rub karte, a korisnici ga moraju vidjeti prije nego što zaplove.

Ocjena je legenda karte, ne teritorij

Brojevi su korisni jer nameću usporedbu. Opasni su jer pozivaju na zaključak veći od samog mjerenja. Ocjena nam može reći kako se sustav ponašao na definiranom uzorku prema definiranoj metodi. Ne može nam reći kako će zajednica doživjeti sustav bez mosta pretpostavki. Most može biti čvrst. Mora biti imenovan.

Pretpostavimo da se sustav poboljša na višejezičnom mjerilu nakon finoćeg podešavanja. To je dokaz poboljšane izvedbe na toj evaluaciji. To nije automatski dokaz da je sustav sigurniji u javnoj službi. Služba može koristiti drugačiju terminologiju, dulji kontekst, govorni unos, drugačiji registar ili daljnji tijek rada koji prijedlog pretvara u odluku. Mjerilo i dalje može biti vrijedno. Postaje vrijednije kada organizacija kaže koji dio službe predstavlja.

Ista se disciplina odnosi na energiju, brzinu i trošak. Ruta za jezik s malo resursa može zahtijevati više ljudskog pregleda ili veći kontekst pretraživanja. To nije nedostatak koji treba sakriti u prosjeku. To je svojstvo službe koje bi trebalo informirati dizajn. Europske institucije desetljećima grade prijevodne i jezične službe jer je praktični trošak jezične raznolikosti stvaran. AI sustav ne ukida taj trošak brzim emitiranjem teksta.

Nema sramote u odabiru užeg puta. Tim može dobro podržavati manje zadataka, objaviti granicu i dodavati jezike kako dokazi rastu. To je bolje nego tvrditi da podržava sve jezike i prepustiti korisnicima da otkriju praznine. Europski instinkt za standard najjači je kada je uparen s nizozemskim instinktom da se provjeri funkcionira li stvar na običnu srijedu.

Gradite za 24, testirajte iznad 24

Europska unija ima 24 službena i radna jezika, a prijevodna služba Komisije djeluje na svima njima. Taj broj stvara korisnu osnovicu za javnu infrastrukturu. On ne definira jezični život Europe. Regionalni, manjinski, neteritorijalni i migrantski jezici također oblikuju zajednice i institucije. Sustav izgrađen za 24 i dalje može isključiti ljude koji ne koriste jednu od tih ruta ili koji koriste službeni jezik u obliku koji sustav nije evaluirao.

Graditi za 24 stoga znači odgovornost da se osnovica učini stvarnom, a ne dopuštenje da se stane. Jezični put treba nositi vlastite dokaze. Javno tijelo treba moći reći koji su službeni jezici pokriveni za koje zadaće, kakav ljudski pregled postoji i gdje korisnici mogu dobiti mjerodavnu verziju. Također bi trebalo imati način učenja iz jezika izvan početnog skupa, a da se zajednica ne pretvori u neplaćeni ispitni laboratorij.

Testiranje izvan 24 znači više od dodavanja egzotičnog jezika u demonstraciju. Znači rad s govornicima, institucijama i istraživačima kako bi se odlučilo koji je zadatak, čemu se izvorni materijal smije koristiti i što se smatra štetnom pogreškom. Proces može proizvesti malu, pažljivo ograničenu sposobnost. To je i dalje napredak. Skroman put s jasnim ugovorom može biti vrijedniji od impresivne tvrdnje koju nijedan operater ne može obraniti.

Što želimo učiniti eksplicitnim

U Dweveu ovom pitanju pristupamo sa strane infrastrukture. Loom je u našim javnim proizvodnim materijalima opisan kao kognitivni model sastavljen prema zadatku čije jezične komponente prikazuju upravljani graf rezultata, dok ograničeno učenje, sastavljanje grafa, rješavači i provjera nose ovlast odlučivanja. To je arhitektonska pozicija, a ne tvrdnja o višejezičnoj izvedbi. Ona ne čini jezični put ispravnim. Ali čini jednu obvezu teško skrivivom: jezični izlaz ne bi trebao biti jedino mjesto na kojem postoje razmišljanje i dokazi sustava.

Naš rad na Ground Truthu ističe istu poantu na ljudskoj razini. Ljudi trebaju dovoljno zajedničkog jezika da razlikuju model od tijeka rada, predviđanje od dokaza i tečan odgovor od provjerenog rezultata. U višejezičnim sustavima taj rječnik treba još jednu riječ: put. Nizozemski odgovor, francuski odgovor i baskijski odgovor nisu samo prikazi jednog unutarnjeg događaja ako se dokazi, terminologija, pregled i ponašanje pri pogrešci razlikuju. Put je dio tvrdnje.

Ta je pozicija namjerno manje uzbudljiva od tvrdnje da jedan model razumije Europu. Također je korisnija. Želimo da sustav pokaže što je primio, koje je izvore i ograničenja mogao koristiti, što nije mogao utvrditi i kada čovjek treba preuzeti kontrolu. Jezik je površina kroz koju osoba susreće taj rad. Površina treba biti jasna, ali joj se ne smije dopustiti da izbriše strukturu ispod.

Ni sami nismo izuzeti od standarda opisanih ovdje. Polje podrijetla ne popravlja nedostajuće podatke. Deterministički put ne dokazuje da je prijevod pošten. Europska granica obrade ne daje jezičnu kompetenciju. Jedini pošten način za višejezičnu tvrdnju jest nastaviti testirati, objaviti ograničenja i dopustiti jezičnim stručnjacima da propitaju put. Naziv proizvoda nije dokaz. Zapis jest.

Praktičan standard za timove

Timovi koji odlučuju hoće li uvesti višejezičnu AI značajku mogu početi s kratkim nizom pitanja. Što točno sustav mora činiti na svakom jeziku? Koje su osobe pogođene ako pogriješi? Koji je izvorni materijal mjerodavan? Kako su i tko stvorili ispitne stavke? Koji su registri, pisma, narječja i domene unutar tvrdnje? Što sustav čini kada ne može utvrditi značenje? Tko može zaustaviti put? Kako korisnik može ispraviti odgovor, a da ne postane neplaćeni lingvist projekta?

Pitanja postaju konkretna kada se vežu uz artefakte. Vodite karticu jezičnog puta sa zadatkom, podržanim jezičnim varijantama, obiteljima izvora, statusom prava, verzijama modela i alata, rezultatima evaluacije, poznatim načinima pogreške i vlasnikom pregleda. Čuvajte primjere pogrešaka s njihovim kontekstom, ne samo ocjenu. Držite izvor uz prijevod od velike važnosti. Zadržite razlog eskalacije koji operater može razumjeti. Vodite zapis promjena kada se promijeni tokenizator, popis terminologije, mjerilo ili model.

Nabavni timovi mogu od dobavljača tražiti rezultate po jeziku i po zadatku, umjesto jednog višejezičnog prosjeka. Mogu pitati je li benchmark preveden ili izvorno napisan na tom jeziku, postoje li ljudske ocjene, kako se postupa s jezicima s malo resursa te može li dobavljač izvesti dokaze potrebne za reviziju. Mogu pitati što se događa kada jezik nije podržan, jer odbijanje i tihi prijelaz na drugi jezik imaju vrlo različite posljedice.

Proizvodni timovi mogu oblikovati sučelje tako da prikazuje put i pouzdanost bez pretvaranja da je broj pouzdanosti vjerojatnost istinitosti. Mogu zadržati poveznice na izvore, koristiti jednostavan jezik u odbijanjima i učiniti radnje revizije vidljivima. Mogu izbjegavati izraz podržava sve jezike ako ne mogu definirati taj glagol. Podržava može značiti prikazuje tekst, prima unos, prevodi, sažima, odgovara, klasificira, govori ili obrađuje regulirani postupak. Odabir jezika nije specifikacija.

Istraživački timovi mogu objavljivati skupove podataka s podacima o podrijetlu i putovima ispravaka. Mogu uključiti negativne rezultate i prijaviti kada se metrika ne prenosi dobro na drugi kontekst. Mogu pozvati jezične zajednice u evaluaciju prije nego što se model proglasi spremnim i platiti za njihovu stručnost. Mogu odoljeti pritisku da se uzak rezultat pretvori u univerzalnu tvrdnju. Najvrjedniji benchmark može biti onaj zbog kojeg tim ukloni rečenicu sa svoje stranice proizvoda.

Društvo iza modela

Jezični model može biti vrlo dobar u proizvodnji jezika, a da ne zna što jezik čini u društvu. Može predvidjeti izraz, prevesti odlomak i odgovoriti na pitanje, a pritom ne prepoznati institucionalni odnos koji riječi nose. Taj jaz nije dokaz da je model beskoristan. To je dokaz da je jezik više od vrste podataka.

Odgovor Europe ne bi smio biti natjecanje u brojanju jezika na kartici modela. Trebao bi biti trajan napor da jezični podaci, prava, stručnost, evaluacija i javni nadzor postanu dio iste infrastrukture. Rad Komisije na jezičnim tehnologijama, Language Data Space, European Language Grid i EU MMLU benchmark svi ukazuju u tom smjeru. Europski istraživači ispituju što se događa kada se prevedeni benchmarkovi tretiraju kao istraživačka pitanja, a ne kao neupitni instrumenti. Taj rad zaslužuje pozornost jer čini tehnički vidljivom staru političku činjenicu: ljudi Uniju ne doživljavaju na jednom jeziku.

Sljedeći put kada dobavljač kaže da je model višejezičan, pitajte što ta tvrdnja sadrži. Koji jezici? Koji zadaci? Koje zajednice? Koji izvori? Koja revizija? Koje odbijanje? Koji zapis promjena? Pitanje nije neprijateljsko. To je uobičajeni početak odgovornosti.

Društvo ne postaje pravedno zato što stroj može ponavljati njegove riječi. Postaje pravednije kada ljudi mogu ući u njegove institucije, razumjeti što se događa, osporiti rezultat i biti saslušani na jeziku koji nosi njihov život. Model može pomoći u tom radu. Ne može ga definirati. Jezik modela tehnička je sposobnost. Jezik društva zajednička je odgovornost.

Izvori