Jezik modela ni jezik družbe

Večjezični model ni pravičen samo zato, ker njegov vmesnik navaja veliko jezikov. Jezikovna pokritost je institucionalno, kulturno in varnostno vprašanje,...

Jezik modela ni jezik družbe

Šestnajst jezikov je začetek, ne sodba

Komisija Evropske unije je 22. julija 2026 prek Generalnega direktorata za prevajanje objavila EU MMLU, merilo uspešnosti, namenjeno preizkušanju velikih jezikovnih modelov v evropskih jezikovnih in kulturnih okoljih. Objava je bila nenavadno iskrena glede vrzeli, ki jo je želela zapolniti. Številni nabori podatkov za vrednotenje so bili zasnovani v angleščini. Model lahko pri njih dosega dobre rezultate, a kljub temu slabo deluje v francoščini, madžarščini ali malteščini. Novi nabor podatkov se začne s šestnajstimi uradnimi jeziki EU, sedmimi predmetnimi področji in več kot tisoč vprašanji, ki jih je prevedlo in pregledalo skoraj 250 študentov z 21 evropskih univerz.

Najpomembnejši del te objave ni seznam jezikov. Je stavek pod njim: obnašanja modela ni mogoče sklepati iz jezika, v katerem je videti najbolj tekoče. To bi moralo biti samoumevno. A prav to je predpostavka za izjemno veliko javnih naročil, raziskav in javnega pogovora. O jezikovnem modelu še vedno govorimo, kot da ima en sam um, nato pa ga prosimo, naj nosi različne jezike kot plašče. Plašč se zamenja. Um, dokazi, slepe pege in družbeno okolje pa naj bi ostali nespremenjeni.

Niso nespremenjeni. Jezik je prostor, kjer se človek sreča z institucijo. V njem so zapisani pogoji prejemka, ton pritožbe, razlika med nasvetom in navodilom, oblika šale, ime kraja in predpostavke v obrazcu. Ko sistem en jezik obvlada bolje kot drugega, ne gre le za manj eleganten stavek. Lahko se spremeni to, kdo je razumljen, komu se verjame, kdo lahko izpodbija rezultat in kdo obupa, preden najde prava vrata.

Praktični sklep je jasen. Večjezična umetna inteligenca ni prevajalska funkcija, ki bi jo dodali po tem, ko je model zgrajen. Je vprašanje dostopa, dokazov in avtoritete. Evropsko delo na področju jezikovnih tehnologij, jezikovnih podatkov in večjezičnega vrednotenja je dragoceno, ker problem obravnava kot infrastrukturo. Delo še ni končano. Merilo uspešnosti ni zagotovilo in šestnajst jezikov ni vsa Evropa. A smer je prava: nehajmo se spraševati, ali model govori jezik, in začnimo se spraševati, kaj lahko v tem jeziku varno stori, za koga, pod kakšnimi pogoji in s kakšnimi dokazi.

Jezikovno pokritost je mogoče verodostojno zagotoviti le, če ostanejo povezane trditve o viru, kontekstu, pregledu in storitvi.

Jezik je meja dostopa

Evropa je jezik vzpostavila kot institucionalno dejstvo, ne kot zasebno preference. 22. člen Listine o temeljnih pravicah določa, da Unija spoštuje kulturno, versko in jezikovno raznolikost. Jezikovno-tehnološka politika Komisije to obveznost postavlja ob bok praktičnemu opozorilu: jezikovne tehnologije potrebujejo nepristransko uporabo, če naj pravice in načela preživijo stik s programsko opremo. To niso zgolj dekorativne zaveze. Opisujejo mejo, na katero naleti javni sistem, ko prebivalec ne more prebrati obvestila, ne more razumeti, zakaj je bila sprejeta odločitev, ali ne more izraziti pomembnega dejstva v jeziku, v katerem to dejstvo obstaja.

To mejo je zlahka spregledati, kadar ekipa meri le to, ali je bil prevod izdelan. Stavek lahko prispe v zahtevanem jeziku in še vedno ne pomaga osebi, ki ga potrebuje. Prevod lahko izravna pravno razlikovanje, spremeni raven vljudnosti, ki pove, ali uradnik prosi ali ukazuje, ali uporabi izraz, ki ima vsakdanji pomen, a strokovni pomen v določeni storitvi. Sistem za prepoznavanje govora lahko regionalno izgovorjavo spremeni v drugo besedo. Povzemalnik lahko odstrani pridržek, ki nosi odgovornost. Tečnost nam ne pove, ali je transakcija ostala nedotaknjena.

Predstavljajte si javno informacijsko storitev, ki ponuja enako razlago o upravičenosti v nizozemščini, francoščini in regionalnem jeziku. Prvi dve poti sta bili usposobljeni in preizkušeni z upravnim gradivom, pritožbenimi pismi in pogovori s strokovnjaki. Tretja pot ima odlično splošno prozo, a nobene smiselne evalvacije na terminologiji same storitve. Nadzorna plošča lahko poroča o treh zelenih jezikovnih oznakah. Prebivalci ne dobijo treh enakovrednih storitev. Ena skupina dobi razlago; druga dobi približek; tretja dobi izpiljeno negotovost, ki deluje uradno, ker ima pravi logotip.

Primer je namerno hipotetičen. Ni trditev o določeni občini ali ponudniku. Njegov namen je razkriti oblikovalsko napako. Jezikovna podpora se pogosto šteje na vmesniku, medtem ko je dejanska obveznost nižje v verigi. Sistem mora vedeti, kateri podatki podpirajo jezik, katere naloge so bile ovrednotene, kdo je pregledal napake, kako jih lahko uporabniki popravijo in kdaj mora pot zavrniti odgovor. Če teh podrobnosti ni, je izbirnik jezika obljuba brez pogodbe.

Zemljevid modela ni zemljevid družbe

Model se uči iz zemljevida jezika, ki ga omogočata njegovi podatki in postopek usposabljanja. Družba živi na veliko večjem zemljevidu. Modelov zemljevid vsebuje besedila, posnetke, oznake, prevode in evalvacije, ki so bili sprejeti. Družbeni zemljevid vsebuje ljudi, ki doma in pri delu govorijo drugače, preklapljajo med registri, ne da bi to napovedali, si izposojajo besede čez mejo, uporabljajo manjšinski jezik v lokalni instituciji ali pišejo v pisavi, ki je merilo uspešnosti ni vključevalo. En zemljevid je tehnični artefakt. Drugi je ureditev življenj, pravic in obveznosti.

Razlika je pomembna tudi pri jezikih z velikimi javnimi korpusi. Nacionalni jezik ni enoten tok. Vladni obrazci, sodne odločbe, govor v razredu, zdravstveni nasveti, besedilna sporočila in pogovor med sosedi uporabljajo različno besedišče in različno toleranco do dvoumnosti. Model je lahko usposobljen za novinarsko prozo in šibek pri pritožbi zaradi prejemkov. Obvlada lahko standardno pisavo, a se muči z narečjem. Lahko prevede dobesedni stavek in spregleda pragmatični pomen, ki ga nosi vljudnostna formula. Imenovati celoten jezik podprt prikriva mejo naloge.

Jezikovna tehnologija zato potrebuje natančnejši besednjak. Ločiti moramo jezik, ki je prisoten v učnih podatkih, od naloge, ki se v tem jeziku vrednoti. Ločiti moramo referenčni prevod od samostojno napisanega testnega primera. Ločiti moramo branje pisave od razumevanja registra neke skupnosti. Ločiti moramo zmožnost sistema, da ustvarja besedilo, od njegove pristojnosti, da svetuje, razvršča ali odloča. Vsaka od teh razlik je majhen delček dokumentacije. Skupaj preprečujejo, da bi iz ozkih dokazov sestavili široko trditev.

Za strogost obstaja institucionalni razlog. Javne službe si ne morejo privoščiti, da bi izbrale najlažji jezik in rezultat razglasile za učinkovitost. Banka, bolnišnica, delodajalec ali ponudnik programske opreme imajo lahko različne zakonske obveznosti, a vsak odloča, koliko trenja mora posameznik prenesti, da bi bil razumljen. Večjezična pot, ki tiho odpove, prenese strošek na uporabnika. Uporabnik mora poiskati prevajalca, ponoviti svojo zgodbo, sprejeti slabši izid ali opustiti postopek. Sistem poroča o uspehu, ker je vrnil niz znakov. Posameznik doživlja izključenost z odlično slovnico.

Kaj slabo podprti jezik dejansko pomeni

Slabo podprt jezik se pogosto obravnava kot lastnost jezika, kot da so nekateri jeziki prišli do modelovih vrat z manj viri in bi se morali opravičevati za nevšečnost. Koristneje ga je obravnavati kot lastnost naloge, nabora podatkov in upravljavske odločitve. Jezik ima lahko veliko literarnega gradiva, a malo označenih podatkov za medicinski klasifikator. Lahko ima vzporedna besedila, a skoraj nobenih posnetkov govora. Lahko je zastopan v korpusu brez pravic ali metapodatkov, potrebnih za določeno uporabo. Lahko ima podatke v standardni obliki, medtem ko prizadeti ljudje uporabljajo regionalno različico.

Politika Evropske komisije na področju jezikovne tehnologije to pove jasno. Jezikovni podatki so temelj jezikovnih orodij, človeško strokovno znanje pa je nujen del uspešnega razvoja. Model potrebuje besedilo ali govor, algoritme, računsko moč in ljudi, ki razumejo jezik in področje. Odstranitev katerega koli od teh elementov spremeni sistem. Več računske moči ne more ustvariti manjkajočega pogovora. Več primerov ne more popraviti oznake, ki zamenjuje dve pravni kategoriji. Večji model ne more odločiti, kateri vir skupnost šteje za verodostojen.

Delo s slabo podprtimi jeziki zato ni povabilo k nižjim standardom. Je razlog, da standard postane viden. Če ima naloga malo gradiva za vrednotenje, to povejte. Če je metrika za jezikovni par nestabilna, poročajte o nestabilnosti. Če je bil človeški pregled majhen, opredelite obseg pregleda, namesto da ga predstavite kot splošno jamstvo. Če je pot uporabna za osnutke, ne pa za odločitve, postavite to mejo tako, da jo kupec in uporabnik lahko vidita. Pošteno pomanjkanje je varnejše od tišine, ki je videti obilna.

Evropska jezikovna pokrajina to disciplino dela neizogibno. Komisija opisuje zapleten nabor uradnih, regionalnih in manjšinskih jezikov ter je podprla pobude, kot so European Language Grid, agenda European Language Equality in Common European Language Data Space. Ti projekti niso enotna rešitev in jih ne bi smeli opisovati kot take. So deli ekosistema, v katerem se lahko srečajo podatki, orodja, pravice, strokovno znanje in javne institucije. Institucionalna oblika je prav tako pomembna kot model v njej.

Plast pravic pride pred referenčnim naborom

Govoriti o jezikovnih modelih, kot da bi bil jezik nevtralen vhodni kanal, je skušnjava. Ni. Vhod lahko vsebuje osebne podatke, zaščiteno značilnost, krajevno ime, zdravstveni podatek ali zapis o tem, da je oseba prosila za pomoč. Vir je lahko avtorsko zaščiten ali predmet pridržka. Prevedeni izhod se lahko uporabi pri odločitvi, čeprav prevodna pot za ta kontekst ni bila nikoli ovrednotena. Jezikovni problem modela je že problem pravic, preden kdor koli izbere oceno.

Smernice Komisije o jezikovnih tehnologijah povezujejo jezikovne podatke tako z avtorskimi pravicami kot z varstvom podatkov. Ta povezava bi morala spremeniti način, kako ekipe načrtujejo cevovode. Korpus ni zgolj kup povedi. Ima identiteto vira, pogoje pridobitve, licenco ali status pravic, metapodatke o jeziku in pisavi, signale kakovosti, namen in pravila hrambe. Če je element popravljen ali umaknjen, mora organizacija vedeti, kateri izpeljani artefakti so bili prizadeti. V nasprotnem primeru lahko poznejši model ponovi staro napako s samozavestjo sveže natisnjenega obrazca.

Tu izraz izvor podatkov pokaže svojo vrednost. Izvor podatkov ni opomba, da podatki prihajajo od nekod. Je niz razmerij, ki pregledovalcu omogočajo, da se premakne od rezultata do ustreznih dokazov in nazaj. Pri večjezičnem delu morajo ta razmerja preživeti prevajanje, prepisovanje, normalizacijo, segmentacijo in vrednotenje. Poved, prevedena za merilo uspešnosti, ni zamenljiva z izvorno povedjo. Oznaka, ki jo je ustvaril pregledovalec, ni zamenljiva z oznako, podedovano iz drugega jezika. Preoblikovanje je del dokazov.

Ni zahteve, da vsak uporabnik vidi raziskovalno evidenco. Obstaja zahteva, da organizacija lahko odgovori na resno vprašanje, ko se pojavi. Katera različica jezikovnega vira je bila uporabljena? Katero nalogo je podpiral? Kateri jezikovni strokovnjaki so ga pregledali? Kaj je sistem naredil, ko je bila samozavest nizka? Ali je bila pritožba obravnavana kot popravek enega odgovora ali kot možna vrsta napak? Jezikovna pot postane zaupanja vredna, ko imajo ta vprašanja lastnike in zapise.

Evropa gradi jezikovno infrastrukturo, ne le gumbe za prevajanje

Opis skupnega evropskega prostora jezikovnih podatkov Evropske komisije je uporaben, ker projekta ne skrči na izdajo modela. Cilj je platforma in tržnica za zbiranje, souporabo in ponovno uporabo večjezičnih in multimodalnih jezikovnih podatkov, pri čemer organizacije in posamezniki, ki podatke ustvarjajo, ohranijo nadzor. To besedilo kaže na drugačno predstavo o napredku. Delo ni le ustvariti boljšo poved. Je narediti jezikovne vire odkritljive, ozaveščene o pravicah, ponovno uporabne in odgovorne v javni upravi, raziskavah in industriji.

Evropska jezikovna mreža je naredila podoben korak, ko je specializirana orodja in vire jezikovnih tehnologij združila v skupni katalog. Katalog ne dokazuje, da vsaka storitev deluje za vsako nalogo. Omogoča pa lažji pregled skrite odvisnosti. Ekipa lahko vpraša, kaj orodje počne, kateri jezik podpira, od kod prihajajo njegovi podatki in ali licenca ustreza predvideni uporabi. To je neugledna infrastruktura. Je pa tudi način, kako se celina s številnimi institucijami izogne ponovnemu gradnji iste jezikovne zmogljivosti v nepovezanih prostorih.

Infrastruktura je pomembna, ker dolgega repa jezikovnega dela ne reši en sam vodilni model. Javni organ lahko potrebuje prepoznavanje govora za regionalni naglas, izločanje terminologije za specializirano področje, spominsko prevajanje za zakonodajo, prepoznavanje imenovanih entitet za krajevna imena ali način za primerjavo dveh različic dokumenta brez izgube diakritičnih znamenj. Podjetje lahko potrebuje lokalno namestitev, ker gradivo ne sme zapustiti njene jurisdikcije. Raziskovalna skupina lahko potrebuje nabor podatkov z jasnim izvorom namesto še ene anonimne ocene.

V tem pristopu je tiho politična izbira. Podatki in orodja so obravnavani kot zmogljivosti, ki bi jih morala Evropa imeti možnost pregledovati in oblikovati, ne kot storitev, ki prihaja iz nevidnega drugod. To ne pomeni, da so evropski sistemi samodejno dobri ali da komercialni ponudniki drugje ne morejo biti koristni. Pomeni, da je jezik preveč pomemben, da bi ostal brez javnega besednjaka za svoje podatke, svoje vrzeli in svojo oceno. Suverenost se začne z vedenjem, česa sistem ne more videti.

Prevajanje ni nevtralna napeljava

Prevajanje je pogosto postavljeno med dve komponenti v arhitekturnem diagramu, kot da bi bila cev, ki prenaša pomen z ene strani na drugo. Pravo prevajanje je zaporedje odločitev. Katero izvorno besedilo je verodostojno? Katere besede morajo ostati natančne? Katero dvoumnost je treba ohraniti? Katera kulturna referenca potrebuje pojasnilo? Kateri register je primeren za javno obvestilo? Katerega subjekta se ne sme prevajati? Kateri datum, številka ali enota naj bo zapisana v bralčevi konvenciji? Model lahko te odločitve sprejme hitro. Hitrost jih ne naredi nevidnih.

Pomislite na razliko med prevajanjem vremenskega stavka in prevajanjem obvestila o roku. V prvem primeru je majhna slogovna napaka lahko moteča. V drugem lahko številka ali modalni glagol spremeni to, kar oseba verjame, da mora storiti. Temeljni jezikovni model ima lahko enako žetonsko kvoto in enak prikaz zaupanja. Družbene posledice niso enake. Vrednotenje mora zato slediti nalogi in se ne sme ustaviti pri splošni jezikovni oceni.

Stran Komisije o njeni lastni rabi jezikov to pojasni brez dramatike. Strojno prevajanje lahko zagotovi osnovno predstavo, vendar se kakovost in natančnost močno razlikujeta od besedila do besedila ter med jezikovnimi pari. To je uporaben javni stavek, ker noče spremeniti storitve v preroka. Bralcu daje dovoljenje, da prevod uporabi kot usmeritev, hkrati pa ohranja razlog za iskanje človeške ali verodostojne različice, kadar posledice to upravičujejo.

Za produktne ekipe je posledica niz jasnih poti. Prevod z nizkimi posledicami se lahko vrne neposredno z jasnim statusom. Pravna ali medicinska pot lahko zahteva človeški pregled, povezavo do vira ali zavrnitev. Notranji osnutek lahko ohrani izvirnik poleg prevoda. Glasovni vmesnik lahko ponovi pomembno ime in zahteva potrditev. Izbira ni med popolno avtomatizacijo in brez avtomatizacije. Gre za razliko med cevovodom, ki razglasi svoje predaje, in tistim, ki jih skrije za tekočim odstavkom.

Stavek preživi, okoliščine ne

Modeli delujejo na predstavitvah. Družbe delujejo na okoliščinah. Ko se prevod premakne iz enih v druge, lahko majhne podrobnosti postanejo celoten pomen. Besedna zveza, ki je v enem jeziku vljudna, lahko v drugem zveni izmikajoče. Izraz, ki razlikuje zakonsko pravico od diskrecijske storitve, se lahko skrči v splošno besedo za pomoč. Idiom se lahko prevede dobesedno in postane nesmisel, ali pa se prevede prosto in izgubi referenco, ki identificira skupnost. Nobena od teh napak ne potrebuje absurdnega izhoda. Nevaren odgovor je tisti, ki je videti običajen.

Izdaja EU MMLU opozarja natanko na to področje. Njeni merili kakovosti od večjezičnih meril zahtevajo, da preizkušajo ne le pomen in težavnost, ampak tudi idiome, humor, kulturne reference, oblike datumov in številk ter razlike v pričakovanem tonu ali vljudnosti. To je pomembna razširitev cilja vrednotenja. Od jezikovnega modela se ne zahteva le, ali lahko ustvari slovnično pravilen stavek. Vprašanje je, ali stavek sodi v okoliščine, v katerih bo oseba ravnala na njegovi podlagi.

Omemba humorja ni povabilo, da bi bilo merilo zabavno. Priznava, da je humor stresni test za kontekst. Dobesedni prevod lahko ohrani besede in uniči šalo. Kulturno prilagojen prevod lahko ohrani učinek, medtem ko spremeni referenco. V javni informacijski službi se isti mehanizem pojavi brez smeha. Pregovor, krajevno ime ali formalni pozdrav lahko sporočijo, kdo govori in kakšen odnos sporočilo vzpostavlja.

Ko ekipe rečejo, da model razume jezik, bi se morale vprašati, katero plast mislijo. Ali prepozna pisavo? Ali pravilno segmentira besede? Ali prepozna entitete? Ali prevede propozicijo? Ali ohrani pravno veljavo? Ali sledi lokalni konvenciji? Ali ohrani govorčevo stopnjo gotovosti? Ali obvlada nestandardno pisavo? Ali odgovori v pravem registru? To so ločene zmožnosti. Ena sama oznaka, imenovana večjezičnost, prikriva delo, potrebno za vzpostavitev vsake od njih.

Zakaj mora vrednotenje potovati z jezikom

Vrednotenje se pogosto doda na koncu, ker ekipe želijo številko, ki jo pripišejo modelu. Večjezični sistemi naredijo ta vrstni red nemogoč. Testni podatki določajo, kaj se šteje za napako. Jezik določa, kako lahko stavek spodleti. Področje določa, katera napaka je pomembna. Uporabnik določa, ali je odgovor sistema pomoč ali ovira. Vrednotenje mora potovati z vsemi štirimi.

Evropska raziskovalna naloga Towards Multilingual LLM Evaluation for European Languages prikazuje obseg problema. Avtorji ocenjujejo 40 jezikovnih modelov v 21 evropskih jezikih, preučujejo prevedene različice petih pogosto uporabljenih meril in objavijo okvir, ki vključuje EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA in EU20-GSM8K. Naloga ne trdi, da prevod obstoječega merila samodejno zagotovi pravičnost. Prevajalske storitve, gradnjo meril in medjezikovno primerljivost obravnava kot stvari, ki jih je treba raziskati.

To je prava drža. Prevedena testna postavka lahko podeduje spremembo težavnosti, kulturno predpostavko ali namig, ki v izvirniku ni obstajal. Model lahko doseže višji rezultat, ker prevedeno besedilo olajša odgovor, ne zato, ker je model postal sposobnejši. Lahko doseže nižji rezultat, ker je slovnična konstrukcija v ciljnem jeziku nenaravna, čeprav je osnovno razmišljanje pravilno. Oba izida sta dokaz o testu in modelu.

Človeški pregled ostaja nujen, vendar tudi človeški pregled potrebuje dogovor. Kdo je pregledal postavko? Ali so bili pregledovalci maternji govorci, strokovnjaki za področje ali oboje? Ali so pregledovali izolirane stavke ali nalogo v kontekstu? Ali so bila nesoglasja zabeležena? Ali je merilo ohranilo alternativne sprejemljive odgovore? Jezikovni strokovnjak nam lahko pove, da je besedna zveza napačna. Strokovnjak za področje nam lahko pove, zakaj napaka spremeni odločitev. Verodostojno vrednotenje pogosto potrebuje oboje in mora povedati, katero je imelo.

Bistvo ni v tem, da bi vsak sistem moral prestati neskončen izpit, preden ga lahko kdo uporabi. Bistvo je preprečiti, da bi ozek test zamenjali za široko trditev. Če je bil model ocenjen na kratkih dejanskih vprašanjih v standardnem pisnem jeziku, to sporočite. Ne dovolite, da rezultat tiho postane trditev o govorni interakciji, pravnem pisanju, lokalni upravi, otrocih, starejših ali vsakem registru v jeziku.

Ocena postane uporabna, ko ostanejo vidne meje njene naloge, jezika, konteksta in pregleda.

Poučna zgodba o malteščini in baskovščini

Prispevek, predstavljen na konferenci LREC-COLING leta 2024, je preučeval vrednotenje strojnega prevajanja iz angleščine v malteščino in iz španščine v baskovščino. Avtorji so analizirali meritev COMET, zbrali neposredne človeške ocene in preverili, kako se meritev obnese, ko jo prilagodijo tema dvema jezikovnima paroma. Njihov sklep je skromen, a pomemben: delovanje meritve se lahko izboljša z dodatnim prilagajanjem, hkrati pa je lahko zelo občutljiva na porazdelitev ocen v učnih podatkih, zlasti pri jezikih z malo viri.

To ni zgodba o tem, da ena meritev odpove. To je zgodba o tem, od česa je odvisna ocena. Meritev, usposobljena na eni porazdelitvi, se lahko obnaša drugače, ko jo prosimo, naj presoja drugo. Jezikovni par z manj gradiva za vrednotenje lahko oceno prikaže kot bolj odločilno, kot v resnici je. Sistem, ki ga je priročno primerjati, je lahko še vedno slab približek tega, kar govorci štejejo za dober prevod. Človeške presoje vrednotenja ne naredijo popolnega, razkrijejo pa mesta, kjer avtomatsko merilo sprejema predpostavke.

Druga študija iz leta 2024, Benchmarking Low-Resource Machine Translation Systems, primerja javno dostopne sisteme na štirih naborih podatkov in v 26 jezikih ter rezultate objavlja prek platforme BENG, ki omogoča pošteno primerjalno vrednotenje sistemov za generiranje naravnega jezika. Tudi tu prispevek ni univerzalna lestvica. Gre za bolj pregledno primerjavo. Učinkovitost in uspešnost se obravnavata skupaj, seznam jezikov pa je viden. Bralec lahko preveri, ali merilo vključuje pot, ki je zanj pomembna, namesto da sprejme eno samo naslovno številko.

Ti študiji ponujata evropsko lekcijo o zadržanosti. Težji del ni izumiti novo oceno. Težji del je zgraditi vrednotenje, ki bralcu omogoči, da vidi, čigav jezik, čigava naloga in čigava definicija kakovosti so ustvarili oceno. Ko tega konteksta ni, številka postane prehod čez mejo brez potnega lista. Morda se prebije skozi predstavitev, a nihče ne more ugotoviti, od kod prihaja.

Jezikovna pokritost je lahko varnostna lastnost

Razprave o varnosti se pogosto osredotočajo na vsebino, ki bi jo sistem moral zavrniti, na napade, ki bi jim moral kljubovati, ali na napake, ki bi jih moral ujeti. Jezik dodaja še eno vprašanje: ali sistem prepozna, kdaj je zunaj svojega področja? Pot, ki deluje v enem jeziku, lahko v drugem pogosteje odpove, hkrati pa ohrani enako samozavesten ton. Če vmesnik te razlike ne pokaže, uporabniki ne morejo umeriti svojega zaupanja.

To je še posebej pomembno, kadar je jezik del interakcije, pri kateri je varnost ključnega pomena. Pacient lahko simptom opiše v regionalni različici jezika. Delavec lahko sporoči nevarnost z lokalnim izrazom. Prebivalec lahko vloži pritožbo s pravopisno konvencijo, ki jo normalizator obravnava kot šum. Model je lahko tehnično natančen na svoji referenčni podatkovni zbirki, a operativno nevaren za to pot. Relevantno vprašanje ni, ali sistem lahko ustvari verjeten odgovor. Vprašanje je, ali so bili varnostni nadzori ovrednoteni na jeziku in situaciji, ki sta pred njim.

Varnost ne zahteva, da vsako jezikovno pot obravnavamo kot posebno izredno stanje. Zahteva uskladitev nadzora s posledico. Iskalni rezultat z nizkim tveganjem lahko razkrije svoje vire in povabi k popravku. Vmesnik za medicinsko triažo lahko negotov jezikovni vnos usmeri k usposobljenemu strokovnjaku. Delovni proces za pravne dokumente lahko ohrani izvirnik in prevod drug ob drugem ter zahteva odobritev pred objavo. Glasovni sistem lahko uporabnika prosi, naj ponovi ime, namesto da tiho izbere najbližjo znano entiteto. To so običajne inženirske odločitve, kadar je jezik obravnavan kot del meja sistema.

Tudi sama zavrnitev zahteva jezikovno zasnovo. Uporabniku povedati, da sistem ne more odgovoriti, ni dovolj, če je zavrnitev nejasna, pokroviteljska ali ni na voljo v uporabnikovem jeziku. Sistem bi moral povedati, česa ni mogel ugotoviti, katere informacije bi pomagale in katera človeška ali avtoritativna pot je na voljo. V nasprotnem primeru varnostni nadzor postane še ena ovira pri dostopu. Evropsko jezikovno načelo je najbolj jasno preizkušeno, kadar sistem ne more zagotoviti zahtevanega odgovora.

Operativna zasnova večjezične storitve

Zaupanja vredna večjezična storitev ima operativno obliko, ki jo je lahko opisati, a presenetljivo težko ohraniti. Prvič, poimenuje nalogo. Prevajanje, prepisovanje, razvrščanje, iskanje, povzemanje in generiranje niso medsebojno zamenljivi. Drugič, poimenuje jezikovno pot, vključno s pisavo in morebitno relevantno regionalno ali področno mejo. Tretjič, beleži izvorno gradivo in transformacije, ki so bile na njem izvedene. Četrtič, opredeli pot pregleda in eskalacije. Petič, uporabniku pove, kaj sistem lahko in česa ne more trditi.

Ti koraki niso zahteva po veliki birokraciji. So minimum, potreben za to, da je jezikovna obljuba preverljiva. Če dobavitelj trdi, da model podpira finščino, bi moral kupec lahko vprašati, ali to pomeni generiranje besedila, prepoznavanje govora, prevajanje iz katerih jezikov ali vse našteto. Če produktna ekipa trdi, da podpira regionalni jezik, bi morala povedati, ali podpora temelji na izvornih podatkih, prevedenih podatkih, majhnem naboru za vrednotenje ali strokovnem pregledu. Če odgovor ni znan, je neznano veljaven status.

Storitev potrebuje tudi politiko sprememb. Novo gradivo za usposabljanje, nov tokenizator, nov prevajalski model, nov seznam terminologije ali nova populacija uporabnikov lahko spremenijo jezikovno vedenje. Izdaja, ki izboljša eno pot, lahko poslabša drugo. Referenčni rezultat iz lanskega leta samodejno ne opisuje današnjega sistema. Zapis različic, primerjalni testi in pot za poročanje o jezikovno specifičnih napakah naredijo storitev vzdržljivo in ne zgolj ceremonialno.

Vzdrževanje ima človeško plat. Jezikovni strokovnjaki potrebujejo način, da vidijo napake, ki prizadenejo njihove skupnosti. Področne ekipe potrebujejo način, da razlikujejo prevajalsko napako od dvoumnosti politike. Operaterji potrebujejo način, da začasno ustavijo pot, ne da bi čakali, da dobavitelj modela razlaga pritožbo. Uporabniki potrebujejo način, da povedo, da je sistem napačno razumel besedo, kontekst ali ime osebe. Večjezična storitev ni dokončana, ko je model nameščen. Dovolj je dokončana, da je odgovorna, ko se pojavi naslednja jezikovna težava.

Sledljivost izvora skozi jezikovni cevovod

Izvor postane konkreten, ko en del pomena spremljamo skozi sistem. Začnite z izvornim odstavkom. Zabeležite njegov jezik, pisavo, avtorja ali ustanovo, kadar so znani, pravice in namen. Če je segmentiran, ohranite razmerje do izvirnika. Če je preveden, ohranite vir ter prevajalca ali postopek prevajanja. Če recenzent spremeni besedilo, to zabeležite kot novo stanje, ne kot tiho zamenjavo. Če odstavek postane del primerjalnega nabora, z njim prenesite nalogo, ključ za odgovore, jezik in zapis o recenziji.

Med izvajanjem velja enaka disciplina v obratni smeri. Zabeležite, katera jezikovna pot je obravnavala zahtevo, katera različica modela ali orodja je tekla, kateri izvorni dokazi so bili pridobljeni, katero stanje negotovosti ali zavrnitve je bilo doseženo in katero človeško dejanje je sledilo. Zapis ni dolžan vsakemu operaterju razkriti zasebne vsebine. Mora pa omogočiti pooblaščenemu recenzentu dostop do bistvenih dejstev. Brez njih jezikovni incident postane razprava o vtisih.

Tu se večjezični izvor razlikuje od splošnega dnevnika revizije. Časovni žig in ime modela nam povesta, da se je nekaj zgodilo. Ne povesta pa, ali je bil vir preveden, ali je odgovor spremenil zapis števila, ali je bilo lastno ime poenoteno ali ali je recenzent delal v ciljnem jeziku. Pot preoblikovanja je dokaz. Kratek odgovor lahko skriva dolgo verigo odločitev.

V tem pristopu je majhna nizozemska vrlina: vodite evidenco dovolj preprosto, da jo lahko nekdo uporabi v torek popoldne. Zapis o izvoru ne sme biti muzejska etiketa, napisana za revizijo, ki morda nikoli ne bo prišla. Pomagati mora operaterju odgovoriti na naslednje vprašanje, ustaviti pravo pot in razložiti rezultat osebi, ki je ne zanima vaš diagram arhitekture. Dobro jezikovno upravljanje je rahlo dolgočasno. Prav zato veste, da lahko preživi stik z delom.

Skrite odločitve v prevodu

Vsak prevajalni sistem nosi odločitve, ki si zaslužijo imena. Razčlenjevanje določi, kako je vnos razdeljen. Poenotenje določi, katere razlike se ohranijo in katere zavržejo. Poravnava določi, kateri deli dveh besedil se obravnavajo kot enakovredni. Terminologija določi, katere besede so stabilne. Dekodiranje določi, kako je izhod izbran. Naknadna obdelava določi, kaj vidi bralec. Noben od teh korakov ni sam po sebi napačen. Vsak lahko povzroči jezikovno specifično napako, ki je v splošni predstavitvi nevidna.

Vzemimo lastno ime. Sistem ga lahko prevede, prečrkuje, ohrani ali nadomesti z znanim zapisom. Za pesem je lahko več odločitev sprejemljivih. Za osebni dokument je lahko sprejemljiva le ena, in ta je lahko odvisna od organa, ki ga je izdal. Vzemimo enoto ali datum. Vrednosti lahko ostanejo matematično enakovredne, oblika pa postane za bralca dvoumna. Vzemimo spolsko zaznamovan samostalnik ali zaimek. Prevod lahko vnese informacijo, ki jo je vir zamolčal, ali izbriše razliko, ki jo je vir namenoma naredil.

Oblikovalska rešitev ni zamrzniti jezika. Je opredeliti politiko in narediti izjemo vidno. Seznam terminov lahko zaščiti pravne izraze. Pravilo za lastna imena lahko prepreči, da bi mesto postalo oseba. Pogled, ki ohranja vir, lahko recenzentu omogoči primerjavo izvirnika in izhoda. Človeško posredovanje lahko sproži ime z nizko zanesljivostjo, neskladje med potmi ali naloga, označena kot visoko tvegana. Model ostaja uporaben, ker so njegove meje del delovnega toka.

Veliki jezikovni modeli otežujejo vpogled v odločitve, ker je izpis gladek. Gladek izpis je čudovit vmesnik in nezanesljiva razlaga. Sistem lahko ustvari stavek, ki zveni domače, hkrati pa izbere napačen pomen besede. Ohrani lahko širšo temo, a izpusti zanikanje. Lokalno frazo lahko prevede v standardni izraz, ki spremeni govorčevo stališče. Zato jezikovne kakovosti ni mogoče prikazati samo s slovnico. Pomen ima družbeno obliko.

Pisave, narečja, registri in ustanove

Podpora jeziku se pogosto objavi na ravni imena jezika, a bralci srečujejo pisave, različice in registre. Sistem, ki obvlada sodobno standardno pisavo, ima lahko težave z zgodovinskimi dokumenti. Prepoznavalnik govora lahko obvlada studijski zvok in odpove v natrpani postaji. Klepetalni robot za javnost lahko odgovarja v formalnem registru, medtem ko uporabnik potrebuje preprost jezik. Ustanova lahko uporablja izraz, ki se od običajnega govora razlikuje iz pravno pomembnega razloga.

To niso robni primeri v omalovažujočem smislu. To so mesta, kjer se jezik sreča s svetom. Regionalno ime lahko pomeni razliko med pravilnim naslovom in neuspešno dostavo. Narečna beseda je lahko edina beseda, ki jo človek pozna za simptom. Formalna fraza lahko sporoča, da ima sporočilo pravni učinek. Različica pisave lahko določi, ali je dokument mogoče iskati. Če merilo uspešnosti izključuje te poti, je lahko še vedno uporabno, vendar ne more nadomestiti celotnega jezika.

Preizkušanje vseh različic ni vedno mogoče. Pošten odziv je opisati podprto podmnožico in povabiti k dokazom o preostalem. Sistem lahko objavi, da je bil ovrednoten na standardnem pisnem nizozemskem jeziku za povzemanje javnih informacij, brez trditev o prepoznavanju regionalnega govora. Lahko doda preizkus za frizijščino ali baskovščino, ne da bi se pretvarjal, da dodatek rešuje vsa vprašanja regionalnih in manjšinskih jezikov. Natančnost ni slabost. Uporabnikom pove, kje je spodnja meja.

Ustanove bi se morale upreti tudi zamisli, da je ena nacionalna jezikovna pot samodejno nevtralna. Upravni jezik je lahko nedostopen govorcem istega jezika. Dostopnost in večjezičnost se prekrivata, ker obe sprašujeta, ali bralec lahko razume in ukrepa. Jezikovno delo Komisije zaradi prav tega vključuje orodja za poenostavljanje in dostopna besedila. Stavek je lahko jezikovno pravilen in kljub temu institucionalno neuporaben.

Ko je vmesnik tekoč, a napačen

Najtežje jezikovne napake niso spektakularne. To so odgovori, ki prestanejo preizkus na pogled. Povzetek vključuje prava imena, a spremeni, kdo je odgovoren. Prevod ohrani samostalnike, a priporočilo spremeni v navodilo. Klasifikator razume temo, a spregleda zanikanje. Glasovni sistem prepozna besede, ne pa govorčevega oklevanja. Uporabnik prebere izpis v svojem jeziku in domneva, da je tekočnost znak skrbnosti.

Oblikovati bi morali za ta razred napak, namesto da čakamo, da bizaren primer postane naslovna novica. Primerjajte vir in izpis pri vsebinah z velikimi posledicami. Ohranite oznake negotovosti. Pustite citate ali sklice na dokumente priložene. Zahtevajte potrditev, kadar so številka, ime ali rok osrednjega pomena. Operaterju naredite pot vidno. Ponudite mehanizem za popravek, ki od uporabnika ne zahteva, da ve, katera komponenta je odpovedala. Ti nadzori so majhni, a prevod spremenijo v pregledno transakcijo.

Človeškega pregleda ne bi smeli opisovati kot čarobno zadnjo vrstico. Pregledovalci imajo časovne omejitve, vrzeli v strokovnem znanju in lastne jezikovne predpostavke. Uporaben vmesnik za pregled jim ponudi izvirnik, izhod, kontekst in razlog za eskalacijo. Zabeleži nesoglasja, namesto da bi jih pometel pod preprogo. Če pregledovalci večkrat popravljajo isti izraz, lahko organizacija izboljša terminologijo ali spremeni meje naloge. Če nesoglasje razkrije, da je sam izvirnik dvoumen, je pravi ukrep morda vprašati avtorja, ne pa modela trenirati še bolj.

Operaterji potrebujejo tudi način, da vidijo negativne dokaze. Kateri jeziki niso bili ovrednoteni? Katere naloge nimajo človeškega pregleda? Katere zahteve so bile zavrnjene? Kateri uporabniki so po prevodu zapustili pot? Odsotnost je lahko znak. Zeleni zemljevid pokritosti, ki izpušča neuspele poti, je zemljevid trženjske površine, ne storitve.

Človeško strokovno znanje ni gumb za reševanje v sili

Evropska politika jezikovnih tehnologij postavlja jezikoslovce, podatkovne znanstvenike, računalniške inženirje in strokovnjake za posamezna področja v isti stavek. To je oblikovalska zahteva, ne seznam poklicev, ki jih povabimo na zagonski klic. Vsak od njih vidi drugačno napako. Jezikoslovec vidi nenaravno zgradbo ali izgubljeno razliko. Inženir vidi težavo s segmentacijo ali usmerjanjem. Strokovnjak za področje vidi nevarno kategorično napako. Operater vidi čakalno vrsto, ki je nihče ne more prevzeti. Oseba, ki uporablja storitev, doživi odločitev, ki nima več smisla.

Človeško strokovno znanje bi moralo vstopiti, preden je merilo uspešnosti zamrznjeno. Jezikovni strokovnjak lahko pomaga izbrati testno gradivo, ki predstavlja resnične registre in ne le čiste stavke. Strokovnjak za področje lahko opredeli izraze, ki ne smejo zaplavati. Predstavnik skupnosti lahko ekipi pove, katera besedila delujejo uradno, domače ali žaljivo. Skrbnik podatkov lahko pojasni, kateri izvor je na voljo in kateri ne. Ti vnosi oblikujejo pogodbo sistema. Niso okras po tem, ko so bile tehnične odločitve že sprejete.

Seveda obstaja cena. Dober pregled vzame čas in plača ljudi za znanje, ki se pogosto obravnava kot nevidno. Ta cena je del jezikovne podpore. Alternativa je, da se strošek prenese na uporabnike, ki plačajo z zmedenostjo in pritožbami, ali na osebje, ki neuradno prevaja in popravlja pot. Sistem, ki se zdi poceni, ker ignorira jezikovno strokovnost, ni učinkovit. Le prestavil je račun.

Kaj mora razkriti pošteno merilo uspešnosti

Večjezično merilo uspešnosti bi moralo začeti s trditvijo, ki je dovolj majhna, da jo je mogoče preizkusiti. Trditev je lahko, da sistem zna odgovarjati na vprašanja o javnih informacijah v naboru jezikov, ohranjati datume in številke ter zavrniti odgovor, kadar manjkajo dokazi iz vira. Lahko je, da prevajalska pot obvlada določen jezikovni par in področje na opredeljeni ravni kakovosti. Lahko je, da prepoznavalnik govora zna prepisati določeno različico jezika pod določenimi akustičnimi pogoji. Merilo uspešnosti je pogodba za to trditev.

Pogodba potrebuje več kot le seznam jezikov. Razkriti mora nalogo, vir, področje, register, pisavo, smer, dolžino konteksta, vhodne pogoje, referenčne odgovore, dopustne različice, metrike, človeški pregled in negotovost. Povedati mora, ali so bili elementi prvotno napisani v posameznem jeziku ali prevedeni. Zabeležiti mora, kdo jih je revidiral in katera nesoglasja so ostala. Ločiti mora skupne rezultate od rezultatov po posameznih jezikih. Prikazati mora dovolj primerov, da lahko bralec razume, kaj rezultat meri.

Merila EU MMLU so uporabna, ker razširijo pomen besede pošteno. Uravnotežena zastopanost uradnih jezikov EU je en del. Ohranjanje pomena, zahtevnosti in vrednosti testiranja med jeziki je drugi del. Preverjanje vrednot in kulturnih kontekstov EU, vključno z idiomi, humorjem, sklici, oblikami datumov in številk, tonom in vljudnostjo, naredi merilo družbeni instrument, ne le tehničnega. Merila ne odstranijo presoje. Naredijo presojo preverljivo.

Oblikovalci meril bi morali objaviti dele neuspehov, ne le povprečij. Model ima lahko dobro povprečno oceno, a neuspešno opravi vsako nalogo, ki vključuje določen register ali vrsto številk. Pot je lahko učinkovita v eno smer in počasna ali draga v drugo. Metrika lahko v enem jeziku sovpada s človeško presojo, v drugem pa postane nestabilna. Pogledi po jezikih in nalogah niso razkošje. So način, kako se kupec izogne nakupu povprečja, medtem ko uporablja izjemo.

Nazadnje bi moralo merilo navesti, česa nam ne more povedati. Pisni preizkus ne dokazuje govornega nastopa. Ocena prevoda ne dokazuje pravne zanesljivosti. Nabor uradnih jezikov ne dokazuje podpore za regionalne ali manjšinske jezike. Visoka ocena ne dokazuje, da lahko oseba izpodbija odločitev. Omejitev ni zadrega. Je rob zemljevida in uporabniki ga morajo videti, preden zaplujejo.

Ocena je legenda zemljevida, ne ozemlje

Številke so uporabne, ker silijo v primerjavo. Nevarne so, ker vabijo k sklepu, ki presega meritev. Ocena nam lahko pove, kako se je sistem obnašal na določenem vzorcu po določeni metodi. Ne more nam povedati, kako bo skupnost doživela sistem brez mostu predpostavk. Most je lahko trden. Imenovan mora biti.

Recimo, da se sistem po fino nastavitvi izboljša na večjezičnem merilu. To je dokaz izboljšane uspešnosti na tem vrednotenju. Ni samodejno dokaz, da je sistem varnejši v javni službi. Služba lahko uporablja drugačno terminologijo, daljši kontekst, govorni vnos, drugačen register ali nadaljnji potek dela, ki predlog spremeni v odločitev. Merilo je še vedno lahko dragoceno. Postane dragocenejše, ko organizacija pove, kateri del storitve predstavlja.

Ista disciplina velja za energijo, hitrost in stroške. Pot z jezikom z manj viri lahko zahteva več človeškega pregleda ali večji kontekst iskanja. To ni napaka, ki bi jo bilo treba skriti v povprečju. Je lastnost storitve, ki bi morala oblikovati načrtovanje. Evropske institucije že desetletja gradijo prevajalske in jezikovne storitve, ker so praktični stroški jezikovne raznolikosti resnični. Sistem umetne inteligence teh stroškov ne odpravi s hitrim oddajanjem besedila.

Ni sramote pri izbiri ožje poti. Ekipa lahko dobro podpira manj nalog, objavi mejo in dodaja jezike, ko dokazi rastejo. To je bolje kot trditi, da podpira vse jezike, in prepustiti uporabnikom, da odkrijejo vrzeli. Evropski nagon po standardu je najmočnejši, ko je združen z nizozemskim nagonom, da preveri, ali stvar deluje na navadno sredo.

Gradite za 24, testirajte prek 24

Evropska unija ima 24 uradnih in delovnih jezikov, prevajalska služba Komisije pa deluje v vseh. To število ustvarja uporabno izhodišče za javno infrastrukturo. Ne opredeljuje jezikovnega življenja Evrope. Regionalni, manjšinski, neteritorialni in migrantski jeziki prav tako oblikujejo skupnosti in institucije. Sistem, zgrajen za 24, lahko še vedno izključuje ljudi, ki ne uporabljajo ene od teh poti, ali ki uporabljajo uradni jezik v obliki, ki je sistem ni vrednotil.

Graditi za 24 je torej odgovornost, da osnovo naredimo resnično, ne dovoljenje, da se ustavimo. Jezikovna pot mora nositi lastne dokaze. Javni organ bi moral znati povedati, kateri uradni jeziki so zajeti za katere naloge, kakšen človeški pregled obstaja in kje lahko uporabniki dobijo verodostojno različico. Prav tako bi moral imeti način, kako se učiti od jezikov zunaj začetnega nabora, ne da bi skupnost spremenil v neplačan testni laboratorij.

Testiranje onkraj 24 pomeni več kot dodajanje novosti jezika v predstavitev. Pomeni sodelovanje z govorci, institucijami in raziskovalci, da se odločimo, kaj je naloga, za kaj se lahko uporablja izvorno gradivo in kaj šteje za škodljivo napako. Postopek lahko prinese majhno, skrbno opredeljeno zmogljivost. To je še vedno napredek. Skromna pot z jasno pogodbo je lahko vrednejša od impresivne trditve, ki je noben operater ne more zagovarjati.

Kaj želimo izrecno opredeliti

Pri Dweve to temo obravnavamo s strani infrastrukture. Loom je v našem javnem gradivu o izdelku opisan kot nalogovno preveden kognitivni model, katerega jezikovne komponente upodabljajo upravljan rezultatski graf, medtem ko učenje omejitev, sestavljanje grafov, reševalniki in preverjanje nosijo odločevalsko avtoriteto. To je arhitekturno stališče, ne trditev o večjezični zmogljivosti. Ne naredi jezikovne poti pravilne. Oteži pa skrivanje ene obveznosti: jezikovni izid ne bi smel biti edino mesto, kjer obstajata sklepanje in dokazi sistema.

Naše delo pri Ground Truth poudarja isto stvar v bolj človeškem merilu. Ljudje potrebujejo dovolj skupnega jezika, da razlikujejo model od delovnega toka, napoved od dokazov in tekoč odgovor od preverjenega rezultata. V večjezičnih sistemih ta besednjak potrebuje še eno besedo: pot. Nizozemski odgovor, francoski odgovor in baskovski odgovor niso zgolj upodobitve enega notranjega dogodka, če se dokazi, terminologija, pregled in vedenje ob napakah razlikujejo. Pot je del trditve.

To stališče je namerno manj vznemirljivo kot trditev, da en model razume Evropo. Je pa tudi bolj uporabno. Želimo, da sistem pokaže, kaj je prejel, katere vire in omejitve je lahko uporabil, česa ni mogel ugotoviti in kdaj naj prevzame človek. Jezik je površina, skozi katero človek sreča to delo. Površina mora biti jasna, vendar ji ne sme biti dovoljeno izbrisati strukture pod njo.

Tudi sami nismo izvzeti iz standardov, opisanih tukaj. Polje o izvoru ne popravi manjkajočih podatkov. Deterministična pot ne dokazuje, da je prevod pravičen. Evropska meja obdelave ne podeljuje jezikovne usposobljenosti. Edina poštena pot do večjezične trditve je nenehno testiranje, objavljanje omejitev in dovoliti jezikovnim strokovnjakom, da izpodbijajo pot. Ime izdelka ni dokaz. Zapis je.

Praktičen standard za ekipe

Ekipe, ki se odločajo o uvedbi večjezične funkcije umetne inteligence, lahko začnejo s kratkim naborom vprašanj. Kaj točno mora sistem narediti v vsakem jeziku? Katere ljudi prizadene, če se zmoti? Katero izvorno gradivo je verodostojno? Kako so bili ustvarjeni testni primeri in kdo jih je ustvaril? Kateri registri, pisave, narečja in področja so zajeti v trditvi? Kaj sistem naredi, ko ne more ugotoviti pomena? Kdo lahko začasno ustavi pot? Kako lahko uporabnik popravi odgovor, ne da bi postal neplačani jezikoslovec projekta?

Vprašanja postanejo konkretna, ko jih povežemo z artefakti. Vodite kartico jezikovne poti z nalogo, podprtimi jezikovnimi različicami, družinami virov, statusom pravic, različicami modela in orodij, rezultati vrednotenja, znanimi načini napak in lastnikom pregleda. Hranite primere napak z njihovim kontekstom, ne le oceno. Hranite vir ob prevodu z visokimi posledicami. Hranite razlog za eskalacijo, ki ga operater lahko razume. Hranite evidenco sprememb, ko se spremenijo tokenizator, seznam terminologije, merilo uspešnosti ali model.

Nabavne ekipe lahko dobavitelje vprašajo za rezultate po posameznih jezikih in nalogah, namesto za eno večjezično povprečje. Vprašajo lahko, ali je bilo merilo uspešnosti prevedeno ali napisano v izvornem jeziku, ali so na voljo človeške ocene, kako so obravnavane poti z malo viri in ali lahko dobavitelj izvozi dokaze, potrebne za pregled. Vprašajo lahko, kaj se zgodi, ko jezik ni podprt, saj imata zavrnitev in tihi nadomestni mehanizem zelo različni posledici.

Produktne ekipe lahko oblikujejo vmesnik tako, da prikazuje pot in stopnjo zaupanja, ne da bi se pretvarjale, da je številka zaupanja verjetnost resnice. Ohranijo lahko povezave do virov, pri zavrnitvah uporabljajo preprost jezik in naredijo dejanja za pregled vidna. Izogibajo se lahko besedni zvezi podpira vse jezike, razen če lahko opredelijo glagol. Podpira lahko pomeni prikazuje besedilo, sprejema vnos, prevaja, povzema, odgovarja, razvršča, govori ali obravnava reguliran potek dela. Izbirnik jezika ni specifikacija.

Raziskovalne ekipe lahko objavljajo nabore podatkov z izvorom in potmi za popravke. Vključijo lahko negativne rezultate in poročajo, kadar se meritev ne prenaša dobro. Jezikovne skupnosti lahko povabijo k vrednotenju, preden je model razglašen za pripravljenega, in plačajo za to strokovno znanje. Uprejo se lahko pritisku, da bi ozek rezultat spremenile v univerzalno trditev. Najdragocenejše merilo uspešnosti je lahko tisto, zaradi katerega ekipa odstrani stavek s svoje produktne strani.

Družba za modelom

Jezikovni model je lahko zelo dober pri ustvarjanju jezika, ne da bi vedel, kaj jezik pomeni v družbi. Lahko napove besedno zvezo, prevede odstavek in odgovori na vprašanje, pri tem pa spregleda institucionalno razmerje, ki ga besede nosijo. Ta vrzel ni dokaz, da je model neuporaben. Je dokaz, da je jezik več kot podatkovni tip.

Odziv Evrope ne bi smel biti tekmovanje v štetju jezikov v kartici modela. Moral bi biti trajno prizadevanje, da bi bili jezikovni podatki, pravice, strokovno znanje, vrednotenje in javni nadzor del iste infrastrukture. Delo Komisije na področju jezikovnih tehnologij, Language Data Space, European Language Grid in merilo uspešnosti EU MMLU vsi kažejo v to smer. Evropski raziskovalci preizkušajo, kaj se zgodi, ko prevedena merila uspešnosti obravnavamo kot raziskovalna vprašanja in ne kot nesporna orodja. To delo si zasluži pozornost, ker naredi staro politično dejstvo tehnično vidno: ljudje Unije ne doživljajo v enem samem jeziku.

Ko naslednjič dobavitelj reče, da je model večjezičen, vprašajte, kaj trditev vsebuje. Kateri jeziki? Katere naloge? Katere skupnosti? Kateri viri? Kateri pregled? Katera zavrnitev? Kateri zapis sprememb? Vprašanje ni sovražno. Je običajen začetek odgovornosti.

Družba ni pravična zato, ker lahko stroj ponavlja njene besede. Postane pravičnejša, ko lahko ljudje vstopijo v njene institucije, razumejo, kaj se dogaja, izpodbijajo rezultat in so slišani v jeziku, ki nosi njihovo življenje. Model lahko pri tem delu pomaga. Ne more ga opredeliti. Jezik modela je tehnična zmogljivost. Jezik družbe je skupna odgovornost.

Viri