Mudeli keel ei ole ühiskonna keel

Mitmekeelne mudel ei ole õiglane ainult sellepärast, et selle liides loetleb palju keeli. Keelekatvus on institutsionaalne, kultuuriline ja turvalisusega...

Mudeli keel ei ole ühiskonna keel

Kuusteist keelt on algus, mitte lõplik hinnang

22. juulil 2026 avaldas Euroopa Komisjoni tõlketeenistus EU MMLU, testi, mille eesmärk on hinnata suuri keelemudeleid Euroopa keele- ja kultuurikontekstides. Väljalase oli ebatavaliselt aus selle lõhe suhtes, mida see püüdis sulgeda. Paljud hindamisandmestikud on loodud inglise keeles. Mudel võib seal hästi skoorida ja ikkagi halvasti toime tulla prantsuse, ungari või malta keeles. Uus andmestik algab kuueteistkümne EL-i ametliku keelega, seitsme ainevaldkonnaga ja enam kui tuhande küsimusega, mille on tõlkinud ja toimetanud ligi 250 üliõpilast 21 Euroopa ülikoolist.

Kõige olulisem osa sellest teadaandest ei ole keelte loend. See on lause selle all: mudeli käitumist ei saa järeldada keelest, milles see kõige sujuvamana tundub. See peaks olema ilmne. See on ka eeldus märkimisväärse hulga hangete, teadustöö ja avaliku arutelu taga. Me räägime ikka veel keelemudelist, nagu oleks sellel üks mõistus, ja palume sellel kanda erinevaid keeli nagu mantleid. Mantel muutub. Mõistust, tõendusmaterjali, pimealasid ja sotsiaalset keskkonda käsitletakse stabiilsetena.

Need ei ole stabiilsed. Keel on koht, kus inimene kohtub institutsiooniga. See kannab hüvitise tingimusi, kaebuse tooni, erinevust nõuande ja juhise vahel, nalja kuju, kohanime ja vormi eeldusi. Kui süsteem tuleb toime ühe keelega paremini kui teisega, ei tekita see lihtsalt vähem elegantset lauset. See võib muuta seda, keda mõistetakse, keda usutakse, kes saab tulemuse vaidlustada ja kes loobub enne õige ukse leidmist.

Praktiline järeldus on selge. Mitmekeelne tehisintellekt ei ole tõlkefunktsioon, mis lisatakse pärast mudeli ehitamist. See on juurdepääsu, tõendusmaterjali ja autoriteedi küsimus. Euroopa töö keeltehnoloogiate, keeleteabe ja mitmekeelse hindamise alal on väärtuslik, sest see käsitleb probleemi taristuna. Töö on veel lõpetamata. Test ei ole garantii ja kuusteist keelt ei ole kogu Euroopa. Kuid suund on õige: lõpetage küsimine, kas mudel räägib keelt, ja alustage küsimist, mida see saab selles keeles ohutult teha, kelle jaoks, millistel tingimustel ja millise tõendusmaterjaliga.

Keelekatvus on usaldusväärne ainult siis, kui allika, konteksti, toimetamise ja teenuse väited jäävad omavahel seotuks.

Keel on juurdepääsu piir

Euroopa on keelest teinud institutsionaalse fakti, mitte eraisiku eelistuse. Põhiõiguste harta artikli 22 kohaselt austab liit kultuurilist, usulist ja keelelist mitmekesisust. Komisjoni enda keeletehnoloogiapoliitika seab selle kohustuse kõrvale praktilise hoiatusega: keeletehnoloogiad vajavad erapooletut kasutust, et õigused ja põhimõtted jääksid tarkvaraga kokku puutudes püsima. Need ei ole dekoratiivsed kohustused. Need kirjeldavad piiri, millega avalik süsteem kokku puutub, kui elanik ei suuda teatist lugeda, ei mõista, miks otsus tehti, või ei suuda väljendada asjakohast fakti keeles, milles see fakt eksisteerib.

Seda piiri on lihtne märkamata jätta, kui meeskond mõõdab ainult seda, kas tõlge on valminud. Lause võib jõuda kohale soovitud keeles ja osutuda siiski kasutuks inimesele, kes seda vajab. Tõlge võib tasandada õigusliku eristuse, muuta viisakusastet, mis näitab, kas ametnik küsib või käsib, või kasutada terminit, millel on igapäevane tähendus, kuid teatud teenuse kontekstis eritähendus. Kõnetuvastus võib muuta regionaalse häälduse teiseks sõnaks. Kokkuvõtja võib eemaldada täpsustuse, millel lasub vastutus. Sujuvus ei ütle meile, kas tehing jäi terveks.

Kujutage ette avalikku teabeteenust, mis pakub sama abikõlblikkuse selgitust hollandi, prantsuse ja ühes regionaalkeeles. Esimesed kaks kanalit on koolitatud ja testitud haldusmaterjalide, kaebuskirjade ja valdkonnaekspertidega peetud vestluste põhjal. Kolmas kanal on suurepärase üldkeeleoskusega, kuid sellel puudub sisukas hindamine teenuse enda terminoloogia põhjal. Juhtpaneel võib näidata kolme rohelist keelemärgist. Elanikud ei saa kolme võrdväärset teenust. Üks rühm saab selgituse, teine ligikaudse vastuse, kolmas poleeritud ebakindluse, mis näeb ametlik välja, sest sellel on õige logo.

Näide on teadlikult hüpoteetiline. See ei ole väide konkreetse omavalitsuse või müüja kohta. Selle eesmärk on paljastada disainiviga. Keeletuge loendatakse sageli liidese tasandil, samas kui tegelik kohustus asub ahelas kaugemal. Süsteem peab teadma, millised andmed keelt toetavad, milliseid ülesandeid hinnati, kes vigu üle vaatas, kuidas kasutajad saavad neid parandada ja millal peab kanal vastamisest keelduma. Kui need üksikasjad puuduvad, on keelevalija lubadus ilma lepinguta.

Mudeli kaart ei ole ühiskonna kaart

Mudel õpib keelekaardilt, mille tema andmed ja koolitusprotsess kättesaadavaks teevad. Ühiskond elab palju suuremal kaardil. Mudeli kaart sisaldab tekste, salvestisi, märgendeid, tõlkeid ja hinnanguid, mis on sisse lastud. Ühiskonna kaart sisaldab inimesi, kes räägivad kodus ja tööl erinevalt, vahetavad registrit sellest teatamata, laenavad sõnu üle piiri, kasutavad vähemuskeelt kohalikus asutuses või kirjutavad kirjas, mida võrdlusuuring ei hõlmanud. Üks kaart on tehniline artefakt. Teine on elude, õiguste ja kohustuste korraldus.

Erinevus on oluline isegi suurte avalike tekstikogumitega keelte puhul. Riigikeel ei ole üks ühtlane voog. Valitsuse vormid, kohtuotsused, klassiruumi kõne, tervisenõuanded, tekstisõnumid ja naabritevaheline vestlus kasutavad erinevat sõnavara ja erinevat taluvust mitmetähenduslikkuse suhtes. Mudel võib olla pädev uudistetekstide puhul ja nõrk hüvitiste kaebuse puhul. See võib hakkama saada standardse õigekirjaga, kuid takerduda murdega. See võib tõlkida sõnasõnalise lause ja jätta märkamata viisakusvalemi pragmaatilise tähenduse. Kogu keele toetatuks nimetamine peidab ülesande piiri.

Keeltehnoloogia vajab seega täpsemat sõnavara. Peaksime eristama keele esinemist treeningandmetes sellest, kas ülesannet hinnatakse selles keeles. Peaksime eristama võrdlusmaterjali tõlget iseseisvalt kirjutatud testiüksusest. Peaksime eristama kirja lugemist kogukonna registri mõistmisest. Peaksime eristama süsteemi võimet teksti genereerida selle volitusest nõustada, liigitada või otsustada. Iga eristus on väike tükk paberimajandust. Koos takistavad need laia väite kokkupanemist kitsastest tõenditest.

Ranguseks on institutsionaalne põhjus. Avalikud teenused ei saa vabalt valida kõige lihtsamat keelt ja nimetada tulemust tõhusaks. Pangal, haiglal, tööandjal või tarkvarapakkujal võivad olla erinevad õiguslikud kohustused, kuid igaüks neist otsustab, kui palju hõõrdumist peab inimene mõistmiseks taluma. Mitmekeelne tee, mis vaikselt ebaõnnestub, kannab kulud kasutajale üle. Kasutaja peab leidma tõlgi, kordama oma lugu, leppima halvema tulemusega või loobuma protsessist. Süsteem teatab edust, sest see tagastas stringi. Inimene kogeb tõrjutust suurepärase grammatikaga.

Mida vähene ressurss tegelikult tähendab

Vähest ressurssi käsitletakse sageli keele omadusena, nagu oleksid mõned keeled mudeli ukse ette jõudnud vähemate ressurssidega ja peaksid ebamugavuse pärast vabandama. Kasulikum on käsitleda seda ülesande, andmestiku ja juhtimisotsuse omadusena. Keeles võib olla märkimisväärselt kirjanduslikku materjali, kuid vähe märgistatud andmeid meditsiinilise klassifikaatori jaoks. Selles võib olla paralleelteksti, kuid peaaegu mitte ühtegi kõnesalvestist. See võib olla korpusesse esindatud ilma õiguste või metaandmeteta, mida konkreetne kasutus nõuab. Selles võib olla andmeid standardkujul, samal ajal kui mõjutatud inimesed kasutavad piirkondlikku varianti.

Euroopa Komisjoni keeltehnoloogiapoliitika nimetab seda selgesõnaliselt. Keeleandmed on keeletööriistade alus ja inimteadmised on eduka arenduse vajalik osa. Mudel vajab teksti või kõnet, algoritme, arvutusvõimsust ja inimesi, kes mõistavad keelt ja valdkonda. Mõne neist elementidest eemaldamine muudab süsteemi. Rohkem arvutusvõimsust ei saa luua puuduvat vestlust. Rohkem näiteid ei saa parandada silti, mis ajab segi kaks õiguslikku kategooriat. Suurem mudel ei saa otsustada, millist allikat kogukond autoriteetseks peab.

Vähese ressursiga töö ei ole seega kutse standardit langetada. See on põhjus standard nähtavaks teha. Kui ülesandel on vähe hindamismaterjali, öelge seda. Kui mõõdik on keelepaari puhul ebastabiilne, teatage ebastabiilsusest. Kui inimülevaade oli väike, määratlege ülevaate ulatus, mitte esitage seda üldise garantiina. Kui tee sobib mustandi koostamiseks, kuid mitte otsuste tegemiseks, pange see piir kohta, kus ostja ja kasutaja seda näevad. Aus nappus on ohutum kui küllusliku näiv vaikus.

Euroopa keelemaastik muudab selle distsipliini vältimatuks. Komisjon kirjeldab keerulist ametlike, piirkondlike ja vähemuskeelte kogumit ning on toetanud algatusi nagu European Language Grid, European Language Equality tegevuskava ja Common European Language Data Space. Need projektid ei ole üks lahendus ja neid ei tohiks sellisena kirjeldada. Need on killud ökosüsteemist, kus andmed, tööriistad, õigused, teadmised ja avalikud institutsioonid saavad kokku saada. Institutsionaalne kuju on sama oluline kui mudel selle sees.

Õiguste kiht jõuab kohale enne võrdlusmaterjali

Keelemudeleid on ahvatlev käsitleda nii, nagu oleks keel neutraalne sisendkanal. See ei ole. Sisend võib kanda isikuandmeid, kaitstud tunnust, kohanime, meditsiinilist üksikasja või kirjet inimesest, kes abi palub. Allikas võib olla autoriõigustega kaitstud või selle suhtes võib kehtida õiguste reservatsioon. Tõlgitud väljundit võidakse kasutada otsuses isegi siis, kui tõlketee ei ole selle konteksti jaoks kunagi hinnatud. Keeleprobleem on mudeli puhul juba õiguste probleem enne, kui keegi skoori valib.

Komisjoni keeletehnoloogia suunised seovad keeleandmed nii autoriõiguse kui ka andmekaitsega. See seos peaks muutma seda, kuidas meeskonnad torustikke kavandavad. Korpus ei ole lihtsalt lausete hunnik. Sellel on allika identiteet, hankimistingimused, litsentsi või õiguste staatus, keele- ja kirjasüsteemi metaandmed, kvaliteedisignaalid, eesmärk ja säilitusreeglid. Kui üksus parandatakse või tagasi võetakse, peab organisatsioon teadma, milliseid tuletatud artefakte see mõjutas. Muidu võib hilisem mudel korrata vana viga värskelt trükitud vormi enesekindlusega.

Siin tulebki mängu mõiste päritolu. Päritolu ei ole joonealune märkus selle kohta, et andmed pärinevad kuskilt. See on seoste kogum, mis võimaldab hindajal liikuda tulemuselt asjakohase tõendusmaterjalini ja tagasi. Mitmekeelses töös peavad need seosed säilima tõlkimise, transkriptsiooni, normaliseerimise, segmenteerimise ja hindamise käigus. Võrdlusuuringu jaoks tõlgitud lause ei ole vahetatav lähtelausega. Hindaja tehtud märgis ei ole vahetatav märgisega, mis on päritud teisest keelest. Teisendus on osa tõendusmaterjalist.

Puudub nõue, et iga kasutaja näeks uurimistöö registrit. On olemas nõue, et organisatsioon suudab vastata tõsisele küsimusele, kui see saabub. Millist keeleressursi versiooni kasutati? Millist ülesannet see toetas? Millised keeleeksperdid seda üle vaatasid? Mida süsteem tegi, kui usaldus oli madal? Kas kaebust käsitleti parandusena ühele vastusele või võimaliku veaklassina? Keeletee muutub usaldusväärseks siis, kui neil küsimustel on omanikud ja andmed.

Euroopa ehitab keeletaristut, mitte ainult tõlkenuppe

Euroopa Komisjoni kirjeldus ühisest Euroopa keeleandmeruumist on kasulik, sest see ei taanda projekti mudeli väljalaskmisele. Eesmärk on platvorm ja turg mitmekeelsete ja multimodaalsete keeleandmete kogumiseks, jagamiseks ja taaskasutamiseks, hoides samal ajal kontrolli andmete loojatel, olgu need organisatsioonid või üksikisikud. See sõnastus osutab teistsugusele edasimõistmisele. Töö ei ole ainult parema lause tootmine. See on keeleressursside leitavaks, õigusteadlikeks, taaskasutatavateks ja aruandekohustuslikeks muutmine avalikus halduses, teaduses ja tööstuses.

Euroopa keelteplatvorm tegi sarnase sammu, tuues spetsialiseeritud keeletehnoloogia tööriistad ja ressursid ühisesse kataloogi. Kataloog ei tõesta, et iga teenus töötab iga ülesande jaoks. See muudab varjatud sõltuvuse lihtsamini kontrollitavaks. Meeskond saab küsida, mida tööriist teeb, millist keelt see toetab, kust selle andmed pärinevad ja kas litsents sobib kavandatud kasutusega. See on tagasihoidlik taristu. Kuid just nii väldib paljude institutsioonidega manner sama keeleoskuse ülesehitamist eraldatud ruumides.

Taristu on oluline, sest keeletöö pikka saba ei lahenda üks lipulaevamudel. Avalikul asutusel võib olla vaja kõnetuvastust regionaalsele aktsendile, terminoloogia ekstraheerimist spetsialiseeritud valdkonnale, tõlkemälu õigusaktidele, nimeüksuste tuvastust kohanimedele või võimalust võrrelda kahte dokumendiversiooni ilma diakriitikuid kaotamata. Ettevõttel võib olla vaja kohalikku juurutust, sest materjal ei tohi lahkuda selle jurisdiktsioonist. Teadusrühmal võib olla vaja selge päritoluga andmestikku, mitte veel ühte anonüümset skoori.

Selles lähenemises on vaikne poliitiline valik. Andmeid ja tööriistu käsitletakse võimekustena, mida Euroopa peaks saama kontrollida ja kujundada, mitte teenusena, mis saabub nähtamatust mujalt. See ei tähenda, et Euroopa süsteemid on automaatselt head või et kaubanduslikud pakkujad mujal ei saa olla kasulikud. See tähendab, et keel on liiga oluline, et jätta see ilma avaliku sõnavarata oma andmete, lünkade ja hindamise jaoks. Suveräänsus algab teadmisest, mida süsteem näha ei suuda.

Tõlkimine ei ole neutraalne torustik

Tõlkimist paigutatakse arhitektuuriskeemil sageli kahe komponendi vahele, justkui oleks see toru, mis kannab tähendust ühelt küljelt teisele. Tegelik tõlkimine on jada otsuseid. Milline lähtetekst on autoriteetne? Millised sõnad peavad jääma täpseks? Millist mitmetähenduslikkust tuleks säilitada? Milline kultuuriline viide vajab selgitust? Milline registrisobib avaliku teate jaoks? Millist üksust ei tohi tõlkida? Milline kuupäev, number või mõõtühik tuleks esitada lugeja tavapärases vormingus? Mudel suudab need otsused kiiresti teha. Kiirus ei muuda neid nähtamatuks.

Mõelge erinevusele ilmateate tõlkimise ja tähtajast teatava teate tõlkimise vahel. Esimesel juhul võib väike stiiliviga olla tüütu. Teisel juhul võib number või modaalverb muuta seda, mida inimene usub endal teha tulevat. Aluseks oleval keelemudelil võib olla sama märgimaht ja sama enesekindluse kuvamine. Sotsiaalsed tagajärjed ei ole samad. Seega peab hindamine järgima ülesannet, mitte peatuma üldisel keelehindel.

Komisjoni lehekülg oma keelekasutuse kohta teeb selle punkti selgeks ilma draamata. Masintõlge võib anda põhiettekujutuse, kuid kvaliteet ja täpsus varieeruvad oluliselt tekstiti ja keelepaariti. See on kasulik avalik lause, sest see keeldub muutmast teenust oraakliks. See annab lugejale loa kasutada tõlget orienteerumiseks, säilitades samas põhjuse otsida inimlikku või autoriteetset versiooni, kui tagajärjed seda õigustavad.

Tootemeeskondade jaoks tähendab see selgete radade kogumit. Väikese tagajärjega tõlke võib tagastada otse koos selge staatusega. Õiguslik või meditsiiniline rada võib nõuda inimese poolset ülevaatust, allikaviidet või keeldumist. Sisetööversioon võib säilitada lähteteksti kõrvuti tõlkega. Kõneliides võib korrata kriitilist nime ja küsida kinnitust. Valik ei ole täisautomaatika ja automaatikata vahel. See on valik torustiku vahel, mis teatab oma üleandmistest, ja sellise vahel, mis peidab need sujuva lõigu taha.

Lause jääb ellu, olukord mitte

Mudelid töötavad representatsioonidega. Ühiskonnad töötavad olukordadega. Kui tõlge liigub ühelt teisele, võivad väikesed üksikasjad muutuda kogu tähenduseks. Fraas, mis on ühes keeles viisakas, võib teises kõlada kõrvalehoidvalt. Termin, mis eristab seaduslikku õigust kaalutlusõiguslikust teenusest, võib kokku vajuda üldiseks abi sõnaks. Idioomi võib tõlkida sõna-sõnalt ja see muutub mõttetuseks, või tõlkida vabalt ja kaotada viide, mis identifitseerib kogukonna. Ükski neist ebaõnnestumistest ei vaja absurdset väljundit. Ohtlik vastus on see, mis näeb välja tavaline.

EU MMLU väljalase osutab just sellele alale. Selle kvaliteedikriteeriumid paluvad mitmekeelsetel etalonidel testida mitte ainult tähendust ja raskust, vaid ka idioome, huumorit, kultuurilisi viiteid, kuupäeva- ja numbri formaate ning erinevusi oodatavas toonis või viisakuses. See on oluline hindamise sihtmärgi laiendus. Keelemudelilt ei küsita ainult seda, kas ta suudab toota grammatiliselt õige lause. Temalt küsitakse, kas lause kuulub olukorda, kus inimene selle järgi tegutseb.

Huumori mainimine ei ole kutse muuta etalon meelelahutuslikuks. See tunnistab, et huumor on konteksti stressitest. Sõnasõnaline tõlge võib sõnad säilitada, kuid nali hävib. Kultuuriliselt kohandatud tõlge võib efekti säilitada, muutes samal ajal viidet. Avalikus infoteenistuses ilmneb sama mehhanism ilma naeruta. Vanasõna, kohanimi või formaalne tervitus võib anda märku, kes räägib ja millise suhte sõnum loob.

Kui meeskonnad ütlevad, et mudel mõistab keelt, peaksid nad küsima, millist kihti nad silmas peavad. Kas see tunneb ära kirja? Jaotab sõnu õigesti? Tuvastab üksused? Tõlgib propositsiooni? Säilitab õigusliku jõu? Järgib kohalikku konventsiooni? Hoiab kõneleja kindlustaset? Tuleb toime mittestandardse kirjapildiga? Vastab õiges registris? Need on eraldiseisvad võimed. Üks silt nimega mitmekeelne varjab tööd, mida igaühe kehtestamine nõuab.

Miks peab hindamine liikuma koos keelega

Hindamine lisatakse sageli lõppu, sest meeskonnad tahavad mudelile kinnitatud numbrit. Mitmekeelsed süsteemid muudavad selle järjekorra võimatuks. Testiandmed määravad, mida veana käsitletakse. Keel määrab, kuidas lause võib ebaõnnestuda. Valdkond määrab, milline viga on oluline. Kasutaja määrab, kas süsteemi vastus on abi või takistus. Hindamine peab liikuma koos kõigi neljaga.

Euroopa teadusartikkel Towards Multilingual LLM Evaluation for European Languages näitab probleemi ulatust. Autorid hindavad 40 keelemudelit 21 Euroopa keeles, uurivad viie laialt kasutatava etaloni tõlgitud versioone ja avaldavad raamistiku, mis hõlmab EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA ja EU20-GSM8K. Artikkel ei väida, et olemasoleva etaloni tõlkimine muudab selle automaatselt õiglaseks. See käsitleb tõlketeenuseid, etaloni koostamist ja keelteülest võrreldavust asjadena, mida uurida.

See on õige hoiak. Tõlgitud testiüksus võib pärida raskusastme muutuse, kultuurilise eelduse või vihje, mida originaalis polnud. Mudel võib saada kõrgema tulemuse, sest tõlgitud sõnastus muudab vastuse lihtsamaks, mitte sellepärast, et mudel muutus võimekamaks. See võib saada madalama tulemuse, sest grammatiline konstruktsioon on sihtkeeles ebaloomulik, kuigi aluseks olev arutluskäik on õige. Mõlemad tulemused on tõendusmaterjal nii testi kui ka mudeli kohta.

Inimülevaatus jääb vajalikuks, kuid ka inimülevaatus vajab kokkulepet. Kes üksust üle vaatas? Kas ülevaatajad olid emakeelekõnelejad, valdkonna spetsialistid või mõlemad? Kas nad vaatasid üle isoleeritud lauseid või ülesannet kontekstis? Kas erimeelsused registreeriti? Kas etalon säilitas alternatiivsed aktsepteeritavad vastused? Keeleekspert võib öelda, et fraas on vale. Valdkonnaekspert võib öelda, miks viga muudab otsust. Usaldusväärne hindamine vajab sageli mõlemat ja peab ütlema, kumb tal oli.

Mõte ei ole panna iga süsteem läbima lõputut eksamit enne, kui keegi seda kasutada saab. Mõte on vältida seda, et kitsast testi peetakse ekslikult laiaks väiteks. Kui mudelit on hinnatud lühikeste faktiküsimustega standardkirjakeeles, teatage sellest. Ärge laske tulemusel vaikselt muutuda väiteks vestluse, õigusloome, kohaliku omavalitsuse, laste, eakate või keele kõigi registrite kohta.

Skoor muutub kasulikuks siis, kui selle ülesande, keele, konteksti ja inimese tehtud ülevaate piirid jäävad nähtavaks.

Malta ja baski keele õppetund

2024. aasta LREC-COLING konverentsil esitatud artiklis uuriti masintõlke hindamist inglise keelest Malta keelde ja hispaania keelest baski keelde. Autorid analüüsisid COMET-hindamismõõdikut, kogusid otseseid inimhinnanguid ja testisid, kui hästi mõõdik käitus, kui see kohandati kahele keelepaarile. Nende järeldus on tagasihoidlik, kuid oluline: mõõdiku jõudlus võib peenhäälestusega paraneda ja see võib olla väga tundlik oma treeningandmete skooride jaotuse suhtes, eriti väheste ressurssidega keskkondades.

See ei ole lugu ühe mõõdiku ebaõnnestumisest. See on lugu sellest, millest skoor sõltub. Ühel jaotusel treenitud mõõdik võib käituda teisiti, kui teda palutakse hinnata teist. Keelpaar, mille kohta on vähem hindamismaterjali, võib muuta skoori otsustavamaks, kui see tegelikult on. Süsteem, mida on mugav võrrelda, võib siiski olla halb aseaine sellele, mida kõnelejad peavad heaks tõlkeks. Inimhinnangud ei muuda hindamist täiuslikuks, kuid nad toovad esile kohad, kus automaatne mõõdik teeb eeldusi.

Teine 2024. aasta uuring, Benchmarking Low-Resource Machine Translation Systems, võrdleb avalikult kättesaadavaid süsteeme neljas andmestikus ja 26 keeles ning avaldab tulemused BENG-i kaudu, mis on FAIR-põhimõtetel põhinev loomuliku keele genereerimise võrdlusplatvorm. Jällegi ei ole panus universaalne edetabel. See on paremini ülevaatlik võrdlus. Tõhusust ja tulemuslikkust vaadeldakse koos ning keelte loend on nähtav. Lugeja saab küsida, kas võrdlus hõlmab seda marsruuti, mis on oluline, selle asemel et aktsepteerida ühte pealkirjanumbrit.

Need uuringud pakuvad Euroopa õppetunni vaoshoitusest. Raske osa ei ole uue skoori väljamõtlemine. See on sellise hindamise ülesehitamine, mis võimaldab lugejal näha, kelle keel, kelle ülesanne ja kelle kvaliteedimääratlus skoori tekitasid. Kui see kontekst puudub, muutub number piiriületuseks ilma passita. See võib esitlusest läbi pääseda, kuid keegi ei suuda kindlaks teha, kust see tuli.

Keelekatvus võib olla ohutusomadus

Ohutusarutelud keskenduvad sageli sisule, mida süsteem peaks keelduma, rünnakutele, millele see peaks vastu seisma, või vigadele, mida see peaks tabama. Keel lisab veel ühe küsimuse: kas süsteem suudab ära tunda, kui ta on väljaspool oma pädevust? Marsruut, mis töötab ühes keeles, võib teises keeles sagedamini ebaõnnestuda, säilitades samas sama enesekindla tooni. Kui liides ei näita erinevust, ei saa kasutajad oma usaldust kalibreerida.

See on eriti oluline, kui keel on osa ohutuse seisukohast kriitilisest suhtlusest. Patsient võib kirjeldada sümptomit regionaalses keelevariandis. Töötaja võib teatada ohust kohalikku terminit kasutades. Elanik võib esitada kaebuse õigekirjakonventsiooniga, mida normaliseerija käsitleb mürana. Mudel võib olla oma võrdlusuuringus tehniliselt täpne, kuid sellel marsruudil operatiivselt ebaturvaline. Asjakohane küsimus ei ole see, kas süsteem suudab genereerida usutava vastuse. See on see, kas ohutusmeetmeid hinnati selle keele ja olukorra põhjal, mis selle ees on.

Ohutus ei nõua, et iga keelemarsruuti käsitletaks erilise hädaolukorrana. See nõuab kontrolli vastavusse viimist tagajärjega. Madala riskiga otsingutulemus võib avalikustada oma allikad ja kutsuda üles parandusele. Meditsiinilise triaaži liides võib suunata ebakindla keelelise sisendi väljaõppinud spetsialistile. Õigusdokumentide töövoog võib hoida allikat ja tõlget kõrvuti ning nõuda enne avaldamist kinnitust. Häälesüsteem võib paluda kasutajal nime korrata, selle asemel et vaikselt valida lähim tuttav üksus. Need on tavalised insenertehnilised valikud, kui keelt käsitletakse süsteemi piiri osana.

Keeldumine ise vajab keelelist kujundust. Kasutajale ütlemine, et süsteem ei oska vastata, ei piisa, kui keeldumine on läbipaistmatu, alandav või kasutaja keeles kättesaamatu. Süsteem peaks ütlema, mida ta ei suutnud kindlaks teha, milline teave aitaks ja milline inim- või autoriteetne marsruut on saadaval. Muidu muutub ohutusmeede veel üheks juurdepääsutõkkeks. Euroopa keelepõhimõtet pannakse kõige selgemalt proovile siis, kui süsteem ei suuda taotletud vastust anda.

Mitmekeelse teenuse operatiivne kujundus

Usaldusväärsel mitmekeelsel teenusel on operatiivne kuju, mida on lihtne kirjeldada ja üllatavalt raske säilitada. Esiteks nimetab see ülesande. Tõlge, transkriptsioon, klassifitseerimine, otsing, kokkuvõtte koostamine ja genereerimine ei ole omavahel asendatavad. Teiseks nimetab see keelemarsruudi, sealhulgas kirja ning asjakohase regionaalse või valdkondliku piiri. Kolmandaks salvestab see lähtematerjali ja sellele rakendatud teisendused. Neljandaks määratleb see läbivaatamise ja edastamise tee. Viiendaks ütleb see kasutajale, mida süsteem saab ja ei saa väita.

Need sammud ei ole nõue tohutu bürokraatia järele. Need on miinimum, mis on vajalik keelelubaduse kontrollitavaks muutmiseks. Kui tarnija ütleb, et mudel toetab soome keelt, peaks ostja saama küsida, kas see tähendab teksti genereerimist, kõnetuvastust, tõlkimist millistest keeltest või kõike eelnimetatut. Kui tootemeeskond ütleb, et toetab regionaalset keelt, peaks see ütlema, kas tugi põhineb emakeelsetel andmetel, tõlgitud andmetel, väikesel hindamiskomplektil või eksperdiülevaatusel. Kui vastus on teadmata, on „teadmata" kehtiv staatus.

Teenus vajab ka muudatuste poliitikat. Uus koolitusmaterjal, uus tokeniseerija, uus tõlkemudel, uus terminiloend või uus kasutajaskond võib muuta keelelist käitumist. Väljalase, mis parandab ühte marsruuti, võib halvendada teist. Eelmise aasta võrdlusuuringu tulemus ei kirjelda automaatselt tänast süsteemi. Versioonikirjed, võrdlustestid ja marsruut keelepõhiste vigadest teatamiseks muudavad teenuse hooldatavaks, mitte ainult tseremoniaalseks.

Hooldusel on inimlik külg. Keeleeksperdid vajavad võimalust näha vigu, mis mõjutavad nende kogukondi. Valdkondade meeskonnad vajavad võimalust eristada tõlkeviga poliitika ebaselgusest. Operaatorid vajavad võimalust marsruut peatada, ootamata, et mudelitarnija kaebust tõlgendab. Kasutajad vajavad võimalust öelda, et süsteem sai valesti aru sõnast, kontekstist või inimese nimest. Mitmekeelne teenus ei ole lõppenud siis, kui mudel on kasutusele võetud. See on piisavalt lõppenud, et olla vastutav, kui järgmine keeleprobleem saabub.

Päritolu keelepipeline'i kaudu

Päritolu muutub käegakatsutavaks, kui jälgime üht tähendusühikut läbi süsteemi. Alusta lähtelõigust. Märgi üles selle keel, kiri, autor või asutus, kui see on teada, õigused ja eesmärk. Kui see on jaotatud osadeks, säilita seos originaaliga. Kui see on tõlgitud, säilita lähtetekst ning tõlkija või tõlkeprotsess. Kui toimetaja muudab sõnastust, märgi see uue olekuna, mitte vaikiva asendusena. Kui lõik muutub võrdlusmaterjali üksuseks, kanna sellega kaasa ülesanne, vastuste võti, keel ja ülevaatusprotokoll.

Käitusajal kehtib sama põhimõte vastupidises suunas. Salvesta, milline keeletrass taotlust töötles, milline mudeli- või tööriistaversioon töötas, milline lähtetõendusmaterjal hangiti, millisesse ebakindluse või keeldumise olekusse jõuti ja milline inimese tegevus järgnes. Protokoll ei pea avaldama erasisu igale operaatorile. Küll aga peab see tegema olulised faktid volitatud ülevaatajale kättesaadavaks. Ilma nendeta muutub keelejuhtum aruteluks muljete üle.

Siin erineb mitmekeelne päritolu üldisest auditilogist. Ajatempel ja mudeli nimi ütlevad meile, et midagi juhtus. Nad ei ütle, kas lähtetekst tõlgiti, kas vastus muutis numbri vormingut, kas nime sisaldav üksus normaliseeriti või kas ülevaataja töötas sihtkeeles. Teisendustee ongi tõendusmaterjal. Lühike vastus võib varjata pikka otsuste ahelat.

Selles lähenemises on väike hollandi voorus: hoia register piisavalt igav, et keegi saaks seda teisipäeva pärastlõunal kasutada. Päritoluprotokoll ei tohiks olla muuseumisilt, mis on kirjutatud auditi jaoks, mis ei pruugi kunagi saabuda. See peaks aitama operaatoril vastata järgmisele küsimusele, peatada õige trassi ja selgitada tulemust inimesele, keda sinu arhitektuuriskeem ei huvita. Hea keelehaldus on veidi igav. Just seetõttu tead, et see võib tööga kokkupuudet üle elada.

Tõlke varjatud valikud

Iga tõlkesüsteem kannab endas valikuid, mis väärivad nime. Tokeniseerimine otsustab, kuidas sisend tükeldatakse. Normaliseerimine otsustab, millised eristused säilitatakse või kaotatakse. Joondamine otsustab, milliseid kahe teksti osi käsitletakse samaväärsetena. Terminoloogia otsustab, millised sõnad on stabiilsed. Dekodeerimine otsustab, kuidas väljund valitakse. Järeltöötlus otsustab, mida lugeja näeb. Ükski neist sammudest pole iseenesest vale. Igaüks neist võib tekitada keelepõhise tõrke, mis on üldises demos nähtamatu.

Võtame pärisnime. Süsteem võib selle tõlkida, translitereerida, säilitada või asendada tuttava kirjapildiga. Luuletuse puhul võib mitu valikut olla kaitstavad. Isikut tõendava dokumendi puhul võib vastuvõetav olla ainult üks ja see võib sõltuda väljaandjast. Võtame ühiku või kuupäeva. Väärtused võivad jääda matemaatiliselt samaväärseks, samal ajal kui vorm muutub lugejale mitmetähenduslikuks. Võtame soolise nimisõna või asesõna. Tõlge võib lisada teavet, mille lähtetekst jättis välja, või kustutada eristuse, mille lähtetekst tegi teadlikult.

Disainilahendus ei ole keele külmutamine. See on poliitika sõnastamine ja erandi nähtavaks tegemine. Terminoloogianimekiri võib kaitsta õigustermineid. Pärisnime reegel võib takistada linna muutumist isikuks. Lähteteksti säilitav vaade võib lasta ülevaatajal võrrelda originaali ja väljundit. Inimese kaasamine võib käivituda madala usaldusväärsusega nime, trassidevahelise lahkarvamuse või kõrge mõjuga ülesandena klassifitseeritud töö korral. Mudel jääb kasulikuks, sest selle piirid on osa töövoost.

Suured keelemudelid muudavad valikud raskemini nähtavaks, sest väljund on sujuv. Sujuv väljund on imeline liides, kuid ebausaldusväärne selgitus. Süsteem võib toota lause, mis kõlab emakeelsena, valides samal ajal sõna vale tähenduse. See võib säilitada laia teema, kuid kaotada eituse. See võib tõlkida kohaliku väljendi standardseks fraasiks, mis muudab kõneleja seisukohta. Seetõttu ei saa keele kvaliteeti esitada ainult grammatika kaudu. Tähendusel on sotsiaalne kuju.

Kirjasüsteemid, murded, registrid ja institutsioonid

Keeletuge teatatakse sageli keelenime tasandil, kuid lugejad puutuvad kokku kirjasüsteemide, variantide ja registritega. Süsteem, mis tuleb toime tänapäevase standardse õigekirjaga, võib hädas olla ajalooliste dokumentidega. Kõnetuvastussüsteem võib tulla toime stuudioheliga, kuid ebaõnnestuda rahvarohkes jaamas. Avalikkusele suunatud vestlusrobot võib vastata formaalses registris, samal ajal kui kasutaja vajab lihtsat keelt. Institutsioon võib kasutada terminit, mis erineb tavakõnest põhjusel, mis on õiguslikult oluline.

Need ei ole äärejuhtumid halvustavas mõttes. Need on kohad, kus keel kohtub maailmaga. Piirkondlik nimi võib tähendada erinevust õige aadressi ja ebaõnnestunud kohaletoimetamise vahel. Murdesõna võib olla ainus sõna, mida inimene sümptomi kohta teab. Formaalne fraas võib anda märku, et sõnumil on õiguslik mõju. Kirjasüsteemi variant võib määrata, kas dokument on otsitav. Kui võrdlusuuring jätab need rajad välja, võib see siiski kasulik olla, kuid see ei saa esindada tervet keelt.

Kõigi variantide testimine ei ole alati võimalik. Aus vastus on kirjeldada toetatud alamhulka ja kutsuda üles esitama tõendeid ülejäänu kohta. Süsteem võib avaldada, et seda hinnati standardse kirjaliku hollandi keele põhjal avaliku teabe kokkuvõtete tegemisel, tegemata väiteid piirkondliku kõnetuvastuse kohta. See võib lisada testi friisi või baski keele jaoks, teeseldes, et lisandus lahendab kõik piirkondlike ja vähemuskeelte küsimused. Konkreetsus ei ole nõrkus. See ütleb kasutajatele, kus on alumine piir.

Institutsioonid peaksid samuti vastu panema mõttele, et üks riigikeele rada on automaatselt neutraalne. Halduskeel võib olla kättesaamatu sama keele kõnelejatele. Juurdepääsetavus ja mitmekeelsus kattuvad, sest mõlemad küsivad, kas lugeja saab aru ja tegutseda. Komisjoni keeletöö hõlmab just sel põhjusel lihtsustamise ja juurdepääsetava teksti vahendeid. Lause võib olla keeleliselt õige ja siiski institutsionaalselt kasutuskõlbmatu.

Kui liides on sujuv, kuid vale

Kõige raskemad keelevead ei ole silmapaistvad. Need on vastused, mis läbivad silmakontrolli. Kokkuvõte sisaldab õigeid nimesid, kuid muudab seda, kes vastutab. Tõlge säilitab nimisõnad, kuid muudab soovituse käsuks. Klassifikaator mõistab teemat, kuid jätab eituse märkamata. Häälesüsteem tunneb sõnad ära, kuid mitte kõneleja kõhklust. Kasutaja loeb väljundit oma emakeeles ja eeldab, et sujuvus on hoolivuse märk.

Peaksime kavandama seda tüüpi vigade jaoks, mitte ootama, et veider näide muutuks pealkirjaks. Võrrelge allikat ja väljundit suure mõjuga sisu puhul. Säilitage ebakindluse märgid. Hoidke tsitaadid või dokumendiviited küljes. Küsige kinnitust, kui number, nimi või tähtaeg on kesksel kohal. Tehke rada operaatorile nähtavaks. Pakkuge parandusmehhanismi, mis ei nõua kasutajalt teadmist, milline komponent ebaõnnestus. Need juhtnupud on väikesed, kuid muudavad tõlke kontrollitavaks tehinguks.

Inimlikku ülevaadet ei tohiks kirjeldada kui maagilist viimast kaitseliini. Ülevaatajatel on ajapiirangud, lüngad valdkonnateadmistes ja omad keelelised eeldused. Hea ülevaate liides annab neile lähteteksti, tulemuse, konteksti ja edastamise põhjuse. See fikseerib erimeelsused, mitte ei silu neid minema. Kui ülevaatajad parandavad korduvalt üht terminit, saab organisatsioon terminoloogiat parandada või ülesande piire muuta. Kui erimeelsus näitab, et lähtetekst ise on mitmetähenduslik, võib õige tegevus olla küsida autorilt, mitte treenida mudelit rohkem.

Operaatorid vajavad ka võimalust näha negatiivseid tõendeid. Milliseid keeli ei hinnatud? Millistel ülesannetel puudub inimülevaade? Millistele taotlustele keelduti vastamast? Millised kasutajad lahkusid marsruudilt pärast tõlget? Puudumine võib olla signaal. Roheline katvusdiagramm, mis jätab ebaõnnestunud teed välja, on turunduspindade kaart, mitte teenuse kaart.

Inimteadmised ei ole varunupp

Euroopa keeletehnoloogia poliitika seab keeleteadlased, andmeteadlased, arvutiinsenerid ja valdkonnaspetsialistid samasse lausesse. See on disaininõue, mitte nimekiri elukutsetest, keda kutsuda käivitamiskõnele. Igaüks neist näeb erinevat tõrget. Keeleteadlane näeb ebaloomulikku konstruktsiooni või kadunud eristust. Insener näeb segmenteerimis- või marsruutimisprobleemi. Valdkonnaspetsialist näeb ohtlikku kategooriaviga. Operaator näeb järjekorda, mida keegi ei oma. Teenuse kasutaja kogeb otsust, millel pole enam mõtet.

Inimteadmised peaksid kaasatud olema enne, kui võrdlusraamistik külmutatakse. Keeleekspert saab aidata valida testimaterjali, mis esindab tegelikke registreid, mitte ainult puhtaid lauseid. Valdkonnaekspert saab tuvastada terminid, mis ei tohi triivida. Kogukonna esindaja saab öelda meeskonnale, milline sõnastus tundub ametlik, tuttav või solvav. Andmehaldur saab selgitada, milline päritolu on kättesaadav ja milline mitte. Need sisendid kujundavad süsteemi lepingut. Need ei ole kaunistus pärast tehniliste otsuste tegemist.

Sellel on muidugi hind. Hea ülevaade võtab aega ja maksab inimestele teadmiste eest, mida sageli peetakse nähtamatuks. See kulu on keeletoe osa. Alternatiiv on kanda see kasutajatele, kes maksavad segaduse ja kaebustega, või töötajatele, kes tõlgivad ja parandavad marsruuti mitteametlikult. Süsteem, mis tundub odav, sest ignoreerib keeleteadmisi, ei ole tõhus. See on lihtsalt arve edasi lükanud.

Mida õiglane võrdlusraamistik peab avalikustama

Mitmekeelne võrdlusraamistik peaks algama väitega, mis on piisavalt väike, et seda testida. Väide võib olla, et süsteem suudab vastata avaliku teabe küsimustele teatud keeltes, säilitada kuupäevi ja numbreid ning keelduda vastamisest, kui lähtetõendid puuduvad. See võib olla, et tõlkemarsruut käsitleb teatud keelepaari ja valdkonda kindlal kvaliteeditasemel. See võib olla, et kõnetuvastaja suudab transkribeerida kindlat keelevarianti kindlates akustilistes tingimustes. Võrdlusraamistik on leping selle väite jaoks.

Leping vajab enamat kui keelte loendit. See peaks avalikustama ülesande, allika, valdkonna, registri, kirja, suuna, konteksti pikkuse, sisendtingimused, võrdlusvastused, aktsepteeritavad variandid, mõõdikud, inimülevaate ja määramatuse. See peaks ütlema, kas üksused kirjutati algselt igas keeles või tõlgiti. See peaks fikseerima, kes need üle vaatas ja millised erimeelsused jäid. See peaks eraldama koondtulemused keelepõhistest tulemustest. See peaks näitama piisavalt näiteid, et lugeja saaks aru, mida skoor mõõdab.

ELi MMLU kriteeriumid on kasulikud, sest nad laiendavad sõna „õiglane“ tähendust. Üks osa sellest on tasakaalustatud esindatus ELi ametlike keelte vahel. Teine on tähenduse, raskusastme ja testimisväärtuse säilitamine keelte lõikes. ELi väärtuste ja kultuurikontekstide testimine, sealhulgas idioomid, huumor, viited, kuupäeva- ja numbrireeglid, toon ja viisakus, muudab võrdlusraamistiku nii sotsiaalseks kui ka tehniliseks vahendiks. Kriteeriumid ei kaota otsustusvajadust. Nad muudavad otsuse kontrollitavaks.

Võrdlusraamistike loojad peaksid avaldama ka ebaõnnestumiste lõiked, mitte ainult keskmisi tulemusi. Mudelil võib olla hea keskmine skoor, kuid see võib läbikukkuda kõigi ülesannete puhul, mis hõlmavad teatud registrit või numbritüüpi. Marsruut võib olla tõhus ühes suunas ja aeglane või kallis teises. Mõõdik võib korreleeruda inimhinnanguga ühes keeles ja muutuda ebastabiilseks teises. Keelte- ja ülesannetepõhised vaated ei ole luksus. Need on see, kuidas ostja väldib keskmise ostmist, samal ajal kasutades erandit.

Lõpuks peaks võrdlusraamistik ütlema, mida see meile öelda ei suuda. Kirjalik test ei tõenda kõneoskust. Tõlkeskoor ei tõenda õiguslikku usaldusväärsust. Ametlike keelte loetelu ei tõenda piirkondlike või vähemuskeelte toetust. Kõrge skoor ei tõenda, et inimene saab otsuse vaidlustada. Piirang ei ole piinlikkus. See on kaardi serv ja kasutajad peavad seda nägema enne, kui nad purjetama lähevad.

Skoor on kaardilegend, mitte territoorium

Numbrid on kasulikud, sest nad sunnivad võrdlema. Nad on ohtlikud, sest nad kutsuvad esile järelduse, mis on mõõtmisest suurem. Skoor võib öelda, kuidas süsteem käitus kindlal valimil kindla meetodi järgi. See ei saa öelda, kuidas kogukond süsteemi kogeb, ilma eelduste sillata. Sild võib olla kindel. See tuleb nimetada.

Oletame, et süsteem paraneb pärast peenhäälestust mitmekeelses võrdlusraamistikus. See on tõend paranenud sooritusest sellel hindamisel. See ei ole automaatselt tõend, et süsteem on avalikus teenistuses ohutum. Teenus võib kasutada erinevat terminoloogiat, pikemat konteksti, kõnesisendit, erinevat registrit või allavoolu töövoogu, mis muudab soovituse otsuseks. Võrdlusraamistik võib siiski olla väärtuslik. See muutub väärtuslikumaks, kui organisatsioon ütleb, millist teenuse osa see esindab.

Sama distsipliin kehtib energia, kiiruse ja kulude kohta. Väheste ressurssidega keele marsruut võib nõuda rohkem inimülevaadet või suuremat otsingukonteksti. See ei ole viga, mida keskmises varjata. See on teenuse omadus, mis peaks kujundama disaini. Euroopa institutsioonid on aastaid ehitanud tõlke- ja keeleteenuseid, sest keelelise mitmekesisuse praktiline hind on reaalne. AI-süsteem ei kaota seda hinda lihtsalt kiiresti teksti tootes.

Ei ole häbiväärne valida kitsam tee. Meeskond võib toetada vähem ülesandeid hästi, avaldada piiri ja lisada keeli, kui tõendid kasvavad. See on parem kui väita kõiki keeli ja lasta kasutajatel lüngad ise avastada. Euroopa standardiinstinkt on kõige tugevam, kui see on ühendatud Hollandi instinktiga kontrollida, kas asi töötab tavalisel kolmapäeval.

Ehita 24-le, testi üle 24

Euroopa Liidul on 24 ametlikku ja töökeelt ning komisjoni tõlketeenistus tegutseb nende kõigi vahel. See arv loob kasuliku lähtetaseme avalikule taristule. See ei määratle Euroopa keelelist elu. Piirkondlikud, vähemus-, mitte-territoriaalsed ja rändekeeled kujundavad samuti kogukondi ja institutsioone. 24-le ehitatud süsteem võib siiski välistada inimesi, kes ei kasuta üht neist radadest või kes kasutavad ametlikku keelt kujul, mida süsteem ei hinnanud.

24-le ehitamine on seega vastutus teha algtase reaalseks, mitte luba peatuda. Keeleteel peaks olema oma tõendusmaterjal. Avalik asutus peaks suutma öelda, millised ametlikud keeled on kaetud milliste ülesannete jaoks, milline inimülevaade on olemas ja kust kasutajad saavad autoriteetse versiooni. Samuti peaks sellel olema võimalus õppida keeltest, mis jäävad esialgsest hulgast välja, ilma et kogukonnast saaks tasustamata testimislabor.

Testimine kaugemale kui 24 tähendab enamat kui uudse keele lisamist demosse. See tähendab koostööd kõnelejate, asutuste ja teadlastega, et otsustada, mis ülesanne on, milleks lähtematerjali kasutada võib ja mis loetakse kahjulikuks veaks. Protsess võib anda väikese, hoolikalt piiritletud võimekuse. Ka see on areng. Tagasihoidlik tee selge lepinguga võib olla väärtuslikum kui muljetavaldav väide, mida ükski operaator kaitsta ei suuda.

Mida me püüame selgesõnaliseks teha

Dweve’is läheneme sellele teemale infrastruktuuri poolelt. Loom on meie avalikes tootematerjalides kirjeldatud kui ülesandepõhine kognitiivne mudel, mille keelekomponendid esitavad juhitud tulemusgraafi, samas kui piirangute õppimine, graafi koostamine, lahendajad ja kontroll kannavad otsustusõigust. See on arhitektuuriline seisukoht, mitte mitmekeelse jõudluse väide. See ei muuda keeleteed õigeks. Kuid see muudab ühe kohustuse raskeks varjata: keeleväljund ei tohiks olla ainus koht, kus süsteemi arutluskäik ja tõendid eksisteerivad.

Meie Ground Truth’i töö teeb sama punkti inimlikumal skaalal. Inimestel on vaja piisavalt ühist keelt, et eristada mudelit töövoost, ennustust tõendist ja sujuvat vastust kontrollitud tulemusest. Mitmekeelsetes süsteemides vajab see sõnavara veel ühte sõna: tee. Hollandi-, prantsuse- ja baski-keelne vastus ei ole lihtsalt ühe sisemise sündmuse erinevad esitused, kui tõendid, terminoloogia, ülevaatus ja tõrkekäitumine erinevad. Tee on osa väitest.

See seisukoht on teadlikult vähem põnev kui väide, et üks mudel mõistab Euroopat. See on ka kasulikum. Me tahame, et süsteem näitaks, mida see sai, milliseid allikaid ja piiranguid see kasutada sai, mida see ei suutnud kindlaks teha ja millal peaks inimene üle võtma. Keel on pind, mille kaudu inimene selle tööga kokku puutub. Pind peaks olema selge, kuid sellel ei tohiks lubada kustutada all olevat struktuuri.

Me ei ole siin kirjeldatud standarditest vabastatud. Päritoluväli ei paranda puuduvat andmeid. Deterministlik tee ei tõesta, et tõlge on õiglane. Euroopa töötlemispiir ei anna keelelist pädevust. Ainus aus viis mitmekeelse väite esitamiseks on jätkata testimist, avaldada piirid ja lasta keeleekspertidel teed vaidlustada. Tootenimi ei ole tõend. Ülestähendus on.

Praktiline standard meeskondadele

Meeskonnad, kes otsustavad, kas võtta kasutusele mitmekeelne tehisintellekti funktsioon, võivad alustada lühikese küsimuste komplektiga. Mida täpselt peab süsteem igas keeles tegema? Millised inimesed on mõjutatud, kui see eksib? Milline lähtematerjal on autoriteetne? Kuidas ja kelle poolt loodi testiüksused? Millised registrid, kirjasüsteemid, murded ja valdkonnad on väite sees? Mida teeb süsteem, kui see ei suuda tähendust kindlaks teha? Kes saab tee peatada? Kuidas saab kasutaja vastust parandada ilma, et temast saaks projekti tasustamata keeleteadlane?

Küsimused muutuvad konkreetseks, kui need seotakse artefaktidega. Pidage keeletee kaarti koos ülesande, toetatud keelevariantide, allikaperekondade, õiguste staatuse, mudeli ja tööriistaversioonide, hindamistulemuste, teadaolevate tõrkerežiimide ja ülevaataja omanikuga. Hoidke näiteid vigadest koos kontekstiga, mitte ainult skoori. Hoidke allikat kõrge mõjuga tõlke kõrval. Hoidke eskalatsiooni põhjust, mida operaator mõistab. Hoidke muudatuste ülestähendust, kui tokeniseerija, terminiloend, võrdlusuuring või mudel muutub.

Hankemeeskonnad saavad tarnijatelt küsida tulemusi keele- ja ülesandepõhiselt, mitte ainult üht mitmekeelset keskmist. Nad saavad küsida, kas etalon oli tõlgitud või algselt kirjutatud, kas inimhinnangud on kättesaadavad, kuidas väheste ressurssidega keelte marsruute käsitletakse ja kas tarnija suudab eksportida ülevaatuseks vajalikud tõendid. Nad saavad küsida, mis juhtub siis, kui keelt ei toetata, sest keeldumisel ja vaiksel varuvariandil on väga erinevad tagajärjed.

Tootemeeskonnad saavad liidese kujundada nii, et see näitab marsruuti ja usaldusväärsust, teesklemata, et usaldusväärsuse number on tõe tõenäosus. Nad saavad säilitada allikalingid, kasutada keeldumistes selget keelt ja muuta ülevaatustoimingud nähtavaks. Nad saavad vältida väljendit toetab kõiki keeli, kui nad ei suuda seda tegusõna määratleda. Toetamine võib tähendada teksti kuvamist, sisendi vastuvõtmist, tõlkimist, kokkuvõtete tegemist, vastamist, liigitamist, kõnelemist või reguleeritud töövoo haldamist. Keelevalija ei ole spetsifikatsioon.

Teadusmeeskonnad saavad avaldada andmestikke koos päritolu ja parandusradadega. Nad saavad lisada negatiivsed tulemused ja teavitada, kui mõni mõõdik ei kandu hästi üle. Nad saavad kutsuda keelekogukondi hindamisse enne, kui mudel kuulutatakse valmis, ja maksta asjatundlikkuse eest. Nad saavad vastu panna survele muuta kitsas tulemus universaalseks väiteks. Kõige väärtuslikum etalon võib olla see, mis paneb meeskonna tootelehelt lause eemaldama.

Ühiskond mudeli taga

Keelemudel võib olla väga hea keele tootmisel, teadmata, mida keel ühiskonnas teeb. See suudab ennustada fraasi, tõlkida lõigu ja vastata küsimusele, jäädes märkamata sõnadega kantud institutsionaalsele suhtele. See lünk ei ole tõend, et mudel on kasutu. See on tõend, et keel on rohkem kui andmetüüp.

Euroopa vastus ei tohiks olla võistlus keelte lugemises mudelikaardil. See peaks olema püsiv pingutus, et muuta keeleandmed, õigused, asjatundlikkus, hindamine ja avalik kontroll sama taristu osaks. Komisjoni keeletehnoloogiatöö, Language Data Space, European Language Grid ja ELi MMLU etalon osutavad kõik selles suunas. Euroopa teadlased testivad, mis juhtub siis, kui tõlgitud etalone käsitletakse uurimisküsimustena, mitte vaieldamatute vahenditena. See töö väärib tähelepanu, sest see muudab vana poliitilise fakti tehniliselt nähtavaks: inimesed ei koge liitu ühes keeles.

Järgmine kord, kui tarnija ütleb, et mudel on mitmekeelne, küsige, mida see väide sisaldab. Millised keeled? Millised ülesanded? Millised kogukonnad? Millised allikad? Milline ülevaatus? Milline keeldumine? Milline muudatuste register? Küsimus ei ole vaenulik. See on aruandluse tavaline algus.

Ühiskond ei muutu õiglaseks sellepärast, et masin suudab selle sõnu korrata. See muutub õiglasemaks, kui inimesed pääsevad selle institutsioonidesse, mõistavad, mis toimub, vaidlustavad tulemuse ja neid kuulatakse keeles, mis kannab nende elu. Mudel saab seda tööd toetada. See ei saa seda määratleda. Mudeli keel on tehniline võimekus. Ühiskonna keel on ühine vastutus.

Allikad