Mallin kieli ei ole yhteiskunnan kieli

Monikielinen malli ei ole reilu vain siksi, että sen käyttöliittymä luettelee monta kieltä. Kielikattavuus on institutionaalinen, kulttuurinen ja...

Mallin kieli ei ole yhteiskunnan kieli

Kuusitoista kieltä on alku, ei tuomio

Euroopan komission käännöstoimisto julkaisi 22. heinäkuuta 2026 EU MMLU -vertailuaineiston, jonka tarkoituksena on testata suuria kielimalleja eurooppalaisissa kielellisissä ja kulttuurisissa yhteyksissä. Julkaisu oli poikkeuksellisen rehellinen siitä kuilusta, jota se yritti kuroa umpeen. Monet arviointiaineistot on rakennettu englanniksi. Malli voi menestyä niissä hyvin ja silti toimia huonosti ranskaksi, unkariksi tai maltaksi. Uusi aineisto alkaa kuudellatoista EU:n virallisella kielellä, seitsemällä aihealueella ja yli tuhannella kysymyksellä, jotka lähes 250 opiskelijaa 21 eurooppalaisesta yliopistosta on kääntänyt ja tarkistanut.

Tärkein osa tuota ilmoitusta ei ole kieliluettelo. Se on sen alla oleva lause: mallin käyttäytymistä ei voi päätellä siitä kielestä, jolla se vaikuttaa sujuvimmalta. Sen pitäisi olla itsestään selvää. Se on myös oletus, jonka varassa huomattava osa hankinnoista, tutkimuksesta ja julkisesta keskustelusta tehdään. Puhumme edelleen kielimallista kuin sillä olisi yksi mieli, ja pyydämme sitä sitten pukemaan eri kielet ylleen kuin takit. Takki vaihtuu. Mielen, todisteiden, sokeiden pisteiden ja sosiaalisen ympäristön oletetaan pysyvän samoina.

Ne eivät pysy samoina. Kieli on paikka, jossa ihminen kohtaa instituution. Se kantaa etuuden ehtoja, valituksen sävyä, eron neuvon ja ohjeen välillä, vitsin muodon, paikan nimen ja lomakkeen oletukset. Kun järjestelmä käsittelee toista kieltä paremmin kuin toista, se ei tuota vain vähemmän tyylikästä lausetta. Se voi muuttaa sen, kuka tulee ymmärretyksi, keneen uskotaan, kuka voi haastaa tuloksen ja kuka luovuttaa ennen kuin löytää oikean oven.

Käytännön johtopäätös on selvä. Monikielinen tekoäly ei ole käännösominaisuus, joka lisätään malliin sen rakentamisen jälkeen. Se on kysymys saavutettavuudesta, todisteista ja auktoriteetista. Euroopan työ kieliteknologioiden, kieliaineistojen ja monikielisen arvioinnin parissa on arvokasta, koska se kohtelee ongelmaa infrastruktuurina. Työ on vielä kesken. Vertailuaineisto ei ole takuu, eivätkä kuusitoista kieltä ole koko Eurooppa. Mutta suunta on oikea: lopetetaan kysyminen, puhuuko malli kieltä, ja aletaan kysyä, mitä se voi turvallisesti tehdä sillä kielellä, kenelle, millä ehdoilla ja minkä todisteiden varassa.

Kielikattavuus on uskottavaa vain, jos lähde-, konteksti-, tarkistus- ja palveluväitteet pysyvät yhteydessä toisiinsa.

Kieli on saavutettavuuden raja

Eurooppa on tehnyt kielestä institutionaalisen tosiasian, ei yksityisen mieltymyksen. Perusoikeuskirjan 22 artiklan mukaan unioni kunnioittaa kulttuurien, uskontojen ja kielten monimuotoisuutta. Komission oma kieliteknologiapolitiikka asettaa tämän velvoitteen rinnalle käytännön varoituksen: kieliteknologioita on käytettävä puolueettomasti, jotta oikeudet ja periaatteet säilyvät myös ohjelmistojen kanssa toimittaessa. Nämä eivät ole koristeellisia sitoumuksia. Ne kuvaavat rajan, jonka julkinen järjestelmä kohtaa, kun asukas ei voi lukea ilmoitusta, ei voi ymmärtää, miksi päätös on tehty, tai ei voi ilmaista olennaista tosiasiaa sillä kielellä, jolla tosiasia on olemassa.

Tämä raja jää helposti huomaamatta, kun tiimi mittaa vain sitä, onko käännös tuotettu. Lause voi saapua pyydetyllä kielellä ja silti epäonnistua sen henkilön kohdalla, joka sitä tarvitsee. Käännös voi tasoittaa oikeudellisen eron, muuttaa kohteliaisuustasoa, joka kertoo, pyytääkö vai määrääkö viranomainen, tai käyttää termiä, jolla on arkimerkitys mutta myös erikoistunut merkitys tietyssä palvelussa. Puheentunnistin voi muuttaa alueellisen ääntämyksen toiseksi sanaksi. Tiivistäjä voi poistaa sen rajauksen, johon vastuu liittyy. Sujuvuus ei kerro, säilyikö asiointi ehjänä.

Kuvitellaan julkinen tiedotuspalvelu, joka tarjoaa saman kelpoisuusselityksen hollanniksi, ranskaksi ja alueellisella kielellä. Kaksi ensimmäistä reittiä on koulutettu ja testattu hallinnollisella aineistolla, valituskirjeillä ja asiantuntijakeskusteluilla. Kolmannella reitillä on erinomaista yleiskieltä, mutta ei merkityksellistä arviointia palvelun omalla terminologialla. Hallintapaneeli voi näyttää kolme vihreää kielimerkintää. Asukkaat eivät saa kolmea samanarvoista palvelua. Yksi ryhmä saa selityksen, toinen saa likimääräistyksen, kolmas saa hiotun epävarmuuden, joka näyttää viralliselta, koska siinä on oikea logo.

Esimerkki on tarkoituksella hypoteettinen. Se ei ole väite tietystä kunnasta tai toimittajasta. Sen tarkoitus on paljastaa suunnitteluvirhe. Kielituki lasketaan usein käyttöliittymässä, vaikka varsinainen velvoite sijaitsee kauempana ketjussa. Järjestelmän on tiedettävä, mikä data tukee kieltä, mitkä tehtävät on arvioitu, kuka virheet on tarkistanut, miten käyttäjät voivat korjata ne ja milloin reitin on kieltäydyttävä vastaamasta. Jos nämä tiedot puuttuvat, kielivalitsin on lupaus ilman sopimusta.

Mallin kartta ei ole yhteiskunnan kartta

Malli oppii kielikartasta, jonka sen data ja koulutusprosessi tekevät saataville. Yhteiskunta elää paljon laajemmassa kartassa. Mallin kartta sisältää tekstit, tallenteet, merkinnät, käännökset ja arvioinnit, jotka on hyväksytty. Yhteiskunnan kartta sisältää ihmisiä, jotka puhuvat eri tavalla kotona ja työssä, vaihtavat rekisteriä ilmoittamatta siitä, lainaavat sanoja rajan yli, käyttävät vähemmistökieltä paikallisessa instituutiossa tai kirjoittavat kirjoitusjärjestelmällä, jota vertailuaineisto ei sisältänyt. Toinen kartta on tekninen artefakti. Toinen on elämien, oikeuksien ja velvoitteiden järjestely.

Ero on merkityksellinen myös kielille, joilla on laajat julkiset aineistot. Kansalliskieli ei ole yksi yhtenäinen virta. Hallinnon lomakkeet, tuomioistuinpäätökset, luokkahuonepuhe, terveysneuvonta, tekstiviestit ja naapurusten välinen keskustelu käyttävät erilaisia sanastoja ja sietävät eri määrän monitulkintaisuutta. Malli voi olla pätevä uutisproosassa mutta heikko etuuskäsittelyssä. Se voi hallita standardikirjoitusasun mutta kamppailla murteen kanssa. Se voi kääntää kirjaimellisen lauseen mutta jättää huomiotta kohteliaan ilmauksen kantaman pragmaattisen merkityksen. Kutsuttaessa koko kieltä tuetuksi tehtäväraja jää näkymättömiin.

Kieliteknologia tarvitsee siksi täsmällisemmän sanaston. Meidän on erotettava toisistaan se, että kieli on mukana harjoitusaineistossa, ja se, että tehtävä arvioidaan kyseisellä kielellä. Meidän on erotettava toisistaan vertailukäännös ja itsenäisesti laadittu testikohta. Meidän on erotettava toisistaan kirjoituksen lukeminen ja yhteisön rekisterin ymmärtäminen. Meidän on erotettava toisistaan järjestelmän kyky tuottaa tekstiä ja sen toimivalta neuvoa, luokitella tai päättää. Jokainen erottelu on pieni paperityön pala. Yhdessä ne estävät laajan väitteen kokoamisen kapeasta näytöstä.

Tiukkuudelle on institutionaalinen syy. Julkiset palvelut eivät voi vapaasti valita helpointa kieltä ja kutsua tulosta tehokkaaksi. Pankilla, sairaalalla, työnantajalla tai ohjelmistotoimittajalla voi olla erilaiset lakisääteiset velvoitteet, mutta jokainen päättää, kuinka paljon kitkaa ihmisen on siedettävä tullakseen ymmärretyksi. Monikielinen reitti, joka epäonnistuu hiljaa, siirtää kustannuksen käyttäjälle. Käyttäjän on löydettävä kääntäjä, kerrottava tarina uudelleen, hyväksyttävä huonompi lopputulos tai luovuttava prosessista. Järjestelmä raportoi onnistumisen, koska se palautti merkkijonon. Ihminen kokee ulkopuolisuutta erinomaisella kieliopilla.

Mitä vähäinen kieliresurssi oikeastaan tarkoittaa

Vähäistä kieliresurssia kohdellaan usein kielen ominaisuutena, ikään kuin jotkin kielet olisivat saapuneet mallin ovelle vähemmillä resursseilla ja niiden pitäisi pyytää anteeksi aiheuttamaansa vaivaa. Hyödyllisempää on kohdella sitä tehtävän, aineiston ja hallintopäätöksen ominaisuutena. Kielellä voi olla runsaasti kaunokirjallista aineistoa mutta vähän merkittyä dataa lääketieteelliseen luokittelijaan. Sillä voi olla rinnakkaistekstiä mutta lähes ei lainkaan puhenauhoitteita. Se voi olla edustettuna korpuksessa ilman tiettyyn käyttöönottoon tarvittavia oikeuksia tai metatietoja. Sitä voi olla dataa standardimuodossa, kun taas asianomaiset ihmiset käyttävät alueellista varianttia.

Euroopan komission kieliteknologiapolitiikka nimeää tämän selvästi. Kielidata on kielityökalujen perusta, ja ihmisen asiantuntemus on välttämätön osa onnistunutta kehitystä. Malli tarvitsee tekstiä tai puhetta, algoritmeja, laskentatehoa ja ihmisiä, jotka ymmärtävät kielen ja toimialan. Minkä tahansa näistä elementeistä poistaminen muuttaa järjestelmää. Suurempi laskentateho ei voi luoda puuttuvaa keskustelua. Useammat esimerkit eivät voi korjata sellaista merkintää, joka sekoittaa kaksi oikeudellista luokkaa. Suurempi malli ei voi päättää, mitä lähdettä yhteisö pitää auktoritatiivisena.

Vähäisen kieliresurssin työ ei siksi ole kutsu alentaa standardia. Se on syy tehdä standardi näkyväksi. Jos tehtävällä on vähän arviointiaineistoa, sanokaa se. Jos mittari on epävakaa kieliparille, raportoikaa epävakaus. Jos ihmistarkistus oli pieni, yksilöikää tarkistuksen laajuus sen sijaan, että esitätte sen yleisenä takeena. Jos reitti on hyödyllinen luonnosteluun mutta ei päätöksentekoon, asettakaa se raja sinne, missä ostaja ja käyttäjä sen näkevät. Rehellinen niukkuus on turvallisempaa kuin runsaan näköinen hiljaisuus.

Euroopan kielimaisema tekee tästä kurinalaisuudesta väistämätöntä. Komissio kuvailee monimuotoista virallisten, alueellisten ja vähemmistökielten joukkoa ja on tukenut aloitteita, kuten European Language Grid, European Language Equality -agenda ja Common European Language Data Space. Nämä hankkeet eivät ole yksi ratkaisu, eikä niitä pidä kuvata sellaisiksi. Ne ovat palasia ekosysteemistä, jossa data, työkalut, oikeudet, asiantuntemus ja julkiset laitokset voivat kohdata. Institutionaalinen muoto on yhtä tärkeä kuin sen sisällä oleva malli.

Oikeuksien kerros tulee ennen vertailua

Kielimalleista on houkuttelevaa puhua ikään kuin kieli olisi neutraali syötekanava. Se ei ole. Syöte voi sisältää henkilötietoja, suojatun ominaisuuden, paikannimen, terveystiedon tai merkinnän siitä, että henkilö on pyytänyt apua. Lähde voi olla tekijänoikeuden suojaama tai sen käyttöön voi liittyä rajoitus. Käännettyä tulosta voidaan käyttää päätöksenteossa, vaikka käännösreittiä ei olisi koskaan arvioitu kyseiseen käyttötilanteeseen. Mallin kieliongelma on jo oikeusongelma ennen kuin kukaan valitsee pistemäärän.

Komission kieliteknologiaohjeistus yhdistää kielidatan sekä tekijänoikeuteen että tietosuojaan. Tämän yhteyden pitäisi muuttaa sitä, miten tiimit suunnittelevat putkistoja. Korpus ei ole pelkkä lajitelma lauseita. Sillä on lähdeidentiteetti, hankintaehdot, lisenssi- tai oikeustilanne, kieli- ja kirjoitusjärjestelmämetatiedot, laatusignaalit, käyttötarkoitus ja säilytyssäännöt. Jos kohde korjataan tai poistetaan, organisaation on tiedettävä, mihin johdettuihin tuotoksiin muutos vaikuttaa. Muuten myöhempi malli voi toistaa vanhan virheen tuoreelta painetun lomakkeen varmuudella.

Tässä kohtaa alkuperän käsite osoittaa arvonsa. Alkuperä ei ole alaviite, jossa todetaan datan tulleen jostakin. Se on joukko suhteita, joiden avulla arvioija voi siirtyä tuloksesta olennaiseen näyttöön ja takaisin. Monikielisessä työssä näiden suhteiden on säilyttävä käännöksen, litteroinnin, normalisoinnin, segmentoinnin ja arvioinnin läpi. Benchmarkia varten käännetty lause ei ole vaihtokelpoinen lähdelauseen kanssa. Arvioijan tekemä merkintä ei ole vaihtokelpoinen toisesta kielestä perityn merkinnän kanssa. Muunnos on osa näyttöä.

Ei ole vaatimusta, että jokainen käyttäjä näkisi tutkimuskirjanpidon. On vaatimus, että organisaatio pystyy vastaamaan vakavaan kysymykseen, kun sellainen esitetään. Mitä kieliresurssin versiota käytettiin? Mitä tehtävää se tuki? Mitkä kieliasiantuntijat arvioivat sen? Mitä järjestelmä teki, kun luottamus oli alhainen? Käsiteltiinkö valitus korjauksena yhteen vastaukseen vai mahdollisena virheluokkana? Kielireitistä tulee luotettava, kun näillä kysymyksillä on omistajat ja kirjaukset.

Eurooppa rakentaa kieli-infrastruktuuria, ei vain käännöspainikkeita

Euroopan komission kuvaus yhteisestä eurooppalaisesta kielidata-avaruudesta on hyödyllinen, koska se ei supista hanketta mallijulkaisuksi. Tavoitteena on alusta ja markkinapaikka monikielisen ja multimodaalisen kielidatan keräämiseen, jakamiseen ja uudelleenkäyttöön siten, että datan tuottajat eli organisaatiot ja yksityishenkilöt säilyttävät hallinnan. Tämä sanamuoto viittaa erilaiseen käsitykseen edistyksestä. Työ ei ole vain paremman lauseen tuottamista. Se on kieliresurssien löydettävyyden, oikeustietoisuuden, uudelleenkäytettävyyden ja vastuullisuuden varmistamista julkishallinnossa, tutkimuksessa ja teollisuudessa.

European Language Grid teki vastaavan liikkeen tuomalla erikoistuneet kieliteknologian työkalut ja resurssit yhteiseen luetteloon. Luettelo ei todista, että jokainen palvelu toimii jokaiseen tehtävään. Se kuitenkin tekee piilotetun riippuvuuden helpommaksi tarkastaa. Tiimi voi kysyä, mitä työkalu tekee, mitä kieltä se tukee, mistä sen data on peräisin ja vastaako lisenssi suunniteltua käyttöä. Tämä on epäkiiltävää infrastruktuuria. Se on myös tapa, jolla monien instituutioiden maanosa välttää saman kielikyvykkyyden rakentamisen uudelleen toisistaan erillisissä huoneissa.

Infrastruktuurilla on merkitystä, koska kielityön pitkä häntä ei ratkea yhdellä lippulaivamallilla. Julkinen toimija voi tarvita puheentunnistusta alueelliselle aksentille, termien poimintaa erikoistuneelle toimialalle, käännösmuistia lainsäädännölle, nimettyjen kokonaisuuksien tunnistusta paikannimille tai tavan verrata kahta asiakirjav versiota diakriittisiä merkkejä menettämättä. Yritys voi tarvita paikallisen käyttöönoton, koska aineisto ei voi poistua sen lainkäyttöalueelta. Tutkimusryhmä voi tarvita datasetin, jolla on selkeä alkuperä, mieluummin kuin toisen anonyymin pistemäärän.

There is a quiet political choice in this approach. The data and tools are treated as capabilities that Europe should be able to inspect and shape, not as a service that arrives from an invisible elsewhere. That does not mean European systems are automatically good or that commercial providers elsewhere cannot be useful. It means a language is too important to be left without a public vocabulary for its data, its gaps and its evaluation. Sovereignty begins with knowing what the system cannot see.

Kääntäminen ei ole neutraalia putkityötä

Kääntäminen sijoitetaan usein arkkitehtuurikaaviossa kahden komponentin väliin, ikään kuin se olisi putki, joka kuljettaa merkityksen puolelta toiselle. Oikea kääntäminen on sarja päätöksiä. Mikä lähdeteksti on auktoritatiivinen? Mitkä sanat on säilytettävä tarkasti? Mikä monitulkintaisuus on säilytettävä? Mikä kulttuuriviittaus tarvitsee selityksen? Mikä rekisteri sopii julkiseen ilmoitukseen? Mitä entiteettiä ei saa kääntää? Mikä päivämäärä, luku tai yksikkö esitetään lukijan käytännön mukaisesti? Malli voi tehdä nämä päätökset nopeasti. Nopeus ei tee niistä näkymättömiä.

Mieti eroa sään kääntämisen ja määräaikaa koskevan ilmoituksen kääntämisen välillä. Ensimmäisessä pieni tyylivirhe voi olla ärsyttävä. Jälkimmäisessä luku tai modaaliverbi voi muuttaa sitä, mitä ihminen uskoo olevansa velvollinen tekemään. Taustalla olevalla kielimallilla voi olla sama token-budjetti ja sama luottamusnäyttö. Yhteiskunnalliset seuraukset eivät ole samat. Arvioinnin on siis seurattava tehtävää, ei pysähdyttävä yleiseen kielipisteeseen.

Komission sivu omasta kieltenkäytöstään tekee asian selväksi ilman draamaa. Konekäännös voi antaa peruskäsityksen, mutta laatu ja tarkkuus vaihtelevat merkittävästi tekstistä toiseen ja kieliparien välillä. Tämä on hyödyllinen julkinen lause, koska se kieltäytyy muuttamasta palvelua oraakkeliksi. Se antaa lukijalle luvan käyttää käännöstä suunnistukseen säilyttäen samalla syyn hakea ihmisen tekemää tai auktoritatiivista versiota, kun seuraukset sen vaativat.

Tuotetiimeille tämä tarkoittaa joukkoa selkeitä reittejä. Vähämerkityksinen käännös voidaan palauttaa suoraan selkeällä tilalla. Laki- tai lääketieteellinen reitti voi vaatia ihmisen tarkistuksen, lähdelinkin tai kieltäytymisen. Sisäinen luonnos voi säilyttää lähteen käännöksen rinnalla. Puhekäyttöliittymä voi toistaa kriittisen nimen ja pyytää vahvistusta. Valinta ei ole täyden automaation ja ei-automaation välillä. Se on putkiston, joka ilmoittaa luovutuksensa, ja sellaisen, joka piilottaa ne sujuvan kappaleen taakse, välillä.

Lause säilyy, tilanne ei

Mallit toimivat representaatioilla. Yhteiskunnat toimivat tilanteilla. Kun käännös siirtyy toisesta toiseen, pienistä yksityiskohdista voi tulla koko merkitys. Ilmaus, joka on kohtelias yhdellä kielellä, voi kuulostaa välttelevältä toisella. Termi, joka erottaa lakisääteisen oikeuden harkinnanvaraisesta palvelusta, voidaan typistää yleiseksi avun sanaksi. Idiomi voidaan kääntää kirjaimellisesti ja siitä tulee hölynpölyä, tai se voidaan kääntää vapaasti ja menettää viittaus, joka tunnistaa yhteisön. Mikään näistä epäonnistumisista ei vaadi järjetöntä tuotosta. Vaarallinen vastaus on se, joka näyttää tavalliselta.

EU:n MMLU-julkaisu osoittaa juuri tälle alueelle. Sen laatukriteerit pyytävät monikielisiä vertailuarvoja testaamaan paitsi merkitystä ja vaikeutta myös idiomeja, huumoria, kulttuuriviittauksia, päivämäärä- ja lukumuotoja sekä eroja odotetussa sävyssä tai kohteliaisuudessa. Tämä on tärkeä arviointikohteen laajennus. Kielimallilta ei kysytä vain, pystyykö se tuottamaan kieliopillisesti oikean lauseen. Siltä kysytään, kuuluuko lause siihen tilanteeseen, jossa ihminen toimii sen perusteella.

Huumorin mainitseminen ei ole kutsu tehdä vertailusta viihdyttävää. Se tunnustaa, että huumori on kontekstin stressitesti. Sanatarkka käännös voi säilyttää sanat mutta tuhota vitsin. Kulttuurisesti mukautettu käännös voi säilyttää vaikutuksen samalla kun viittaus muuttuu. Julkisessa tiedotuspalvelussa sama mekanismi esiintyy ilman naurua. Sananlasku, paikannimi tai muodollinen tervehdys voi kertoa, kuka puhuu ja millaisen suhteen viesti luo.

Kun tiimit sanovat, että malli ymmärtää kieltä, heidän tulisi kysyä, mitä kerrosta he tarkoittavat. Tunnistaako se kirjoitusjärjestelmän? Osittaako se sanat oikein? Tunnistaako se entiteetit? Kääntääkö se proposition? Säilyttääkö se oikeudellisen vaikutuksen? Noudattaako se paikallista käytäntöä? Säilyttääkö se puhujan varmuuden tason? Käsitteleekö se epästandardin kirjoitusasun? Vastaako se oikeassa rekisterissä? Nämä ovat erillisiä kyvykkyyksiä. Yksi nimike, monikielinen, peittää alleen työn, joka tarvitaan kunkin näistä vakiinnuttamiseen.

Miksi arvioinnin on kuljettava kielen mukana

Arviointi lisätään usein lopussa, koska tiimit haluavat numeron liitettäväksi malliin. Monikieliset järjestelmät tekevät tästä järjestyksestä mahdotonta. Testidata määrittää, mikä lasketaan virheeksi. Kieli määrittää, miten lause voi epäonnistua. Toimiala määrittää, millä epäonnistumisella on merkitystä. Käyttäjä määrittää, onko järjestelmän vastaus apu vai este. Arvioinnin on kuljettava kaikkien neljän mukana.

Eurooppalainen tutkimuspaperi Towards Multilingual LLM Evaluation for European Languages osoittaa ongelman laajuuden. Kirjoittajat arvioivat 40 kielimallia 21 eurooppalaisella kielellä, tarkastelevat viiden laajalti käytetyn vertailun käännettyjä versioita ja julkaisevat viitekehyksen, joka sisältää EU20-MMLU:n, EU20-HellaSwag:n, EU20-ARC:n, EU20-TruthfulQA:n ja EU20-GSM8K:n. Paperi ei väitä, että olemassa olevan vertailun kääntäminen tekisi siitä automaattisesti oikeudenmukaisen. Se käsittelee käännöspalveluita, vertailun rakentamista ja kieltenvälistä vertailtavuutta tutkittavina asioina.

Se on oikea asenne. Käännetty testikohta voi periä vaikeusasteen muutoksen, kulttuurisen oletuksen tai vihjeen, jota alkuperäisessä ei ollut. Malli voi saada korkeamman pistemäärän, koska käännetty sanamuoto tekee vastauksesta helpomman, ei siksi, että mallista tuli kyvykkäämpi. Se voi saada matalamman pistemäärän, koska kieliopillinen rakenne on luonnoton kohdekielessä, vaikka taustalla oleva päättely on järkevää. Molemmat tulokset ovat todisteita sekä testistä että mallista.

Ihmisen tekemä tarkistus on edelleen välttämätöntä, mutta myös ihmisen tekemä tarkistus tarvitsee sopimuksen. Kuka tarkisti kohdan? Olivatko tarkistajat äidinkielisiä, alan asiantuntijoita vai molempia? Tarkistivatko he irrallisia lauseita vai tehtävän kontekstissaan? Kirjattiinko erimielisyydet ylös? Säilyttikö vertailu vaihtoehtoiset hyväksyttävät vastaukset? Kieliasiantuntija voi kertoa meille, että ilmaus on väärä. Alan asiantuntija voi kertoa meille, miksi virheellisyys muuttaa päätöstä. Uskottava arviointi tarvitsee usein molemmat ja sen on kerrottava, kumpi sillä oli.

Tarkoitus ei ole saattaa jokaista järjestelmää loputtomaan kokeeseen ennen kuin kukaan voi käyttää sitä. Tarkoitus on estää kapea testi sekoittumasta laajaan väitteeseen. Jos malli on arvioitu lyhyillä faktakysymyksillä normaalilla kirjakielellä, kerro se. Älä anna tuloksen hiljaa muuttua väitteeksi puhutusta vuorovaikutuksesta, oikeudellisesta kirjoittamisesta, paikallishallinnosta, lapsista, vanhemmista ihmisistä tai kaikista kielen rekistereistä.

Pisteestä tulee hyödyllinen, kun sen tehtävä, kieli, konteksti ja arvioinnin raja pysyvät näkyvillä.

Maltan ja baskin oppitunti

LREC-COLING-konferenssissa vuonna 2024 esitetyssä paperissa tutkittiin konekäännöksen arviointia englannista maltaksi ja espanjasta baskiaksi. Kirjoittajat tarkastelivat COMET-arviointimittaria, keräsivät suoria ihmisarvioita ja testasivat, miten hyvin mittari toimi, kun se mukautettiin näihin kahteen kielipariin. Heidän johtopäätöksensä on vaatimaton mutta merkittävä: mittarin suorituskyky voi parantua hienosäädöllä, ja se voi olla erittäin herkkä pistemäärien jakautumalle harjoitusaineistossa, erityisesti vähäisten resurssien ympäristöissä.

Tämä ei ole tarina yhden mittarin epäonnistumisesta. Se on tarina siitä, mistä pisteet riippuvat. Yhdellä jakautumalla koulutettu mittari voi käyttäytyä eri tavalla, kun sitä pyydetään arvioimaan toista. Kielipari, josta on vähemmän arviointiaineistoa, voi saada pisteet näyttämään ratkaisevammilta kuin ne ovat. Järjestelmä, jota on helppo verrata, voi silti olla huono mittari sille, mitä puhujat pitävät hyvänä käännöksenä. Ihmisarvioinnit eivät tee arvioinnista täydellistä, mutta ne paljastavat kohdat, joissa automaattinen mittari tekee oletuksia.

Toinen vuoden 2024 tutkimus, Benchmarking Low-Resource Machine Translation Systems, vertaa julkisesti saatavilla olevia järjestelmiä neljän aineiston ja 26 kielen yli ja julkaisee tulokset BENGin kautta, joka on FAIR-periaatteita noudattava luonnollisen kielen tuottamisen vertailualusta. Jälleen kerran panos ei ole yleinen paremmuusjärjestys. Se on vertailu, jota voi tarkastella paremmin. Tehokkuus ja vaikuttavuus otetaan huomioon yhdessä, ja kieliluettelo on näkyvillä. Lukija voi kysyä, sisältääkö vertailu sen reitin, jolla on merkitystä, sen sijaan että hyväksyisi yhden otsikkonumeron.

Nämä tutkimukset tarjoavat eurooppalaisen oppitunnin pidättyväisyydestä. Vaikea osuus ei ole uuden pistemäärän keksiminen. Se on arvioinnin rakentaminen, jonka avulla lukija näkee, kenen kieli, kenen tehtävä ja kenen laadun määritelmä tuottivat pisteet. Kun tämä konteksti puuttuu, numerosta tulee rajanylitys ilman passia. Se voi päästä esityksen läpi, mutta kukaan ei voi selvittää, mistä se on peräisin.

Kielikattavuus voi olla turvallisuusominaisuus

Turvallisuuskeskusteluissa keskitytään usein sisältöön, joka järjestelmän tulisi kieltäytyä tuottamasta, hyökkäyksiin, joita sen tulisi vastustaa, tai virheisiin, jotka sen tulisi havaita. Kieli lisää toisen kysymyksen: tunnistaako järjestelmä, milloin se on oman osaamisensa ulkopuolella? Reitti, joka toimii yhdellä kielellä, voi epäonnistua useammin toisella säilyttäen samalla yhtä itsevarman sävyn. Jos käyttöliittymä ei tuo eroa esiin, käyttäjät eivät voi kalibroida luottamustaan.

Tämä on erityisen tärkeää, kun kieli on osa turvallisuuskriittistä vuorovaikutusta. Potilas voi kuvata oiretta alueellisella murteella. Työntekijä voi ilmoittaa vaarasta paikallisella termillä. Asukas voi jättää valituksen kirjoitusasulla, jota normalisoija pitää kohinana. Malli voi olla teknisesti tarkka vertailussaan ja toiminnallisesti turvaton kyseisellä reitillä. Olennainen kysymys ei ole se, pystyykö järjestelmä tuottamaan uskottavan vastauksen. Se on se, onko turvallisuuskontrolleja arvioitu sillä kielellä ja tilanteella, joka sillä on edessään.

Turvallisuus ei edellytä, että jokaista kielireittiä kohdellaan erityisenä hätätilanteena. Se edellyttää, että kontrolli sovitetaan seurauksen mukaan. Vähäriskisen hakutuotoksen voi esittää lähteineen ja kutsua korjaamaan. Lääketieteellinen seulontakäyttöliittymä voi ohjata epävarman kielisyötteen koulutetulle ammattilaiselle. Oikeudellinen asiakirjatyönkulku voi pitää lähteen ja käännöksen rinnakkain ja vaatia hyväksynnän ennen julkaisua. Äänijärjestelmä voi pyytää käyttäjää toistamaan nimen sen sijaan, että se valitsisi hiljaa lähimmän tutun kokonaisuuden. Nämä ovat tavallisia suunnitteluratkaisuja, kun kieli nähdään osana järjestelmän rajaa.

Itse kieltäytyminen vaatii kielisuunnittelua. Sen kertominen käyttäjälle, että järjestelmä ei voi vastata, ei riitä, jos kieltäytyminen on läpinäkymätöntä, holhoavaa tai sitä ei ole saatavilla käyttäjän kielellä. Järjestelmän pitäisi kertoa, mitä se ei pystynyt vahvistamaan, mikä tieto auttaisi ja mikä inhimillinen tai viranomainen reitti on saatavilla. Muuten turvallisuuskontrollista tulee jälleen yksi este pääsylle. Euroopan kieliperiaate joutuu kovimmalle koetukselle silloin, kun järjestelmä ei pysty antamaan pyydettyä vastausta.

Monikielisen palvelun toiminnallinen suunnittelu

Luotettavalla monikielisellä palvelulla on toiminnallinen muoto, joka on helppo kuvata ja yllättävän vaikea säilyttää. Ensinnäkin se nimeää tehtävän. Käännös, transkriptio, luokittelu, haku, tiivistäminen ja tuottaminen eivät ole keskenään vaihdettavissa. Toiseksi se nimeää kielireitin, mukaan lukien kirjoitusjärjestelmän ja mahdollisen olennaisen alueellisen tai toimialakohtaisen rajan. Kolmanneksi se kirjaa lähdemateriaalin ja siihen tehdyt muunnokset. Neljänneksi se määrittelee tarkistus- ja eskalointipolun. Viidenneksi se kertoo käyttäjälle, mitä järjestelmä voi ja ei voi väittää.

Nämä vaiheet eivät ole vaatimus valtavasta byrokratiasta. Ne ovat vähimmäisvaatimus, jotta kielilupaus olisi testattavissa. Jos toimittaja sanoo, että malli tukee suomea, ostajan pitäisi voida kysyä, tarkoittaako se tekstin tuottamista, puheentunnistusta, käännöstä mistä kielistä vai kaikkia näitä. Jos tuotetiimi sanoo tukevansa alueellista kieltä, sen pitäisi kertoa, perustuuko tuki alkuperäiseen dataan, käännettyyn dataan, pieneen arviointijoukkoon vai asiantuntija-arvioon. Jos vastausta ei tiedetä, tietämättömyys on kelvollinen tila.

Palvelu tarvitsee myös muutospolitiikan. Uusi koulutusmateriaali, uusi tokenisoija, uusi käännösmalli, uusi termilista tai uusi käyttäjäryhmä voi muuttaa kielen käyttäytymistä. Julkaisu, joka parantaa yhtä reittiä, voi heikentää toista. Viime vuoden vertailutulos ei automaattisesti kuvaa tämän päivän järjestelmää. Versiotiedot, vertailutestit ja reitti kielikohtaisten virheiden raportointiin tekevät palvelusta ylläpidettävän eivätkä seremoniallisen.

Ylläpidolla on inhimillinen puoli. Kielen asiantuntijat tarvitsevat tavan nähdä virheet, jotka vaikuttavat heidän yhteisöihinsä. Toimialatiimit tarvitsevat tavan erottaa käännösvirhe politiikan epäselvyydestä. Operaattorit tarvitsevat tavan keskeyttää reitti odottamatta, että mallitoimittaja tulkitsee valituksen. Käyttäjät tarvitsevat tavan kertoa, että järjestelmä ymmärsi väärin sanan, asiayhteyden tai henkilön nimen. Monikielinen palvelu ei ole valmis, kun malli on otettu käyttöön. Se on riittävän valmis ollakseen vastuullinen, kun seuraava kieliongelma ilmaantuu.

Alkuperän jäljitettävyys kieliputken läpi

Alkuperä tulee konkreettiseksi, kun seuraamme yhtä merkityksen palaa järjestelmän läpi. Aloita lähdekappaleesta. Kirjaa sen kieli, kirjoitusjärjestelmä, kirjoittaja tai organisaatio, jos se on tiedossa, sekä oikeudet ja tarkoitus. Jos se on segmentoitu, säilytä suhde alkuperäiseen. Jos se on käännetty, säilytä lähde sekä kääntäjä tai käännösprosessi. Jos arvioija muuttaa sanamuotoa, kirjaa se uutena tilana, ei hiljaisena korvauksena. Jos kappaleesta tulee vertailuaineiston osa, vie sen mukana tehtävä, vastausavain, kieli ja arviointitietue.

Ajonaikaisesti sama periaate toimii käänteisesti. Tallenna, mikä kielireitti käsitteli pyynnön, mikä malli- tai työkaluversio suoritettiin, mikä lähdetodiste haettiin, mihin epävarmuus- tai kieltäytymistilaan päädyttiin ja mikä ihmisen toimenpide seurasi. Tietueen ei tarvitse paljastaa yksityistä sisältöä jokaiselle käyttäjälle. Sen on kuitenkin saatava olennaiset tosiasiat valtuutetun arvioijan saataville. Ilman niitä kieli-inkidentistä tulee keskustelua vaikutelmista.

Tässä monikielinen alkuperä eroaa yleisestä lokitietueesta. Aikaleima ja mallin nimi kertovat, että jotain tapahtui. Ne eivät kerro, käännettiinkö lähde, muuttiko vastaus numeromuotoa, normalisoitiinko nimetty kokonaisuus tai työskentelikö arvioija kohdekielellä. Muunnospolku on todiste. Lyhyt vastaus voi kätkeä pitkän päätösketjun.

Tässä lähestymistavassa on pieni hollantilainen hyve: pidä kirjanpito riittävän tylsänä, jotta sitä voi käyttää tiistai-iltapäivänä. Alkuperätietueen ei pitäisi olla museoesite, joka on kirjoitettu auditointia varten, joka ei ehkä koskaan toteudu. Sen pitäisi auttaa käyttäjää vastaamaan seuraavaan kysymykseen, pysäyttämään oikea reitti ja selittämään tulos henkilölle, jota arkkitehtuurikaaviosi ei kiinnosta. Hyvä kielihallinto on hieman tylsää. Näin tiedät, että se saattaa kestää kosketuksen työhön.

Käännöksen piilotetut valinnat

Jokainen käännösjärjestelmä sisältää valintoja, jotka ansaitsevat nimet. Tokenisointi päättää, miten syöte jaetaan. Normalisointi päättää, mitkä erot säilytetään tai hylätään. Kohdistus päättää, mitkä kahden tekstin osat käsitellään vastaavina. Terminologia päättää, mitkä sanat ovat vakaita. Dekoodaus päättää, miten tulos valitaan. Jälkikäsittely päättää, mitä lukija näkee. Mikään näistä vaiheista ei ole sinänsä väärin. Jokainen voi aiheuttaa kielikohtaisen virheen, joka on näkymätön yleisessä demossa.

Ota esimerkiksi erisnimi. Järjestelmä voi kääntää sen, translitteroida sen, säilyttää sen tai korvata sen tutulla kirjoitusasulla. Runossa useat valinnat voivat olla perusteltuja. Henkilöllisyysasiakirjassa vain yksi voi olla hyväksyttävä, ja sekin voi riippua myöntävästä viranomaisesta. Ota yksikkö tai päivämäärä. Arvot voivat pysyä matemaattisesti vastaavina, mutta muoto voi muuttua lukijalle epäselväksi. Ota sukuinen substantiivi tai pronomini. Käännös voi tuoda tietoa, jonka lähde jätti pois, tai poistaa eron, jonka lähde teki tarkoituksella.

Suunnitteluratkaisu ei ole kielen jäädyttäminen. Se on politiikan ilmaiseminen ja poikkeuksen tekeminen näkyväksi. Terminologialista voi suojata oikeudellisia termejä. Erisnimiä koskeva sääntö voi estää kaupungin muuttumisen henkilöksi. Lähdettä säilyttävä näkymä voi antaa arvioijalle mahdollisuuden verrata alkuperäistä ja tulosta. Ihmisen suorittama eskalaatio voidaan käynnistää matalan luottamuksen nimellä, reittien välisellä erimielisyydellä tai tehtävällä, joka on luokiteltu seurauksiltaan merkittäväksi. Malli pysyy hyödyllisenä, koska sen rajat ovat osa työnkulkua.

Suuret kielimallit tekevät valinnoista vaikeammin näkyviä, koska tuotos on sujuvaa. Sujuva tuotos on loistava käyttöliittymä ja epäluotettava selitys. Järjestelmä voi tuottaa lauseen, joka kuulostaa natiivilta, mutta valitsee sanalle väärän merkityksen. Se voi säilyttää pääaiheen mutta pudottaa pois kielteisen muodon. Se voi kääntää paikallisen ilmauksen yleiskieliseksi ilmaisuksi, joka muuttaa puhujan kantaa. Siksi kielen laatua ei voi kuvata pelkällä kieliopilla. Merkityksellä on sosiaalinen muoto.

Kirjoitusjärjestelmät, murteet, rekisterit ja instituutiot

Kielituesta ilmoitetaan usein kielen nimen tasolla, mutta lukijat kohtaavat kirjoitusjärjestelmiä, kielimuotoja ja rekistereitä. Järjestelmä, joka hallitsee nykyaikaista yleiskieltä, voi takertua historiallisiin asiakirjoihin. Puheentunnistin voi toimia studiossa mutta pettää ruuhkaisella asemalla. Julkinen chatbot voi vastata muodollisella rekisterillä, vaikka käyttäjä tarvitsee selkokieltä. Instituutio voi käyttää termiä, joka eroaa arkikielestä syystä, jolla on oikeudellista merkitystä.

Nämä eivät ole reunatapauksia vähättelevässä mielessä. Ne ovat paikkoja, joissa kieli kohtaa maailman. Alueellinen nimi voi ratkaista sen, menneekö osoite oikein vai jääkö toimitus perille. Murresana voi olla ainoa sana, jonka ihminen tietää oireelleen. Muodollinen ilmaus voi viestiä, että viestillä on oikeusvaikutuksia. Kirjoitusjärjestelmän variantti voi ratkaista, onko asiakirja haettavissa. Jos vertailuaineisto jättää nämä reitit pois, se voi silti olla hyödyllinen, mutta se ei voi korvata koko kieltä.

Kaikkien kielimuotojen testaaminen ei ole aina mahdollista. Rehellinen vastaus on kuvata tuettu osajoukko ja pyytää näyttöä muusta. Järjestelmä voi julkaista, että se on arvioitu yleiskielisellä hollannilla julkisten tietojen tiivistämisessä, eikä väittää mitään alueellisesta puheentunnistuksesta. Se voi lisätä testin friisiksi tai baskiaksi teeskentelemättä, että lisäys ratkaisee kaikki alueellisia ja vähemmistökieliä koskevat kysymykset. Tarkkuus ei ole heikkous. Se kertoo käyttäjille, missä pohja on.

Instituutioiden tulisi myös vastustaa ajatusta, että yksi kansallinen kielireitti on automaattisesti neutraali. Hallintokieli voi olla saavuttamatonta saman kielen puhujille. Saavutettavuus ja monikielisyys limittyvät, koska molemmat kysyvät, voiko lukija ymmärtää ja toimia. Komission kielityöhön kuuluu yksinkertaistamisen ja saavutettavan tekstin työkaluja juuri tästä syystä. Lause voi olla kielellisesti oikein ja silti institutionaalisesti käyttökelvoton.

Kun käyttöliittymä on sujuva mutta väärässä

Vaikeimmat kielivirheet eivät ole näyttäviä. Ne ovat vastauksia, jotka läpäisevät silmämääräisen tarkastuksen. Tiivistelmä sisältää oikeat nimet mutta muuttaa sen, kuka on vastuussa. Käännös säilyttää substantiivit mutta muuttaa suosituksen kehotukseksi. Luokittelija ymmärtää aiheen mutta jättää huomiotta kielteisen muodon. Äänijärjestelmä tunnistaa sanat mutta ei puhujan epäröintiä. Käyttäjä lukee tuotoksen omalla kielellään ja olettaa, että sujuvuus on merkki huolellisuudesta.

Tällaiseen virheluokkaan pitäisi varautua sen sijaan, että odotetaan erikoista esimerkkiä otsikoihin. Vertaa lähdettä ja tuotosta korkean seurauksen sisällössä. Säilytä epävarmuuden merkitsimet. Pidä viittaukset tai asiakirjamaininnat mukana. Pyydä vahvistusta, kun numero, nimi tai määräaika on keskeinen. Tee reitti näkyväksi käyttäjälle. Tarjoa korjausmekanismi, joka ei edellytä käyttäjän tietävän, mikä osa vioittui. Nämä hallintakeinot ovat pieniä, mutta ne muuttavat käännöksen tarkastettavaksi tapahtumaksi.

Ihmisen tekemää arviointia ei pidä kuvata taianomaisena viimeisenä suojana. Arvioijilla on aikarajoja, osaamisalueiden aukkoja ja omia kielellisiä oletuksia. Hyödyllinen arviointikäyttöliittymä antaa heille lähteen, tuloksen, kontekstin ja syyn nostaa asia esille. Se kirjaa erimielisyydet ylös eikä siloittele niitä pois. Jos arvioijat korjaavat toistuvasti samaa termiä, organisaatio voi parantaa terminologiaa tai muuttaa tehtävän rajausta. Jos erimielisyys paljastaa, että lähde itsessään on epäselvä, oikea toimenpide voi olla kysyä kirjoittajalta, ei kouluttaa mallia kovemmin.

Operaattorit tarvitsevat myös keinon nähdä negatiivinen näyttö. Mitä kieliä ei arvioitu? Missä tehtävissä ei ole ihmisen tekemää arviointia? Mitkä pyynnöt evättiin? Mitkä käyttäjät poistuivat reitiltä käännöksen jälkeen? Puuttuva tieto voi olla signaali. Vihreä kattavuuskaavio, joka jättää epäonnistuneet polut pois, on kartta markkinointipinnasta, ei palvelusta.

Ihmisen asiantuntemus ei ole varapainike

Eurooppalainen kieliteknologiapolitiikka asettaa kielitieteilijät, data-asiantuntijat, tietokoneinsinöörit ja alan erityisasiantuntijat samaan lauseeseen. Se on suunnitteluvaatimus, ei lista ammatteja, jotka kutsutaan julkaisupalaveriin. Jokainen näkee erilaisen virheen. Kielitieteilijä näkee luonnottoman rakenteen tai kadonneen erottelun. Insinööri näkee segmentointi- tai reititysongelman. Alan erityisasiantuntija näkee vaarallisen luokitteluvirheen. Operaattori näkee jonon, jota kukaan ei omista. Palvelun käyttäjä kokee päätöksen, joka ei enää ole järkevä.

Ihmisen asiantuntemuksen pitäisi tulla mukaan ennen kuin vertailuaineisto jäädytetään. Kielen asiantuntija voi auttaa valitsemaan testiaineistoa, joka edustaa todellisia rekistereitä eikä vain siistejä lauseita. Alan asiantuntija voi tunnistaa termit, jotka eivät saa muuttua. Yhteisön edustaja voi kertoa tiimille, mikä sanamuoto tuntuu viralliselta, tutulta tai loukkaavalta. Data-asiantuntija voi selittää, mitä alkuperätietoa on saatavilla ja mitä ei. Nämä panokset muovaavat järjestelmän sopimusta. Ne eivät ole koristelua teknisten valintojen jälkeen.

Tästä on tietysti kustannuksia. Hyvä arviointi vie aikaa ja maksaa ihmisille tiedosta, jota usein pidetään näkymättömänä. Tämä kustannus on osa kielitukea. Vaihtoehto on ulkoistaa se käyttäjille, jotka maksavat hämmennyksellä ja valituksilla, tai henkilökunnalle, joka kääntää ja korjaa reittiä epävirallisesti. Järjestelmä, joka näyttää halvalta, koska se jättää kielen asiantuntemuksen huomiotta, ei ole tehokas. Se on vain siirtänyt laskun.

Mitä reilun vertailuaineiston on paljastettava

Monikielisen vertailuaineiston pitäisi alkaa väitteestä, joka on riittävän pieni testattavaksi. Väite voi olla, että järjestelmä pystyy vastaamaan julkisia tietoja koskeviin kysymyksiin tietyillä kielillä, säilyttämään päivämäärät ja numerot sekä kieltäytymään, kun lähdenäyttö puuttuu. Se voi olla, että käännösreitti käsittelee tietyn kieliparin ja aihealueen määritellyllä laatutasolla. Se voi olla, että puheentunnistin pystyy litteroimaan määritellyn kielimuodon määritellyissä akustisissa olosuhteissa. Vertailuaineisto on sopimus tästä väitteestä.

Sopimus tarvitsee muutakin kuin kielilistan. Sen pitäisi paljastaa tehtävä, lähde, aihealue, rekisteri, kirjoitusjärjestelmä, suunta, kontekstin pituus, syötteen olosuhteet, vertailuvastaukset, hyväksyttävät muunnelmat, mittarit, ihmisen tekemä arviointi ja epävarmuus. Sen pitäisi kertoa, onko sisältö kirjoitettu alun perin kullakin kielellä vai käännetty. Sen pitäisi kirjata, kuka sisällön tarkisti ja mitkä erimielisyydet jäivät avoimiksi. Sen pitäisi erottaa kokonaistulokset kielikohtaisista tuloksista. Sen pitäisi näyttää riittävästi esimerkkejä, jotta lukija ymmärtää, mitä pisteet mittaavat.

EU:n MMLU-kriteerit ovat hyödyllisiä, koska ne laajentavat sanan reilu merkitystä. Tasapainoinen edustus EU:n virallisten kielten kesken on yksi osa. Merkityksen, vaikeuden ja testausarvon säilyttäminen kielten välillä on toinen. EU:n arvojen ja kulttuurikontekstien testaaminen, mukaan lukien idiomit, huumori, viittaukset, päivämäärä- ja numeroformaatit, sävy ja kohteliaisuus, tekee vertailusta sekä sosiaalisen että teknisen välineen. Kriteerit eivät poista harkintaa. Ne tekevät harkinnasta tarkasteltavaa.

Vertailun suunnittelijoiden tulisi julkaista virheiden osajoukot, ei vain keskiarvoja. Mallilla voi olla hyvä keskimääräinen pistemäärä, vaikka se epäonnistuisi jokaisessa tiettyä rekisteriä tai numerotyyppiä koskevassa kohdassa. Reitti voi olla tehokas yhteen suuntaan ja hidas tai kallis toiseen. Mittari voi korreloida ihmisen harkinnan kanssa yhdellä kielellä ja muuttua epävakaaksi toisella. Kielikohtaiset ja tehtäväkohtaiset näkymät eivät ole ylellisyyttä. Ne ovat tapa, jolla ostaja välttää keskiarvon ostamisen ja poikkeuksen käyttöönoton.

Lopuksi vertailun tulisi kertoa, mitä se ei voi kertoa meille. Kirjallinen testi ei osoita puheen suorituskykyä. Käännöspistemäärä ei osoita oikeudellista luotettavuutta. Virallisten kielten joukko ei osoita alueellisten tai vähemmistökielten tukea. Korkea pistemäärä ei osoita, että henkilö voi riitauttaa päätöksen. Rajoitus ei ole häpeä. Se on kartan reuna, ja käyttäjien on nähtävä se ennen kuin he purjehtivat.

Pistemäärä on kartan selite, ei itse alue

Numerot ovat hyödyllisiä, koska ne pakottavat vertailuun. Ne ovat vaarallisia, koska ne kutsuvat tekemään mittaria suuremman johtopäätöksen. Pistemäärä voi kertoa, miten järjestelmä käyttäytyi määritellyssä otoksessa määritellyllä menetelmällä. Se ei voi kertoa, miten yhteisö kokee järjestelmän ilman oletusten siltaa. Silta voi olla vakaa. Se on nimettävä.

Oletetaan, että järjestelmä paranee monikielisessä vertailussa hienosäädön jälkeen. Se on näyttö parantuneesta suorituskyvystä kyseisessä arvioinnissa. Se ei ole automaattisesti näyttö siitä, että järjestelmä on turvallisempi julkisessa palvelussa. Palvelu voi käyttää erilaista terminologiaa, pidempää kontekstia, puhesyötettä, eri rekisteriä tai jatkokäsittelyä, joka muuttaa ehdotuksen päätökseksi. Vertailu voi silti olla arvokas. Siitä tulee arvokkaampi, kun organisaatio kertoo, mitä palvelun osaa se edustaa.

Sama kurinalaisuus koskee energiaa, nopeutta ja kustannuksia. Vähäisten resurssien kielen reitti voi vaatia enemmän ihmisen tarkistusta tai suuremman hakukontekstin. Se ei ole vika, joka pitäisi piilottaa keskiarvoon. Se on palvelun ominaisuus, jonka pitäisi ohjata suunnittelua. Euroopan toimielimet ovat käyttäneet vuosikymmeniä käännös- ja kielipalvelujen rakentamiseen, koska kielellisen monimuotoisuuden käytännön kustannus on todellinen. Tekoälyjärjestelmä ei poista tätä kustannusta tuottamalla tekstiä nopeasti.

Kapeamman reitin valitsemisessa ei ole häpeää. Tiimi voi tukea vähemmän tehtäviä hyvin, julkaista rajan ja lisätä kieliä näytön kasvaessa. Se on parempi kuin väittää tukea kaikille kielille ja jättää käyttäjien tehtäväksi löytää aukot. Eurooppalainen vaisto standardiin on vahvimmillaan, kun se yhdistetään hollantilaiseen vaistoon tarkistaa, toimiiko asia tavallisena keskiviikkona.

Rakenna 24:lle, testaa yli 24:n

Euroopan unionilla on 24 virallista ja työkieltä, ja komission käännöspalvelu toimii niillä kaikilla. Tämä luku luo hyödyllisen perustan julkiselle infrastruktuurille. Se ei määrittele Euroopan kielellistä elämää. Alueelliset, vähemmistö-, ei-alueelliset ja maahanmuuttajakielet muovaavat myös yhteisöjä ja toimielimiä. 24:lle rakennettu järjestelmä voi silti sulkea pois ihmisiä, jotka eivät käytä jotakin näistä reiteistä tai jotka käyttävät virallista kieltä muodossa, jota järjestelmä ei arvioinut.

Rakentaminen 24 kielelle on siksi vastuu tehdä perustasta todellinen, ei lupa pysähtyä. Kielireitin tulee kantaa omaa näyttöään. Julkisen toimijan tulee pystyä kertomaan, mitkä viralliset kielet ovat katettuja mihin tehtäviin, millaista ihmistarkistusta on olemassa ja mistä käyttäjä saa virallisen version. Sillä tulisi myös olla tapa oppia kielen ulkopuolisista kielistä ilman, että yhteisöstä tehdään palkaton testilaboratorio.

Testaaminen 24 kielen jälkeen tarkoittaa enemmän kuin uutuuskielen lisäämistä demoon. Se tarkoittaa työskentelyä puhujien, instituutioiden ja tutkijoiden kanssa sen päättämiseksi, mikä tehtävä on, mihin lähdemateriaalia saa käyttää ja mikä lasketaan haitalliseksi virheeksi. Prosessi voi tuottaa pienen, huolellisesti rajatun toiminnon. Sekin on edistystä. Vaatimaton reitti selkeällä sopimuksella voi olla arvokkaampi kuin vaikuttava väite, jota kukaan toimija ei pysty puolustamaan.

Mitä pyrimme tekemään näkyväksi

Dwevessä lähestymme tätä aihetta infrastruktuurin näkökulmasta. Loom kuvataan julkisessa tuotemateriaalissamme tehtäväkompiloiduksi kognitiiviseksi malliksi, jonka kielikomponentit tuottavat hallitun tulosgraafin, kun taas rajoitteiden oppiminen, graafin koostaminen, ratkaisijat ja varmennus kantavat päätösvaltaa. Tämä on arkkitehtoninen kanta, ei monikielinen suorituskykyväite. Se ei tee kielireitistä oikeaa. Se tekee yhdestä velvoitteesta vaikean piilottaa: kielituotoksen ei pitäisi olla ainoa paikka, jossa järjestelmän päättely ja näyttö ovat olemassa.

Ground Truth -työmme tekee saman pointin inhimillisemmässä mittakaavassa. Ihmiset tarvitsevat riittävästi yhteistä kieltä erottaakseen mallin työnkulusta, ennusteen näytöstä ja sujuvan vastauksen tarkistetusta tuloksesta. Monikielisissä järjestelmissä tämä sanasto tarvitsee yhden sanan lisää: reitti. Hollanninkielinen vastaus, ranskankielinen vastaus ja baskininkielinen vastaus eivät ole pelkkiä yhden sisäisen tapahtuman renderöintejä, jos näyttö, terminologia, tarkistus ja virhekayttäytyminen eroavat. Reitti on osa väitettä.

Tämä kanta on tarkoituksella vähemmän jännittävä kuin väite, että yksi malli ymmärtää Eurooppaa. Se on myös hyödyllisempi. Haluamme järjestelmän näyttävän, mitä se vastaanotti, mitä lähteitä ja rajoitteita se pystyi käyttämään, mitä se ei pystynyt vahvistamaan ja milloin ihmisen tulisi ottaa ohjaus. Kieli on pinta, jonka kautta ihminen kohtaa tämän työn. Pinnan tulisi olla selkeä, mutta sen ei pitäisi antaa pyyhkiä pois alla olevaa rakennetta.

Emme ole vapautettuja tässä kuvatuista standardeista. Alkuperätietokenttä ei korjaa puuttuvaa dataa. Deterministinen polku ei todista, että käännös on oikeudenmukainen. Eurooppalainen käsittelyraja ei anna kielellistä osaamista. Ainoa rehellinen tapa tehdä monikielinen väite on jatkaa testaamista, julkaista rajat ja antaa kieliasiantuntijoiden haastaa reitti. Tuotenimi ei ole näyttöä. Tallenne on.

Käytännön standardi tiimeille

Tiimit, jotka päättävät monikielisen tekoälyominaisuuden käyttöönotosta, voivat aloittaa lyhyellä kysymyssarjalla. Mitä järjestelmän täsmälleen tulee tehdä kullakin kielellä? Keihin ihmisiin virhe vaikuttaa? Mikä lähdemateriaali on virallinen? Miten testikohteet luotiin ja kenen toimesta? Mitkä rekisterit, kirjoitusjärjestelmät, murteet ja alueet ovat väitteen sisällä? Mitä järjestelmä tekee, kun se ei pysty vahvistamaan merkitystä? Kuka voi keskeyttää reitin? Miten käyttäjä voi korjata vastauksen joutumatta projektin palkattomaksi kielitieteilijäksi?

Kysymykset muuttuvat konkreettisiksi, kun ne liitetään artefakteihin. Pidä kielireittikorttia, jossa on tehtävä, tuetut kielimuodot, lähdeperheet, oikeustila, malli- ja työkaluversiot, arviointitulokset, tunnetut virhetilat ja tarkistuksen omistaja. Pidä esimerkkejä virheistä kontekstineen, ei vain pistemäärää. Pidä lähde korkean seurauksen käännöksen rinnalla. Pidä eskalaatiosyy, jonka toimija ymmärtää. Pidä muutosloki, kun tokenisoija, terminologialista, vertailuarvo tai malli muuttuu.

Hankintatiimit voivat pyytää toimittajilta tuloksia kieli- ja tehtäväkohtaisesti sen sijaan, että ne tyytyisivät yhteen monikieliseen keskiarvoon. Ne voivat kysyä, onko vertailuaineisto käännetty vai kirjoitettu alun perin sillä kielellä, onko saatavilla ihmisten tekemiä arvioita, miten vähäisten resurssien kielten reitit hoidetaan ja voiko toimittaja toimittaa arvioinnin edellyttämän näytön. Ne voivat kysyä, mitä tapahtuu, kun jokin kieli ei ole tuettu, sillä kieltäytymisellä ja hiljaisella varareitillä on hyvin erilaiset seuraukset.

Tuotetiimit voivat suunnitella käyttöliittymän niin, että reitti ja luottamus näkyvät ilman, että luottamuslukua esitetään totuuden todennäköisyytenä. Ne voivat säilyttää lähdelinkit, käyttää selkeää kieltä kieltäytymisissä ja tuoda arviointitoiminnot näkyviksi. Ne voivat välttää ilmaisua tukee kaikkia kieliä, elleivät ne pysty määrittelemään, mitä tukeminen tarkoittaa. Tukeminen voi tarkoittaa tekstin näyttämistä, syötteen vastaanottamista, kääntämistä, tiivistämistä, vastaamista, luokittelua, puhumista tai säännellyn työnkulun hoitamista. Kielivalitsin ei ole määrittely.

Tutkimustiimit voivat julkaista aineistoja, joista käyvät ilmi alkuperä ja korjauspolut. Ne voivat sisällyttää negatiiviset tulokset ja raportoida, kun mittari ei ole vertailukelpoinen eri yhteyksissä. Ne voivat kutsua kieliyhteisöt mukaan arviointiin ennen kuin malli julistetaan valmiiksi, ja maksaa asiantuntemuksesta. Ne voivat vastustaa painetta muuttaa kapea tulos yleispäteväksi väitteeksi. Arvokkain vertailuaineisto voi olla sellainen, joka saa tiimin poistamaan lauseen tuotesivultaan.

Mallin takana oleva yhteiskunta

Kielimalli voi olla erittäin hyvä tuottamaan kieltä ymmärtämättä, mitä kieli tekee yhteiskunnassa. Se voi ennustaa ilmauksen, kääntää kappaleen ja vastata kysymykseen, mutta jäädä vaille sanojen välittämää institutionaalista suhdetta. Tämä puute ei ole osoitus siitä, että malli olisi hyödytön. Se on osoitus siitä, että kieli on muutakin kuin tietotyyppi.

Euroopan vastauksen ei pitäisi olla kilpailu siitä, kuka laskee eniten kieliä mallikorttiin. Sen pitäisi olla pitkäjänteistä työtä, jossa kielidata, oikeudet, asiantuntemus, arviointi ja julkinen valvonta kuuluvat samaan infrastruktuuriin. Komission kieliteknologiatyö, Language Data Space, European Language Grid ja EU MMLU -vertailuaineisto osoittavat kaikki tähän suuntaan. Eurooppalaiset tutkijat testaavat, mitä tapahtuu, kun käännettyjä vertailuaineistoja käsitellään tutkimuskysymyksinä eikä kyseenalaistamattomina välineinä. Työ ansaitsee huomiota, koska se tekee vanhasta poliittisesta tosiasiasta teknisesti näkyvän: ihmiset eivät koe unionia yhdellä kielellä.

Kun toimittaja seuraavan kerran sanoo, että malli on monikielinen, kysy, mitä väite sisältää. Mitkä kielet? Mitkä tehtävät? Mitkä yhteisöt? Mitkä lähteet? Mikä arviointi? Mikä kieltäytyminen? Mikä muutosloki? Kysymys ei ole vihamielinen. Se on vastuullisuuden tavallinen alku.

Yhteiskunnasta ei tule oikeudenmukainen siksi, että kone osaa toistaa sen sanoja. Se tulee oikeudenmukaisemmaksi, kun ihmiset voivat astua sen instituutioihin, ymmärtää mitä tapahtuu, haastaa tuloksen ja tulla kuulluiksi sillä kielellä, joka kantaa heidän elämäänsä. Malli voi auttaa tässä työssä. Se ei voi määritellä sitä. Mallin kieli on tekninen ominaisuus. Yhteiskunnan kieli on yhteinen vastuu.

Lähteet