Modeļa valoda nav sabiedrības valoda

Daudzvalodu modelis nav taisnīgs tikai tāpēc, ka tā saskarne uzskaita daudzas valodas. Valodu aptvērums ir institucionāls, kultūras un drošības jautājums,...

Modeļa valoda nav sabiedrības valoda

Sešpadsmit valodas ir sākums, nevis spriedums

2026. gada 22. jūlijā Eiropas Komisijas Tulkošanas ģenerāldirektorāts publicēja EU MMLU, etalonu, kas paredzēts lielo valodas modeļu pārbaudei Eiropas valodu un kultūras kontekstos. Paziņojums bija neparasti godīgs par plaisu, ko tas centās aizvērt. Daudzas vērtēšanas datu kopas tika veidotas angļu valodā. Modelis tajās var sasniegt labus rezultātus un joprojām slikti darboties franču, ungāru vai maltiešu valodā. Jaunā datu kopa sākas ar sešpadsmit ES oficiālajām valodām, septiņām mācību priekšmetu jomām un vairāk nekā tūkstoš jautājumiem, ko tulkojuši un pārskatījuši gandrīz 250 studenti no 21 Eiropas universitātes.

Vissvarīgākā šī paziņojuma daļa nav valodu saraksts. Tā ir teikums zem tā: modeļa uzvedību nevar secināt no valodas, kurā tas izskatās visraiti. Tam vajadzētu būt pašsaprotamam. Tā ir arī pieņēmums, uz kura balstās ievērojams daudzums iepirkumu, pētījumu un publisku diskusiju. Mēs joprojām runājam par valodas modeli tā, it kā tam būtu viens prāts, un pēc tam lūdzam tam valkāt dažādas valodas kā mēteļus. Mētelis mainās. Prāts, pierādījumi, aklās zonas un sociālā vide tiek uzskatīti par stabilu.

Tie nav stabili. Valoda ir vieta, kur cilvēks sastopas ar iestādi. Tā nes pabalsta nosacījumus, apelācijas toni, atšķirību starp padomu un norādījumu, jokas formu, vietas nosaukumu un pieņēmumus veidlapā. Kad sistēma vienu valodu apstrādā labāk nekā citu, tā ne tikai rada mazāk elegantu teikumu. Tā var mainīt to, kurš tiek saprasts, kuram tic, kurš var apstrīdēt rezultātu un kurš padodas, pirms atrod pareizās durvis.

Praktiskais secinājums ir vienkāršs. Daudzvalodu mākslīgais intelekts nav tulkošanas funkcija, ko pievieno pēc modeļa izveides. Tas ir jautājums par piekļuvi, pierādījumiem un autoritāti. Eiropas darbs valodu tehnoloģiju, valodu datu un daudzvalodu vērtēšanas jomā ir vērtīgs, jo tas problēmu uztver kā infrastruktūru. Darbs vēl nav pabeigts. Etalons nav garantija, un sešpadsmit valodas nav visa Eiropa. Bet virziens ir pareizs: pārstāt jautāt, vai modelis runā valodā, un sākt jautāt, ko tas tajā valodā var droši darīt, kam, kādos apstākļos un ar kādiem pierādījumiem.

Valodu pārklājums ir ticams tikai tad, ja avota, konteksta, pārskatīšanas un pakalpojuma apgalvojumi paliek savstarpēji saistīti.

Valoda ir piekļuves robeža

Eiropa valodu ir padarījusi par institucionālu faktu, nevis privātu izvēli. Pamattiesību hartas 22. pants nosaka, ka Savienība respektē kultūru, reliģiju un valodu daudzveidību. Komisijas pašas valodu tehnoloģiju politika šo pienākumu novieto blakus praktiskam brīdinājumam: valodu tehnoloģijām nepieciešama objektīva lietošana, lai tiesības un principi izdzīvotu saskarē ar programmatūru. Tie nav dekoratīvi solījumi. Tie iezīmē robežu, ar kuru saskaras publiska sistēma, kad iedzīvotājs nevar izlasīt paziņojumu, nevar saprast, kāpēc pieņemts lēmums, vai nevar izteikt būtisku faktu valodā, kurā šis fakts pastāv.

Šo robežu ir viegli nepamanīt, ja komanda mēra tikai to, vai tulkojums ir izveidots. Teikums var nonākt pieprasītajā valodā un tomēr pievilt cilvēku, kuram tas vajadzīgs. Tulkojums var saplacināt juridisku atšķirību, mainīt pieklājības līmeni, kas norāda, vai ierēdnis jautā vai pavēl, vai lietot terminu, kam ikdienā ir viena nozīme, bet konkrētā pakalpojumā cita. Runas atpazīšanas sistēma var reģionālu izrunu pārvērst citā vārdā. Kopsavilkumu veidotājs var izņemt kvalifikāciju, uz kuras balstās atbildība. Raidums neliecina, ka darījums ir saglabājies neskarts.

Iedomājieties publisku informācijas pakalpojumu, kas piedāvā vienu un to pašu tiesību skaidrojumu nīderlandiešu, franču un reģionālajā valodā. Pirmie divi ceļi ir trenēti un pārbaudīti ar administratīvo materiālu, pārsūdzības vēstulēm un sarunām ar nozares ekspertiem. Trešajam ceļam ir teicama vispārēja proza, bet nav jēgpilna novērtējuma uz pakalpojuma paša terminoloģijas. Informācijas panelis var uzrādīt trīs zaļus valodu marķējumus. Iedzīvotāji nesaņem trīs līdzvērtīgus pakalpojumus. Viena grupa saņem skaidrojumu; cita saņem aptuvenu atveidi; trešā saņem pulētu nenoteiktību, kas izskatās oficiāla, jo tai ir pareizais logotips.

Piemērs ir apzināti hipotētisks. Tas nav apgalvojums par konkrētu pašvaldību vai piegādātāju. Tā mērķis ir atklāt dizaina kļūdu. Valodu atbalsts bieži tiek uzskaitīts saskarnes līmenī, kamēr faktiskais pienākums atrodas tālāk ķēdē. Sistēmai jāzina, kuri dati atbalsta valodu, kuri uzdevumi ir novērtēti, kurš pārskatījis kļūdas, kā lietotāji tās var labot un kad ceļam jāatsakās atbildēt. Ja šo detaļu trūkst, valodu izvēlētājs ir solījums bez līguma.

Modeļa karte nav sabiedrības karte

Modelis mācās no valodas kartes, ko padara pieejamus tā dati un trenēšanas process. Sabiedrība dzīvo daudz plašākā kartē. Modeļa kartē ir teksti, ieraksti, marķējumi, tulkojumi un novērtējumi, kas tika iekļauti. Sabiedrības kartē ir cilvēki, kuri mājās un darbā runā atšķirīgi, bez paziņojuma maina reģistrus, aizņemas vārdus pāri robežai, lieto mazākumtautības valodu vietējā iestādē vai raksta rakstībā, ko etalons neietvēra. Viena karte ir tehnisks artefakts. Otra ir dzīvju, tiesību un pienākumu sakārtojums.

Atšķirība ir svarīga pat valodām ar lieliem publiskiem korpusiem. Nacionālā valoda nav viena viendabīga plūsma. Valdības veidlapas, tiesas nolēmumi, runa klasē, veselības padomi, īsziņas un saruna starp kaimiņiem lieto atšķirīgu vārdu krājumu un atšķirīgu pielaidi neskaidrībai. Modelis var būt kompetents ziņu prozā un vājš pabalstu pārsūdzībā. Tas var tikt galā ar standarta pareizrakstību un grūtībās nonākt ar dialektu. Tas var iztulkot burtisku teikumu un nepamanīt pragmatisko nozīmi, ko nes pieklājīga formula. Saukt visu valodu par atbalstītu slēpj uzdevuma robežu.

Valodu tehnoloģijai tāpēc nepieciešama precīzāka terminoloģija. Mums būtu jānošķir valodas klātbūtne apmācības datos no uzdevuma novērtēšanas šajā valodā. Mums būtu jānošķir etalona tulkojums no neatkarīgi rakstīta testa jautājuma. Mums būtu jānošķir rakstības lasīšana no kopienas valodas reģistra izpratnes. Mums būtu jānošķir sistēmas spēja ģenerēt tekstu no tās pilnvarām sniegt padomus, klasificēt vai pieņemt lēmumus. Katra nošķiršana ir neliels dokumentācijas darbs. Kopā tās neļauj no šauriem pierādījumiem salikt plašu apgalvojumu.

Pastāv arī iestāžu līmeņa iemesls būt stingriem. Sabiedriskie pakalpojumi nevar brīvi izvēlēties visvienkāršāko valodu un saukt rezultātu par efektīvu. Bankai, slimnīcai, darba devējam vai programmatūras nodrošinātājam var būt atšķirīgi juridiskie pienākumi, taču katrs no tiem izlemj, cik lielu piepūli cilvēkam jāiegulda, lai viņu saprastu. Daudzvalodu risinājums, kas klusējot cieš neveiksmi, pārnes izmaksas uz lietotāju. Lietotājam pašam jāmeklē tulkotājs, jāatstāsta sava situācija, jāsamierinās ar sliktāku iznākumu vai jāatsakās no procesa. Sistēma ziņo par panākumiem, jo tā atgriezusi teksta virkni. Cilvēks piedzīvo izslēgšanu ar nevainojamu gramatiku.

Ko patiesībā nozīmē maz resursu

Maz resursu bieži tiek uzskatīts par valodas īpašību, it kā dažas valodas būtu ieradušās pie modeļa durvīm ar mazāk resursiem un tām būtu jāatvainojas par sagādātajām neērtībām. Lietderīgāk to uzskatīt par uzdevuma, datu kopas un pārvaldības lēmuma īpašību. Valodai var būt ievērojams literārais mantojums, bet maz marķētu datu medicīniskam klasifikatoram. Tai var būt paralēli teksti, bet gandrīz nekādu runas ierakstu. Tā var būt pārstāvēta korpusā bez tiesībām vai metadatiem, kas nepieciešami konkrētai ieviešanai. Tai var būt dati standarta formā, kamēr skartie cilvēki lieto reģionālo paveidu.

Eiropas Komisijas valodu tehnoloģiju politika to nosauc skaidri. Valodas dati ir valodu rīku pamats, un cilvēku ekspertīze ir nepieciešama veiksmīgas izstrādes sastāvdaļa. Modelim ir nepieciešams teksts vai runa, algoritmi, skaitļošanas jauda un cilvēki, kas saprot valodu un jomu. Jebkura šo elementu izņemšana maina sistēmu. Lielāka skaitļošanas jauda nevar radīt trūkstošu sarunu. Vairāk piemēru nevar labot marķējumu, kas jauc divas juridiskas kategorijas. Lielāks modelis nevar izlemt, kuru avotu kopiena uzskata par autoritatīvu.

Darbs ar maz resursu valodām tāpēc nav aicinājums pazemināt standartu. Tas ir iemesls padarīt standartu redzamu. Ja uzdevumam ir maz novērtēšanas materiāla, pasakiet to. Ja rādītājs ir nestabils konkrētam valodu pārim, ziņojiet par nestabilitāti. Ja cilvēku veiktā pārskatīšana bija neliela, norādiet pārskatīšanas apjomu, nevis pasniedziet to kā vispārēju garantiju. Ja risinājums noder melnrakstu veidošanai, bet ne lēmumu pieņemšanai, novietojiet šo robežu tur, kur to var redzēt gan pircējs, gan lietotājs. Godīgs trūkums ir drošāks par šķietami bagātīgu klusumu.

Eiropas valodu ainava padara šo disciplīnu neizbēgamu. Komisija apraksta sarežģītu oficiālo, reģionālo un mazākumtautību valodu kopumu un ir atbalstījusi tādas iniciatīvas kā European Language Grid, European Language Equality darba kārtību un Common European Language Data Space. Šie projekti nav viens vienots risinājums, un tos nevajadzētu tā arī aprakstīt. Tie ir ekosistēmas daļas, kurās var satikties dati, rīki, tiesības, ekspertīze un publiskās iestādes. Iestāžu struktūra ir tikpat svarīga kā modelis tajā.

Tiesību līmenis parādās pirms etalona

Ir vilinoši runāt par valodu modeļiem tā, it kā valoda būtu neitrāls ievades kanāls. Tā nav. Ievade var saturēt personas datus, aizsargātu pazīmi, vietējo vietvārdu, medicīnisku informāciju vai ierakstu par cilvēku, kurš lūdz palīdzību. Avots var būt aizsargāts ar autortiesībām vai pakļauts atrunai. Tulkots rezultāts var tikt izmantots lēmuma pieņemšanā, pat ja tulkošanas ceļš šim kontekstam nekad nav ticis novērtēts. Modeļa valodas problēma jau ir tiesību problēma, pirms kāds izvēlas rezultātu.

Komisijas valodu tehnoloģiju pamatnostādnes saista valodas datus gan ar autortiesībām, gan datu aizsardzību. Šim savienojumam būtu jāmaina tas, kā komandas veido datu apstrādes cauruļvadus. Korpuss nav tikai teikumu kaudze. Tam ir avota identitāte, iegūšanas nosacījumi, licences vai tiesību statuss, valodas un rakstības metadati, kvalitātes signāli, mērķis un saglabāšanas noteikumi. Ja vienums tiek labots vai atsaukts, organizācijai ir jāzina, kurus atvasinātos artefaktus tas ietekmējis. Pretējā gadījumā vēlāks modelis var atkārtot vecu kļūdu ar svaigi iespiestas veidlapas pārliecību.

Šeit frāze izcelsmes pierādījums apliecina savu vērtību. Izcelsmes pierādījums nav zemsvītras piezīme, kas norāda, ka dati nākuši no kaut kurienes. Tā ir attiecību kopa, kas ļauj pārskatītājam pārvietoties no rezultāta uz attiecīgajiem pierādījumiem un atpakaļ. Daudzvalodu darbā šīm attiecībām ir jāizdzīvo tulkošanu, transkripciju, normalizāciju, segmentāciju un novērtēšanu. Teikums, kas tulkots etalonuzdevumam, nav savstarpēji aizstājams ar avota teikumu. Pārskatītāja izveidota etiķete nav savstarpēji aizstājama ar etiķeti, kas mantota no citas valodas. Transformācija ir daļa no pierādījumiem.

Nav prasības, ka katram lietotājam ir jāredz pētniecības žurnāls. Ir prasība, ka organizācija spēj atbildēt uz nopietnu jautājumu, kad tāds rodas. Kura valodas resursa versija tika izmantota? Kādu uzdevumu tas atbalstīja? Kuri valodas eksperti to pārskatīja? Ko sistēma darīja, kad ticamība bija zema? Vai sūdzība tika traktēta kā vienas atbildes labojums vai kā iespējama kļūdu klase? Valodas ceļš kļūst uzticams, kad šiem jautājumiem ir atbildīgie un ieraksti.

Eiropa veido valodas infrastruktūru, ne tikai tulkošanas pogas

Eiropas Komisijas apraksts par Kopējo Eiropas valodas datu telpu ir noderīgs, jo tas nereducē projektu līdz modeļa izlaišanai. Mērķis ir platforma un tirgus daudzvalodu un multimodālu valodas datu vākšanai, koplietošanai un atkārtotai izmantošanai, vienlaikus saglabājot kontroli organizācijām un personām, kuras šos datus rada. Šis formulējums norāda uz citu progresa izpratni. Darbs nav tikai labāka teikuma radīšana. Tas ir par valodas resursu padarīšanu atrodamiem, tiesībām apzinīgiem, atkārtoti izmantojamiem un atbildīgiem publiskajā pārvaldē, pētniecībā un rūpniecībā.

Eiropas Valodu režģis izdarīja līdzīgu soli, apvienojot specializētus valodas tehnoloģiju rīkus un resursus kopīgā katalogā. Katalogs nepierāda, ka katrs pakalpojums darbojas katram uzdevumam. Tas padara slēpto atkarību vieglāk pārbaudāmu. Komanda var jautāt, ko rīks dara, kuru valodu tas atbalsta, no kurienes nākuši tā dati un vai licence atbilst paredzētajam lietojumam. Šī ir neizteiksmīga infrastruktūra. Tas ir arī veids, kā kontinents ar daudzām iestādēm izvairās no vienas un tās pašas valodas spējas atkārtotas būvēšanas nesaistītās telpās.

Infrastruktūra ir svarīga, jo valodas darba garo asti neatrisina viens flagmaņa modelis. Publiska iestāde varētu vajadzēt runas atpazīšanu reģionālam akcentam, terminoloģijas ieguvi specializētai jomai, tulkošanas atmiņu tiesību aktiem, nosaukto entītiju atpazīšanu vietvārdiem vai veidu, kā salīdzināt divas dokumenta versijas, nezaudējot diakritiskās zīmes. Uzņēmumam varētu būt nepieciešama lokāla izvietošana, jo materiāls nevar atstāt tā jurisdikciju. Pētniecības grupai varētu būt nepieciešama datu kopa ar skaidru izcelsmes pierādījumu, nevis vēl viens anonīms rezultāts.

Šajā pieejā ir klusa politiska izvēle. Dati un rīki tiek uztverti kā spējas, ko Eiropa var pārbaudīt un veidot, nevis kā pakalpojums, kas ierodas no neredzamas vietas. Tas nenozīmē, ka Eiropas sistēmas automātiski ir labas vai ka komerciālie pakalpojumu sniedzēji citur nevar būt noderīgi. Tas nozīmē, ka valoda ir pārāk svarīga, lai tai nebūtu publiskas vārdnīcas tās datiem, tās nepilnībām un tās izvērtēšanai. Suverenitāte sākas ar apziņu par to, ko sistēma nespēj saskatīt.

Tulkošana nav neitrāla infrastruktūra

Tulkošana bieži tiek novietota starp divām sastāvdaļām arhitektūras shēmā, it kā tā būtu caurule, kas pārnes nozīmi no vienas puses uz otru. Īsta tulkošana ir lēmumu virkne. Kurš avota teksts ir autoritatīvs? Kuriem vārdiem jāpaliek precīziem? Kura neskaidrība ir jāsaglabā? Kuram kultūras atsaucei nepieciešams paskaidrojums? Kurš reģistrs ir piemērots publiskam paziņojumam? Kuru vienību nedrīkst tulkot? Kurš datums, skaitlis vai mērvienība jāattēlo lasītāja konvencijā? Modelis šos lēmumus var pieņemt ātri. Ātrums tos nepadara neredzamus.

Apsveriet atšķirību starp laika ziņu teikuma tulkošanu un paziņojuma par termiņu tulkošanu. Pirmajā gadījumā neliela stila kļūda var būt kaitinoša. Otrajā gadījumā skaitlis vai modālais darbības vārds var mainīt to, ko cilvēks uzskata par savu pienākumu. Pamatā esošajam valodas modelim var būt vienāds tokenu budžets un vienāds pārliecības attēlojums. Sociālās sekas nav vienādas. Tāpēc izvērtēšanai jāseko uzdevumam, nevis jāapstājas pie vispārēja valodas rezultāta.

Komisijas lapa par tās pašas valodu lietojumu izskaidro šo domu bez dramatizācijas. Mašīntulkošana var sniegt pamata priekšstatu, bet kvalitāte un precizitāte ievērojami atšķiras starp dažādiem tekstiem un valodu pāriem. Tas ir noderīgs publisks teikums, jo tas atsakās pārvērst pakalpojumu par orākulu. Tas dod lasītājam atļauju izmantot tulkojumu kā orientieri, vienlaikus saglabājot iemeslu meklēt cilvēka vai autoritatīvu versiju, kad sekas to attaisno.

Produktu komandām tas nozīmē skaidru ceļu kopumu. Zemas ietekmes tulkojumu var atgriezt tieši ar skaidru statusu. Juridiskais vai medicīniskais ceļš var prasīt cilvēka pārskatīšanu, avota saiti vai atteikumu. Iekšējā melnrakstā avots var tikt saglabāts blakus tulkojumam. Balss saskarne var atkārtot kritisku nosaukumu un lūgt apstiprinājumu. Izvēle nav starp pilnīgu automatizāciju un tās neesamību. Tā ir starp cauruļvadu, kas skaidri norāda savus nodošanas punktus, un tādu, kas tos slēpj aiz raita teksta.

Teikums izdzīvo, situācija ne

Modeļi strādā ar attēlojumiem. Sabiedrības strādā ar situācijām. Kad tulkojums pāriet no viena uz otru, sīkas detaļas var kļūt par visu nozīmi. Frāze, kas vienā valodā ir pieklājīga, citā var izklausīties izvairīga. Termins, kas nošķir likumīgas tiesības no diskrecionāra pakalpojuma, var tikt saspiests vispārīgā vārdā par palīdzību. Idiomu var tulkot burtiski un tā kļūst bezjēdzīga, vai arī tulkot brīvi un zaudēt atsauci, kas identificē kopienu. Nevienai no šīm kļūdām nav vajadzīgs absurds rezultāts. Bīstamā atbilde ir tā, kas izskatās parasta.

ES MMLU izlaidums tieši norāda uz šo teritoriju. Tā kvalitātes kritēriji prasa, lai daudzvalodu etaloni pārbaudītu ne tikai nozīmi un grūtības pakāpi, bet arī idiomu, humoru, kultūras atsauces, datuma un skaitļa formātus, kā arī atšķirības paredzamajā tonī vai pieklājībā. Tas ir būtisks izvērtēšanas mērķa paplašinājums. Valodas modelim netiek jautāts tikai, vai tas spēj izveidot gramatiski pareizu teikumu. Tam tiek jautāts, vai teikums iederas situācijā, kurā cilvēks uz to reaģēs.

Humora pieminēšana nav aicinājums padarīt etalonu izklaidējošu. Tā atzīst, ka humors ir stresa tests kontekstam. Literāls tulkojums var saglabāt vārdus un iznīcināt joku. Kultūras ziņā pielāgots tulkojums var saglabāt efektu, mainot atsauci. Sabiedriskās informācijas dienestā tas pats mehānisms darbojas bez smiekliem. Sakāmvārds, vietējs vietvārds vai formāls sveiciens var norādīt, kas runā un kādas attiecības vēstījums veido.

Kad komandas saka, ka modelis saprot valodu, tām būtu jājautā, kuru slāni tās domā. Vai tas atpazīst rakstību? Pareizi sadala vārdus? Identificē vienības? Tulko priekšlikumu? Saglabā juridisko spēku? Ievēro vietējo konvenciju? Saglabā runātāja pārliecības līmeni? Apstrādā nestandarta pareizrakstību? Atbild pareizā reģistrā? Tās ir atsevišķas spējas. Viens apzīmējums, ko sauc par daudzvalodu, slēpj darbu, kas nepieciešams, lai izveidotu katru no tām.

Kāpēc novērtēšanai jāceļo kopā ar valodu

Novērtēšana bieži tiek pievienota beigās, jo komandas vēlas skaitli, ko piesaistīt modelim. Daudzvalodu sistēmas padara šo secību neiespējamu. Testa dati nosaka, kas tiek uzskatīts par kļūdu. Valoda nosaka, kā teikums var neizdoties. Joma nosaka, kura neveiksme ir svarīga. Lietotājs nosaka, vai sistēmas atbilde ir palīgs vai šķērslis. Novērtēšanai jāceļo kopā ar visiem četriem.

Eiropas pētniecības raksts Towards Multilingual LLM Evaluation for European Languages demonstrē problēmas mērogu. Autori novērtē 40 valodu modeļus 21 Eiropas valodā, pārbauda piecu plaši izmantotu etalonu tulkotās versijas un publicē sistēmu, kas ietver EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA un EU20-GSM8K. Raksts neapgalvo, ka esoša etalona tulkošana automātiski padara to taisnīgu. Tas attiecas uz tulkošanas pakalpojumiem, etalonu izveidi un starpvalodu salīdzināmību kā lietām, kas jāizpēta.

Tā ir pareizā nostāja. Tulkots testa vienums var mantot grūtības izmaiņas, kultūras pieņēmumu vai pavedienu, kas oriģinālā nepastāvēja. Modelis var iegūt augstāku rezultātu, jo tulkotais formulējums padara atbildi vieglāku, nevis tāpēc, ka modelis kļuva spējīgāks. Tas var iegūt zemāku rezultātu, jo gramatiskā konstrukcija ir nedabiska mērķa valodā, lai gan pamatā esošā spriešana ir pareiza. Abi rezultāti ir pierādījumi gan par testu, gan par modeli.

Cilvēka pārskatīšana joprojām ir nepieciešama, bet cilvēka pārskatīšanai arī nepieciešams līgums. Kurš pārskatīja vienumu? Vai pārskatītāji bija dzimtās valodas runātāji, jomas speciālisti vai abi? Vai viņi pārskatīja izolētus teikumus vai uzdevumu kontekstā? Vai domstarpības tika reģistrētas? Vai etalons saglabāja alternatīvas pieņemamas atbildes? Valodas eksperts var mums pateikt, ka frāze ir nepareiza. Jomas eksperts var mums pateikt, kāpēc nepareizība maina lēmumu. Uzticamam novērtējumam bieži ir nepieciešami abi, un tam jānorāda, kurš no tiem bija.

Mērķis nav likt katrai sistēmai iziet bezgalīgu pārbaudi, pirms kāds to var izmantot. Mērķis ir nepieļaut, ka šaurs tests tiek sajaukts ar plašu apgalvojumu. Ja modelis ir novērtēts uz īsiem faktu jautājumiem standarta rakstu valodā, ziņojiet par to. Neļaujiet rezultātam klusējot kļūt par apgalvojumu par runas mijiedarbību, juridisko dokumentu sagatavošanu, vietējo pašvaldību, bērniem, vecākiem cilvēkiem vai katru valodas reģistru.

Rezultāts kļūst noderīgs, kamēr ir redzama tā uzdevuma, valodas, konteksta un cilvēka pārskata robeža.

Maltas un basku valodas mācība

Rakstā, kas tika prezentēts 2024. gada LREC-COLING konferencē, tika pētīta mašīntulkošanas novērtēšana no angļu valodas uz maltiešu un no spāņu valodas uz basku. Autori pārbaudīja COMET novērtēšanas metriku, apkopoja tiešus cilvēku vērtējumus un pārbaudīja, cik labi metrika darbojas, kad to pielāgo šiem diviem valodu pāriem. Viņu secinājums ir pieticīgs, bet nozīmīgs: metrikas veiktspēja var uzlaboties ar smalku pielāgošanu, un tā var būt ļoti jutīga pret rezultātu sadalījumu tās apmācības datos, īpaši situācijās ar maz resursu.

Šis nav stāsts par vienas metrikas neveiksmi. Tas ir stāsts par to, no kā ir atkarīgs rezultāts. Metrika, kas apmācīta uz viena sadalījuma, var uzvesties citādi, kad tai jāvērtē cits. Valodu pāris ar mazāk novērtēšanas materiāla var likt rezultātam izskatīties pārliecinošākam, nekā tas ir. Sistēma, kuru ir ērti salīdzināt, joprojām var būt vājš aizstājējs tam, ko runātāji uzskata par labu tulkojumu. Cilvēku vērtējumi nepadara novērtēšanu perfektu, bet tie atklāj vietas, kur automātiskais mērījums izdara pieņēmumus.

Cits 2024. gada pētījums Benchmarking Low-Resource Machine Translation Systems salīdzina publiski pieejamas sistēmas četrās datu kopās un 26 valodās un publicē rezultātus, izmantojot BENG, FAIR platformu dabiskās valodas ģenerēšanas etalonu veidošanai. Arī šeit ieguldījums nav universāls rangs. Tas ir labāk pārbaudāms salīdzinājums. Efektivitāte un lietderība tiek aplūkotas kopā, un valodu saraksts ir redzams. Lasītājs var jautāt, vai etalons ietver to maršrutu, kam ir nozīme, tā vietā, lai pieņemtu vienu galveno skaitli.

Šie pētījumi sniedz Eiropas mācību atturībā. Grūtākais nav izgudrot vēl vienu rezultātu. Tas ir izveidot novērtējumu, kas ļauj lasītājam redzēt, kura valoda, kura uzdevums un kura kvalitātes definīcija ir radījusi rezultātu. Ja šī konteksta trūkst, skaitlis kļūst par robežas šķērsošanu bez pases. Tas var iziet cauri prezentācijai, bet neviens nevar noteikt, no kurienes tas nācis.

Valodas pārklājums var būt drošības īpašība

Drošības diskusijās bieži uzmanība tiek pievērsta saturam, ko sistēmai vajadzētu atteikt, uzbrukumiem, kuriem tai vajadzētu pretoties, vai kļūdām, kuras tai vajadzētu pamanīt. Valoda pievieno vēl vienu jautājumu: vai sistēma spēj atpazīt, kad tā ir ārpus savas kompetences? Maršruts, kas darbojas vienā valodā, citā valodā var neizdoties biežāk, vienlaikus saglabājot to pašu pārliecināto toni. Ja saskarne neatklāj atšķirību, lietotāji nevar kalibrēt savu uzticēšanos.

Īpaši svarīgi tas ir tad, ja valoda ir daļa no drošībai kritiskas mijiedarbības. Pacients var aprakstīt simptomu reģionālā variantā. Darbinieks var ziņot par apdraudējumu, lietojot vietēju terminu. Iedzīvotājs var iesniegt pārsūdzību ar pareizrakstības konvenciju, ko normalizētājs uzskata par troksni. Modelis var būt tehniski precīzs savā etalonuzdevumā un operacionāli nedrošs šajā maršrutā. Būtiskais jautājums nav par to, vai sistēma spēj ģenerēt ticamu atbildi. Tas ir par to, vai drošības kontroles tika novērtētas valodā un situācijā, kas tai ir priekšā.

Drošība neprasa katru valodas maršrutu uzskatīt par īpašu ārkārtas situāciju. Tā prasa saskaņot kontroli ar sekām. Zema riska meklēšanas rezultāts var norādīt uz tā avotiem un aicināt uz labojumu. Medicīniskās šķirošanas saskarne var novirzīt neskaidru valodas ievadi apmācītam speciālistam. Juridisko dokumentu darbplūsma var turēt avotu un tulkojumu blakus un pieprasīt apstiprinājumu pirms publicēšanas. Balss sistēma var lūgt lietotāju atkārtot vārdu, nevis klusējot izvēlēties tuvāko pazīstamo entitāti. Tie ir parasti inženiertehniski lēmumi, ja valoda tiek uzskatīta par daļu no sistēmas robežas.

Pašam atteikumam ir nepieciešams valodas dizains. Pateikt lietotājam, ka sistēma nevar atbildēt, nav pietiekami, ja atteikums ir neskaidrs, augstprātīgs vai nav pieejams lietotāja valodā. Sistēmai būtu jāpasaka, ko tā nevarēja noskaidrot, kāda informācija palīdzētu un kurš cilvēciskais vai autoritatīvais maršruts ir pieejams. Citādi drošības kontrole kļūst par vēl vienu piekļuves šķērsli. Eiropas valodas princips tiek visskaidrāk pārbaudīts tad, kad sistēma nevar sniegt pieprasīto atbildi.

Daudzvalodu pakalpojuma operacionālais dizains

Uzticamam daudzvalodu pakalpojumam ir operacionāla forma, ko ir viegli aprakstīt un pārsteidzoši grūti uzturēt. Pirmkārt, tas nosauc uzdevumu. Tulkošana, transkripcija, klasifikācija, izguve, apkopošana un ģenerēšana nav savstarpēji aizvietojamas. Otrkārt, tas nosauc valodas maršrutu, ieskaitot rakstību un jebkuru būtisku reģionālo vai nozares robežu. Treškārt, tas reģistrē avota materiālu un tam piemērotās transformācijas. Ceturtkārt, tas definē pārskatīšanas un eskalācijas ceļu. Piektkārt, tas pasaka lietotājam, ko sistēma var un ko nevar apgalvot.

Šie soļi nav prasība pēc milzīgas birokrātijas. Tie ir minimums, kas nepieciešams, lai valodas solījumu padarītu pārbaudāmu. Ja piegādātājs saka, ka modelis atbalsta somu valodu, pircējam būtu jāvar jautāt, vai tas nozīmē teksta ģenerēšanu, runas atpazīšanu, tulkošanu no kurām valodām vai visu iepriekš minēto. Ja produktu komanda saka, ka tā atbalsta reģionālo valodu, tai būtu jāpasaka, vai atbalsts ir balstīts uz vietējiem datiem, tulkotiem datiem, nelielu novērtēšanas kopu vai ekspertu pārskatu. Ja atbilde nav zināma, nezināms ir derīgs statuss.

Pakalpojumam ir nepieciešama arī izmaiņu politika. Jauns apmācības materiāls, jauns tokenizators, jauns tulkošanas modelis, jauns terminoloģijas saraksts vai jauna lietotāju grupa var mainīt valodas uzvedību. Izlaidums, kas uzlabo vienu maršrutu, var pasliktināt citu. Pagājušā gada etalonuzdevuma rezultāts automātiski neapraksta šodienas sistēmu. Versiju ieraksti, salīdzināšanas testi un ceļš valodai specifisku kļūdu ziņošanai padara pakalpojumu uzturējamu, nevis tikai ceremoniālu.

Uzturēšanai ir cilvēciskā puse. Valodas ekspertiem ir nepieciešams veids, kā redzēt kļūdas, kas skar viņu kopienas. Nozares komandām ir nepieciešams veids, kā atšķirt tulkošanas kļūdu no politikas neskaidrības. Operatoriem ir nepieciešams veids, kā apturēt maršrutu, negaidot, kamēr modeļa piegādātājs interpretē sūdzību. Lietotājiem ir nepieciešams veids, kā pateikt, ka sistēma pārprata vārdu, kontekstu vai personas vārdu. Daudzvalodu pakalpojums nav pabeigts, kad modelis ir izvietots. Tas ir pietiekami pabeigts, lai būtu atbildīgs, kad pienāk nākamā valodas problēma.

Izcelsmes izsekojamība caur valodas cauruļvadu

Izcelsmes dati kļūst konkrēti, ja sekojam vienai nozīmes vienībai cauri sistēmai. Sāciet ar avota rindkopu. Ierakstiet tās valodu, rakstību, autoru vai iestādi, ja tā ir zināma, tiesības un mērķi. Ja tā ir sadalīta segmentos, saglabājiet saistību ar oriģinālu. Ja tā ir tulkota, saglabājiet avotu un tulkotāju vai tulkošanas procesu. Ja recenzents maina formulējumu, ierakstiet to kā jaunu stāvokli, nevis kā klusu aizstāšanu. Ja rindkopa kļūst par etalona vienību, ņemiet līdzi uzdevumu, atbilžu atslēgu, valodu un recenzijas ierakstu.

Izpildes laikā tā pati disciplīna darbojas pretējā virzienā. Saglabājiet informāciju par to, kurš valodas maršruts apkalpoja pieprasījumu, kura modeļa vai rīka versija tika izmantota, kuri avota pierādījumi tika izgūti, kāds nenoteiktības vai atteikuma stāvoklis tika sasniegts un kāda cilvēka rīcība sekoja. Ierakstam nav jāatklāj privāts saturs katram operatoram. Tam ir jādara materiālie fakti pieejami pilnvarotam recenzentam. Bez tiem valodas incidents kļūst par diskusiju par iespaidiem.

Šeit daudzvalodu izcelsmes dati atšķiras no vispārēja audita žurnāla. Laika zīmogs un modeļa nosaukums mums pasaka, ka kaut kas notika. Tie mums nepasaka, vai avots tika tulkots, vai atbilde mainīja skaitļa formātu, vai nosaukta vienība tika normalizēta vai arī recenzents strādāja mērķa valodā. Transformācijas ceļš ir pierādījums. Īsa atbilde var slēpt garu lēmumu ķēdi.

Šajā pieejā ir maza holandiešu tikums: turiet žurnālu pietiekami garlaicīgu, lai kāds to varētu izmantot otrdienas pēcpusdienā. Izcelsmes ierakstam nevajadzētu būt muzeja etiķetei, kas rakstīta auditam, kurš var nekad nenotikt. Tam vajadzētu palīdzēt operatoram atbildēt uz nākamo jautājumu, apturēt pareizo maršrutu un izskaidrot rezultātu cilvēkam, kuram nav nekādas intereses par jūsu arhitektūras diagrammu. Laba valodas pārvaldība ir nedaudz garlaicīga. Tā jūs zināt, ka tā var izdzīvot saskarē ar darbu.

Slēptās izvēles tulkojumā

Katrā tulkošanas sistēmā ir izvēles, kas ir pelnījušas nosaukumus. Tokenizācija nosaka, kā ievade tiek sadalīta. Normalizācija nosaka, kuras atšķirības tiek saglabātas vai atmestas. Saskaņošana nosaka, kuras divu tekstu daļas tiek uzskatītas par līdzvērtīgām. Terminoloģija nosaka, kuri vārdi ir stabili. Dekodēšana nosaka, kā tiek izvēlēta izvade. Pēcapstrāde nosaka, ko lasītājs redz. Neviena no šīm darbībām pati par sevi nav nepareiza. Katra var radīt valodai specifisku kļūmi, kas nav redzama vispārīgā demonstrācijā.

Ņemiet īpašvārdu. Sistēma to var tulkot, transliterēt, saglabāt vai aizstāt ar pazīstamu rakstību. Dzejolim vairākas izvēles var būt aizstāvamas. Identitātes dokumentam tikai viena var būt pieņemama, un tā var būt atkarīga no izdevējas iestādes. Ņemiet mērvienību vai datumu. Vērtības var palikt matemātiski līdzvērtīgas, kamēr forma kļūst neskaidra lasītājam. Ņemiet dzimtes lietvārdu vai vietniekvārdu. Tulkojums var ieviest informāciju, ko avots bija noklusējis, vai dzēst atšķirību, ko avots bija izveidojis apzināti.

Dizaina atbilde nav iesaldēt valodu. Tā ir noteikt politiku un padarīt izņēmumu redzamu. Terminoloģijas saraksts var aizsargāt juridiskus terminus. Noteikums par nosauktām vienībām var nepieļaut, ka pilsēta kļūst par personu. Skats, kas saglabā avotu, var ļaut recenzentam salīdzināt oriģinālu un izvadi. Cilvēka iesaisti var iedarbināt zema ticamības līmeņa nosaukums, domstarpības starp maršrutiem vai uzdevums, kas klasificēts kā augstas sekas. Modelis paliek noderīgs, jo tā robežas ir daļa no darba plūsmas.

Lielie valodas modeļi padara izvēles grūtāk saskatāmas, jo izvade ir gluda. Gluda izvade ir brīnišķīga saskarne un neuzticams skaidrojums. Sistēma var radīt teikumu, kas izklausās dzimtās valodas līmenī, vienlaikus izvēloties nepareizu vārda nozīmi. Tā var saglabāt plašo tēmu, bet pazaudēt noliegumu. Tā var pārtulkot vietēju frāzi standarta izteicienā, kas maina runātāja nostāju. Tāpēc valodas kvalitāti nevar attēlot tikai ar gramatiku. Nozīmei ir sociāla forma.

Rakstības, dialekti, reģistri un iestādes

Valodas atbalsts bieži tiek paziņots valodas nosaukuma līmenī, bet lasītāji saskaras ar rakstībām, paveidiem un reģistriem. Sistēma, kas apstrādā mūsdienu standarta pareizrakstību, var grūtības sagādāt ar vēsturiskiem dokumentiem. Runas atpazīšanas sistēma var tikt galā ar studijas audio, bet neizdoties pārpildītā stacijā. Publisks tērzēšanas robots var atbildēt formālā reģistrā, kamēr lietotājam ir nepieciešama vienkārša valoda. Iestāde var lietot terminu, kas atšķiras no ikdienas runas, un tam ir juridiski nozīmīgs iemesls.

Šie nav malas gadījumi nievājošā nozīmē. Tās ir vietas, kur valoda saskaras ar pasauli. Reģionāls nosaukums var nozīmēt atšķirību starp pareizu adresi un neizdevušos piegādi. Dialekta vārds var būt vienīgais vārds, ko cilvēks zina simptoma apzīmēšanai. Formāla frāze var signalizēt, ka ziņojumam ir juridisks spēks. Rakstības paveids var noteikt, vai dokuments ir meklējams. Ja etalons izslēdz šos ceļus, tas joprojām var būt noderīgs, bet tas nevar aizstāt visu valodu.

Visu paveidu testēšana ne vienmēr ir iespējama. Godīga atbilde ir aprakstīt atbalstīto apakškopu un aicināt sniegt pierādījumus par pārējo. Sistēma var publicēt, ka tā tika novērtēta uz standarta rakstu nīderlandiešu valodas publiskās informācijas kopsavilkumu veidošanai, bez apgalvojumiem par reģionālo runas atpazīšanu. Tā var pievienot testu frīzu vai basku valodai, neizliekoties, ka šis papildinājums atrisina visus reģionālo un mazākumtautību valodu jautājumus. Konkrētība nav vājums. Tā stāsta lietotājiem, kur atrodas pamats.

Iestādēm vajadzētu arī pretoties idejai, ka viena nacionālās valodas iespēja automātiski ir neitrāla. Administratīvā valoda var būt nepieejama vienas valodas runātājiem. Pieejamība un daudzvalodība pārklājas, jo abas jautā, vai lasītājs var saprast un rīkoties. Komisijas valodas darbs ietver vienkāršošanas rīkus un pieejamu tekstu tieši šī iemesla dēļ. Teikums var būt lingvistiski pareizs un tomēr institucionāli nelietojams.

Kad saskarne ir raita, bet nepareiza

Visgrūtākās valodas kļūmes nav iespaidīgas. Tās ir atbildes, kas iztur acu pārbaudi. Kopsavilkums ietver pareizos nosaukumus, bet maina to, kurš ir atbildīgs. Tulkojums saglabā lietvārdus, bet pārvērš ieteikumu par norādījumu. Klasifikators saprot tēmu, bet palaiž garām noliegumu. Balss sistēma atpazīst vārdus, bet ne runātāja vilcināšanos. Lietotājs lasa izvadi savā valodā un pieņem, ka raitums liecina par rūpību.

Mums vajadzētu veidot sistēmas, ņemot vērā šo kļūdu klasi, nevis gaidīt, kamēr dīvains piemērs kļūst par virsrakstu. Salīdziniet avotu un izvadi augstas sekas saturā. Saglabājiet nenoteiktības marķierus. Paturiet citācijas vai dokumentu atsauces piesaistītas. Lūdziet apstiprinājumu, ja skaitlis, nosaukums vai termiņš ir centrāls. Padariet ceļu redzamu operatoram. Piedāvājiet labošanas mehānismu, kas neprasa lietotājam zināt, kura sastāvdaļa neizdevās. Šīs vadīklas ir mazas, bet tās pārvērš tulkojumu par pārbaudāmu darījumu.

Cilvēka veikto pārskatīšanu nevajadzētu raksturot kā maģisku pēdējo posmu. Pārskatītājiem ir laika ierobežojumi, nepilnības savā jomā un savi lingvistiskie pieņēmumi. Noderīga pārskatīšanas saskarne sniedz viņiem avotu, rezultātu, kontekstu un iemeslu, kāpēc lieta nodota tālāk. Tā reģistrē domstarpības, nevis tās nogludina. Ja pārskatītāji atkārtoti labo vienu terminu, organizācija var uzlabot terminoloģiju vai mainīt uzdevuma robežas. Ja domstarpības atklāj, ka pats avots ir neskaidrs, pareizā rīcība var būt jautāt autoram, nevis trenēt modeli vēl vairāk.

Operatoriem ir nepieciešams arī veids, kā redzēt negatīvos pierādījumus. Kuras valodas netika novērtētas? Kuriem uzdevumiem nav cilvēka veiktas pārskatīšanas? Kuri pieprasījumi tika noraidīti? Kuri lietotāji pameta maršrutu pēc tulkojuma? Trūkums var būt signāls. Zaļa pārklājuma diagramma, kurā nav neveiksmīgo ceļu, ir mārketinga virsmas karte, nevis pakalpojuma karte.

Cilvēka zināšanas nav rezerves poga

Eiropas valodu tehnoloģiju politika liek vienā teikumā valodniekus, datu zinātniekus, datorinženierus un nozares speciālistus. Tā ir dizaina prasība, nevis profesiju saraksts, ko aicināt uz palaišanas zvanu. Katrs cilvēks redz citu kļūmi. Valodnieks redz nedabisku konstrukciju vai zaudētu atšķirību. Inženieris redz segmentācijas vai maršrutēšanas problēmu. Nozares speciālists redz bīstamu kategoriju kļūdu. Operators redz rindu, kuru neviens nevar pārvaldīt. Pakalpojuma lietotājs piedzīvo lēmumu, kuram vairs nav jēgas.

Cilvēka zināšanām jāiesaistās pirms etalona fiksēšanas. Valodas eksperts var palīdzēt atlasīt testa materiālu, kas atspoguļo reālus reģistrus, nevis tikai tīrus teikumus. Nozares eksperts var noteikt terminus, kuriem nedrīkst ļaut novirzīties. Kopienas pārstāvis var pateikt komandai, kurš formulējums šķiet oficiāls, pazīstams vai aizskarošs. Datu pārvaldnieks var izskaidrot, kāda izcelsmes informācija ir pieejama un kāda nav. Šie ieguldījumi veido sistēmas darbības principus. Tie nav rotājums pēc tam, kad tehniskie lēmumi jau ir pieņemti.

Tam, protams, ir izmaksas. Laba pārskatīšana prasa laiku un maksā cilvēkiem par zināšanām, kuras bieži tiek uzskatītas par neredzamām. Šīs izmaksas ir daļa no valodas atbalsta. Alternatīva ir pārnest tās uz lietotājiem, kuri maksā ar apjukumu un pārsūdzībām, vai uz darbiniekiem, kuri neoficiāli tulko un labo maršrutu. Sistēma, kas šķiet lēta, jo ignorē valodas zināšanas, nav efektīva. Tā vienkārši ir pārcēlusi rēķinu.

Kas godīgam etalonam ir jāatklāj

Daudzvalodu etalonam jāsākas ar apgalvojumu, kas ir pietiekami mazs, lai to pārbaudītu. Apgalvojums var būt, ka sistēma spēj atbildēt uz publiskas informācijas jautājumiem noteiktā valodu kopā, saglabāt datumus un skaitļus un atteikties, ja trūkst avota pierādījumu. Tas var būt, ka tulkošanas maršruts apstrādā konkrētu valodu pāri un jomu noteiktā kvalitātes līmenī. Tas var būt, ka runas atpazīšanas sistēma spēj transkribēt noteiktu valodas paveidu noteiktos akustiskos apstākļos. Etalons ir līgums par šo apgalvojumu.

Līgumam ir vajadzīgs vairāk nekā valodu saraksts. Tam jāatklāj uzdevums, avots, joma, reģistrs, rakstība, virziens, konteksta garums, ievades apstākļi, atsauces atbildes, pieņemamie varianti, rādītāji, cilvēka veiktā pārskatīšana un nenoteiktība. Tam jānorāda, vai vienumi sākotnēji tika rakstīti katrā valodā vai tulkoti. Tam jāreģistrē, kas tos pārskatīja un kādas domstarpības palika. Tam jānošķir apkopotie rezultāti no rezultātiem pa valodām. Tam jāparāda pietiekami daudz piemēru, lai lasītājs varētu saprast, ko rādītājs mēra.

ES MMLU kritēriji ir noderīgi, jo paplašina vārda godīgs nozīmi. Līdzsvarots pārstāvēto ES oficiālo valodu klāsts ir viena daļa. Nozīmes, grūtības pakāpes un testēšanas vērtības saglabāšana dažādās valodās ir cita daļa. ES vērtību un kultūras kontekstu, tostarp idiomu, humora, atsauču, datuma un skaitļu formātu, toņa un pieklājības, testēšana padara šo etalonu gan par sociālu, gan tehnisku instrumentu. Kritēriji nenovērš sprieduma nepieciešamību. Tie padara spriedumu pārbaudāmu.

Etalonu veidotājiem būtu jāpublicē neveiksmju kopas, ne tikai vidējie rādītāji. Modelim var būt labs vidējais rezultāts, bet tas var neizturēt nevienu uzdevumu, kas saistīts ar konkrētu reģistru vai skaitļu veidu. Maršruts var būt efektīvs vienā virzienā, bet lēns vai dārgs otrā. Metrika var korelēt ar cilvēka spriedumu vienā valodā, bet citā kļūt nestabila. Skatījums pa valodām un pa uzdevumiem nav greznība. Tas ir veids, kā pircējs izvairās no tā, ka iegādājas vidējo rādītāju, bet saņem izņēmumu.

Visbeidzot, etalonam būtu jānorāda, ko tas nevar mums pateikt. Rakstisks tests nepierāda runas prasmes. Tulkošanas rezultāts nepierāda juridisku uzticamību. Oficiālo valodu kopums nepierāda atbalstu reģionālajām vai mazākumtautību valodām. Augsts rezultāts nepierāda, ka cilvēks var apstrīdēt lēmumu. Ierobežojums nav apkaunojums. Tā ir kartes mala, un lietotājiem tā ir jāredz pirms došanās ceļā.

Rezultāts ir kartes leģenda, nevis pati teritorija

Skaitļi ir noderīgi, jo tie liek veikt salīdzinājumu. Tie ir bīstami, jo aicina izdarīt secinājumu, kas ir plašāks par pašu mērījumu. Rezultāts var pastāstīt, kā sistēma darbojās ar noteiktu paraugu saskaņā ar noteiktu metodi. Tas nevar pastāstīt, kā kopiena piedzīvos sistēmu bez pieņēmumu tilta. Tilts var būt drošs. Tam ir jābūt nosauktam.

Pieņemsim, ka sistēma pēc precizēšanas uzlabo rezultātus daudzvalodu etalonā. Tas ir pierādījums uzlabotai veiktspējai šajā novērtējumā. Tas automātiski nav pierādījums tam, ka sistēma ir drošāka sabiedriskajā pakalpojumā. Pakalpojums var izmantot citu terminoloģiju, garāku kontekstu, runas ievadi, citu reģistru vai lejupstraumes darbplūsmu, kas pārvērš ieteikumu lēmumā. Etalons joprojām var būt vērtīgs. Tas kļūst vērtīgāks, ja organizācija norāda, kuru pakalpojuma daļu tas pārstāv.

Tā pati disciplīna attiecas uz enerģiju, ātrumu un izmaksām. Maršrutam mazāk izmantotā valodā var būt nepieciešama lielāka cilvēka pārskatīšana vai lielāks izguves konteksts. Tas nav defekts, ko slēpt vidējā rādītājā. Tā ir pakalpojuma īpašība, kurai būtu jāietekmē dizains. Eiropas iestādes ir pavadījušas gadu desmitus, veidojot tulkošanas un valodu pakalpojumus, jo valodu daudzveidības praktiskās izmaksas ir reālas. AI sistēma neatceļ šīs izmaksas, ātri izvadot tekstu.

Nav nekā apkaunojoša, izvēloties šaurāku maršrutu. Komanda var labi atbalstīt mazāk uzdevumu, publicēt robežu un pievienot valodas, kad parādās pierādījumi. Tas ir labāk nekā apgalvot, ka tiek atbalstīta katra valoda, un likt lietotājiem pašiem atklāt nepilnības. Eiropas tieksme pēc standarta ir visspēcīgākā, ja tā ir apvienota ar holandiešu tieksmi pārbaudīt, vai lieta darbojas parastā trešdienā.

Veidojiet 24 valodām, testējiet ārpus 24

Eiropas Savienībai ir 24 oficiālās un darba valodas, un Komisijas tulkošanas dienests darbojas visās tajās. Šis skaitlis rada noderīgu bāzes līniju publiskajai infrastruktūrai. Tas nenosaka Eiropas lingvistisko dzīvi. Reģionālās, mazākumtautību, neteiritoriālās un migrantu valodas arī veido kopienas un iestādes. Sistēma, kas veidota 24 valodām, joprojām var izslēgt cilvēkus, kuri neizmanto kādu no šiem maršrutiem vai kuri lieto oficiālo valodu formā, kuru sistēma nav novērtējusi.

Veidot 24 valodām tāpēc nozīmē uzņemties atbildību padarīt pamatu reālu, nevis atļauju apstāties. Katram valodas maršrutam jānes savi pierādījumi. Publiskai iestādei jāspēj pateikt, kuras oficiālās valodas ir aptvertas kādiem uzdevumiem, kāda cilvēka veikta pārskatīšana pastāv un kur lietotāji var iegūt autoritatīvu versiju. Tai arī jābūt iespējai mācīties no valodām ārpus sākotnējās kopas, nepārvēršot kopienu par neapmaksātu testu laboratoriju.

Testēšana ārpus 24 valodām nozīmē vairāk nekā jaunas valodas pievienošanu demonstrācijai. Tas nozīmē darbu ar runātājiem, institūcijām un pētniekiem, lai noteiktu, kāds ir uzdevums, kam avota materiālu drīkst izmantot un kas tiek uzskatīts par kaitīgu kļūdu. Process var radīt nelielu, rūpīgi norobežotu iespēju. Tā joprojām ir virzība. Pieticīgs maršruts ar skaidru līgumu var būt vērtīgāks par iespaidīgu apgalvojumu, ko neviens operators nevar aizstāvēt.

Ko mēs cenšamies padarīt skaidru

Uzņēmumā Dweve mēs šo jautājumu aplūkojam no infrastruktūras puses. Loom mūsu publiskajos produkta materiālos ir aprakstīts kā uz uzdevumu kompilēts kognitīvs modelis, kura valodas komponentes attēlo pārvaldītu rezultātu grafu, savukārt ierobežojumu apguve, grafu kompozīcija, risinātāji un verifikācija nes lēmumu pilnvaras. Tā ir arhitektūras pozīcija, nevis daudzvalodu veiktspējas apgalvojums. Tā nepadara valodas maršrutu pareizu. Tā gan padara vienu pienākumu grūti noslēpjamu: valodas izvade nedrīkst būt vienīgā vieta, kur pastāv sistēmas spriešana un pierādījumi.

Mūsu Ground Truth darbs to pašu punktu pauž cilvēciskākā mērogā. Cilvēkiem ir vajadzīga pietiekami kopīga valoda, lai atšķirtu modeli no darbplūsmas, prognozi no pierādījuma un raitu atbildi no pārbaudīta rezultāta. Daudzvalodu sistēmās šai vārdnīcai vajadzīgs vēl viens vārds: maršruts. Nīderlandiešu atbilde, franču atbilde un basku atbilde nav tikai viena iekšēja notikuma atveidojumi, ja pierādījumi, terminoloģija, pārskatīšana un kļūmju uzvedība atšķiras. Maršruts ir daļa no apgalvojuma.

Šī pozīcija apzināti ir mazāk aizraujoša nekā teikt, ka viens modelis saprot Eiropu. Tā ir arī noderīgāka. Mēs vēlamies, lai sistēma parādītu, ko tā saņēma, kādus avotus un ierobežojumus tā varēja izmantot, ko tā nevarēja noskaidrot un kad cilvēkam būtu jāpārņem vadība. Valoda ir virsma, caur kuru cilvēks sastopas ar šo darbu. Virsmai jābūt skaidrai, bet tai nedrīkst ļaut izdzēst struktūru, kas atrodas zem tās.

Mēs neesam atbrīvoti no šeit aprakstītajiem standartiem. Izcelsmes lauks nelabo trūkstošus datus. Determinēts ceļš nepierāda, ka tulkojums ir taisnīgs. Eiropas datu apstrādes robeža nepiešķir lingvistisko kompetenci. Vienīgais godīgais veids, kā izteikt daudzvalodu apgalvojumu, ir turpināt testēt, publicēt ierobežojumus un ļaut valodas ekspertiem apstrīdēt maršrutu. Produkta nosaukums nav pierādījums. Ieraksts ir.

Praktisks standarts komandām

Komandas, kas izlemj, vai ieviest daudzvalodu mākslīgā intelekta funkciju, var sākt ar īsu jautājumu kopu. Kas tieši sistēmai jādara katrā valodā? Kurus cilvēkus ietekmē, ja tā kļūdās? Kurš avota materiāls ir autoritatīvs? Kā tika izveidoti testa vienumi un kas tos veidoja? Kuri reģistri, rakstības, dialekti un jomas ietilpst apgalvojumā? Ko sistēma dara, ja tā nevar noskaidrot nozīmi? Kurš var apturēt maršrutu? Kā lietotājs var labot atbildi, nekļūstot par projekta neapmaksātu valodnieku?

Jautājumi kļūst konkrēti, kad tos piesaista artefaktiem. Glabājiet valodas maršruta kartīti ar uzdevumu, atbalstītajām valodas variācijām, avotu saimēm, tiesību statusu, modeļa un rīku versijām, novērtējuma rezultātiem, zināmajiem kļūmju veidiem un pārskatīšanas atbildīgo. Glabājiet kļūdu piemērus ar to kontekstu, nevis tikai rezultātu. Glabājiet avotu blakus augstas ietekmes tulkojumam. Glabājiet eskalācijas iemeslu, ko operators var saprast. Glabājiet izmaiņu ierakstu, kad mainās tokenizators, terminoloģijas saraksts, etalons vai modelis.

Iepirkumu komandas var lūgt piegādātājus sniegt rezultātus pa valodām un pa uzdevumiem, nevis vienu daudzvalodu vidējo rādītāju. Viņas var jautāt, vai etalons ir tulkots vai rakstīts dzimtajā valodā, vai ir pieejami cilvēku vērtējumi, kā tiek risināti zemas pieejamības valodu ceļi un vai piegādātājs var eksportēt pārskatīšanai nepieciešamos pierādījumus. Viņas var jautāt, kas notiek, ja valoda netiek atbalstīta, jo atteikums un klusa aizstāšana ar citu valodu rada ļoti atšķirīgas sekas.

Produktu komandas var veidot saskarni tā, lai tā parādītu ceļu un pārliecības līmeni, neizliekoties, ka pārliecības skaitlis ir patiesības varbūtība. Viņas var saglabāt avotu saites, atteikumos lietot vienkāršu valodu un padarīt pārskatīšanas darbības redzamas. Viņas var izvairīties no frāzes atbalsta visas valodas, ja vien nespēj definēt šo darbības vārdu. Atbalstīt var nozīmēt attēlot tekstu, pieņemt ievadi, tulkot, apkopot, atbildēt, klasificēt, runāt vai apstrādāt reglamentētu darbplūsmu. Valodas izvēlne nav specifikācija.

Pētniecības komandas var publicēt datu kopas ar izcelsmes un labojumu ceļiem. Viņas var iekļaut negatīvus rezultātus un ziņot, ja kāds rādītājs nav pārnesams uz citiem apstākļiem. Viņas var aicināt valodu kopienas iesaistīties vērtēšanā, pirms modelis tiek pasludināts par gatavu, un maksāt par šo ekspertīzi. Viņas var pretoties spiedienam pārvērst šauru rezultātu par universālu apgalvojumu. Vērtīgākais etalons var būt tas, kas liek komandai noņemt kādu teikumu no sava produkta lapas.

Sabiedrība aiz modeļa

Valodas modelis var būt ļoti labs valodas radīšanā, nezinot, ko valoda nozīmē sabiedrībā. Tas var paredzēt frāzi, tulkot rindkopu un atbildēt uz jautājumu, vienlaikus nepamanot institucionālās attiecības, ko nes vārdi. Šī plaisa nav pierādījums tam, ka modelis ir nederīgs. Tā ir pierādījums tam, ka valoda ir vairāk nekā datu tips.

Eiropas atbildei nevajadzētu būt sacensībai par to, kurš saskaitīs vairāk valodu modeļa kartē. Tai vajadzētu būt ilgstošiem centieniem padarīt valodas datus, tiesības, ekspertīzi, vērtēšanu un sabiedrisko kontroli par vienas infrastruktūras daļu. Komisijas darbs valodas tehnoloģiju jomā, Language Data Space, European Language Grid un ES MMLU etalons visi norāda šajā virzienā. Eiropas pētnieki pārbauda, kas notiek, ja tulkoti etaloni tiek uztverti kā pētniecības jautājumi, nevis neapšaubāmi instrumenti. Šis darbs ir pelnījis uzmanību, jo tas padara vecu politisku faktu tehniski redzamu: cilvēki nepiedzīvo Savienību vienā valodā.

Nākamreiz, kad piegādātājs saka, ka modelis ir daudzvalodu, jautājiet, ko šis apgalvojums ietver. Kuras valodas? Kuri uzdevumi? Kuras kopienas? Kuri avoti? Kura pārskatīšana? Kurš atteikums? Kurš izmaiņu ieraksts? Jautājums nav naidīgs. Tas ir parasts atbildības sākums.

Sabiedrība nekļūst taisnīga tāpēc, ka mašīna var atkārtot tās vārdus. Tā kļūst taisnīgāka, kad cilvēki var iekļūt tās institūcijās, saprast, kas notiek, apstrīdēt rezultātu un tikt uzklausīti valodā, kas nes viņu dzīvi. Modelis var palīdzēt šajā darbā. Tas nevar to definēt. Modeļa valoda ir tehniska spēja. Sabiedrības valoda ir kopīga atbildība.

Avoti