Jazyk modelu nie je jazykom spoločnosti

Viacjazyčný model nie je spravodlivý len preto, že jeho rozhranie uvádza mnoho jazykov. Jazykové pokrytie je inštitucionálna, kultúrna a bezpečnostná otázka...

Jazyk modelu nie je jazykom spoločnosti

Šestnásť jazykov je začiatok, nie rozsudok

22. júla 2026 zverejnilo Generálne riaditeľstvo Európskej komisie pre preklad benchmark EU MMLU, ktorý má testovať veľké jazykové modely v európskych jazykových a kultúrnych kontextoch. Toto zverejnenie bolo nezvyčajne úprimné o medzere, ktorú sa snažilo preklenúť. Mnohé vyhodnocovacie súbory údajov boli vytvorené v angličtine. Model v nich môže dosahovať dobré výsledky, a napriek tomu zlyhávať vo francúzštine, maďarčine či maltčine. Nový súbor údajov začína so šestnástimi úradnými jazykmi EÚ, siedmimi tematickými oblasťami a viac ako tisícovkou otázok, ktoré preložilo a upravilo takmer 250 študentov z 21 európskych univerzít.

Najdôležitejšou časťou tohto oznámenia nie je zoznam jazykov. Je to veta pod ním: správanie modelu nemožno odvodzovať z jazyka, v ktorom pôsobí najplynulejšie. To by malo byť samozrejmé. Je to však aj predpoklad, na ktorom stojí pozoruhodné množstvo obstarávaní, výskumu a verejnej diskusie. O jazykovom modeli stále hovoríme, akoby mal jednu myseľ, a potom ho žiadame, aby nosil rôzne jazyky ako kabáty. Kabát sa mení. Myseľ, dôkazy, slepé miesta a spoločenské prostredie sa považujú za stabilné.

Nie sú stabilné. Jazyk je miestom, kde sa človek stretáva s inštitúciou. Nesie v sebe podmienky dávky, tón odvolania, rozdiel medzi radou a pokynom, tvar vtipu, názov miesta a predpoklady vo formulári. Keď systém zvláda jeden jazyk lepšie ako druhý, neprodukuje len menej elegantnú vetu. Môže zmeniť to, kto je pochopený, kto je braný vážne, kto môže napadnúť výsledok a kto sa vzdá skôr, než nájde správne dvere.

Praktický záver je jasný. Viacjazyčná umelá inteligencia nie je prekladateľská funkcia, ktorá sa pridá po zostavení modelu. Je to otázka prístupu, dôkazov a autority. Práca Európy na jazykových technológiách, jazykových údajoch a viacjazyčnom vyhodnocovaní je hodnotná, pretože problém vníma ako infraštruktúru. Táto práca stále nie je dokončená. Benchmark nie je zárukou a šestnásť jazykov nie je celá Európa. Ale smer je správny: prestaňme sa pýtať, či model hovorí jazykom, a začnime sa pýtať, čo v tomto jazyku dokáže bezpečne robiť, pre koho, za akých podmienok a s akými dôkazmi.

Jazykové pokrytie je dôveryhodné len vtedy, keď tvrdenia o zdroji, kontexte, preskúmaní a službe zostávajú prepojené.

Jazyk je hranicou prístupu

Európa urobila z jazyka inštitucionálnu skutočnosť, nie súkromnú preferenciu. Článok 22 Charty základných práv uvádza, že Únia rešpektuje kultúrnu, náboženskú a jazykovú rozmanitosť. Jazykovo-technologická politika samotnej Komisie stavia túto povinnosť vedľa praktického varovania: jazykové technológie potrebujú nestranné používanie, ak majú práva a zásady prežiť kontakt so softvérom. Nejde o dekoratívne záväzky. Opisujú hranicu, na ktorú narazí verejný systém, keď obyvateľ nedokáže prečítať oznámenie, nedokáže pochopiť, prečo bolo rozhodnuté, alebo nedokáže vyjadriť relevantnú skutočnosť v jazyku, v ktorom táto skutočnosť existuje.

Túto hranicu ľahko prehliadnete, keď tím meria iba to, či bol preklad vytvorený. Veta môže prísť v požadovanom jazyku a napriek tomu zlyhať pre človeka, ktorý ju potrebuje. Preklad môže sploštiť právne rozlíšenie, zmeniť mieru zdvorilosti, ktorá signalizuje, či úradník žiada alebo prikazuje, alebo použiť výraz, ktorý má bežný význam, ale odborný význam v konkrétnej službe. Rozpoznávač reči môže zmeniť regionálnu výslovnosť na iné slovo. Sumarizátor môže odstrániť kvalifikáciu, ktorá nesie zodpovednosť. Plynulosť nám nepovie, či transakcia zostala nedotknutá.

Predstavte si verejnú informačnú službu, ktorá ponúka rovnaké vysvetlenie oprávnenosti v holandčine, francúzštine a regionálnom jazyku. Prvé dve cesty boli trénované a testované na administratívnych materiáloch, odvolacích listoch a rozhovoroch s odborníkmi v danej oblasti. Tretia cesta má vynikajúcu všeobecnú prózu, ale žiadne zmysluplné vyhodnotenie na terminológii samotnej služby. Dashboard môže hlásiť tri zelené jazykové štítky. Obyvatelia nedostávajú tri rovnocenné služby. Jedna skupina dostane vysvetlenie; druhá dostane priblíženie; tretia dostane vyleštenú neistotu, ktorá vyzerá úradne, pretože má správne logo.

Príklad je zámerne hypotetický. Nie je to tvrdenie o konkrétnej obci alebo dodávateľovi. Jeho účelom je odhaliť konštrukčnú chybu. Jazyková podpora sa často počíta na úrovni rozhrania, zatiaľ čo skutočná povinnosť leží ďalej v reťazci. Systém musí vedieť, aké údaje podporujú jazyk, ktoré úlohy boli vyhodnotené, kto kontroloval chyby, ako ich môžu používatelia opraviť a kedy musí cesta odmietnuť odpovedať. Ak tieto podrobnosti chýbajú, výber jazyka je sľub bez zmluvy.

Mapa modelu nie je mapou spoločnosti

Model sa učí z mapy jazyka, ktorú sprístupňujú jeho údaje a proces trénovania. Spoločnosť žije v oveľa väčšej mape. Mapa modelu obsahuje texty, nahrávky, štítky, preklady a vyhodnotenia, ktoré boli prijaté. Mapa spoločnosti obsahuje ľudí, ktorí hovoria inak doma a v práci, prepínajú registre bez toho, aby to oznámili, preberajú slová cez hranicu, používajú menšinový jazyk v miestnej inštitúcii alebo píšu v písme, ktoré benchmark nezahrnul. Jedna mapa je technický artefakt. Druhá je usporiadanie životov, práv a povinností.

Rozdiel je dôležitý aj pri jazykoch s veľkými verejnými korpusmi. Národný jazyk nie je jeden jednotný prúd. Vládne formuláre, súdne rozhodnutia, triedny prejav, zdravotné rady, textové správy a rozhovor medzi susedmi používajú rôzne slovné zásoby a rôznu toleranciu voči nejednoznačnosti. Model môže byť kompetentný v spravodajskej próze a slabý v odvolaní na dávky. Dokáže zvládnuť štandardný pravopis a mať problémy s dialektom. Dokáže preložiť doslovnú vetu a nevšimnúť si pragmatický význam vyjadrený zdvorilostnou formulou. Nazývať celý jazyk podporovaným skrýva hranicu úlohy.

Jazykové technológie preto potrebujú presnejší slovník. Mali by sme rozlišovať medzi jazykom prítomným v tréningových dátach a úlohou vyhodnocovanou v danom jazyku. Mali by sme rozlišovať medzi prekladom z benchmarku a nezávisle napísanou testovacou položkou. Mali by sme rozlišovať medzi čítaním písma a porozumením registru komunity. Mali by sme rozlišovať medzi schopnosťou systému generovať text a jeho oprávnením radiť, klasifikovať alebo rozhodovať. Každé rozlíšenie je malý kus administratívy. Spoločne zabraňujú tomu, aby sa zo slabých dôkazov poskladalo široké tvrdenie.

Existuje inštitucionálny dôvod byť prísny. Verejné služby si nemôžu vybrať najľahší jazyk a nazvať výsledok efektívnym. Banka, nemocnica, zamestnávateľ alebo poskytovateľ softvéru môžu mať rôzne právne povinnosti, ale každý z nich rozhoduje o tom, koľko trenia musí človek absorbovať, aby mu bolo rozumieť. Viacjazyčná cesta, ktorá zlyhá ticho, presúva náklady na používateľa. Používateľ musí nájsť prekladateľa, zopakovať príbeh, prijať horší výsledok alebo opustiť proces. Systém hlási úspech, pretože vrátil reťazec. Človek zažíva vylúčenie s dokonalou gramatikou.

Čo vlastne znamená nízka dostupnosť zdrojov

Nízka dostupnosť zdrojov sa často považuje za vlastnosť jazyka, akoby niektoré jazyky prišli k dverám modelu s menším počtom zdrojov a mali sa ospravedlniť za nepríjemnosť. Užitočnejšie je považovať ju za vlastnosť úlohy, dátového súboru a rozhodnutia o správe. Jazyk môže mať značný literárny materiál, ale málo označených dát pre medicínsky klasifikátor. Môže mať paralelný text, ale takmer žiadne zvukové nahrávky. Môže byť zastúpený v korpuse bez práv alebo metadát potrebných na konkrétne nasadenie. Môže mať dáta v štandardnej forme, zatiaľ čo dotknutí ľudia používajú regionálnu variantu.

Politika jazykových technológií Európskej komisie to pomenúva jasne. Jazykové dáta sú základom jazykových nástrojov a ľudská odbornosť je nevyhnutnou súčasťou úspešného vývoja. Model potrebuje text alebo reč, algoritmy, výpočtový výkon a ľudí, ktorí rozumejú jazyku a oblasti. Odstránenie ktoréhokoľvek z týchto prvkov mení systém. Viac výpočtového výkonu nemôže vytvoriť chýbajúcu konverzáciu. Viac príkladov nemôže opraviť označenie, ktoré zamieňa dve právne kategórie. Väčší model nemôže rozhodnúť, ktorý zdroj komunita považuje za autoritatívny.

Práca s nízkou dostupnosťou zdrojov preto nie je pozvaním na zníženie štandardu. Je dôvodom, aby bol štandard viditeľný. Ak má úloha málo vyhodnocovacieho materiálu, povedzte to. Ak je metrika nestabilná pre jazykový pár, nahláste nestabilitu. Ak bola ľudská kontrola malá, identifikujte rozsah kontroly namiesto toho, aby ste ju prezentovali ako všeobecnú záruku. Ak je cesta užitočná na návrh, ale nie na rozhodovanie, umiestnite túto hranicu tam, kde ju kupujúci a používateľ môžu vidieť. Čestný nedostatok je bezpečnejší ako bohato vyzerajúce ticho.

Európska jazyková krajina robí túto disciplínu nevyhnutnou. Komisia opisuje komplexný súbor úradných, regionálnych a menšinových jazykov a podporila iniciatívy, ako sú European Language Grid, agenda European Language Equality a Common European Language Data Space. Tieto projekty nie sú jediným riešením a nemali by sa tak opisovať. Sú kusmi ekosystému, v ktorom sa môžu stretnúť dáta, nástroje, práva, odbornosť a verejné inštitúcie. Inštitucionálny tvar je rovnako dôležitý ako model v jeho vnútri.

Vrstva práv prichádza pred benchmarkom

Je lákavé hovoriť o jazykových modeloch, akoby bol jazyk neutrálnym vstupným kanálom. Nie je. Vstup môže obsahovať osobné údaje, chránenú charakteristiku, miestny názov, zdravotný záznam alebo záznam o tom, že človek žiada o pomoc. Zdroj môže byť chránený autorským právom alebo podliehať výhrade. Preložený výstup sa môže použiť pri rozhodovaní, aj keď prekladová cesta nebola pre tento kontext nikdy vyhodnotená. Jazykový problém modelu je problémom práv skôr, než si niekto vyberie skóre.

Usmernenie Komisie k jazykovým technológiám spája jazykové údaje s autorským právom aj ochranou údajov. Toto prepojenie by malo zmeniť spôsob, akým tímy navrhujú dátové potrubia. Korpus nie je len hromada viet. Má identitu zdroja, podmienky získania, licenciu alebo právny status, metadáta o jazyku a písme, signály kvality, účel a pravidlá uchovávania. Ak je položka opravená alebo stiahnutá, organizácia musí vedieť, ktoré odvodené artefakty boli ovplyvnené. Inak môže neskorší model zopakovať starú chybu s istotou čerstvo vytlačeného formulára.

Tu sa ukazuje hodnota pôvodu údajov. Pôvod nie je poznámka pod čiarou, že údaje odniekiaľ pochádzajú. Je to súbor vzťahov, ktoré recenzentovi umožňujú prejsť od výsledku k príslušným dôkazom a späť. Pri viacjazyčnej práci musia tieto vzťahy prežiť preklad, prepis, normalizáciu, segmentáciu a vyhodnotenie. Veta preložená pre benchmark nie je zameniteľná so zdrojovou vetou. Označenie vytvorené recenzentom nie je zameniteľné s označením prevzatým z iného jazyka. Transformácia je súčasťou dôkazov.

Neexistuje požiadavka, aby každý používateľ videl výskumnú evidenciu. Existuje požiadavka, aby organizácia vedela odpovedať na závažnú otázku, keď príde. Ktorá verzia jazykového zdroja sa použila? Akú úlohu podporoval? Ktorí jazykoví odborníci ho posúdili? Čo systém urobil, keď bola istota nízka? Bola sťažnosť považovaná za opravu jednej odpovede alebo za možnú triedu zlyhaní? Jazyková cesta sa stáva dôveryhodnou, keď majú tieto otázky vlastníkov a záznamy.

Európa buduje jazykovú infraštruktúru, nielen tlačidlá na preklad

Opis Spoločného európskeho priestoru pre jazykové údaje od Európskej komisie je užitočný, pretože projekt nezredukuje na vydanie modelu. Cieľom je platforma a trhovisko na zhromažďovanie, zdieľanie a opätovné používanie viacjazyčných a multimodálnych jazykových údajov, pričom organizácie a jednotlivci, ktorí údaje vytvárajú, si zachovávajú kontrolu. Táto formulácia poukazuje na inú predstavu pokroku. Prácou nie je len vytvoriť lepšiu vetu. Je ňou zabezpečiť, aby boli jazykové zdroje objaviteľné, rešpektujúce práva, opätovne použiteľné a zodpovedné vo verejnej správe, výskume aj priemysle.

Európska jazyková mriežka urobila podobný krok, keď priniesla špecializované nástroje a zdroje jazykových technológií do spoločného katalógu. Katalóg nedokazuje, že každá služba funguje na každú úlohu. Uľahčuje však kontrolu skrytej závislosti. Tím sa môže opýtať, čo nástroj robí, ktorý jazyk podporuje, odkiaľ pochádzajú jeho údaje a či licencia zodpovedá zamýšľanému použitiu. Toto je nevďačná infraštruktúra. Je to však aj spôsob, ako kontinent s mnohými inštitúciami predíde budovaniu rovnakej jazykovej kapacity v oddelených miestnostiach.

Infraštruktúra je dôležitá, pretože dlhý chvost jazykovej práce nevyrieši jeden vlajkový model. Verejný orgán môže potrebovať rozpoznávanie reči pre regionálny prízvuk, extrakciu terminológie pre špecializovanú oblasť, prekladovú pamäť pre legislatívu, rozpoznávanie pomenovaných entít pre miestne názvy alebo spôsob porovnania dvoch verzií dokumentu bez straty diakritiky. Spoločnosť môže potrebovať lokálne nasadenie, pretože materiál nemôže opustiť jej jurisdikciu. Výskumná skupina môže potrebovať dátový súbor s jasným pôvodom namiesto ďalšieho anonymného skóre.

V tomto prístupe je tichá politická voľba. Dáta a nástroje sa vnímajú ako schopnosti, ktoré by Európa mala vedieť preskúmať a formovať, nie ako služba, ktorá prichádza z neviditeľného odniekiaľ. To neznamená, že európske systémy sú automaticky dobré alebo že komerční poskytovatelia odinakiaľ nemôžu byť užitoční. Znamená to, že jazyk je príliš dôležitý na to, aby nemal verejný slovník pre svoje dáta, svoje medzery a svoje hodnotenie. Suverenita sa začína tým, že vieme, čo systém nevidí.

Preklad nie je neutrálne potrubie

Preklad sa v architektonických diagramoch často umiestňuje medzi dva komponenty, akoby bol rúrou, ktorá prenáša význam z jednej strany na druhú. Skutočný preklad je postupnosť rozhodnutí. Ktorý zdrojový text je smerodajný? Ktoré slová musia zostať presné? Ktorá nejednoznačnosť by sa mala zachovať? Ktorý kultúrny odkaz potrebuje vysvetlenie? Aký register je vhodný pre verejné oznámenie? Ktorý subjekt sa nesmie prekladať? Ktorý dátum, číslo alebo jednotka by sa mala uviesť v konvencii čitateľa? Model dokáže tieto rozhodnutia urobiť rýchlo. Rýchlosť ich nerobí neviditeľnými.

Zamyslime sa nad rozdielom medzi prekladom vety o počasí a prekladom oznámenia o termíne. V prvom prípade môže byť malá štylistická chyba nepríjemná. V druhom prípade môže číslo alebo modálne sloveso zmeniť to, čo si človek myslí, že musí urobiť. Základný jazykový model môže mať rovnaký tokenový rozpočet a rovnaké zobrazenie spoľahlivosti. Spoločenské dôsledky nie sú rovnaké. Hodnotenie preto musí nasledovať úlohu, nie zastaviť sa pri všeobecnom jazykovom skóre.

Stránka Komisie o jej vlastnom používaní jazykov to vysvetľuje bez dramatizovania. Strojový preklad môže poskytnúť základnú predstavu, ale kvalita a presnosť sa výrazne líšia od jedného textu k druhému a medzi jazykovými pármi. To je užitočná verejná veta, pretože odmieta premeniť službu na orákulum. Dáva čitateľovi povolenie použiť preklad ako orientáciu, pričom zachováva dôvod hľadať ľudskú alebo smerodajnú verziu, keď si to dôsledky vyžadujú.

Pre produktové tímy z toho vyplýva súbor jasných postupov. Preklad s nízkymi dôsledkami sa môže vrátiť priamo s jasným stavom. Právna alebo lekárska cesta môže vyžadovať ľudskú kontrolu, odkaz na zdroj alebo odmietnutie. Interný návrh môže zachovať zdroj vedľa prekladu. Hlasové rozhranie môže zopakovať kritické meno a požiadať o potvrdenie. Voľba nie je medzi úplnou automatizáciou a žiadnou automatizáciou. Je medzi postupom, ktorý deklaruje svoje odovzdania, a takým, ktorý ich skrýva za plynulým odsekom.

Veta prežije, situácia nie

Modely pracujú s reprezentáciami. Spoločnosti pracujú so situáciami. Keď sa preklad presúva z jedného na druhé, malé detaily sa môžu stať celým významom. Fráza, ktorá je v jednom jazyku zdvorilá, môže v inom znieť vyhýbavo. Termín, ktorý rozlišuje zákonné právo od diskrečnej služby, sa môže zredukovať na všeobecné slovo pre pomoc. Idióm sa môže preložiť doslovne a stať sa nezmyslom, alebo voľne a stratiť odkaz, ktorý identifikuje komunitu. Žiadne z týchto zlyhaní nepotrebuje absurdný výstup. Nebezpečná odpoveď je tá, ktorá vyzerá obyčajne.

Vydanie EU MMLU poukazuje presne na túto oblasť. Jeho kritériá kvality žiadajú, aby viacjazyčné benchmarky testovali nielen význam a náročnosť, ale aj idiómy, humor, kultúrne odkazy, formáty dátumov a čísel a rozdiely v očakávanom tóne alebo zdvorilosti. Toto je dôležité rozšírenie cieľa hodnotenia. Od jazykového modelu sa nežiada len to, či dokáže vytvoriť gramaticky správnu vetu. Žiada sa od neho, či veta patrí do situácie, v ktorej na ňu bude človek konať.

Zmienka o humore nie je pozvaním, aby bol benchmark zábavný. Uznáva, že humor je záťažovým testom kontextu. Doslovný preklad môže zachovať slová a zničiť vtip. Kultúrne prispôsobený preklad môže zachovať účinok, pričom zmení odkaz. Vo verejnej informačnej službe sa rovnaký mechanizmus objavuje bez smiechu. Príslovie, miestny názov alebo formálny pozdrav môžu signalizovať, kto hovorí a aký vzťah správa vytvára.

Keď tímy tvrdia, že model rozumie jazyku, mali by si položiť otázku, ktorú vrstvu majú na mysli. Rozpoznáva písmo? Segmentuje slová správne? Identifikuje entity? Prekladá propozíciu? Zachováva právnu silu? Dodržiava miestnu konvenciu? Zachováva mieru istoty hovoriaceho? Zvláda neštandardný pravopis? Odpovedá v správnom registri? Toto sú samostatné schopnosti. Jediný štítok s názvom viacjazyčnosť skrýva prácu potrebnú na preukázanie každej z nich.

Prečo musí hodnotenie cestovať s jazykom

Hodnotenie sa často pridáva na koniec, pretože tímy chcú číslo, ktoré priložia k modelu. Viacjazyčné systémy robia toto poradie nemožným. Testovacie údaje určujú, čo sa považuje za chybu. Jazyk určuje, ako môže veta zlyhať. Doména určuje, ktoré zlyhanie je dôležité. Používateľ určuje, či je odpoveď systému pomocou alebo prekážkou. Hodnotenie musí cestovať so všetkými štyrmi.

Európsky výskumný dokument Towards Multilingual LLM Evaluation for European Languages demonštruje rozsah problému. Autori hodnotia 40 jazykových modelov v 21 európskych jazykoch, skúmajú preložené verzie piatich široko používaných benchmarkov a publikujú rámec, ktorý zahŕňa EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA a EU20-GSM8K. Dokument netvrdí, že preklad existujúceho benchmarku ho automaticky robí spravodlivým. Prekladateľské služby, konštrukciu benchmarkov a medzijazykovú porovnateľnosť považuje za veci, ktoré treba preskúmať.

To je správny postoj. Preložená testovacia položka môže zdediť zmenu náročnosti, kultúrny predpoklad alebo nápovedu, ktorá v origináli neexistovala. Model môže dosiahnuť vyššie skóre, pretože preložené znenie uľahčuje odpoveď, nie preto, že sa model stal schopnejším. Môže dosiahnuť nižšie skóre, pretože gramatická konštrukcia je v cieľovom jazyku neprirodzená, hoci základné uvažovanie je správne. Oba výsledky sú dôkazom o teste aj o modeli.

Ľudská kontrola zostáva nevyhnutná, ale aj ľudská kontrola potrebuje zmluvu. Kto kontroloval položku? Boli kontrolóri rodení hovoriaci, odborníci na doménu alebo oboje? Kontrolovali izolované vety alebo úlohu v kontexte? Boli nezrovnalosti zaznamenané? Zachoval benchmark alternatívne prijateľné odpovede? Jazykový odborník nám môže povedať, že fráza je nesprávna. Odborník na doménu nám môže povedať, prečo nesprávnosť mení rozhodnutie. Dôveryhodné hodnotenie často potrebuje oboch a musí uviesť, ktorého malo.

Zmyslom nie je prinútiť každý systém prejsť nekonečnou skúškou, kým ho niekto môže použiť. Je to zabrániť tomu, aby sa úzky test zamieňal so širokým tvrdením. Ak bol model hodnotený na krátkych faktických otázkach v štandardnom písanom jazyku, uveďte to. Nedovoľte, aby sa výsledok ticho stal tvrdením o hovorenej interakcii, právnom formulovaní, miestnej samospráve, deťoch, starších ľuďoch alebo každom registri jazyka.

Skóre sa stáva užitočným, keď zostáva viditeľná hranica jeho úlohy, jazyka, kontextu a ľudského posúdenia.

Lekcia z maltčiny a baskičtiny

Príspevok prednesený na konferencii LREC-COLING 2024 skúmal hodnotenie strojového prekladu z angličtiny do maltčiny a zo španielčiny do baskičtiny. Autori analyzovali metrický nástroj COMET, zhromaždili priame ľudské hodnotenia a overovali, ako sa metrika správa po prispôsobení na tieto dva jazykové páry. Ich záver je skromný, no závažný: výkonnosť metriky sa môže doladením zlepšiť, no zároveň môže byť veľmi citlivá na rozloženie skóre v tréningových dátach, najmä v prostredí s obmedzenými zdrojmi.

Toto nie je príbeh o zlyhaní jednej metriky. Je to príbeh o tom, od čoho skóre závisí. Metrika natrénovaná na jednom rozložení sa môže pri posudzovaní iného správať odlišne. Jazykový pár s menším množstvom hodnotiaceho materiálu môže spôsobiť, že skóre bude vyzerať rozhodnejšie, než v skutočnosti je. Systém, ktorý sa dá pohodlne porovnávať, môže byť stále slabou náhradou za to, čo hovoriaci považujú za dobrý preklad. Ľudské úsudky nerobia hodnotenie dokonalým, ale odhaľujú miesta, kde si automatické meranie robí predpoklady.

Ďalšia štúdia z roku 2024, Benchmarking Low-Resource Machine Translation Systems, porovnáva verejne dostupné systémy na štyroch dátových sadách a v 26 jazykoch a výsledky zverejňuje prostredníctvom platformy BENG, ktorá je FAIR benchmarkovou platformou pre generovanie prirodzeného jazyka. Ani tu nejde o univerzálny rebríček. Ide o porovnanie, ktoré je lepšie preskúmateľné. Efektívnosť a účinnosť sa posudzujú spoločne a zoznam jazykov je viditeľný. Čitateľ si môže položiť otázku, či benchmark zahŕňa trasu, ktorá je preňho dôležitá, namiesto toho, aby prijal jediné zvučné číslo.

Tieto štúdie ponúkajú európsku lekciu zdržanlivosti. Náročné nie je vymyslieť ďalšie skóre. Náročné je vytvoriť hodnotenie, ktoré čitateľovi umožní vidieť, koho jazyk, koho úloha a koho definícia kvality skóre vytvorili. Keď tento kontext chýba, číslo sa stáva prekročením hranice bez pasu. Môže prejsť prezentáciou, ale nikto nedokáže určiť, odkiaľ prišlo.

Jazykové pokrytie môže byť bezpečnostnou vlastnosťou

Diskusie o bezpečnosti sa často zameriavajú na obsah, ktorý by systém mal odmietnuť, na útoky, ktorým by mal odolať, alebo na chyby, ktoré by mal zachytiť. Jazyk pridáva ďalšiu otázku: dokáže systém rozpoznať, že je mimo svojich kompetencií? Trasa, ktorá funguje v jednom jazyku, môže v inom zlyhávať častejšie, pričom si zachová rovnaký sebavedomý tón. Ak rozhranie tento rozdiel neodhalí, používatelia nedokážu správne nastaviť svoju dôveru.

To je obzvlášť dôležité, keď je jazyk súčasťou interakcie kritickej z hľadiska bezpečnosti. Pacient môže opísať príznak v regionálnej variete. Pracovník môže nahlásiť nebezpečenstvo miestnym výrazom. Obyvateľ môže podať odvolanie s pravopisom, ktorý normalizátor považuje za šum. Model môže byť technicky presný vo svojom benchmarku a prevádzkovo nebezpečný pre túto trasu. Podstatnou otázkou nie je, či systém dokáže vygenerovať hodnovernú odpoveď. Je ňou to, či boli bezpečnostné kontroly vyhodnotené na jazyku a situácii, ktoré má pred sebou.

Bezpečnosť nevyžaduje, aby sa s každou jazykovou trasou zaobchádzalo ako s mimoriadnou núdzou. Vyžaduje, aby bola kontrola prispôsobená následkom. Výsledok vyhľadávania s nízkym rizikom môže zverejniť svoje zdroje a vyzvať na opravu. Rozhranie lekárskej triáže môže nasmerovať nejasný jazykový vstup na vyškoleného odborníka. Pracovný postup právnych dokumentov môže ponechať zdroj a preklad vedľa seba a vyžadovať schválenie pred zverejnením. Hlasový systém môže požiadať používateľa o zopakovanie mena namiesto tichého výberu najbližšej známej entity. Toto sú bežné technické rozhodnutia, keď sa jazyk považuje za súčasť hranice systému.

Samotné odmietnutie si vyžaduje jazykový dizajn. Povedať používateľovi, že systém nedokáže odpovedať, nestačí, ak je odmietnutie nejasné, povýšenecké alebo nedostupné v jazyku používateľa. Systém by mal povedať, čo nedokázal zistiť, aké informácie by pomohli a aká ľudská alebo autoritatívna cesta je k dispozícii. Inak sa bezpečnostná kontrola stane ďalšou bariérou prístupu. Jazykový princíp Európy sa najjasnejšie prejaví, keď systém nedokáže poskytnúť požadovanú odpoveď.

Prevádzkový dizajn viacjazyčnej služby

Dôveryhodná viacjazyčná služba má prevádzkovú podobu, ktorá sa dá ľahko opísať a prekvapivo ťažko udržiavať. Po prvé, pomenúva úlohu. Preklad, prepis, klasifikácia, vyhľadávanie, sumarizácia a generovanie nie sú zameniteľné. Po druhé, pomenúva jazykovú trasu vrátane písma a príslušnej regionálnej alebo doménovej hranice. Po tretie, zaznamenáva zdrojový materiál a transformácie, ktoré sa naň aplikovali. Po štvrté, definuje cestu kontroly a eskalácie. Po piate, hovorí používateľovi, čo systém môže a čo nemôže tvrdiť.

Tieto kroky nie sú požiadavkou na obrovskú byrokraciu. Sú minimom potrebným na to, aby bol jazykový sľub testovateľný. Ak dodávateľ tvrdí, že model podporuje fínčinu, kupujúci by sa mal vedieť opýtať, či to znamená generovanie textu, rozpoznávanie reči, preklad z ktorých jazykov alebo všetko uvedené. Ak produktový tím tvrdí, že podporuje regionálny jazyk, mal by uviesť, či je podpora založená na natívnych údajoch, preložených údajoch, malej vyhodnocovacej sade alebo odbornom posúdení. Ak odpoveď nie je známa, neznáma je platný stav.

Služba tiež potrebuje politiku zmien. Nový tréningový materiál, nový tokenizér, nový prekladový model, nový zoznam terminológie alebo nová skupina používateľov môžu zmeniť jazykové správanie. Verzia, ktorá zlepší jednu trasu, môže zhoršiť inú. Výsledok benchmarku z minulého roka automaticky neopisuje dnešný systém. Záznamy verzií, porovnávacie testy a cesta na nahlasovanie chýb špecifických pre daný jazyk robia službu udržiavateľnou, nie len ceremoniálnou.

Údržba má ľudskú stránku. Jazykoví odborníci potrebujú spôsob, ako vidieť chyby, ktoré ovplyvňujú ich komunity. Doménové tímy potrebujú spôsob, ako rozlíšiť prekladovú chybu od nejasnosti politiky. Operátori potrebujú spôsob, ako pozastaviť trasu bez čakania na interpretáciu sťažnosti dodávateľom modelu. Používatelia potrebujú spôsob, ako povedať, že systém nepochopil slovo, kontext alebo meno osoby. Viacjazyčná služba nie je dokončená, keď je model nasadený. Je dostatočne dokončená na to, aby bola zodpovedná, keď príde ďalší jazykový problém.

Proveniencia cez jazykový pipeline

Proveniencia sa stáva konkrétnou, keď sledujeme jeden kus významu systémom. Začnite zdrojovým odsekom. Zaznamenajte jeho jazyk, písmo, autora alebo inštitúciu, ak sú známe, práva a účel. Ak je segmentovaný, zachovajte vzťah k originálu. Ak je preložený, ponechajte zdroj a prekladateľa alebo proces prekladu. Ak recenzent zmení formuláciu, zaznamenajte to ako nový stav, nie ako tichú náhradu. Ak sa odsek stane položkou benchmarku, preneste s ním úlohu, kľúč odpovedí, jazyk a záznam o recenzii.

Počas behu platí rovnaká disciplína v opačnom poradí. Uložte, ktorá jazyková trasa spracovala požiadavku, ktorá verzia modelu alebo nástroja bežala, ktoré zdrojové dôkazy boli získané, aký stav neistoty alebo odmietnutia sa dosiahol a ktorá ľudská akcia nasledovala. Záznam nemusí odhaliť súkromný obsah každému operátorovi. Musí však sprístupniť podstatné fakty oprávnenému recenzentovi. Bez nich sa jazykový incident stane debatou o dojmoch.

Tu sa viacjazyčná proveniencia líši od všeobecného audítorského denníka. Časová pečiatka a názov modelu nám povedia, že sa niečo stalo. Nepovedia nám, či bol zdroj preložený, či odpoveď zmenila formát čísla, či bol normalizovaný pomenovaný subjekt alebo či recenzent pracoval v cieľovom jazyku. Cesta transformácie je dôkazom. Krátka odpoveď môže skrývať dlhý reťazec rozhodnutí.

V tomto prístupe je malá holandská cnosť: veďte register tak nezaujímavo, aby ho niekto mohol použiť v utorok popoludní. Záznam o proveniencii by nemal byť múzejným štítkom napísaným pre audit, ktorý možno nikdy nepríde. Mal by pomôcť operátorovi odpovedať na ďalšiu otázku, zastaviť správnu trasu a vysvetliť výsledok človeku, ktorý nemá záujem o váš diagram architektúry. Dobrá jazyková správa je mierne nudná. Takto viete, že môže prežiť kontakt s prácou.

Skryté rozhodnutia v preklade

Každý prekladový systém nesie rozhodnutia, ktoré si zaslúžia mená. Tokenizácia určuje, ako sa vstup rozdeľuje. Normalizácia určuje, ktoré rozdiely sa zachovajú alebo zahodia. Zarovnanie určuje, ktoré časti dvoch textov sa považujú za ekvivalentné. Terminológia určuje, ktoré slová sú stabilné. Dekódovanie určuje, ako sa vyberá výstup. Následné spracovanie určuje, čo čitateľ vidí. Žiadny z týchto krokov nie je sám osebe nesprávny. Každý môže vytvoriť jazykovo špecifické zlyhanie, ktoré je vo všeobecnej ukážke neviditeľné.

Vezmite si vlastné meno. Systém ho môže preložiť, prepísať, zachovať alebo nahradiť známym pravopisom. Pri básni môže byť obhájiteľných niekoľko možností. Pri doklade totožnosti môže byť prijateľná len jedna a tá môže závisieť od vydávajúceho orgánu. Vezmite si jednotku alebo dátum. Hodnoty môžu zostať matematicky ekvivalentné, zatiaľ čo forma sa pre čitateľa stane nejednoznačnou. Vezmite si rodové podstatné meno alebo zámeno. Preklad môže vniesť informáciu, ktorú zdroj zamlčal, alebo vymazať rozdiel, ktorý zdroj urobil zámerne.

Dizajnová odpoveď nie je zmraziť jazyk. Je stanoviť politiku a zviditeľniť výnimku. Zoznam terminológie môže chrániť právne pojmy. Pravidlo pre pomenované entity môže zabrániť tomu, aby sa z mesta stala osoba. Pohľad zachovávajúci zdroj môže recenzentovi umožniť porovnať originál a výstup. Ľudská eskalácia môže byť spustená menom s nízkou spoľahlivosťou, nezhodou medzi trasami alebo úlohou klasifikovanou ako vysoko riziková. Model zostáva užitočný, pretože jeho hranice sú súčasťou pracovného postupu.

Veľké jazykové modely sťažujú rozpoznanie chýb voľby, pretože výstup je plynulý. Plynulý výstup je skvelé rozhranie, ale nespoľahlivé vysvetlenie. Systém môže vytvoriť vetu, ktorá znie prirodzene, a pritom zvoliť nesprávny význam slova. Môže zachovať hlavnú tému, ale vynechať negáciu. Môže preložiť miestny výraz do štandardného spojenia, ktoré zmení postoj hovoriaceho. Preto nemožno kvalitu jazyka vyjadriť len gramatikou. Význam má spoločenský rozmer.

Písma, nárečia, registre a inštitúcie

Podpora jazykov sa často ohlasuje na úrovni názvu jazyka, ale čitatelia sa stretávajú s písmami, variantmi a registrami. Systém, ktorý zvláda moderný spisovný pravopis, môže mať problémy s historickými dokumentmi. Rozpoznávač reči môže zvládnuť štúdiový zvuk, ale zlyhať v preplnenej stanici. Chatbot pre verejnosť môže odpovedať formálnym registrom, hoci používateľ potrebuje jednoduchý jazyk. Inštitúcia môže používať termín, ktorý sa odlišuje od bežnej reči z právne dôležitého dôvodu.

Toto nie sú okrajové prípady v odmietavom zmysle slova. Sú to miesta, kde sa jazyk stretáva so svetom. Regionálny názov môže znamenať rozdiel medzi správnou adresou a nedoručeným balíkom. Nárečové slovo môže byť jediné slovo, ktoré človek pozná pre príznak choroby. Formálne spojenie môže signalizovať, že správa má právne účinky. Variant písma môže rozhodnúť, či je dokument vyhľadávateľný. Ak benchmark tieto cesty vylúči, môže byť stále užitočný, ale nemôže zastupovať celý jazyk.

Testovanie všetkých variantov nie je vždy možné. Úprimnou odpoveďou je opísať podporovanú podmnožinu a vyzvať na poskytnutie dôkazov o zvyšku. Systém môže zverejniť, že bol vyhodnotený na štandardnej písanej holandčine pre sumarizáciu informácií pre verejnosť, bez tvrdení o regionálnom rozpoznávaní reči. Môže pridať test pre frízčinu alebo baskičtinu bez toho, aby tvrdil, že tento doplnok vyrieši všetky regionálne a menšinové jazykové otázky. Konkrétnosť nie je slabosť. Hovorí používateľom, kde je spodná hranica.

Inštitúcie by tiež mali odolať predstave, že jedna celoštátna jazyková cesta je automaticky neutrálna. Administratívny jazyk môže byť neprístupný pre hovoriacich toho istého jazyka. Prístupnosť a viacjazyčnosť sa prelínajú, pretože obe sa pýtajú, či čitateľ rozumie a môže konať. Jazyková práca Komisie zahŕňa nástroje na zjednodušenie a prístupné texty práve z tohto dôvodu. Veta môže byť jazykovo správna a napriek tomu inštitucionálne nepoužiteľná.

Keď je rozhranie plynulé, ale nesprávne

Najťažšie jazykové zlyhania nie sú dramatické. Sú to odpovede, ktoré prejdú letmou kontrolou. Súhrn obsahuje správne mená, ale mení, kto je zodpovedný. Preklad zachová podstatné mená, ale zmení odporúčanie na pokyn. Klasifikátor rozumie téme, ale prehliadne negáciu. Hlasový systém rozpozná slová, ale nie váhanie hovoriaceho. Používateľ si prečíta výstup vo svojom jazyku a predpokladá, že plynulosť je znakom starostlivosti.

Mali by sme navrhovať s ohľadom na túto triedu chýb namiesto čakania, kým sa bizarný príklad dostane do titulkov. Porovnávajte zdroj a výstup pri obsahu s vysokými dôsledkami. Zachovávajte ukazovatele neistoty. Uchovávajte citácie alebo odkazy na dokumenty. Vyžiadajte potvrdenie, keď je číslo, meno alebo termín kľúčový. Sprístupnite postup operátorovi. Ponúknite mechanizmus opravy, ktorý nevyžaduje, aby používateľ vedel, ktorá súčasť zlyhala. Tieto opatrenia sú malé, ale menia preklad na kontrolovateľnú transakciu.

Ľudskú kontrolu netreba opisovať ako zázračnú poslednú záchranu. Kontrolóri majú časové limity, medzery v odbornosti a vlastné jazykové predpoklady. Užitočné rozhranie na kontrolu im poskytne zdroj, výstup, kontext a dôvod eskalácie. Zaznamenáva nezhody, nie ich zahládza. Ak kontrolóri opakovane opravujú jeden termín, organizácia môže zlepšiť terminológiu alebo zmeniť hranice úlohy. Ak nezhoda odhalí, že samotný zdroj je nejednoznačný, správnym krokom môže byť opýtať sa autora, nie tvrdšie trénovať model.

Operátori tiež potrebujú spôsob, ako vidieť negatívne dôkazy. Ktoré jazyky sa nehodnotili? Ktoré úlohy nemajú ľudskú kontrolu? Ktoré žiadosti boli odmietnuté? Ktorí používatelia odišli z trasy po preklade? Absencia môže byť signálom. Zelený graf pokrytia, ktorý vynecháva neúspešné cesty, je mapou marketingového povrchu, nie mapou služby.

Ľudská odbornosť nie je záložné tlačidlo

Európska politika v oblasti jazykovej technológie dáva jazykovedcov, dátových vedcov, počítačových inžinierov a doménových špecialistov do jednej vety. To je požiadavka na dizajn, nie zoznam profesií, ktoré treba pozvať na spúšťací hovor. Každý človek vidí iné zlyhanie. Jazykovedec vidí neprirodzenú konštrukciu alebo stratené rozlíšenie. Inžinier vidí problém so segmentáciou alebo smerovaním. Doménový špecialista vidí nebezpečnú kategóriovú chybu. Operátor vidí front, ktorý nikto nevlastní. Človek, ktorý službu používa, zažíva rozhodnutie, ktoré už nedáva zmysel.

Ľudská odbornosť by mala vstúpiť do hry skôr, než sa benchmark zmrazí. Jazykový expert môže pomôcť vybrať testovací materiál, ktorý reprezentuje skutočné registre, nielen čisté vety. Doménový expert môže určiť termíny, ktoré nesmú kolísať. Zástupca komunity môže tímu povedať, ktoré formulácie znejú úradne, familiárne alebo urážlivo. Správca dát môže vysvetliť, aký pôvod údajov je k dispozícii a aký nie. Tieto vstupy formujú zmluvu systému. Nie sú dekoráciou po tom, čo sa technické rozhodnutia už urobili.

Samozrejme, existuje cena. Dobrá kontrola si vyžaduje čas a platí ľuďom za vedomosti, ktoré sa často považujú za neviditeľné. Táto cena je súčasťou jazykovej podpory. Alternatívou je presunúť ju na používateľov, ktorí platia zmätkom a odvolaniami, alebo na zamestnancov, ktorí neformálne prekladajú a opravujú trasu. Systém, ktorý sa zdá lacný, pretože ignoruje jazykovú odbornosť, nie je efektívny. Jednoducho presunul faktúru.

Čo musí spravodlivý benchmark odhaliť

Viacjazyčný benchmark by mal začať tvrdením dostatočne malým na testovanie. Tvrdenie môže byť, že systém dokáže odpovedať na otázky o verejných informáciách v súbore jazykov, zachovať dátumy a čísla a odmietnuť odpoveď, keď chýbajú zdrojové dôkazy. Môže byť, že prekladová trasa zvláda konkrétny jazykový pár a doménu na definovanej úrovni kvality. Môže byť, že rozpoznávač reči dokáže prepísať určitú varietu za určených akustických podmienok. Benchmark je zmluvou pre toto tvrdenie.

Zmluva potrebuje viac než len zoznam jazykov. Mala by odhaliť úlohu, zdroj, doménu, register, písmo, smer, dĺžku kontextu, vstupné podmienky, referenčné odpovede, prípustné varianty, metriky, ľudskú kontrolu a neistotu. Mala by uviesť, či boli položky pôvodne napísané v danom jazyku alebo preložené. Mala by zaznamenať, kto ich revidoval a aké nezhody zostali. Mala by oddeliť súhrnné výsledky od výsledkov za jednotlivé jazyky. Mala by ukázať dostatok príkladov, aby čitateľ pochopil, čo skóre meria.

Kritériá EÚ MMLU sú užitočné, pretože rozširujú pojem férovosť. Vyvážené zastúpenie úradných jazykov EÚ je jednou zložkou. Zachovanie významu, náročnosti a testovacej hodnoty naprieč jazykmi je ďalšou. Testovanie európskych hodnôt a kultúrnych kontextov vrátane idiómov, humoru, odkazov, formátov dátumu a čísel, tónu a zdvorilosti robí z benchmarku spoločenský nástroj, nielen technický. Kritériá neodstraňujú úsudok. Robia úsudok kontrolovateľným.

Tvorcovia benchmarkov by mali zverejňovať aj výrezy zlyhaní, nielen priemery. Model môže mať dobré priemerné skóre, a pritom zlyhávať pri každej položke zahŕňajúcej konkrétny register alebo typ čísla. Trasa môže byť efektívna jedným smerom a pomalá či drahá druhým. Metrika môže korelovať s ľudským úsudkom v jednom jazyku a v inom sa stať nestabilnou. Pohľady podľa jazykov a podľa úloh nie sú luxus. Sú spôsobom, ako sa kupujúci vyhne kúpe priemeru a nasadeniu výnimky.

Napokon, benchmark by mal uviesť, čo nám povedať nevie. Písomný test nepreukazuje výkon v reči. Skóre prekladu nepreukazuje právnu spoľahlivosť. Súbor úradných jazykov nepreukazuje podporu regionálnych či menšinových jazykov. Vysoké skóre nepreukazuje, že človek môže napadnúť rozhodnutie. Toto obmedzenie nie je hanba. Je to okraj mapy a používatelia ho musia vidieť, kým sa vydajú na more.

Skóre je legenda mapy, nie územie

Čísla sú užitočné, pretože nútia k porovnaniu. Sú nebezpečné, pretože zvádzajú k záveru väčšiemu, než je meranie. Skóre nám môže povedať, ako sa systém správal na definovanej vzorke pri definovanej metóde. Nemôže nám povedať, ako bude komunita systém prežívať, bez mosta predpokladov. Most môže byť pevný. Musí byť pomenovaný.

Predpokladajme, že systém sa po dolaďovaní zlepší vo viacjazyčnom benchmarku. To je dôkaz zlepšeného výkonu v tomto hodnotení. Nie je to automaticky dôkaz, že systém je bezpečnejší vo verejnej službe. Služba môže používať inú terminológiu, dlhší kontext, rečový vstup, iný register alebo nadväzujúci pracovný postup, ktorý z návrhu urobí rozhodnutie. Benchmark môže byť stále hodnotný. Stáva sa hodnotnejším, keď organizácia povie, ktorú časť služby predstavuje.

Rovnaká disciplína platí pre energiu, rýchlosť a náklady. Trasa v jazyku s nízkymi zdrojmi môže vyžadovať viac ľudskej kontroly alebo väčší kontext vyhľadávania. To nie je nedostatok, ktorý treba skryť v priemere. Je to vlastnosť služby, ktorá by mala informovať návrh. Európske inštitúcie desaťročia budovali prekladateľské a jazykové služby, pretože praktické náklady jazykovej rozmanitosti sú reálne. Systém umelej inteligencie tieto náklady nezruší tým, že rýchlo produkuje text.

Nie je hanba zvoliť užšiu trasu. Tím môže dobre podporovať menej úloh, zverejniť hranicu a pridávať jazyky, ako pribúdajú dôkazy. To je lepšie ako tvrdiť, že podporuje všetky jazyky, a nechať používateľov, aby objavovali medzery. Európsky inštinkt pre štandard je najsilnejší, keď je spojený s holandským inštinktom overiť si, či vec funguje v obyčajný pracovný deň.

Stavať pre 24, testovať nad rámec 24

Európska únia má 24 úradných a pracovných jazykov a prekladateľská služba Komisie pracuje vo všetkých. Toto číslo vytvára užitočnú základnú líniu pre verejnú infraštruktúru. Nedefinuje jazykový život Európy. Regionálne, menšinové, neteritoriálne a migrantské jazyky tiež formujú komunity a inštitúcie. Systém postavený pre 24 jazykov môže stále vylúčiť ľudí, ktorí nepoužívajú jednu z týchto trás, alebo ktorí používajú úradný jazyk v podobe, ktorú systém nevyhodnotil.

Stavať pre 24 je preto zodpovednosťou urobiť základ reálnym, nie povolením prestať. Jazyková trasa by mala niesť vlastné dôkazy. Verejný orgán by mal vedieť povedať, ktoré úradné jazyky sú pokryté pre ktoré úlohy, aká ľudská kontrola existuje a kde môžu používatelia získať autoritatívnu verziu. Mal by mať tiež spôsob, ako sa učiť z jazykov mimo pôvodného súboru bez toho, aby sa z komunity stalo neplatené testovacie laboratórium.

Testovanie nad rámec 24 znamená viac než len pridať nový jazyk do ukážky. Znamená to spoluprácu s hovoriacimi, inštitúciami a výskumníkmi pri rozhodovaní o tom, čo je úloha, na čo sa môže použiť zdrojový materiál a čo sa považuje za škodlivú chybu. Proces môže priniesť malú, starostlivo ohraničenú schopnosť. To je stále pokrok. Skromná trasa s jasnou zmluvou môže byť hodnotnejšia ako pôsobivé tvrdenie, ktoré žiadny prevádzkovateľ nedokáže obhájiť.

Čo sa snažíme objasniť

V spoločnosti Dweve pristupujeme k tejto téme zo strany infraštruktúry. Loom je v našich verejných produktových materiáloch opísaný ako kognitívny model kompilovaný podľa úloh, ktorého jazykové komponenty vykresľujú riadený graf výsledkov, pričom učenie obmedzení, kompozícia grafov, riešiče a overovanie nesú rozhodovaciu právomoc. Toto je architektonické stanovisko, nie tvrdenie o viacjazyčnom výkone. Nerobí jazykovú trasu správnou. Robí však jednu povinnosť ťažko skryteľnou: jazykový výstup by nemal byť jediným miestom, kde existujú úvahy a dôkazy systému.

Naša práca na Ground Truth vyjadruje rovnaký bod v ľudskejšej mierke. Ľudia potrebujú dostatok spoločného jazyka na rozlíšenie modelu od pracovného postupu, predikcie od dôkazu a plynulej odpovede od overeného výsledku. Vo viacjazyčných systémoch potrebuje tento slovník ešte jedno slovo: trasa. Holandská odpoveď, francúzska odpoveď a baskická odpoveď nie sú len vykresleniami jednej vnútornej udalosti, ak sa dôkazy, terminológia, kontrola a správanie pri zlyhaní líšia. Trasa je súčasťou tvrdenia.

Toto stanovisko je zámerne menej vzrušujúce ako tvrdenie, že jeden model rozumie Európe. Je však aj užitočnejšie. Chceme, aby systém ukázal, čo dostal, ktoré zdroje a obmedzenia mohol použiť, čo nedokázal zistiť a kedy by mal prevziať kontrolu človek. Jazyk je povrch, cez ktorý človek stretáva túto prácu. Povrch by mal byť jasný, ale nemalo by mu byť dovolené vymazať štruktúru pod ním.

Nie sme vyňatí zo štandardov opísaných tu. Pole o pôvode nenapraví chýbajúce údaje. Deterministická cesta nedokazuje, že preklad je spravodlivý. Európska hranica spracovania neudeľuje jazykovú kompetenciu. Jediný čestný spôsob, ako tvrdiť viacjazyčnosť, je neustále testovať, zverejňovať limity a nechať jazykových expertov spochybňovať trasu. Názov produktu nie je dôkaz. Záznam je.

Praktický štandard pre tímy

Tímy, ktoré sa rozhodujú, či zaviesť viacjazyčnú funkciu umelej inteligencie, môžu začať krátkym súborom otázok. Čo presne musí systém robiť v každom jazyku? Ktorí ľudia sú dotknutí, ak sa pomýli? Ktorý zdrojový materiál je autoritatívny? Ako boli vytvorené testovacie položky a kým? Ktoré registre, písma, dialekty a domény sú v rámci tvrdenia? Čo robí systém, keď nedokáže zistiť význam? Kto môže pozastaviť trasu? Ako môže používateľ opraviť odpoveď bez toho, aby sa stal neplateným lingvistom projektu?

Otázky sa stávajú konkrétnymi, keď sú pripojené k artefaktom. Uchovávajte kartu jazykovej trasy s úlohou, podporovanými jazykovými variantmi, rodinami zdrojov, statusom práv, verziami modelu a nástrojov, výsledkami hodnotenia, známymi spôsobmi zlyhania a vlastníkom kontroly. Uchovávajte príklady chýb s ich kontextom, nielen skóre. Uchovávajte zdroj vedľa prekladu s vysokými dôsledkami. Uchovávajte dôvod eskalácie, ktorému prevádzkovateľ rozumie. Uchovávajte záznam o zmenách, keď sa zmení tokenizátor, zoznam terminológie, benchmark alebo model.

Nákupné tímy môžu od dodávateľov žiadať výsledky podľa jazyka a podľa úlohy, nie iba jeden viacjazyčný priemer. Môžu sa pýtať, či bol benchmark preložený alebo napísaný v rodnom jazyku, či sú k dispozícii ľudské hodnotenia, ako sa riešia cesty s nízkymi zdrojmi a či dodávateľ dokáže exportovať dôkazy potrebné na preskúmanie. Môžu sa pýtať, čo sa stane, keď jazyk nie je podporovaný, pretože odmietnutie a tichý záložný postup majú veľmi odlišné dôsledky.

Produktové tímy môžu navrhnúť rozhranie tak, aby zobrazovalo cestu a mieru istoty bez toho, aby predstierali, že číslo istoty je pravdepodobnosťou pravdy. Môžu zachovať odkazy na zdroje, používať zrozumiteľný jazyk pri odmietnutiach a zviditeľniť akcie na preskúmanie. Môžu sa vyhnúť formulácii podporuje všetky jazyky, pokiaľ nedokážu definovať toto sloveso. Podporovať môže znamenať zobrazovať text, prijímať vstup, prekladať, sumarizovať, odpovedať, klasifikovať, hovoriť alebo spracúvať regulovaný pracovný postup. Výber jazyka nie je špecifikácia.

Výskumné tímy môžu publikovať dátové súbory s pôvodom a cestami na opravu. Môžu zahŕňať negatívne výsledky a uviesť, keď sa metrika nedá dobre preniesť. Môžu pozvať jazykové komunity do hodnotenia skôr, ako je model vyhlásený za pripravený, a zaplatiť za ich odbornosť. Môžu odolať tlaku premeniť úzky výsledok na univerzálne tvrdenie. Najhodnotnejší benchmark môže byť ten, ktorý prinúti tím odstrániť vetu zo svojej produktovej stránky.

Spoločnosť za modelom

Jazykový model môže byť veľmi dobrý v produkcii jazyka bez toho, aby vedel, čo jazyk robí v spoločnosti. Dokáže predpovedať frázu, preložiť odsek a odpovedať na otázku, pričom mu uniká inštitucionálny vzťah, ktorý slová nesú. Táto medzera nie je dôkazom, že je model nepoužiteľný. Je dôkazom, že jazyk je viac než dátový typ.

Reakcia Európy by nemala byť súťažou v počítaní jazykov v modelovom liste. Mala by to byť trvalá snaha urobiť z jazykových dát, práv, odbornosti, hodnotenia a verejnej kontroly súčasť tej istej infraštruktúry. Práca Komisie v oblasti jazykových technológií, Language Data Space, European Language Grid a benchmark EU MMLU všetky smerujú týmto smerom. Európski výskumníci testujú, čo sa stane, keď sa preložené benchmarky považujú za výskumné otázky, nie za nespochybniteľné nástroje. Táto práca si zaslúži pozornosť, pretože robí starý politický fakt technicky viditeľným: ľudia nezažívajú Úniu v jednom jazyku.

Keď nabudúce dodávateľ povie, že model je viacjazyčný, opýtajte sa, čo toto tvrdenie obsahuje. Ktoré jazyky? Ktoré úlohy? Ktoré komunity? Ktoré zdroje? Ktoré preskúmanie? Ktoré odmietnutie? Ktorý záznam o zmenách? Otázka nie je nepriateľská. Je to bežný začiatok zodpovednosti.

Spoločnosť sa nestane spravodlivou preto, že stroj dokáže opakovať jej slová. Stáva sa spravodlivejšou, keď ľudia môžu vstúpiť do jej inštitúcií, pochopiť, čo sa deje, spochybniť výsledok a byť vypočutí v jazyku, ktorý nesie ich život. Model môže tejto práci pomáhať. Nemôže ju definovať. Jazyk modelu je technická schopnosť. Jazyk spoločnosti je spoločná zodpovednosť.

Zdroje