Jazyk modelu není jazykem společnosti

Vícejazyčný model není spravedlivý jen proto, že jeho rozhraní uvádí mnoho jazyků. Jazykové pokrytí je otázkou institucionální, kulturní i bezpečnostní a...

Jazyk modelu není jazykem společnosti

Šestnáct jazyků je začátek, ne rozsudek

Dne 22. července 2026 zveřejnilo Generální ředitelství Evropské komise pro překlady benchmark EU MMLU, jehož cílem je testovat velké jazykové modely v evropských jazykových a kulturních kontextech. Toto zveřejnění bylo neobvykle upřímné ohledně mezery, kterou se snažilo zacelit. Mnoho vyhodnocovacích datových sad bylo vytvořeno v angličtině. Model v nich může dosahovat dobrých výsledků, a přesto selhávat ve francouzštině, maďarštině nebo maltštině. Nová datová sada začíná se šestnácti úředními jazyky EU, sedmi tematickými oblastmi a více než tisícovkou otázek přeložených a revidovaných téměř 250 studenty z 21 evropských univerzit.

Nejdůležitější částí tohoto oznámení není seznam jazyků. Je jí věta pod ním: chování modelu nelze odvozovat z jazyka, ve kterém působí nejplynuleji. To by mělo být samozřejmé. Je to také předpoklad, na kterém stojí pozoruhodné množství zadávání zakázek, výzkumu i veřejné debaty. Stále mluvíme o jazykovém modelu, jako by měl jednu mysl, a pak ho žádáme, aby nosil různé jazyky jako kabáty. Kabát se mění. Mysl, důkazy, slepá místa a společenské prostředí jsou považovány za stabilní.

Stabilní nejsou. Jazyk je místem, kde se člověk setkává s institucí. Nese v sobě podmínky dávky, tón odvolání, rozdíl mezi radou a pokynem, tvar vtipu, název místa a předpoklady ve formuláři. Když systém zvládá jeden jazyk lépe než druhý, neprodukuje jen méně elegantní větu. Může změnit to, kdo je pochopen, komu je věřeno, kdo může zpochybnit výsledek a kdo to vzdá dřív, než najde ty správné dveře.

Praktický závěr je jasný. Mnohojazyčná umělá inteligence není překladatelská funkce, kterou lze přidat až po sestavení modelu. Je otázkou přístupu, důkazů a autority. Evropská práce na jazykových technologiích, jazykových datech a mnohojazyčném vyhodnocování je cenná právě proto, že problém chápe jako infrastrukturu. Tato práce stále není dokončena. Benchmark není zárukou a šestnáct jazyků není celá Evropa. Ale směr je správný: přestat se ptát, zda model mluví jazykem, a začít se ptát, co v tomto jazyce bezpečně umí, pro koho, za jakých podmínek a s jakými důkazy.

Jazykové pokrytí je důvěryhodné pouze tehdy, když zdroj, kontext, revize a tvrzení o službě zůstávají propojeny.

Jazyk je hranicí přístupu

Evropa učinila z jazyků institucionální skutečnost, nikoli soukromou preferenci. Článek 22 Listiny základních práv uvádí, že Unie ctí kulturní, náboženskou a jazykovou rozmanitost. Jazykově-technologická politika Komise staví tuto povinnost vedle praktického varování: jazykové technologie vyžadují nestranné používání, mají-li práva a zásady přežít kontakt se softwarem. Nejsou to jen dekorativní závazky. Popisují hranici, na kterou narazí veřejný systém, když obyvatel nemůže přečíst oznámení, nemůže pochopit, proč bylo rozhodnutí přijato, nebo nemůže vyjádřit podstatnou skutečnost v jazyce, v němž tato skutečnost existuje.

Tuto hranici snadno přehlédneme, když tým měří pouze to, zda byl překlad vytvořen. Věta může dorazit v požadovaném jazyce, a přesto selhat u člověka, který ji potřebuje. Překlad může setřít právní rozdíl, změnit míru zdvořilosti, která signalizuje, zda úředník žádá, nebo nařizuje, nebo použít výraz, který má běžný význam, ale odborný význam v konkrétní službě. Rozpoznávač řeči může proměnit regionální výslovnost v jiné slovo. Shrnovací nástroj může odstranit kvalifikaci, která nese odpovědnost. Plynulost nám neřekne, zda transakce zůstala nedotčena.

Představme si veřejnou informační službu, která nabízí stejné vysvětlení podmínek způsobilosti v nizozemštině, francouzštině a regionálním jazyce. První dvě cesty byly trénovány a testovány na administrativních materiálech, odvolacích dopisech a rozhovorech s odborníky v dané oblasti. Třetí cesta má vynikající obecnou prózu, ale žádné smysluplné vyhodnocení na vlastní terminologii služby. Řídicí panel může vykázat tři zelené jazykové štítky. Obyvatelé však nedostávají tři rovnocenné služby. Jedna skupina dostane vysvětlení; jiná dostane přiblížení; třetí dostane vyleštěnou nejistotu, která vypadá úředně, protože má správné logo.

Příklad je záměrně hypotetický. Není tvrzením o konkrétní obci nebo dodavateli. Jeho účelem je odhalit konstrukční chybu. Jazyková podpora se často počítá na úrovni rozhraní, zatímco skutečná povinnost leží dále v řetězci. Systém musí vědět, jaká data jazyk podporují, které úlohy byly vyhodnoceny, kdo kontroloval chyby, jak je mohou uživatelé opravit a kdy musí cesta odmítnout odpovědět. Pokud tyto podrobnosti chybí, je výběr jazyka slibem bez smlouvy.

Mapa modelu není mapou společnosti

Model se učí z mapy jazyka, kterou zpřístupňují jeho data a proces trénování. Společnost žije v mnohem větší mapě. Mapa modelu obsahuje texty, nahrávky, štítky, překlady a vyhodnocení, která byla připuštěna. Mapa společnosti obsahuje lidi, kteří mluví doma a v práci odlišně, přepínají jazykové rejstříky, aniž by to oznamovali, přejímají slova přes hranice, používají menšinový jazyk v místní instituci nebo píší písmem, které benchmark nezahrnul. Jedna mapa je technický artefakt. Druhá je uspořádáním životů, práv a povinností.

Tento rozdíl je důležitý i u jazyků s rozsáhlými veřejnými korpusy. Národní jazyk není jeden jednotný proud. Vládní formuláře, soudní rozhodnutí, mluvený projev ve třídě, zdravotní rady, textové zprávy a rozhovor mezi sousedy používají různé slovní zásoby a různé tolerance k nejednoznačnosti. Model může být kompetentní v žurnalistické próze a slabý v odvolání proti dávce. Může zvládnout standardní pravopis a mít potíže s dialektem. Může přeložit doslovnou větu a přehlédnout pragmatický význam nesený zdvořilostní formulí. Označit celý jazyk za podporovaný skrývá hranici úloh.

Jazykové technologie proto potřebují přesnější slovník. Měli bychom rozlišovat mezi tím, že je jazyk přítomen v trénovacích datech, a tím, že je v daném jazyce hodnocen úkol. Měli bychom rozlišovat mezi překladem benchmarku a nezávisle vytvořenou testovací položkou. Měli bychom rozlišovat mezi čtením písma a porozuměním registru komunity. Měli bychom rozlišovat mezi schopností systému generovat text a jeho oprávněním radit, klasifikovat nebo rozhodovat. Každé toto rozlišení je malým kouskem administrativy. Dohromady brání tomu, aby se z úzkých důkazů sestavilo široké tvrzení.

Pro přísnost existuje institucionální důvod. Veřejné služby si nemohou svobodně zvolit nejsnazší jazyk a výsledek nazvat efektivním. Banka, nemocnice, zaměstnavatel nebo poskytovatel softwaru mohou mít různé právní povinnosti, ale každý z nich rozhoduje o tom, kolik tření musí člověk absorbovat, aby mu bylo rozuměno. Vícejazyčná cesta, která tiše selže, přenáší náklady na uživatele. Uživatel musí najít překladatele, opakovat svůj příběh, přijmout horší výsledek nebo proces opustit. Systém hlásí úspěch, protože vrátil řetězec. Člověk zažívá vyloučení s vynikající gramatikou.

Co skutečně znamená nízká jazyková podpora

Nízká jazyková podpora je často považována za vlastnost jazyka, jako by některé jazyky dorazily ke dveřím modelu s menším množstvím zdrojů a měly se za tuto nepříjemnost omlouvat. Užitečnější je považovat ji za vlastnost úkolu, datové sady a rozhodnutí o správě. Jazyk může mít rozsáhlý literární materiál, ale málo označených dat pro lékařský klasifikátor. Může mít paralelní text, ale téměř žádné zvukové nahrávky. Může být zastoupen v korpusu bez práv nebo metadat potřebných pro konkrétní nasazení. Může mít data ve standardní podobě, zatímco dotčení lidé používají regionální variantu.

Jazykově-technologická politika Evropské komise to pojmenovává jasně. Jazyková data jsou základem jazykových nástrojů a lidská odbornost je nezbytnou součástí úspěšného vývoje. Model potřebuje text nebo řeč, algoritmy, výpočetní výkon a lidi, kteří rozumí jazyku i oblasti. Odstranění kteréhokoli z těchto prvků mění systém. Více výpočetního výkonu nemůže vytvořit chybějící konverzaci. Více příkladů nemůže napravit štítek, který zaměňuje dvě právní kategorie. Větší model nemůže rozhodnout, který zdroj komunita považuje za směrodatný.

Práce s nízkou jazykovou podporou proto není pozváním ke snížení standardu. Je důvodem, proč standard zviditelnit. Pokud má úkol málo vyhodnocovacího materiálu, řekněte to. Pokud je metrika pro jazykový pár nestabilní, uveďte nestabilitu. Pokud byl lidský přezkum malý, identifikujte rozsah přezkumu, místo abyste jej prezentovali jako obecnou záruku. Pokud je cesta užitečná pro návrhy, ale ne pro rozhodování, umístěte tuto hranici tam, kde ji kupující i uživatel uvidí. Upřímný nedostatek je bezpečnější než ticho, které vypadá jako hojnost.

Jazyková krajina Evropy činí tuto disciplínu nevyhnutelnou. Komise popisuje komplexní soubor úředních, regionálních a menšinových jazyků a podpořila iniciativy, jako jsou European Language Grid, agenda European Language Equality a Common European Language Data Space. Tyto projekty nejsou jediným řešením a neměly by být jako jediné řešení popisovány. Jsou součástí ekosystému, v němž se mohou setkat data, nástroje, práva, odbornost a veřejné instituce. Institucionální podoba je stejně důležitá jako model uvnitř.

Vrstva práv přichází dříve než benchmark

Je lákavé mluvit o jazykových modelech, jako by byl jazyk neutrálním vstupním kanálem. Není. Vstup může nést osobní údaje, chráněnou charakteristiku, místní zeměpisný název, zdravotní údaj nebo záznam o tom, že člověk žádá o pomoc. Zdroj může být chráněn autorským právem nebo podléhat výhradě. Přeložený výstup může být použit při rozhodování, i když překladová cesta nebyla pro tento kontext nikdy vyhodnocena. Jazykový problém modelu je problémem práv ještě dříve, než někdo zvolí skóre.

Jazykově-technologické pokyny Komise spojují jazyková data jak s autorským právem, tak s ochranou osobních údajů. Toto spojení by mělo změnit způsob, jakým týmy navrhují datové kanály. Korpus není jen hromada vět. Má identitu zdroje, podmínky pořízení, licenční či právní status, metadata o jazyce a písmu, signály kvality, účel a pravidla uchovávání. Pokud je položka opravena nebo stažena, organizace musí vědět, kterých odvozených artefaktů se to týká. Jinak může pozdější model zopakovat starou chybu s jistotou čerstvě vytištěného formuláře.

Zde si slovní spojení původ dat zaslouží své místo. Původ dat není poznámka pod čarou, že data odněkud pocházejí. Je to soubor vztahů, který recenzentovi umožňuje přejít od výsledku k příslušným důkazům a zase zpět. Při vícejazyčné práci musí tyto vztahy přežít překlad, přepis, normalizaci, segmentaci a vyhodnocení. Věta přeložená pro benchmark není zaměnitelná se zdrojovou větou. Štítek vytvořený recenzentem není zaměnitelný se štítkem zděděným z jiného jazyka. Transformace je součástí důkazů.

Neexistuje požadavek, aby každý uživatel viděl výzkumnou evidenci. Existuje požadavek, aby organizace dokázala odpovědět na závažnou otázku, když přijde. Která verze jazykového zdroje byla použita? Jaký úkol podporovala? Kteří jazykoví odborníci ji posuzovali? Co systém udělal, když byla jistota nízká? Byla stížnost považována za opravu jedné odpovědi nebo za možnou třídu selhání? Jazyková cesta se stává důvěryhodnou, když mají tyto otázky své vlastníky a záznamy.

Evropa buduje jazykovou infrastrukturu, ne jen tlačítka pro překlad

Popis Společného evropského datového prostoru pro jazyky od Evropské komise je užitečný, protože projekt nesnižuje na pouhé vydání modelu. Cílem je platforma a tržiště pro shromažďování, sdílení a opětovné využívání vícejazyčných a multimodálních jazykových dat, přičemž organizace a jednotlivci, kteří data vytvářejí, zůstávají v kontrole. Tato formulace ukazuje na jinou představu pokroku. Práce nespočívá jen ve vytvoření lepší věty. Spočívá v tom, aby byly jazykové zdroje objevitelné, právně uvědomělé, znovu použitelné a odpovědné napříč veřejnou správou, výzkumem a průmyslem.

Evropská jazyková mřížka učinila podobný krok tím, že přivedla specializované nástroje a zdroje jazykových technologií do společného katalogu. Katalog nedokazuje, že každá služba funguje pro každý úkol. Usnadňuje však kontrolu skryté závislosti. Tým se může zeptat, co nástroj dělá, který jazyk podporuje, odkud pocházejí jeho data a zda licence odpovídá zamýšlenému použití. Toto je nenápadná infrastruktura. Je to také způsob, jak kontinent s mnoha institucemi nebuduje stejnou jazykovou schopnost znovu v oddělených místnostech.

Infrastruktura je důležitá, protože dlouhý chvost jazykové práce nevyřeší jeden vlajkový model. Veřejný orgán může potřebovat rozpoznávání řeči pro regionální přízvuk, extrakci terminologie pro specializovanou oblast, překladovou paměť pro právní předpisy, rozpoznávání pojmenovaných entit pro zeměpisné názvy nebo způsob, jak porovnat dvě verze dokumentu bez ztráty diakritiky. Společnost může potřebovat lokální nasazení, protože materiál nemůže opustit její jurisdikci. Výzkumná skupina může potřebovat datovou sadu s jasným původem spíše než další anonymní skóre.

V tomto přístupu je tiché politické rozhodnutí. Data a nástroje jsou chápány jako schopnosti, které by Evropa měla mít možnost zkoumat a utvářet, nikoli jako služba, která přichází z neviditelného odkudsi. To neznamená, že evropské systémy jsou automaticky dobré, nebo že komerční poskytovatelé odjinud nemohou být užiteční. Znamená to, že jazyk je příliš důležitý na to, aby zůstal bez veřejného slovníku pro svá data, své mezery a své hodnocení. Suverenita začíná tím, že víme, co systém nevidí.

Překlad není neutrální potrubí

Překlad se v diagramu architektury často umisťuje mezi dvě součásti, jako by to byla trubka, která přenáší význam z jedné strany na druhou. Skutečný překlad je sled rozhodnutí. Který zdrojový text je směrodatný? Která slova musí zůstat přesná? Která nejednoznačnost se má zachovat? Který kulturní odkaz potřebuje vysvětlení? Který registr je vhodný pro veřejné oznámení? Která entita se nesmí překládat? Které datum, číslo nebo jednotka se má zobrazit podle zvyklostí čtenáře? Model může tato rozhodnutí učinit rychle. Rychlost je nečiní neviditelnými.

Zvažte rozdíl mezi překladem věty o počasí a překladem oznámení o termínu. V prvním případě může být drobná stylistická chyba nepříjemná. Ve druhém případě může číslo nebo způsobové sloveso změnit to, co člověk věří, že musí udělat. Základní jazykový model může mít stejný tokenový rozpočet a stejné zobrazení spolehlivosti. Společenské důsledky nejsou stejné. Hodnocení proto musí sledovat úkol, ne zastavit se u obecného jazykového skóre.

Stránka Komise o jejím vlastním používání jazyků to ukazuje bez dramatu. Strojový překlad může poskytnout základní představu, ale kvalita a přesnost se výrazně liší mezi jednotlivými texty i jazykovými páry. To je užitečná veřejná věta, protože odmítá proměnit službu v orákulum. Dává čtenáři svolení používat překlad jako orientaci, a přitom zachovává důvod vyhledat lidskou nebo autoritativní verzi, když to důsledky vyžadují.

Pro produktové týmy z toho vyplývá soubor jasných cest. Překlad s nízkými důsledky může být vrácen přímo s jasným statusem. Právní nebo lékařská cesta může vyžadovat lidskou kontrolu, odkaz na zdroj nebo odmítnutí. Interní návrh může uchovávat zdroj vedle překladu. Hlasové rozhraní může zopakovat kritické jméno a požádat o potvrzení. Volba není mezi plnou automatizací a žádnou automatizací. Je mezi potrubím, které přiznává své předávací body, a takovým, které je skrývá za plynulým odstavcem.

Věta přežije, situace ne

Modely pracují s reprezentacemi. Společnosti pracují se situacemi. Když se překlad přesouvá z jednoho do druhého, malé detaily se mohou stát celým významem. Fráze, která je v jednom jazyce zdvořilá, může v jiném znít vyhýbavě. Termín, který rozlišuje zákonné právo od diskreční služby, může být zploštěn na obecné slovo pro pomoc. Idiom může být přeložen doslovně a stát se nesmyslem, nebo přeložen volně a ztratit odkaz, který identifikuje komunitu. Žádné z těchto selhání nevyžaduje absurdní výstup. Nebezpečná odpověď je ta, která vypadá obyčejně.

Vydání EU MMLU se zaměřuje přesně na tuto oblast. Jeho kritéria kvality žádají vícejazyčné benchmarky, aby testovaly nejen význam a obtížnost, ale také idiomy, humor, kulturní odkazy, formáty dat a čísel a rozdíly v očekávaném tónu nebo zdvořilosti. Toto je důležité rozšíření cíle hodnocení. Od jazykového modelu se nežádá pouze to, zda dokáže vytvořit gramatickou větu. Žádá se, zda věta patří do situace, kde na ni bude člověk reagovat.

Zmínka o humoru není pozváním k tomu, aby byl benchmark zábavný. Uznává, že humor je zátěžovým testem kontextu. Doslovný překlad může zachovat slova a zničit vtip. Kulturně přizpůsobený překlad může zachovat účinek a přitom změnit odkaz. Ve službě veřejných informací funguje stejný mechanismus bez smíchu. Přísloví, místní název nebo formální pozdrav mohou signalizovat, kdo mluví a jaký vztah zpráva vytváří.

Když týmy řeknou, že model rozumí jazyku, měly by si položit otázku, kterou vrstvu mají na mysli. Rozpozná písmo? Rozdělí slova správně? Identifikuje entity? Přeloží tvrzení? Zachová právní sílu? Dodrží místní konvenci? Zachová míru jistoty mluvčího? Zpracuje nestandardní pravopis? Odpoví ve správném registru? To jsou oddělené schopnosti. Jediný štítek s názvem mnohojazyčnost skrývá práci potřebnou k prokázání každé z nich.

Proč musí hodnocení cestovat společně s jazykem

Hodnocení se často přidává na konec, protože týmy chtějí číslo, které lze přiřadit modelu. Mnohojazyčné systémy tento postup znemožňují. Testovací data určují, co se považuje za chybu. Jazyk určuje, jak může věta selhat. Doména určuje, která chyba je důležitá. Uživatel určuje, zda je odpověď systému pomocí nebo překážkou. Hodnocení musí cestovat se všemi čtyřmi.

Evropský výzkumný dokument Towards Multilingual LLM Evaluation for European Languages ukazuje rozsah problému. Autoři hodnotí 40 jazykových modelů napříč 21 evropskými jazyky, zkoumají přeložené verze pěti široce používaných benchmarků a zveřejňují rámec, který zahrnuje EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA a EU20-GSM8K. Dokument netvrdí, že překlad stávajícího benchmarku automaticky zajišťuje jeho spravedlnost. Překladatelské služby, konstrukci benchmarků a mezijazykovou srovnatelnost považuje za věci, které je třeba zkoumat.

To je správný postoj. Přeložená testovací položka může zdědit změnu obtížnosti, kulturní předpoklad nebo nápovědu, která v originále neexistovala. Model může dosáhnout vyššího skóre, protože přeložené znění odpověď usnadňuje, nikoli proto, že se model stal schopnějším. Může dosáhnout nižšího skóre, protože gramatická konstrukce je v cílovém jazyce nepřirozená, i když je základní uvažování správné. Oba výsledky vypovídají o testu i o modelu.

Lidská kontrola zůstává nezbytná, ale i lidská kontrola potřebuje smlouvu. Kdo položku kontroloval? Byli kontroloři rodilí mluvčí, odborníci na danou oblast, nebo obojí? Kontrolovali izolované věty, nebo úkol v kontextu? Byly neshody zaznamenány? Zachoval benchmark alternativní přijatelné odpovědi? Jazykový odborník nám může říci, že fráze je špatně. Odborník na danou oblast nám může říci, proč tato chyba mění rozhodnutí. Důvěryhodné hodnocení často potřebuje obojí a musí uvést, které z nich mělo.

Smyslem není, aby každý systém prošel nekonečnou zkouškou, než ho někdo může použít. Smyslem je zabránit tomu, aby byl úzký test zaměněn za široké tvrzení. Pokud byl model hodnocen na krátkých faktických otázkách ve spisovném jazyce, uveďte to. Nenechte výsledek tiše proměnit v tvrzení o mluvené interakci, právním psaní, místní samosprávě, dětech, starších lidech nebo všech registrech jazyka.

Skóre se stává užitečným, když zůstává viditelná hranice jeho úkolu, jazyka, kontextu a lidského přezkumu.

Lekce z maltštiny a baskičtiny

Příspěvek přednesený na konferenci LREC-COLING 2024 zkoumal hodnocení strojového překladu z angličtiny do maltštiny a ze španělštiny do baskičtiny. Autoři se zabývali metrikou hodnocení COMET, shromáždili přímá lidská hodnocení a ověřovali, jak se metrika chová, když je přizpůsobena těmto dvěma jazykovým párům. Jejich závěr je skromný, ale závažný: výkon metriky se může zlepšit dolaďováním, ale může být také velmi citlivý na rozložení skóre v trénovacích datech, zejména v prostředí s omezenými zdroji.

Toto není příběh o tom, že jedna metrika selhala. Je to příběh o tom, na čem skóre závisí. Metrika natrénovaná na jednom rozložení se může chovat jinak, když má posuzovat jiné. Jazykový pár s menším množstvím hodnotícího materiálu může způsobit, že skóre vypadá rozhodněji, než ve skutečnosti je. Systém, který se snadno porovnává, může být stále špatnou náhražkou toho, co mluvčí považují za dobrý překlad. Lidské soudy nedělají hodnocení dokonalým, ale odhalují místa, kde automatické měření předpokládá něco, co nemusí platit.

Další studie z roku 2024, Benchmarking Low-Resource Machine Translation Systems, porovnává veřejně dostupné systémy napříč čtyřmi datovými sadami a 26 jazyky a výsledky zveřejňuje prostřednictvím BENG, platformy FAIR pro srovnávací testování generování přirozeného jazyka. Ani zde není přínosem univerzální žebříček. Je jím srovnání, které lze lépe prozkoumat. Účinnost a efektivita se posuzují společně a seznam jazyků je viditelný. Čtenář si může položit otázku, zda srovnávací test zahrnuje trasu, která je pro něj důležitá, místo aby přijal jediné číslo v titulku.

Tyto studie nabízejí evropskou lekci ve zdrženlivosti. Těžké není vymyslet další skóre. Těžké je vytvořit hodnocení, které čtenáři umožní vidět, čí jazyk, čí úkol a čí definice kvality skóre vytvořily. Když tento kontext chybí, číslo se stává překročením hranice bez pasu. Může projít prezentací, ale nikdo nemůže zjistit, odkud pochází.

Jazykové pokrytí může být bezpečnostní vlastností

Diskuse o bezpečnosti se často zaměřují na obsah, který by systém měl odmítnout, na útoky, kterým by měl odolat, nebo na chyby, které by měl zachytit. Jazyk přidává další otázku: dokáže systém rozpoznat, kdy je mimo svou kompetenci? Trasa, která funguje v jednom jazyce, může v jiném selhávat častěji, přičemž si zachovává stejně sebejistý tón. Pokud rozhraní tento rozdíl nezviditelní, uživatelé nemohou kalibrovat svou důvěru.

To je důležité zejména tehdy, když je jazyk součástí interakce, na níž závisí bezpečnost. Pacient může popsat příznak v regionální variantě jazyka. Pracovník může nahlásit nebezpečí místním termínem. Obyvatel může podat odvolání s pravopisnou konvencí, kterou normalizátor považuje za šum. Model může být technicky přesný ve svém benchmarku a provozně nebezpečný pro danou cestu. Relevantní otázka není, zda systém dokáže vygenerovat věrohodnou odpověď. Je to, zda byly bezpečnostní kontroly vyhodnoceny na jazyce a situaci, která je před ním.

Bezpečnost nevyžaduje, aby byla každá jazyková cesta považována za mimořádnou událost. Vyžaduje přizpůsobení kontroly důsledku. Výsledek vyhledávání s nízkým rizikem může zveřejnit své zdroje a vyzvat k opravě. Rozhraní pro třídění pacientů může směrovat nejednoznačný jazykový vstup na vyškoleného odborníka. Pracovní postup pro právní dokumenty může ponechat zdroj a překlad vedle sebe a vyžadovat schválení před zveřejněním. Hlasový systém může požádat uživatele, aby zopakoval jméno, místo aby tiše vybral nejbližší známou entitu. To jsou běžná inženýrská rozhodnutí, když je jazyk považován za součást hranice systému.

Samotné odmítnutí vyžaduje jazykový návrh. Říct uživateli, že systém nemůže odpovědět, nestačí, pokud je odmítnutí neprůhledné, povýšené nebo není k dispozici v uživatelově jazyce. Systém by měl říci, co se mu nepodařilo zjistit, jaké informace by pomohly a která lidská nebo autoritativní cesta je k dispozici. Jinak se bezpečnostní kontrola stane další překážkou přístupu. Jazykový princip Evropy je nejzřetelněji testován, když systém nemůže poskytnout požadovanou odpověď.

Provozní návrh vícejazyčné služby

Důvěryhodná vícejazyčná služba má provozní podobu, kterou lze snadno popsat a překvapivě obtížně udržovat. Zaprvé pojmenovává úkol. Překlad, přepis, klasifikace, vyhledávání, sumarizace a generování nejsou zaměnitelné. Zadruhé pojmenovává jazykovou cestu, včetně písma a případné relevantní regionální nebo oborové hranice. Zatřetí zaznamenává zdrojový materiál a transformace, které na něj byly aplikovány. Začtvrté definuje cestu kontroly a eskalace. Zapáté sděluje uživateli, co systém může a nemůže tvrdit.

Tyto kroky nejsou požadavkem na obří byrokracii. Jsou minimem potřebným k tomu, aby byl jazykový slib testovatelný. Pokud dodavatel tvrdí, že model podporuje finštinu, měl by se kupující moci zeptat, zda to znamená generování textu, rozpoznávání řeči, překlad z kterých jazyků nebo vše výše uvedené. Pokud produktový tým tvrdí, že podporuje regionální jazyk, měl by říci, zda je podpora založena na nativních datech, přeložených datech, malé vyhodnocovací sadě nebo odborném posouzení. Pokud odpověď není známa, neznámá je platný stav.

Služba také potřebuje politiku změn. Nový tréninkový materiál, nový tokenizér, nový překladový model, nový seznam terminologie nebo nová skupina uživatelů mohou změnit jazykové chování. Verze, která zlepší jednu cestu, může zhoršit jinou. Výsledek benchmarku z loňského roku automaticky nepopisuje dnešní systém. Záznamy verzí, srovnávací testy a cesta pro hlášení jazykově specifických chyb činí službu udržovatelnou, nikoli pouze formální.

Údržba má lidskou stránku. Jazykoví odborníci potřebují způsob, jak vidět chyby, které ovlivňují jejich komunity. Doménové týmy potřebují způsob, jak rozlišit překladovou chybu od nejednoznačnosti politiky. Operátoři potřebují způsob, jak pozastavit cestu, aniž by čekali, až dodavatel modelu interpretuje stížnost. Uživatelé potřebují způsob, jak říci, že systém špatně pochopil slovo, kontext nebo jméno osoby. Vícejazyčná služba není dokončena, když je model nasazen. Je dostatečně dokončena, aby byla odpovědná, až přijde další jazykový problém.

Původ dat prostřednictvím jazykového potrubí

Původ se stává konkrétním, když sledujeme jeden kus významu systémem. Začněte zdrojovým odstavcem. Zaznamenejte jeho jazyk, písmo, autora nebo instituci, pokud jsou známé, práva a účel. Pokud je segmentován, zachovejte vztah k originálu. Pokud je přeložen, uchovejte zdroj a překladatele nebo proces překladu. Pokud recenzent změní formulaci, zaznamenejte to jako nový stav, ne jako tichou náhradu. Pokud se odstavec stane položkou benchmarku, přeneste s ním úlohu, klíč odpovědí, jazyk a záznam o recenzi.

Za běhu platí stejná disciplína obráceně. Uložte, která jazyková trasa zpracovala požadavek, která verze modelu nebo nástroje běžela, které zdrojové důkazy byly získány, jakého stavu nejistoty nebo odmítnutí bylo dosaženo a jaká lidská akce následovala. Záznam nemusí odhalovat soukromý obsah každému operátorovi. Musí zpřístupnit podstatná fakta oprávněnému recenzentovi. Bez nich se jazykový incident stane debatou o dojmech.

V tom se vícejazyčný původ liší od obecného auditního logu. Časové razítko a název modelu nám řeknou, že se něco stalo. Neřeknou nám, zda byl zdroj přeložen, zda odpověď změnila formát čísla, zda byl normalizován pojmenovaný subjekt nebo zda recenzent pracoval v cílovém jazyce. Cesta transformace je důkazem. Krátká odpověď může skrývat dlouhý řetězec rozhodnutí.

Je v tom malá nizozemská ctnost: udržujte záznam natolik nudný, aby ho někdo mohl použít v úterý odpoledne. Záznam o původu by neměl být muzejním štítkem napsaným pro audit, který možná nikdy nepřijde. Měl by pomoci operátorovi odpovědět na další otázku, zastavit správnou trasu a vysvětlit výsledek člověku, který nemá zájem o váš architektonický diagram. Dobrá jazyková správa je mírně nudná. Právě proto víte, že může přežít kontakt s prací.

Skrytá rozhodnutí v překladu

Každý překladový systém nese rozhodnutí, která si zaslouží jména. Tokenizace rozhoduje, jak je vstup rozdělen. Normalizace rozhoduje, která rozlišení jsou zachována nebo zahozena. Zarovnání rozhoduje, které části dvou textů jsou považovány za ekvivalentní. Terminologie rozhoduje, která slova jsou stabilní. Dekódování rozhoduje, jak je výstup vybrán. Následné zpracování rozhoduje, co čtenář uvidí. Žádný z těchto kroků není sám o sobě špatný. Každý může vytvořit jazykově specifické selhání, které je v obecné ukázce neviditelné.

Vezměte vlastní jméno. Systém ho může přeložit, přepsat, zachovat nebo nahradit známým pravopisem. U básně může být obhajitelných několik možností. U identifikačního dokladu může být přijatelná jen jedna a ta může záviset na vydávajícím orgánu. Vezměte jednotku nebo datum. Hodnoty mohou zůstat matematicky ekvivalentní, zatímco forma se pro čtenáře stane nejednoznačnou. Vezměte rodové podstatné jméno nebo zájmeno. Překlad může vnést informaci, kterou zdroj zamlčel, nebo smazat rozlišení, které zdroj učinil záměrně.

Odpověď návrhu není zmrazit jazyk. Je uvést politiku a zviditelnit výjimku. Terminologický seznam může chránit právní termíny. Pravidlo pro pojmenované subjekty může zabránit tomu, aby se město stalo osobou. Pohled zachovávající zdroj může recenzentovi umožnit porovnat originál a výstup. Lidská eskalace může být spuštěna jménem s nízkou spolehlivostí, neshodou mezi trasami nebo úlohou klasifikovanou jako vysoce důsledková. Model zůstává užitečný, protože jeho hranice jsou součástí pracovního postupu.

Velké jazykové modely znesnadňují rozpoznání chyb ve volbách, protože jejich výstup je plynulý. Plynulý výstup je skvělým rozhraním, ale nespolehlivým vysvětlením. Systém dokáže vytvořit větu, která zní přirozeně, a přitom zvolit chybný význam slova. Dokáže zachovat hlavní téma, ale vynechat negaci. Dokáže přeložit místní obrat do spisovného vyjádření, které změní postoj mluvčího. Proto nelze jazykovou kvalitu zachytit pouze gramatikou. Význam má společenský rozměr.

Písma, dialekty, registry a instituce

Podpora jazyků se často ohlašuje na úrovni názvu jazyka, ale čtenáři se setkávají s písmy, variantami a registry. Systém, který zvládá moderní spisovný pravopis, může mít potíže s historickými dokumenty. Rozpoznávač řeči může zvládat studiový zvuk, ale selhat v přeplněné stanici. Chatbot pro veřejnost může odpovídat formálním registrem, zatímco uživatel potřebuje srozumitelný jazyk. Instituce může používat termín, který se od běžné mluvy liší z právně důležitého důvodu.

Nejde o okrajové případy v tom odmítavém smyslu. Jsou to místa, kde se jazyk setkává se světem. Regionální název může znamenat rozdíl mezi správnou adresou a nedoručenou zásilkou. Dialektové slovo může být jediné slovo, které člověk zná pro svůj příznak. Formální obrat může signalizovat, že sdělení má právní účinky. Varianta písma může rozhodnout, zda je dokument vyhledatelný. Pokud benchmark tyto cesty vyloučí, může být stále užitečný, ale nemůže zastupovat celý jazyk.

Testovat všechny varianty není vždy možné. Poctivou odpovědí je popsat podporovanou podmnožinu a vyzvat k doložení důkazů o zbytku. Systém může zveřejnit, že byl vyhodnocen na standardní psané nizozemštině pro shrnování veřejných informací, bez tvrzení o regionálním rozpoznávání řeči. Může přidat test pro fríštinu nebo baskičtinu, aniž by předstíral, že toto doplnění řeší všechny otázky regionálních a menšinových jazyků. Konkrétnost není slabina. Říká uživatelům, kde je spodní hranice.

Instituce by se také měly bránit představě, že jedna celostátní jazyková cesta je automaticky neutrální. Administrativní jazyk může být pro mluvčí téhož jazyka nesrozumitelný. Přístupnost a mnohojazyčnost se překrývají, protože obě se ptají, zda čtenář rozumí a může jednat. Jazyková práce Komise zahrnuje nástroje pro zjednodušování a přístupné texty právě z tohoto důvodu. Věta může být jazykově správná, a přesto institucionálně nepoužitelná.

Když je rozhraní plynulé, ale chybné

Nejtěžší jazyková selhání nejsou okázalá. Jsou to odpovědi, které projdou letmou kontrolou. Shrnutí obsahuje správná jména, ale mění, kdo je odpovědný. Překlad zachovává podstatná jména, ale mění doporučení v pokyn. Klasifikátor rozumí tématu, ale přehlédne negaci. Hlasový systém rozpozná slova, ale ne váhání mluvčího. Uživatel si přečte výstup ve svém jazyce a předpokládá, že plynulost je známkou pečlivosti.

Měli bychom navrhovat pro tuto třídu chyb, místo abychom čekali, až se bizarní příklad dostane do titulků. Porovnávejte zdroj a výstup u obsahu s vysokými důsledky. Zachovávejte ukazatele nejistoty. Uchovávejte citace nebo odkazy na dokumenty připojené. Žádejte potvrzení, když je číslo, jméno nebo termín klíčový. Zviditelněte postup operátorovi. Nabídněte mechanismus opravy, který nevyžaduje, aby uživatel věděl, která součást selhala. Tyto ovládací prvky jsou malé, ale mění překlad v kontrolovatelnou transakci.

Lidská recenze by neměla být popisována jako kouzelná poslední záchrana. Recenzenti mají časové limity, mezery ve znalostech a vlastní jazykové předpoklady. Užitečné rozhraní pro recenzi jim poskytne zdroj, výstup, kontext a důvod eskalace. Zaznamenává neshody, místo aby je zahlazovalo. Pokud recenzenti opakovaně opravují jeden termín, může organizace zlepšit terminologii nebo změnit hranice úkolu. Pokud neshoda odhalí, že samotný zdroj je nejednoznačný, správným krokem může být zeptat se autora, nikoli tvrději trénovat model.

Operátoři také potřebují způsob, jak vidět negativní důkazy. Které jazyky nebyly vyhodnoceny? Které úkoly nemají lidskou recenzi? Které požadavky byly odmítnuty? Kteří uživatelé opustili trasu po překladu? Absence může být signálem. Zelený graf pokrytí, který vynechává neúspěšné cesty, je mapou marketingového povrchu, nikoli služby.

Lidská odbornost není tlačítko pro záložní řešení

Evropská politika jazykových technologií dává lingvisty, datové vědce, počítačové inženýry a doménové specialisty do stejné věty. To je požadavek na návrh, nikoli seznam profesí, které se pozvou na zahajovací hovor. Každý člověk vidí jiné selhání. Lingvista vidí nepřirozenou konstrukci nebo ztracený rozdíl. Inženýr vidí problém se segmentací nebo směrováním. Doménový specialista vidí nebezpečnou kategoriální chybu. Operátor vidí frontu, kterou nikdo nevlastní. Osoba používající službu zažívá rozhodnutí, které už nedává smysl.

Lidská odbornost by měla vstoupit do hry dříve, než je benchmark zmrazen. Jazykový odborník může pomoci vybrat testovací materiál, který představuje skutečné registry, nejen čisté věty. Doménový odborník může identifikovat termíny, které se nesmí posunout. Zástupce komunity může týmu říct, které formulace působí úředně, familiárně nebo urážlivě. Správce dat může vysvětlit, jaký původ dat je k dispozici a jaký není. Tyto vstupy utvářejí smlouvu systému. Nejsou dekorací poté, co byla technická rozhodnutí učiněna.

To má samozřejmě svou cenu. Dobrá recenze vyžaduje čas a platí lidem za znalosti, které jsou často považovány za neviditelné. Tato cena je součástí jazykové podpory. Alternativou je přesunout ji na uživatele, kteří platí zmatením a odvoláními, nebo na zaměstnance, kteří neformálně překládají a opravují trasu. Systém, který se zdá levný, protože ignoruje jazykovou odbornost, není efektivní. Jen přesunul účet.

Co musí férový benchmark odhalit

Vícejazyčný benchmark by měl začít tvrzením dostatečně malým na to, aby se dalo otestovat. Tvrzení může být, že systém dokáže odpovídat na otázky týkající se veřejných informací v sadě jazyků, zachovávat data a čísla a odmítnout odpověď, když chybí zdrojové důkazy. Může to být, že překladová trasa zvládá konkrétní jazykový pár a doménu na definované úrovni kvality. Může to být, že rozpoznávač řeči dokáže přepsat konkrétní varietu za specifikovaných akustických podmínek. Benchmark je smlouvou pro toto tvrzení.

Smlouva potřebuje víc než jen seznam jazyků. Měla by odhalit úkol, zdroj, doménu, registr, písmo, směr, délku kontextu, vstupní podmínky, referenční odpovědi, přijatelné varianty, metriky, lidskou recenzi a nejistotu. Měla by říct, zda byly položky původně napsány v každém jazyce nebo přeloženy. Měla by zaznamenat, kdo je revidoval a jaké neshody zůstaly. Měla by oddělit agregované výsledky od výsledků podle jednotlivých jazyků. Měla by ukázat dostatek příkladů, aby čtenář pochopil, co skóre měří.

Kritéria EU MMLU jsou užitečná, protože rozšiřují slovo „férový“. Vyvážené zastoupení úředních jazyků EU je jedna část. Zachování významu, obtížnosti a výpovědní hodnoty napříč jazyky je druhá. Testování evropských hodnot a kulturních kontextů, včetně idiomů, humoru, odkazů, formátů dat a čísel, tónu a zdvořilosti, dělá z benchmarku nejen technický, ale i společenský nástroj. Kritéria neodstraňují úsudek. Činí úsudek přezkoumatelným.

Tvůrci benchmarků by měli zveřejňovat chybové segmenty, ne pouze průměry. Model může mít dobré průměrné skóre, a přesto selhat u každé položky týkající se určitého registru nebo typu čísel. Trasa může být efektivní jedním směrem a pomalá či nákladná druhým. Metrika může korelovat s lidským úsudkem v jednom jazyce a v jiném se stát nestabilní. Pohledy podle jazyků a podle úkolů nejsou luxus. Jsou tím, jak se kupující vyhne nákupu průměru a nasazení výjimky.

A konečně, benchmark by měl uvést, co nám říci nemůže. Písemný test neprokazuje schopnost mluveného projevu. Skóre z překladu neprokazuje právní spolehlivost. Soubor úředních jazyků neprokazuje podporu regionálních či menšinových jazyků. Vysoké skóre neprokazuje, že člověk může napadnout rozhodnutí. Toto omezení není ostudou. Je hranicí mapy a uživatelé ji musí vidět, než vyplují.

Skóre je legenda mapy, ne území

Čísla jsou užitečná, protože nutí ke srovnání. Jsou nebezpečná, protože vybízejí k závěru většímu, než je samo měření. Skóre nám může říci, jak se systém choval na definovaném vzorku za definované metody. Nemůže nám říci, jak bude komunita systém vnímat, bez mostu předpokladů. Most může být pevný. Musí být pojmenován.

Předpokládejme, že se systém po dolaďování zlepší ve vícejazyčném benchmarku. To je důkaz zlepšené výkonnosti v tomto hodnocení. Není to automaticky důkaz, že je systém bezpečnější ve veřejné službě. Služba může používat jinou terminologii, delší kontext, hlasový vstup, jiný registr nebo navazující pracovní postup, který změní návrh v rozhodnutí. Benchmark může být i tak hodnotný. Stává se hodnotnějším, když organizace uvede, kterou část služby reprezentuje.

Stejná disciplína platí pro energii, rychlost a náklady. Trasa v jazyce s nízkými zdroji může vyžadovat více lidské kontroly nebo větší kontext pro vyhledávání. To není vada, kterou je třeba skrýt v průměru. Je to vlastnost služby, která by měla ovlivnit návrh. Evropské instituce strávily desetiletí budováním překladatelských a jazykových služeb, protože praktické náklady jazykové rozmanitosti jsou skutečné. Systém umělé inteligence tyto náklady neodstraní tím, že rychle produkuje text.

Na výběru užší trasy není žádná hanba. Tým může dobře podporovat méně úkolů, zveřejnit hranice a přidávat jazyky s tím, jak rostou důkazy. To je lepší než tvrdit, že zvládá všechny jazyky, a nechat uživatele, aby objevovali mezery. Evropský instinkt pro standard je nejsilnější, když je spojen s nizozemským instinktem ověřit si, zda věc funguje v obyčejnou středu.

Stavějte pro 24, testujte nad rámec 24

Evropská unie má 24 úředních a pracovních jazyků a překladatelská služba Komise v nich pracuje. Toto číslo vytváří užitečný základ pro veřejnou infrastrukturu. Nedefinuje jazykový život Evropy. Regionální, menšinové, neteritoriální a migrační jazyky rovněž utvářejí komunity a instituce. Systém postavený pro 24 jazyků může stále vylučovat lidi, kteří nepoužívají žádnou z těchto tras, nebo kteří používají úřední jazyk v podobě, kterou systém nevyhodnotil.

Vybudovat systém pro 24 jazyků tedy znamená odpovědnost učinit základní úroveň skutečnou, nikoli svolení přestat. Jazyková trasa by měla nést vlastní důkazy. Veřejný orgán by měl umět říci, které úřední jazyky jsou pokryty pro které úkoly, jaká lidská kontrola existuje a kde mohou uživatelé získat autoritativní verzi. Měl by také mít způsob, jak se učit z jazyků mimo počáteční sadu, aniž by se z komunity stalo neplacené testovací středisko.

Testování nad rámec 24 jazyků znamená víc než přidat novinkový jazyk do dema. Znamená to spolupracovat s mluvčími, institucemi a výzkumníky na rozhodnutí, co je úkolem, k čemu lze zdrojový materiál použít a co se počítá jako závažná chyba. Proces může přinést malou, pečlivě vymezenou schopnost. To je stále pokrok. Skromná trasa s jasnou smlouvou může být cennější než působivé tvrzení, které žádný provozovatel nedokáže obhájit.

Co se snažíme učinit explicitním

Ve společnosti Dweve k tomuto tématu přistupujeme ze strany infrastruktury. Loom je v našich veřejných produktových materiálech popsán jako kognitivní model kompilovaný podle úkolů, jehož jazykové komponenty vykreslují řízený graf výsledků, zatímco učení omezení, kompozice grafů, řešiče a verifikace nesou rozhodovací pravomoc. To je architektonické stanovisko, nikoli tvrzení o vícejazyčném výkonu. Nečiní jazykovou trasu správnou. Činí však jednu povinnost obtížně skrytelnou: jazykový výstup by neměl být jediným místem, kde existuje uvažování a důkazy systému.

Naše práce na Ground Truth ukazuje totéž v lidštějším měřítku. Lidé potřebují dostatek společného jazyka, aby rozlišili model od pracovního postupu, předpověď od důkazu a plynulou odpověď od ověřeného výsledku. Ve vícejazyčných systémech potřebuje tento slovník ještě jedno slovo: trasa. Nizozemská odpověď, francouzská odpověď a baskická odpověď nejsou pouhými vykresleními jedné vnitřní události, pokud se liší důkazy, terminologie, kontrola a chování při selhání. Trasa je součástí tvrzení.

Toto stanovisko je záměrně méně vzrušující než tvrzení, že jeden model rozumí Evropě. Je také užitečnější. Chceme, aby systém ukázal, co obdržel, které zdroje a omezení mohl použít, co nedokázal zjistit a kdy by měl převzít řízení člověk. Jazyk je povrch, skrze který se člověk setkává s touto prací. Povrch by měl být jasný, ale nemělo by mu být dovoleno vymazat strukturu pod ním.

Nejsme vyňati z norem popsaných zde. Pole o původu nenapraví chybějící data. Deterministická cesta nedokazuje, že je překlad spravedlivý. Hranice zpracování v Evropě neuděluje jazykovou kompetenci. Jediný poctivý způsob, jak učinit vícejazyčné tvrzení, je neustále testovat, zveřejňovat omezení a nechat jazykové odborníky zpochybňovat trasu. Název produktu není důkaz. Záznam je.

Praktický standard pro týmy

Týmy, které se rozhodují, zda zavést vícejazyčnou funkci umělé inteligence, mohou začít krátkou sadou otázek. Co přesně musí systém dělat v každém jazyce? Kterých lidí se týká, pokud se zmýlí? Který zdrojový materiál je autoritativní? Jak byly vytvořeny testovací položky a kým? Které registry, písma, dialekty a domény spadají do tvrzení? Co systém udělá, když nedokáže zjistit význam? Kdo může trasu pozastavit? Jak může uživatel opravit odpověď, aniž by se stal neplaceným lingvistou projektu?

Otázky se konkretizují, když jsou připojeny k artefaktům. Veďte kartu jazykové trasy s úkolem, podporovanými jazykovými variantami, rodinami zdrojů, statusem práv, verzemi modelu a nástrojů, výsledky hodnocení, známými způsoby selhání a vlastníkem kontroly. Uchovávejte příklady chyb s jejich kontextem, ne jen skóre. Uchovávejte zdroj vedle překladu s vysokými důsledky. Uchovávejte důvod eskalace, kterému operátor rozumí. Uchovávejte záznam o změnách, když se změní tokenizér, seznam terminologie, benchmark nebo model.

Nákupní týmy se mohou dodavatelů ptát na výsledky podle jednotlivých jazyků a jednotlivých úkolů, nikoli na jeden vícejazyčný průměr. Mohou se ptát, zda byl benchmark přeložen nebo napsán v daném jazyce, zda jsou k dispozici lidská hodnocení, jak se nakládá s cestami pro jazyky s omezenými zdroji a zda dodavatel dokáže exportovat důkazy potřebné pro přezkum. Mohou se ptát, co se stane, když jazyk není podporován, protože odmítnutí a tichý záložní postup mají velmi rozdílné důsledky.

Produktové týmy mohou navrhnout rozhraní tak, aby zobrazovalo cestu a míru jistoty, aniž by předstíraly, že číslo jistoty je pravděpodobnost pravdy. Mohou zachovat odkazy na zdroje, používat v odmítnutích srozumitelný jazyk a zviditelnit akce pro přezkum. Mohou se vyhnout formulaci podporuje všechny jazyky, pokud nedokážou definovat toto sloveso. Podporuje může znamenat zobrazuje text, přijímá vstup, překládá, shrnuje, odpovídá, klasifikuje, mluví nebo zpracovává regulovaný pracovní postup. Výběr jazyka není specifikace.

Výzkumné týmy mohou publikovat datové sady s informacemi o původu a cestami pro opravy. Mohou zahrnout negativní výsledky a uvést, když se metrika dobře nepřenáší. Mohou pozvat jazykové komunity k hodnocení dříve, než je model prohlášen za připravený, a za tuto odbornost zaplatit. Mohou odolat tlaku přeměnit úzký výsledek na univerzální tvrzení. Nejhodnotnější benchmark může být ten, který přiměje tým odstranit větu ze své produktové stránky.

Společnost za modelem

Jazykový model může být velmi dobrý v produkci jazyka, aniž by věděl, co jazyk ve společnosti dělá. Dokáže předpovědět frázi, přeložit odstavec a odpovědět na otázku, přičemž mu uniká institucionální vztah nesený slovy. Tato mezera není důkazem, že je model k ničemu. Je důkazem, že jazyk je víc než datový typ.

Reakce Evropy by neměla být soutěží v počítání jazyků v kartě modelu. Měla by to být trvalá snaha učinit jazyková data, práva, odbornost, hodnocení a veřejnou kontrolu součástí stejné infrastruktury. Práce Komise v oblasti jazykových technologií, Language Data Space, European Language Grid a benchmark EU MMLU všechny ukazují tímto směrem. Evropští výzkumníci testují, co se stane, když se s přeloženými benchmarky zachází jako s výzkumnými otázkami, nikoli jako s nezpochybňovanými nástroji. Tato práce si zaslouží pozornost, protože činí starý politický fakt technicky viditelným: lidé neprožívají Unii v jednom jazyce.

Až příště dodavatel řekne, že je model vícejazyčný, zeptejte se, co toto tvrzení obsahuje. Které jazyky? Které úkoly? Které komunity? Které zdroje? Který přezkum? Které odmítnutí? Který záznam změn? Ta otázka není nepřátelská. Je to běžný začátek odpovědnosti.

Společnost se nestane spravedlivou proto, že stroj umí opakovat její slova. Stává se spravedlivější, když lidé mohou vstupovat do jejích institucí, rozumět tomu, co se děje, zpochybnit výsledek a být vyslyšeni v jazyce, který nese jejich život. Model může tuto práci podpořit. Nemůže ji definovat. Jazyk modelu je technická schopnost. Jazyk společnosti je sdílená odpovědnost.

Zdroje