Езикът на модела не е езикът на обществото

Многоезичният модел не е справедлив, защото интерфейсът му изброява много езици. Езиковото покритие е институционален, културен и свързан с безопасността...

Езикът на модела не е езикът на обществото

Sixteen languages is a start, not a verdict

On 22 July 2026, the European Commission’s Directorate-General for Translation published EU MMLU, a benchmark intended to test large language models across European linguistic and cultural contexts. The release was unusually honest about the gap it was trying to close. Many evaluation datasets were built in English. A model can score well there and still perform badly in French, Hungarian or Maltese. The new dataset begins with sixteen EU official languages, seven subject areas and more than a thousand questions translated and revised by almost 250 students from 21 European universities.

The most important part of that announcement is not the list of languages. It is the sentence underneath it: a model’s behaviour cannot be inferred from the language in which it looks most fluent. That should be obvious. It is also the assumption behind a remarkable amount of procurement, research and public conversation. We still talk about a language model as if it has one mind, then ask it to wear different languages like coats. The coat changes. The mind, the evidence, the blind spots and the social setting are treated as stable.

They are not stable. Language is where a person meets an institution. It carries the terms of a benefit, the tone of an appeal, the difference between advice and instruction, the shape of a joke, the name of a place, and the assumptions in a form. When a system handles one language better than another, it does not merely produce a less elegant sentence. It can change who is understood, who is believed, who can challenge a result and who gives up before finding the right door.

The practical conclusion is plain. Multilingual AI is not a translation feature to be added after the model is built. It is a question of access, evidence and authority. Europe’s work on language technologies, language data and multilingual evaluation is valuable because it treats the problem as infrastructure. The work is still incomplete. A benchmark is not a guarantee, and sixteen languages are not the whole of Europe. But the direction is right: stop asking whether a model speaks a language and start asking what it can safely do in that language, for whom, under which conditions, with what evidence.

Language coverage is credible only when source, context, review and service claims remain connected.

Language is an access boundary

Европа превърна езика в институционален факт, а не в лично предпочитание. Член 22 от Хартата на основните права гласи, че Съюзът зачита културното, религиозното и езиковото многообразие. Политиката на самата Комисия в областта на езиковите технологии поставя това задължение до едно практическо предупреждение: езиковите технологии се нуждаят от безпристрастно използване, за да оцелеят правата и принципите при допира си със софтуера. Това не са декоративни ангажименти. Те описват границата, на която се натъква една публична система, когато жител не може да прочете съобщение, не може да разбере защо е взето дадено решение или не може да изрази съществен факт на езика, на който този факт съществува.

Тази граница е лесна за пропускане, когато екипът измерва само дали е направен превод. Едно изречение може да пристигне на поискания език и въпреки това да провали човека, който се нуждае от него. Преводът може да заличи правно разграничение, да промени степента на учтивост, която показва дали служителят пита или заповядва, или да използва термин, който има всекидневно значение, но специализирано значение в дадена услуга. Разпознавачът на реч може да превърне регионално произношение в различна дума. Автоматичният обобщител може да премахне уточнението, което носи отговорността. Гладкостта не ни казва дали сделката е останала непокътната.

Представете си публична информационна услуга, която предлага едно и също обяснение за допустимост на нидерландски, френски и на регионален език. Първите два пътя са обучени и тествани с административни материали, писма по обжалвания и разговори с експерти в областта. Третият път има отлична обща проза, но няма смислена оценка върху собствената терминология на услугата. Таблото може да отчете три зелени етикета за езици. Жителите не получават три равностойни услуги. Едната група получава обяснение; другата получава приблизителност; третата получава полирана несигурност, която изглежда официална, защото носи правилното лого.

Примерът е умишлено хипотетичен. Той не е твърдение за конкретна община или доставчик. Целта му е да разкрие грешка в дизайна. Езиковата поддръжка често се отчита на интерфейса, докато действителното задължение стои по-надолу във веригата. Системата трябва да знае какви данни поддържат езика, кои задачи са оценени, кой е прегледал грешките, как потребителите могат да ги коригират и кога пътят трябва да откаже да отговори. Ако тези подробности липсват, изборът на език е обещание без договор.

Картата на модела не е картата на обществото

Моделът се учи от карта на езика, която неговите данни и процес на обучение правят достъпна. Обществото живее в много по-голяма карта. Картата на модела съдържа текстовете, записите, етикетите, преводите и оценките, които са били допуснати. Картата на обществото съдържа хора, които говорят различно у дома и на работа, сменят регистъра, без да го обявяват, заемат думи през границата, използват малцинствен език в местна институция или пишат на писменост, която даден бенчмарк не е включил. Едната карта е технически артефакт. Другата е подредба от животи, права и задължения.

Разликата има значение дори за езици с големи публични корпуси. Националният език не е единен поток. Правителствените формуляри, съдебните решения, речта в класната стая, здравните съвети, текстовите съобщения и разговорът между съседи използват различни речници и различна толерантност към двусмислие. Моделът може да е компетентен върху новинарска проза и слаб върху обжалване на обезщетение. Може да се справя със стандартния правопис и да се затруднява с диалект. Може да преведе буквално изречение и да пропусне прагматичното значение, носено от учтива формула. Наричайки целия език поддържан, се скрива границата на задачата.

Езиковите технологии следователно се нуждаят от по-точен речник. Трябва да правим разлика между език, присъстващ в обучителните данни, и задача, оценявана на този език. Трябва да правим разлика между превод за сравнителна оценка и независимо съставен тестов елемент. Трябва да правим разлика между четене на писменост и разбиране на регистъра на дадена общност. Трябва да правим разлика между способността на системата да генерира текст и нейното право да съветва, класифицира или взема решения. Всяко разграничение е малка част от документацията. Заедно те пречат на широко твърдение да бъде сглобено от ограничени доказателства.

Има институционална причина да сме строги. Обществените услуги не са свободни да изберат най-лесния език и да нарекат резултата ефективен. Банка, болница, работодател или доставчик на софтуер може да има различни правни задължения, но всеки от тях решава колко усилия трябва да положи човек, за да бъде разбран. Многоезичен път, който се проваля мълчаливо, прехвърля разходите върху потребителя. Потребителят трябва да намери преводач, да повтори историята си, да приеме по-лош резултат или да се откаже от процеса. Системата отчита успех, защото е върнала низ. Човекът преживява изключване с безупречна граматика.

Какво всъщност означава „слабо ресурсно осигурен“

Слабо ресурсно осигуреният език често се третира като свойство на самия език, сякаш някои езици са дошли до вратата на модела с по-малко ресурси и трябва да се извиняват за неудобството. По-полезно е да се третира като свойство на задача, набор от данни и управленско решение. Един език може да има значителен литературен материал, но малко обозначени данни за медицински класификатор. Може да има паралелен текст, но почти никакви звукозаписи на реч. Може да е представен в корпус без правата или метаданните, необходими за конкретно внедряване. Може да има данни в стандартна форма, докато засегнатите хора използват регионален вариант.

Политиката на Европейската комисия за езиковите технологии назовава това ясно. Езиковите данни са основата на езиковите инструменти, а човешката експертиза е необходима част от успешното разработване. Моделът се нуждае от текст или реч, алгоритми, изчислителни ресурси и хора, които разбират езика и областта. Премахването на който и да е от тези елементи променя системата. Повече изчислителна мощ не може да създаде липсващ разговор. Повече примери не могат да поправят етикет, който обърква две правни категории. По-голям модел не може да реши кой източник общността смята за авторитетен.

Работата със слабо ресурсно осигурени езици следователно не е покана за понижаване на стандарта. Тя е причина стандартът да стане видим. Ако дадена задача има малко материал за оценка, кажете го. Ако даден показател е нестабилен за езикова двойка, докладвайте нестабилността. Ако човешката проверка е била малка, посочете обхвата на проверката, вместо да я представяте като обща гаранция. Ако даден път е полезен за чернова, но не и за решения, поставете тази граница там, където купувачът и потребителят могат да я видят. Честната оскъдност е по-безопасна от мълчание, което изглежда изобилно.

Езиковият пейзаж на Европа прави тази дисциплина неизбежна. Комисията описва сложен набор от официални, регионални и малцинствени езици и е подкрепила инициативи като European Language Grid, програмата European Language Equality и Common European Language Data Space. Тези проекти не са едно-единствено решение и не трябва да бъдат описвани като такова. Те са части от екосистема, в която данни, инструменти, права, експертиза и публични институции могат да се срещнат. Институционалната форма е също толкова важна, колкото и моделът вътре в нея.

Слойът на правата идва преди сравнителната оценка

Изкушаващо е да обсъждаме езиковите модели, сякаш езикът е неутрален входен канал. Той не е. Входът може да съдържа лични данни, защитена характеристика, местно географско име, медицински детайл или запис на човек, който търси помощ. Източникът може да е защитен с авторско право или да подлежи на резервация. Преведен резултат може да бъде използван при вземане на решение, въпреки че преводният път никога не е бил оценяван за този контекст. Езиковият проблем на модела вече е проблем на правата, преди някой да избере оценка.

Насоките на Комисията за езиковите технологии свързват езиковите данни както с авторското право, така и със защитата на данните. Тази връзка трябва да промени начина, по който екипите проектират тръбопроводите. Един корпус не е просто купчина изречения. Той има идентичност на източника, условия на придобиване, лиценз или статут на правата, метаданни за езика и писмеността, сигнали за качество, цел и правила за съхранение. Ако даден елемент бъде коригиран или оттеглен, организацията трябва да знае кои производни артефакти са засегнати. В противен случай по-късен модел може да повтори стара грешка със самочувствието на прясно отпечатан формуляр.

Тук фразата „произход“ показва своята стойност. Произходът не е бележка под линия, че данните идват отнякъде. Той е съвкупността от връзки, които позволяват на проверяващия да премине от резултат към съответните доказателства и обратно. При многоезичната работа тези връзки трябва да оцелеят през превод, транскрипция, нормализация, сегментиране и оценка. Изречение, преведено за бенчмарк, не е взаимозаменяемо с изходното изречение. Етикет, създаден от проверяващ, не е взаимозаменяем с етикет, наследен от друг език. Трансформацията е част от доказателствата.

Няма изискване всеки потребител да вижда изследователски регистър. Има изискване организацията да може да отговори на сериозен въпрос, когато той възникне. Коя версия на езиковия ресурс е използвана? Каква задача поддържаше? Кои езикови експерти го прегледаха? Какво направи системата, когато увереността беше ниска? Беше ли жалбата третирана като корекция на един отговор или като възможен клас от грешки? Езиковият път става надежден, когато тези въпроси имат отговорници и записи.

Европа изгражда езикова инфраструктура, а не само бутони за превод

Описанието на Европейската комисия за Общото европейско пространство за езикови данни е полезно, защото не свежда проекта до пускане на модел. Целта е платформа и пазар за събиране, споделяне и повторно използване на многоезични и мултимодални езикови данни, като същевременно организациите и лицата, които генерират данните, остават с контрол. Този формулировки сочат към различна идея за напредък. Работата не е само да се създаде по-добро изречение. Тя е да се направят езиковите ресурси откриваеми, съобразени с правата, многократно използваеми и отчетни в публичната администрация, научните изследвания и индустрията.

Европейската езикова мрежа направи подобна стъпка, като събра специализирани инструменти и ресурси за езикови технологии в общ каталог. Каталогът не доказва, че всяка услуга работи за всяка задача. Той обаче прави скритата зависимост по-лесна за проверка. Екипът може да попита какво прави инструментът, кой език поддържа, откъде идват данните му и дали лицензът съответства на предвидената употреба. Това е небляскава инфраструктура. Това е и начинът, по който континент с много институции избягва да изгражда една и съща езикова способност в несвързани помещения.

Инфраструктурата има значение, защото дългата опашка от езикова работа не се решава от един флагмански модел. Публичен орган може да се нуждае от разпознаване на реч за регионален акцент, извличане на терминология за специализирана област, памет за преводи за законодателство, разпознаване на именувани обекти за географски имена или начин за сравняване на две версии на документ без загуба на диакритични знаци. Компания може да се нуждае от локално разполагане, защото материалът не може да напусне нейната юрисдикция. Изследователска група може да се нуждае от набор от данни с ясен произход, а не от друга анонимна оценка.

В този подход има тих политически избор. Данните и инструментите се третират като способности, които Европа трябва да може да проверява и оформя, а не като услуга, която пристига от невидимо друго място. Това не означава, че европейските системи са автоматично добри или че търговските доставчици другаде не могат да бъдат полезни. Означава, че един език е твърде важен, за да остане без публичен речник за неговите данни, неговите пропуски и неговата оценка. Суверенитетът започва със знанието какво системата не може да види.

Преводът не е неутрална тръба

Преводът често е поставян между два компонента в архитектурна диаграма, сякаш е тръба, която пренася смисъл от едната страна към другата. Истинският превод е поредица от решения. Кой изходен текст е авторитетен? Кои думи трябва да останат точни? Коя неяснота трябва да бъде запазена? Коя културна препратка се нуждае от обяснение? Кой регистър е подходящ за публично известие? Кой обект не трябва да бъде превеждан? Коя дата, число или мерна единица трябва да бъдат представени според конвенцията на читателя? Един модел може да вземе тези решения бързо. Бързината не ги прави невидими.

Помислете за разликата между превеждането на изречение за времето и превеждането на известие за краен срок. В първия случай малка стилистична грешка може да бъде дразнеща. Във втория случай число или модален глагол може да промени това, което човек вярва, че трябва да направи. Основният езиков модел може да има същия бюджет от токени и същия дисплей на увереност. Социалните последици не са същите. Оценката следователно трябва да следва задачата, а не да спира на общ езиков резултат.

Страницата на Комисията за собствената ѝ употреба на езици прави точката без драматизъм. Машинният превод може да даде основна представа, но качеството и точността варират значително от един текст до друг и между езиковите двойки. Това е полезно публично изречение, защото отказва да превърне услугата в оракул. То дава на читателя разрешение да използва превода като ориентир, като същевременно запазва причина да потърси човешка или авторитетна версия, когато последиците го налагат.

За продуктовите екипи изводът е набор от изрични маршрути. Превод с ниски последици може да бъде върнат директно с ясен статус. Правен или медицински маршрут може да изисква човешки преглед, връзка към източника или отказ. Вътрешен черновик може да запази източника до превода. Гласов интерфейс може да повтори критично име и да поиска потвърждение. Изборът не е между пълна автоматизация и никаква автоматизация. Той е между тръбопровод, който обявява своите предавания, и такъв, който ги скрива зад плавен параграф.

Изречението оцелява, ситуацията не

Моделите работят с представяния. Обществата работят със ситуации. Когато преводът премине от едното към другото, малките детайли могат да станат целият смисъл. Фраза, която е учтива на един език, може да звучи уклончиво на друг. Термин, който разграничава законово право от услуга по преценка, може да бъде сведен до обща дума за помощ. Идиом може да бъде преведен буквално и да стане безсмислица, или преведен свободно и да загуби препратката, която идентифицира общност. Нито един от тези провали не се нуждае от абсурден резултат. Опасният отговор е този, който изглежда обикновен.

Публикацията на EU MMLU посочва точно тази територия. Нейните критерии за качество изискват от многоезичните бенчмаркове да тестват не само смисъл и трудност, но също и идиоми, хумор, културни препратки, формати за дати и числа, както и разлики в очаквания тон или учтивост. Това е важно разширяване на целта за оценка. Езиковият модел не е питано само дали може да произведе граматически правилно изречение. Питано е дали изречението принадлежи на ситуацията, в която човек ще действа въз основа на него.

Споменаването на хумора не е покана да направим бенчмарка забавен. То признава, че хуморът е стрес тест за контекста. Буквалният превод може да запази думите и да унищожи шегата. Културно адаптираният превод може да запази ефекта, като промени препратката. В обществената информационна служба същият механизъм се появява без смях. Пословица, местно географско име или официален поздрав могат да покажат кой говори и какво отношение създава съобщението.

Когато екипите кажат, че даден модел разбира даден език, те трябва да попитат кой слой имат предвид. Разпознава ли писмеността? Сегментира ли думите правилно? Идентифицира ли обекти? Превежда ли твърдението? Запазва ли правната сила? Следва ли местна конвенция? Запазва ли степента на сигурност на говорещия? Справя ли се с нестандартен правопис? Отговаря ли в правилния регистър? Това са отделни способности. Един етикет, наречен многоезичност, прикрива работата, необходима за установяването на всяка от тях.

Защо оценяването трябва да пътува с езика

Оценяването често се добавя накрая, защото екипите искат число, което да прикачат към модела. Многоезичните системи правят този ред невъзможен. Тестовите данни определят какво се счита за грешка. Езикът определя как едно изречение може да се провали. Домейнът определя кой провал има значение. Потребителят определя дали отговорът на системата е помощ или пречка. Оценяването трябва да пътува с всичките четири.

Европейската изследователска статия Towards Multilingual LLM Evaluation for European Languages показва мащаба на проблема. Авторите оценяват 40 езикови модела на 21 европейски езика, разглеждат преведени версии на пет широко използвани бенчмарка и публикуват рамка, която включва EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA и EU20-GSM8K. Статията не твърди, че превеждането на съществуващ бенчмарк автоматично го прави справедлив. Тя третира преводаческите услуги, изграждането на бенчмаркове и междуезиковата сравнимост като неща, които трябва да се изследват.

Това е правилната позиция. Преведена тестова задача може да наследи промяна в трудността, културно предположение или улика, която не е съществувала в оригинала. Моделът може да получи по-висок резултат, защото преведеният текст улеснява отговора, а не защото моделът е станал по-способен. Може да получи по-нисък резултат, защото граматическата конструкция е неестествена на целевия език, въпреки че заложеното разсъждение е правилно. И двата резултата са доказателство както за теста, така и за модела.

Човешкият преглед остава необходим, но човешкият преглед също се нуждае от договореност. Кой е прегледал задачата? Дали проверяващите са били носители на езика, специалисти в областта или и двете? Дали са преглеждали изолирани изречения или задачата в контекст? Дали разногласията са били записвани? Дали бенчмаркът е запазил алтернативни приемливи отговори? Езиков експерт може да ни каже, че дадена фраза е грешна. Експерт в областта може да ни каже защо грешката променя дадено решение. Едно достоверно оценяване често се нуждае и от двамата и трябва да посочи кой от тях е имало.

Смисълът не е всяка система да премине безкраен изпит, преди някой да може да я използва. Смисълът е да се предотврати тясното тестване да бъде сбъркано с широко твърдение. Ако даден модел е оценен върху кратки фактически въпроси на стандартен писмен език, докладвайте това. Не позволявайте резултатът мълчаливо да се превърне в твърдение за устно общуване, правно писане, местната власт, деца, възрастни хора или всеки регистър на езика.

Една оценка става полезна, когато границите на задачата, езика, контекста и човешката проверка остават видими.

Урокът от малтийския и баския език

Доклад, представен на конференцията LREC-COLING през 2024 г., изследва оценяването на машинния превод от английски на малтийски и от испански на баски. Авторите разглеждат показателя за оценка COMET, събират директни човешки оценки и проверяват доколко добре се държи показателят, когато бъде адаптиран към двата езикови двойки. Изводът им е скромен, но със значение: представянето на показателя може да се подобри чрез фина настройка, но той може да бъде силно чувствителен към разпределението на оценките в обучителните данни, особено при условия с ограничени ресурси.

Това не е история за провал на един показател. Това е история за това от какво зависи една оценка. Показател, обучен върху едно разпределение, може да се държи различно, когато бъде помолен да оценява друго. Езикова двойка с по-малко материал за оценяване може да направи оценката да изглежда по-решаваща, отколкото е. Система, която е удобна за сравнение, може все пак да е слаб заместител на това, което говорещите смятат за добър превод. Човешките преценки не правят оценяването съвършено, но разкриват местата, където автоматичният показател допуска предположения.

Друго проучване от 2024 г., Benchmarking Low-Resource Machine Translation Systems, сравнява публично достъпни системи в четири набора от данни и 26 езика и публикува резултатите чрез BENG, платформа за сравнителни оценки на генерирането на естествен език, която следва принципите FAIR. Отново приносът не е универсална класация. Той е по-прозрачно сравнение. Ефективността и резултатността се разглеждат заедно, а списъкът с езици е видим. Читателят може да попита дали сравнителната оценка включва маршрута, който има значение, вместо да приема едно единствено водещо число.

Тези проучвания предлагат европейски урок за сдържаност. Трудната част не е измислянето на поредната оценка. Тя е изграждането на оценяване, което позволява на читателя да види чий език, чия задача и чие определение за качество е създало оценката. Когато този контекст липсва, едно число става пресичане на граница без паспорт. Може да мине през представянето, но никой не може да установи откъде е дошло.

Езиковото покритие може да е свойство на безопасността

Дискусиите за безопасност често се фокусират върху съдържание, което системата трябва да откаже, атаки, на които трябва да устои, или грешки, които трябва да улови. Езикът добавя още един въпрос: може ли системата да разпознае кога е извън компетентността си? Маршрут, който работи на един език, може да се проваля по-често на друг, като същевременно запазва същия уверен тон. Ако интерфейсът не показва разликата, потребителите не могат да калибрират доверието си.

Това е особено важно, когато езикът е част от взаимодействие, свързано с безопасността. Пациент може да опише симптом на регионален диалект. Работник може да съобщи за опасност с местен термин. Жител може да подаде жалба с правописна норма, която нормализаторът третира като шум. Един модел може да е технически точен на своя бенчмарк и оперативно опасен за този път. Уместният въпрос не е дали системата може да генерира правдоподобен отговор. Въпросът е дали контролите за безопасност са оценени на езика и ситуацията, които са пред нея.

Безопасността не изисква всеки езиков път да се третира като специален извънреден случай. Тя изисква контролът да съответства на последиците. Резултат от търсене с нисък риск може да разкрие източниците си и да покани за корекция. Интерфейсът за медицинска сортировка може да насочи несигурен езиков вход към обучен специалист. Работният процес за правни документи може да държи източника и превода един до друг и да изисква одобрение преди публикуване. Гласова система може да помоли потребителя да повтори име, вместо мълчаливо да избере най-близката позната единица. Това са обикновени инженерни избори, когато езикът се третира като част от границата на системата.

Самият отказ се нуждае от езиков дизайн. Да се каже на потребител, че системата не може да отговори, не е достатъчно, ако отказът е неясен, снизходителен или недостъпен на езика на потребителя. Системата трябва да каже какво не е успяла да установи, каква информация би помогнала и кой човешки или авторитетен път е наличен. В противен случай контролът за безопасност се превръща в още една бариера за достъп. Езиковият принцип на Европа се изпитва най-ясно, когато системата не може да предостави искания отговор.

Оперативният дизайн на многоезична услуга

Една надеждна многоезична услуга има оперативна форма, която е лесна за описание и изненадващо трудна за поддържане. Първо, тя назовава задачата. Преводът, транскрипцията, класификацията, извличането, обобщаването и генерирането не са взаимозаменяеми. Второ, тя назовава езиковия път, включително писмеността и всяка съответна регионална или предметна граница. Трето, тя записва изходния материал и трансформациите, приложени към него. Четвърто, тя определя пътя за преглед и ескалация. Пето, тя казва на потребителя какво системата може и какво не може да твърди.

Тези стъпки не са искане за огромна бюрокрация. Те са минимумът, необходим, за да стане едно езиково обещание проверимо. Ако доставчик каже, че модел поддържа финландски, купувачът трябва да може да попита дали това означава генериране на текст, разпознаване на реч, превод от кои езици или всичко изброено. Ако продуктов екип каже, че поддържа регионален език, трябва да каже дали поддръжката се основава на оригинални данни, преведени данни, малък набор за оценка или експертен преглед. Ако отговорът е неизвестен, неизвестно е валиден статус.

Услугата също се нуждае от политика за промени. Нов учебен материал, нов токенизатор, нов модел за превод, нов списък с терминология или нова група потребители могат да променят езиковото поведение. Версия, която подобрява един път, може да влоши друг. Резултат от бенчмарк от миналата година не описва автоматично днешната система. Записи на версии, сравнителни тестове и път за докладване на езиково-специфични грешки правят услугата поддържаема, а не церемониална.

Поддръжката има човешка страна. Езиковите експерти се нуждаят от начин да виждат грешките, които засягат техните общности. Предметните екипи се нуждаят от начин да различават преводна грешка от политическа неяснота. Операторите се нуждаят от начин да спрат даден път, без да чакат доставчик на модел да тълкува оплакване. Потребителите се нуждаят от начин да кажат, че системата е разбрала погрешно дума, контекст или име на човек. Една многоезична услуга не е завършена, когато моделът е внедрен. Тя е достатъчно завършена, за да бъде отговорна, когато пристигне следващият езиков проблем.

Произход през езиков конвейер

Произходът става конкретен, когато проследим едно значение през системата. Започнете с изходен параграф. Запишете неговия език, писменост, автор или институция, когато са известни, права и цел. Ако е сегментиран, запазете връзката с оригинала. Ако е преведен, запазете източника и преводача или процеса на превод. Ако рецензент промени формулировката, запишете това като ново състояние, а не като тиха замяна. Ако параграфът стане елемент от бенчмарк, пренесете със себе си задачата, ключа за отговори, езика и записа на рецензията.

По време на изпълнение същата дисциплина важи в обратна посока. Запишете кой езиков маршрут е обслужил заявката, коя версия на модела или инструмента е работила, кои доказателства от източника са извлечени, до кое състояние на несигурност или отказ е достигнато и кое човешко действие е последвало. Записът не трябва да разкрива поверително съдържание пред всеки оператор. Той трябва да предостави материалните факти на упълномощен рецензент. Без тях езиковият инцидент се превръща в спор за впечатления.

Тук многоезичният произход се различава от обикновения одитен журнал. Времевият печат и името на модела ни казват, че нещо се е случило. Те не ни казват дали източникът е бил преведен, дали отговорът е променил числов формат, дали собствено име е било нормализирано или дали рецензентът е работил на целевия език. Пътят на трансформацията е доказателството. Краткият отговор може да скрива дълга верига от решения.

В този подход има малка холандска добродетел: дръжте регистъра достатъчно скучен, че някой да може да го използва във вторник следобед. Записът за произход не трябва да бъде музейен етикет, написан за одит, който може никога да не дойде. Той трябва да помогне на оператора да отговори на следващия въпрос, да спре правилния маршрут и да обясни резултата на човек, който няма интерес към вашата архитектурна диаграма. Доброто езиково управление е леко скучно. Така разбирате, че може да оцелее при контакт с работата.

Скритите решения в превода

Всяка преводаческа система носи решения, които заслужават имена. Токенизацията решава как се разделя входът. Нормализацията решава кои разлики се запазват или отхвърлят. Алинирането решава кои части от два текста се третират като еквивалентни. Терминологията решава кои думи са стабилни. Декодирането решава как се избира изходът. Постобработката решава какво вижда читателят. Нито една от тези стъпки не е по своята същност грешна. Всяка може да създаде езиково специфичен отказ, който е невидим в обща демонстрация.

Вземете собствено име. Системата може да го преведе, транслитерира, запази или да го замени с познат правопис. За стихотворение няколко избора може да са защитими. За документ за самоличност само един може да е приемлив и той може да зависи от издаващия орган. Вземете единица или дата. Стойностите може да останат математически еквивалентни, докато формата стане двусмислена за читателя. Вземете съществително или местоимение с род. Преводът може да въведе информация, която източникът е премълчал, или да заличи разлика, която източникът е направил умишлено.

Дизайнерският отговор не е да замразите езика. Той е да заявите политиката и да направите изключението видимо. Списък с терминология може да защити правни термини. Правило за собствени имена може да предотврати превръщането на град в човек. Изглед, запазващ източника, може да позволи на рецензента да сравни оригинала и изхода. Човешка ескалация може да бъде задействана от име с ниска увереност, несъгласие между маршрути или задача, класифицирана като високорискова. Моделът остава полезен, защото неговите граници са част от работния процес.

Големите езикови модели правят изборите по-трудни за виждане, защото изходът е плавен. Плавният изход е чудесен интерфейс и ненадеждно обяснение. Системата може да създаде изречение, което звучи като роден език, докато избира грешното значение на дума. Може да запази общата тема, докато изпусне отрицание. Може да преведе местен израз в стандартен, който променя позицията на говорещия. Ето защо езиковото качество не може да бъде представено само от граматиката. Значението има социална форма.

Писмености, диалекти, регистри и институции

Езиковата поддръжка често се обявява на ниво име на език, но читателите се сблъскват с писмености, разновидности и регистри. Система, която се справя със съвременния стандартен правопис, може да срещне трудности с исторически документи. Разпознавател на реч може да се справи със студийно аудио и да се провали в претъпкана гара. Чатбот, обърнат към обществеността, може да отговаря във формален регистър, докато потребителят има нужда от прост език. Институция може да използва термин, който се различава от ежедневната реч по причина, която е правно важна.

Това не са крайни случаи в пренебрежителния смисъл. Те са местата, където езикът среща света. Регионално име може да носи разликата между правилен адрес и неуспешна доставка. Диалектна дума може да е единствената дума, която човек знае за даден симптом. Формална фраза може да сигнализира, че съобщението има правно действие. Вариант на писменост може да определи дали документът може да бъде търсен. Ако бенчмарк изключва тези пътища, той може все още да е полезен, но не може да замести целия език.

Тестването на всички разновидности не винаги е възможно. Честният отговор е да се опише поддържаното подмножество и да се поканят доказателства за останалото. Система може да публикува, че е оценена върху стандартен писмен нидерландски за обобщаване на публична информация, без претенции относно регионалното разпознаване на реч. Може да добави тест за фризийски или баски, без да се преструва, че добавянето решава всеки регионален въпрос и въпрос за малцинствените езици. Конкретността не е слабост. Тя казва на потребителите къде е дъното.

Институциите също трябва да се противопоставят на идеята, че един национален езиков път е автоматично неутрален. Административният език може да е недостъпен за говорещите същия език. Достъпността и многоезичието се припокриват, защото и двете питат дали читателят може да разбере и да действа. Езиковата работа на Комисията включва инструменти за опростяване и достъпни текстове точно поради тази причина. Едно изречение може да е езиково правилно и все пак институционално неизползваемо.

Когато интерфейсът е плавен, но грешен

Най-трудните езикови грешки не са зрелищни. Те са отговори, които минават проверката на окото. Обобщение включва правилните имена, но променя кой е отговорен. Превод запазва съществителните, но превръща препоръка в инструкция. Класификатор разбира темата, но пропуска отрицание. Гласова система разпознава думите, но не и колебанието на говорещия. Потребител чете изхода на собствения си език и приема, че плавността е знак за грижа.

Трябва да проектираме за този клас грешки, вместо да чакаме странен пример да стане заглавие. Сравнявайте източника и изхода за съдържание с високи последици. Запазвайте маркерите за несигурност. Прикрепяйте цитати или препратки към документи. Искайте потвърждение, когато число, име или краен срок са централни. Правете пътя видим за оператора. Предлагайте механизъм за корекция, който не изисква потребителят да знае кой компонент се е провалил. Тези контроли са малки, но превръщат превода в проверима сделка.

Човешката проверка не бива да се описва като магическа последна линия. Проверяващите имат времеви ограничения, пропуски в областта и свои собствени езикови допускания. Един полезен интерфейс за проверка им дава източника, резултата, контекста и причината за ескалация. Той записва несъгласието, вместо да го заглажда. Ако проверяващите многократно коригират даден термин, организацията може да подобри терминологията или да промени границите на задачата. Ако несъгласието разкрие, че самият източник е двусмислен, правилното действие може да бъде да попитате автора, а не да обучавате модела по-интензивно.

Операторите също се нуждаят от начин да виждат отрицателните доказателства. Кои езици не са оценени? Кои задачи нямат човешка проверка? Кои заявки са били отказани? Кои потребители са напуснали маршрута след превод? Отсъствието може да е сигнал. Зелена карта на покритието, която пропуска неуспешните пътища, е карта на маркетинговата повърхност, а не на услугата.

Човешката експертиза не е бутон за аварийно спасяване

Европейската политика за езиковите технологии поставя лингвисти, специалисти по данни, компютърни инженери и експерти по области в едно изречение. Това е изискване за дизайна, а не списък от професии, които да поканите на разговор за стартиране. Всеки човек вижда различен вид провал. Лингвистът вижда неестествена конструкция или изгубено разграничение. Инженерът вижда проблем със сегментирането или маршрутизирането. Експертът по областта вижда опасна категорийна грешка. Операторът вижда опашка, за която никой не носи отговорност. Човекът, който ползва услугата, преживява решение, което вече няма смисъл.

Човешката експертиза трябва да се включи, преди бенчмаркът да бъде замразен. Езиков експерт може да помогне при подбора на тестов материал, който представя реални регистри, а не само чисти изречения. Експерт по областта може да посочи термини, които не трябва да се отклоняват. Представител на общността може да каже на екипа коя формулировка звучи официално, познато или обидно. Отговорникът за данните може да обясни какъв произход е наличен и какъв не е. Тези приноси оформят договора на системата. Те не са украса след като техническите решения са взети.

Разбира се, има цена. Добрата проверка изисква време и плаща на хора за знания, които често се третират като невидими. Тази цена е част от езиковата поддръжка. Алтернативата е да я прехвърлите върху потребителите, които плащат с объркване и жалби, или върху персонала, който неформално превежда и поправя маршрута. Система, която изглежда евтина, защото пренебрегва езиковата експертиза, не е ефективна. Тя просто е преместила сметката.

Какво трябва да разкрива един честен бенчмарк

Един многоезичен бенчмарк трябва да започне с твърдение, достатъчно малко, за да бъде тествано. Твърдението може да е, че системата може да отговаря на въпроси за публична информация на набор от езици, да запазва дати и числа и да отказва, когато доказателствата в източника липсват. Може да е, че маршрутът за превод обработва конкретна езикова двойка и област на определено ниво на качество. Може да е, че разпознавачът на реч може да транскрибира определен вариант при определени акустични условия. Бенчмаркът е договор за това твърдение.

Договорът се нуждае от повече от списък с езици. Той трябва да разкрива задачата, източника, областта, регистъра, писмеността, посоката, дължината на контекста, входните условия, референтните отговори, допустимите варианти, показателите, човешката проверка и несигурността. Той трябва да посочва дали елементите са били първоначално написани на всеки език или преведени. Трябва да записва кой ги е ревизирал и какви несъгласия са останали. Трябва да разделя обобщените резултати от резултатите за отделните езици. Трябва да показва достатъчно примери, за да може читателят да разбере какво измерва резултатът.

Критериите на EU MMLU са полезни, защото разширяват думата „справедливо“. Балансираното представяне на официалните езици на ЕС е една част. Запазването на смисъла, трудността и тестовата стойност на различните езици е друга. Тестването на европейски ценности и културни контексти, включително идиоми, хумор, препратки, формати на дати и числа, тон и учтивост, превръща бенчмарка в социален инструмент, както и в технически. Критериите не премахват преценката. Те я правят проверима.

Създателите на бенчмаркове трябва да публикуват срезове на грешките, а не само средни стойности. Модел може да има добър среден резултат, докато се проваля на всяка задача, включваща определен регистър или тип число. Един маршрут може да е ефикасен в едната посока и бавен или скъп в другата. Един показател може да корелира с човешката преценка на един език и да стане нестабилен на друг. Изгледите по езици и по задачи не са лукс. Те са начинът, по който купувачът избягва да закупи средната стойност, докато внедрява изключението.

Накрая, един бенчмарк трябва да заяви какво не може да ни каже. Писменият тест не установява умения за реч. Резултатът от превод не установява правна надеждност. Наборът от официални езици не установява подкрепа за регионални или малцинствени езици. Високият резултат не установява, че дадено лице може да оспори решение. Ограничението не е срамно. То е ръбът на картата и потребителите трябва да го видят, преди да отплават.

Резултатът е легенда на картата, а не самата територия

Числата са полезни, защото налагат сравнение. Опасни са, защото подканват към извод, по-голям от измерването. Един резултат може да ни каже как се е държала системата върху определена извадка по определена методика. Не може да ни каже как дадена общност ще преживее системата без мост от допускания. Мостът може да е здрав. Той трябва да бъде назован.

Да предположим, че система се подобрява на многоезичен бенчмарк след фина настройка. Това е доказателство за подобрено представяне на тази оценка. Не е автоматично доказателство, че системата е по-безопасна в публична услуга. Услугата може да използва различна терминология, по-дълъг контекст, речев вход, различен регистър или downstream работен процес, който превръща предложението в решение. Бенчмаркът може пак да е ценен. Той става по-ценен, когато организацията посочи коя част от услугата представлява.

Същата дисциплина важи за енергията, скоростта и разходите. Маршрутът с нискоресурсен език може да изисква повече човешка проверка или по-голям контекст за извличане. Това не е недостатък, който да се скрие в средна стойност. Това е свойство на услугата, което трябва да информира дизайна. Европейските институции прекараха десетилетия в изграждане на преводачески и езикови услуги, защото практическата цена на езиковото многообразие е реална. Една AI система не премахва тази цена, като излъчва текст бързо.

Няма срам в избора на по-тесен маршрут. Екип може да поддържа добре по-малко задачи, да публикува границата и да добавя езици, докато доказателствата растат. Това е по-добре, отколкото да се претендира за всеки език и да се остави потребителите да откриват пропуските. Европейският инстинкт за стандарт е най-силен, когато е съчетан с холандския инстинкт да се провери дали нещото работи в една обикновена сряда.

Изграждайте за 24, тествайте отвъд 24

Европейският съюз има 24 официални и работни езика, а преводаческата служба на Комисията работи на всички тях. Това число създава полезна базова линия за публичната инфраструктура. То не определя езиковия живот на Европа. Регионалните, малцинствените, нетериториалните и мигрантските езици също оформят общностите и институциите. Система, изградена за 24, може пак да изключва хора, които не използват един от тези маршрути, или които използват официален език във форма, която системата не е оценила.

Изграждането за 24 е следователно отговорност реалната база да стане факт, а не разрешение да спрем. Езиковият маршрут трябва да носи собствени доказателства. Публичният орган трябва да може да каже кои официални езици са покрити за кои задачи, каква човешка проверка съществува и къде потребителите могат да получат авторитетна версия. Той трябва също да има начин да се учи от езици извън първоначалния набор, без да превръща общността в неплатен тестов полигон.

Тестването отвъд 24 означава повече от добавяне на новостен език към демонстрация. Означава работа с говорещи, институции и изследователи, за да се реши каква е задачата, за какво може да се използва изходният материал и какво се счита за вредна грешка. Процесът може да доведе до малка, внимателно ограничена възможност. Това все още е напредък. Скромен маршрут с ясен договор може да бъде по-ценен от внушително твърдение, което никой оператор не може да защити.

Какво се опитваме да направим изрично

В Dweve подхождаме към тази тема от страната на инфраструктурата. Loom е описан в нашите публични продуктови материали като когнитивен модел, компилиран по задачи, чиито езикови компоненти визуализират управляван граф на резултатите, докато обучението на ограниченията, композицията на графа, решаващите механизми и проверката носят правомощието за вземане на решения. Това е архитектурна позиция, а не претенция за многоезична производителност. Тя не прави езиковия маршрут правилен. Тя прави едно задължение трудно за скриване: езиковият изход не трябва да бъде единственото място, където съществуват разсъжденията и доказателствата на системата.

Нашата работа по Ground Truth прави същата точка в по-човешки мащаб. Хората се нуждаят от достатъчно общ език, за да различат модел от работен процес, прогноза от доказателство и плавен отговор от проверен резултат. В многоезичните системи този речник се нуждае от още една дума: маршрут. Нидерландският отговор, френският отговор и баският отговор не са просто пресъздавания на едно вътрешно събитие, ако доказателствата, терминологията, проверката и поведението при грешка се различават. Маршрутът е част от твърдението.

Тази позиция е умишлено по-малко вълнуваща от твърдението, че един модел разбира Европа. Тя е и по-полезна. Искаме системата да показва какво е получила, кои източници и ограничения е могла да използва, какво не е могла да установи и кога човек трябва да поеме управлението. Езикът е повърхност, през която човек среща тази работа. Повърхността трябва да е ясна, но не трябва да ѝ се позволява да заличи структурата отдолу.

Ние не сме освободени от стандартите, описани тук. Полето за произход не поправя липсващи данни. Детерминираният път не доказва, че преводът е справедлив. Европейската граница на обработка не предоставя езикова компетентност. Единственият честен начин да се направи многоезично твърдение е да продължаваме да тестваме, да публикуваме ограниченията и да позволим на езиковите експерти да оспорват маршрута. Името на продукта не е доказателство. Досието е.

Практичен стандарт за екипи

Екипите, които решават дали да въведат многоезична AI функция, могат да започнат с кратък набор от въпроси. Какво точно трябва да прави системата на всеки език? Кои хора са засегнати, ако тя сгреши? Кой изходен материал е авторитетен? Как са създадени тестовите елементи и от кого? Кои регистри, писмености, диалекти и области са включени в твърдението? Какво прави системата, когато не може да установи значение? Кой може да спре маршрута? Как може потребителят да коригира отговор, без да става неплатеният лингвист на проекта?

Въпросите стават конкретни, когато са прикрепени към артефакти. Водете карта на езиковия маршрут със задачата, поддържаните езикови разновидности, семействата източници, статуса на правата, версиите на модела и инструментите, резултатите от оценката, известните режими на грешка и собственика на проверката. Съхранявайте примери за грешки с техния контекст, а не само резултат. Съхранявайте източника до превод с високи последици. Съхранявайте причина за ескалация, която операторът може да разбере. Водете запис на промените, когато се промени токенизатор, списък с терминология, бенчмарк или модел.

Екипите по обществени поръчки могат да изискват от доставчиците резултати по език и по задача, вместо един обобщен многоезичен показател. Могат да попитат дали даден бенчмарк е преведен или е написан на съответния език от носители, дали са налични човешки оценки, как се обработват маршрутите за езици с ограничени ресурси и дали доставчикът може да предостави доказателствата, необходими за преглед. Могат да попитат какво се случва, когато даден език не се поддържа, защото отказът и тихият преход към резервен вариант имат много различни последици.

Продуктовите екипи могат да проектират интерфейса така, че да показва маршрута и степента на увереност, без да създават впечатлението, че числото за увереност е вероятност за истинност. Могат да запазват връзките към източниците, да използват ясен език при отказите и да правят действията за преглед видими. Могат да избягват израза „поддържа всички езици“, освен ако не могат да дефинират глагола. „Поддържа“ може да означава показва текст, приема входни данни, превежда, обобщава, отговаря, класифицира, озвучава или обработва регулиран работен процес. Изборът на език не е спецификация.

Научноизследователските екипи могат да публикуват набори от данни с информация за произхода и пътища за корекции. Могат да включват отрицателни резултати и да отчитат кога даден показател не се пренася добре. Могат да поканят езиковите общности в процеса на оценяване, преди даден модел да бъде обявен за готов, и да заплатят за техния опит. Могат да устоят на натиска да превърнат тесен резултат в универсално твърдение. Най-ценният бенчмарк може да е този, който накара даден екип да премахне изречение от продуктовата си страница.

Обществото зад модела

Езиковият модел може да е много добър в създаването на език, без да знае какво прави езикът в едно общество. Той може да предскаже фраза, да преведе абзац и да отговори на въпрос, като същевременно пропуска институционалната връзка, която думите носят. Тази празнина не е доказателство, че моделът е безполезен. Тя е доказателство, че езикът е нещо повече от тип данни.

Отговорът на Европа не трябва да бъде състезание по броене на езици в картата на модела. Той трябва да бъде последователно усилие езиковите данни, правата, експертният опит, оценяването и общественият контрол да станат част от една и съща инфраструктура. Работата на Комисията по езиковите технологии, Пространството за езикови данни, Европейската езикова мрежа и бенчмаркът EU MMLU сочат именно в тази посока. Европейските изследователи проверяват какво се случва, когато преведените бенчмаркове се третират като изследователски въпроси, а не като неоспорими инструменти. Тази работа заслужава внимание, защото прави един стар политически факт технически видим: хората не преживяват Съюза на един език.

Следващият път, когато даден доставчик каже, че даден модел е многоезичен, попитайте какво съдържа това твърдение. Кои езици? Кои задачи? Кои общности? Кои източници? Кой преглед? Кой отказ? Кой регистър на промените? Въпросът не е враждебен. Той е обичайното начало на отчетността.

Едно общество не става справедливо, защото една машина може да повтаря думите му. То става по-справедливо, когато хората могат да влязат в институциите му, да разберат какво се случва, да оспорят даден резултат и да бъдат чути на езика, който носи живота им. Един модел може да подпомага тази работа. Той не може да я определя. Езикът на модела е техническа възможност. Езикът на обществото е споделена отговорност.

Източници