Lingwa ta' mudell mhijiex lingwa ta' soċjetà

Mudell multilingwi mhux ġust għax l-interface tiegħu jelenka ħafna lingwi. Il-kopertura tal-lingwi hija kwistjoni istituzzjonali, kulturali u ta' sigurtà, u...

Lingwa ta' mudell mhijiex lingwa ta' soċjetà

Sittax-il lingwa huwa bidu, mhux verdett

Fit-22 ta’ Lulju 2026, id-Direttorat Ġenerali għat-Traduzzjoni tal-Kummissjoni Ewropea ppubblika EU MMLU, benchmark maħsub biex jittestja mudelli kbar tal-lingwa f’kuntesti lingwistiċi u kulturali Ewropej. Il-ħruġ kien onest b’mod mhux tas-soltu dwar id-distakk li kien qed jipprova jagħlaq. Ħafna settijiet ta’ evalwazzjoni nbnew bl-Ingliż. Mudell jista’ jikseb punteġġ tajjeb fihom u xorta jkollu prestazzjoni ħażina bil-Franċiż, bl-Ungeriż jew bil-Malti. Is-sett il-ġdid jibda b’sittax-il lingwa uffiċjali tal-UE, seba’ oqsma suġġetti u aktar minn elf mistoqsija tradotti u riveduti minn kważi 250 student minn 21 università Ewropea.

L-aktar parti importanti ta’ dik id-dikjarazzjoni mhijiex il-lista tal-lingwi. Hija s-sentenza taħtha: l-imġiba ta’ mudell ma tistax tiġi dedotta mil-lingwa li fiha jidher l-aktar fluwenti. Dak għandu jkun ovvju. Huwa wkoll is-suppożizzjoni wara ammont notevoli ta’ akkwist, riċerka u konversazzjoni pubblika. Għadna nitkellmu dwar mudell tal-lingwa bħallikieku għandu moħħ wieħed, imbagħad nitolbuh jilbes lingwi differenti bħal kowtijiet. Il-kowt jinbidel. Il-moħħ, l-evidenza, il-blind spots u l-ambjent soċjali jitqiesu bħala stabbli.

Mhumiex stabbli. Il-lingwa hija fejn persuna tiltaqa’ ma’ istituzzjoni. Ġġorr it-termini ta’ benefiċċju, it-ton ta’ appell, id-differenza bejn parir u istruzzjoni, il-forma ta’ ċajta, l-isem ta’ post, u s-suppożizzjonijiet f’formola. Meta sistema timmaniġġja lingwa waħda aħjar minn oħra, ma tipproduċix biss sentenza inqas eleganti. Tista’ tbiddel min jinftiehem, min jintwemmen, min jista’ jikkontesta riżultat u min iċedi qabel ma jsib il-bieb it-tajjeb.

Il-konklużjoni prattika hija ċara. L-AI multilingwi mhijiex karatteristika ta’ traduzzjoni li għandha tiżdied wara li jinbena l-mudell. Hija kwistjoni ta’ aċċess, evidenza u awtorità. Ix-xogħol tal-Ewropa fuq teknoloġiji tal-lingwa, dejta lingwistika u evalwazzjoni multilingwi huwa siewi għaliex jittratta l-problema bħala infrastruttura. Ix-xogħol għadu mhux komplut. Benchmark mhuwiex garanzija, u sittax-il lingwa mhumiex l-Ewropa kollha. Iżda d-direzzjoni hija t-tajba: ieqaf tistaqsi jekk mudell jitkellimx lingwa u ibda staqsi x’jista’ jagħmel b’mod sikur f’dik il-lingwa, għal min, taħt liema kundizzjonijiet, b’liema evidenza.

Il-kopertura tal-lingwa hija kredibbli biss meta s-sors, il-kuntest, ir-reviżjoni u t-talbiet tas-servizz jibqgħu konnessi.

Il-lingwa hija konfini ta’ aċċess

L-Ewropa għamlet il-lingwa fatt istituzzjonali, mhux preferenza privata. L-Artikolu 22 tal-Karta tad-Drittijiet Fundamentali jgħid li l-Unjoni għandha tirrispetta d-diversità kulturali, reliġjuża u lingwistika. Il-politika tat-teknoloġija tal-lingwa tal-Kummissjoni stess tqiegħed dik l-obbligazzjoni ma' twissija prattika: it-teknoloġiji tal-lingwa jeħtieġu użu imparzjali jekk id-drittijiet u l-prinċipji jridu jibqgħu ħajjin meta jiġu f'kuntatt mas-softwer. Dawn mhumiex impenji dekorattivi. Huma jiddeskrivu l-konfini li sistema pubblika tiltaqa' miegħu meta resident ma jkunx jista' jaqra avviż, ma jkunx jista' jifhem għaliex ittieħdet deċiżjoni, jew ma jkunx jista' jesprimi fatt rilevanti fil-lingwa li fiha jeżisti dak il-fatt.

Dak il-konfini huwa faċli biex jintilef meta tim ikejjel biss jekk ġietx prodotta traduzzjoni. Sentenza tista' tasal fil-lingwa mitluba u xorta tonqos lil min jeħtieġha. It-traduzzjoni tista' ċċattja distinzjoni legali, tbiddel il-livell ta' edukatezza li jindika jekk uffiċjal hux qed jistaqsi jew qed jordna, jew tuża terminu li għandu tifsira ta' kuljum iżda tifsira speċjalizzata f'servizz partikolari. Rikonoxxitur tal-vuċi jista' jibdel pronunzja reġjonali fi kliem ieħor. Sommarizzatur jista' jneħħi l-kwalifika li ġġorr ir-responsabbiltà. Il-fluenza ma tgħidilniex jekk it-tranżazzjoni baqgħetx intatta.

Immaġina servizz ta' informazzjoni pubblika li joffri l-istess spjegazzjoni tal-eliġibilità bid-Daniż, bil-Franċiż u b'lingwa reġjonali. L-ewwel żewġ rotot ġew imħarrġa u ttestjati b'materjal amministrattiv, ittri ta' appell u konversazzjonijiet ma' esperti fil-qasam. It-tielet rotta għandha proża ġenerali eċċellenti iżda l-ebda evalwazzjoni sinifikanti fuq it-terminoloġija tas-servizz innifsu. Dashboard jista' jirrapporta tliet tikketti ħodor tal-lingwa. Ir-residenti ma jirċevux tliet servizzi ekwivalenti. Grupp wieħed jirċievi spjegazzjoni; ieħor jirċievi approssimazzjoni; it-tielet jirċievi inċertezza illustrata li tidher uffiċjali għax għandha l-logo t-tajjeb.

L-eżempju huwa deliberatament ipotetiku. Mhuwiex allegazzjoni dwar muniċipalità jew fornitur partikolari. L-iskop tiegħu huwa li jikxef żball fid-disinn. L-appoġġ lingwistiku spiss jingħadd fil-wiċċ tal-interface filwaqt li l-obbligazzjoni attwali tinsab aktar 'l isfel fil-katina. Is-sistema trid tkun taf liema data tappoġġja l-lingwa, liema kompiti ġew evalwati, min irreveda l-iżbalji, kif l-utenti jistgħu jikkoreġuhom, u meta r-rotta trid tirrifjuta li twieġeb. Jekk dawn id-dettalji jkunu nieqsa, is-selettur tal-lingwa huwa wegħda mingħajr kuntratt.

Il-mappa ta' mudell mhijiex il-mappa tas-soċjetà

Mudell jitgħallem minn mappa tal-lingwa li d-data u l-proċess ta' taħriġ tiegħu jagħmlu disponibbli. Soċjetà tgħix f'mappa ferm akbar. Il-mappa tal-mudell fiha t-testi, ir-reġistrazzjonijiet, it-tikketti, it-traduzzjonijiet u l-evalwazzjonijiet li tħallew jidħlu. Il-mappa tas-soċjetà fiha nies li jitkellmu b'mod differenti fid-dar u fuq ix-xogħol, jibdlu r-reġistru mingħajr ma jħabbruh, jissellfu kliem minn naħa għal oħra tal-fruntiera, jużaw lingwa minoritarja f'istituzzjoni lokali, jew jiktbu b'skrittura li benchmark ma inkludiex. Mappa waħda hija artefatt tekniku. L-oħra hija arranġament ta' ħajjiet, drittijiet u obbligazzjonijiet.

Id-differenza importanti anki għal lingwi b'korpus pubbliċi kbar. Lingwa nazzjonali mhijiex fluss wieħed uniformi. Formoli tal-gvern, deċiżjonijiet tal-qrati, diskors fil-klassi, parir tas-saħħa, messaġġi bil-miktub u konversazzjoni bejn ġirien jużaw vokabularji differenti u tolleranzi differenti għall-ambigwità. Mudell jista' jkun kompetenti fil-proża tal-aħbarijiet u dgħajjef f'appell ta' benefiċċji. Jista' jimmaniġġja l-ortografija standard u jitħabat ma' djalett. Jista' jittraduċi sentenza litterali u jitlef it-tifsira pragmatika li ġġorr formula edukata. Li wieħed isejjaħ il-lingwa kollha appoġġjata jaħbi l-konfini tal-kompitu.

It-teknoloġija lingwistika għalhekk teħtieġ vokabularju aktar preċiż. Għandna niddistingwu lingwa li tkun preżenti fid-dejta tat-taħriġ minn kompitu li jkun qed jiġi evalwat f'dik il-lingwa. Għandna niddistingwu traduzzjoni ta' benchmark minn oġġett ta' test miktub b'mod indipendenti. Għandna niddistingwu l-qari ta' kitba mir-reġistru ta' komunità. Għandna niddistingwu l-abbiltà ta' sistema li tiġġenera test mill-awtorità tagħha li tagħti parir, tikklassifika jew tiddeċiedi. Kull distinzjoni hija biċċa xogħol amministrattiv żgħira. Flimkien, iwaqqfu talba wiesgħa milli tinġabar minn evidenza dejqa.

Hemm raġuni istituzzjonali biex inkunu stretti. Is-servizzi pubbliċi mhumiex liberi li jagħżlu l-aktar lingwa faċli u jsejħu r-riżultat effiċjenti. Bank, sptar, min iħaddem jew fornitur ta' softwer jista' jkollhom dmirijiet legali differenti, iżda kull wieħed jiddeċiedi kemm frizzjoni trid tassorbi persuna biex tinftiehem. Rota multilingwi li tonqos fis-skiet tittrasferixxi l-ispiża lill-utent. L-utent irid isib traduttur, jirrepeti storja, jaċċetta riżultat agħar jew jabbanduna l-proċess. Is-sistema tirrapporta suċċess għax irritornat sekwenza ta' test. Il-persuna tesperjenza esklużjoni b'grammatika eċċellenti.

Xi jfisser tassew riżorsi baxxi

Riżorsi baxxi spiss jiġu ttrattati bħala proprjetà ta' lingwa, bħallikieku xi lingwi waslu għand il-mudell b'inqas riżorsi u għandhom jiskuzaw ruħhom għall-inkonvenjent. Huwa aktar utli li jiġi ttrattat bħala proprjetà ta' kompitu, sett ta' dejta u deċiżjoni ta' governanza. Lingwa jista' jkollha materjal letterarju sostanzjali iżda ftit dejta ttikkettjata għal klassifikatur mediku. Jista' jkollha test parallel iżda kważi l-ebda reġistrazzjoni tad-diskors. Tista' tkun rappreżentata f'korpus mingħajr id-drittijiet jew il-metadejta meħtieġa għal użu partikolari. Jista' jkollha dejta f'forma standard waqt li l-persuni affettwati jużaw varjetà reġjonali.

Il-politika tat-teknoloġija lingwistika tal-Kummissjoni Ewropea ssemmi dan b'mod ċar. Id-dejta lingwistika hija l-pedament tal-għodod lingwistiċi, u l-kompetenza umana hija parti neċessarja ta' żvilupp b'suċċess. Mudell jeħtieġ test jew diskors, algoritmi, komputazzjoni u nies li jifhmu l-lingwa u d-dominju. It-tneħħija ta' kwalunkwe wieħed minn dawn l-elementi tbiddel is-sistema. Aktar komputazzjoni ma tistax toħloq konversazzjoni nieqsa. Aktar eżempji ma jistgħux isewwu tikketta li tħawwad żewġ kategoriji legali. Mudell akbar ma jistax jiddeċiedi liema sors komunità tqis bħala awtorevoli.

Ix-xogħol ta' riżorsi baxxi għalhekk mhuwiex stedina biex jitbaxxa l-istandard. Huwa raġuni biex l-istandard isir viżibbli. Jekk kompitu jkollu ftit materjal ta' evalwazzjoni, għid hekk. Jekk metrika tkun instabbli għal par lingwi, irrapporta l-instabbiltà. Jekk ir-reviżjoni umana kienet żgħira, identifika l-ambitu tar-reviżjoni minflok tippreżentaha bħala garanzija ġenerali. Jekk rota tkun utli għall-abbozzar iżda mhux għad-deċiżjonijiet, poġġi dik il-konfini fejn xerrej u utent jistgħu jarawha. In-nuqqas onest huwa aktar sigur minn skiet li jidher abbundanti.

Il-pajsaġġ lingwistiku tal-Ewropa jagħmel din id-dixxiplina inevitabbli. Il-Kummissjoni tiddeskrivi sett kumpless ta' lingwi uffiċjali, reġjonali u minoritarji u appoġġjat inizjattivi bħall-European Language Grid, l-aġenda European Language Equality u l-Common European Language Data Space. Dawn il-proġetti mhumiex soluzzjoni waħda u m'għandhomx jitqiesu bħala waħda. Huma biċċiet ta' ekosistema fejn dejta, għodod, drittijiet, kompetenza u istituzzjonijiet pubbliċi jistgħu jiltaqgħu. Il-forma istituzzjonali hija importanti daqs il-mudell ġewwa fiha.

Is-saff tad-drittijiet jasal qabel il-benchmark

Huwa jista’ jħajjar li wieħed jiddiskuti l-mudelli tal-lingwa bħallikieku l-lingwa kienet kanal ta’ input newtrali. Mhix hekk. L-input jista’ jkun fih data personali, karatteristika protetta, isem ta’ post lokali, dettalju mediku jew rekord ta’ persuna li qed titlob għajnuna. Is-sors jista’ jkun protett mid-drittijiet tal-awtur jew soġġett għal riżerva. Output tradott jista’ jintuża f’deċiżjoni anki jekk ir-rotta tat-traduzzjoni qatt ma ġiet evalwata għal dak il-kuntest. Il-problema tal-lingwa tal-mudell hija diġà problema ta’ drittijiet qabel ma xi ħadd jagħżel punteġġ.

Il-gwida tal-Kummissjoni dwar it-teknoloġija tal-lingwa torbot id-data lingwistika kemm mad-drittijiet tal-awtur kif ukoll mal-protezzjoni tad-data. Dik il-konnessjoni għandha tbiddel kif it-timijiet jiddisinjaw il-pipelines. Korpus mhuwiex sempliċement munzell ta’ sentenzi. Għandu identità tas-sors, kundizzjonijiet ta’ akkwist, status ta’ liċenzja jew ta’ drittijiet, metadati dwar il-lingwa u l-iskritt, sinjali ta’ kwalità, skop u regoli ta’ żamma. Jekk oġġett jiġi kkoreġut jew irtirat, l-organizzazzjoni jeħtieġ li tkun taf liema artefatti derivati ġew affettwati. Inkella, mudell aktar tard jista’ jirrepeti żball antik bil-kunfidenza ta’ formola li għadha kif ġiet stampata.

Hawnhekk il-provenjenza tal-espressjoni taqla’ l-post tagħha. Il-provenjenza mhijiex nota ta’ qiegħ il-paġna li tgħid li d-data ġiet minn xi mkien. Hija s-sett ta’ relazzjonijiet li jippermettu lil min jirrevedi jimxi minn riżultat għall-evidenza rilevanti u lura għal darb’oħra. Fix-xogħol multilingwi, dawk ir-relazzjonijiet jeħtieġ li jibqgħu ħajjin permezz tat-traduzzjoni, tat-traskrizzjoni, tan-normalizzazzjoni, tas-segmentazzjoni u tal-evalwazzjoni. Sentenza tradotta għal benchmark mhijiex interkambjabbli mas-sentenza tas-sors. Tikketta magħmula minn min jirrevedi mhijiex interkambjabbli ma’ tikketta li tintiret minn lingwa differenti. It-trasformazzjoni hija parti mill-evidenza.

M’hemm l-ebda rekwiżit li kull utent jara reġistru tar-riċerka. Hemm rekwiżit li organizzazzjoni tkun tista’ twieġeb mistoqsija serja meta tasal. Liema verżjoni tar-riżorsa lingwistika ntużat? Liema kompitu appoġġjat? Liema esperti tal-lingwa rrevedewha? X’għamel is-sistema meta l-kunfidenza kienet baxxa? Ilment ġie ttrattat bħala korrezzjoni ta’ tweġiba waħda jew bħala klassi possibbli ta’ fallimenti? Ir-rotta tal-lingwa ssir ta’ fiduċja meta dawn il-mistoqsijiet ikollhom min jieħu r-responsabbiltà u rekords.

L-Ewropa qed tibni infrastruttura tal-lingwa, mhux biss buttuni ta’ traduzzjoni

Id-deskrizzjoni tal-Kummissjoni Ewropea tal-Ispazju Komuni Ewropew tad-Data Lingwistika hija utli għaliex ma tnaqqasx il-proġett għal rilaxx ta’ mudell. L-għan huwa pjattaforma u suq għall-ġbir, il-qsim u l-użu mill-ġdid ta’ data lingwistika multilingwi u multimodali, filwaqt li l-organizzazzjonijiet u l-individwi li jiġġeneraw id-data jibqgħu fil-kontroll. Dik il-kliem tindika lejn idea differenti ta’ progress. Ix-xogħol mhuwiex biss li tipproduċi sentenza aħjar. Huwa li r-riżorsi lingwistiċi jsiru skopribbli, konxji tad-drittijiet, użabbli mill-ġdid u responsabbli madwar l-amministrazzjoni pubblika, ir-riċerka u l-industrija.

Il-Grid Ewropew tal-Lingwa għamel mossa relatata billi ġab għodod u riżorsi speċjalizzati tat-teknoloġija tal-lingwa f’katalgu komuni. Katalgu ma jippruvax li kull servizz jaħdem għal kull kompitu. Madankollu, jagħmel dipendenza moħbija aktar faċli biex tiġi eżaminata. Tim jista’ jistaqsi x’jagħmel l-għodda, liema lingwa jappoġġja, minn fejn ġiet id-data tiegħu u jekk il-liċenzja taqbilx mal-użu maħsub. Din hija infrastruttura mhux attraenti. Hija wkoll kif kontinent b’ħafna istituzzjonijiet jevita li jerġa’ jibni l-istess kapaċità tal-lingwa fi kmamar skonnettjati.

L-infrastruttura hija importanti għaliex id-denb twil tax-xogħol tal-lingwa ma jissolviex b’mudell ewlieni wieħed. Korp pubbliku jista’ jkollu bżonn rikonoxximent tad-diskors għal aċċent reġjonali, estrazzjoni ta’ terminoloġija għal qasam speċjalizzat, memorja ta’ traduzzjoni għal-leġiżlazzjoni, rikonoxximent ta’ entitajiet imsemmija għal ismijiet ta’ postijiet, jew mod kif iqabbel żewġ verżjonijiet ta’ dokument mingħajr ma jitlef id-djakritiċi. Kumpanija tista’ jkollha bżonn installazzjoni lokali għaliex il-materjal ma jistax joħroġ mill-ġuriżdizzjoni tagħha. Grupp ta’ riċerka jista’ jkollu bżonn dataset bi provenjenza ċara aktar milli punteġġ anonimu ieħor.

Hemm għażla politika kwieta f'dan l-approċċ. Id-dejta u l-għodod huma meqjusa bħala kapaċitajiet li l-Ewropa għandha tkun tista' teżamina u tifforma, mhux bħala servizz li jasal minn imkien ieħor inviżibbli. Dan ma jfissirx li s-sistemi Ewropej huma awtomatikament tajbin jew li l-fornituri kummerċjali minn bnadi oħra ma jistgħux ikunu utli. Ifisser li lingwa hija importanti wisq biex titħalla mingħajr vokabularju pubbliku għad-dejta tagħha, għan-nuqqasijiet tagħha u għall-evalwazzjoni tagħha. Is-sovranità tibda billi tkun taf x'm'għandux il-mod jara fis-sistema.

It-traduzzjoni mhijiex pajp newtrali

It-traduzzjoni spiss titqiegħed bejn żewġ komponenti f'dijagramma ta' arkitettura, bħallikieku kienet pajp li jġorr it-tifsira minn naħa għall-oħra. It-traduzzjoni vera hija sekwenza ta' deċiżjonijiet. Liema test sors huwa awtorevoli? Liema kliem irid jibqa' eżatt? Liema ambigwità għandha tinżamm? Liema referenza kulturali teħtieġ spjegazzjoni? Liema reġistru huwa xieraq għal avviż pubbliku? Liema entità ma tridx tiġi tradotta? Liema data, numru jew unità għandhom jingħataw skont il-konvenzjoni tal-qarrej? Mudell jista' jagħmel dawn id-deċiżjonijiet malajr. Il-veloċità ma tagħmilhomx inviżibbli.

Ikkunsidra d-differenza bejn it-traduzzjoni ta' sentenza dwar it-temp u t-traduzzjoni ta' avviż dwar skadenza. Fl-ewwel waħda, żball stilistiku żgħir jista' jkun irritanti. Fit-tieni, numru jew verb modali jista' jbiddel dak li persuna temmen li trid tagħmel. Il-mudell lingwistiku sottostanti jista' jkollu l-istess baġit ta' tokens u l-istess wirja ta' kunfidenza. Il-konsegwenzi soċjali mhumiex l-istess. L-evalwazzjoni għalhekk trid issegwi l-kompitu, mhux tieqaf f'punteġġ lingwistiku ġenerali.

Il-paġna tal-Kummissjoni dwar l-użu tagħha stess tal-lingwi tagħmel il-punt mingħajr dramm. It-traduzzjoni bil-magni tista' tagħti idea bażika, iżda l-kwalità u l-eżattezza jvarjaw b'mod sinifikanti minn test għal ieħor u bejn pari ta' lingwi. Dik hija sentenza pubblika utli għax tirrifjuta li tbiddel servizz f'oraklu. Tagħti lill-qarrej permess juża traduzzjoni bħala orjentazzjoni filwaqt li żżomm raġuni biex ifittex verżjoni umana jew awtorevoli meta l-konsegwenza titlobha.

Għat-timijiet tal-prodott, l-implikazzjoni hija sett ta' rotot espliċiti. Traduzzjoni ta' konsegwenza baxxa tista' tingħata direttament bi status ċar. Rota legali jew medika tista' teħtieġ reviżjoni umana, rabta mas-sors jew rifjut. Abbozz intern jista' jżomm is-sors maġenb it-traduzzjoni. Interfaċċa tal-vuċi tista' tirrepeti isem kritiku u titlob konferma. L-għażla mhijiex bejn awtomazzjoni sħiħa u l-ebda awtomazzjoni. Hija bejn pipeline li jiddikjara l-passi tiegħu u wieħed li jaħbihom warajha paragrafu fluwenti.

Is-sentenza tibqa' ħajja, is-sitwazzjoni le

Il-mudelli jaħdmu fuq rappreżentazzjonijiet. Is-soċjetajiet jaħdmu fuq sitwazzjonijiet. Meta traduzzjoni timxi minn waħda għall-oħra, dettalji żgħar jistgħu jsiru t-tifsira kollha. Frażi li hija edukata f'lingwa waħda tista' tinstema' evażiva f'oħra. Terminu li jiddistingwi dritt statutorju minn servizz diskrezzjonali jista' jitnaqqas fi kelma ġenerika għall-għajnuna. Idioma tista' tiġi tradotta litteralment u ssir bla sens, jew tradotta b'mod ħieles u titlef ir-referenza li tidentifika komunità. L-ebda wieħed minn dawn il-fallimenti ma jeħtieġ output assurdu. It-tweġiba perikoluża hija dik li tidher ordinarja.

Ir-rilaxx tal-EU MMLU jindika eżattament dan il-qasam. Il-kriterji tal-kwalità tiegħu jitolbu li l-benchmarks multilingwi jittestjaw mhux biss it-tifsira u d-diffikultà, iżda wkoll l-idjomi, l-umoriżmu, ir-referenzi kulturali, il-formati tad-data u tan-numri, u d-differenzi fit-ton jew fl-edukatezza mistennija. Din hija tkabbir importanti tal-mira tal-evalwazzjoni. Mudell lingwistiku mhux qed jintalab biss jekk jistax jipproduċi sentenza grammatikali. Qed jintalab jekk is-sentenza tappartjenix fis-sitwazzjoni fejn persuna se taġixxi fuqha.

L-akkużi li ssemma l-umoriżmu mhijiex stedina biex il-benchmark isir divertenti. Huwa jirrikonoxxi li l-umoriżmu huwa test tal-istress għall-kuntest. Traduzzjoni letterali tista' tippreserva l-kliem u teqred iċ-ċajta. Traduzzjoni adattata kulturalment tista' tippreserva l-effett waqt li tbiddel ir-referenza. F'servizz ta' informazzjoni pubblika, l-istess mekkaniżmu jidher mingħajr daħk. Qawl, isem ta' post lokali jew tislima formali jistgħu jindikaw min qed jitkellem u liema relazzjoni l-messaġġ joħloq.

Meta timijiet jgħidu li mudell jifhem lingwa, għandhom jistaqsu liema saff qed jirreferu għalih. Jagħraf l-iskrittura? Jaqsam il-kliem b'mod korrett? Jidentifika entitajiet? Jittraduċi l-propożizzjoni? Jippreserva l-forza legali? Isegwi konvenzjoni lokali? Iżomm il-livell ta' ċertezza tal-kelliem? Jimmaniġġja ortografija mhux standard? Iwieġeb fir-reġistru t-tajjeb? Dawn huma kapaċitajiet separati. Tikketta waħda msejħa multilingwi taħbi x-xogħol meħtieġ biex kull waħda minnhom tiġi stabbilita.

Għaliex l-evalwazzjoni trid tivvjaġġa mal-lingwa

L-evalwazzjoni spiss tiżdied fl-aħħar għax it-timijiet iridu numru biex iwaħħluh ma' mudell. Sistemi multilingwi jagħmlu dak l-ordni impossibbli. Id-dejta tat-test tiddetermina x'jikkonta bħala żball. Il-lingwa tiddetermina kif sentenza tista' tonqos. Id-dominju jiddetermina liema falliment jimpurta. L-utent jiddetermina jekk it-tweġiba tas-sistema hijiex għajnuna jew ostaklu. L-evalwazzjoni trid tivvjaġġa ma' dawn l-erbgħa kollha.

Id-dokument ta' riċerka Ewropew Towards Multilingual LLM Evaluation for European Languages juri l-iskala tal-problema. L-awturi jivvalutaw 40 mudell tal-lingwa f'21 lingwa Ewropea, jeżaminaw verżjonijiet tradotti ta' ħames benchmarks użati b'mod wiesa' u jippubblikaw qafas li jinkludi EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA u EU20-GSM8K. Id-dokument ma jgħidx li t-traduzzjoni ta' benchmark eżistenti awtomatikament tagħmlu ġust. Huwa jittratta s-servizzi ta' traduzzjoni, il-kostruzzjoni tal-benchmark u l-komparabbiltà bejn il-lingwi bħala affarijiet li għandhom jiġu investigati.

Dik hija l-pożizzjoni t-tajba. Oġġett ta' test tradott jista' jiret bidla fid-diffikultà, suppożizzjoni kulturali jew ħjiel li ma kienx jeżisti fl-oriġinal. Mudell jista' jikseb punteġġ ogħla għax il-kliem tradott jagħmel it-tweġiba aktar faċli, mhux għax il-mudell sar aktar kapaċi. Jista' jikseb punteġġ aktar baxx għax kostruzzjoni grammatikali mhijiex naturali fil-lingwa fil-mira, anki jekk ir-raġunament sottostanti huwa sod. Iż-żewġ riżultati huma evidenza dwar it-test kif ukoll dwar il-mudell.

Ir-reviżjoni umana tibqa' meħtieġa, iżda r-reviżjoni umana teħtieġ ukoll kuntratt. Min irreveda l-oġġett? Ir-reviżuri kienu kelliema nattivi, speċjalisti tad-dominju, jew it-tnejn? Irrevedew sentenzi iżolati jew il-kompitu fil-kuntest? Id-diżgwidi ġew irreġistrati? Il-benchmark ippreserva tweġibiet alternattivi aċċettabbli? Espert tal-lingwa jista' jgħidilna li frażi hija żbaljata. Espert tad-dominju jista' jgħidilna għaliex iż-żball ibiddel deċiżjoni. Evalwazzjoni kredibbli spiss teħtieġ it-tnejn u trid tgħid liema waħda kellha.

Il-punt mhuwiex li kull sistema tgħaddi minn eżami bla tmiem qabel ma ħadd ma jista' jużaha. Huwa li jipprevjeni test dejjaq milli jittieħed bi żball bħala dikjarazzjoni wiesgħa. Jekk mudell ġie evalwat fuq mistoqsijiet fattwali qosra b'lingwa miktuba standard, irrapporta dan. Tħallix ir-riżultat fis-skiet isir dikjarazzjoni dwar interazzjoni mitkellma, abbozzar legali, gvern lokali, tfal, persuni anzjani jew kull reġistru fil-lingwa.

Punteġġ isir utli meta l-konfini tal-kompitu, tal-lingwa, tal-kuntest u tar-reviżjoni tiegħu jibqgħu viżibbli.

Il-lezzjoni tal-Malti u l-Bask

Karta ppreżentata fil-konferenza LREC-COLING tal-2024 studjat l-evalwazzjoni tat-traduzzjoni bil-magni mill-Ingliż għall-Malti u mill-Ispanjol għall-Bask. L-awturi eżaminaw il-metrika ta' evalwazzjoni COMET, ġabru valutazzjonijiet umani diretti u ttestjaw kemm il-metrika ġabet ruħha tajjeb meta ġiet adattata għaż-żewġ pari lingwistiċi. Il-konklużjoni tagħhom hija modesta iżda sinifikanti: il-prestazzjoni tal-metrika tista' titjieb permezz ta' fine-tuning, u tista' tkun influwenzata ħafna mid-distribuzzjoni tal-punteġġi fid-dejta tat-taħriġ tagħha, speċjalment f'ambjenti b'riżorsi limitati.

Din mhix storja dwar metrika waħda li tfalli. Hija storja dwar minn xiex jiddependi punteġġ. Metrika mħarrġa fuq distribuzzjoni waħda tista' ġġib ruħha b'mod differenti meta tintalab tiġġudika oħra. Par lingwistiku b'inqas materjal ta' evalwazzjoni jista' jagħmel il-punteġġ jidher aktar deċiżiv milli huwa fil-verità. Sistema li tkun konvenjenti biex titqabbel tista' xorta waħda tkun rappreżentazzjoni fqira ta' dak li l-kelliema jqisu bħala traduzzjoni tajba. Il-ġudizzji umani ma jagħmlux l-evalwazzjoni perfetta, iżda jikxfu l-postijiet fejn miżura awtomatika tkun qed tagħmel suppożizzjonijiet.

Studju ieħor tal-2024, Benchmarking Low-Resource Machine Translation Systems, iqabbel sistemi disponibbli pubblikament fuq erba' settijiet ta' dejta u 26 lingwa u jippubblika r-riżultati permezz ta' BENG, pjattaforma FAIR ta' benchmarking għall-ġenerazzjoni tal-lingwa naturali. Għal darb'oħra, il-kontribut mhuwiex klassifikazzjoni universali. Huwa tqabbil aktar trasparenti. L-effiċjenza u l-effettività jitqiesu flimkien, u l-lista tal-lingwi hija viżibbli. Il-qarrej jista' jistaqsi jekk il-benchmark jinkludix ir-rotta li jimpurtah minnha minflok jaċċetta numru wieħed bħala titlu prinċipali.

Dawn l-istudji joffru lezzjoni Ewropea fir-restraint. Il-parti diffiċli mhix li toħloq punteġġ ieħor. Hija li tibni evalwazzjoni li tħalli lill-qarrej jara ta' min hi l-lingwa, ta' min hu l-kompitu u ta' min hija d-definizzjoni tal-kwalità li pproduċiet il-punteġġ. Meta dak il-kuntest ikun nieqes, numru jsir qsim ta' fruntiera mingħajr passaport. Jista' jgħaddi mill-preżentazzjoni, iżda ħadd ma jista' jistabbilixxi minn fejn ġie.

Il-kopertura tal-lingwa tista' tkun proprjetà ta' sikurezza

Id-diskussjonijiet dwar is-sikurezza spiss jiffokaw fuq kontenut li sistema għandha tirrifjuta, attakki li għandha tirreżisti jew żbalji li għandha taqbad. Il-lingwa żżid mistoqsija oħra: tista' s-sistema tirrikonoxxi meta tkun barra mill-kompetenza tagħha? Rotta li taħdem f'lingwa waħda tista' tfalli aktar spiss f'oħra filwaqt li żżomm l-istess ton kunfidenti. Jekk l-interface ma jurix id-differenza, l-utenti ma jistgħux jikkalibraw il-fiduċja tagħhom.

Dan huwa importanti b’mod partikolari meta l-lingwa tkun parti minn interazzjoni kritika għas-sikurezza. Pazjent jista’ jiddeskrivi sintomu b’varjetà reġjonali. Ħaddiem jista’ jirrapporta periklu billi juża terminu lokali. Resident jista’ jissottometti appell b’konvenzjoni ta’ ortografija li normalizzatur iqisha bħala storbju. Mudell jista’ jkun teknikament preċiż fil-benchmark tiegħu u operazzjonalment mhux sikur għal dik ir-rotta. Il-mistoqsija rilevanti mhijiex jekk is-sistema tistax tiġġenera tweġiba plawsibbli. Hija jekk il-kontrolli tas-sikurezza ġewx evalwati fuq il-lingwa u s-sitwazzjoni li jkollha quddiemha.

Is-sikurezza ma teħtieġx li kull rotta tal-lingwa tiġi ttrattata bħala emerġenza speċjali. Teħtieġ li l-kontroll jitqabbel mal-konsegwenza. Riżultat ta’ tfittxija b’riskju baxx jista’ juri s-sorsi tiegħu u jistieden korrezzjoni. Interfaċċja ta’ triage mediku tista’ tidderieġi input lingwistiku inċert lejn professjonist imħarreġ. Fluss ta’ xogħol ta’ dokumenti legali jista’ jżomm is-sors u t-traduzzjoni maġenb xulxin u jirrikjedi approvazzjoni qabel il-pubblikazzjoni. Sistema bil-vuċi tista’ titlob lill-utent jirrepeti isem minflok tagħżel fis-skiet l-entità familjari l-eqreb. Dawn huma għażliet ta’ inġinerija ordinarji meta l-lingwa tiġi ttrattata bħala parti mill-konfini tas-sistema.

Ir-rifjut innifsu jeħtieġ disinn lingwistiku. Li tgħid lil utent li sistema ma tistax twieġeb mhuwiex biżżejjed jekk ir-rifjut ikun opak, patrunizzanti jew mhux disponibbli fil-lingwa tal-utent. Is-sistema għandha tgħid x’ma setgħetx tistabbilixxi, liema informazzjoni tkun ta’ għajnuna, u liema rotta umana jew awtoritattiva tkun disponibbli. Inkella, kontroll tas-sikurezza jsir ostaklu ieħor għall-aċċess. Il-prinċipju lingwistiku tal-Ewropa jkun ittestjat bl-aktar mod ċar meta sistema ma tkunx tista’ tipprovdi t-tweġiba mitluba.

Id-disinn operazzjonali ta’ servizz multilingwi

Servizz multilingwi ta’ fiduċja għandu forma operazzjonali li tkun faċli biex tiddeskrivi u sorprendentement diffiċli biex tinżamm. L-ewwel, isemmi l-kompitu. It-traduzzjoni, it-traskrizzjoni, il-klassifikazzjoni, l-irkupru, is-sommarizzazzjoni u l-ġenerazzjoni mhumiex interkambjabbli. It-tieni, isemmi r-rotta tal-lingwa, inkluż l-iskritt u kwalunkwe konfini reġjonali jew ta’ dominju rilevanti. It-tielet, jirreġistra l-materjal tas-sors u t-trasformazzjonijiet applikati għalih. Ir-raba’, jiddefinixxi l-mogħdija ta’ reviżjoni u eskalazzjoni. Il-ħames, jgħid lill-utent x’tista’ u x’ma tistax tafferma s-sistema.

Dawk il-passi mhumiex talba għal burokrazija ġganteska. Huma l-minimu meħtieġ biex wegħda lingwistika ssir ittestjabbli. Jekk fornitur jgħid li mudell jappoġġa l-Finlandiż, xerrej għandu jkun jista’ jistaqsi jekk dan ifissirx ġenerazzjoni ta’ test, rikonoxximent tad-diskors, traduzzjoni minn liema lingwi, jew kollha flimkien. Jekk tim ta’ prodott jgħid li jappoġġa lingwa reġjonali, għandu jgħid jekk l-appoġġ huwiex ibbażat fuq data nattiva, data tradotta, sett ta’ evalwazzjoni żgħir jew reviżjoni ta’ espert. Jekk it-tweġiba ma tkunx magħrufa, mhux magħruf huwa status validu.

Is-servizz jeħtieġ ukoll politika ta’ bidla. Materjal ta’ taħriġ ġdid, tokenizer ġdid, mudell ta’ traduzzjoni ġdid, lista ta’ terminoloġija ġdida jew popolazzjoni ta’ utenti ġdida jistgħu jbiddlu l-imġiba lingwistika. Rilaxx li jtejjeb rotta waħda jista’ jirrigressa oħra. Riżultat ta’ benchmark minn sena ilu ma jiddeskrivix awtomatikament is-sistema tal-lum. Reġistri tal-verżjonijiet, testijiet ta’ tqabbil u rotta għar-rappurtar ta’ żbalji speċifiċi għal-lingwa jagħmlu s-servizz sostenibbli aktar milli ċerimonjali.

Il-manutenzjoni għandha naħa umana. L-esperti tal-lingwa jeħtieġu mod kif jaraw l-iżbalji li jaffettwaw il-komunitajiet tagħhom. It-timijiet tad-dominju jeħtieġu mod kif jiddistingwu żball ta’ traduzzjoni minn ambigwità ta’ politika. L-operaturi jeħtieġu mod kif jieqfu rotta mingħajr ma jistennew li fornitur ta’ mudell jinterpreta lment. L-utenti jeħtieġu mod kif jgħidu li s-sistema fhimt ħażin kelma, kuntest jew isem ta’ persuna. Servizz multilingwi mhuwiex komplut meta l-mudell jiġi skjerat. Huwa komplut biżżejjed biex ikun responsabbli meta tasal il-problema lingwistika li jmiss.

Il-provenjenza permezz ta’ pipeline tal-lingwa

Il-provenjenza ssir konkreta meta nsegwu biċċa tifsira waħda minn ġo sistema. Ibda b'paragrafu sors. Irrekordja l-lingwa tiegħu, l-iskrittura, l-awtur jew l-istituzzjoni meta jkunu magħrufa, id-drittijiet u l-għan. Jekk ikun segmentat, ippreserva r-relazzjoni mal-oriġinal. Jekk ikun tradott, żomm is-sors u t-traduttur jew il-proċess ta' traduzzjoni. Jekk min jirrevedi jibdel il-kliem, irrekordja dan bħala stat ġdid, mhux bħala sostituzzjoni siekta. Jekk il-paragrafu jsir oġġett ta' benchmark, ġorr miegħu l-kompitu, iċ-ċavetta tat-tweġibiet, il-lingwa u r-rekord tar-reviżjoni.

Fil-ħin tal-eżekuzzjoni, l-istess dixxiplina tapplika bil-maqlub. Aħżen liema rotta tal-lingwa mmaniġġjat it-talba, liema verżjoni tal-mudell jew tal-għodda damet, liema evidenza mis-sors ġiet irkuprata, liema stat ta' inċertezza jew rifjut intlaħaq, u liema azzjoni umana segwiet. Ir-rekord m'għandux għalfejn jesponi kontenut privat lil kull operatur. Iżda għandu jagħmel il-fatti materjali disponibbli lil min jirrevedi awtorizzat. Mingħajrhom, inċident tal-lingwa jsir dibattitu dwar impressjonijiet.

Hawnhekk il-provenjenza multilingwi tiddistingwi ruħha minn log ta' verifika ġeneriku. Timestamp u isem ta' mudell jgħidulna li ġara xi ħaġa. Ma jgħidulniex jekk is-sors kienx tradott, jekk it-tweġiba bidlitx format ta' numru, jekk entità msemmija ġietx normalizzata, jew jekk min jirrevedi kienx qed jaħdem fil-lingwa fil-mira. Il-mogħdija tat-trasformazzjoni hija l-evidenza. Tweġiba qasira tista' taħbi katina twila ta' deċiżjonijiet.

Hemm virtù Olandiża żgħira f'dan l-approċċ: żomm il-ktieb tar-rekords ċatt biżżejjed biex xi ħadd ikun jista' jużah fi pomeriggju ta' Tlieta. Rekord ta' provenjenza m'għandux ikun tikketta ta' mużew miktuba għal verifika li forsi qatt ma tasal. Għandu jgħin lil operatur iwieġeb il-mistoqsija li jmiss, iwaqqaf ir-rotta t-tajba u jispjega r-riżultat lil persuna li m'għandha l-ebda interess fid-dijagramma tal-arkitettura tiegħek. Governanza tajba tal-lingwa hija kemmxejn matt. Hekk tkun taf li jista' jkollha ċ-ċans tibqa' ħajja f'kuntatt max-xogħol.

L-għażliet moħbija fi traduzzjoni

Kull sistema ta' traduzzjoni ġġorr għażliet li jixirqilhom isem. It-tokenizzazzjoni tiddeċiedi kif jinqasam l-input. In-normalizzazzjoni tiddeċiedi liema distinzjonijiet jinżammu jew jintremew. L-allinjament jiddeċiedi liema partijiet ta' żewġ testi jitqiesu bħala ekwivalenti. It-terminoloġija tiddeċiedi liema kliem huwa stabbli. Id-dekodifikazzjoni tiddeċiedi kif jintgħażel l-output. Il-post-ipproċessar jiddeċiedi x'jara l-qarrej. L-ebda waħda minn dawn il-passi mhija intrinsikament ħażina. Kull waħda tista' toħloq falliment speċifiku għal-lingwa li jkun inviżibbli f'demo ġenerali.

Ħu isem proprju. Sistema tista' tittraduċih, tittraslitterah, tippreservah, jew tissostitwih b'ortografija familjari. Għal poeżija, diversi għażliet jistgħu jkunu difendibbli. Għal dokument ta' identità, forsi waħda biss tkun aċċettabbli, u dik tista' tiddependi mill-awtorità li ħarġitu. Ħu unità ta' kejl jew data. Il-valuri jistgħu jibqgħu matematikament ekwivalenti filwaqt li l-forma ssir ambigwa għal qarrej. Ħu nom jew pronom b'ġeneru. Traduzzjoni tista' tintroduċi informazzjoni li s-sors żamm lura, jew tħassar distinzjoni li s-sors għamel apposta.

It-tweġiba tad-disinn mhix li tiffriża l-lingwa. Hija li tiddikjara l-politika u tagħmel l-eċċezzjoni viżibbli. Lista ta' terminoloġija tista' tipproteġi termini legali. Regola ta' entitajiet imsemmija tista' tipprevjeni belt milli ssir persuna. Veduta li tippreserva s-sors tista' tħalli lil min jirrevedi jqabbel l-oriġinal mal-output. Eskalazzjoni umana tista' tiġi attivata minn isem b'kunfidenza baxxa, nuqqas ta' qbil bejn rotot jew kompitu kklassifikat bħala ta' konsegwenza għolja. Il-mudell jibqa' utli għax il-konfini tiegħu huma parti mill-fluss tax-xogħol.

Il-mudelli kbar tal-lingwa jagħmlu l-għażliet aktar diffiċli biex wieħed jarahom għax il-ħruġ ikun bla xkiel. Ħruġ bla xkiel huwa interface mill-isbaħ iżda spjegazzjoni mhux affidabbli. Is-sistema tista’ tipproduċi sentenza li tinstema’ bħal dik ta’ kelliem nattiv waqt li tagħżel it-tifsira ħażina ta’ kelma. Tista’ żżomm is-suġġett wiesa’ iżda titlef in-negazzjoni. Tista’ tittraduċi frażi lokali f’espressjoni standard li tbiddel il-pożizzjoni tal-kelliem. Huwa għalhekk li l-kwalità tal-lingwa ma tistax titkejjel bil-grammatika biss. It-tifsira għandha forma soċjali.

Skripts, djaletti, reġistri u istituzzjonijiet

L-appoġġ għal lingwa spiss jitħabbar fil-livell tal-isem tal-lingwa, iżda l-qarrejja jiltaqgħu ma’ skripts, varjetajiet u reġistri. Sistema li timmaniġġja l-ortografija moderna standard tista’ ssib diffikultà b’dokumenti storiċi. Rikonoxxitur tal-vuċi jista’ jimmaniġġja awdjo ta’ studjo u jfalli fi stazzjon iffullat. Chatbot li jiffaċċja l-pubbliku jista’ jwieġeb b’reġistru formali waqt li l-utent ikollu bżonn lingwaġġ sempliċi. Istituzzjoni tista’ tuża terminu li jkun differenti mid-diskors ordinarju għal raġuni li hija legalment importanti.

Dawn mhumiex każijiet marġinali fis-sens ta’ tnaqqis ta’ valur. Huma l-postijiet fejn il-lingwa tiltaqa’ mad-dinja. Isem reġjonali jista’ jkun id-differenza bejn indirizz korrett u kunsinna li tfalli. Kelma djaliетtali tista’ tkun l-unika kelma li persuna taf għal sintomu. Frażi formali tista’ tindika li messaġġ għandu effett legali. Varjant ta’ skript jista’ jiddetermina jekk dokument huwiex jista’ jinstab. Jekk benchmark jeskludi dawn it-toroq, xorta jista’ jkun utli, iżda ma jistax jieħu post il-lingwa kollha.

L-ittestjar tal-varjetajiet kollha mhux dejjem possibbli. It-tweġiba onesta hija li tiddeskrivi s-sottogrupp appoġġjat u tistieden evidenza dwar il-bqija. Sistema tista’ tippubblika li ġiet evalwata fuq il-Ġermaniż standard miktub għas-sommarizzazzjoni ta’ informazzjoni pubblika, mingħajr ebda pretensjoni dwar rikonoxximent tal-vuċi reġjonali. Tista’ żżid test għall-Friżjan jew il-Bask mingħajr ma tippretendi li ż-żieda ssolvi kull kwistjoni reġjonali u ta’ lingwi minoritarji. L-ispeċifiċità mhijiex dgħjufija. Tgħid lill-utenti fejn hu l-art.

L-istituzzjonijiet għandhom ukoll jirreżistu l-idea li rotta waħda ta’ lingwa nazzjonali hija awtomatikament newtrali. Il-lingwa amministrattiva tista’ tkun inaċċessibbli għal kelliema tal-istess lingwa. L-aċċessibbiltà u l-multilingwiżmu jikkoinċidu għax it-tnejn jistaqsu jekk il-qarrej jistax jifhem u jaġixxi. Ix-xogħol lingwistiku tal-Kummissjoni jinkludi għodod għas-simplifikazzjoni u test aċċessibbli preċiżament għal din ir-raġuni. Sentenza tista’ tkun lingwistikament korretta u xorta tkun istituzzjonalment inutilizzabbli.

Meta l-interface ikun fluwenti iżda ħażin

L-aktar fallimenti lingwistiċi diffiċli mhumiex spettakolari. Huma tweġibiet li jgħaddu mit-test viżiv. Sommarju jinkludi l-ismijiet it-tajba iżda jbiddel min huwa responsabbli. Traduzzjoni tippreserva n-nomi iżda tbiddel rakkomandazzjoni fi struzzjoni. Klassifikatur jifhem is-suġġett iżda jitlef negazzjoni. Sistema tal-vuċi tirrikonoxxi l-kliem iżda mhux l-eżitazzjoni tal-kelliem. Utent jaqra l-ħruġ bil-lingwa tiegħu stess u jassumi li l-fluwenza hija sinjal ta’ attenzjoni.

Għandna niddisinjaw għal din il-klassi ta’ żbalji minflok nistennew li eżempju stramb isir aħbar. Qabbel is-sors u l-ħruġ għal kontenut ta’ konsegwenza għolja. Ippreserva l-markaturi ta’ inċertezza. Żomm iċ-ċitazzjonijiet jew ir-referenzi tad-dokumenti mwaħħlin. Itlob konferma meta numru, isem jew skadenza jkunu ċentrali. Agħmel ir-rotta viżibbli għall-operatur. Offri mekkaniżmu ta’ korrezzjoni li ma jirrikjedix li l-utent ikun jaf liema komponent falla. Dawn il-kontrolli huma żgħar, iżda jbiddlu traduzzjoni fi tranżazzjoni li tista’ tiġi eżaminata.

Ir-reviżjoni umana m’għandhiex tiġi deskritta bħala linja finali maġika. Ir-reviżuri għandhom limiti ta’ żmien, lakuni fid-dominju u suppożizzjonijiet lingwistiċi tagħhom stess. Interfaċċa ta’ reviżjoni utli tagħtihom is-sors, l-output, il-kuntest u r-raġuni għall-eskalazzjoni. Tirrekordja d-diżgwid minflok ma twarrbu. Jekk ir-reviżuri jikkoreġu terminu wieħed ripetutament, l-organizzazzjoni tista’ ttejjeb it-terminoloġija jew tbiddel il-konfini tal-kompitu. Jekk id-diżgwid juri li s-sors innifsu huwa ambigwu, l-azzjoni t-tajba tista’ tkun li tistaqsi lill-awtur, mhux li tħarreġ il-mudell aktar iebes.

L-operaturi jeħtieġu wkoll mod kif jaraw evidenza negattiva. Liema lingwi ma ġewx evalwati? Liema kompiti m’għandhom l-ebda reviżjoni umana? Liema talbiet ġew rifjutati? Liema utenti telqu mir-rotta wara traduzzjoni? Assenza tista’ tkun sinjal. Mappa ta’ kopertura ħadra li tħalli barra l-passaġġi falluti hija mappa tal-wiċċ tal-kummerċjalizzazzjoni, mhux tas-servizz.

Il-ħila umana mhix buttuna ta’ riżerva

Il-politika Ewropea tat-teknoloġija lingwistika tpoġġi l-lingwisti, ix-xjenzati tad-data, l-inġiniera tal-kompjuter u l-ispeċjalisti tad-dominju fl-istess sentenza. Dik hija rekwiżit ta’ disinn, mhux lista ta’ professjonijiet biex tistiedinhom għal sejħa ta’ tnedija. Kull persuna tara falliment differenti. Il-lingwista jara kostruzzjoni mhux naturali jew distinzjoni mitlufa. L-inġinier jara problema ta’ segmentazzjoni jew ta’ ruttar. L-ispeċjalista tad-dominju jara żball perikoluż ta’ kategorija. L-operatur jara kju li ħadd ma jista’ jieħu ħsiebu. Il-persuna li tuża s-servizz tesperjenza deċiżjoni li ma għadhiex tagħmel sens.

Il-ħila umana għandha tidħol qabel ma l-benchmark jiġi ffriżat. Espert tal-lingwa jista’ jgħin biex jintgħażel materjal ta’ ttestjar li jirrappreżenta reġistri reali, mhux biss sentenzi nodfa. Espert tad-dominju jista’ jidentifika termini li ma jridux jiċċaqilqu. Rappreżentant tal-komunità jista’ jgħid lit-tim liema kliem iħossu uffiċjali, familjari jew offensiv. Steward tad-data jista’ jispjega liema provenjenza hija disponibbli u liema le. Dawn il-kontribuzzjonijiet isawru l-kuntratt tas-sistema. Mhumiex dekorazzjoni wara li jkunu saru l-għażliet tekniċi.

Hemm spiża, ovvjament. Reviżjoni tajba tieħu ż-żmien u tħallas lin-nies għal għarfien li spiss jiġi ttrattat bħala inviżibbli. Dik l-ispiża hija parti mill-appoġġ lingwistiku. L-alternattiva hija li tiġi esternalizzata lill-utenti, li jħallsu bil-konfużjoni u bl-appelli, jew lill-istaff, li jittraduċi u jsewwi r-rotta b’mod informali. Sistema li tidher irħisa għax tinjora l-ħila lingwistika mhijiex effiċjenti. Sempliċement ċaqalqet il-kont.

X’irid jesponi benchmark ġust

Benchmark multilingwi għandu jibda b’dikjarazzjoni żgħira biżżejjed biex tiġi ttestjata. Id-dikjarazzjoni tista’ tkun li sistema tista’ twieġeb mistoqsijiet ta’ informazzjoni pubblika f’sett ta’ lingwi, tippreserva d-dati u n-numri, u tirrifjuta meta l-evidenza tas-sors tkun nieqsa. Tista’ tkun li rotta ta’ traduzzjoni timmaniġġja par u dominju partikolari f’livell definit ta’ kwalità. Tista’ tkun li rikonoxxitur tad-diskors jista’ jittraskrivi varjetà speċifikata taħt kundizzjonijiet akustiċi speċifikati. Il-benchmark huwa kuntratt għal dik id-dikjarazzjoni.

Il-kuntratt jeħtieġ aktar minn lista ta’ lingwi. Għandu jesponi l-kompitu, is-sors, id-dominju, ir-reġistru, l-iskrittura, id-direzzjoni, it-tul tal-kuntest, il-kundizzjonijiet tal-input, it-tweġibiet ta’ referenza, il-varjanti aċċettabbli, il-metriċi, ir-reviżjoni umana u l-inċertezza. Għandu jgħid jekk l-oġġetti nkitbux oriġinarjament f’kull lingwa jew ġewx tradotti. Għandu jirrekordja min irrevedihom u liema diżgwidi baqgħu. Għandu jifred ir-riżultati aggregati mir-riżultati għal kull lingwa. Għandu juri biżżejjed eżempji biex qarrej jifhem x’qed ikejjel il-punteġġ.

The EU MMLU criteria are useful because they widen the word fair. Balanced representation across the EU’s official languages is one part. Retaining meaning, difficulty and testing value across languages is another. Testing EU values and cultural contexts, including idioms, humour, references, date and number formats, tone and politeness, makes the benchmark a social instrument as well as a technical one. The criteria do not remove judgement. They make the judgement inspectable.

Benchmark designers should publish failure slices, not only averages. A model can have a good mean score while failing every item involving a particular register or type of number. A route can be efficient in one direction and slow or expensive in another. A metric can correlate with human judgement in one language and become unstable in another. Per-language and per-task views are not a luxury. They are how a buyer avoids purchasing the average while deploying the exception.

Finally, a benchmark should state what it cannot tell us. A written test does not establish speech performance. A translation score does not establish legal reliability. A set of official languages does not establish support for regional or minority languages. A high score does not establish that a person can challenge a decision. The limitation is not an embarrassment. It is the edge of the map, and users need to see it before they sail.

A score is a map legend, not the territory

Numbers are useful because they force a comparison. They are dangerous because they invite a conclusion larger than the measurement. A score can tell us how a system behaved on a defined sample under a defined method. It cannot tell us how a community will experience the system without a bridge of assumptions. The bridge may be sound. It must be named.

Suppose a system improves on a multilingual benchmark after fine-tuning. That is evidence of improved performance on that evaluation. It is not automatically evidence that the system is safer in a public service. The service may use different terminology, longer context, speech input, a different register or a downstream workflow that turns a suggestion into a decision. The benchmark can still be valuable. It becomes more valuable when the organisation says which part of the service it represents.

The same discipline applies to energy, speed and cost. A low-resource language route may require more human review or a larger retrieval context. That is not a defect to conceal in an average. It is a property of the service that should inform design. European institutions have spent decades building translation and language services because the practical cost of linguistic diversity is real. An AI system does not abolish that cost by emitting text quickly.

There is no shame in choosing a narrower route. A team can support fewer tasks well, publish the boundary and add languages as evidence grows. That is better than claiming every language and asking users to discover the gaps. The European instinct for a standard is strongest when it is paired with the Dutch instinct to check whether the thing works on an ordinary Wednesday.

Build for 24, test beyond 24

The European Union has 24 official and working languages, and the Commission’s translation service operates across them. That number creates a useful baseline for public infrastructure. It does not define Europe’s linguistic life. Regional, minority, non-territorial and migrant languages also shape communities and institutions. A system built for 24 can still exclude people who do not use one of those routes, or who use an official language in a form the system did not evaluate.

Il-bini għal 24 għalhekk huwa responsabbiltà li nagħmlu l-bażi reali, mhux permess biex nieqfu. Rotta tal-lingwa għandha ġġorr l-evidenza tagħha stess. Korp pubbliku għandu jkun jista’ jgħid liema lingwi uffiċjali huma koperti għal liema kompiti, liema reviżjoni umana teżisti u fejn l-utenti jistgħu jiksbu verżjoni awtorevoli. Għandu jkollu wkoll mod kif jitgħallem minn lingwi barra l-grupp inizjali mingħajr ma jbiddel il-komunità f’laboratorju ta’ ttestjar bla ħlas.

L-ittestjar lil hinn minn 24 ifisser aktar milli żżid lingwa ġdida f’dimostrazzjoni. Ifisser li taħdem ma’ kelliema, istituzzjonijiet u riċerkaturi biex tiddeċiedi x’inhu l-kompitu, għal xiex jista’ jintuża l-materjal tas-sors, u x’jikkwalifika bħala żball ta’ ħsara. Il-proċess jista’ jipproduċi kapaċità żgħira u definita bir-reqqa. Dik xorta waħda hija progress. Rotta modesta b’kuntratt ċar tista’ tkun aktar siewja minn stqarrija impressjonanti li l-ebda operatur ma jista’ jiddefendi.

Dak li qed nippruvaw nagħmlu espliċitu

F’Dweve, nersqu lejn dan is-suġġett min-naħa tal-infrastruttura. Loom huwa deskritt fil-materjal pubbliku tal-prodott tagħna bħala mudell konjittiv ikkumpilat għall-kompiti li l-komponenti lingwistiċi tiegħu jirrendu graff ta’ riżultat iggovernat, filwaqt li t-tagħlim tal-vinkoli, il-kompożizzjoni tal-graff, is-solvers u l-verifikazzjoni jġorru l-awtorità tad-deċiżjoni. Dik hija pożizzjoni arkitettonali, mhux stqarrija ta’ prestazzjoni multilingwi. Ma tagħmilx rotta tal-lingwa korretta. Iżda tagħmel obbligu wieħed diffiċli biex jinħeba: il-produzzjoni lingwistika m’għandhiex tkun l-uniku post fejn jeżistu r-raġunament u l-evidenza tas-sistema.

Ix-xogħol tagħna ta’ Ground Truth jagħmel l-istess punt fuq skala aktar umana. In-nies għandhom bżonn biżżejjed lingwa kondiviża biex jiddistingwu mudell minn fluss ta’ xogħol, tbassir minn evidenza u tweġiba fluwenti minn riżultat ivverifikat. Fis-sistemi multilingwi, dak il-vokabularju għandu bżonn kelma oħra: rotta. Tweġiba bl-Olandiż, tweġiba bil-Franċiż u tweġiba bil-Bask mhumiex sempliċement rendimenti ta’ avveniment intern wieħed jekk l-evidenza, it-terminoloġija, ir-reviżjoni u l-imġiba ta’ falliment ivarjaw. Ir-rotta hija parti mill-istqarrija.

Dik il-pożizzjoni hija deliberatament inqas eċċitanti milli tgħid li mudell wieħed jifhem l-Ewropa. Hija wkoll aktar utli. Irridu li sistema turi x’irċeviet, liema sorsi u vinkoli setgħet tuża, x’ma setgħetx tistabbilixxi, u meta bniedem għandu jieħu f’idejh. Il-lingwa hija wiċċ li minnu persuna tiltaqa’ ma’ dak ix-xogħol. Il-wiċċ għandu jkun ċar, iżda m’għandux jitħalla jħassar l-istruttura ta’ taħtu.

Aħna m’aħniex eżenti mill-istandards deskritti hawnhekk. Qasam ta’ provenjenza ma jsewwix dejta nieqsa. Mogħdija deterministika ma tippruvax li traduzzjoni hija ġusta. Fruntiera Ewropea tal-ipproċessar ma tagħtix kompetenza lingwistika. L-uniku mod onest biex tagħmel stqarrija multilingwi huwa li tkompli tittestja, tippubblika l-limiti u tħalli lill-esperti tal-lingwa jisfidaw ir-rotta. L-isem tal-prodott mhuwiex evidenza. Ir-rekord huwa.

Standard prattiku għat-timijiet

Timijiet li qed jiddeċiedu jekk jintroduċux karatteristika multilingwi tal-AI jistgħu jibdew b’sett qasir ta’ mistoqsijiet. X’eżattament trid is-sistema tagħmel f’kull lingwa? Liema nies huma affettwati jekk tkun żbaljata? Liema materjal tas-sors huwa awtorevoli? Kif inħolqu l-oġġetti tat-test, u minn min? Liema reġistri, skripts, djaletti u oqsma huma fi ħdan l-istqarrija? X’tagħmel is-sistema meta ma tistax tistabbilixxi t-tifsira? Min jista’ jwaqqaf ir-rotta? Kif jista’ utent jikkoreġi tweġiba mingħajr ma jsir il-lingwista bla ħlas tal-proġett?

Il-mistoqsijiet isiru konkreti meta jkunu marbuta ma’ artefatti. Żomm karta tar-rotta tal-lingwa bil-kompitu, il-varjetajiet lingwistiċi appoġġjati, il-familji tas-sorsi, l-istatus tad-drittijiet, il-verżjonijiet tal-mudell u tal-għodod, ir-riżultati tal-evalwazzjoni, il-modi ta’ falliment magħrufa u s-sid tar-reviżjoni. Żomm eżempji ta’ żbalji bil-kuntest tagħhom, mhux biss punteġġ. Żomm is-sors ħdejn traduzzjoni ta’ konsegwenza għolja. Żomm raġuni ta’ eskalazzjoni li operatur jista’ jifhem. Żomm rekord ta’ bidla meta jinbidlu tokenizer, lista ta’ terminoloġija, benchmark jew mudell.

Timijiet tal-akkwist jistgħu jitolbu lill-fornituri riżultati għal kull lingwa u għal kull kompitu minflok medja waħda multilingwi. Jistgħu jistaqsu jekk benchmark ġiex tradott jew miktub b’mod nattiv, jekk il-ġudizzji umani humiex disponibbli, kif jiġu ttrattati r-rotot b’riżorsi baxxi, u jekk il-fornitur jistax jesporta l-evidenza meħtieġa għal reviżjoni. Jistgħu jistaqsu x’jiġri meta lingwa ma tkunx appoġġjata, għax rifjut u fallback sieket għandhom konsegwenzi differenti ħafna.

Timijiet tal-prodott jistgħu jiddisinjaw l-interface biex juru r-rotta u l-kunfidenza mingħajr ma jippretendu li numru ta’ kunfidenza huwa probabbiltà ta’ verità. Jistgħu jippreservaw ir-rabtiet tas-sors, jużaw lingwaġġ ċar fir-rifjuti u jagħmlu l-azzjonijiet ta’ reviżjoni viżibbli. Jistgħu jevitaw il-frażi jappoġġja l-lingwi kollha sakemm ma jkunux jistgħu jiddefinixxu l-verb. Jappoġġja jista’ jfisser juri test, jaċċetta input, jittraduċi, jagħmel sommarju, iwieġeb, jikklassifika, jitkellem jew jimmaniġġja fluss ta’ xogħol regolat. Selettur tal-lingwi mhuwiex speċifikazzjoni.

Timijiet ta’ riċerka jistgħu jippubblikaw datasets bi provenjenza u toroq ta’ korrezzjoni. Jistgħu jinkludu riżultati negattivi u jirrappurtaw meta metrika ma tivvjaġġax tajjeb. Jistgħu jistiednu lill-komunitajiet lingwistiċi fl-evalwazzjoni qabel ma mudell jitħabbar lest, u jħallsu għall-kompetenza. Jistgħu jirreżistu l-pressjoni biex jikkonvertu riżultat dejjaq fi pretensjoni universali. L-aktar benchmark siewi jista’ jkun dak li jġiegħel lit-tim ineħħi sentenza mill-paġna tal-prodott tiegħu.

Is-soċjetà wara l-mudell

Mudell tal-lingwa jista’ jkun tajjeb ħafna biex jipproduċi lingwa mingħajr ma jaf x’tagħmel il-lingwa f’soċjetà. Jista’ jbassar frażi, jittraduċi paragrafu u jwieġeb mistoqsija filwaqt li jitlef ir-relazzjoni istituzzjonali li ġġorr il-kliem. Dak id-distakk mhuwiex evidenza li l-mudell huwa inutli. Huwa evidenza li l-lingwa hija aktar minn tip ta’ dejta.

Ir-rispons tal-Ewropa m’għandux ikun kompetizzjoni biex jingħaddu l-lingwi f’karta tal-mudell. Għandu jkun sforz sostnut biex id-dejta lingwistika, id-drittijiet, il-kompetenza, l-evalwazzjoni u l-kontroll pubbliku jsiru parti mill-istess infrastruttura. Ix-xogħol tal-Kummissjoni fit-teknoloġija tal-lingwa, l-Ispazju tad-Dejta Lingwistika, il-Grid Ewropew tal-Lingwi u l-benchmark EU MMLU kollha jippuntaw f’dik id-direzzjoni. Riċerkaturi Ewropej qed jittestjaw x’jiġri meta benchmarks tradotti jiġu ttrattati bħala mistoqsijiet ta’ riċerka aktar milli strumenti meqjusa bħala validi. Ix-xogħol jixirqilha attenzjoni għax jagħmel fatt politiku antik viżibbli teknikament: in-nies ma jesperjenzawx l-Unjoni f’lingwa waħda.

Il-ħin li jmiss li fornitur jgħid li mudell huwa multilingwi, staqsi x’fiha l-pretensjoni. Liema lingwi? Liema kompiti? Liema komunitajiet? Liema sorsi? Liema reviżjoni? Liema rifjut? Liema rekord ta’ bidla? Il-mistoqsija mhijiex ostili. Hija l-bidu ordinarju tar-responsabbiltà.

Soċjetà ma ssirx ġusta għax magna tista’ tirrepeti kliemha. Issir aktar ġusta meta n-nies ikunu jistgħu jidħlu fl-istituzzjonijiet tagħha, jifhmu x’qed jiġri, jikkontestaw riżultat u jinstemgħu bil-lingwa li ġġorr ħajjithom. Mudell jista’ jgħin f’dak ix-xogħol. Ma jistax jiddefinih. Il-lingwa ta’ mudell hija kapaċità teknika. Il-lingwa ta’ soċjetà hija responsabbiltà kondiviża.

Sorsi