Η γλώσσα ενός μοντέλου δεν είναι η γλώσσα μιας κοινωνίας

Ένα πολυγλωσσικό μοντέλο δεν είναι δίκαιο επειδή η διεπαφή του παραθέτει πολλές γλώσσες. Η κάλυψη γλωσσών είναι θεσμικό, πολιτιστικό και ζήτημα ασφάλειας,...

Η γλώσσα ενός μοντέλου δεν είναι η γλώσσα μιας κοινωνίας

Οι δεκαέξι γλώσσες είναι μια αρχή, όχι μια τελική κρίση

Στις 22 Ιουλίου 2026, η Γενική Διεύθυνση Μετάφρασης της Ευρωπαϊκής Επιτροπής δημοσίευσε το EU MMLU, ένα σημείο αναφοράς που αποσκοπεί στη δοκιμή μεγάλων γλωσσικών μοντέλων σε ευρωπαϊκά γλωσσικά και πολιτισμικά συμφραζόμενα. Η δημοσίευση ήταν ασυνήθιστα ειλικρινής σχετικά με το κενό που επιχειρούσε να καλύψει. Πολλά σύνολα δεδομένων αξιολόγησης δημιουργήθηκαν στα αγγλικά. Ένα μοντέλο μπορεί να επιτύχει υψηλή βαθμολογία εκεί και παρόλα αυτά να αποδίδει άσχημα στα γαλλικά, τα ουγγρικά ή τα μαλτέζικα. Το νέο σύνολο δεδομένων ξεκινά με δεκαέξι επίσημες γλώσσες της ΕΕ, επτά θεματικά πεδία και περισσότερες από χίλιες ερωτήσεις που μεταφράστηκαν και αναθεωρήθηκαν από σχεδόν 250 φοιτητές από 21 ευρωπαϊκά πανεπιστήμια.

Το πιο σημαντικό μέρος αυτής της ανακοίνωσης δεν είναι ο κατάλογος των γλωσσών. Είναι η πρόταση που βρίσκεται από κάτω: η συμπεριφορά ενός μοντέλου δεν μπορεί να συναχθεί από τη γλώσσα στην οποία φαίνεται πιο άνετο. Αυτό θα έπρεπε να είναι προφανές. Είναι επίσης η παραδοχή πίσω από έναν εντυπωσιακό όγκο προμηθειών, ερευνών και δημόσιου διαλόγου. Εξακολουθούμε να μιλάμε για ένα γλωσσικό μοντέλο σαν να έχει ένα μυαλό και μετά του ζητάμε να φορέσει διαφορετικές γλώσσες σαν παλτά. Το παλτό αλλάζει. Το μυαλό, τα στοιχεία, τα τυφλά σημεία και το κοινωνικό πλαίσιο θεωρούνται σταθερά.

Δεν είναι σταθερά. Η γλώσσα είναι το σημείο όπου ένα άτομο συναντά έναν θεσμό. Μεταφέρει τους όρους ενός επιδόματος, τον τόνο μιας έφεσης, τη διαφορά μεταξύ συμβουλής και οδηγίας, το σχήμα ενός αστείου, το όνομα ενός τόπου και τις παραδοχές σε μια φόρμα. Όταν ένα σύστημα χειρίζεται μια γλώσσα καλύτερα από μια άλλη, δεν παράγει απλώς μια λιγότερο κομψή πρόταση. Μπορεί να αλλάξει το ποιος γίνεται κατανοητός, ποιος γίνεται πιστευτός, ποιος μπορεί να αμφισβητήσει ένα αποτέλεσμα και ποιος παραιτείται πριν βρει τη σωστή πόρτα.

Το πρακτικό συμπέρασμα είναι σαφές. Η πολυγλωσσική τεχνητή νοημοσύνη δεν είναι μια λειτουργία μετάφρασης που προστίθεται αφού κατασκευαστεί το μοντέλο. Είναι ζήτημα πρόσβασης, στοιχείων και εξουσίας. Το έργο της Ευρώπης στις γλωσσικές τεχνολογίες, τα γλωσσικά δεδομένα και την πολυγλωσσική αξιολόγηση είναι πολύτιμο επειδή αντιμετωπίζει το πρόβλημα ως υποδομή. Το έργο παραμένει ημιτελές. Ένα σημείο αναφοράς δεν αποτελεί εγγύηση και οι δεκαέξι γλώσσες δεν είναι ολόκληρη η Ευρώπη. Αλλά η κατεύθυνση είναι σωστή: σταματήστε να ρωτάτε αν ένα μοντέλο μιλάει μια γλώσσα και αρχίστε να ρωτάτε τι μπορεί να κάνει με ασφάλεια σε αυτή τη γλώσσα, για ποιον, υπό ποιες συνθήκες και με ποια στοιχεία.

Η γλωσσική κάλυψη είναι αξιόπιστη μόνο όταν οι ισχυρισμοί για την πηγή, το πλαίσιο, την αναθεώρηση και την υπηρεσία παραμένουν συνδεδεμένοι.

Η γλώσσα είναι ένα όριο πρόσβασης

Η Ευρώπη έχει καταστήσει τη γλώσσα θεσμικό γεγονός, όχι ιδιωτική προτίμηση. Το άρθρο 22 του Χάρτη των Θεμελιωδών Δικαιωμάτων ορίζει ότι η Ένωση σέβεται την πολιτιστική, θρησκευτική και γλωσσική πολυμορφία. Η πολιτική της Επιτροπής για τη γλωσσική τεχνολογία τοποθετεί αυτή την υποχρέωση δίπλα σε μια πρακτική προειδοποίηση: οι γλωσσικές τεχνολογίες χρειάζονται αμερόληπτη χρήση για να επιβιώσουν τα δικαιώματα και οι αρχές από την επαφή με το λογισμικό. Αυτές δεν είναι διακοσμητικές δεσμεύσεις. Περιγράφουν το όριο που συναντά ένα δημόσιο σύστημα όταν ένας κάτοικος δεν μπορεί να διαβάσει μια ανακοίνωση, δεν μπορεί να καταλάβει γιατί ελήφθη μια απόφαση ή δεν μπορεί να εκφράσει ένα σχετικό γεγονός στη γλώσσα στην οποία το γεγονός υπάρχει.

Αυτό το όριο είναι εύκολο να διαφύγει της προσοχής όταν μια ομάδα μετρά μόνο αν παρήχθη μια μετάφραση. Μια πρόταση μπορεί να φτάσει στην αιτούμενη γλώσσα και παρόλα αυτά να αποτύχει να εξυπηρετήσει το άτομο που τη χρειάζεται. Η μετάφραση μπορεί να εξομαλύνει μια νομική διάκριση, να αλλάξει το επίπεδο ευγένειας που δείχνει αν ένας υπάλληλος ρωτά ή διατάζει, ή να χρησιμοποιήσει έναν όρο που έχει καθημερινή σημασία αλλά και εξειδικευμένη σημασία σε μια συγκεκριμένη υπηρεσία. Ένας αναγνωριστής ομιλίας μπορεί να μετατρέψει μια τοπική προφορά σε διαφορετική λέξη. Μια σύνοψη μπορεί να αφαιρέσει τον περιορισμό που φέρει την ευθύνη. Η ευφράδεια δεν μας λέει αν η συναλλαγή παρέμεινε άθικτη.

Φανταστείτε μια δημόσια υπηρεσία πληροφόρησης που προσφέρει την ίδια εξήγηση επιλεξιμότητας στα ολλανδικά, στα γαλλικά και σε μια περιφερειακή γλώσσα. Οι δύο πρώτες διαδρομές έχουν εκπαιδευτεί και δοκιμαστεί με διοικητικό υλικό, επιστολές προσφυγών και συνομιλίες με ειδικούς του τομέα. Η τρίτη διαδρομή έχει εξαιρετικό γενικό πεζό λόγο αλλά καμία ουσιαστική αξιολόγηση στην ορολογία της ίδιας της υπηρεσίας. Ένας πίνακας ελέγχου μπορεί να αναφέρει τρεις πράσινες γλωσσικές ετικέτες. Οι κάτοικοι δεν λαμβάνουν τρεις ισοδύναμες υπηρεσίες. Η μία ομάδα λαμβάνει μια εξήγηση· η άλλη λαμβάνει μια προσέγγιση· η τρίτη λαμβάνει μια εκλεπτυσμένη αβεβαιότητα που φαίνεται επίσημη επειδή έχει το σωστό λογότυπο.

Το παράδειγμα είναι σκόπιμα υποθετικό. Δεν αποτελεί ισχυρισμό για συγκεκριμένο δήμο ή προμηθευτή. Σκοπός του είναι να αποκαλύψει ένα σχεδιαστικό σφάλμα. Η γλωσσική υποστήριξη συχνά υπολογίζεται στη διεπαφή, ενώ η πραγματική υποχρέωση βρίσκεται πιο κάτω στην αλυσίδα. Το σύστημα πρέπει να γνωρίζει ποια δεδομένα στηρίζουν τη γλώσσα, ποιες εργασίες αξιολογήθηκαν, ποιος εξέτασε τα σφάλματα, πώς μπορούν οι χρήστες να τα διορθώσουν και πότε η διαδρομή πρέπει να αρνηθεί να απαντήσει. Αν αυτές οι λεπτομέρειες λείπουν, ο επιλογέας γλώσσας είναι μια υπόσχεση χωρίς σύμβαση.

Ο χάρτης ενός μοντέλου δεν είναι ο χάρτης της κοινωνίας

Ένα μοντέλο μαθαίνει από έναν χάρτη γλώσσας που τα δεδομένα και η διαδικασία εκπαίδευσής του καθιστούν διαθέσιμο. Μια κοινωνία ζει σε έναν πολύ μεγαλύτερο χάρτη. Ο χάρτης του μοντέλου περιέχει τα κείμενα, τις ηχογραφήσεις, τις ετικέτες, τις μεταφράσεις και τις αξιολογήσεις που έγιναν δεκτές. Ο χάρτης της κοινωνίας περιέχει ανθρώπους που μιλούν διαφορετικά στο σπίτι και στη δουλειά, αλλάζουν επίπεδο ύφους χωρίς να το ανακοινώνουν, δανείζονται λέξεις πέρα από τα σύνορα, χρησιμοποιούν μια μειονοτική γλώσσα σε έναν τοπικό θεσμό ή γράφουν σε μια γραφή που ένα σημείο αναφοράς δεν περιέλαβε. Ο ένας χάρτης είναι ένα τεχνικό κατασκεύασμα. Ο άλλος είναι μια διευθέτηση ζωών, δικαιωμάτων και υποχρεώσεων.

Η διαφορά έχει σημασία ακόμη και για γλώσσες με μεγάλα δημόσια σώματα κειμένων. Μια εθνική γλώσσα δεν είναι ένα ομοιόμορφο ρεύμα. Τα κυβερνητικά έντυπα, οι δικαστικές αποφάσεις, η γλώσσα της τάξης, οι συμβουλές υγείας, τα γραπτά μηνύματα και μια συνομιλία μεταξύ γειτόνων χρησιμοποιούν διαφορετικά λεξιλόγια και διαφορετικές ανοχές στην ασάφεια. Ένα μοντέλο μπορεί να είναι ικανό στη γλώσσα των ειδήσεων και αδύναμο σε μια προσφυγή για επιδόματα. Μπορεί να χειρίζεται την τυπική ορθογραφία και να δυσκολεύεται με μια διάλεκτο. Μπορεί να μεταφράσει μια κυριολεκτική πρόταση και να χάσει το πραγματολογικό νόημα που φέρει μια ευγενική διατύπωση. Το να χαρακτηρίζεται ολόκληρη η γλώσσα υποστηριζόμενη κρύβει το όριο της εργασίας.

Η γλωσσική τεχνολογία χρειάζεται επομένως ένα πιο ακριβές λεξιλόγιο. Θα πρέπει να διακρίνουμε την παρουσία μιας γλώσσας στα δεδομένα εκπαίδευσης από την αξιολόγηση μιας εργασίας σε αυτή τη γλώσσα. Θα πρέπει να διακρίνουμε μια μετάφραση αναφοράς από ένα ανεξάρτητα γραμμένο δοκιμαστικό στοιχείο. Θα πρέπει να διακρίνουμε την ανάγνωση μιας γραφής από την κατανόηση του γλωσσικού επιπέδου μιας κοινότητας. Θα πρέπει να διακρίνουμε την ικανότητα ενός συστήματος να παράγει κείμενο από την εξουσία του να συμβουλεύει, να ταξινομεί ή να αποφασίζει. Κάθε διάκριση είναι ένα μικρό κομμάτι γραφειοκρατίας. Μαζί εμποδίζουν τη συναρμολόγηση ενός ευρέος ισχυρισμού από στενά αποδεικτικά στοιχεία.

Υπάρχει ένας θεσμικός λόγος για να είμαστε αυστηροί. Οι δημόσιες υπηρεσίες δεν είναι ελεύθερες να επιλέξουν την ευκολότερη γλώσσα και να χαρακτηρίσουν το αποτέλεσμα αποδοτικό. Μια τράπεζα, ένα νοσοκομείο, ένας εργοδότης ή ένας πάροχος λογισμικού μπορεί να έχουν διαφορετικές νομικές υποχρεώσεις, αλλά ο καθένας αποφασίζει πόση τριβή πρέπει να απορροφήσει ένα άτομο για να γίνει κατανοητό. Μια πολύγλωσση διαδρομή που αποτυγχάνει σιωπηλά μεταφέρει το κόστος στον χρήστη. Ο χρήστης πρέπει να βρει μεταφραστή, να επαναλάβει μια ιστορία, να αποδεχθεί ένα χειρότερο αποτέλεσμα ή να εγκαταλείψει τη διαδικασία. Το σύστημα αναφέρει επιτυχία επειδή επέστρεψε μια συμβολοσειρά. Το άτομο βιώνει τον αποκλεισμό με άψογη γραμματική.

Τι σημαίνει πραγματικά το χαμηλό γλωσσικό απόθεμα

Το χαμηλό γλωσσικό απόθεμα αντιμετωπίζεται συχνά ως ιδιότητα μιας γλώσσας, σαν κάποιες γλώσσες να έφτασαν στην πόρτα του μοντέλου με λιγότερους πόρους και να πρέπει να ζητήσουν συγγνώμη για την ταλαιπωρία. Είναι πιο χρήσιμο να αντιμετωπίζεται ως ιδιότητα μιας εργασίας, ενός συνόλου δεδομένων και μιας απόφασης διακυβέρνησης. Μια γλώσσα μπορεί να έχει σημαντικό λογοτεχνικό υλικό αλλά λίγα επισημασμένα δεδομένα για έναν ιατρικό ταξινομητή. Μπορεί να έχει παράλληλο κείμενο αλλά σχεδόν καθόλου ηχογραφήσεις ομιλίας. Μπορεί να εκπροσωπείται σε ένα σώμα κειμένων χωρίς τα δικαιώματα ή τα μεταδεδομένα που απαιτούνται για μια συγκεκριμένη ανάπτυξη. Μπορεί να έχει δεδομένα σε τυποποιημένη μορφή ενώ οι ενδιαφερόμενοι χρησιμοποιούν μια περιφερειακή ποικιλία.

Η πολιτική γλωσσικής τεχνολογίας της Ευρωπαϊκής Επιτροπής το ονομάζει αυτό ξεκάθαρα. Τα γλωσσικά δεδομένα αποτελούν το θεμέλιο των γλωσσικών εργαλείων και η ανθρώπινη εξειδίκευση είναι απαραίτητο μέρος της επιτυχούς ανάπτυξης. Ένα μοντέλο χρειάζεται κείμενο ή ομιλία, αλγορίθμους, υπολογιστική ισχύ και ανθρώπους που κατανοούν τη γλώσσα και τον τομέα. Η αφαίρεση οποιουδήποτε από αυτά τα στοιχεία αλλάζει το σύστημα. Περισσότερη υπολογιστική ισχύς δεν μπορεί να δημιουργήσει μια συνομιλία που λείπει. Περισσότερα παραδείγματα δεν μπορούν να επιδιορθώσουν μια ετικέτα που συγχέει δύο νομικές κατηγορίες. Ένα μεγαλύτερο μοντέλο δεν μπορεί να αποφασίσει ποια πηγή θεωρεί μια κοινότητα έγκυρη.

Η εργασία με χαμηλό γλωσσικό απόθεμα δεν αποτελεί επομένως πρόσκληση για χαμηλότερα πρότυπα. Είναι ένας λόγος να γίνει το πρότυπο ορατό. Αν μια εργασία έχει λίγο υλικό αξιολόγησης, πείτε το. Αν μια μετρική είναι ασταθής για ένα ζεύγος γλωσσών, αναφέρετε την αστάθεια. Αν η ανθρώπινη αναθεώρηση ήταν μικρή, προσδιορίστε το εύρος της αναθεώρησης αντί να την παρουσιάζετε ως γενική εγγύηση. Αν μια διαδρομή είναι χρήσιμη για τη σύνταξη κειμένου αλλά όχι για αποφάσεις, τοποθετήστε αυτό το όριο εκεί όπου μπορούν να το δουν ο αγοραστής και ο χρήστης. Η ειλικρινής έλλειψη είναι ασφαλέστερη από μια σιωπή που μοιάζει με αφθονία.

Το γλωσσικό τοπίο της Ευρώπης καθιστά αυτή την πειθαρχία αναπόφευκτη. Η Επιτροπή περιγράφει ένα πολύπλοκο σύνολο επίσημων, περιφερειακών και μειονοτικών γλωσσών και έχει υποστηρίξει πρωτοβουλίες όπως το European Language Grid, την ατζέντα European Language Equality και τον Κοινό Ευρωπαϊκό Χώρο Γλωσσικών Δεδομένων. Αυτά τα έργα δεν αποτελούν μία ενιαία λύση και δεν θα πρέπει να περιγράφονται ως τέτοια. Είναι κομμάτια ενός οικοσυστήματος στο οποίο μπορούν να συναντηθούν δεδομένα, εργαλεία, δικαιώματα, εξειδίκευση και δημόσιοι θεσμοί. Ο θεσμικός σχηματισμός είναι εξίσου σημαντικός με το μοντέλο που βρίσκεται μέσα σε αυτόν.

Το επίπεδο των δικαιωμάτων έρχεται πριν από το σημείο αναφοράς

Είναι δελεαστικό να συζητάμε για τα γλωσσικά μοντέλα σαν να ήταν η γλώσσα ένα ουδέτερο κανάλι εισόδου. Δεν είναι. Η είσοδος μπορεί να περιέχει προσωπικά δεδομένα, ένα προστατευόμενο χαρακτηριστικό, ένα τοπικό τοπωνύμιο, μια ιατρική λεπτομέρεια ή ένα αρχείο ενός ατόμου που ζητά βοήθεια. Η πηγή μπορεί να προστατεύεται από πνευματικά δικαιώματα ή να υπόκειται σε επιφύλαξη. Μια μεταφρασμένη έξοδος μπορεί να χρησιμοποιηθεί σε μια απόφαση, ακόμη κι αν η μεταφραστική διαδρομή δεν αξιολογήθηκε ποτέ για αυτό το πλαίσιο. Το γλωσσικό πρόβλημα του μοντέλου είναι ήδη πρόβλημα δικαιωμάτων προτού κανείς επιλέξει μια βαθμολογία.

Οι κατευθυντήριες γραμμές της Επιτροπής για τη γλωσσική τεχνολογία συνδέουν τα γλωσσικά δεδομένα τόσο με τα πνευματικά δικαιώματα όσο και με την προστασία δεδομένων. Αυτή η σύνδεση θα πρέπει να αλλάξει τον τρόπο με τον οποίο οι ομάδες σχεδιάζουν τις γραμμές επεξεργασίας. Ένα σώμα κειμένων δεν είναι απλώς ένας σωρός από προτάσεις. Έχει ταυτότητα προέλευσης, συνθήκες απόκτησης, καθεστώς άδειας ή δικαιωμάτων, μεταδεδομένα γλώσσας και γραφής, σήματα ποιότητας, σκοπό και κανόνες διατήρησης. Εάν ένα στοιχείο διορθωθεί ή αποσυρθεί, ο οργανισμός πρέπει να γνωρίζει ποια παράγωγα τεχνουργήματα επηρεάστηκαν. Διαφορετικά, ένα μεταγενέστερο μοντέλο μπορεί να επαναλάβει ένα παλιό σφάλμα με την αυτοπεποίθηση ενός φρεσκοτυπωμένου εντύπου.

Εδώ είναι που η φράση προέλευση δεδομένων αποδεικνύει την αξία της. Η προέλευση δεν είναι μια υποσημείωση που λέει ότι τα δεδομένα ήρθαν από κάπου. Είναι το σύνολο των σχέσεων που επιτρέπει σε έναν αξιολογητή να μεταβεί από ένα αποτέλεσμα στα σχετικά αποδεικτικά στοιχεία και πάλι πίσω. Στην πολύγλωσση εργασία, αυτές οι σχέσεις πρέπει να επιβιώσουν από τη μετάφραση, τη μεταγραφή, την κανονικοποίηση, την κατάτμηση και την αξιολόγηση. Μια πρόταση που μεταφράστηκε για ένα σημείο αναφοράς δεν είναι εναλλάξιμη με την πρόταση-πηγή. Μια ετικέτα που δημιουργήθηκε από έναν αξιολογητή δεν είναι εναλλάξιμη με μια ετικέτα που κληρονομήθηκε από μια διαφορετική γλώσσα. Ο μετασχηματισμός αποτελεί μέρος των αποδεικτικών στοιχείων.

Δεν υπάρχει απαίτηση να βλέπει κάθε χρήστης ένα ερευνητικό αρχείο καταγραφής. Υπάρχει απαίτηση να μπορεί ένας οργανισμός να απαντήσει σε μια σοβαρή ερώτηση όταν αυτή φτάσει. Ποια έκδοση του γλωσσικού πόρου χρησιμοποιήθηκε; Ποια εργασία υποστήριξε; Ποιοι γλωσσικοί εμπειρογνώμονες τον αξιολόγησαν; Τι έκανε το σύστημα όταν η εμπιστοσύνη ήταν χαμηλή; Αντιμετωπίστηκε ένα παράπονο ως διόρθωση μιας μεμονωμένης απάντησης ή ως πιθανή κατηγορία αποτυχιών; Η γλωσσική διαδρομή γίνεται αξιόπιστη όταν αυτές οι ερωτήσεις έχουν υπεύθυνους και αρχεία.

Η Ευρώπη χτίζει γλωσσικές υποδομές, όχι μόνο κουμπιά μετάφρασης

Η περιγραφή της Ευρωπαϊκής Επιτροπής για τον Κοινό Ευρωπαϊκό Χώρο Γλωσσικών Δεδομένων είναι χρήσιμη επειδή δεν περιορίζει το έργο σε μια έκδοση μοντέλου. Ο στόχος είναι μια πλατφόρμα και αγορά για τη συλλογή, την κοινή χρήση και την επαναχρησιμοποίηση πολύγλωσσων και πολυτροπικών γλωσσικών δεδομένων, διατηρώντας παράλληλα τον έλεγχο στους οργανισμούς και τα άτομα που παράγουν τα δεδομένα. Αυτή η διατύπωση οδηγεί σε μια διαφορετική ιδέα προόδου. Το έργο δεν είναι μόνο να παραχθεί μια καλύτερη πρόταση. Είναι να γίνουν οι γλωσσικοί πόροι ανακαλύψιμοι, με σεβασμό στα δικαιώματα, επαναχρησιμοποιήσιμοι και υπόλογοι σε όλη τη δημόσια διοίκηση, την έρευνα και τη βιομηχανία.

Το Ευρωπαϊκό Πλέγμα Γλωσσών έκανε ένα παρόμοιο βήμα φέρνοντας εξειδικευμένα εργαλεία και πόρους γλωσσικής τεχνολογίας σε έναν κοινό κατάλογο. Ένας κατάλογος δεν αποδεικνύει ότι κάθε υπηρεσία λειτουργεί για κάθε εργασία. Κάνει όμως μια κρυφή εξάρτηση πιο εύκολο να επιθεωρηθεί. Μια ομάδα μπορεί να ρωτήσει τι κάνει το εργαλείο, ποια γλώσσα υποστηρίζει, από πού προήλθαν τα δεδομένα του και αν η άδεια ταιριάζει με την προβλεπόμενη χρήση. Αυτή είναι άδοξη υποδομή. Είναι επίσης ο τρόπος με τον οποίο μια ήπειρος με πολλούς θεσμούς αποφεύγει να ξαναχτίζει την ίδια γλωσσική ικανότητα σε απομονωμένα δωμάτια.

Η υποδομή έχει σημασία επειδή η μακρά ουρά της γλωσσικής εργασίας δεν λύνεται από ένα εμβληματικό μοντέλο. Ένας δημόσιος φορέας μπορεί να χρειάζεται αναγνώριση ομιλίας για μια περιφερειακή προφορά, εξαγωγή ορολογίας για έναν εξειδικευμένο τομέα, μεταφραστική μνήμη για τη νομοθεσία, αναγνώριση επώνυμων οντοτήτων για τοπωνύμια ή έναν τρόπο σύγκρισης δύο εκδόσεων ενός εγγράφου χωρίς απώλεια διακριτικών σημείων. Μια εταιρεία μπορεί να χρειάζεται τοπική ανάπτυξη επειδή το υλικό δεν μπορεί να φύγει από τη δικαιοδοσία της. Μια ερευνητική ομάδα μπορεί να χρειάζεται ένα σύνολο δεδομένων με σαφή προέλευση αντί για άλλη μια ανώνυμη βαθμολογία.

Υπάρχει μια σιωπηλή πολιτική επιλογή σε αυτή την προσέγγιση. Τα δεδομένα και τα εργαλεία αντιμετωπίζονται ως δυνατότητες που η Ευρώπη θα πρέπει να μπορεί να επιθεωρεί και να διαμορφώνει, και όχι ως μια υπηρεσία που φτάνει από κάπου αλλού αόρατα. Αυτό δεν σημαίνει ότι τα ευρωπαϊκά συστήματα είναι αυτόματα καλά ή ότι οι εμπορικοί πάροχοι αλλού δεν μπορούν να είναι χρήσιμοι. Σημαίνει ότι μια γλώσσα είναι πολύ σημαντική για να μείνει χωρίς ένα δημόσιο λεξιλόγιο για τα δεδομένα της, τα κενά της και την αξιολόγησή της. Η κυριαρχία ξεκινά με το να γνωρίζουμε τι δεν μπορεί να δει το σύστημα.

Η μετάφραση δεν είναι ουδέτερη σωλήνωση

Η μετάφραση συχνά τοποθετείται ανάμεσα σε δύο στοιχεία σε ένα διάγραμμα αρχιτεκτονικής, σαν να ήταν ένας σωλήνας που μεταφέρει το νόημα από τη μία πλευρά στην άλλη. Η πραγματική μετάφραση είναι μια ακολουθία αποφάσεων. Ποιο αρχικό κείμενο είναι έγκυρο; Ποιες λέξεις πρέπει να παραμείνουν ακριβείς; Ποια ασάφεια πρέπει να διατηρηθεί; Ποια πολιτιστική αναφορά χρειάζεται εξήγηση; Ποιο ύφος είναι κατάλληλο για μια δημόσια ανακοίνωση; Ποια οντότητα δεν πρέπει να μεταφραστεί; Ποια ημερομηνία, αριθμός ή μονάδα πρέπει να αποδοθεί με τη σύμβαση του αναγνώστη; Ένα μοντέλο μπορεί να πάρει αυτές τις αποφάσεις γρήγορα. Η ταχύτητα δεν τις καθιστά αόρατες.

Σκεφτείτε τη διαφορά μεταξύ της μετάφρασης μιας πρότασης για τον καιρό και της μετάφρασης μιας ανακοίνωσης για μια προθεσμία. Στην πρώτη, ένα μικρό υφολογικό λάθος μπορεί να είναι ενοχλητικό. Στη δεύτερη, ένας αριθμός ή ένα ρήμα τροπικότητας μπορεί να αλλάξει αυτό που πιστεύει ένα άτομο ότι πρέπει να κάνει. Το υποκείμενο γλωσσικό μοντέλο μπορεί να έχει τον ίδιο προϋπολογισμό διακριτικών και την ίδια ένδειξη σιγουριάς. Οι κοινωνικές συνέπειες δεν είναι οι ίδιες. Η αξιολόγηση πρέπει επομένως να ακολουθεί την εργασία, όχι να σταματά σε μια γενική βαθμολογία γλώσσας.

Η σελίδα της Επιτροπής για τη δική της χρήση των γλωσσών το επισημαίνει χωρίς δραματοποίηση. Η αυτόματη μετάφραση μπορεί να δώσει μια βασική ιδέα, αλλά η ποιότητα και η ακρίβεια ποικίλλουν σημαντικά από το ένα κείμενο στο άλλο και μεταξύ των γλωσσικών ζευγών. Αυτή είναι μια χρήσιμη δημόσια πρόταση, επειδή αρνείται να μετατρέψει μια υπηρεσία σε μαντείο. Δίνει στον αναγνώστη την άδεια να χρησιμοποιήσει μια μετάφραση ως προσανατολισμό, διατηρώντας παράλληλα έναν λόγο να αναζητήσει μια ανθρώπινη ή έγκυρη εκδοχή όταν οι συνέπειες το δικαιολογούν.

Για τις ομάδες προϊόντων, η συνέπεια είναι ένα σύνολο σαφών διαδρομών. Μια μετάφραση χαμηλών συνεπειών μπορεί να επιστραφεί απευθείας με σαφή κατάσταση. Μια νομική ή ιατρική διαδρομή μπορεί να απαιτεί ανθρώπινη αναθεώρηση, σύνδεσμο προς την πηγή ή άρνηση. Ένα εσωτερικό προσχέδιο μπορεί να διατηρεί το αρχικό κείμενο δίπλα στη μετάφραση. Μια διεπαφή ομιλίας μπορεί να επαναλαμβάνει ένα κρίσιμο όνομα και να ζητά επιβεβαίωση. Η επιλογή δεν είναι μεταξύ πλήρους αυτοματοποίησης και καθόλου αυτοματοποίησης. Είναι μεταξύ μιας διαδικασίας που δηλώνει τα σημεία παράδοσης και μιας που τα κρύβει πίσω από μια άνετη παράγραφο.

Η πρόταση επιβιώνει, η κατάσταση όχι

Τα μοντέλα λειτουργούν με αναπαραστάσεις. Οι κοινωνίες λειτουργούν με καταστάσεις. Όταν μια μετάφραση μετακινείται από τη μία στην άλλη, μικρές λεπτομέρειες μπορούν να γίνουν ολόκληρο το νόημα. Μια φράση που είναι ευγενική σε μια γλώσσα μπορεί να ακούγεται υπεκφυγή σε μια άλλη. Ένας όρος που διακρίνει ένα νόμιμο δικαίωμα από μια προαιρετική υπηρεσία μπορεί να συμπτυχθεί σε μια γενική λέξη για βοήθεια. Μια ιδιωματική έκφραση μπορεί να μεταφραστεί κυριολεκτικά και να γίνει ανοησία, ή να μεταφραστεί ελεύθερα και να χάσει την αναφορά που ταυτοποιεί μια κοινότητα. Καμία από αυτές τις αποτυχίες δεν χρειάζεται ένα παράλογο αποτέλεσμα. Η επικίνδυνη απάντηση είναι αυτή που φαίνεται συνηθισμένη.

Η κυκλοφορία του EU MMLU επισημαίνει ακριβώς αυτό το πεδίο. Τα κριτήρια ποιότητάς του ζητούν από τα πολύγλωσσα σημεία αναφοράς να δοκιμάζουν όχι μόνο το νόημα και τη δυσκολία, αλλά και τις ιδιωματικές εκφράσεις, το χιούμορ, τις πολιτιστικές αναφορές, τις μορφές ημερομηνίας και αριθμών, και τις διαφορές στο αναμενόμενο ύφος ή την ευγένεια. Αυτή είναι μια σημαντική διεύρυνση του στόχου αξιολόγησης. Ένα γλωσσικό μοντέλο δεν ερωτάται μόνο αν μπορεί να παράγει μια γραμματικά σωστή πρόταση. Ερωτάται αν η πρόταση ανήκει στην κατάσταση όπου ένα άτομο θα ενεργήσει βάσει αυτής.

Η αναφορά στο χιούμορ δεν αποτελεί πρόσκληση να γίνει το σημείο αναφοράς διασκεδαστικό. Αναγνωρίζει ότι το χιούμορ είναι μια δοκιμασία αντοχής για τα συμφραζόμενα. Μια κυριολεκτική μετάφραση μπορεί να διατηρήσει τις λέξεις και να καταστρέψει το αστείο. Μια πολιτισμικά προσαρμοσμένη μετάφραση μπορεί να διατηρήσει το αποτέλεσμα αλλάζοντας την αναφορά. Σε μια υπηρεσία δημόσιας ενημέρωσης, ο ίδιος μηχανισμός εμφανίζεται χωρίς γέλιο. Μια παροιμία, ένα τοπικό τοπωνύμιο ή ένας τυπικός χαιρετισμός μπορεί να δείξει ποιος μιλάει και τι σχέση δημιουργεί το μήνυμα.

Όταν οι ομάδες λένε ότι ένα μοντέλο κατανοεί μια γλώσσα, θα πρέπει να αναρωτιούνται σε ποιο επίπεδο αναφέρονται. Αναγνωρίζει τη γραφή; Τμηματοποιεί σωστά τις λέξεις; Αναγνωρίζει οντότητες; Μεταφράζει την πρόταση; Διατηρεί τη νομική ισχύ; Ακολουθεί μια τοπική σύμβαση; Διατηρεί το επίπεδο βεβαιότητας του ομιλητή; Χειρίζεται μια μη τυπική ορθογραφία; Απαντά στο σωστό ύφος; Αυτές είναι ξεχωριστές ικανότητες. Μια ενιαία ετικέτα που ονομάζεται πολυγλωσσία κρύβει τη δουλειά που απαιτείται για να εδραιωθεί καθεμία από αυτές.

Γιατί η αξιολόγηση πρέπει να συνοδεύει τη γλώσσα

Η αξιολόγηση προστίθεται συχνά στο τέλος επειδή οι ομάδες θέλουν έναν αριθμό για να τον προσαρτήσουν σε ένα μοντέλο. Τα πολυγλωσσικά συστήματα καθιστούν αυτή τη σειρά αδύνατη. Τα δεδομένα δοκιμής καθορίζουν τι θεωρείται σφάλμα. Η γλώσσα καθορίζει πώς μπορεί να αποτύχει μια πρόταση. Ο τομέας καθορίζει ποια αποτυχία έχει σημασία. Ο χρήστης καθορίζει αν η απάντηση του συστήματος είναι βοήθεια ή εμπόδιο. Η αξιολόγηση πρέπει να συνοδεύει και τα τέσσερα.

Η ευρωπαϊκή ερευνητική εργασία Towards Multilingual LLM Evaluation for European Languages καταδεικνύει την κλίμακα του προβλήματος. Οι συγγραφείς αξιολογούν 40 γλωσσικά μοντέλα σε 21 ευρωπαϊκές γλώσσες, εξετάζουν μεταφρασμένες εκδόσεις πέντε ευρέως χρησιμοποιούμενων σημείων αναφοράς και δημοσιεύουν ένα πλαίσιο που περιλαμβάνει τα EU20-MMLU, EU20-HellaSwag, EU20-ARC, EU20-TruthfulQA και EU20-GSM8K. Η εργασία δεν ισχυρίζεται ότι η μετάφραση ενός υπάρχοντος σημείου αναφοράς το καθιστά αυτόματα δίκαιο. Αντιμετωπίζει τις μεταφραστικές υπηρεσίες, την κατασκευή σημείων αναφοράς και τη διαγλωσσική συγκρισιμότητα ως ζητήματα προς διερεύνηση.

Αυτή είναι η σωστή στάση. Ένα μεταφρασμένο στοιχείο δοκιμής μπορεί να κληρονομήσει μια αλλαγή δυσκολίας, μια πολιτισμική υπόθεση ή μια ένδειξη που δεν υπήρχε στο πρωτότυπο. Ένα μοντέλο μπορεί να σκοράρει υψηλότερα επειδή η μεταφρασμένη διατύπωση καθιστά την απάντηση ευκολότερη, όχι επειδή το μοντέλο έγινε πιο ικανό. Μπορεί να σκοράρει χαμηλότερα επειδή μια γραμματική κατασκευή είναι αφύσικη στη γλώσσα-στόχο, παρόλο που ο υποκείμενος συλλογισμός είναι ορθός. Και τα δύο αποτελέσματα αποτελούν στοιχεία τόσο για τη δοκιμή όσο και για το μοντέλο.

Η ανθρώπινη αναθεώρηση παραμένει απαραίτητη, αλλά και η ανθρώπινη αναθεώρηση χρειάζεται μια συμφωνία. Ποιος αναθεώρησε το στοιχείο; Ήταν οι αναθεωρητές φυσικοί ομιλητές, ειδικοί του τομέα ή και τα δύο; Αναθεώρησαν μεμονωμένες προτάσεις ή την εργασία στο πλαίσιό της; Καταγράφηκαν οι διαφωνίες; Διατήρησε το σημείο αναφοράς εναλλακτικές αποδεκτές απαντήσεις; Ένας γλωσσικός ειδικός μπορεί να μας πει ότι μια φράση είναι λανθασμένη. Ένας ειδικός του τομέα μπορεί να μας πει γιατί το λάθος αλλάζει μια απόφαση. Μια αξιόπιστη αξιολόγηση συχνά χρειάζεται και τους δύο και πρέπει να αναφέρει ποιον είχε.

Το ζητούμενο δεν είναι να περάσει κάθε σύστημα από μια ατελείωτη εξέταση προτού μπορέσει κανείς να το χρησιμοποιήσει. Είναι να αποτραπεί μια στενή δοκιμή από το να εκληφθεί ως ένας ευρύς ισχυρισμός. Αν ένα μοντέλο έχει αξιολογηθεί σε σύντομες πραγματολογικές ερωτήσεις σε τυπική γραπτή γλώσσα, αναφέρετέ το. Μην αφήσετε το αποτέλεσμα να μετατραπεί σιωπηρά σε ισχυρισμό για την προφορική αλληλεπίδραση, τη νομική σύνταξη, την τοπική αυτοδιοίκηση, τα παιδιά, τους ηλικιωμένους ή κάθε ύφος της γλώσσας.

Μια βαθμολογία γίνεται χρήσιμη όταν παραμένουν ορατά τα όρια της εργασίας, της γλώσσας, του πλαισίου και της ανθρώπινης αξιολόγησης που την πλαισιώνουν.

Το μάθημα των μαλτεζικών και των βασκικών

Μια εργασία που παρουσιάστηκε στο συνέδριο LREC-COLING του 2024 μελέτησε την αξιολόγηση της αυτόματης μετάφρασης από τα αγγλικά στα μαλτεζικά και από τα ισπανικά στα βασκικά. Οι συγγραφείς εξέτασαν τη μετρική αξιολόγησης COMET, συνέλεξαν άμεσες ανθρώπινες αξιολογήσεις και δοκίμασαν πόσο καλά συμπεριφερόταν η μετρική όταν προσαρμοζόταν στα δύο γλωσσικά ζεύγη. Το συμπέρασμά τους είναι μετρημένο αλλά ουσιαστικό: η απόδοση της μετρικής μπορεί να βελτιωθεί με λεπτομερή ρύθμιση, και μπορεί να είναι ιδιαίτερα ευαίσθητη στην κατανομή των βαθμολογιών στα δεδομένα εκπαίδευσής της, ειδικά σε συνθήκες περιορισμένων πόρων.

Δεν πρόκειται για μια ιστορία αποτυχίας μιας μετρικής. Πρόκειται για μια ιστορία για το από τι εξαρτάται μια βαθμολογία. Μια μετρική εκπαιδευμένη σε μια κατανομή μπορεί να συμπεριφερθεί διαφορετικά όταν κληθεί να αξιολογήσει μια άλλη. Ένα γλωσσικό ζεύγος με λιγότερο υλικό αξιολόγησης μπορεί να κάνει τη βαθμολογία να φαίνεται πιο αποφασιστική από ό,τι είναι. Ένα σύστημα που είναι βολικό να συγκριθεί μπορεί να αποτελεί φτωχό υποκατάστατο για αυτό που οι ομιλητές θεωρούν καλή μετάφραση. Οι ανθρώπινες κρίσεις δεν κάνουν την αξιολόγηση τέλεια, αλλά αποκαλύπτουν τα σημεία όπου ένα αυτόματο μέτρο κάνει υποθέσεις.

Μια άλλη μελέτη του 2024, Benchmarking Low-Resource Machine Translation Systems, συγκρίνει διαθέσιμα στο κοινό συστήματα σε τέσσερα σύνολα δεδομένων και 26 γλώσσες και δημοσιεύει τα αποτελέσματα μέσω του BENG, μιας πλατφόρμας συγκριτικής αξιολόγησης για τη δημιουργία φυσικής γλώσσας που ακολουθεί τις αρχές FAIR. Και πάλι, η συμβολή δεν είναι μια καθολική κατάταξη. Είναι μια πιο ελέγξιμη σύγκριση. Η αποδοτικότητα και η αποτελεσματικότητα εξετάζονται μαζί, και η λίστα των γλωσσών είναι ορατή. Ο αναγνώστης μπορεί να αναρωτηθεί αν το σημείο αναφοράς περιλαμβάνει τη διαδρομή που έχει σημασία, αντί να αποδέχεται έναν μοναδικό αριθμό-τίτλο.

Αυτές οι μελέτες προσφέρουν ένα ευρωπαϊκό μάθημα εγκράτειας. Το δύσκολο μέρος δεν είναι να επινοήσεις άλλη μια βαθμολογία. Είναι να χτίσεις μια αξιολόγηση που επιτρέπει στον αναγνώστη να δει ποιανού η γλώσσα, ποιανού η εργασία και ποιος ορισμός της ποιότητας παρήγαγε τη βαθμολογία. Όταν αυτό το πλαίσιο λείπει, ένας αριθμός γίνεται διάβαση συνόρων χωρίς διαβατήριο. Μπορεί να περάσει από την παρουσίαση, αλλά κανείς δεν μπορεί να εξακριβώσει από πού προήλθε.

Η γλωσσική κάλυψη μπορεί να είναι ιδιότητα ασφάλειας

Οι συζητήσεις για την ασφάλεια συχνά επικεντρώνονται σε περιεχόμενο που ένα σύστημα θα πρέπει να αρνείται, σε επιθέσεις που θα πρέπει να αποκρούει ή σε σφάλματα που θα πρέπει να εντοπίζει. Η γλώσσα προσθέτει ένα άλλο ερώτημα: μπορεί το σύστημα να αναγνωρίσει πότε βρίσκεται εκτός των ικανοτήτων του; Μια διαδρομή που λειτουργεί σε μια γλώσσα μπορεί να αποτυγχάνει συχνότερα σε μια άλλη, διατηρώντας τον ίδιο σίγουρο τόνο. Αν η διεπαφή δεν αποκαλύπτει τη διαφορά, οι χρήστες δεν μπορούν να βαθμονομήσουν την εμπιστοσύνη τους.

Αυτό έχει ιδιαίτερη σημασία όταν η γλώσσα αποτελεί μέρος μιας αλληλεπίδρασης όπου διακυβεύεται η ασφάλεια. Ένας ασθενής μπορεί να περιγράψει ένα σύμπτωμα σε μια τοπική διάλεκτο. Ένας εργαζόμενος μπορεί να αναφέρει έναν κίνδυνο χρησιμοποιώντας έναν τοπικό όρο. Ένας κάτοικος μπορεί να υποβάλει ένσταση με μια ορθογραφική σύμβαση που ένα σύστημα κανονικοποίησης θεωρεί θόρυβο. Ένα μοντέλο μπορεί να είναι τεχνικά ακριβές στα σημεία αναφοράς του, αλλά λειτουργικά επισφαλές για αυτή τη διαδρομή. Το σχετικό ερώτημα δεν είναι αν το σύστημα μπορεί να δημιουργήσει μια εύλογη απάντηση. Είναι αν οι έλεγχοι ασφαλείας αξιολογήθηκαν στη γλώσσα και στην κατάσταση που έχει μπροστά του.

Η ασφάλεια δεν απαιτεί να αντιμετωπίζεται κάθε γλωσσική διαδρομή ως ειδικό επείγον περιστατικό. Απαιτεί να αντιστοιχίζεται ο έλεγχος με τη συνέπεια. Ένα αποτέλεσμα αναζήτησης χαμηλού κινδύνου μπορεί να αποκαλύπτει τις πηγές του και να προσκαλεί σε διόρθωση. Μια διεπαφή ιατρικής διαλογής μπορεί να διοχετεύει ασαφή γλωσσικά δεδομένα σε εκπαιδευμένο επαγγελματία. Μια ροή εργασιών νομικών εγγράφων μπορεί να διατηρεί το πρωτότυπο και τη μετάφραση δίπλα δίπλα και να απαιτεί έγκριση πριν από τη δημοσίευση. Ένα φωνητικό σύστημα μπορεί να ζητήσει από τον χρήστη να επαναλάβει ένα όνομα αντί να επιλέγει σιωπηλά την πιο κοντινή γνωστή οντότητα. Αυτές είναι συνηθισμένες επιλογές μηχανικής όταν η γλώσσα αντιμετωπίζεται ως μέρος των ορίων του συστήματος.

Η ίδια η άρνηση χρειάζεται σχεδιασμό γλώσσας. Το να λες στον χρήστη ότι ένα σύστημα δεν μπορεί να απαντήσει δεν αρκεί αν η άρνηση είναι αδιαφανής, πατερναλιστική ή δεν διατίθεται στη γλώσσα του χρήστη. Το σύστημα θα πρέπει να λέει τι δεν μπόρεσε να εξακριβώσει, ποιες πληροφορίες θα βοηθούσαν και ποια ανθρώπινη ή έγκυρη διαδρομή είναι διαθέσιμη. Διαφορετικά, ένας έλεγχος ασφαλείας γίνεται άλλο ένα εμπόδιο πρόσβασης. Η γλωσσική αρχή της Ευρώπης δοκιμάζεται με τον πιο σαφή τρόπο όταν ένα σύστημα δεν μπορεί να παράσχει την αιτούμενη απάντηση.

Ο επιχειρησιακός σχεδιασμός μιας πολύγλωσσης υπηρεσίας

Μια αξιόπιστη πολύγλωσση υπηρεσία έχει ένα επιχειρησιακό σχήμα που είναι εύκολο να περιγραφεί και εκπληκτικά δύσκολο να διατηρηθεί. Πρώτον, ονομάζει την εργασία. Η μετάφραση, η μεταγραφή, η ταξινόμηση, η ανάκτηση, η σύνοψη και η δημιουργία δεν είναι εναλλάξιμες. Δεύτερον, ονομάζει τη γλωσσική διαδρομή, συμπεριλαμβανομένης της γραφής και κάθε σχετικού περιφερειακού ή θεματικού ορίου. Τρίτον, καταγράφει το υλικό προέλευσης και τους μετασχηματισμούς που εφαρμόστηκαν σε αυτό. Τέταρτον, καθορίζει τη διαδρομή αναθεώρησης και κλιμάκωσης. Πέμπτον, ενημερώνει τον χρήστη για το τι μπορεί και τι δεν μπορεί να ισχυριστεί το σύστημα.

Αυτά τα βήματα δεν αποτελούν απαίτηση για μια τεράστια γραφειοκρατία. Είναι το ελάχιστο που απαιτείται για να είναι ελέγξιμη μια γλωσσική υπόσχεση. Αν ένας προμηθευτής λέει ότι ένα μοντέλο υποστηρίζει τα φινλανδικά, ο αγοραστής θα πρέπει να μπορεί να ρωτήσει αν αυτό σημαίνει δημιουργία κειμένου, αναγνώριση ομιλίας, μετάφραση από ποιες γλώσσες ή όλα τα παραπάνω. Αν μια ομάδα προϊόντος λέει ότι υποστηρίζει μια περιφερειακή γλώσσα, θα πρέπει να λέει αν η υποστήριξη βασίζεται σε γηγενή δεδομένα, μεταφρασμένα δεδομένα, ένα μικρό σύνολο αξιολόγησης ή μια εξέταση από ειδικούς. Αν η απάντηση είναι άγνωστη, το άγνωστο είναι έγκυρη κατάσταση.

Η υπηρεσία χρειάζεται επίσης μια πολιτική αλλαγών. Νέο εκπαιδευτικό υλικό, ένας νέος tokenizer, ένα νέο μοντέλο μετάφρασης, μια νέα λίστα ορολογίας ή ένας νέος πληθυσμός χρηστών μπορούν να αλλάξουν τη γλωσσική συμπεριφορά. Μια έκδοση που βελτιώνει μια διαδρομή μπορεί να υποβαθμίσει μια άλλη. Ένα αποτέλεσμα σημείου αναφοράς από πέρυσι δεν περιγράφει αυτόματα το σημερινό σύστημα. Αρχεία εκδόσεων, δοκιμές σύγκρισης και μια διαδρομή για την αναφορά γλωσσικών σφαλμάτων καθιστούν την υπηρεσία συντηρήσιμη και όχι διακοσμητική.

Η συντήρηση έχει και ανθρώπινη πλευρά. Οι γλωσσικοί ειδικοί χρειάζονται έναν τρόπο να βλέπουν τα σφάλματα που επηρεάζουν τις κοινότητές τους. Οι θεματικές ομάδες χρειάζονται έναν τρόπο να διακρίνουν ένα μεταφραστικό σφάλμα από μια ασάφεια πολιτικής. Οι χειριστές χρειάζονται έναν τρόπο να θέτουν σε παύση μια διαδρομή χωρίς να περιμένουν από έναν προμηθευτή μοντέλου να ερμηνεύσει ένα παράπονο. Οι χρήστες χρειάζονται έναν τρόπο να λένε ότι το σύστημα παρερμήνευσε μια λέξη, ένα πλαίσιο ή το όνομα ενός ατόμου. Μια πολύγλωσση υπηρεσία δεν είναι πλήρης όταν το μοντέλο αναπτυχθεί. Είναι αρκετά πλήρης για να λογοδοτήσει όταν εμφανιστεί το επόμενο γλωσσικό πρόβλημα.

Προέλευση μέσω μιας γλωσσικής γραμμής επεξεργασίας

Η προέλευση γίνεται συγκεκριμένη όταν ακολουθούμε ένα κομμάτι νοήματος μέσα σε ένα σύστημα. Ξεκινήστε με μια παράγραφο-πηγή. Καταγράψτε τη γλώσσα, το σύστημα γραφής, τον συγγραφέα ή τον φορέα όταν είναι γνωστά, τα δικαιώματα και τον σκοπό. Αν είναι τμηματοποιημένη, διατηρήστε τη σχέση με το πρωτότυπο. Αν είναι μεταφρασμένη, κρατήστε την πηγή και τον μεταφραστή ή τη μεταφραστική διαδικασία. Αν ένας επιμελητής αλλάξει τη διατύπωση, καταγράψτε το ως νέα κατάσταση, όχι ως σιωπηλή αντικατάσταση. Αν η παράγραφος γίνει αντικείμενο αξιολόγησης, μεταφέρετε μαζί της την εργασία, το κλειδί απαντήσεων, τη γλώσσα και το αρχείο επιμέλειας.

Κατά την εκτέλεση, η ίδια πειθαρχία ισχύει αντίστροφα. Καταγράψτε ποια γλωσσική διαδρομή χειρίστηκε το αίτημα, ποια έκδοση μοντέλου ή εργαλείου εκτελέστηκε, ποια τεκμήρια από την πηγή ανακτήθηκαν, ποια κατάσταση αβεβαιότητας ή άρνησης επιτεύχθηκε και ποια ανθρώπινη ενέργεια ακολούθησε. Το αρχείο δεν χρειάζεται να εκθέτει ιδιωτικό περιεχόμενο σε κάθε χειριστή. Χρειάζεται όμως να καθιστά τα ουσιώδη γεγονότα διαθέσιμα σε εξουσιοδοτημένο επιμελητή. Χωρίς αυτά, ένα γλωσσικό περιστατικό μετατρέπεται σε συζήτηση περί εντυπώσεων.

Εδώ διαφέρει η πολυγλωσσική προέλευση από ένα γενικό αρχείο καταγραφής ελέγχου. Μια χρονική σήμανση και ένα όνομα μοντέλου μας λένε ότι κάτι συνέβη. Δεν μας λένε αν η πηγή μεταφράστηκε, αν η απάντηση άλλαξε τη μορφή ενός αριθμού, αν μια ονομασία οντότητας κανονικοποιήθηκε ή αν ο επιμελητής εργαζόταν στη γλώσσα-στόχο. Η διαδρομή μετασχηματισμού είναι το τεκμήριο. Μια σύντομη απάντηση μπορεί να κρύβει μια μακρά αλυσίδα αποφάσεων.

Υπάρχει μια μικρή ολλανδική αρετή σε αυτή την προσέγγιση: κρατήστε το αρχείο αρκετά βαρετό ώστε κάποιος να μπορεί να το χρησιμοποιήσει ένα Τρίτο απόγευμα. Ένα αρχείο προέλευσης δεν θα έπρεπε να είναι ταμπέλα μουσείου γραμμένη για έναν έλεγχο που μπορεί να μην έρθει ποτέ. Θα έπρεπε να βοηθά έναν χειριστή να απαντήσει στην επόμενη ερώτηση, να σταματήσει τη σωστή διαδρομή και να εξηγήσει το αποτέλεσμα σε ένα άτομο που δεν ενδιαφέρεται για το διάγραμμα αρχιτεκτονικής σας. Η καλή γλωσσική διακυβέρνηση είναι ελαφρώς ανιαρή. Έτσι ξέρετε ότι μπορεί να επιβιώσει από την επαφή με την εργασία.

Οι κρυφές επιλογές σε μια μετάφραση

Κάθε μεταφραστικό σύστημα φέρει επιλογές που αξίζουν ονόματα. Η τμηματοποίηση αποφασίζει πώς χωρίζεται το κείμενο εισόδου. Η κανονικοποίηση αποφασίζει ποιες διακρίσεις διατηρούνται ή απορρίπτονται. Η στοίχιση αποφασίζει ποια μέρη δύο κειμένων αντιμετωπίζονται ως ισοδύναμα. Η ορολογία αποφασίζει ποιες λέξεις είναι σταθερές. Η αποκωδικοποίηση αποφασίζει πώς επιλέγεται το αποτέλεσμα. Η μετα-επεξεργασία αποφασίζει τι βλέπει ο αναγνώστης. Κανένα από αυτά τα βήματα δεν είναι εκ φύσεως λάθος. Καθένα μπορεί να δημιουργήσει μια γλωσσική αποτυχία που είναι αόρατη σε μια γενική επίδειξη.

Πάρτε ένα κύριο όνομα. Ένα σύστημα μπορεί να το μεταφράσει, να το μεταγραμματίσει, να το διατηρήσει ή να το αντικαταστήσει με μια οικεία γραφή. Για ένα ποίημα, πολλές επιλογές μπορεί να είναι υπερασπίσιμες. Για ένα έγγραφο ταυτότητας, μόνο μία μπορεί να είναι αποδεκτή, και αυτή μπορεί να εξαρτάται από τον εκδίδοντα φορέα. Πάρτε μια μονάδα μέτρησης ή μια ημερομηνία. Οι τιμές μπορεί να παραμένουν μαθηματικά ισοδύναμες ενώ η μορφή γίνεται διφορούμενη για τον αναγνώστη. Πάρτε ένα ουσιαστικό ή μια αντωνυμία με γραμματικό γένος. Μια μετάφραση μπορεί να εισαγάγει πληροφορίες που η πηγή απέκρυψε ή να εξαλείψει μια διάκριση που η πηγή έκανε σκόπιμα.

Η σχεδιαστική απάντηση δεν είναι να παγώσει τη γλώσσα. Είναι να δηλώσει την πολιτική και να κάνει την εξαίρεση ορατή. Μια λίστα ορολογίας μπορεί να προστατεύσει νομικούς όρους. Ένας κανόνας ονομασιών οντοτήτων μπορεί να αποτρέψει μια πόλη από το να γίνει πρόσωπο. Μια προβολή που διατηρεί την πηγή μπορεί να επιτρέψει σε έναν επιμελητή να συγκρίνει το πρωτότυπο με το αποτέλεσμα. Μια ανθρώπινη κλιμάκωση μπορεί να ενεργοποιηθεί από ένα όνομα χαμηλής εμπιστοσύνης, από μια διαφωνία μεταξύ διαδρομών ή από μια εργασία που χαρακτηρίζεται υψηλού αντικτύπου. Το μοντέλο παραμένει χρήσιμο επειδή τα όριά του αποτελούν μέρος της ροής εργασίας.

Τα μεγάλα γλωσσικά μοντέλα δυσκολεύουν τον εντοπισμό των επιλογών που γίνονται, επειδή το αποτέλεσμα είναι ομαλό. Το ομαλό αποτέλεσμα είναι μια θαυμάσια διεπαφή και μια αναξιόπιστη εξήγηση. Το σύστημα μπορεί να παράγει μια πρόταση που ακούγεται φυσική, ενώ επιλέγει τη λάθος σημασία μιας λέξης. Μπορεί να διατηρήσει το γενικό θέμα, ενώ να παραλείψει μια άρνηση. Μπορεί να μεταφράσει μια τοπική φράση σε μια τυποποιημένη έκφραση που αλλάζει τη θέση του ομιλητή. Γι' αυτό η ποιότητα της γλώσσας δεν μπορεί να αποτυπωθεί μόνο με τη γραμματική. Το νόημα έχει κοινωνική διάσταση.

Γραφές, διάλεκτοι, επίπεδα ύφους και θεσμοί

Η υποστήριξη γλωσσών συχνά ανακοινώνεται στο επίπεδο του ονόματος της γλώσσας, αλλά οι αναγνώστες συναντούν γραφές, ποικιλίες και επίπεδα ύφους. Ένα σύστημα που χειρίζεται τη σύγχρονη πρότυπη ορθογραφία μπορεί να δυσκολεύεται με ιστορικά έγγραφα. Ένας αναγνωριστής ομιλίας μπορεί να χειρίζεται τον ήχο στο στούντιο και να αποτυγχάνει σε έναν πολυσύχναστο σταθμό. Ένα chatbot που απευθύνεται στο κοινό μπορεί να απαντά σε επίσημο ύφος, ενώ ο χρήστης χρειάζεται απλή γλώσσα. Ένας θεσμός μπορεί να χρησιμοποιεί έναν όρο που διαφέρει από τον καθημερινό λόγο για λόγο που έχει νομική σημασία.

Αυτές δεν είναι ακραίες περιπτώσεις με την υποτιμητική έννοια. Είναι τα σημεία όπου η γλώσσα συναντά τον κόσμο. Ένα τοπωνύμιο μπορεί να κάνει τη διαφορά ανάμεσα σε μια σωστή διεύθυνση και σε μια αποτυχημένη παράδοση. Μια διαλεκτική λέξη μπορεί να είναι η μόνη λέξη που γνωρίζει κάποιος για ένα σύμπτωμα. Μια επίσημη φράση μπορεί να σηματοδοτεί ότι ένα μήνυμα έχει νομική ισχύ. Μια παραλλαγή γραφής μπορεί να καθορίσει αν ένα έγγραφο είναι αναζητήσιμο. Αν ένα σημείο αναφοράς αποκλείει αυτές τις διαδρομές, μπορεί να εξακολουθεί να είναι χρήσιμο, αλλά δεν μπορεί να υποκαταστήσει ολόκληρη τη γλώσσα.

Η δοκιμή όλων των ποικιλιών δεν είναι πάντα εφικτή. Η έντιμη απάντηση είναι να περιγραφεί το υποστηριζόμενο υποσύνολο και να ζητηθούν στοιχεία για το υπόλοιπο. Ένα σύστημα μπορεί να δημοσιεύσει ότι αξιολογήθηκε σε πρότυπη γραπτή ολλανδική γλώσσα για σύνοψη δημόσιων πληροφοριών, χωρίς να ισχυρίζεται τίποτα για την αναγνώριση περιφερειακής ομιλίας. Μπορεί να προσθέσει ένα τεστ για τα φριζικά ή τα βασκικά χωρίς να προσποιείται ότι η προσθήκη αυτή λύνει όλα τα ζητήματα περιφερειακών και μειονοτικών γλωσσών. Η εξειδίκευση δεν είναι αδυναμία. Λέει στους χρήστες πού βρίσκεται το κατώτατο όριο.

Οι θεσμοί θα πρέπει επίσης να αντισταθούν στην ιδέα ότι μια ενιαία εθνική γλωσσική διαδρομή είναι αυτόματα ουδέτερη. Η διοικητική γλώσσα μπορεί να είναι απρόσιτη για ομιλητές της ίδιας γλώσσας. Η προσβασιμότητα και η πολυγλωσσία αλληλοκαλύπτονται, επειδή και οι δύο θέτουν το ερώτημα αν ο αναγνώστης μπορεί να κατανοήσει και να ενεργήσει. Η γλωσσική εργασία της Επιτροπής περιλαμβάνει εργαλεία για απλοποίηση και προσβάσιμο κείμενο ακριβώς για αυτόν τον λόγο. Μια πρόταση μπορεί να είναι γλωσσικά ορθή και παρόλα αυτά να είναι θεσμικά αχρησιμοποίητη.

Όταν η διεπαφή είναι άπταιστη αλλά λανθασμένη

Οι πιο δύσκολες γλωσσικές αποτυχίες δεν είναι θεαματικές. Είναι απαντήσεις που περνούν τον έλεγχο με το μάτι. Μια σύνοψη περιλαμβάνει τα σωστά ονόματα, αλλά αλλάζει ποιος είναι υπεύθυνος. Μια μετάφραση διατηρεί τα ουσιαστικά, αλλά μετατρέπει μια σύσταση σε οδηγία. Ένας ταξινομητής κατανοεί το θέμα, αλλά χάνει μια άρνηση. Ένα σύστημα φωνής αναγνωρίζει τις λέξεις, αλλά όχι τον δισταγμό του ομιλητή. Ένας χρήστης διαβάζει το αποτέλεσμα στη δική του γλώσσα και υποθέτει ότι η άνεση είναι ένδειξη φροντίδας.

Θα πρέπει να σχεδιάζουμε για αυτή την κατηγορία σφαλμάτων αντί να περιμένουμε ένα παράξενο παράδειγμα να γίνει πρωτοσέλιδο. Συγκρίνετε το πρωτότυπο με το αποτέλεσμα για περιεχόμενο υψηλής σημασίας. Διατηρήστε τους δείκτες αβεβαιότητας. Κρατήστε τις παραπομπές ή τις αναφορές σε έγγραφα προσαρτημένες. Ζητήστε επιβεβαίωση όταν ένας αριθμός, ένα όνομα ή μια προθεσμία είναι κεντρικής σημασίας. Κάντε τη διαδρομή ορατή στον χειριστή. Προσφέρετε έναν μηχανισμό διόρθωσης που δεν απαιτεί από τον χρήστη να γνωρίζει ποιο στοιχείο απέτυχε. Αυτοί οι έλεγχοι είναι μικροί, αλλά μετατρέπουν μια μετάφραση σε μια ελέγξιμη συναλλαγή.

Η ανθρώπινη αξιολόγηση δεν θα πρέπει να περιγράφεται ως μια μαγική τελευταία γραμμή άμυνας. Οι αξιολογητές έχουν χρονικά περιθώρια, κενά σε τομείς εξειδίκευσης και τις δικές τους γλωσσικές παραδοχές. Μια χρήσιμη διεπαφή αξιολόγησης τους παρέχει το πρωτότυπο, το αποτέλεσμα, το πλαίσιο και τον λόγο για τον οποίο ζητήθηκε η κρίση τους. Καταγράφει τη διαφωνία αντί να την εξομαλύνει. Αν οι αξιολογητές διορθώνουν επανειλημμένα έναν όρο, ο οργανισμός μπορεί να βελτιώσει την ορολογία ή να αλλάξει τα όρια της εργασίας. Αν η διαφωνία αποκαλύψει ότι το ίδιο το πρωτότυπο είναι διφορούμενο, η σωστή ενέργεια μπορεί να είναι να ρωτηθεί ο συγγραφέας, όχι να εκπαιδευτεί εντονότερα το μοντέλο.

Οι διαχειριστές χρειάζονται επίσης έναν τρόπο να βλέπουν τα αρνητικά στοιχεία. Ποιες γλώσσες δεν αξιολογήθηκαν; Ποιες εργασίες δεν έχουν ανθρώπινη αξιολόγηση; Ποια αιτήματα απορρίφθηκαν; Ποιοι χρήστες εγκατέλειψαν τη διαδρομή μετά από μια μετάφραση; Μια απουσία μπορεί να είναι ένα σήμα. Ένα πράσινο διάγραμμα κάλυψης που παραλείπει τις αποτυχημένες διαδρομές είναι ένας χάρτης της επιφάνειας μάρκετινγκ, όχι της υπηρεσίας.

Η ανθρώπινη εξειδίκευση δεν είναι ένα κουμπί έκτακτης ανάγκης

Η ευρωπαϊκή πολιτική για τη γλωσσική τεχνολογία βάζει γλωσσολόγους, επιστήμονες δεδομένων, μηχανικούς υπολογιστών και ειδικούς σε τομείς εξειδίκευσης στην ίδια πρόταση. Αυτό είναι μια απαίτηση σχεδιασμού, όχι μια λίστα επαγγελμάτων για να προσκληθούν σε μια τηλεδιάσκεψη παρουσίασης. Κάθε άτομο βλέπει μια διαφορετική αποτυχία. Ο γλωσσολόγος βλέπει μια αφύσικη διατύπωση ή μια χαμένη διάκριση. Ο μηχανικός βλέπει ένα πρόβλημα τμηματοποίησης ή δρομολόγησης. Ο ειδικός στον τομέα βλέπει ένα επικίνδυνο σφάλμα κατηγορίας. Ο διαχειριστής βλέπει μια ουρά που κανείς δεν μπορεί να αναλάβει. Το άτομο που χρησιμοποιεί την υπηρεσία βιώνει μια απόφαση που δεν έχει πλέον νόημα.

Η ανθρώπινη εξειδίκευση θα πρέπει να παρεμβαίνει πριν παγώσει το σημείο αναφοράς. Ένας γλωσσικός εμπειρογνώμονας μπορεί να βοηθήσει στην επιλογή υλικού δοκιμής που αντιπροσωπεύει πραγματικά γλωσσικά επίπεδα και όχι μόνο καθαρές προτάσεις. Ένας εμπειρογνώμονας τομέα μπορεί να εντοπίσει όρους που δεν πρέπει να αποκλίνουν. Ένας εκπρόσωπος της κοινότητας μπορεί να πει στην ομάδα ποια διατύπωση ακούγεται επίσημη, οικεία ή προσβλητική. Ένας υπεύθυνος δεδομένων μπορεί να εξηγήσει ποια προέλευση είναι διαθέσιμη και ποια όχι. Αυτές οι εισροές διαμορφώνουν τη σύμβαση του συστήματος. Δεν είναι διακόσμηση μετά τις τεχνικές επιλογές.

Υπάρχει ένα κόστος, φυσικά. Μια καλή αξιολόγηση απαιτεί χρόνο και πληρώνει ανθρώπους για γνώση που συχνά θεωρείται αόρατη. Αυτό το κόστος αποτελεί μέρος της γλωσσικής υποστήριξης. Η εναλλακτική είναι να το μετακυλήσουμε στους χρήστες, οι οποίοι πληρώνουν με σύγχυση και ενστάσεις, ή στο προσωπικό, το οποίο μεταφράζει και επισκευάζει τη διαδρομή ανεπίσημα. Ένα σύστημα που φαίνεται φθηνό επειδή αγνοεί τη γλωσσική εξειδίκευση δεν είναι αποδοτικό. Απλώς έχει μεταφέρει τον λογαριασμό.

Τι πρέπει να αποκαλύπτει ένα δίκαιο σημείο αναφοράς

Ένα πολύγλωσσο σημείο αναφοράς θα πρέπει να ξεκινά με έναν ισχυρισμό αρκετά περιορισμένο ώστε να μπορεί να δοκιμαστεί. Ο ισχυρισμός μπορεί να είναι ότι ένα σύστημα μπορεί να απαντά σε ερωτήσεις δημόσιας πληροφόρησης σε ένα σύνολο γλωσσών, να διατηρεί ημερομηνίες και αριθμούς και να αρνείται όταν λείπουν τα στοιχεία της πηγής. Μπορεί να είναι ότι μια διαδρομή μετάφρασης χειρίζεται ένα συγκεκριμένο ζεύγος γλωσσών και τομέα σε ένα καθορισμένο επίπεδο ποιότητας. Μπορεί να είναι ότι ένας αναγνωριστής ομιλίας μπορεί να μεταγράψει μια συγκεκριμένη ποικιλία γλώσσας υπό συγκεκριμένες ακουστικές συνθήκες. Το σημείο αναφοράς είναι μια σύμβαση για αυτόν τον ισχυρισμό.

Η σύμβαση χρειάζεται κάτι περισσότερο από μια λίστα γλωσσών. Θα πρέπει να αποκαλύπτει την εργασία, την πηγή, τον τομέα, το γλωσσικό επίπεδο, τη γραφή, την κατεύθυνση, το μήκος περιβάλλοντος, τις συνθήκες εισόδου, τις απαντήσεις αναφοράς, τις αποδεκτές παραλλαγές, τις μετρήσεις, την ανθρώπινη αξιολόγηση και την αβεβαιότητα. Θα πρέπει να αναφέρει αν τα στοιχεία γράφτηκαν αρχικά σε κάθε γλώσσα ή μεταφράστηκαν. Θα πρέπει να καταγράφει ποιος τα αναθεώρησε και ποιες διαφωνίες παρέμειναν. Θα πρέπει να διαχωρίζει τα συνολικά αποτελέσματα από τα αποτελέσματα ανά γλώσσα. Θα πρέπει να δείχνει αρκετά παραδείγματα ώστε ο αναγνώστης να κατανοεί τι μετρά η βαθμολογία.

Τα κριτήρια EU MMLU είναι χρήσιμα επειδή διευρύνουν την έννοια της δικαιοσύνης. Η ισόρροπη εκπροσώπηση των επίσημων γλωσσών της ΕΕ είναι το ένα σκέλος. Η διατήρηση του νοήματος, της δυσκολίας και της αξίας της αξιολόγησης μεταξύ των γλωσσών είναι το άλλο. Το να εξετάζονται οι ευρωπαϊκές αξίες και τα πολιτισμικά συμφραζόμενα, συμπεριλαμβανομένων των ιδιωματισμών, του χιούμορ, των αναφορών, των μορφών ημερομηνίας και αριθμών, του τόνου και της ευγένειας, καθιστά το σημείο αναφοράς τόσο κοινωνικό όσο και τεχνικό εργαλείο. Τα κριτήρια δεν αφαιρούν την κρίση. Την καθιστούν ελέγξιμη.

Οι σχεδιαστές σημείων αναφοράς θα πρέπει να δημοσιεύουν τα σημεία αποτυχίας, όχι μόνο τους μέσους όρους. Ένα μοντέλο μπορεί να έχει καλή μέση βαθμολογία ενώ να αποτυγχάνει σε κάθε στοιχείο που αφορά συγκεκριμένο ύφος ή τύπο αριθμού. Μια διαδρομή μπορεί να είναι αποδοτική προς τη μία κατεύθυνση και αργή ή δαπανηρή προς την άλλη. Μια μετρική μπορεί να συσχετίζεται με την ανθρώπινη κρίση σε μία γλώσσα και να γίνεται ασταθής σε μια άλλη. Οι αναλύσεις ανά γλώσσα και ανά εργασία δεν είναι πολυτέλεια. Είναι ο τρόπος με τον οποίο ένας αγοραστής αποφεύγει να αγοράσει τον μέσο όρο ενώ θα χρησιμοποιήσει στην πράξη την εξαίρεση.

Τέλος, ένα σημείο αναφοράς θα πρέπει να δηλώνει τι δεν μπορεί να μας πει. Μια γραπτή δοκιμασία δεν τεκμηριώνει την απόδοση στον προφορικό λόγο. Μια βαθμολογία μετάφρασης δεν τεκμηριώνει τη νομική αξιοπιστία. Ένα σύνολο επίσημων γλωσσών δεν τεκμηριώνει την υποστήριξη περιφερειακών ή μειονοτικών γλωσσών. Μια υψηλή βαθμολογία δεν τεκμηριώνει ότι ένα άτομο μπορεί να αμφισβητήσει μια απόφαση. Ο περιορισμός δεν είναι ντροπή. Είναι η άκρη του χάρτη, και οι χρήστες πρέπει να τη δουν πριν σαλπάρουν.

Μια βαθμολογία είναι υπόμνημα χάρτη, όχι το ίδιο το έδαφος

Οι αριθμοί είναι χρήσιμοι επειδή επιβάλλουν μια σύγκριση. Είναι επικίνδυνοι επειδή προσκαλούν σε ένα συμπέρασμα μεγαλύτερο από τη μέτρηση. Μια βαθμολογία μπορεί να μας πει πώς συμπεριφέρθηκε ένα σύστημα σε ένα καθορισμένο δείγμα με μια καθορισμένη μέθοδο. Δεν μπορεί να μας πει πώς θα βιώσει μια κοινότητα το σύστημα χωρίς μια γέφυρα παραδοχών. Η γέφυρα μπορεί να είναι γερή. Πρέπει να ονομαστεί.

Ας υποθέσουμε ότι ένα σύστημα βελτιώνεται σε ένα πολύγλωσσο σημείο αναφοράς μετά από λεπτομερή ρύθμιση. Αυτό αποτελεί ένδειξη βελτιωμένης απόδοσης σε εκείνη την αξιολόγηση. Δεν αποτελεί αυτόματα ένδειξη ότι το σύστημα είναι ασφαλέστερο σε μια δημόσια υπηρεσία. Η υπηρεσία μπορεί να χρησιμοποιεί διαφορετική ορολογία, μεγαλύτερο πλαίσιο, προφορική είσοδο, διαφορετικό ύφος ή μια διαδικασία κατάντη που μετατρέπει μια πρόταση σε απόφαση. Το σημείο αναφοράς μπορεί να παραμένει πολύτιμο. Γίνεται πολυτιμότερο όταν ο οργανισμός δηλώνει ποιο μέρος της υπηρεσίας αντιπροσωπεύει.

Η ίδια πειθαρχία ισχύει για την ενέργεια, την ταχύτητα και το κόστος. Μια διαδρομή σε γλώσσα με χαμηλούς πόρους μπορεί να απαιτεί περισσότερη ανθρώπινη επανεξέταση ή μεγαλύτερο πλαίσιο ανάκτησης. Αυτό δεν είναι ελάττωμα που πρέπει να κρυφτεί σε έναν μέσο όρο. Είναι ιδιότητα της υπηρεσίας που θα πρέπει να ενημερώνει τον σχεδιασμό. Τα ευρωπαϊκά θεσμικά όργανα έχουν περάσει δεκαετίες οικοδομώντας μεταφραστικές και γλωσσικές υπηρεσίες επειδή το πρακτικό κόστος της γλωσσικής πολυμορφίας είναι πραγματικό. Ένα σύστημα τεχνητής νοημοσύνης δεν καταργεί αυτό το κόστος εκπέμποντας κείμενο γρήγορα.

Δεν υπάρχει ντροπή στο να επιλέγει κανείς μια στενότερη διαδρομή. Μια ομάδα μπορεί να υποστηρίζει λιγότερες εργασίες καλά, να δημοσιεύει τα όρια και να προσθέτει γλώσσες καθώς αυξάνονται τα στοιχεία. Αυτό είναι καλύτερο από το να ισχυρίζεται ότι υποστηρίζει κάθε γλώσσα και να αφήνει τους χρήστες να ανακαλύψουν τα κενά. Το ευρωπαϊκό ένστικτο για ένα πρότυπο είναι ισχυρότερο όταν συνδυάζεται με το ολλανδικό ένστικτο να ελέγχει κανείς αν το πράγμα λειτουργεί σε μια συνηθισμένη Τετάρτη.

Σχεδιάστε για 24, δοκιμάστε πέρα από το 24

Η Ευρωπαϊκή Ένωση έχει 24 επίσημες και γλώσσες εργασίας, και η μεταφραστική υπηρεσία της Επιτροπής λειτουργεί σε όλες αυτές. Ο αριθμός αυτός δημιουργεί μια χρήσιμη βάση για τις δημόσιες υποδομές. Δεν καθορίζει τη γλωσσική ζωή της Ευρώπης. Οι περιφερειακές, οι μειονοτικές, οι μη εδαφικές και οι μεταναστευτικές γλώσσες διαμορφώνουν επίσης κοινότητες και θεσμούς. Ένα σύστημα σχεδιασμένο για 24 μπορεί να αποκλείει άτομα που δεν χρησιμοποιούν μία από αυτές τις διαδρομές ή που χρησιμοποιούν μια επίσημη γλώσσα σε μορφή που το σύστημα δεν αξιολόγησε.

Το να χτίζεις για το 24 είναι, επομένως, ευθύνη να κάνεις τη βάση πραγματική, όχι άδεια να σταματήσεις. Μια γλωσσική διαδρομή θα πρέπει να φέρει τα δικά της αποδεικτικά στοιχεία. Ένας δημόσιος φορέας θα πρέπει να μπορεί να πει ποιες επίσημες γλώσσες καλύπτονται για ποιες εργασίες, τι ανθρώπινη αναθεώρηση υπάρχει και πού μπορούν οι χρήστες να λάβουν μια έγκυρη έκδοση. Θα πρέπει επίσης να έχει έναν τρόπο να μαθαίνει από γλώσσες εκτός του αρχικού συνόλου, χωρίς να μετατρέπει την κοινότητα σε εργαστήριο δοκιμών χωρίς αμοιβή.

Οι δοκιμές πέρα από το 24 σημαίνουν κάτι περισσότερο από την προσθήκη μιας γλώσσας επίδειξης σε ένα δημοσιευμένο παράδειγμα. Σημαίνει συνεργασία με ομιλητές, ιδρύματα και ερευνητές για να αποφασιστεί ποια είναι η εργασία, για τι μπορεί να χρησιμοποιηθεί το υλικό πηγής και τι θεωρείται επιβλαβές σφάλμα. Η διαδικασία μπορεί να παράγει μια μικρή, προσεκτικά οριοθετημένη δυνατότητα. Αυτό εξακολουθεί να είναι πρόοδος. Μια μετρημένη διαδρομή με σαφή σύμβαση μπορεί να είναι πιο πολύτιμη από έναν εντυπωσιακό ισχυρισμό που κανένας χειριστής δεν μπορεί να υπερασπιστεί.

Τι προσπαθούμε να κάνουμε σαφές

Στη Dweve, προσεγγίζουμε αυτό το θέμα από την πλευρά των υποδομών. Το Loom περιγράφεται στο δημόσιο υλικό του προϊόντος μας ως ένα γνωστικό μοντέλο μεταγλωττισμένο ανά εργασία, του οποίου τα γλωσσικά στοιχεία αποδίδουν ένα διακυβερνώμενο γράφημα αποτελεσμάτων, ενώ η μάθηση περιορισμών, η σύνθεση γραφημάτων, οι επιλυτές και η επαλήθευση φέρουν την εξουσία λήψης αποφάσεων. Αυτή είναι μια αρχιτεκτονική θέση, όχι ένας ισχυρισμός πολυγλωσσικής απόδοσης. Δεν καθιστά μια γλωσσική διαδρομή σωστή. Καθιστά όμως δύσκολο να κρυφτεί μια υποχρέωση: η γλωσσική έξοδος δεν θα πρέπει να είναι το μόνο μέρος όπου υπάρχουν η συλλογιστική και τα αποδεικτικά στοιχεία του συστήματος.

Η εργασία μας για το Ground Truth επισημαίνει το ίδιο ζήτημα σε μια πιο ανθρώπινη κλίμακα. Οι άνθρωποι χρειάζονται αρκετή κοινή γλώσσα για να διακρίνουν ένα μοντέλο από μια ροή εργασίας, μια πρόβλεψη από ένα αποδεικτικό στοιχείο και μια άνετη απάντηση από ένα ελεγμένο αποτέλεσμα. Στα πολυγλωσσικά συστήματα, αυτό το λεξιλόγιο χρειάζεται μια ακόμη λέξη: διαδρομή. Μια ολλανδική απάντηση, μια γαλλική απάντηση και μια βασκική απάντηση δεν είναι απλώς αποδόσεις ενός εσωτερικού γεγονότος, αν τα αποδεικτικά στοιχεία, η ορολογία, η αναθεώρηση και η συμπεριφορά σε περίπτωση σφάλματος διαφέρουν. Η διαδρομή αποτελεί μέρος του ισχυρισμού.

Αυτή η θέση είναι σκόπιμα λιγότερο συναρπαστική από το να λέμε ότι ένα μοντέλο κατανοεί την Ευρώπη. Είναι επίσης πιο χρήσιμη. Θέλουμε ένα σύστημα να δείχνει τι έλαβε, ποιες πηγές και περιορισμούς μπορούσε να χρησιμοποιήσει, τι δεν μπόρεσε να τεκμηριώσει και πότε πρέπει να αναλάβει ένας άνθρωπος. Η γλώσσα είναι μια επιφάνεια μέσω της οποίας ένα άτομο συναντά αυτό το έργο. Η επιφάνεια θα πρέπει να είναι σαφής, αλλά δεν θα πρέπει να επιτρέπεται να σβήνει τη δομή από κάτω.

Δεν εξαιρούμαστε από τα πρότυπα που περιγράφονται εδώ. Ένα πεδίο προέλευσης δεν επισκευάζει τα δεδομένα που λείπουν. Μια ντετερμινιστική διαδρομή δεν αποδεικνύει ότι μια μετάφραση είναι δίκαιη. Ένα ευρωπαϊκό όριο επεξεργασίας δεν προσδίδει γλωσσική επάρκεια. Ο μόνος έντιμος τρόπος για να γίνει ένας πολυγλωσσικός ισχυρισμός είναι να συνεχίσουμε τις δοκιμές, να δημοσιεύουμε τα όρια και να αφήσουμε τους ειδικούς της γλώσσας να αμφισβητήσουν τη διαδρομή. Το όνομα του προϊόντος δεν είναι αποδεικτικό στοιχείο. Το αρχείο καταγραφής είναι.

Ένα πρακτικό πρότυπο για τις ομάδες

Οι ομάδες που αποφασίζουν αν θα εισαγάγουν μια πολυγλωσσική δυνατότητα τεχνητής νοημοσύνης μπορούν να ξεκινήσουν με ένα σύντομο σύνολο ερωτήσεων. Τι ακριβώς πρέπει να κάνει το σύστημα σε κάθε γλώσσα; Ποιοι άνθρωποι επηρεάζονται αν κάνει λάθος; Ποιο υλικό πηγής είναι έγκυρο; Πώς δημιουργήθηκαν τα στοιχεία δοκιμής και από ποιον; Ποια επίπεδα ύφους, γραφές, διάλεκτοι και τομείς περιλαμβάνονται στον ισχυρισμό; Τι κάνει το σύστημα όταν δεν μπορεί να τεκμηριώσει το νόημα; Ποιος μπορεί να διακόψει τη διαδρομή; Πώς μπορεί ένας χρήστης να διορθώσει μια απάντηση χωρίς να γίνει ο απλήρωτος γλωσσολόγος του έργου;

Οι ερωτήσεις γίνονται συγκεκριμένες όταν συνδέονται με τεχνουργήματα. Κρατήστε μια κάρτα γλωσσικής διαδρομής με την εργασία, τις υποστηριζόμενες γλωσσικές ποικιλίες, τις οικογένειες πηγών, το καθεστώς δικαιωμάτων, τις εκδόσεις μοντέλων και εργαλείων, τα αποτελέσματα αξιολόγησης, τους γνωστούς τρόπους αποτυχίας και τον υπεύθυνο αναθεώρησης. Κρατήστε παραδείγματα σφαλμάτων με το πλαίσιό τους, όχι μόνο μια βαθμολογία. Κρατήστε την πηγή δίπλα σε μια μετάφραση υψηλής συνέπειας. Κρατήστε έναν λόγο κλιμάκωσης που μπορεί να κατανοήσει ένας χειριστής. Κρατήστε ένα αρχείο αλλαγών όταν αλλάζει ένας tokenizer, μια λίστα ορολογίας, ένα σημείο αναφοράς ή ένα μοντέλο.

Οι ομάδες προμηθειών μπορούν να ζητήσουν από τους προμηθευτές αποτελέσματα ανά γλώσσα και ανά εργασία, αντί για έναν ενιαίο πολύγλωσσο μέσο όρο. Μπορούν να ρωτήσουν αν ένα σημείο αναφοράς μεταφράστηκε ή γράφτηκε εξαρχής στη γλώσσα, αν υπάρχουν διαθέσιμες ανθρώπινες αξιολογήσεις, πώς αντιμετωπίζονται οι διαδρομές χαμηλών πόρων και αν ο προμηθευτής μπορεί να εξάγει τα τεκμήρια που χρειάζονται για μια επανεξέταση. Μπορούν να ρωτήσουν τι συμβαίνει όταν μια γλώσσα δεν υποστηρίζεται, επειδή μια άρνηση και μια σιωπηλή υποκατάσταση έχουν πολύ διαφορετικές συνέπειες.

Οι ομάδες προϊόντος μπορούν να σχεδιάσουν τη διεπαφή ώστε να δείχνει τη διαδρομή και την εμπιστοσύνη, χωρίς να ισχυρίζονται ότι ένα ποσοστό εμπιστοσύνης είναι πιθανότητα αλήθειας. Μπορούν να διατηρούν τους συνδέσμους προς τις πηγές, να χρησιμοποιούν απλή γλώσσα στις αρνήσεις και να καθιστούν ορατές τις ενέργειες επανεξέτασης. Μπορούν να αποφεύγουν τη φράση υποστηρίζει όλες τις γλώσσες, εκτός αν μπορούν να ορίσουν το ρήμα. Το υποστηρίζει μπορεί να σημαίνει εμφανίζει κείμενο, δέχεται είσοδο, μεταφράζει, συνοψίζει, απαντά, ταξινομεί, μιλά ή διαχειρίζεται μια ρυθμιζόμενη ροή εργασίας. Ένας επιλογέας γλώσσας δεν είναι προδιαγραφή.

Οι ερευνητικές ομάδες μπορούν να δημοσιεύουν σύνολα δεδομένων με προέλευση και διαδρομές διόρθωσης. Μπορούν να συμπεριλαμβάνουν αρνητικά αποτελέσματα και να αναφέρουν πότε μια μετρική δεν αποδίδει το ίδιο σε άλλα συμφραζόμενα. Μπορούν να προσκαλούν γλωσσικές κοινότητες στην αξιολόγηση πριν ένα μοντέλο κηρυχθεί έτοιμο και να πληρώνουν για την τεχνογνωσία. Μπορούν να αντιστέκονται στην πίεση να μετατρέψουν ένα περιορισμένο αποτέλεσμα σε ισχυρισμό γενικής ισχύος. Το πιο πολύτιμο σημείο αναφοράς μπορεί να είναι εκείνο που κάνει μια ομάδα να αφαιρέσει μια πρόταση από τη σελίδα του προϊόντος της.

Η κοινωνία πίσω από το μοντέλο

Ένα γλωσσικό μοντέλο μπορεί να είναι πολύ καλό στο να παράγει γλώσσα χωρίς να γνωρίζει τι κάνει η γλώσσα σε μια κοινωνία. Μπορεί να προβλέψει μια φράση, να μεταφράσει μια παράγραφο και να απαντήσει σε μια ερώτηση, ενώ του διαφεύγει η θεσμική σχέση που μεταφέρουν οι λέξεις. Αυτό το κενό δεν αποδεικνύει ότι το μοντέλο είναι άχρηστο. Αποδεικνύει ότι η γλώσσα είναι κάτι περισσότερο από ένας τύπος δεδομένων.

Η απάντηση της Ευρώπης δεν θα πρέπει να είναι ένας διαγωνισμός για το πόσες γλώσσες χωρούν σε μια κάρτα μοντέλου. Θα πρέπει να είναι μια συνεχής προσπάθεια να γίνουν τα γλωσσικά δεδομένα, τα δικαιώματα, η τεχνογνωσία, η αξιολόγηση και ο δημόσιος έλεγχος μέρος της ίδιας υποδομής. Το έργο της Επιτροπής για τη γλωσσική τεχνολογία, ο Χώρος Γλωσσικών Δεδομένων, το Ευρωπαϊκό Γλωσσικό Πλέγμα και το σημείο αναφοράς EU MMLU δείχνουν όλα προς αυτή την κατεύθυνση. Ευρωπαίοι ερευνητές δοκιμάζουν τι συμβαίνει όταν τα μεταφρασμένα σημεία αναφοράς αντιμετωπίζονται ως ερευνητικά ερωτήματα και όχι ως αδιαμφισβήτητα εργαλεία. Το έργο τους αξίζει προσοχή επειδή καθιστά τεχνικά ορατό ένα παλιό πολιτικό γεγονός: οι άνθρωποι δεν βιώνουν την Ένωση σε μία γλώσσα.

Την επόμενη φορά που ένας προμηθευτής θα πει ότι ένα μοντέλο είναι πολύγλωσσο, ρωτήστε τι περιέχει αυτός ο ισχυρισμός. Ποιες γλώσσες; Ποιες εργασίες; Ποιες κοινότητες; Ποιες πηγές; Ποια επανεξέταση; Ποια άρνηση; Ποιο αρχείο αλλαγών; Η ερώτηση δεν είναι εχθρική. Είναι η συνηθισμένη αρχή της λογοδοσίας.

Μια κοινωνία δεν γίνεται δίκαιη επειδή μια μηχανή μπορεί να επαναλαμβάνει τις λέξεις της. Γίνεται πιο δίκαιη όταν οι άνθρωποι μπορούν να μπουν στους θεσμούς της, να καταλάβουν τι συμβαίνει, να αμφισβητήσουν ένα αποτέλεσμα και να ακουστούν στη γλώσσα που κουβαλά τη ζωή τους. Ένα μοντέλο μπορεί να βοηθήσει σε αυτό το έργο. Δεν μπορεί να το ορίσει. Η γλώσσα ενός μοντέλου είναι μια τεχνική δυνατότητα. Η γλώσσα μιας κοινωνίας είναι μια κοινή ευθύνη.

Πηγές