Ένα μικρό μοντέλο μπορεί να φέρει μεγάλη ευθύνη

Το μέγεθος του μοντέλου είναι τεχνικό χαρακτηριστικό. Η υποχρέωση απορρέει από τον σκοπό, το πλαίσιο, τα δεδομένα, την αρμοδιότητα και τους ανθρώπους γύρω...

Ένα μικρό μοντέλο μπορεί να φέρει μεγάλη ευθύνη

Ο νόμος δεν ρωτά πόσο μεγάλο είναι

Ανοίξτε την Πράξη για την Τεχνητή Νοημοσύνη της Ευρωπαϊκής Ένωσης και δεν θα συναντήσετε έναν μετρητή μοντέλων. Δεν υπάρχει πρώτη σελίδα όπου μια μηχανή ζυγίζεται, μετριέται και τοποθετείται σε ένα τακτοποιημένο νομικό συρτάρι. Η Πράξη ξεκινά με ένα σύστημα: ένα σύστημα βασισμένο σε μηχανή που λειτουργεί με διάφορους βαθμούς αυτονομίας, μπορεί να προσαρμόζεται μετά την ανάπτυξή του και συνάγει από τα δεδομένα εισόδου πώς να παράγει προβλέψεις, περιεχόμενο, συστάσεις ή αποφάσεις που μπορούν να επηρεάσουν ένα φυσικό ή εικονικό περιβάλλον. Ο ορισμός του αφορά το τι κάνει το σύστημα και τι μπορούν να αλλάξουν τα αποτελέσματά του.

Αυτό είναι ένα χρήσιμο σημείο εκκίνησης, επειδή η συζήτηση για την τεχνολογία προσπαθεί συνεχώς να βάλει το μέγεθος να κάνει τη δουλειά του πλαισίου. Ένα μικρότερο μοντέλο ακούγεται μετρημένο. Μπορεί να χωρά σε συνηθισμένο υλικό, να απαντά σε μία στενή ερώτηση ή να επιστρέφει μια ετικέτα αντί για μια παράγραφο. Αυτές μπορεί να είναι πολύτιμες μηχανικές ιδιότητες. Μπορούν να μειώσουν την επιφάνεια που πρέπει να ελεγχθεί, να χαμηλώσουν την όρεξη μιας ανάπτυξης για πόρους ή να κάνουν ένα εξάρτημα πιο εύκολο να αντικατασταθεί. Καμία από αυτές δεν μας λέει αν ένα άτομο μπορεί να χάσει ένα δικαίωμα, μια υπηρεσία, μια δουλειά ή μια ασφαλή διαδρομή εξαιτίας της ετικέτας.

Η υποχρέωση εμφανίζεται στη σχέση μεταξύ ενός συστήματος και του κόσμου γύρω του. Ποιος χρησιμοποιεί το αποτέλεσμα. Ποια απόφαση ακολουθεί. Ποια δεδομένα εισέρχονται στη διαδρομή. Πόση εξουσία έχει το σύστημα. Μπορεί ένα άτομο να αμφισβητήσει το αποτέλεσμα. Μπορεί κάποιος να το αντιστρέψει προτού η βλάβη γίνει μόνιμη. Εξαρτάται το επηρεαζόμενο άτομο από το αποτέλεσμα, ίσως επειδή δεν υπάρχει πρακτική εναλλακτική. Ένα μοντέλο μπορεί να είναι τεχνικά μικρό και θεσμικά μεγάλο. Αυτό είναι το επιχείρημα αυτού του άρθρου, και η λέξη θεσμικά κάνει το μεγάλο μέρος της δουλειάς.

Αυτό δεν είναι επιχείρημα για να αντιμετωπίζεται κάθε ταξινομητής ως δημόσια έκτακτη ανάγκη. Είναι επιχείρημα για αναλογικότητα. Η αναλογικότητα δεν σημαίνει ότι τα μικρά συστήματα λαμβάνουν ένα τελετουργικό χαμόγελο και καμία ερώτηση. Σημαίνει ότι οι ερωτήσεις ακολουθούν την πραγματική συνέπεια. Ένα μοντέλο που χρησιμοποιείται για να ταξινομήσει μια ιδιωτική συλλογή σημειώσεων και ένα μοντέλο που χρησιμοποιείται για να αποφασίσει ποιος θα τύχει ελέγχου μπορεί να φαίνονται παρόμοια σε ένα αποθετήριο. Δεν είναι παρόμοια στον κόσμο.

Το μέγεθος του μοντέλου περιγράφει ένα εξάρτημα. Ο σκοπός, οι επηρεαζόμενοι άνθρωποι και ο έλεγχος καθορίζουν την υποχρέωση που φέρει αυτό το εξάρτημα.

Το μικρό είναι μια μέτρηση, όχι ένα πλαίσιο

Το «μικρό» μπορεί να σημαίνει πολλά διαφορετικά πράγματα, και αυτές οι σημασίες συχνά αντικαθίστανται σιωπηλά. Μπορεί να σημαίνει λιγότερες παραμέτρους, μικρότερο αποτύπωμα μνήμης, λιγότερη υπολογιστική ισχύ για εκπαίδευση, περιορισμένο λεξιλόγιο, στενό σχήμα εξόδου ή σύντομο παράθυρο εισόδου. Μπορεί να σημαίνει ότι ένα μοντέλο λειτουργεί σε μια συσκευή αντί μέσω μιας απομακρυσμένης υπηρεσίας. Μπορεί επίσης να σημαίνει ότι μια ομάδα έχει αναθέσει στο μοντέλο ένα στενό έργο. Αυτοί οι ισχυρισμοί δεν είναι ίδιοι. Ένας μικρός αριθμός παραμέτρων δεν συνεπάγεται έναν μικρό κοινωνικό ρόλο, όπως ακριβώς ένας μεγάλος αριθμός παραμέτρων δεν σας λέει πού επιτρέπεται να δραστηριοποιηθεί το σύστημα.

Υπάρχει και μια δεύτερη σύγχυση. Οι άνθρωποι χρησιμοποιούν το «μικρό» για να εννοήσουν «τοπικό» και το «τοπικό» για να εννοήσουν «ακίνδυνο». Η τοπική ανάπτυξη μπορεί να βελτιώσει τον έλεγχο της μετακίνησης δεδομένων, της διαθεσιμότητας ή της επιχειρησιακής ιδιοκτησίας. Μπορεί επίσης να τοποθετήσει μια απόφαση απευθείας μέσα σε έναν χώρο εργασίας, σε ένα δημόσιο γκισέ, σε μια ιατρική διαδικασία ή σε μια συσκευή από την οποία ένα άτομο δεν μπορεί εύκολα να απομακρυνθεί. Η φυσική εγγύτητα μπορεί να μειώσει ένα είδος εξάρτησης ενώ αυξάνει τη σημασία των ανθρώπων που χειρίζονται το σύστημα. Ένας διακομιστής στο ίδιο κτίριο δεν είναι ηθική κατηγορία.

Έπειτα, υπάρχει το «μικρό» ως υπόσχεση για τις δυνατότητες. Ένα στοιχείο μπορεί να έχει εκπαιδευτεί για μία εργασία και να επηρεάζει παρόλα αυτά μια ευρύτερη διαδικασία. Μπορεί να επιστρέφει μόνο «έγκριση», «επανεξέταση» ή «άρνηση». Η επακόλουθη ροή εργασιών μπορεί να αντιμετωπίζει αυτές τις τρεις λέξεις ως πύλη. Το στοιχείο δεν χρειάζεται να γράψει μια έκθεση για να λάβει μια ουσιαστική απόφαση. Χρειάζεται μόνο να τοποθετηθεί εκεί όπου το επόμενο σύστημα, ή το επόμενο άτομο, δεν μπορεί εύκολα να το αμφισβητήσει.

Για τη διακυβέρνηση, η χρήσιμη μονάδα δεν είναι επομένως μόνο το μοντέλο. Είναι το μοντέλο όπως έχει αναπτυχθεί, με έναν σκοπό, έναν χειριστή, ένα όριο εισόδου, μια σύμβαση εξόδου, μια επακόλουθη ενέργεια και μια οδό διόρθωσης. Αυτό είναι λιγότερο τακτοποιημένο από έναν πίνακα κατάταξης. Είναι επίσης πιο κοντά στην πραγματικότητα. Ο πίνακας κατάταξης μπορεί να σας πει πώς απέδωσε ένα μοντέλο σε μια εργασία. Δεν μπορεί να σας πει αν αυτή η εργασία επιτρεπόταν, αν οι επηρεαζόμενοι μπορούσαν να αντιταχθούν ή αν ο οργανισμός είχε την εξουσία να χρησιμοποιήσει το αποτέλεσμα.

Η γλώσσα της Ευρωπαϊκής Επιτροπής για την τεχνητή νοημοσύνη γενικού σκοπού απεικονίζει σιωπηλά αυτή τη διάκριση. Η Επιτροπή δίνει τεχνικά κριτήρια για να βοηθήσει στον εντοπισμό του πότε ένα μοντέλο μπορεί να εμπίπτει στις υποχρεώσεις για την ΤΝ γενικού σκοπού, αλλά αναφέρει επίσης ότι τα κριτήρια είναι ενδεικτικά και ότι η αξιολόγηση κατά περίπτωση παραμένει απαραίτητη. Η κατευθυντήρια γραμμή δεν προσποιείται ότι ένας αριθμός μπορεί να περιγράψει κάθε ρόλο που μπορεί να διαδραματίσει ένα μοντέλο. Προσπαθεί να κάνει λειτουργικό ένα ερώτημα ταξινόμησης χωρίς να το μετατρέψει σε μια καθολική θεωρία βλάβης.

Το όριο δεν είναι η ετυμηγορία

Υπάρχουν αριθμοί στην Πράξη για την ΤΝ, και αυτός είναι ένας λόγος που οι άνθρωποι καταφεύγουν σε αριθμούς όταν θέλουν βεβαιότητα. Το άρθρο 51 δημιουργεί ένα τεκμήριο δυνατοτήτων υψηλού αντικτύπου για ένα μοντέλο ΤΝ γενικού σκοπού που έχει εκπαιδευτεί με σωρευτικό όγκο υπολογισμών μεγαλύτερο από 1025 πράξεις κινητής υποδιαστολής. Αυτό το τεκμήριο ανήκει στην ταξινόμηση των μοντέλων ΤΝ γενικού σκοπού με συστημικό κίνδυνο. Δεν είναι κανόνας ότι ένα μοντέλο κάτω από το όριο είναι ασφαλές, ούτε κανόνας ότι κάθε μοντέλο πάνω από αυτό προκαλεί την ίδια βλάβη.

Η κατευθυντήρια γραμμή της Επιτροπής για την ΤΝ γενικού σκοπού χρησιμοποιεί ένα διαφορετικό ενδεικτικό όριο, πάνω από 1023 πράξεις κινητής υποδιαστολής σε συνδυασμό με ευρεία γενετική ικανότητα, για να βοηθήσει στον εντοπισμό μοντέλων που μπορεί να είναι γενικού σκοπού. Η σελίδα είναι σαφής ως προς τα όρια. Ένα μοντέλο κάτω από τον δείκτη μπορεί να πληροί ακόμα τα κριτήρια αν επιδεικνύει σημαντική γενικότητα. Ένα μοντέλο που τον πληροί μπορεί κατ' εξαίρεση να μην τα πληροί αν του λείπει η σχετική γενικότητα. Η κατευθυντήρια γραμμή είναι μια ερμηνεία για ένα συγκεκριμένο νομικό ζήτημα, όχι μια άδεια για κάθε επακόλουθη χρήση.

Αυτά τα δύο κατώτατα όρια είναι χρήσιμα ακριβώς επειδή είναι στενά. Βοηθούν τις αρχές και τους παρόχους να ταξινομήσουν μια συγκεκριμένη κατηγορία υποχρεώσεων για τα μοντέλα. Δεν κρίνουν αν ένα μικρό μοντέλο ενσωματωμένο σε ένα σύστημα υψηλού κινδύνου χρήζει ιδιαίτερης προσοχής. Δεν κρίνουν αν η επεξεργασία δεδομένων είναι νόμιμη. Δεν κρίνουν αν ένα άτομο μπορεί να αμφισβητήσει μια απόφαση. Ένα κατώτατο όριο μπορεί να καθορίσει ότι πρέπει να τεθεί ένα ερώτημα. Δεν μπορεί να απαντήσει στο ερώτημα που ανήκει σε διαφορετικό επίπεδο.

Τα τεχνικά κατώτατα όρια γερνούν επίσης. Ο κανονισμός ορίζει ότι η Επιτροπή μπορεί να προσαρμόζει το κατώτατο όριο συστημικού κινδύνου υπό το πρίσμα των τεχνολογικών εξελίξεων, συμπεριλαμβανομένων των βελτιώσεων στους αλγορίθμους και της απόδοσης του υλικού. Η καθοδήγηση της Επιτροπής αναφέρει ότι το δικό της κριτήριο δεν είναι απόλυτο. Πρόκειται για μια συνετή παραδοχή. Ένας αριθμός που φαίνεται σταθερός σε ένα υπολογιστικό φύλλο προμηθειών μπορεί να μεταβληθεί όταν αλλάξει η γύρω τεχνολογία. Η υπεύθυνη αντίδραση δεν είναι να δυσπιστούμε σε κάθε αριθμό. Είναι να διατηρήσουμε τον αριθμό συνδεδεμένο με το ερώτημα που σχεδιάστηκε να απαντήσει.

Υπάρχει ένα πρακτικό μάθημα για τις ομάδες που δημοσιεύουν δελτία μοντέλων ή εσωτερικές σημειώσεις αρχιτεκτονικής. Να αναφέρετε το κατώτατο όριο, τη μονάδα, τη νομική διάταξη και το όριο. Να διευκρινίζετε αν ένας αριθμός αποτελεί νομικό τεκμήριο, ένδειξη της Επιτροπής, προϋπόθεση αξιολόγησης ή εσωτερικό σχεδιαστικό στόχο. Μην αφήνετε μια μετρική να αποκτήσει ευρύτερη σημασία επειδή είναι βολική σε μια παρουσίαση. Μια μικρή μετρική μπορεί να φέρει και μια μεγάλη υποχρέωση. Ο αριθμός χρειάζεται τη δική του προέλευση.

Ένα σύστημα είναι κάτι περισσότερο από το μοντέλο που περιέχει

Ο κανονισμός για την τεχνητή νοημοσύνη καθιστά ορατό το όριο του συστήματος. Ορίζει τους παρόχους και τους χρήστες, διαχωρίζει τα μοντέλα από τα συστήματα και κατανέμει τις υποχρεώσεις κατά μήκος της αλυσίδας αξίας. Πάροχος μπορεί να είναι το φυσικό ή νομικό πρόσωπο που αναπτύσσει ένα σύστημα ή αναθέτει την ανάπτυξή του και το διαθέτει στην αγορά ή το θέτει σε λειτουργία υπό την επωνυμία του. Χρήστης είναι το φυσικό ή νομικό πρόσωπο που χρησιμοποιεί ένα σύστημα υπό την εξουσία του. Αυτοί οι ρόλοι έχουν σημασία επειδή το ίδιο υποκείμενο στοιχείο μπορεί να βρίσκεται σε διαφορετικές διατάξεις με διαφορετικές ευθύνες.

Φανταστείτε έναν συμπαγή ταξινομητή κειμένου που επιστρέφει μία από τέσσερις κατηγορίες. Το μοντέλο δεν έχει διεπαφή χρήστη, μνήμη ή δυνατότητα κλήσης εργαλείου. Σε ένα περιβάλλον ταξινομεί τα έγγραφα της ίδιας της ομάδας σε φακέλους. Σε ένα άλλο, χαρακτηρίζει αιτήσεις για μια δημόσια υπηρεσία, έτσι ώστε ορισμένα άτομα να υποβάλλονται σε πρόσθετο έλεγχο. Το στοιχείο μπορεί να είναι τεχνικά πανομοιότυπο. Το δεύτερο σύστημα έχει διαφορετικό σκοπό, διαφορετικά επηρεαζόμενα άτομα, διαφορετική σχέση εξουσίας και διαφορετική ανάγκη για εξηγήσεις και επανόρθωση.

Οι κανόνες ταξινόμησης υψηλού κινδύνου του κανονισμού ακολουθούν αυτού του είδους τη διαφορά. Εξετάζουν αν ένα σύστημα αποτελεί στοιχείο ασφαλείας, αν χρησιμοποιείται σε τομέα που περιλαμβάνεται στο Παράρτημα III και αν ενέχει σημαντικό κίνδυνο για την υγεία, την ασφάλεια ή τα θεμελιώδη δικαιώματα. Η διαδρομή της απαριθμούμενης χρήσης δεν αποτελεί κρίση για την κομψότητα του μοντέλου. Είναι κρίση για το τι κάνει το σύστημα σε ένα περιβάλλον όπου μια λανθασμένη έξοδος μπορεί να έχει σημασία. Μια στενή διαδικαστική εργασία μπορεί να εμπίπτει σε μια προσεκτικά διατυπωμένη εξαίρεση όταν δεν επηρεάζει ουσιωδώς μια απόφαση, αλλά ο πάροχος πρέπει να τεκμηριώνει αυτή την αξιολόγηση.

Αυτή η απαίτηση τεκμηρίωσης είναι εύκολο να υποτιμηθεί. Μια ομάδα που λέει ότι το σύστημα είναι μόνο προπαρασκευαστικό έχει διατυπώσει έναν ισχυρισμό περί αιτιότητας. Λέει ότι η έξοδος δεν επηρεάζει ουσιωδώς την απόφαση που ακολουθεί. Αν ο αξιολογητής αντιμετωπίζει την ένδειξη ως λόγο για να ανοίξει φάκελο, αν το προσωπικό βασίζεται σε μια κατάταξη ή αν ένας αιτών δεν έχει ουσιαστικό τρόπο να διορθώσει τα δεδομένα πίσω από τη σήμανση, η πρακτική επιρροή μπορεί να είναι μεγαλύτερη από ό,τι υποδηλώνει η διεπαφή. Η λέξη προπαρασκευαστικό δεν μπορεί να επιτραπεί να σημαίνει αόρατο.

Τα όρια του συστήματος περιλαμβάνουν και τον «βαρετό» μηχανισμό γύρω από ένα μοντέλο: την πηγή δεδομένων, το όριο απόφασης, την ουρά αναμονής, το άτομο που παραλαμβάνει το αποτέλεσμα, το αρχείο που διατηρείται, τη σύμβαση με τον προμηθευτή, τη διαδικασία ενημέρωσης και τη διαδρομή διακοπής της ροής εργασίας. Ένα μικρό μοντέλο μπορεί να είναι το ορατό αντικείμενο, ενώ ο πραγματικός κίνδυνος βρίσκεται στο σημείο παράδοσης. Γι' αυτό μια αξιολόγηση κινδύνου που ρωτά μόνο τι προβλέπει το μοντέλο είναι ελλιπής. Το δυσκολότερο ερώτημα είναι τι κάνει ο οργανισμός επειδή έγινε η πρόβλεψη.

Ο σκοπός αλλάζει τη σημασία του ίδιου αποτελέσματος

Ένα αποτέλεσμα δεν έχει καμία υποχρέωση από μόνο του. Η ίδια πιθανότητα, κατηγορία ή σύσταση μπορεί να είναι ακίνδυνη σε μια εργασία και να έχει σημαντικές συνέπειες σε μια άλλη. Αυτό δεν συμβαίνει επειδή οι λέξεις αλλάζουν τη σημασία τους στο λεξικό. Συμβαίνει επειδή το αποτέλεσμα εντάσσεται σε μια δομή απόφασης. Μια κατάταξη που χρησιμοποιείται για να επιλέξεις ποιες ερευνητικές σημειώσεις θα διαβάσεις πρώτες δεν είναι το ίδιο πράγμα με μια κατάταξη που χρησιμοποιείται για να αποφασιστεί ποιο νοικοκυριό θα υποβληθεί σε έρευνα για απάτη. Το μηχάνημα μπορεί να χρησιμοποιεί τα ίδια μαθηματικά. Ο θεσμός δεν έχει την ίδια σχέση με τους ανθρώπους στο άλλο άκρο.

Το άρθρο 7 του Κανονισμού για την Τεχνητή Νοημοσύνη απαριθμεί τα κριτήρια που πρέπει να εξετάζει η Επιτροπή όταν προσθέτει ή τροποποιεί περιπτώσεις χρήσης υψηλού κινδύνου. Αυτά περιλαμβάνουν τον επιδιωκόμενο σκοπό, το πόσο ευρέως χρησιμοποιείται ή είναι πιθανό να χρησιμοποιηθεί το σύστημα, τη φύση και τον όγκο των δεδομένων, την αυτονομία και τη δυνατότητα ανθρώπινης παρέμβασης, την έκταση και την ένταση της πιθανής βλάβης, την εξάρτηση από το αποτέλεσμα, την ανισορροπία ισχύος, την ευαλωτότητα, την αναστρεψιμότητα, το όφελος και τη διαθεσιμότητα επανόρθωσης. Αν διαβαστούν μαζί, αυτά τα κριτήρια αποτελούν μια χρήσιμη απάντηση στη λογική που επικεντρώνεται στο μέγεθος του μοντέλου. Περιγράφουν μια σχέση, όχι ένα αρχείο βαρών.

Το στοιχείο παραμένει μικρό, ενώ ο σκοπός, η ισχύς, η εξάρτηση και η αναστρεψιμότητα γύρω του αλλάζουν το ζήτημα του ελέγχου.

Η εξάρτηση είναι ιδιαίτερα σημαντική. Ένα άτομο μπορεί μερικές φορές να αγνοήσει μια σύσταση, να αναζητήσει άλλη υπηρεσία ή να ζητήσει από έναν συνάδελφο να ελέγξει την απάντηση. Ένα άτομο μπορεί επίσης να μην έχει καμία πρακτική εναλλακτική. Αν ένα αυτοματοποιημένο βήμα ελέγχου καθορίζει αν μια υπηρεσία θα καθυστερήσει, αν μια αίτηση θα τύχει προσοχής ή αν ένας εργαζόμενος θα κληθεί σε συνάντηση, το ενδιαφερόμενο άτομο μπορεί να χρειαστεί να αποδεχτεί την πρώτη ερμηνεία του συστήματος, ενώ ο οργανισμός αποφασίζει αν θα εξετάσει ξανά το θέμα. Όσο μικρότερη είναι η ορατή απόφαση, τόσο πιο εύκολα μπορεί να περάσει απαρατήρητη η εξάρτηση που κρύβεται από κάτω.

Η αναστρεψιμότητα έχει σημασία για τον ίδιο λόγο. Ένα τυπογραφικό λάθος σε μια εσωτερική ετικέτα μπορεί να διορθωθεί πριν βασιστεί κανείς σε αυτήν. Μια σημαία κινδύνου μπορεί να αλλάξει τη σειρά με την οποία εξετάζεται μια υπόθεση, και η καθυστέρηση μπορεί από μόνη της να έχει συνέπειες. Μια άρνηση μπορεί να οδηγήσει σε χαμένη προθεσμία. Μια κατάταξη μπορεί να γίνει η μόνη κατάταξη που βλέπει μια πολυάσχολη ομάδα. Το γεγονός ότι ένας διαχειριστής μπορεί τεχνικά να επεξεργαστεί μια βάση δεδομένων δεν αποδεικνύει ότι το κοινωνικό αποτέλεσμα είναι εύκολο να αντιστραφεί. Η τεχνική αναστρεψιμότητα και η βιωμένη αναστρεψιμότητα σχετίζονται, αλλά δεν είναι ταυτόσημες.

Εδώ η αναλογικότητα αποκτά ουσία. Μια εσωτερική πρόταση χαμηλού αντικτύπου μπορεί να χρειάζεται ελαφρύ αρχείο και σαφή υπεύθυνο. Ένα σύστημα που επηρεάζει την πρόσβαση σε μια δημόσια υπηρεσία χρειάζεται ισχυρότερη τεκμηρίωση, μια ενημερωμένη ανθρώπινη διαδρομή και έναν τρόπο αμφισβήτησης τόσο των εισροών όσο και των εκροών. Οι αναλογικοί έλεγχοι δεν είναι η απουσία ελέγχων. Είναι έλεγχοι που επιλέγονται επειδή η σχέση τους αξίζει.

Τα δεδομένα διατηρούν τις υποχρεώσεις τους

Το μέγεθος του μοντέλου δεν καθιστά τα δεδομένα ανώνυμα από μόνο του. Η Γνώμη 28/2024 του Ευρωπαϊκού Συμβουλίου Προστασίας Δεδομένων αναφέρει ότι το κατά πόσον ένα μοντέλο τεχνητής νοημοσύνης μπορεί να θεωρηθεί ανώνυμο πρέπει να αξιολογείται κατά περίπτωση. Το κριτήριο στη δημόσια σύνοψη του ΕΣΠΔ θέτει το ερώτημα αν είναι πολύ απίθανο το μοντέλο να μπορεί να ταυτοποιήσει άμεσα ή έμμεσα τα άτομα των οποίων τα δεδομένα χρησιμοποιήθηκαν για τη δημιουργία του, και αν είναι πολύ απίθανο να μπορούν να εξαχθούν τα προσωπικά τους δεδομένα μέσω ερωτημάτων. Ένα μικρότερο μοντέλο μπορεί να περιέχει λιγότερες πληροφορίες, αλλά το λιγότερο δεν αποτελεί νομικό συμπέρασμα.

Το ΕΣΠΔ διατηρεί επίσης στο επίκεντρο το πλαίσιο γύρω από το έννομο συμφέρον. Η ανάλυσή του επισημαίνει την αναγκαιότητα και τη στάθμιση, και απαριθμεί τη σχέση μεταξύ των ατόμων και του υπευθύνου επεξεργασίας, τη φύση της υπηρεσίας, το πλαίσιο στο οποίο συλλέχθηκαν τα δεδομένα, την πηγή, τις πιθανές περαιτέρω χρήσεις και το τι θα μπορούσε εύλογα να αναμένει κανείς. Αυτοί οι παράγοντες δεν εξαφανίζονται όταν ένα μοντέλο συμπιέζεται, αποστάζεται, κβαντίζεται ή τοποθετείται πίσω από ένα προσεγμένο API. Η συμπίεση αλλάζει ένα τεχνικό αντικείμενο. Δεν ξαναγράφει την ιστορία του γιατί συλλέχθηκαν τα δεδομένα ή τι είπαν στα άτομα.

Υπάρχει μια χρήσιμη πειθαρχία στο να διαβάζει κανείς αυτή τη γνώμη παράλληλα με τη μηχανική μοντέλων. Ρωτήστε για τι εκπαιδεύτηκε ή προσαρμόστηκε το μοντέλο, ποια δεδομένα λαμβάνει κατά την εκτέλεση, ποια αρχεία διατηρούνται και ποιος μπορεί να υποβάλει ερωτήματα. Στη συνέχεια ρωτήστε τι συμβαίνει στη συνέχεια. Αντιγράφεται το αποτέλεσμα σε ένα αρχείο υπόθεσης; Γίνεται μια κατάταξη οδηγία; Βλέπει ο ανθρώπινος αναθεωρητής το υλικό πηγής ή μόνο την ετικέτα του μοντέλου; Υπάρχει διαδρομή για το ενδιαφερόμενο άτομο να διορθώσει ένα πραγματικό σφάλμα; Αυτά είναι ερωτήματα δεδομένων και διακυβέρνησης, όχι απλώς ερωτήματα ακρίβειας.

Η δημόσια σύνοψη του ΕΣΠΔ σημειώνει επίσης ότι η χρήση παράνομα επεξεργασμένων προσωπικών δεδομένων για την ανάπτυξη ενός μοντέλου μπορεί να επηρεάσει τη νομιμότητα της ανάπτυξής του, εκτός εάν το μοντέλο έχει δεόντως ανωνυμοποιηθεί. Αυτή η πρόταση αντιστέκεται σε μια γνωστή οδό διαφυγής. Μια ομάδα δεν μπορεί να κάνει ένα πρόβλημα να εξαφανιστεί λέγοντας ότι το τελικό μοντέλο είναι μικρό, ότι τα δεδομένα δεν είναι πλέον ορατά ή ότι το μοντέλο είναι μόνο ένα στοιχείο. Η νομική και ηθική ιστορία των δεδομένων παραμένει μέρος της ιστορίας του συστήματος.

Για τους μηχανικούς, αυτό σημαίνει ότι το αρχείο εκπαίδευσης και το αρχείο ανάπτυξης δεν πρέπει να αντιμετωπίζονται ως ξεχωριστά σύμπαντα. Για τις προμήθειες, σημαίνει ότι η δήλωση ενός προμηθευτή σχετικά με το μέγεθος του μοντέλου δεν υποκαθιστά την προέλευση των δεδομένων, τον σκοπό, τη διατήρηση, τη διαχείριση δικαιωμάτων ή την τεκμηρίωση των επόμενων σταδίων. Για ένα ενδιαφερόμενο άτομο, σημαίνει ότι η χρήσιμη ερώτηση δεν είναι πόσες παράμετροι εμπλέκονται. Είναι τι συνέβη στις πληροφορίες του και τι μπορεί να κάνει ο οργανισμός όταν το αποτέλεσμα είναι λάθος.

Ένα μικρό σήμα μπορεί να μετακινήσει μια μεγάλη ουρά

Εξετάστε ένα υποθετικό γραφείο εξυπηρέτησης που δέχεται αιτήματα από κατοίκους. Ένας συμπαγής ταξινομητής διαβάζει το πρώτο μήνυμα και αποδίδει μια διαδρομή: ενημέρωση, συνήθης εργασία, επείγουσα εξέταση ή χειρισμός από ειδικό. Το παράδειγμα είναι σκόπιμα κοινότοπο και εξ ολοκλήρου ενδεικτικό. Δεν υπάρχει κατονομαζόμενος δήμος, καμία πραγματική εγκατάσταση, καμία χρονοσφραγίδα και κανένας ισχυρισμός ότι συνέβη κάτι τέτοιο. Σκοπός είναι να γίνει ορατό το όριο.

Αν οι κατηγορίες απλώς βοηθούν έναν υπάλληλο να οργανώσει ένα ιδιωτικό σύνολο σημειώσεων, ο κίνδυνος μπορεί να είναι περιορισμένος. Αν η επείγουσα διαδρομή καθορίζει ποιος θα λάβει επιθεώρηση ασφαλείας, το αποτέλεσμα βρίσκεται πλέον πιο κοντά σε μια δημόσια απόφαση. Αν μια λέξη-κλειδί που λείπει στέλνει το αίτημα ενός ατόμου στη συνήθη εργασία, η καθυστέρηση μπορεί να έχει σημασία ακόμη κι αν το μοντέλο δεν απευθύνεται ποτέ στον κάτοικο. Αν ο υπάλληλος μπορεί να δει το αρχικό μήνυμα, να αλλάξει τη διαδρομή, να καταγράψει τον λόγο και να απαντήσει γρήγορα σε μια ένσταση, το σύστημα έχει διαφορετική στάση ελέγχου από εκείνη στην οποία η ετικέτα γίνεται μια κρυφή πύλη.

Το μοντέλο δεν έχει γίνει μεγαλύτερο. Η υποχρέωση έχει γίνει σαφέστερη. Ακολουθεί τη διαδρομή από την είσοδο έως τη συνέπεια. Ο οργανισμός πρέπει να γνωρίζει τι σημαίνουν οι κατηγορίες, ποια στοιχεία μπορεί να χρησιμοποιήσει το μοντέλο, ποιες περιπτώσεις απαιτούν άρνηση ή κλιμάκωση, ποιος μπορεί να παρακάμψει τη διαδρομή και ποιο αρχείο επιτρέπει σε έναν μεταγενέστερο αξιολογητή να κατανοήσει την απόφαση. Η μετριοπάθεια του μοντέλου δεν αποτελεί λόγο να παραλειφθούν αυτά τα ερωτήματα. Μπορεί να αποτελεί λόγο να απαντηθούν με μεγαλύτερη ακρίβεια, επειδή η σύμβαση του στοιχείου μπορεί να περιοριστεί στενά.

Ένα παρόμοιο υποθετικό σενάριο εμφανίζεται στην απασχόληση. Ένα μικρό μοντέλο θα μπορούσε να εξάγει δεξιότητες από ένα βιογραφικό, να ταξινομήσει έναν ρόλο ή να επισημάνει ένα πιστοποιητικό που λείπει. Η εξαγωγή ακούγεται λιγότερο σημαντική από την επιλογή, αλλά η εξαγωγή μπορεί να διαμορφώσει την κατάταξη που ακολουθεί. Αν το αποτέλεσμα δεν χρησιμοποιείται ποτέ για να αποφασιστεί ποιος θα προχωρήσει, το σύστημα μπορεί να παραμείνει στην προπαρασκευαστική πλευρά ενός ορίου. Αν οι άνθρωποι αντιμετωπίζουν την εξαγόμενη ετικέτα ως αντικειμενική σύνοψη και σταματούν να εξετάζουν το έγγραφο, το όριο μετατοπίζεται. Η υποχρέωση βρίσκεται στη χρήση, όχι στο ρήμα που επιλέγεται για την περιγραφή της εργασίας του μοντέλου.

Και στις δύο απεικονίσεις, η σωστή απάντηση δεν είναι να πανικοβληθεί κανείς για ένα μικρό μοντέλο. Είναι να καταστεί ρητή η παράδοση. Ονομάστε τον επιδιωκόμενο σκοπό. Δηλώστε τι μπορεί και τι δεν μπορεί να αλλάξει το αποτέλεσμα. Διατηρήστε την πηγή και την έκδοση του μοντέλου όπου μια απόφαση εξαρτάται από αυτά. Δώστε σε ένα άτομο αρκετές πληροφορίες και εξουσία για να διαφωνήσει. Δοκιμάστε τα τμήματα όπου αναμένεται το σύστημα να είναι αβέβαιο. Επανεξετάστε τη ροή εργασίας όταν ο οργανισμός αλλάζει τα δεδομένα, το όριο, το κοινό ή τη μεταγενέστερη ενέργεια.

Τι διδάσκει πραγματικά η απόφαση SyRI της Ολλανδίας

Η Ευρώπη έχει ήδη ένα τεκμηριωμένο παράδειγμα ενός συστήματος κινδύνου με συμπαγή εμφάνιση που φέρει υποχρέωση ανάλογη των δικαιωμάτων. Στις 5 Φεβρουαρίου 2020, το Περιφερειακό Δικαστήριο της Χάγης περιέγραψε το SyRI ως ένα νόμιμο κυβερνητικό μέσο που χρησιμοποιείται για την καταπολέμηση της απάτης σε επιδόματα, επιδοτήσεις και φόρους. Το δικαστήριο δεν έκρινε την υπόθεση ρωτώντας πόσες παραμέτρους είχε το σύστημα. Αξιολόγησε το νομικό πλαίσιο σε σχέση με το Άρθρο 8 της Ευρωπαϊκής Σύμβασης για τα Δικαιώματα του Ανθρώπου, συμπεριλαμβανομένου του κατά πόσον η επέμβαση στην ιδιωτική ζωή επιτύγχανε δίκαιη ισορροπία.

Το δικαστήριο κατέληξε ότι η νομοθεσία SyRI δεν περνούσε αυτή τη δοκιμασία. Σύμφωνα με την περιγραφή του δικαστηρίου, η χρήση του SyRI δεν ήταν επαρκώς διαφανής και ελεγχόμενη. Το νομικό πλαίσιο ήταν επομένως ασυμβίβαστο με το ανώτερο δίκαιο και δεν μπορούσε να ισχύσει στην υπάρχουσα μορφή του. Η δημόσια σελίδα της υπόθεσης είναι συνοπτική, αλλά το δίδαγμά της δεν είναι μικρό: όταν ένα κράτος χρησιμοποιεί ένα σύστημα ένδειξης κινδύνου εναντίον ανθρώπων που μπορεί να έχουν ελάχιστη δύναμη να το κατανοήσουν ή να το αμφισβητήσουν, το σύστημα χρειάζεται ένα επίπεδο διαφάνειας και ελέγχου ανάλογο αυτής της σχέσης.

Το SyRI ήταν ολλανδικό θεσμικό εργαλείο εκτίμησης κινδύνου, όχι μελέτη περίπτωσης για ένα σύγχρονο νευρωνικό μοντέλο, και η σελίδα του δικαστηρίου δεν μας δίνει αριθμό παραμέτρων για να συζητήσουμε. Αυτός είναι ακριβώς ο λόγος που ανήκει εδώ. Το παράδειγμα μας εμποδίζει να αντιμετωπίζουμε την αρχιτεκτονική του μοντέλου ως το μόνο ενδιαφέρον αντικείμενο. Μια μηχανή κανόνων, ένας πίνακας βαθμολόγησης, ένα στατιστικό μοντέλο ή ένας μικρός ταξινομητής μπορούν όλα να γίνουν μέρος μιας θεσμικής απόφασης. Το ζήτημα των δικαιωμάτων προκύπτει μέσα από τη χρήση.

Η απόφαση τοποθετεί επίσης τη διαφάνεια στη σωστή θέση. Δεν είναι απλώς ένα αίτημα για εξήγηση αφού έχει υποστεί βλάβη ένα άτομο. Είναι μέρος των προϋποθέσεων υπό τις οποίες το σύστημα μπορεί να κριθεί πριν και ενώ λειτουργεί. Αν οι άνθρωποι δεν μπορούν να δουν αρκετά από τον σκοπό, τη χρήση δεδομένων, τις διασφαλίσεις και τη διαδρομή αμφισβήτησης ώστε να κατανοήσουν την επέμβαση, ένας οργανισμός μπορεί να μην είναι σε θέση να αποδείξει τη δίκαιη ισορροπία που ισχυρίζεται ότι έχει επιτύχει.

Δεν υπάρχει λόγος να μετατραπεί το SyRI σε καθολική αναλογία. Το ολλανδικό νομικό πλαίσιο, τα πραγματικά περιστατικά της υπόθεσης και η Ευρωπαϊκή Σύμβαση είναι συγκεκριμένα. Η χρήσιμη μεταφορά είναι στενότερη: μην ρωτάτε αν ένα σύστημα είναι τεχνικά εντυπωσιακό πριν ρωτήσετε αν η θεσμική του σχέση είναι ορατή, ελέγξιμη και αμφισβητήσιμη. Μια μικρότερη μηχανή δεν δικαιολογεί μια μεγαλύτερη σιωπή.

Η ετικέτα ταξιδεύει στη μεταγενέστερη χρήση

Ένα μοντέλο μπορεί να εισαχθεί ως εξάρτημα και παρόλα αυτά να γίνει μέρος ενός συστήματος που φέρει άλλη υποχρέωση. Οι κατευθυντήριες γραμμές της Επιτροπής για το GPAI εξηγούν γιατί οι μεταγενέστεροι πάροχοι χρειάζονται πληροφορίες σχετικά με τις δυνατότητες και τους περιορισμούς ενός μοντέλου. Χρειάζονται αυτές τις πληροφορίες για να ενσωματώσουν το μοντέλο υπεύθυνα και να εκπληρώσουν τις δικές τους υποχρεώσεις βάσει του AI Act. Ο πάροχος του μοντέλου και ο πάροχος του συστήματος δεν γράφουν το ίδιο έγγραφο επειδή δεν απαντούν στην ίδια ερώτηση.

Αυτή η διάκριση έχει σημασία όταν οι ομάδες αντιμετωπίζουν μια κάρτα μοντέλου ως διαβατήριο. Μια κάρτα μοντέλου μπορεί να περιγράφει την αρχιτεκτονική, την εκπαίδευση, την αξιολόγηση, τους γνωστούς περιορισμούς και τις προβλεπόμενες χρήσεις. Δεν μπορεί από μόνη της να περιγράψει κάθε περιβάλλον στο οποίο μια μεταγενέστερη ομάδα μπορεί να τοποθετήσει το μοντέλο. Το μεταγενέστερο σύστημα προσθέτει έναν χρήστη, έναν σκοπό, ροές δεδομένων, μια διεπαφή, ανθρώπινους ρόλους, μια απόφαση και ένα σύνολο επηρεαζόμενων ατόμων. Αυτές οι προσθήκες μπορούν να αλλάξουν την υποχρέωση ακόμη και όταν τα βάρη του μοντέλου παραμένουν άθικτα.

Η ευθύνη μπορεί επίσης να αλλάξει όταν ένας οργανισμός τροποποιεί τον προβλεπόμενο σκοπό ή προβαίνει σε ουσιαστική τροποποίηση. Οι διατάξεις του AI Act για την αλυσίδα αξίας περιγράφουν περιστάσεις υπό τις οποίες ένας φορέας μπορεί να αναλάβει τις ευθύνες του παρόχου, συμπεριλαμβανομένης της αλλαγής του προβλεπόμενου σκοπού ενός συστήματος ΤΝ έτσι ώστε να καθίσταται υψηλού κινδύνου. Αυτή είναι μια χρήσιμη προειδοποίηση ενάντια στη συμβατική ομίχλη. Ένας προμηθευτής μπορεί να παρέχει ένα εξάρτημα, αλλά ένας αναπτύσσων δεν μπορεί να κάνει τη δική του χρήση να εξαφανιστεί αποκαλώντας το εξάρτημα βιβλιοθήκη.

Η πρακτική παράδοση θα πρέπει επομένως να περιέχει κάτι περισσότερο από έναν σύνδεσμο λήψης. Θα πρέπει να αναφέρει τις προβλεπόμενες εργασίες, τα όρια εισόδου και εξόδου, τις απαιτήσεις ενσωμάτωσης, τις πληροφορίες εκπαίδευσης και επικύρωσης όπου είναι σχετικές, τους γνωστούς περιορισμούς και τις συνθήκες υπό τις οποίες το εξάρτημα δεν θα πρέπει να χρησιμοποιείται. Θα πρέπει να εξηγεί τι δεν αξιολόγησε το μοντέλο. Μια μεταγενέστερη ομάδα δεν θα πρέπει να χρειάζεται να συμπεράνει την απουσία εγγύησης από την παρουσία ενός σίγουρου διαγράμματος.

Υπάρχει ένας ανθρώπινος λόγος για αυτή τη γραφειοκρατία. Το άτομο που επηρεάζεται από το τελικό σύστημα δεν συναντά έναν πάροχο μοντέλου αφηρημένα. Συναντά έναν οργανισμό που επέλεξε μια ροή εργασίας. Ο οργανισμός πρέπει να είναι σε θέση να πει τι έκανε το εξάρτημα, τι έκανε ο οργανισμός με αυτό και πώς μπορεί ένα άτομο να αμφισβητήσει το αποτέλεσμα. Αν οι απαντήσεις βρίσκονται σε τρία συμβόλαια και δεν υπάρχει επιχειρησιακό αρχείο, το σύστημα δεν είναι καλά ενσωματωμένο. Είναι απλώς καλά διανεμημένο.

Η ανθρώπινη οδός πρέπει να είναι πραγματική

Η ανθρώπινη εποπτεία συχνά παρουσιάζεται ως ένα άτομο που κάθεται μπροστά σε μια οθόνη. Ο νόμος για την Τεχνητή Νοημοσύνη είναι πιο ακριβής. Για συστήματα υψηλού κινδύνου, η εποπτεία πρέπει να είναι αποτελεσματική και ανάλογη με τους κινδύνους, το επίπεδο αυτονομίας και το πλαίσιο χρήσης. Το άτομο που ορίζεται για την εποπτεία θα πρέπει να μπορεί να κατανοεί τις σχετικές δυνατότητες και τους περιορισμούς, να παρακολουθεί για ανωμαλίες, να ερμηνεύει το αποτέλεσμα, να αποφασίζει να μην το χρησιμοποιήσει, να το αγνοεί ή να το παρακάμπτει, να το αναστρέφει και να παρεμβαίνει ή να διακόπτει με ασφάλεια τη λειτουργία του συστήματος.

Κανένα από αυτά τα ρήματα δεν είναι εγγυημένο από ένα μικρό μοντέλο. Ένα περιορισμένο αποτέλεσμα μπορεί να είναι πιο εύκολο να ερμηνευτεί, αλλά η ερμηνεία δεν είναι το ίδιο με την εξουσία. Ένα κουμπί παράκαμψης που κανείς δεν μπορεί να χρησιμοποιήσει επειδή η ουρά είναι πολύ μεγάλη δεν αποτελεί αποτελεσματική εποπτεία. Ένας αναθεωρητής που βλέπει μόνο ένα χρώμα ή μια ετικέτα δεν μπορεί να ελέγξει ουσιαστικά την πηγή. Ένα άτομο που θεωρείται υπεύθυνο για μια απόφαση αλλά δεν μπορεί να διακόψει τη ροή εργασίας δεν είναι το σημείο ελέγχου. Είναι ένα διακοσμητικό κενό με ανθρώπινη μορφή στο διάγραμμα.

Η αναλογική εποπτεία μπορεί να είναι διακριτική. Μπορεί να είναι μια σαφής διαδρομή για να επισημαίνει ένας εργαζόμενος τα ανεπαρκή στοιχεία, ένας δεύτερος έλεγχος για μια ευαίσθητη κατηγορία, ένα αρχείο του γιατί απορρίφθηκε μια σύσταση ή μια αυτόματη παύση όταν λείπουν υποχρεωτικά πεδία. Μπορεί να είναι ένα άτομο που έχει την κυριότητα της απόφασης και έχει χρόνο να εξετάσει τις υποθέσεις που του δρομολογεί το σύστημα. Οι λεπτομέρειες εξαρτώνται από το πλαίσιο. Η απαίτηση είναι ότι η διαδρομή λειτουργεί όταν το σύστημα είναι αβέβαιο, λανθασμένο, μη διαθέσιμο ή αμφισβητούμενο.

Για τα μικρά μοντέλα, μια δομημένη άρνηση μπορεί να είναι πλεονέκτημα. Αν ένας ταξινομητής μπορεί να πει λείπει η πηγή, εκτός πεδίου ή χρειάζεται αναθεώρηση, ο οργανισμός έχει ένα συγκεκριμένο συμβάν να διαχειριστεί. Αυτό είναι καλύτερο από μια άνετη παράγραφο που μετατρέπει σιωπηλά την αβεβαιότητα σε οδηγία. Αλλά η άρνηση εξακολουθεί να χρειάζεται έναν υπεύθυνο. Αν κάθε άρνηση γίνεται αδιέξοδο, το σύστημα απλώς μετατόπισε το βάρος σε κάποιον χωρίς να του δώσει μια διαδρομή για να το διαχειριστεί.

Η ανθρώπινη διαδρομή επεκτείνεται και στο ενδιαφερόμενο άτομο. Ένα άτομο δεν θα πρέπει να χρειάζεται την ορολογία του προμηθευτή για να αμφισβητήσει ένα αποτέλεσμα. Ο οργανισμός θα πρέπει να γνωρίζει ποιες πληροφορίες μπορούν να εξηγηθούν, τι μπορεί να διορθωθεί, ποιος εξετάζει την υπόθεση και τι συμβαίνει όσο εκκρεμεί η αναθεώρηση. Ένα μικρό μοντέλο μπορεί να κάνει το εσωτερικό ίχνος πιο εύκολο να περιγραφεί. Δεν μειώνει τη σημασία του ατόμου εκτός συστήματος.

Τα αναλογικά μέτρα ελέγχου εξακολουθούν να είναι μέτρα ελέγχου

Η αναλογική διακυβέρνηση ξεκινά απορρίπτοντας δύο κακούς συμβιβασμούς. Ο πρώτος λέει ότι κάθε σύστημα αξίζει την ίδια βαριά διαδικασία, πράγμα που μετατρέπει τη διαχείριση κινδύνου σε γραφειοκρατία και τελικά διδάσκει στις ομάδες να κρύβουν τη δουλειά τους. Ο δεύτερος λέει ότι τα μικρά μοντέλα δεν αξίζουν καμία σοβαρή διαδικασία, πράγμα που συγχέει ένα περιορισμένο εξάρτημα με έναν ακίνδυνο θεσμό. Μια αναλογική προσέγγιση ρωτά τι μπορεί να αλλάξει το σύστημα, ποιοι μπορούν να επηρεαστούν και ποια στοιχεία θα επέτρεπαν στον οργανισμό να διορθώσει ένα λάθος.

Το πρώτο μέτρο ελέγχου είναι μια δήλωση σκοπού που μπορεί να καταλάβει ένας μη ειδικός. Θα πρέπει να αναφέρει την εργασία, τους προβλεπόμενους χρήστες, τα ενδιαφερόμενα άτομα, τα επιτρεπόμενα δεδομένα εισόδου, το αποτέλεσμα και τις ενέργειες που δεν μπορεί να εκτελέσει το σύστημα. Ένας σκοπός όπως υποστήριξη της ιεράρχησης είναι πολύ ασαφής αν θα μπορούσε να σημαίνει τη διευθέτηση ενός ιδιωτικού εκκρεμούς ζητημάτων, την απόφαση για το ποιος θα λάβει μια νόμιμη επιθεώρηση ή την επιλογή υποψηφίων για πειθαρχική αναθεώρηση. Η πρόταση δεν είναι διαφημιστικό κείμενο. Είναι το όριο σε σχέση με το οποίο ελέγχονται οι μεταγενέστερες αλλαγές.

Το δεύτερο μέτρο ελέγχου είναι ένα όριο δεδομένων εισόδου και στοιχείων. Ποιες πηγές μπορεί να διαβάσει το σύστημα. Ποια πεδία είναι έγκυρα. Πόσο πρόσφατα πρέπει να είναι. Τι συμβαίνει όταν λείπει μια τιμή ή έρχεται σε σύγκρουση με άλλη πηγή. Μπορούν προσωπικά δεδομένα να εισέλθουν στη διαδικασία. Ποιο αρχείο διατηρείται. Ένα συμπαγές μοντέλο μπορεί να είναι αυστηρό ως προς τα δεδομένα εισόδου και παρόλα αυτά να αποτύχει αν η γύρω ροή εργασίας διευρύνει σιωπηλά τα δεδομένα. Το πεδίο εφαρμογής χρειάζεται έναν υπεύθυνο, όχι μόνο ένα σχήμα.

Ο τρίτος έλεγχος είναι ένα συμβόλαιο εξόδου. Δηλώστε τις επιτρεπόμενες ετικέτες, τις καταστάσεις αβεβαιότητας, τις προϋποθέσεις άρνησης και τις ενέργειες κατάντη για κάθε αποτέλεσμα. Εάν το σύστημα επιστρέφει βαθμολογία, πείτε τι σημαίνει η βαθμολογία και τι δεν σημαίνει. Εάν επιστρέφει κατάταξη, πείτε εάν η κατάταξη είναι πρόταση ή πύλη ελέγχου. Εάν επιστρέφει κατηγορία, πείτε ποιος μπορεί να την αλλάξει και ποιο αρχείο καταγράφει την αλλαγή. Ένα μικρό λεξιλόγιο είναι χρήσιμο μόνο όταν ο οργανισμός συμφωνεί να μην εισάγει κρυφά πρόσθετη εξουσία σε αυτό.

Ο τέταρτος έλεγχος είναι μια διαδρομή αλλαγής. Οι ενημερώσεις μοντέλου, οι αλλαγές ορίων, οι νέες πηγές δεδομένων, μια διαφορετική ομάδα χρηστών, ένας νέος προμηθευτής ή μια αλλαγμένη ενέργεια κατάντη μπορούν να μεταβάλουν τον κίνδυνο του συστήματος. Η γλώσσα του κύκλου ζωής του AI Act είναι μια υπενθύμιση ότι η διαχείριση κινδύνου είναι επαναληπτική. Ένα στοιχείο που ήταν περιορισμένο τον Ιανουάριο μπορεί να βρεθεί μέσα σε μια διαφορετική απόφαση τον Αύγουστο. Η υποχρέωση ακολουθεί την αλλαγμένη σχέση, όχι την ημερομηνία στο πρώτο έγγραφο σχεδιασμού.

Ο πέμπτος έλεγχος είναι μια έξοδος. Μπορεί ο οργανισμός να θέσει το στοιχείο σε παύση, να επιστρέψει σε ανθρώπινη διαδρομή, να εξάγει τα αρχεία, να εξηγήσει το ιστορικό αποφάσεων και να αντικαταστήσει τον προμηθευτή χωρίς να χάσει τα αποδεικτικά στοιχεία που χρειάζονται για την επανόρθωση υποθέσεων. Η έξοδος δεν είναι πολυτέλεια για μεγάλα συστήματα. Ένα μικρό μοντέλο μπορεί να γίνει μοναδικό σημείο θεσμικής μνήμης εάν κανείς δεν διατηρεί την πηγή, την έκδοση και τη διαδρομή απόφασης γύρω από αυτό.

Ένας αναλογικός φάκελος αποδεικτικών στοιχείων

Ένας αναλογικός φάκελος αποδεικτικών στοιχείων δεν είναι μια αποθήκη κάθε σκέψης που είχε οποιοσδήποτε για το μοντέλο. Είναι μια αναγνώσιμη απάντηση στις ερωτήσεις που μπορεί εύλογα να θέσει ένας αξιολογητής, ένας χειριστής, ένα ενδιαφερόμενο πρόσωπο ή μια ρυθμιστική αρχή. Ποιος ήταν ο επιδιωκόμενος σκοπός. Ποια έκδοση εκτελέστηκε. Ποια δεδομένα έλαβε. Τι επέστρεψε. Ποιος κανόνας ή όριο μετέτρεψε αυτή την έξοδο σε ενέργεια. Ποιος είχε εξουσία να αλλάξει το αποτέλεσμα. Τι συνέβη όταν έλειπαν αποδεικτικά στοιχεία. Πώς μπορεί η απόφαση να αναπαραχθεί ή να αμφισβητηθεί.

Για μια πρόταση χαμηλών συνεπειών, ο φάκελος μπορεί να είναι μικρός. Μπορεί να περιέχει τον σκοπό, την πηγή, την έκδοση, τη βασική αξιολόγηση, τον ιδιοκτήτη, τον κανόνα διατήρησης και έναν σύνδεσμο προς τη διαδρομή διόρθωσης. Για ένα σύστημα που επηρεάζει την πρόσβαση, την ασφάλεια, την απασχόληση ή τα δικαιώματα, ο φάκελος χρειάζεται περισσότερα. Θα πρέπει να συνδέει την ανάλυση κινδύνου με τα δεδομένα και το συμβόλαιο εξόδου, να δείχνει πώς λειτουργεί στην πράξη η ανθρώπινη εποπτεία, να τεκμηριώνει τους γνωστούς περιορισμούς και να διατηρεί αρκετό επιχειρησιακό ιστορικό για να διερευνηθεί ένα αμφισβητούμενο αποτέλεσμα. Η αναλογικότητα αυξάνεται με τη συνέπεια, όχι με τον αριθμό των παραμέτρων.

Ο έλεγχος θα πρέπει να ακολουθεί την ίδια λογική. Ένα μόνο ποσοστό ακρίβειας δεν μπορεί να περιγράψει την καταλληλότητα ενός συστήματος για κάθε πλαίσιο. Ελέγξτε τα τμήματα δεδομένων και τις συνθήκες που έχουν σημασία για τον σκοπό. Συμπεριλάβετε ελλιπείς και αντικρουόμενες εισόδους. Συμπεριλάβετε περιπτώσεις όπου η άρνηση είναι σωστή. Ελέγξτε εάν η έξοδος του μοντέλου χρησιμοποιείται διαφορετικά από διαφορετικές ομάδες. Καταγράψτε τι μετρήθηκε, υπό ποιες συνθήκες και τι παραμένει άγνωστο. Ένα μοντέλο που αποδίδει καλά σε ένα καθαρό σύνολο δοκιμών μπορεί να είναι εντελώς ακατάλληλο σε έναν χαοτικό οργανισμό.

Η παρακολούθηση δεν είναι διακοσμητικό στοιχείο πίνακα ελέγχου. Είναι ο τρόπος με τον οποίο ο οργανισμός μαθαίνει ότι η πραγματική ροή εργασίας έχει αλλάξει. Παρακολουθήστε τις μετατοπίσεις στα δεδομένα εισόδου, τα ποσοστά διαφωνίας, τα ποσοστά άρνησης, τις αλλαγές στις ανθρώπινες παρακάμψεις, τις νέες χρήσεις κατάντη και τα παράπονα ή τα αιτήματα διόρθωσης. Τα ακριβή σήματα εξαρτώνται από το σύστημα. Η αρχή είναι σταθερή: τα αποδεικτικά στοιχεία θα πρέπει να περιλαμβάνουν τη σχέση που δημιουργεί την υποχρέωση, όχι μόνο την εσωτερική βαθμολογία του μοντέλου.

Τα καλά αποδεικτικά στοιχεία έχουν επίσης ημερομηνία λήξης, ακόμη και όταν τα αρχεία διατηρούνται για μεγαλύτερο διάστημα. Μια νομική ερμηνεία μπορεί να αλλάξει. Μια υπηρεσία μπορεί να φτάσει σε νέο πληθυσμό. Ένας προμηθευτής μπορεί να ενημερώσει ένα μοντέλο. Μια διαδρομή που ήταν αναστρέψιμη μπορεί να ενσωματωθεί σε άλλο σύστημα. Σημειώστε τι αξιολογήθηκε, πότε, από ποιον και για ποιον σκοπό. Το αρχείο γίνεται έτσι ιστορικό αποφάσεων και όχι στατικό πιστοποιητικό που επιβιώνει από τις συνθήκες που το έκαναν ουσιαστικό.

Οι τρόποι αποτυχίας των μικρών μοντέλων

Τα μικρά συστήματα αποτυγχάνουν με αναγνωρίσιμους τρόπους. Ένας ταξινομητής μπορεί να χάσει μια κατηγορία επειδή ο ορισμός της ετικέτας είναι διφορούμενος. Ένας εξαγωγέας μπορεί να επιστρέψει ένα εύλογο πεδίο από τη λάθος πρόταση. Ένα μοντέλο κατάταξης μπορεί να προτιμά οικείες περιπτώσεις και να κρύβει τις ασυνήθιστες. Ένα κατώφλι μπορεί να μετατρέψει μια συνεχή αβεβαιότητα σε ψευδές δίλημμα. Ένα τοπικό μοντέλο μπορεί να λειτουργεί αξιόπιστα ενώ τα δεδομένα πηγής είναι παρωχημένα. Καμία από αυτές τις αποτυχίες δεν είναι αυτόματα καταστροφική. Κάθε μία αποκτά σημασία όταν η ροή εργασίας αντιμετωπίζει το αποτέλεσμα ως πιο έγκυρο από ό,τι επιτρέπει η σύμβαση του στοιχείου.

Ο πρώτος τρόπος αποτυχίας είναι η ψευδής σεμνότητα. Η ομάδα λέει ότι το μοντέλο απλώς επισημαίνει, ταξινομεί ή υποβοηθά, και στη συνέχεια σχεδιάζει τη ροή εργασίας έτσι ώστε το προσωπικό να διαφωνεί σπάνια. Η ετικέτα γίνεται απόφαση από συνήθεια. Αυτό δεν είναι ελάττωμα στον αριθμό παραμέτρων του μοντέλου. Είναι ελάττωμα στον χειρισμό της εξουσίας από τον θεσμό. Η θεραπεία είναι να γίνει ορατή η μεταβίβαση, να μετρώνται οι παρακάμψεις και οι διαφωνίες, και να δίνεται στους ανθρώπους ένας πρακτικός δρόμος για να αλλάξουν το αποτέλεσμα.

Ο δεύτερος είναι η κρυφή σύνθεση. Ένα μικρό μοντέλο μπορεί να βρίσκεται δίπλα σε ανάκτηση, κανόνες, ουρά, κατάταξη και υπηρεσία ειδοποιήσεων. Κάθε στοιχείο φαίνεται περιορισμένο. Μαζί μπορούν να δημιουργήσουν μια ισχυρή διαδρομή απόφασης. Η επισκόπηση κινδύνου θα πρέπει να ακολουθεί τη διαδρομή από άκρο σε άκρο. Ποια πηγή εισέρχεται πρώτη. Ποιος μετασχηματισμός αφαιρεί το πλαίσιο. Ποια ετικέτα ενεργοποιεί μια ενέργεια. Ποια εγγραφή επιβιώνει. Ποιο άτομο μπορεί να σταματήσει την αλυσίδα. Η διασφάλιση σε επίπεδο στοιχείου είναι απαραίτητη, αλλά δεν αποτελεί την οπτική του συστήματος.

Ο τρίτος είναι η παρωχημένη υποχρέωση. Ένα μοντέλο παραμένει αμετάβλητο ενώ αλλάζει ο σκοπός ή το κοινό του. Μια ομάδα προσθέτει μια νέα πηγή δεδομένων, στέλνει το αποτέλεσμα σε άλλο τμήμα ή αρχίζει να χρησιμοποιεί ένα ιδιωτικό εργαλείο προτεραιοποίησης σε μια ροή εργασίας που απευθύνεται στο κοινό. Η κάρτα μοντέλου παραμένει η ίδια, οπότε όλοι υποθέτουν ότι ο κίνδυνος είναι ο ίδιος. Δεν είναι. Ο επιδιωκόμενος σκοπός έχει μετακινηθεί και το αρχείο αποδεικτικών στοιχείων θα πρέπει να μετακινηθεί μαζί του.

Ο τέταρτος είναι η αύρα του μικρού μοντέλου. Ένας χαμηλός λογαριασμός πόρων ή μια τακτοποιημένη τοπική ανάπτυξη κάνει το σύστημα να φαίνεται πιο υπεύθυνο από ό,τι είναι. Ο οργανισμός μπορεί και πάλι να αποτύχει να εξηγήσει το αποτέλεσμα, να διατηρήσει την είσοδο, να παρέχει επανόρθωση ή να ορίσει ένα άτομο με εξουσία. Η τεχνική αποδοτικότητα είναι ευπρόσδεκτη. Δεν υποκαθιστά τον θεσμικό έλεγχο. Ένα σύστημα μπορεί να είναι φθηνό στη λειτουργία και ακριβό στην υπεράσπιση.

Ο πέμπτος είναι η χαμένη έξοδος. Τα μικρά στοιχεία είναι εύκολο να προστεθούν και δύσκολο να αφαιρεθούν όταν ενσωματωθούν σε μια πολυάσχολη διαδικασία. Μια αντικατάσταση αλλάζει τις κατηγορίες, τα κατώφλια ή τις εγγραφές που αναμένουν οι κατάντη ομάδες. Αν κανείς δεν έχει δοκιμάσει τη μετάβαση, το σύστημα γίνεται κολλώδες. Το μοντέλο μπορεί να είναι μικρό, αλλά η μετεγκατάσταση είναι πλέον δημόσιο πρόβλημα. Η φορητότητα ανήκει στην πρώτη συζήτηση σχεδιασμού, όχι στην τελευταία συνάντηση προμηθειών.

Όταν το μικρό είναι η σωστή μηχανική επιλογή

Τίποτα από αυτά δεν θα πρέπει να μετατραπεί σε εκστρατεία κατά των μικρών μοντέλων. Το μικρό μπορεί να είναι ακριβώς το σωστό. Μια στενή εργασία με σαφή σύμβαση μπορεί να μην χρειάζεται ένα γενικής χρήσης μοντέλο. Ένα τοπικό στοιχείο μπορεί να κρατά τις ευαίσθητες εισόδους πιο κοντά στους ανθρώπους που είναι υπεύθυνοι για αυτές. Μια σταθερή έξοδος μπορεί να διευκολύνει την επικύρωση και την παρακολούθηση. Ένα μοντέλο που αρνείται εκτός του πεδίου του μπορεί να είναι ασφαλέστερο στη σύνθεση από ένα που απαντά σε κάθε ερώτηση με χαριτωμένη αυτοπεποίθηση.

Η μηχανική επιχειρηματολογία είναι ισχυρότερη όταν η ομάδα μπορεί να ονομάσει τι δεν θα κάνει το στοιχείο. Θα ταξινομεί μόνο τις εγκεκριμένες κατηγορίες. Θα διαβάζει μόνο τα δηλωμένα πεδία. Θα επιστρέφει ανεπαρκή αποδεικτικά στοιχεία όταν λείπει ένα απαιτούμενο πεδίο. Δεν θα καλεί ένα εργαλείο. Δεν θα λαμβάνει την τελική απόφαση. Θα φέρει μια έκδοση και ένα αρχείο αξιολόγησης. Θα είναι αντικαταστάσιμο επειδή η διεπαφή και η σύμβαση αποδεικτικών στοιχείων είναι τεκμηριωμένες. Αυτοί οι περιορισμοί δεν κάνουν το σύστημα παιδικό. Κάνουν τις ευθύνες του ευανάγνωστες.

Τα μικρά εξαρτήματα μπορούν επίσης να υποστηρίξουν καλύτερο καταμερισμό εργασίας. Ένα ευρύ μοντέλο μπορεί να ερμηνεύσει ασαφή γλώσσα ή να συντάξει μια κατανοητή εξήγηση. Ένα αυστηρό εξάρτημα μπορεί να εξάγει ένα πεδίο, να εφαρμόσει έναν κανόνα ελέγχου, να κατατάξει ένα δηλωμένο σύνολο πηγών ή να ελέγξει αν ένα αποτέλεσμα ικανοποιεί μια γνωστή μορφή. Μια μηχανή κανόνων ή ένας επιλυτής μπορεί να αναλάβει το μέρος που πρέπει να είναι ακριβές. Ένα άτομο μπορεί να αναλάβει την κρίση που δεν μπορεί να μειωθεί με ασφάλεια. Το σημαντικό σημείο δεν είναι η καθαρότητα. Είναι ότι κάθε μέρος έχει μια οριοθετημένη δουλειά και το σύστημα καταγράφει πώς συνδέονται οι δουλειές μεταξύ τους.

Υπάρχει μια ευρωπαϊκή πρακτικότητα σε αυτή τη διάταξη. Οι θεσμοί σπάνια μπορούν να αντικαταστήσουν τα πάντα ταυτόχρονα. Χρειάζονται συστήματα που μπορούν να λειτουργήσουν στις συνθήκες υλικού, νομικές, γλωσσικές και προμηθειών που πραγματικά έχουν. Τα μικρότερα εξαρτήματα μπορούν μερικές φορές να αναπτυχθούν πιο κοντά στην εργασία, να αξιολογηθούν με βάση τοπικά στοιχεία και να αντικατασταθούν χωρίς να ζητηθεί από ολόκληρο τον οργανισμό να αλλάξει τη μνήμη του. Αυτή είναι μια προσδοκία, όχι ένας ισχυρισμός για κάθε μικρό μοντέλο. Η ανάπτυξη εξακολουθεί να χρειάζεται απόδειξη ότι η προσαρμογή είναι πραγματική.

Το μικρό είναι επίσης χρήσιμο ως πειθαρχία. Όταν μια ομάδα δεν μπορεί να λύσει ένα πρόβλημα προσθέτοντας περισσότερη γενική ικανότητα, πρέπει να αποφασίσει ποιες πληροφορίες έχουν σημασία, ποια αβεβαιότητα μπορεί να εκτεθεί και ποιες περιπτώσεις απαιτούν ένα άτομο. Αυτή η σχεδιαστική εργασία μπορεί να αποκαλύψει ότι ένα μοντέλο είναι περιττό. Μερικές φορές το σωστό εξάρτημα είναι ένας περιορισμός βάσης δεδομένων, ένα ευρετήριο αναζήτησης, μια υπογεγραμμένη εγγραφή ή μια καλογραμμένη φόρμα. Ένα μικρότερο μοντέλο μπορεί να φέρει μια μεγάλη υποχρέωση. Ένα μη μοντέλο μπορεί να φέρει επίσης μία.

Όταν το μικρό χρησιμοποιείται ως παραπλάνηση

Το μικρό γίνεται παραπλάνηση όταν προσφέρεται ως η απάντηση πριν καν περιγράψει κανείς την ερώτηση. Η παρουσίαση μπορεί να λέει ότι το εξάρτημα είναι ελαφρύ, τοπικό, ιδιωτικό, αποδοτικό ή ανοιχτό. Όλα αυτά μπορεί να είναι χρήσιμα στοιχεία. Δεν λένε σε ένα επηρεαζόμενο άτομο αν το σύστημα μπορεί να αμφισβητηθεί, ούτε σε έναν χειριστή αν το αποτέλεσμα μπορεί να αντιστραφεί, ούτε σε μια ρυθμιστική αρχή αν ο οργανισμός κατάλαβε τον σκοπό του.

Η παραπλάνηση εμφανίζεται συχνά στη γλώσσα των προμηθειών. Στον αγοραστή παρουσιάζεται ένα μέγεθος μοντέλου, ένας αριθμός καθυστέρησης και ένα κόστος εξαγωγής συμπερασμάτων. Το συμβόλαιο λέει ότι ο προμηθευτής παρέχει ένα εργαλείο για υποστήριξη αποφάσεων. Κανείς δεν καταγράφει ποιες αποφάσεις, ποια δεδομένα, ποιους πληθυσμούς, ποια ανθρώπινη διαδρομή ή ποιες αλλαγές ενεργοποιούν επανεξέταση. Αργότερα, μια εσωτερική ομάδα ανακαλύπτει ότι το εργαλείο έχει γίνει πύλη ελέγχου επειδή η ουρά, η προθεσμία ή ο πίνακας ελέγχου έκαναν τη σύσταση βολική να υπακουστεί. Το μοντέλο ήταν μικρό. Η διακυβέρνηση ήταν μικρότερη.

Μια άλλη παραπλάνηση είναι η φράση άνθρωπος στον βρόχο. Ένα άτομο μπορεί τεχνικά να αγγίζει κάθε περίπτωση χωρίς να έχει ουσιαστικό χρόνο, πληροφορίες ή εξουσία. Ο βρόχος λειτουργεί τότε ως τελετουργικό έγκρισης. Ένα μικρό μοντέλο μπορεί να το κάνει αυτό ιδιαίτερα δελεαστικό επειδή το αποτέλεσμα φαίνεται απλό. Φτάνουν τρεις κατηγορίες, ένα άτομο κάνει κλικ σε μία και ο οργανισμός αποκαλεί το αποτέλεσμα ελεγμένο. Η επανεξέταση απαιτεί την ικανότητα να κατανοήσει, να αμφισβητήσει και να αλλάξει το αποτέλεσμα. Ένα κλικ δεν είναι από μόνο του διασφάλιση.

Μια τρίτη παραπλάνηση είναι ο ισχυρισμός ότι το τοπικό σημαίνει κυρίαρχο. Η τοπική επεξεργασία μπορεί να βοηθήσει με τη διαμονή των δεδομένων, την καθυστέρηση και τον επιχειρησιακό έλεγχο, αλλά η κυριαρχία αφορά επίσης το ποιος μπορεί να αλλάξει το λογισμικό, να κρατά τα κλειδιά, να έχει πρόσβαση στα αρχεία και να διατηρεί την υπηρεσία σε λειτουργία όταν ένας προμηθευτής ή ένα δίκτυο δεν είναι διαθέσιμο. Το μικρό μοντέλο σε μια συσκευή μπορεί να είναι τοπικό ενώ οι ενημερώσεις, η αξιολόγηση και η εξουσία του παραμένουν αλλού. Η τοποθεσία είναι ένα γεγονός στον χάρτη. Ο έλεγχος είναι ένα γεγονός στη σχέση.

Το αντίδοτο δεν είναι μια μεγαλύτερη μορφή. Είναι μια πιο ευκρινής. Ρωτήστε τον σκοπό. Ρωτήστε τι αλλάζει εξαιτίας του αποτελέσματος. Ρωτήστε ποιος μπορεί να διαφωνήσει. Ρωτήστε τι μπορεί να κάνει το επηρεαζόμενο άτομο. Ρωτήστε ποια στοιχεία διατηρούνται. Ρωτήστε πώς το σύστημα τίθεται σε παύση, αντικαθίσταται και επαναξιολογείται. Αν οι απαντήσεις είναι σαφείς, το μέγεθος του μοντέλου μπορεί να επιστρέψει στη σωστή του θέση ως μία μηχανική επιλογή ανάμεσα σε πολλές.

Οι ερωτήσεις ενός αγοραστή

Πριν ένα μικρό μοντέλο μπει σε μια διαδικασία με σημαντικές συνέπειες, ο αγοραστής θα πρέπει να μπορεί να απαντήσει σε μια σειρά από απλές ερωτήσεις. Ποιος είναι ο επιδιωκόμενος σκοπός σε μία πρόταση. Τι βρίσκεται εκτός πεδίου εφαρμογής. Ποια άτομα μπορούν να επηρεαστούν, άμεσα ή μέσω μιας μεταγενέστερης ενέργειας. Ποια δεδομένα απαιτούνται και ποια δεδομένα απαγορεύονται. Τι επιτρέπει στον οργανισμό να κάνει κάθε αποτέλεσμα. Τι δεν του επιτρέπει να κάνει.

Στη συνέχεια, ρωτήστε για την εξουσιοδότηση. Ποιος κατέχει την απόφαση. Ποιος μπορεί να παρακάμψει το μοντέλο. Ποιος μπορεί να σταματήσει τη διαδικασία. Ποιες πληροφορίες βλέπει αυτό το άτομο. Πόσο χρόνο έχει στη διάθεσή του. Τι συμβαίνει όταν διαφωνεί. Ενημερώνεται το επηρεαζόμενο άτομο αρκετά ώστε να ζητήσει επανεξέταση. Μπορεί ο οργανισμός να διορθώσει τόσο το αποτέλεσμα όσο και τα δεδομένα εισόδου. Αυτές οι ερωτήσεις δεν αποτελούν κατηγορία εναντίον του προμηθευτή. Είναι η ελάχιστη περιγραφή του θεσμού που αγοράζει το εργαλείο.

Ρωτήστε για τα τεκμήρια. Ποια έκδοση εκτελέστηκε. Ποια διαμόρφωση μοντέλου και πολιτικής ήταν ενεργή. Ποιες πηγές ήταν διαθέσιμες. Ποιο όριο ή κανόνας μετέτρεψε το αποτέλεσμα στην επόμενη ενέργεια. Τι καταγράφεται όταν ένας άνθρωπος αλλάζει το αποτέλεσμα. Μπορεί ο οργανισμός να αναπαράγει μια υπόθεση χωρίς να προσποιείται ότι μια νέα εκτέλεση είναι η παλιά. Μπορεί να εξάγει τα αρχεία σε μορφή που μπορεί να διαβάσει ένα άλλο σύστημα. Η απάντηση δεν χρειάζεται να είναι μια μεγάλη πλατφόρμα. Πρέπει όμως να είναι ένα πραγματικό αρχείο καταγραφής.

Ρωτήστε για τις αλλαγές. Τι θεωρείται ενημέρωση του μοντέλου. Τι θεωρείται νέα πηγή δεδομένων. Τι συμβαίνει όταν αλλάζει ο σκοπός. Ποιες αλλαγές απαιτούν νέα αξιολόγηση. Ποιος ενημερώνεται. Πώς προστατεύονται τα επηρεαζόμενα άτομα κατά τη διάρκεια μιας επαναφοράς ή μετεγκατάστασης. Αν ο προμηθευτής δεν μπορεί να απαντήσει, ο αγοραστής δεν αγοράζει έναν μικρό κίνδυνο. Αποδέχεται μια ελλιπή περιγραφή ενός μεγάλου αγνώστου.

Τέλος, ρωτήστε για την έξοδο. Μπορεί η διαδικασία να λειτουργήσει με ασφάλεια χωρίς το μοντέλο. Μπορεί ο οργανισμός να ανακτήσει τα δεδομένα εισόδου, τα αποτελέσματα, τις αποφάσεις και το ιστορικό διορθώσεων. Μπορεί ένα άλλο στοιχείο να ανταποκριθεί στην ίδια διεπαφή χωρίς νέα εξάρτηση. Μπορεί το σύστημα να αποσυρθεί χωρίς να αφήσει τους ανθρώπους σε εκκρεμότητα. Ένα μοντέλο δεν είναι πραγματικά μικρό αν η αφαίρεσή του απαιτεί από τον θεσμό να ξεχάσει πώς έπαιρνε αποφάσεις.

Ένα σύντομο σημείωμά μας

Στη Dweve, το Loom είναι ένα παράδειγμα της σχεδιαστικής θέσης που φέρνουμε σε αυτό το ζήτημα. Η δημόσια περιγραφή του προϊόντος παρουσιάζει τα μικρά γλωσσικά στοιχεία ως αποδότες γύρω από ένα τυποποιημένο γράφημα συλλογισμού, με ίχνη, αναπαραγωγή και σαφή όρια άρνησης. Αυτή είναι μια δήλωση για την αρχιτεκτονική μας και για τον τρόπο με τον οποίο θέλουμε η ευθύνη ενός στοιχείου να είναι ορατή. Δεν αποτελεί ανεξάρτητο τεκμήριο, ρυθμιστική ταξινόμηση, ανάπτυξη σε πελάτη ή υπόσχεση ότι ένα μικρό στοιχείο είναι αυτόματα κατάλληλο για μια χρήση με σημαντικές συνέπειες.

Το χρήσιμο μέρος του παραδείγματος είναι το όριο. Ένα στοιχείο μπορεί να είναι μικρό και παρόλα αυτά να αξίζει ένα ακριβές συμβόλαιο. Μπορεί να τοποθετηθεί σε ένα μεγαλύτερο γράφημα χωρίς να γίνει ο ιδιοκτήτης κάθε απόφασης. Μπορεί να φέρει ένα ίχνος χωρίς να ισχυρίζεται ότι το ίχνος αποδεικνύει ότι ολόκληρος ο θεσμός ενήργησε νόμιμα. Αναφέρουμε το Loom εδώ μόνο για να δείξουμε πώς η δική μας δουλειά προσπαθεί να κρατά χωριστά την ικανότητα του μοντέλου, τον σκοπό του συστήματος, τα τεκμήρια και την ανθρώπινη εξουσιοδότηση. Το ευρωπαϊκό ερώτημα παραμένει το ίδιο για εμάς όπως και για οποιονδήποτε άλλον: τι μπορεί να αλλάξει αυτό το σύστημα και μπορούν οι υπεύθυνοι να το επιθεωρούν και να το διορθώνουν ακόμη;

Η υποχρέωση βαρύνει τη σχέση

Ένα μικρό μοντέλο μπορεί να είναι πιο εύκολο να εκτελεστεί, να δοκιμαστεί και να αντικατασταθεί. Αυτοί είναι καλοί λόγοι για να επιλέξει κανείς ένα τέτοιο μοντέλο. Δεν αποτελούν όμως λόγους για να συρρικνωθεί η περιβάλλουσα υποχρέωση επιμέλειας. Οι ορισμοί και οι κανόνες κινδύνου του AI Act, οι κατευθυντήριες γραμμές της Επιτροπής για τα GPAI, η προσέγγιση του ΕΣΠΔ για τα δεδομένα κατά περίπτωση και η ολλανδική απόφαση SyRI δείχνουν όλα προς την ίδια πρακτική κατεύθυνση χωρίς να αποτελούν ένα ενιαίο νομικό τεστ: εξετάστε τον σκοπό, το πλαίσιο, την εξουσιοδότηση, τα τεκμήρια, τα επηρεαζόμενα άτομα και τη δυνατότητα επανόρθωσης.

Το σωστό ερώτημα, λοιπόν, δεν είναι αν το μοντέλο είναι μικρό. Είναι τι επιτρέπεται να αλλάξει. Αν απλώς βοηθά κάποιον να αναζητήσει τις σημειώσεις του, η απάντηση μπορεί να είναι μετριοπαθής. Αν αλλάζει ποιος λαμβάνει προσοχή, ποια εγγραφή θεωρείται αξιόπιστη ή αν μια δημόσια υπηρεσία ανοίγει μια πόρτα, η απάντηση είναι μεγαλύτερη. Αν ο οργανισμός δεν μπορεί να εξηγήσει τη μεταβίβαση, να διατηρήσει τα αποδεικτικά στοιχεία ή να δώσει σε κάποιον έναν τρόπο να αμφισβητήσει το αποτέλεσμα, η υποχρέωση έχει ήδη ξεπεράσει το στοιχείο.

Η ορθή διακυβέρνηση αφήνει χώρο για αναλογικότητα. Δεν απαιτεί κάθε μοντέλο να γίνει επιτροπή. Ζητά από την ομάδα να καταστήσει ορατές τις σημαντικές σχέσεις, να διατηρεί τους ισχυρισμούς συνδεδεμένους με τα αποδεικτικά στοιχεία και να δίνει στους ανθρώπους πραγματική εξουσία όταν το σύστημα είναι αβέβαιο ή λανθασμένο. Τα μικρά μοντέλα μπορούν να βοηθήσουν σε αυτή την εργασία, επειδή ένα περιορισμένο στοιχείο μπορεί να ονομαστεί και να δοκιμαστεί. Αλλά το περιορισμένο είναι επίτευγμα σχεδιασμού, όχι προεπιλεγμένη ιδιότητα του να είναι κανείς μικρός.

Το μέγεθος ανήκει στο μηχανικό αρχείο. Ο σκοπός ανήκει στο αρχείο του συστήματος. Η συνέπεια ανήκει στο ανθρώπινο αρχείο. Όταν αυτά τα τρία αρχεία επιτρέπεται να επικοινωνούν μεταξύ τους, ένα μικρό μοντέλο μπορεί να χρησιμοποιηθεί προσεκτικά χωρίς να αντιμετωπίζεται ως ακίνδυνο. Όταν κρατούνται χωριστά, η μετριοπάθεια του μοντέλου γίνεται θέατρο και οι άνθρωποι που φέρουν το αποτέλεσμα πληρώνουν για το χαμένο πλαίσιο.

Πηγές