Μπορεί μια ρυθμιστική αρχή να ελέγξει έναν κινούμενο στόχο;

Ναι, αλλά όχι προσποιούμενοι ότι ένα προσαρμοστικό σύστημα είναι στατικό αντικείμενο. Ένας έλεγχος χρειάζεται καταγεγραμμένη κατάσταση, περιορισμένο...

Μπορεί μια ρυθμιστική αρχή να ελέγξει έναν κινούμενο στόχο;

Επιτρέπεται να τραβήξει κανείς φωτογραφία σε έναν έλεγχο

Ένας κινούμενος στόχος δεν ξεφεύγει από τον έλεγχο. Απλώς ξεφεύγει από το είδος του ελέγχου που θέτει ένα διαχρονικό ερώτημα και περιμένει μία διαχρονική απάντηση. Αυτή η διάκριση έχει σημασία. Τα συστήματα τεχνητής νοημοσύνης αλλάζουν με πολλούς τρόπους ταυτόχρονα. Ένας πάροχος κυκλοφορεί μια νέα έκδοση μοντέλου. Ένας αναπτύσσων αλλάζει το προτροπή ή το όριο απόφασης. Ένα σώμα ανάκτησης αποκτά ένα νέο έγγραφο πολιτικής. Ένας κανόνας ταυτότητας αλλάζει το ποιος μπορεί να καλέσει ένα εργαλείο. Ένα εργαλείο αποκτά ένα πεδίο, χάνει ένα πεδίο ή αρχίζει να επιστρέφει διαφορετική σημασία με το ίδιο όνομα πεδίου. Μια ανθρώπινη ομάδα αλλάζει τη διαδικασία της. Ο κόσμος που παρέχει τα δεδομένα εισόδου αλλάζει χωρίς να ρωτήσει κανέναν υπεύθυνο κυκλοφορίας.

Τίποτα από αυτά δεν καθιστά έναν έλεγχο μάταιο. Κάνει το αντικείμενο του ελέγχου πιο ακριβές. Το ερώτημα δεν είναι αν ένας οργανισμός μπορεί να αποδείξει ότι ένα σύστημα θα παραμείνει αμετάβλητο για πάντα. Αυτή θα ήταν μια παράξενη υπόσχεση ακόμη και για μια αριθμομηχανή συνδεδεμένη με μια βάση δεδομένων. Το ερώτημα είναι αν ο οργανισμός μπορεί να δείξει ποιο σύστημα λειτουργούσε σε μια σχετική χρονική στιγμή, τι προοριζόταν να κάνει, ποια στοιχεία υποστήριζαν αυτή τη χρήση, ποιες προϋποθέσεις περιόριζαν τα στοιχεία, ποιος ήταν υπεύθυνος για την απόφαση και ποια μεταγενέστερη αλλαγή θα έπρεπε να οδηγήσει σε επανεξέταση της απόφασης.

Επιτρέπεται να τραβήξει κανείς φωτογραφία σε έναν έλεγχο. Απλώς δεν πρέπει να αποκαλέσει τη φωτογραφία τοπίο. Ένα σωστό αρχείο καταγραφής προσδιορίζει την κατάσταση που ελέγχθηκε και διατηρεί τη διαδρομή από αυτή την κατάσταση στην επόμενη. Μπορεί έτσι να πει κάτι χρήσιμο: αυτή η αξιολόγηση αφορούσε αυτό το μοντέλο, αυτές τις ρυθμίσεις, αυτό το όριο δεδομένων, αυτά τα εργαλεία, αυτή την πολιτική, αυτή τη ροή εργασίας και αυτή την απόφαση κυκλοφορίας. Μπορεί επίσης να πει κάτι λιγότερο άνετο και πιο πολύτιμο: το συμπέρασμα δεν μεταφέρθηκε αυτόματα στην επόμενη κατάσταση.

Αυτό είναι καλύτερο σημείο εκκίνησης από το γνωστό θέατρο των αμετάβλητων σημάτων. Ένα σήμα υποδηλώνει ότι κάποιος έχει διευθετήσει το ζήτημα. Ένα αρχείο ελέγχου θα πρέπει να καθιστά δυνατό να δει κανείς τι διευθετήθηκε, με ποια βάση, για ποια χρήση και για πόσο χρόνο παρέμεινε εφαρμόσιμη αυτή η βάση. Μια ρυθμιστική αρχή δεν χρειάζεται έναν παγωμένο οργανισμό. Μια ρυθμιστική αρχή χρειάζεται έναν οργανισμό που μπορεί να διακρίνει ένα παγωμένο αρχείο από μια ζωντανή υπηρεσία χωρίς να αντιμετωπίζει κανένα από τα δύο ως μυστικιστικό αντικείμενο.

Οι ευρωπαϊκοί κανόνες για την τεχνητή νοημοσύνη ήδη δείχνουν προς αυτή την κατεύθυνση. Για συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου, η Πράξη για την Τεχνητή Νοημοσύνη απαιτεί τεχνική τεκμηρίωση πριν από τη διάθεση ενός συστήματος στην αγορά ή τη θέση του σε λειτουργία και απαιτεί να διατηρείται επικαιροποιημένη. Απαιτεί επίσης αυτόματη καταγραφή σχετικών συμβάντων καθ' όλη τη διάρκεια ζωής του συστήματος και ένα τεκμηριωμένο σύστημα παρακολούθησης μετά τη διάθεση στην αγορά, ανάλογο με την τεχνολογία και τον κίνδυνο. Αυτές δεν είναι οδηγίες για τη λήψη ενός μόνο τελετουργικού στιγμιότυπου οθόνης. Είναι οδηγίες για τη διατήρηση ενός ίχνους αποδεικτικών στοιχείων μέσα από την αλλαγή.

Ο κινούμενος στόχος είναι συνήθως ένα σύστημα

Είναι δελεαστικό να περιγράφει κανείς ένα σύστημα τεχνητής νοημοσύνης ως μοντέλο και στη συνέχεια να συζητά την έκδοση σαν ένα νέο αρχείο βαρών μοντέλου να ήταν όλη η ιστορία. Αυτό είναι βολικό για παρουσιάσεις και ανακριβές για τα περισσότερα λειτουργικά ερωτήματα. Ένα μοντέλο είναι ένα σημαντικό στοιχείο. Σπάνια είναι το πλήρες αντικείμενο του οποίου η συμπεριφορά επηρεάζει ένα άτομο, μια ροή εργασίας ή μια νομική υποχρέωση.

Σκεφτείτε μια συνηθισμένη διαδρομή υποστήριξης αποφάσεων, που περιγράφεται εδώ ως υποθετικό παράδειγμα και όχι ως περιγραφή μιας πραγματικής ανάπτυξης. Ένας χρήστης υποβάλλει ένα αίτημα. Η υπηρεσία ανακτά έγγραφα που επιτρέπεται να χρησιμοποιήσει. Ένα μοντέλο συντάσσει μια σύσταση. Ένας κανόνας ελέγχει αν υπάρχουν τα απαιτούμενα αποδεικτικά στοιχεία. Ένας εκπαιδευμένος αναθεωρητής μπορεί να αποδεχθεί, να τροποποιήσει ή να απορρίψει τη σύσταση. Μια ροή εργασίας καταγράφει στη συνέχεια μια ενέργεια. Το παρατηρούμενο αποτέλεσμα εξαρτάται από κάτι περισσότερο από το μοντέλο. Εξαρτάται από τις εκδόσεις πηγών, τις ρυθμίσεις ανάκτησης, τα δικαιώματα πρόσβασης, τη διατύπωση της διεπαφής, τα όρια, τους κανόνες ουράς, την ανθρώπινη εξουσία και το όριο ενεργειών.

Αν αλλάξει το σώμα κειμένων πηγής, το μοντέλο μπορεί να λάβει διαφορετική πραγματολογική βάση χωρίς να αλλάξει ούτε μία παράμετρος. Αν αλλάξει ένα prompt, το μοντέλο μπορεί να κληθεί να κάνει διαφορετικού είδους κρίση. Αν μια οθόνη αναθεώρησης σταματήσει να εμφανίζει την αβεβαιότητα, η ανθρώπινη εποπτεία που περιγράφεται σε ένα αρχείο κινδύνου μπορεί να μην είναι πλέον η εποπτεία που όντως ασκούν οι άνθρωποι. Αν μια ενοποίηση αρχίσει να εφαρμόζει αυτόματα συστάσεις, το σύστημα έχει αποκτήσει νέα εξουσία, ακόμη κι αν η απόκριση του μοντέλου είναι πανομοιότυπη byte προς byte.

Γι' αυτό ένα σοβαρό αρχείο ελέγχου ξεκινά από τον επιδιωκόμενο σκοπό και τα όρια του συστήματος. Οι απαιτήσεις τεχνικής τεκμηρίωσης του AI Act στο Παράρτημα IV περιλαμβάνουν περιγραφές του επιδιωκόμενου σκοπού, των εκδόσεων, των λειτουργιών παρακολούθησης και ελέγχου, της επικύρωσης και των δοκιμών, της διαχείρισης κινδύνου, των αλλαγών που έγιναν κατά τη διάρκεια του κύκλου ζωής και των σχετικών μετρικών απόδοσης. Το ζητούμενο δεν είναι ότι κάθε σύστημα χρειάζεται έναν καθεδρικό ναό χαρτιού. Το ζητούμενο είναι ότι ένας αναθεωρητής δεν μπορεί να αξιολογήσει έναν ισχυρισμό όταν το αντικείμενο που κατονομάζει ο ισχυρισμός αλλάζει σιωπηλά μορφή.

Το να αποκαλούμε το ευρύτερο αντικείμενο σύστημα δεν είναι τρόπος να ακούγεται πιο σπουδαία η δουλειά. Είναι τρόπος να αποφευχθεί ένα σφάλμα κατηγορίας. Μια αξιολόγηση μοντέλου μπορεί να απαντήσει σε μια ερώτηση για το μοντέλο. Ένας έλεγχος συστήματος πρέπει να απαντήσει σε μια ερώτηση για το σύστημα. Η πρώτη μπορεί να διαπιστώσει πώς συμπεριφέρθηκε ένα στοιχείο υπό καθορισμένες συνθήκες. Ο δεύτερος πρέπει να δείξει πώς συνδέθηκε αυτό το στοιχείο με ανθρώπους, δεδομένα, κανόνες, εργαλεία και συνέπειες. Το ένα δεν αντικαθιστά το άλλο. Μια βαθμολογία μοντέλου δεν είναι περιγραφή ροής εργασίας, όπως ακριβώς μια καλή δοκιμή ελαστικών δεν είναι σχέδιο διαδρομής.

Τι προσπαθεί πραγματικά να διαπιστώσει ένας ελεγκτής

Ο έλεγχος ενός συστήματος που αλλάζει δεν σημαίνει να αναπαράγουμε κάθε στιγμή της ζωής του σε μια αίθουσα συσκέψεων. Σημαίνει να καθιστούμε συγκεκριμένες προτάσεις επιθεωρήσιμες. Χρησιμοποιήθηκε το σύστημα εντός του δηλωμένου σκοπού; Υποστηρίχθηκε η απόφαση έκδοσης από αποδεικτικά στοιχεία κατάλληλα για αυτόν τον σκοπό; Διατήρησε ο οργανισμός τις πληροφορίες που χρειάζονται για να διερευνηθεί ένα αμφισβητούμενο αποτέλεσμα; Πυροδότησαν οι ουσιαστικές αλλαγές επανεκτίμηση; Έκανε η παρακολούθηση ορατή τη διαφορά μεταξύ μιας καλοήθους ενημέρωσης και μιας ουσιαστικής αλλαγής; Μπορούσαν οι υπεύθυνοι να σταματήσουν, να περιορίσουν ή να διορθώσουν τη διαδρομή όταν τα στοιχεία δεν ίσχυαν πλέον;

Αυτές είναι πρακτικές ερωτήσεις, επειδή καθεμία έχει ένα παρατηρήσιμο αντίστοιχο. Ο επιδιωκόμενος σκοπός ανήκει σε ένα αρχείο. Μια αξιολόγηση έχει μια σουίτα, μια διαμόρφωση, έναν πληθυσμό δοκιμής ή ένα όριο εισόδου, μια μέθοδο, ένα αποτέλεσμα και έναν περιορισμό. Μια απόφαση έκδοσης έχει έναν υπεύθυνο και προϋποθέσεις. Μια αλλαγή έχει ταυτότητα, ημερομηνία, αιτία και εκτιμώμενη επίδραση. Η παρακολούθηση έχει κατονομασμένα σήματα, κατώφλια ή εναύσματα αναθεώρησης. Μια διαδρομή παύσης έχει μια αρχή και μια λειτουργία. Οι λεπτομέρειες ποικίλλουν, αλλά η δυνατότητα ελέγχου προκύπτει από τη μετατροπή αφηρημένων διαβεβαιώσεων σε πράγματα που μπορεί να επιθεωρήσει κάποιος άλλος.

Υπάρχει ένα σημαντικό όριο εδώ. Ένας έλεγχος δεν αποδεικνύει ότι κάθε μελλοντική έξοδος θα είναι ορθή, δίκαιη ή ακίνδυνη. Δεν μπορεί να μετατρέψει έναν αβέβαιο κόσμο σε ντετερμινιστικό. Μπορεί να διαπιστώσει αν ένας οργανισμός προέβη σε ισχυρισμούς αρκετά περιορισμένους ώστε να εξεταστούν, αν συνέλεξε αποδεικτικά στοιχεία ικανά να στηρίξουν αυτούς τους ισχυρισμούς και αν διατήρησε την ικανότητα να τους επανεξετάσει. Αυτό μπορεί να ακούγεται μετριοπαθές. Είναι επίσης εκεί που αρχίζει η λογοδοσία.

Η διαφορά μεταξύ αποδεικτικών στοιχείων και γλώσσας διαβεβαίωσης έχει σημασία. Το να λέμε ότι ένα μοντέλο αξιολογήθηκε δεν είναι ακόμη απόδειξη μιας χρήσιμης αξιολόγησης. Η λέξη χρειάζεται ένα αντικείμενο. Αξιολογήθηκε ως προς ποια εργασία, ποια κριτήρια και ποια δεδομένα; Με ποια κατάσταση μοντέλου και συστήματος; Υπό ποιες συνθήκες λειτουργίας; Ποιος έλεγξε τη μέθοδο; Τι έμεινε εκτός πεδίου; Τι θα καθιστούσε το αποτέλεσμα παρωχημένο; Χωρίς αυτές τις ερωτήσεις, η αξιολόγηση είναι απλώς ένας καθησυχαστικός παρελθοντικός χρόνος.

Οι προηγούμενες κατευθυντήριες γραμμές δεοντολογίας της Ευρωπαϊκής Επιτροπής για την Αξιόπιστη ΤΝ διατύπωσαν την αναπαραγωγιμότητα με απλά λόγια: ένα πείραμα ΤΝ θα πρέπει να παρουσιάζει την ίδια συμπεριφορά όταν επαναλαμβάνεται υπό τις ίδιες συνθήκες. Αυτός είναι ένας χρήσιμος ορισμός επειδή περιέχει το ίδιο του το όριο. Οι ίδιες συνθήκες έχουν πραγματική σημασία. Ένα επαναλαμβανόμενο πείραμα μπορεί να δείξει αν ο καταγεγραμμένος ισχυρισμός είναι αναπαράξιμος. Δεν μπορεί να δείξει ότι μια αμετάβλητη συμπεριφορά θα προκύψει μετά από αλλαγή στην πηγή δεδομένων, στην πολιτική ή στη διαδρομή ανάπτυξης. Η αναπαραγωγιμότητα δεν αποτελεί, επομένως, υπόσχεση ότι ο κόσμος μένει ακίνητος. Είναι μια πειθαρχία για να λέμε με ακρίβεια τι συνέβη.

Μια καταγεγραμμένη αξιολόγηση είναι μια χρονική στιγμή. Ο έλεγχος γίνεται διαρκής όταν η επόμενη κατάσταση μπορεί να συγκριθεί με αυτήν.

Ένας αριθμός έκδοσης είναι απαραίτητος αλλά όχι επαρκής

Οι αριθμοί έκδοσης είναι χρήσιμοι επειδή εμποδίζουν μια εγγραφή να προσποιείται ότι τα ονόματα αρκούν. Ωστόσο, μια ετικέτα έκδοσης μπορεί επίσης να δημιουργήσει ψευδή ασφάλεια. Μια ετικέτα όπως η έκδοση 4.2 μπορεί να προσδιορίζει μια κυκλοφορία λογισμικού, αλλά δεν προσδιορίζει κατ' ανάγκην την ενεργή κατάσταση μιας διαδρομής ΤΝ. Μια τιμή διαμόρφωσης μπορεί να βρίσκεται εκτός του αποθετηρίου του μοντέλου. Ένα ευρετήριο ανάκτησης μπορεί να ανακατασκευαστεί από μεταβαλλόμενα έγγραφα. Μια σημαία λειτουργίας μπορεί να επιλέξει διαφορετική διαδρομή εργαλείου. Μια μηχανή πολιτικής μπορεί να αλλάξει μια επιτρεπόμενη ενέργεια. Μια υπηρεσία μπορεί, επομένως, να έχει έναν άψογα διαμορφωμένο αριθμό έκδοσης και να παραμένει δύσκολο να ανακατασκευαστεί.

Αυτό που έχει σημασία είναι η ταυτότητα που αρμόζει στον ισχυρισμό. Αν ο ισχυρισμός αφορά ένα σημείο αναφοράς μοντέλου εκτός σύνδεσης, το τεχνούργημα του μοντέλου, ο κώδικας συμπερασμού, οι ρυθμίσεις παραμέτρων, η έκδοση συνόλου δεδομένων, ο ορισμός μετρικής και το περιβάλλον εκτέλεσης μπορεί να είναι απαραίτητα. Αν ο ισχυρισμός αφορά μια ζωντανή υπηρεσία υποστήριξης αποφάσεων, η εγγραφή μπορεί επιπλέον να χρειάζεται το προτροπή ή το πρότυπο, τη διαμόρφωση ανάκτησης, τα αναγνωριστικά και τη φρεσκάδα πηγών, την κατάσταση δικαιωμάτων, τα σχήματα εργαλείων, την έκδοση πολιτικής, τη διεπαφή αναθεώρησης και τον κανόνα ροής εργασίας. Ένα πακέτο ελέγχου δεν χρειάζεται να περιέχει κάθε byte κάθε συστήματος. Χρειάζεται να περιέχει ή να παραπέμπει αξιόπιστα στα στοιχεία που θα μπορούσαν να αλλάξουν τη σημασία του ισχυρισμού.

Γι' αυτό ένας κατάλογος περιεχομένων είναι συχνά πιο χρήσιμος από ένα αρχείο που απορρίπτεται σε έναν σκληρό δίσκο. Ένας κατάλογος περιεχομένων δηλώνει ποια τεχνουργήματα ανήκουν μαζί, τα αναγνωριστικά τους, τις αναφορές ακεραιότητάς τους, τις σχέσεις τους και τις συνθήκες πρόσβασής τους. Επιτρέπει στον ελεγκτή να εντοπίσει το σχετικό πακέτο χωρίς να υποθέτει ότι κάθε πηγή μπορεί να αντιγραφεί σε έναν φάκελο χωρίς περιορισμούς. Ορισμένα αποδεικτικά στοιχεία περιέχουν προσωπικά δεδομένα, ευαίσθητες λεπτομέρειες ασφαλείας, υλικό με άδεια χρήσης ή εμπορικά μυστικά. Η δυνατότητα ελέγχου απαιτεί ελεγχόμενη πρόσβαση και ουσιαστική ιχνηλασιμότητα, όχι υποχρεωτική δημόσια αποκάλυψη όλων όσων κάνουν ένα σύστημα να λειτουργεί.

Το Παράρτημα IV ακολουθεί παρόμοια πρακτική προσέγγιση. Δεν αντιμετωπίζει την τεχνική τεκμηρίωση ως μια σύντομη περιγραφή προϊόντος. Ζητά πληροφορίες για το σύστημα και τον κύκλο ζωής του, συμπεριλαμβανομένων των αλλαγών που έγιναν κατά την ανάπτυξη και μετά τη διάθεση στην αγορά, των λειτουργιών παρακολούθησης και ελέγχου, των διαδικασιών και αποτελεσμάτων επικύρωσης και δοκιμών, των μέτρων διαχείρισης κινδύνου και μιας περιγραφής των μετρήσεων απόδοσης. Το έγγραφο πρέπει να είναι αρκετά σαφές ώστε οι εθνικές αρμόδιες αρχές και οι κοινοποιημένοι οργανισμοί να μπορούν να αξιολογήσουν τη συμμόρφωση. Με άλλα λόγια, οι πληροφορίες πρέπει να είναι οργανωμένες για έλεγχο, όχι απλώς συγκεντρωμένες επειδή υπήρχε διαθέσιμο σύστημα αποθήκευσης.

Υπάρχει ένα μικρό αλλά καθοριστικό ζήτημα σχεδιασμού πίσω από όλα αυτά: τι θα έπρεπε να διαφέρει προτού τα προηγούμενα στοιχεία δεν μπορούν πλέον να υποστηρίξουν τον παρόντα ισχυρισμό; Η απάντηση δημιουργεί το όριο έκδοσης. Εάν μια νέα πηγή ανάκτησης αλλάζει την πραγματική βάση των συστάσεων, ανήκει στην ταυτότητα. Εάν μια νέα διεπαφή αναθεωρητή αποκρύπτει μια προειδοποίηση, ανήκει στην ταυτότητα. Εάν μια αισθητική διόρθωση κειμένου δεν μπορεί να επηρεάσει την αξιολογούμενη συμπεριφορά, πιθανότατα ανήκει στο ιστορικό αλλαγών αλλά όχι στο αποτύπωμα αξιολόγησης. Η σωστή διαχείριση εκδόσεων δεν είναι η μέγιστη συλλογή. Είναι η αιτιολογημένη συνάφεια.

Καταγράψτε τη σύμβαση, όχι μόνο το αποτέλεσμα

Ένα αποτέλεσμα αποτελεί ένδειξη κάτι, αλλά δεν είναι πάντα ένδειξη αρκετών πραγμάτων. Ένα στιγμιότυπο οθόνης μπορεί να δείξει τι εμφανίστηκε σε μια οθόνη. Συχνά δεν μπορεί να δείξει ποιο μοντέλο το παρήγαγε, ποια πηγή ανακτήθηκε, τι επέστρεψε ένα εργαλείο, ποιος κανόνας εφαρμόστηκε, ποιες είσοδοι παραλείφθηκαν ή αν η προβολή έκρυβε μια προειδοποίηση. Αυτός είναι ένας λόγος που τα στιγμιότυπα οθόνης συσσωρεύονται σε φακέλους συμμόρφωσης με τη σοβαρότητα αρχαιολογικών ευρημάτων και σημαντικά λιγότερη επεξηγηματική δύναμη.

Μια καταγεγραμμένη σύμβαση είναι πλουσιότερη. Συνδέει το αποτέλεσμα με τις συνθήκες υπό τις οποίες αναμενόταν να ενεργήσει το σύστημα. Για μια αξιολόγηση, αυτό μπορεί να περιλαμβάνει την ακριβή σουίτα, τις εισόδους ή μια προστατευμένη αναφορά σε αυτές, τους αναμενόμενους ισχυρισμούς, τη διαμόρφωση μοντέλου και υπηρεσίας, τις σχετικές εκδόσεις πολιτικής και εργαλείων, το περιβάλλον εκτέλεσης όπου επηρεάζει το αποτέλεσμα και τον κανόνα αποδοχής. Για μια ζωντανή εκτέλεση, μπορεί να περιλαμβάνει την ταυτότητα αιτήματος, το εξουσιοδοτημένο πεδίο εφαρμογής, τα αρχεία πηγής και ανάκτησης, τη διαδρομή μοντέλου, τις κλήσεις εργαλείων, τους ελέγχους, την ανθρώπινη παρέμβαση και την προκύπτουσα αλλαγή κατάστασης. Ο στόχος δεν είναι να καταγραφεί ένα ατελείωτο ημερολόγιο. Είναι να διατηρηθούν αρκετές αιτιωδώς σχετικές πληροφορίες για να τεθεί αργότερα ένα σοβαρό ερώτημα.

Υπάρχει ένας χρήσιμος διαχωρισμός που πρέπει να γίνει. Μια καταγραφή αξιολόγησης αποδεικνύει έναν ισχυρισμό σχετικά με μια καθορισμένη δοκιμή ή άσκηση. Ένα αρχείο λειτουργίας βοηθά στην ανασυγκρότηση ενός συγκεκριμένου συμβάντος ή απόφασης. Ένα αρχείο έκδοσης εξηγεί γιατί ένας οργανισμός επέτρεψε σε ένα σύστημα να εισέλθει σε μια καθορισμένη διαδρομή. Ένα αρχείο αλλαγής εξηγεί τι μεταβλήθηκε αργότερα. Αυτά τα αρχεία αλληλοεπικαλύπτονται, αλλά δεν πρέπει να συγχέονται. Το να αντιμετωπίζεται ένα αρχείο καταγραφής παραγωγής ως σημείο αναφοράς ή ένα σημείο αναφοράς ως απόδειξη μιας ροής εργασίας παραγωγής είναι ένας αποτελεσματικός τρόπος να φορτωθεί κάθε αρχείο με περισσότερα από όσα μπορεί να αντέξει.

Ο κανόνας καταγραφής του AI Act για συστήματα υψηλού κινδύνου είναι επίσης συνδεδεμένος με τον σκοπό. Το άρθρο 12 απαιτεί αυτόματη καταγραφή σχετικών συμβάντων καθ' όλη τη διάρκεια ζωής του συστήματος, με δυνατότητες καταγραφής κατάλληλες για τον επιδιωκόμενο σκοπό. Ο Κανονισμός αναφέρεται στην ιχνηλασιμότητα της λειτουργίας του συστήματος, στην παρακολούθηση της λειτουργίας και στην παρακολούθηση μετά τη διάθεση στην αγορά. Δεν απαιτεί μια αδιάκριτη συνήθεια καταγραφής. Απαιτεί αρχεία με συγκεκριμένο σκοπό.

Η φράση «αρχεία με μια εργασία» αποτελεί καλύτερο οδηγό από μια γενική απαίτηση για παρατηρησιμότητα. Το αναγνωριστικό του μοντέλου μπορεί να βοηθήσει στη διάκριση μιας ενημέρωσης. Η προέλευση των δεδομένων εισόδου μπορεί να εξηγήσει μια απροσδόκητη σύσταση. Μια έκδοση κανόνα μπορεί να εξηγήσει γιατί αποκλείστηκε ένα αποτέλεσμα. Μια παράκαμψη από τον αναθεωρητή μπορεί να εξηγήσει γιατί η επιχειρησιακή ενέργεια διαφέρει από την πρόταση του μοντέλου. Μια χρονική σήμανση μπορεί να καθορίσει τη σειρά. Ένας σχεδιασμός που σέβεται την ιδιωτικότητα εξακολουθεί να θέτει το ερώτημα αν κάθε πεδίο είναι απαραίτητο, αναλογικό, διατηρούμενο για καθορισμένο χρονικό διάστημα και προστατευμένο από το ίδιο το σύστημα που καλείται να επιθεωρήσει.

Η αναπαραγωγιμότητα έχει δύο έντιμες μορφές

Οι άνθρωποι συχνά χρησιμοποιούν τον όρο αναπαραγωγιμότητα για να δηλώσουν διαφορετικά πράγματα. Η σύγχυση είναι κατανοητή. Μια ομάδα μπορεί να εννοεί ότι μπορεί να επανεκτελέσει μια σταθερή αξιολόγηση και να λάβει την ίδια βαθμολογία. Ένας ερευνητής μπορεί να εννοεί ότι μια άλλη ομάδα μπορεί να εφαρμόσει την περιγραφόμενη μέθοδο και να εξετάσει το αποτέλεσμα. Ένας χειριστής μπορεί να εννοεί ότι μια έρευνα μπορεί να αναδημιουργήσει την κατάσταση που χρησιμοποιήθηκε για μια συγκεκριμένη απόφαση. Ένας πελάτης μπορεί να εννοεί ότι μια ροή εργασίας παρέχει συνεπή μεταχείριση και δεν αλλάζει αυθαίρετα από την Τρίτη στην Πέμπτη. Αυτοί είναι συναφείς στόχοι. Δεν πρόκειται για μία ιδιότητα με πολλά προσωπεία.

Πρώτον, υπάρχει η αναπαραγωγιμότητα της καταγεγραμμένης εκτέλεσης. Αν το τεχνούργημα, η διαμόρφωση, τα δεδομένα εισόδου, η σχετική κατάσταση και οι συνθήκες εκτέλεσης παραμείνουν σταθερά, μια επανάληψη θα πρέπει να παράγει το τεκμηριωμένο αποτέλεσμα εντός των συνθηκών που υπόσχεται το σύστημα. Ορισμένα συστήματα μπορούν να προβάλουν ισχυρότερο ισχυρισμό ντετερμινισμού για μια καθορισμένη διαδρομή εκτέλεσης. Άλλα βασίζονται σε ελεγχόμενη τυχαιότητα, κατανεμημένη υποδομή ή υπηρεσίες τρίτων και μπορούν να προβάλουν μόνο στενότερο ισχυρισμό. Η υπεύθυνη διατύπωση είναι συγκεκριμένη. Αναφέρει τι είναι σταθερό, τι μετράται, ποια διακύμανση παραμένει δυνατή και πώς γίνεται η σύγκριση.

Δεύτερον, υπάρχει η αναπαραγωγιμότητα του επιχειρήματος αξιολόγησης. Ένας αναθεωρητής πρέπει να μπορεί να δει γιατί η σουίτα αντιπροσωπεύει τον ισχυρισμό, αν η μετρική έχει τη δηλωμένη σημασία, αν το όριο αποδοχής είναι αιτιολογημένο και αν τα στοιχεία μπορούν να μεταφερθούν στο επιχειρησιακό πλαίσιο. Αυτό δεν επιλύεται με ένα άθροισμα ελέγχου. Ένα άθροισμα ελέγχου μπορεί να αποδείξει ότι ένα αρχείο δεν έχει αλλάξει. Δεν μπορεί να αποδείξει ότι το αρχείο εξέτασε το σωστό ερώτημα, ότι ο πληθυσμός ήταν κατάλληλος ή ότι μια βαθμολογία υποστηρίζει την απόφαση στην οποία συνδέεται.

Οι δύο μορφές θα πρέπει να συναντώνται. Μια απόλυτα επαναλήψιμη δοκιμή που μετρά το λάθος πράγμα εξακολουθεί να είναι λάθος δοκιμή. Ένα εξελιγμένο επιχείρημα που συνδέεται με μια μη επαναλήψιμη εκτέλεση αφήνει τους αναθεωρητές ανίκανους να διακρίνουν ένα εύρημα από μια τυχερή στιγμή. Το χρήσιμο πρότυπο δεν είναι μια αφηρημένη απαίτηση για τέλεια αναπαραγωγιμότητα. Είναι μια ορατή αντιστοιχία μεταξύ του ισχυρισμού, της μεθόδου, των καταγεγραμμένων συνθηκών, του παρατηρούμενου αποτελέσματος και της χρήσης που ο οργανισμός επιθυμεί να επιτρέψει.

Η καθοδήγηση της Επιτροπής σχετικά με τις υποχρεώσεις για τους παρόχους μοντέλων γενικής χρήσης τεχνητής νοημοσύνης διατηρεί επίσης την αξιολόγηση συνδεδεμένη με την τεκμηρίωση και τον κίνδυνο. Περιγράφει την τεχνική τεκμηρίωση για τις αρχές και ξεχωριστή ενημέρωση για τους κατάντη παρόχους, συμπεριλαμβανομένων των δυνατοτήτων, των περιορισμών και των πληροφοριών ενοποίησης. Για τα μοντέλα γενικής χρήσης τεχνητής νοημοσύνης με συστημικό κίνδυνο, το άρθρο 55 απαιτεί αξιολόγηση με τυποποιημένα πρωτόκολλα και εργαλεία αιχμής, συμπεριλαμβανομένων τεκμηριωμένων δοκιμών αντιπαλότητας για τον εντοπισμό και τον μετριασμό συστημικών κινδύνων. Μια αξιολόγηση που δεν μπορεί να αναφέρει τι δοκιμάστηκε, υπό ποιες συνθήκες και με ποιους περιορισμούς δεν γίνεται πιο χρήσιμη επειδή χαρακτηρίζεται τυποποιημένη.

Τα στοιχεία έχουν ημερομηνία λήξης

Τα αποδεικτικά στοιχεία δεν λήγουν επειδή κάποιος αποφάσισε να γίνει δύσκολος. Λήγουν όταν οι συνθήκες που τους επέτρεπαν να στηρίξουν έναν ισχυρισμό έχουν αλλάξει αρκετά ώστε η σύνδεση να μην μπορεί πλέον να θεωρείται δεδομένη. Αυτός είναι ο συνήθης τρόπος συλλογισμού. Μια δοκιμή ενός σχεδιασμού γέφυρας δεν καλύπτει αυτόματα ένα διαφορετικό υλικό. Ένας έλεγχος ασφάλειας τροφίμων δεν καλύπτει έναν νέο προμηθευτή με τη δύναμη της αισιοδοξίας. Μια αξιολόγηση μιας διαδρομής τεχνητής νοημοσύνης δεν θα πρέπει να καλύπτει αυτόματα ένα αλλαγμένο μοντέλο, ένα αλλαγμένο όριο δεδομένων, μια αλλαγμένη εξουσιοδότηση εργαλείων ή μια αλλαγμένη συνέπεια απόφασης.

Το δύσκολο έργο είναι να αποφασιστεί ποιες αλλαγές έχουν σημασία. Αυτό είναι θέμα τεχνικής κρίσης, ανάλυσης κινδύνου και διακυβέρνησης, όχι ένα ποσοστό γραμμένο σε μια πολιτική. Μια ενημέρωση που αλλάζει το χρώμα ενός κουμπιού μπορεί να μην έχει καμία σχέση με μια αξιολόγηση. Μια αλλαγή που κάνει μια προειδοποίηση λιγότερο ορατή μπορεί να είναι ουσιώδης αν το επιχείρημα ασφάλειας εξαρτάται από το να τη δει ο αναθεωρητής. Η αναπροσαρμογή ενός σώματος κειμένων πηγής μπορεί να είναι ακίνδυνη για μια εργασία και κρίσιμη για μια άλλη. Ένα νέο τελικό σημείο μοντέλου μπορεί να διατηρεί μια ευρεία δυνατότητα ενώ αλλάζει την καθυστέρηση, τη συμπεριφορά άρνησης, την κάλυψη γλωσσών ή τα πρότυπα χρήσης εργαλείων που έχουν σημασία για τη διαδρομή.

Ένας χρήσιμος έλεγχος αλλαγών ξεκινά λοιπόν με μια ερώτηση αντίκτυπου, όχι με μια τελετουργία έκδοσης. Ποιον ισχυρισμό θα μπορούσε να επηρεάσει αυτή η αλλαγή; Ποια υπόθεση διαταράσσει; Ποια στοιχεία εξαρτώνταν από την προηγούμενη κατάσταση; Απαντά μια περιορισμένη δοκιμή στην ερώτηση ή χρειάζεται η διαδρομή μια νέα αξιολόγηση και απόφαση έκδοσης; Ποιος μπορεί να λάβει αυτή την απόφαση και ποιος μπορεί να την αμφισβητήσει; Οι απαντήσεις θα πρέπει να καταγράφονται, γιατί διαφορετικά ο επόμενος αναθεωρητής θα πρέπει να τις συμπεράνει από τίτλους αιτημάτων, προφορικές παραδόσεις και μια ελαφριά αλλαγή στη γραμματοσειρά του πίνακα ελέγχου εκδόσεων.

Εδώ είναι επίσης το σημείο όπου η παρακολούθηση γίνεται μέρος των αποδεικτικών στοιχείων και όχι ένα ξεχωριστό χόμπι παρατηρησιμότητας. Το άρθρο 72 απαιτεί από τους παρόχους συστημάτων τεχνητής νοημοσύνης υψηλού κινδύνου να συλλέγουν, να τεκμηριώνουν και να αναλύουν ενεργά και συστηματικά σχετικά δεδομένα σχετικά με τις επιδόσεις καθ' όλη τη διάρκεια ζωής του συστήματος, ώστε να μπορούν να αξιολογούν τη συνεχή συμμόρφωση. Το σχέδιο παρακολούθησης μετά τη διάθεση στην αγορά αποτελεί μέρος της τεχνικής τεκμηρίωσης. Η παρακολούθηση δεν είναι λοιπόν απλώς ένας τρόπος να γνωρίζουμε αν η υπηρεσία είναι απασχολημένη. Είναι ένας τρόπος να μάθουμε αν οι συνθήκες πίσω από τον αρχικό ισχυρισμό εξακολουθούν να ισχύουν.

Η παρακολούθηση δεν καθιστά κάθε αποτέλεσμα αυτονόητο. Μια αύξηση στη διαφωνία μεταξύ αναθεωρητών και συστήματος μπορεί να έχει πολλές αιτίες. Μια αλλαγή στη φρεσκάδα της πηγής μπορεί να αντανακλά ένα ζήτημα στη διοχέτευση δεδομένων και όχι μετατόπιση του μοντέλου. Ένα υψηλότερο ποσοστό άρνησης θα μπορούσε να αντιπροσωπεύει μια ασφαλέστερη πολιτική, μια κατεστραμμένη ενοποίηση ή έναν νέο πληθυσμό αιτημάτων. Το αρχείο θα πρέπει να διατηρεί αρκετό πλαίσιο για μια ανθρώπινη διερεύνηση. Οι μετρήσεις είναι σήματα. Δεν είναι μάρτυρες.

Τα αποδεικτικά στοιχεία ισχύουν σε ένα καθορισμένο πλαίσιο. Μια ουσιώδης αλλαγή δημιουργεί ένα ερώτημα προς εξέταση, όχι ένα παραθυράκι για να παρακαμφθεί η εξέταση.

Η ουσιώδης αλλαγή χρειάζεται μια διαδρομή απόφασης

Η φράση «ουσιώδης μεταβολή» συχνά αντιμετωπίζεται σαν να περιγράφει μια αυταπόδεικτη ιδιότητα. Δεν είναι έτσι. Ουσιώδης για ποιον ισχυρισμό, για ποιον κίνδυνο και για ποιον χρήστη; Η απάντηση πρέπει να είναι αρκετά συγκεκριμένη ώστε να μπορούν να τη χρησιμοποιήσουν οι άνθρωποι όταν είναι κουρασμένοι, αργούν και θέλουν να χαρακτηρίσουν μια αλλαγή ως ήσσονος σημασίας. Μια καλή πολιτική δεν υπόσχεται να ταξινομήσει εκ των προτέρων κάθε πιθανή ενημέρωση. Ονομάζει τους παράγοντες που καθορίζουν αν χρειάζεται επαναξιολόγηση.

Αυτοί οι παράγοντες συνήθως περιλαμβάνουν τον επιδιωκόμενο σκοπό, τα άτομα που επηρεάζονται, την εξουσία που παρέχεται στη διαδρομή, τις πηγές δεδομένων και τους ελέγχους ποιότητάς τους, την αρχιτεκτονική του μοντέλου ή του συστήματος, το πεδίο αξιολόγησης, τα όρια απόφασης, τα σήματα παρακολούθησης, την ανθρώπινη εποπτεία, τους ελέγχους ασφαλείας και τις διαδρομές ανάκαμψης. Μια τροποποίηση που αλλάζει οποιονδήποτε από αυτούς τους παράγοντες μπορεί να είναι ή να μην είναι ουσιώδης. Αυτό που έχει σημασία είναι αν μπορεί να αλλάξει τα αποδεικτικά στοιχεία που απαιτούνται για τον υφιστάμενο ισχυρισμό ή τον κίνδυνο που παραμένει μετά τους ελέγχους.

Η Πράξη για την Τεχνητή Νοημοσύνη περιέχει μια ρητή ευθύνη σχετικά με την ουσιώδη τροποποίηση. Η ακριβής νομική της εφαρμογή εξαρτάται από το σύστημα και τους φορείς που εμπλέκονται, οπότε δεν θα πρέπει να συμπυκνώνεται σε ένα σύνθημα. Το επιχειρησιακό δίδαγμα είναι απλούστερο και ευρύτερο: ένας οργανισμός θα πρέπει να γνωρίζει πότε μια αλλαγή μεταβιβάζει ή δημιουργεί ευθύνη, πότε η υπάρχουσα τεκμηρίωση δεν είναι πλέον επαρκής και πότε το σύστημα πρέπει να αξιολογηθεί εκ νέου πριν συνεχιστεί μια νέα χρήση. Είναι λιγότερο συναρπαστικό από την παρουσίαση μιας νέας λειτουργίας. Είναι επίσης λιγότερο πιθανό να οδηγήσει σε μια δύσκολη συζήτηση όπου όλοι συμφωνούν ότι το σύστημα άλλαξε, αλλά κανείς δεν αναλαμβάνει την απόφαση.

Μια διαδρομή απόφασης δίνει σε μια αλλαγή έναν προορισμό. Μια διαδρομή μπορεί να επιτρέπει ένα τεκμηριωμένο εύρημα μη επιρροής. Μια άλλη μπορεί να απαιτεί μια στοχευμένη αξιολόγηση παλινδρόμησης. Μια άλλη μπορεί να απαιτεί ευρύτερη επανεξέταση κινδύνου, τροποποίηση των οδηγιών χρήσης, αναθεωρημένο σχέδιο παρακολούθησης ή νέα έγκριση κυκλοφορίας. Η πιο σοβαρή διαδρομή μπορεί να απαιτεί η διαδρομή να παραμείνει περιορισμένη ή σε αναστολή έως ότου υπάρξουν διαθέσιμα αποδεικτικά στοιχεία. Το ζητούμενο δεν είναι να γίνει κάθε επεξεργασία δαπανηρή. Είναι να καταστεί αδύνατο να μεταμφιεστεί η σημαντική επεξεργασία σε συνήθη διαχειριστική εργασία.

Υπάρχει μια ικανοποιητική έλλειψη εξιδανίκευσης σε αυτό. Ένα αρχείο αλλαγών μπορεί να δείχνει την προηγούμενη κατάσταση, την προτεινόμενη κατάσταση, τους επηρεαζόμενους ισχυρισμούς, τα αποδεικτικά στοιχεία που εξετάστηκαν, την απόφαση, την εξουσιοδότηση και τις συνθήκες μετά την κυκλοφορία. Αυτή είναι η διακυβέρνηση με τα καθημερινά της ρούχα. Δεν θα φανεί ποτέ τόσο εντυπωσιακή όσο μια επίδειξη μοντέλου. Έχει όμως την πιο χρήσιμη ιδιότητα να βοηθά έναν οργανισμό να εξηγήσει τον εαυτό του όταν μια επίδειξη έχει γίνει μια πραγματική υπηρεσία.

Η αξιολόγηση θα πρέπει να μπορεί να αποτυγχάνει δημόσια, ή τουλάχιστον στο αρχείο

Η αξιολόγηση γίνεται επιτελεστική όταν κάθε αποτέλεσμα θεωρείται δεδομένο ότι είναι αποτέλεσμα κυκλοφορίας. Ένα ώριμο πρόγραμμα αξιολόγησης πρέπει να μπορεί να καταλήξει στο συμπέρασμα ότι τα αποδεικτικά στοιχεία είναι ελλιπή, ότι δεν επιτεύχθηκε ένα όριο, ότι ένας γνωστός περιορισμός εμποδίζει μια προτεινόμενη χρήση ή ότι ένας ισχυρισμός πρέπει να περιοριστεί. Αυτά δεν είναι ντροπιαστικές εξαιρέσεις στη διαδικασία. Είναι αποτελέσματα της διαδικασίας.

Αυτό είναι ιδιαίτερα σημαντικό για προσαρμοστικά συστήματα ή συστήματα με εξωτερικές συνδέσεις. Μια ομάδα μπορεί να ανακαλύψει ότι μια σουίτα δεν αντιπροσωπεύει πλέον έναν ζωντανό πληθυσμό εισόδου. Μια σύμβαση εργαλείου μπορεί να γίνει πολύ ασταθής για να υποστηρίξει έναν ισχυρισμό αναπαραγωγής. Μια ενημέρωση μοντέλου μπορεί να βελτιώσει μια εργασία αλλά να καταστήσει δυσκολότερη την εποπτεία μιας προστατευμένης διαδρομής. Ένα επιχειρησιακό σήμα μπορεί να δείξει ότι η μεταβίβαση από το σύστημα στον αναθεωρητή αποτυγχάνει υπό συνήθη φόρτο εργασίας. Η σωστή απάντηση δεν είναι απαραίτητα μια δραματική διακοπή λειτουργίας. Μπορεί να είναι ένας περιορισμός, μια αναθεωρημένη ροή εργασίας, μια περαιτέρω δοκιμή, μια νέα προϋπόθεση αποδοχής ή μια απόφαση να μην διατυπωθεί ο αρχικός ισχυρισμός.

Το αρχείο πρέπει να επιτρέπει σε έναν αξιολογητή να δει αυτό το αρνητικό αποτέλεσμα. Διαφορετικά, ένας οργανισμός κατασκευάζει μια πολύ αποτελεσματική μηχανή για τη συλλογή μόνο των αποδεικτικών στοιχείων που του αρέσουν. Οι απαιτήσεις διαχείρισης ποιότητας του άρθρου 17 έχουν σημασία εδώ. Καλύπτουν, μεταξύ άλλων, τεχνικές και διαδικασίες για τον σχεδιασμό, την ανάπτυξη και τον ποιοτικό έλεγχο· την εξέταση, τη δοκιμή και την επικύρωση· τη διαχείριση δεδομένων· τη διαχείριση κινδύνου· την παρακολούθηση μετά τη διάθεση στην αγορά· την αναφορά περιστατικών· και την επικοινωνία με τις αρχές. Ένα σύστημα ποιότητας δεν είναι ένας φάκελος που κάνει τις αποτυχίες να εξαφανίζονται. Είναι ένας τρόπος να τις εντοπίζει, να τις τεκμηριώνει και να τις αντιμετωπίζει.

Η ίδια αρχή διέπει την πρόσβαση. Ένας εξωτερικός ρυθμιστής, κοινοποιημένος οργανισμός ή εξουσιοδοτημένος αξιολογητής μπορεί να χρειαστεί τεχνικά αποδεικτικά στοιχεία που δεν μπορούν να δημοσιευθούν ανοιχτά. Μια δημόσια σύνοψη μπορεί να είναι κατάλληλη για άλλα μέρη του αρχείου. Πρόκειται για διαφορετικές οδούς πρόσβασης, όχι για διαφορετικά γεγονότα. Το κοινό δεν πρέπει να λαμβάνει μια αισιόδοξη περιγραφή ενώ το ελεγχόμενο αρχείο περιγράφει μια στενότερη και πιο υπό όρους πραγματικότητα. Η εμπιστευτικότητα μπορεί να είναι θεμιτή. Η αντίφαση αποτελεί αποτυχία διακυβέρνησης.

Στο Dweve, το δημόσιο Trust Centre μας αποτελεί ένα μικρό, σκόπιμα περιορισμένο παράδειγμα αυτής της διάκρισης. Η σελίδα αξιολογήσεών του αναφέρει ότι μια αξιολόγηση προσδιορίζει το μοντέλο, την ακριβή σουίτα, τη διαμόρφωση, την καταγεγραμμένη κατάσταση, τα αποδεικτικά στοιχεία και την απόφαση του αξιολογητή. Αναφέρει επίσης ότι μια επαναλαμβανόμενη καταγεγραμμένη σύμβαση θα πρέπει να παράγει πανομοιότυπα αποτελέσματα byte προς byte σε υποστηριζόμενες αρχιτεκτονικές, ενώ μια ζωντανή επανεκτέλεση μπορεί να διαφέρει όταν αλλάζουν εξωτερικά αποδεικτικά στοιχεία ή προσαρμοστική κατάσταση. Η σελίδα διαχωρίζει τη δημόσια μέθοδο από ένα συμπληρωμένο αποτέλεσμα μάρκετινγκ. Αυτό δεν αποτελεί απόδειξη της ποιότητας ενός μοντέλου. Είναι απλώς το σωστό σχήμα ενός ισχυρισμού σχετικά με τα αρχεία αξιολόγησης.

Η ζωντανή παρακολούθηση δεν υποκαθιστά μια απόφαση πριν από τη διάθεση

Η παρακολούθηση περιγράφεται μερικές φορές ως η απάντηση στην αβεβαιότητα: διάθεσε το σύστημα, παρακολούθησε τον πίνακα ελέγχου, βελτίωνε συνεχώς. Υπάρχει ένα χρήσιμο ένστικτο σε αυτή τη φράση. Τα συστήματα χρειάζονται παρατήρηση μετά τη διάθεση επειδή η ανάπτυξη παράγει πληροφορίες που ένα εργαστήριο δεν μπορεί. Αλλά η παρακολούθηση δεν μπορεί να υποστηρίξει αναδρομικά μια απόφαση για την οποία τα αποδεικτικά στοιχεία δεν ήταν ποτέ επαρκή. Δεν μπορεί να πει σε ένα άτομο που επηρεάστηκε από μια ελαττωματική ενέργεια υψηλού αντίκτυπου ότι ο οργανισμός θα μάθει από το γράφημα τον επόμενο μήνα.

Η αξιολόγηση πριν από τη διάθεση και η παρακολούθηση μετά τη διάθεση απαντούν σε διαφορετικά ερωτήματα. Η αξιολόγηση εξετάζει αν ο οργανισμός έχει αρκετά αποδεικτικά στοιχεία για να επιτρέψει μια συγκεκριμένη χρήση τώρα. Η παρακολούθηση εξετάζει αν εξακολουθούν να ισχύουν οι προϋποθέσεις πίσω από αυτή την άδεια και αν αναδύονται νέοι κίνδυνοι ή αποτυχίες. Η πρώτη θεσπίζει ένα αρχικό όριο. Η δεύτερη παρατηρεί το όριο σε λειτουργία. Ένα αξιόπιστο σύστημα χρειάζεται και τα δύο, καθώς και μια οδό για τα δεδομένα και τη λειτουργική μάθηση να επιστρέφουν στην εκτίμηση κινδύνου, την τεκμηρίωση και τον έλεγχο αλλαγών.

Αυτός ο βρόχος είναι που μετατρέπει ένα στατικό πακέτο διασφάλισης σε ζωντανό αρχείο. Μια αξιολόγηση δίνει μια γραμμή βάσης. Ένα αρχείο ανάπτυξης αναφέρει ποια γραμμή βάσης υιοθετήθηκε. Η καταγραφή και η παρακολούθηση δείχνουν τη σχετική συμπεριφορά. Μια αλλαγή μπορεί να τροποποιήσει τη γραμμή βάσης ή να αποκαλύψει τα όριά της. Στη συνέχεια, μια επανεξέταση ενημερώνει τον ισχυρισμό, τα αποδεικτικά στοιχεία, τους περιορισμούς ή την κατάστασή του. Το σύστημα κινείται. Το αρχείο κινείται μαζί του, αλλά δεν ξαναγράφει το δικό του παρελθόν. Ένας ελεγκτής μπορεί να δει τόσο την τρέχουσα θέση όσο και τη διαδρομή μέσω της οποίας έφτασε εκεί.

Για συστήματα υψηλού κινδύνου, ο κανονισμός AI Act είναι σαφής ότι η παρακολούθηση μετά τη διάθεση στην αγορά θα πρέπει να συλλέγει και να αναλύει σχετικά δεδομένα επιδόσεων καθ' όλη τη διάρκεια ζωής και να επιτρέπει την αξιολόγηση της συνεχούς συμμόρφωσης. Απαιτεί επίσης από τους υπεύθυνους ανάπτυξης να παρακολουθούν τη λειτουργία βάσει των οδηγιών χρήσης και να ενημερώνουν τον πάροχο και την αρμόδια αρχή χωρίς αδικαιολόγητη καθυστέρηση όταν έχουν λόγο να θεωρούν ότι η χρήση μπορεί να ενέχει κίνδυνο. Αυτές οι απαιτήσεις δεν αναιρούν την ανάγκη για επαγγελματική κρίση. Δίνουν στην επαγγελματική κρίση αρχεία, εναύσματα και οδούς.

Υπάρχει οργανωτικός πειρασμός να θεωρηθεί η παρακολούθηση ευθύνη της ομάδας λειτουργίας και η αξιολόγηση ευθύνη της ομάδας μοντέλων. Αυτός ο διαχωρισμός θα αποτύχει στο πρώτο ουσιαστικό ερώτημα για μια ζωντανή διαδρομή. Ο ειδικός μοντέλων μπορεί να γνωρίζει γιατί επιλέχθηκε ένα τεστ. Ο χειριστής μπορεί να γνωρίζει ότι οι πηγές ήταν παρωχημένες. Ο ιδιοκτήτης πολιτικής μπορεί να γνωρίζει ότι άλλαξε ένας κανόνας απόφασης. Ο αξιολογητής μπορεί να γνωρίζει ότι η διεπαφή δημιουργεί προκατάληψη αυτοματισμού. Ένα αρχείο καταγραφής ελέγχου θα πρέπει να συνενώνει τα στοιχεία τους χωρίς να προσποιείται ότι ένα άτομο βλέπει ολόκληρο το σύστημα.

Μπορεί μια ρυθμιστική αρχή να αναπαράγει μια απόφαση;

Μερικές φορές η απάντηση θα πρέπει να είναι ναι, εντός καθορισμένου πεδίου. Αν ένας οργανισμός ισχυρίζεται ότι μια απόφαση ή αξιολόγηση μπορεί να αναπαραχθεί, πρέπει να προσδιορίσει τι σημαίνει αναπαραγωγή. Σημαίνει επανάληψη μιας κλήσης μοντέλου με το ίδιο ερώτημα; Σημαίνει ανακατασκευή της πλήρους ακολουθίας ανάκτησης και εργαλείων; Σημαίνει ανασύσταση του αρχείου που είδε ένας αξιολογητής; Σημαίνει επικύρωση ενός ντετερμινιστικού υπολογισμού από διατηρημένες εισόδους; Κάθε επιλογή είναι χρήσιμη. Κάθε μία έχει διαφορετικές τεχνικές και νομικές προϋποθέσεις.

Μια ουσιαστική αναπαραγωγή ξεκινά με διατηρημένη ταυτότητα. Ο αξιολογητής πρέπει να γνωρίζει ποια έκδοση συστήματος και ποια διαμόρφωση ίσχυαν, ποιες είσοδοι και εκδόσεις πηγών ήταν αποδεκτές, ποιες πολιτικές και άδειες εφαρμόζονταν, ποιες εξωτερικές εξαρτήσεις ανταποκρίθηκαν και ποιες ανθρώπινες ενέργειες άλλαξαν τη διαδρομή. Ορισμένα στοιχεία μπορεί να χρειαστεί να αποθηκευτούν άμεσα. Άλλα μπορεί να αναφέρονται μέσω σταθερών αναγνωριστικών και να ανακατασκευάζονται μέσω ελεγχόμενων συστημάτων. Αυτό που δεν είναι αποδεκτό είναι να χαρακτηρίζεται μια άσκηση αναπαράξιμη όταν εξαρτάται από μια ζωντανή αναζήτηση στο διαδίκτυο, μια εγγραφή βάσης δεδομένων που έχει αντικατασταθεί και μια ρύθμιση που θυμάται κάποιος από τον φορητό υπολογιστή ενός μηχανικού.

Ακόμα και τότε, μια αναπαραγωγή μπορεί να αναπαράγει ένα αρχείο αντί να επαναλαμβάνει τον κόσμο. Μια ζωντανή πηγή μπορεί να ενημερωθεί ή να αποσυρθεί. Μια υπηρεσία τρίτου μέρους μπορεί να αλλάξει. Μια προσαρμοστική υπηρεσία μπορεί να συσσωρεύσει νέα διαχειριζόμενη κατάσταση. Ένας άνθρωπος μπορεί να κρίνει διαφορετικά όταν του παρουσιάζονται οι ίδιες πληροφορίες. Αυτά δεν είναι ελαττώματα της ιδέας της αναπαραγωγής. Είναι διακρίσεις που πρέπει να διατηρεί το αρχείο. Η αναπαραγωγή μπορεί να δείξει τι έκανε το σύστημα υπό τη συλληφθείσα σύμβαση. Δεν ισχυρίζεται ότι ο παρών κόσμος είναι ταυτόσημος με αυτή τη σύμβαση.

Γι' αυτό τα αρχεία ανθρώπινων αποφάσεων ανήκουν δίπλα στα τεχνικά αρχεία όταν η ανθρώπινη εποπτεία αποτελεί μέρος του επιχειρήματος ασφάλειας ή δικαιωμάτων. Ένας έλεγχος μπορεί να χρειαστεί να γνωρίζει ότι ένα άτομο εξέτασε μια σύσταση, ποιες πληροφορίες είχε στη διάθεσή του, τι επέλεξε και ποια εξουσία είχε. Δεν χρειάζεται να μετατρέψει κάθε αξιολογητή σε στόχο επιτήρησης ούτε να διατηρήσει απεριόριστο προσωπικό υλικό. Χρειάζεται αρκετές πληροφορίες για να διαπιστωθεί αν η υποσχεθείσα εποπτεία υπήρξε στο υπό εξέταση συμβάν.

Η αναπαραγωγή είναι επομένως μια κλίμακα, όχι ένα καύχημα. Στο ένα σκαλοπάτι, ένας αξιολογητής μπορεί να αναγνωρίσει την έκδοση. Στο επόμενο, μπορεί να επιθεωρήσει τα στοιχεία. Πιο ψηλά, μπορεί να αναδημιουργήσει ένα τεστ ή να αναλύσει μια ζωντανή διαδρομή απόφασης. Ο οργανισμός θα πρέπει να δηλώνει ποιο σκαλοπάτι υποστηρίζει, πού βρίσκονται τα όρια και ποια μέρη απαιτούν εξουσιοδοτημένη πρόσβαση. Ένας μετριοπαθής, ελέγξιμος ισχυρισμός αναπαραγωγής είναι πολύ ισχυρότερος από μια αόριστη διαβεβαίωση ότι όλα είναι ιχνηλάσιμα.

Οι έλεγχοι χρειάζονται αρχεία που διαφωνούν μεταξύ τους

Το δημόσιο αρχείο κατάστασης ενός οργανισμού, το εσωτερικό αρχείο έκδοσης, η έκθεση αξιολόγησης, τα αρχεία καταγραφής λειτουργίας και το μητρώο συμβάντων δεν θα πρέπει να λένε διαφορετικά πράγματα για την ίδια βασική κατάσταση. Αλλά δεν θα πρέπει να είναι ούτε πανομοιότυπα έγγραφα. Κάθε ένα έχει διαφορετικό κοινό και σκοπό. Το δημόσιο αρχείο μπορεί να αναφέρει τον επιδιωκόμενο σκοπό, την κατάσταση, τους γνωστούς περιορισμούς και μια διαδρομή για περαιτέρω πληροφορίες. Ο τεχνικός φάκελος μπορεί να περιέχει λεπτομερή αρχιτεκτονική, δεδομένα, δοκιμές και ελέγχους. Το αρχείο λειτουργίας μπορεί να περιέχει ιχνηλασιμότητα σε επίπεδο συμβάντος. Το αρχείο αλλαγών μπορεί να εξηγεί γιατί επανεξετάστηκε ένα προηγούμενο συμπέρασμα.

Η ακεραιότητα προκύπτει από την αντιστοιχία. Αν μια δημόσια σελίδα αναφέρει ότι μια διαδρομή περιορίζεται σε σύσταση, τα τεχνικά και επιχειρησιακά αρχεία δεν θα πρέπει να περιγράφουν αυτόματη ενέργεια. Αν μια αξιολόγηση αναφέρεται σε ένα συγκεκριμένο σύνολο πηγών, το αρχείο έκδοσης δεν θα πρέπει να την εφαρμόζει σιωπηρά σε μεταγενέστερο σύνολο. Αν ένα αρχείο αλλαγής αναφέρει ότι μια ενημέρωση μοντέλου ήταν επουσιώδης, η εκτίμηση επιπτώσεων θα πρέπει να αναφέρει τον συγκεκριμένο ισχυρισμό και τα αποδεικτικά στοιχεία που επηρεάζονται. Αν ένα σήμα παρακολούθησης εγείρει αναθεώρηση, η επακόλουθη απόφαση θα πρέπει να είναι ιχνηλάσιμη. Τα έγγραφα μπορεί να διαφέρουν ως προς τη λεπτομέρεια. Δεν πρέπει να διαφέρουν ως προς την πραγματικότητα.

Αυτή η αντιστοιχία είναι χρήσιμη για τους ρυθμιστές, διότι μειώνει την ανάγκη να εμπιστεύονται ένα μόνο επιμελημένο τεκμήριο. Ένας αξιολογητής μπορεί να συγκρίνει αρχεία. Είναι χρήσιμη για τους οργανισμούς, διότι αποκαλύπτει αποκλίσεις μεταξύ ομάδων πριν τις εντοπίσει ένας εξωτερικός έλεγχος. Και είναι χρήσιμη για τους επηρεαζόμενους ανθρώπους, διότι η δημόσια εξήγηση μπορεί να γίνει πραγματική οδός λογοδοσίας και όχι ένα διακοσμητικό στρώμα πάνω από ένα ξεχωριστό ιδιωτικό σύστημα.

Η αρχιτεκτονική δεν χρειάζεται να είναι περίπλοκη. Ένας μικρός οργανισμός μπορεί να χρησιμοποιεί ελεγχόμενο μητρώο, εκδόσεις εγγράφων, υπογεγραμμένες εξαγωγές και πειθαρχημένες αναθεωρήσεις αλλαγών. Ένας μεγαλύτερος οργανισμός μπορεί να χρησιμοποιεί δομημένα αρχεία καταγραφής, μητρώα προσθήκης μόνο, μηχανισμούς πολιτικής και αυτοματοποιημένη συλλογή αποδεικτικών στοιχείων. Το σημαντικό ερώτημα είναι αν η μέθοδος μπορεί να συνδέσει αξιόπιστα τον ισχυρισμό, την κατάσταση, τα αποδεικτικά στοιχεία, την απόφαση και τη μεταγενέστερη αλλαγή. Μια τεράστια υποδομή εργαλείων που χάνει αυτή τη σχέση είναι απλώς ένας πιο ακριβός τρόπος να είναι κανείς ασαφής.

Υπάρχει μια ιδιαίτερα ευρωπαϊκή αρετή στο να καθίσταται το αρχείο επιθεωρήσιμο χωρίς να γίνεται θεατρικό. Δεν ανήκει κάθε απάντηση σε έναν δημόσιο πίνακα ελέγχου. Δεν χρειάζεται κάθε τεκμηριωμένη αβεβαιότητα ένα χαρούμενο εικονίδιο. Αλλά όταν ένας οργανισμός έχει διατυπώσει έναν σημαντικό ισχυρισμό για ένα προσαρμοστικό σύστημα, θα πρέπει να μπορεί να δείξει σε έναν ρυθμιστή πού βρίσκεται αυτός ο ισχυρισμός, σε ποια κατάσταση αναφερόταν και πώς θα γνώριζε ο οργανισμός ότι έχει καταστεί παρωχημένος.

Το ερώτημα του ελέγχου αλλάζει το ερώτημα του σχεδιασμού

Ρωτήστε έγκαιρα αν ένας ρυθμιστής θα μπορούσε να ελέγξει το σύστημα όπως θα λειτουργεί στην πραγματικότητα. Η απάντηση αλλάζει τις σχεδιαστικές επιλογές πολύ πριν ξεκινήσει ένας επίσημος έλεγχος. Ευνοεί σταθερά αναγνωριστικά αντί για διφορούμενες ετικέτες. Ευνοεί ρητές εκδόσεις πολιτικής αντί για κανόνες ενσωματωμένους σε πεζό κείμενο. Ευνοεί συμβόλαια εργαλείων που μπορούν να καταγραφούν και να δοκιμαστούν. Ευνοεί την προέλευση των πηγών και δείκτες φρεσκάδας. Ευνοεί ένα σαφές όριο μεταξύ σύστασης και ενέργειας. Ευνοεί οθόνες αναθεώρησης που διατηρούν τις πληροφορίες που χρειάζεται ο αξιολογητής. Ευνοεί μηχανισμούς παύσης και ανάκαμψης με κατονομαζόμενη εξουσία.

Αλλάζει επίσης τις προμήθειες. Η δήλωση ενός προμηθευτή ότι ένα μοντέλο βελτιώνεται τακτικά δεν αρκεί όταν η ανάπτυξη εξαρτάται από μια καθορισμένη αξιολογημένη κατάσταση. Ο αγοραστής πρέπει να γνωρίζει πώς κοινοποιούνται οι αλλαγές, ποια τεκμήρια μπορούν να αναγνωριστούν, ποιες πληροφορίες είναι διαθέσιμες για εκτίμηση επιπτώσεων, αν τα ιστορικά αρχεία παραμένουν ερμηνεύσιμα και πώς μπορεί να περιοριστεί ή να τεθεί σε παύση μια διαδρομή. Αυτά δεν είναι εξωτικές απαιτήσεις. Είναι οι πρακτικοί όροι υπό τους οποίους ένας οργανισμός παραμένει υπεύθυνος για ένα σύστημα που περιέχει ένα στοιχείο προμηθευτή.

Το ίδιο ερώτημα αλλάζει τον σχεδιασμό της αξιολόγησης. Μια χρήσιμη σουίτα έχει ταυτότητα και σκεπτικό. Τα δεδομένα εισόδου ή οι αναφορές της είναι ελεγχόμενα. Οι μετρικές και τα όριά της ορίζονται πριν διαβαστεί το αποτέλεσμα. Οι εξαιρέσεις της είναι ορατές. Τα αποτελέσματά της συνδέονται με την κατάσταση συστήματος που πράγματι συζητείται. Οι αποτυχίες της έχουν οδό προς μια απόφαση. Οι συνθήκες επανεκτέλεσής της είναι σαφείς. Μια αξιολόγηση με αυτές τις ιδιότητες μπορεί να αμφισβητηθεί. Αυτό είναι χαρακτηριστικό, όχι ατυχής παρενέργεια της ενδελέχειας.

Πάνω απ' όλα, η ερώτηση αλλάζει τον ρόλο της αλλαγής. Η αλλαγή παύει να είναι μια αμηχανία που η τεκμηρίωση προσπαθεί να κρύψει. Γίνεται γεγονός πρώτης κατηγορίας στο μοντέλο αποδεικτικών στοιχείων του συστήματος. Κάποιες αλλαγές θα απαιτούν λίγο περισσότερο από μια καταγραφή. Κάποιες θα ενεργοποιούν ένα τεστ. Κάποιες θα επαναφέρουν την απόφαση έκδοσης. Ο πειθαρχημένος οργανισμός δεν συγχέει αυτές τις κατηγορίες και δεν χρειάζεται ένα μελλοντικό περιστατικό για να ανακαλύψει ότι υπήρχαν.

Ναι, λοιπόν: μια ρυθμιστική αρχή μπορεί να ελέγξει έναν κινούμενο στόχο. Ο έλεγχος ξεκινά απορρίπτοντας την ψευδή επιλογή ανάμεσα σε ένα παγωμένο μοντέλο τεκμηρίωσης και μια εντελώς άγνωστη ζωντανή υπηρεσία. Καταγράψτε την κατάσταση. Δηλώστε τον ισχυρισμό. Διατηρήστε τις συνθήκες. Συνδέστε τα αποδεικτικά στοιχεία με την απόφαση. Καταγράψτε τι αλλάζει. Επαναξιολογήστε όταν ο σύνδεσμος δεν ισχύει πλέον. Ο στόχος μπορεί να κινείται. Το ίχνος πρέπει να παραμένει ευανάγνωστο.

Πηγές