Ο ήσυχος αντίκτυπος της Πράξης για την Τεχνητή Νοημοσύνη της ΕΕ: αρχεία, όχι συνθήματα

Το δύσκολο μέρος της Πράξης για την Τεχνητή Νοημοσύνη της ΕΕ δεν είναι να επαναλαμβάνεις τις αρχές της. Είναι να μετατρέπεις τον κίνδυνο, την τεκμηρίωση,...

Ο ήσυχος αντίκτυπος της Πράξης για την Τεχνητή Νοημοσύνη της ΕΕ: αρχεία, όχι συνθήματα

Το αρχείο που φτάνει μετά την απόφαση

Υπάρχει μια στιγμή αφού γίνει αποδεκτή μια αυτοματοποιημένη σύσταση, όταν ο χώρος αλλάζει μορφή. Η οθόνη εξακολουθεί να δείχνει το αποτέλεσμα. Η συζήτηση έχει προχωρήσει στο τι θα γίνει στη συνέχεια. Κάποιος ρωτά ποια έκδοση του συστήματος το παρήγαγε, ποιες πληροφορίες ήταν διαθέσιμες εκείνη τη στιγμή, αν ο χειριστής θα μπορούσε να το είχε απορρίψει και ποιος κανόνας έκανε τη διαδρομή επιτρεπτή. Αυτές οι ερωτήσεις δεν αποτελούν δραματική επίθεση στην τεχνολογία. Είναι οι συνηθισμένες ερωτήσεις που κάνουν οι θεσμοί όταν μια ενέργεια αποκτά συνέπεια.

Φανταστείτε μια σύνθετη υπόθεση, σκόπιμα χωρίς επώνυμη οργάνωση, σύστημα ή περιστατικό. Ένας δημόσιος φορέας χρησιμοποιεί ένα σύστημα τεχνητής νοημοσύνης υψηλού κινδύνου για να υποστηρίξει μια απόφαση που επηρεάζει ένα άτομο. Ένα εκπαιδευμένο μέλος του προσωπικού παραμένει υπεύθυνο για την απόφαση. Το μοντέλο δίνει ένα αποτέλεσμα, το μέλος του προσωπικού το ελέγχει και η απόφαση λαμβάνεται. Αργότερα, ένας επόπτης πρέπει να κατανοήσει τη διαδρομή. Το ίδιο το αποτέλεσμα είναι παρόν. Η απόφαση είναι παρούσα. Η αλυσίδα μεταξύ τους δεν είναι. Δεν υπάρχει σαφές αρχείο των ισχυουσών οδηγιών, των δεδομένων που χρησιμοποιήθηκαν, της έκδοσης που αναπτύχθηκε, της παρέμβασης που ήταν διαθέσιμη ή του λόγου για τον οποίο ο άνθρωπος αποδέχθηκε το αποτέλεσμα. Τίποτα σε αυτή την περιγραφή δεν απαιτεί μια θεαματική δυσλειτουργία. Ένα αρχείο που λείπει αρκεί για να μετατρέψει μια αναθεώρηση σε άσκηση ανασύνθεσης.

Η Πράξη για την Τεχνητή Νοημοσύνη της Ευρωπαϊκής Ένωσης συχνά συζητείται ως ένας κατάλογος απαγορεύσεων, κατηγοριών και κυρώσεων. Αυτά τα μέρη έχουν σημασία, αλλά δεν αποτελούν το σύνολο του έργου. Η Πράξη περιγράφει επίσης μια πιο ήσυχη υποδομή αποδεικτικών στοιχείων: διαχείριση κινδύνου που τεκμηριώνεται και συντηρείται, πρακτικές δεδομένων με προέλευση και σκοπό, τεχνική τεκμηρίωση που μπορεί να αξιολογηθεί, αρχεία καταγραφής που καταγράφουν σχετικά συμβάντα, οδηγίες που λένε σε έναν φορέα ανάπτυξης πώς να ερμηνεύσει ένα σύστημα, ανθρώπινη εποπτεία με πραγματική εξουσία και αρχεία που παραμένουν διαθέσιμα όταν αργότερα προκύψει μια ερώτηση. Ο νόμος ζητά από έναν θεσμό να θυμάται σκόπιμα.

Αυτό είναι ένα λιγότερο κινηματογραφικό έργο από την κυκλοφορία ενός μοντέλου. Είναι επίσης εκεί όπου η λογοδοσία γίνεται πραγματική. Ένα σύνθημα μπορεί να δηλώσει ότι ένας οργανισμός αναλαμβάνει την ευθύνη. Ένα αρχείο μπορεί να δείξει πώς έμοιαζε η ευθύνη σε μια συγκεκριμένη στιγμή. Μπορεί να δείξει ένα όριο, μια αβεβαιότητα, μια έγκριση, μια άρνηση, μια διόρθωση ή μια απουσία. Δεν μπορεί να καταστήσει νόμιμη μια παράνομη απόφαση με το να υπάρχει εκ των υστέρων, και δεν μπορεί να επισκευάσει από μόνο του την απώλεια ενός ατόμου. Μπορεί να κάνει τη διαδρομή αρκετά επιθεωρήσιμη για μια θεραπεία, μια διόρθωση και μια καλύτερη απόφαση σχετικά με την επόμενη έκδοση.

Αυτό το άρθρο αφορά αυτή την ήσυχη εργασία. Διαβάζει τις υποχρεώσεις τήρησης αρχείων και τεκμηρίωσης στην Πράξη για την Τεχνητή Νοημοσύνη ως λειτουργικές απαιτήσεις και όχι ως γραφειοκρατία που συνδέεται με μια κυκλοφορία. Ρωτά τι μπορούν να αποδείξουν τα αρχεία, τι δεν μπορούν να αποδείξουν, πώς ένα αρχείο αποκτά νόημα από τα συμφραζόμενα, γιατί η πληρότητα δεν είναι το ίδιο με τον όγκο και πώς ένας οργανισμός μπορεί να οικοδομήσει μια ρουτίνα που αφήνει αποδεικτικά στοιχεία χωρίς να μετατρέπει κάθε ανθρώπινη αλληλεπίδραση σε μόνιμο αντικείμενο επιτήρησης. Τα παραδείγματα που δεν προέρχονται άμεσα από αναφερόμενη πηγή χαρακτηρίζονται ως προτεινόμενα, υποθετικά ή σύνθετα. Δεν υπάρχει επινοημένο περιστατικό που να περιμένει στο τέλος της ιστορίας. Το ζητούμενο είναι να μην χρειαστεί κανένα.

Οι υποχρεώσεις του Κανονισμού δεν είναι ξεχωριστά ράφια. Σχηματίζουν μια διαδρομή από τον σκοπό και τον κίνδυνο προς τα αποδεικτικά στοιχεία, την εποπτεία και την επανόρθωση.

Γιατί έχει σημασία η αθόρυβη δουλειά

Τα αρχεία καταγραφής παρεξηγούνται εύκολα, επειδή υπάρχουν σχεδόν σε κάθε οργανισμό. Μια εγγραφή σε βάση δεδομένων, ένα δελτίο εργασίας, ένα αίτημα αλλαγής, μια υπογεγραμμένη απόφαση, μια χρονική σήμανση και μια γραμμή καταγραφής μοιάζουν όλα με αρχεία. Η παρουσία τους από μόνη της λέει πολύ λίγα. Ένα αρχείο γίνεται χρήσιμο όταν απαντά σε μια συγκεκριμένη ερώτηση με αρκετό πλαίσιο ώστε να διακρίνεται τι συνέβη από το τι πιστεύει τώρα κάποιος ότι συνέβη. Αυτή η διάκριση είναι ιδιαίτερα σημαντική για την τεχνητή νοημοσύνη, επειδή το ορατό αποτέλεσμα συχνά κρύβει τον αριθμό των μετασχηματισμών που προηγήθηκαν.

Ένα συμβατικό σύστημα λογισμικού μπορεί να αφήνει ένα ίχνος που είναι οικείο στους χειριστές του. Ένα αίτημα εισέρχεται, μια υπηρεσία επικυρώνει πεδία, εκτελείται ένας κανόνας, αλλάζει μια κατάσταση και εξέρχεται μια απάντηση. Τα συστήματα τεχνητής νοημοσύνης μπορούν να προσθέσουν εξαγόμενες κατηγορίες, ανακτημένο πλαίσιο, οδηγίες σε φυσική γλώσσα, πιθανοτικά αποτελέσματα, κλήσεις εργαλείων, ανθρώπινες επεξεργασίες και προσαρμοστική κατάσταση. Η επιπλέον ευελιξία μπορεί να είναι χρήσιμη. Δημιουργεί επίσης περισσότερες ευκαιρίες για ένα γεγονός να χάσει την προέλευσή του ή για μια οδηγία να αποκτήσει κύρος χωρίς να αναγνωρίζεται ως τέτοια. Το αρχείο πρέπει να διατηρεί τις διακρίσεις που η διεπαφή έχει τον πειρασμό να εξομαλύνει.

Ο Κανονισμός για την Τεχνητή Νοημοσύνη δεν απαιτεί από έναν οργανισμό να διατηρεί κάθε byte που πέρασε ποτέ από ένα μοντέλο. Οι απαιτήσεις του συνδέονται με τον σκοπό, τον κίνδυνο, την ιχνηλασιμότητα, τον κύκλο ζωής και τον έλεγχο. Αυτό είναι ένα χρήσιμο σημείο εκκίνησης. Λέει ότι τα αποδεικτικά στοιχεία πρέπει να είναι ανάλογα με τον επιδιωκόμενο σκοπό και τους κινδύνους, ενώ παράλληλα να είναι αρκετά αυστηρά για τη σχετική υποχρέωση. Ένα αρχείο μιας πρότασης σύνταξης χαμηλού αντικτύπου δεν θα πρέπει να αντιμετωπίζεται σαν να ήταν πλήρης φάκελος για μια απόφαση που επηρεάζει θεμελιώδη δικαιώματα. Αντιστρόφως, μια σημαντική απόφαση δεν μπορεί να καταστεί υπόλογη αποθηκεύοντας μόνο μια τελική πρόταση και ένα πράσινο σημάδι.

Η αθόρυβη δουλειά επομένως ξεκινά πριν το σύστημα τεθεί σε λειτουργία. Κάποιος πρέπει να δηλώσει τι προορίζεται να κάνει το σύστημα, πού δεν προορίζεται να λειτουργεί, ποια άτομα και περιβάλλοντα εμπίπτουν στο πεδίο εφαρμογής, ποια είσοδο μπορεί να λαμβάνει, ποιος μπορεί να ενεργήσει βάσει του αποτελέσματος και τι συμβαίνει όταν το σύστημα είναι αβέβαιο ή μη διαθέσιμο. Αυτά δεν είναι μόνο ζητήματα σχεδιασμού. Είναι οι προϋποθέσεις που δίνουν νόημα στα μεταγενέστερα αρχεία. Χωρίς αυτές, μια χρονική σήμανση μας λέει πότε συνέβη κάτι, αλλά όχι αν ήταν επιτρεπτό, αναμενόμενο ή εξαίρεση.

Υπάρχει ένας θεσμικός λόγος για να το λάβουμε σοβαρά υπόψη. Αυτός που ζητά αποδεικτικά στοιχεία συχνά δεν είναι αυτός που κατασκεύασε το σύστημα. Μια αρμόδια αρχή, ένας εσωτερικός αξιολογητής, ένα ενδιαφερόμενο πρόσωπο ή μια διάδοχη ομάδα μπορεί να έρθει αντιμέτωπη με το αρχείο αφού έχουν αλλάξει το προσωπικό, οι προμηθευτές και τα μοντέλα. Τα αποδεικτικά στοιχεία που έχουν νόημα μόνο για τον αρχικό τους συντάκτη αποτελούν εύθραυστη μορφή λογοδοσίας. Η έμφαση του Κανονισμού στη σαφή τεκμηρίωση, στις κατανοητές οδηγίες και στην πρόσβαση των αρχών αποτελεί απάντηση σε αυτή την ευθραυστότητα. Αντιμετωπίζει τη συνέχεια ως μέρος της συμμόρφωσης.

Διαβάστε τον Κανονισμό ως ακολουθία, όχι ως σύνθημα

Οι απαιτήσεις του Κανονισμού για τα συστήματα υψηλού κινδύνου μπορούν να διαβαστούν ως μια ακολουθία ερωτημάτων. Τι προορίζεται να κάνει το σύστημα. Ποιους κινδύνους μπορεί να δημιουργήσει σε αυτό το πλαίσιο. Ποια δεδομένα και παραδοχές το υποστηρίζουν. Πώς κατασκευάστηκε και δοκιμάστηκε το σύστημα. Τι πρέπει να γνωρίζει ο υπεύθυνος ανάπτυξης. Ποια συμβάντα πρέπει να καταγράφονται. Ποιος μπορεί να επιβλέπει, να παρακάμπτει ή να σταματά το σύστημα. Τι συμβαίνει όταν το σύστημα δεν συμμορφώνεται ή παρουσιάζει κίνδυνο. Η ακολουθία δεν είναι ένας τακτοποιημένος αγωγός λογισμικού. Είναι μια αλυσίδα ευθύνης που επιστρέφει πίσω όταν αλλάζουν τα αποδεικτικά στοιχεία.

Το άρθρο 9 περιγράφει τη διαχείριση κινδύνου ως μια συνεχή, επαναληπτική διαδικασία που σχεδιάζεται και εκτελείται σε ολόκληρο τον κύκλο ζωής ενός συστήματος τεχνητής νοημοσύνης υψηλού κινδύνου. Πρέπει να θεσπίζεται, να εφαρμόζεται, να τεκμηριώνεται και να διατηρείται. Αυτή η διατύπωση έχει μια πρακτική συνέπεια. Η εκτίμηση κινδύνου δεν είναι ένα τελετουργικό έγγραφο που αποσύρεται την ημέρα της κυκλοφορίας. Είναι ένα αρχείο μιας ζωντανής διαδικασίας που εντοπίζει και αξιολογεί γνωστούς και ευλόγως προβλέψιμους κινδύνους, λαμβάνει υπόψη πληροφορίες από την παρακολούθηση μετά τη διάθεση στην αγορά και υιοθετεί στοχευμένα μέτρα. Το αρχείο θα πρέπει να επιτρέπει σε έναν μεταγενέστερο αναγνώστη να δει τι εξετάστηκε, τι δεν ήταν δυνατό να εξαλειφθεί, τι παρέμεινε ως υπολειπόμενος κίνδυνος και ποιος αποδέχθηκε αυτή τη θέση.

Το άρθρο 10 εντάσσει τα δεδομένα και τη διακυβέρνηση δεδομένων στην ίδια αυτή πειθαρχία. Οι σχετικές πρακτικές περιλαμβάνουν τις επιλογές σχεδιασμού, την προέλευση των δεδομένων, τις εργασίες προετοιμασίας, τις παραδοχές σχετικά με το τι αντιπροσωπεύουν τα δεδομένα, τη διαθεσιμότητα και την καταλληλότητα, την πιθανή μεροληψία, τα κενά δεδομένων και τα μέτρα που χρησιμοποιούνται για την αντιμετώπισή τους. Αυτή είναι μια διαφορετική αντίληψη από το να λέμε ότι ένα σύνολο δεδομένων ήταν καθαρό. Το καθαρό είναι ένα συμπέρασμα. Η προέλευση, η προετοιμασία, οι παραδοχές και τα κενά αποτελούν αποδεικτικά στοιχεία για το πώς προέκυψε το συμπέρασμα και πού μπορεί να πάψει να είναι αξιόπιστο. Ένα αρχείο που διατηρεί μόνο μια ένδειξη ποιότητας έχει ξεχάσει τα ερωτήματα που έδιναν νόημα στην ποιότητα.

Το άρθρο 11 απαιτεί τεχνική τεκμηρίωση για ένα σύστημα τεχνητής νοημοσύνης υψηλού κινδύνου πριν από τη διάθεσή του στην αγορά ή τη θέση του σε λειτουργία και απαιτεί αυτή η τεκμηρίωση να ενημερώνεται. Σκοπός της είναι να παρέχει στις εθνικές αρμόδιες αρχές και στους κοινοποιημένους οργανισμούς τις πληροφορίες που χρειάζονται για να αξιολογήσουν τη συμμόρφωση. Το σημαντικό σημείο δεν είναι ότι κάθε αναγνώστης θα πρέπει να γίνει ειδικός σε ένα παράρτημα. Είναι ότι το σύστημα πρέπει να έχει μια περιγραφή του εαυτού του αρκετά σαφή και ολοκληρωμένη ώστε να επιτρέπει εξωτερική αξιολόγηση. Αυτή η περιγραφή χρειάζεται μια έκδοση, έναν σκοπό και μια σχέση με προηγούμενες εκδόσεις. Ένα έγγραφο που περιγράφει ένα σύστημα που δεν υπάρχει πλέον είναι αρχείο, όχι τρέχον αποδεικτικό στοιχείο.

Στη συνέχεια, το άρθρο 12 καθιστά την ίδια τη λειτουργία του συστήματος μέρος των αποδεικτικών στοιχείων. Τα συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου πρέπει να επιτρέπουν τεχνικά την αυτόματη καταγραφή συμβάντων καθ' όλη τη διάρκεια ζωής τους. Οι δυνατότητες καταγραφής πρέπει να καταγράφουν συμβάντα που σχετίζονται με τον εντοπισμό καταστάσεων που ενδέχεται να δημιουργήσουν κίνδυνο ή ουσιαστική τροποποίηση, διευκολύνοντας την παρακολούθηση μετά τη διάθεση στην αγορά και την παρακολούθηση της λειτουργίας στο πλαίσιο των υποχρεώσεων του υπεύθυνου ανάπτυξης. Το απαιτούμενο επίπεδο ιχνηλασιμότητας συνδέεται με τον επιδιωκόμενο σκοπό. Ο νόμος δεν ζητά από το αρχείο καταγραφής να είναι ημερολόγιο της ανθρώπινης ζωής. Ζητά από το σύστημα να αφήνει αρκετή επιχειρησιακή μνήμη για τα σχετικά ερωτήματα.

Τα άρθρα 13 και 14 συνδέουν αυτή τη μνήμη με τους ανθρώπους. Ένα σύστημα υψηλού κινδύνου πρέπει να είναι αρκετά διαφανές ώστε οι υπεύθυνοι ανάπτυξης να μπορούν να ερμηνεύουν τα αποτελέσματά του και να τα χρησιμοποιούν κατάλληλα, και πρέπει να συνοδεύεται από οδηγίες χρήσης. Η ανθρώπινη εποπτεία πρέπει να είναι αποτελεσματική και ανάλογη προς τον κίνδυνο, την αυτονομία και το πλαίσιο. Οι άνθρωποι που έχουν αναλάβει την εποπτεία πρέπει να μπορούν να κατανοούν τις δυνατότητες και τους περιορισμούς, να εντοπίζουν ανωμαλίες και απροσδόκητη συμπεριφορά, να αποφεύγουν την υπερβολική εξάρτηση, να ερμηνεύουν τα αποτελέσματα, να τα αγνοούν ή να τα παρακάμπτουν και, όπου χρειάζεται, να διακόπτουν με ασφάλεια το σύστημα. Αυτές οι ικανότητες δεν μπορούν να υπάρχουν μόνο σε μια διαφάνεια εκπαίδευσης. Ένα σοβαρό αρχείο θα πρέπει να καθιστά δυνατό να διαπιστωθεί τι μπορούσε να γνωρίζει και να κάνει ο άνθρωπος τη στιγμή της απόφασης.

Τα άρθρα 15 έως 21 ολοκληρώνουν την πορεία από την απόδοση στην αποκατάσταση. Η ακρίβεια, η ευρωστία και η κυβερνοασφάλεια είναι ιδιότητες που αφορούν ολόκληρο τον κύκλο ζωής. Οι πάροχοι πρέπει να διατηρούν ένα σύστημα διαχείρισης ποιότητας που τεκμηριώνεται με οργανωμένο τρόπο και περιλαμβάνει διαδικασίες δεδομένων, διαχείριση κινδύνου, παρακολούθηση μετά τη διάθεση στην αγορά, αναφορά περιστατικών, επικοινωνία, τήρηση αρχείων και πλαίσιο λογοδοσίας. Η τεκμηρίωση και τα αρχεία καταγραφής πρέπει να παραμένουν διαθέσιμα για τις περιόδους και τους σκοπούς που ορίζει ο κανονισμός. Η διορθωτική δράση και η συνεργασία με τις αρμόδιες αρχές είναι υποχρεώσεις, όχι προαιρετικές ενέργειες δημοσίων σχέσεων. Το αποτέλεσμα δεν είναι ένα σύνθημα για αξιόπιστη τεχνητή νοημοσύνη. Είναι ένα σύνολο τεκμηρίων που επιτρέπουν σε έναν οργανισμό να αποδεικνύει, να διερευνά, να διορθώνει και να εξηγεί.

Τρία πράγματα που μπορεί να κάνει ένα αρχείο

Πρώτον, ένα αρχείο μπορεί να τεκμηριώσει ένα γεγονός. Μπορεί να δείξει ότι ένα σύστημα ενεργοποιήθηκε, ότι μια συγκεκριμένη έκδοση ήταν ενεργή, ότι ελήφθη μια είσοδος, ότι προτάθηκε μια κλήση εργαλείου, ότι καταγράφηκε μια ανθρώπινη έγκριση, ότι ολοκληρώθηκε μια ενέργεια ή ότι διακόπηκε ένα σύστημα. Η τεκμηρίωση γεγονότων είναι το επίπεδο που φαντάζονται οι περισσότεροι όταν ακούν τη λέξη καταγραφή. Έχει σημασία επειδή μια αμφισβητούμενη ενέργεια δεν μπορεί να διερευνηθεί αν ο οργανισμός δεν μπορεί να διαπιστώσει αν η ενέργεια έλαβε χώρα. Είναι επίσης το λιγότερο πλήρες επίπεδο αν υπάρχει μόνο του.

Ένα αρχείο γεγονότος χρειάζεται μια σταθερή ταυτότητα, μια χρονική αναφορά, έναν φορέα ή έναν υπεύθυνο ρόλο, μια ταυτότητα συστήματος ή στοιχείου και αρκετή κατάσταση για να αποφεύγεται η ασάφεια. Τα ακριβή πεδία εξαρτώνται από τον σκοπό και τον νόμο. Μια χρονική σήμανση χωρίς χρονική βάση μπορεί να προκαλέσει σύγχυση μεταξύ συστημάτων. Ένα αναγνωριστικό χρήστη χωρίς ρόλο λέει ελάχιστα για την εξουσιοδότηση. Ένα όνομα μοντέλου χωρίς έκδοση δεν μπορεί να προσδιορίσει ποια συμπεριφορά ήταν σε ισχύ. Ένα αρχείο μπορεί να είναι τεχνικά αυθεντικό και παρόλα αυτά να είναι θεσμικά φτωχό.

Δεύτερον, ένα αρχείο μπορεί να τεκμηριώσει μια βάση. Μπορεί να δείξει ποιος σκοπός, κανόνας, οδηγία, πηγή δεδομένων, έκδοση πολιτικής ή αξιολόγηση υποστήριξε μια ενέργεια. Η τεκμηρίωση της βάσης είναι αυτό που εμποδίζει μια απόφαση να γίνει ένα μεμονωμένο αποτέλεσμα. Δεν χρειάζεται να αναπαράγει κάθε εσωτερικό υπολογισμό. Πρέπει όμως να προσδιορίζει τις συνθήκες που έκαναν το αποτέλεσμα ουσιαστικό και τα όρια που περιόριζαν τι επιτρεπόταν να κάνει ένα άτομο με αυτό. Όταν λείπει η βάση, ένας οργανισμός μπορεί να γνωρίζει τι έκανε χωρίς να γνωρίζει γιατί είχε το δικαίωμα να το κάνει.

Τρίτον, ένα αρχείο μπορεί να τεκμηριώσει μια ανταπόκριση. Μπορεί να δείξει ότι παρατηρήθηκε μια ανωμαλία, ότι ένας χειριστής απέρριψε ένα αποτέλεσμα, ότι ένας κίνδυνος κλιμακώθηκε, ότι ένα σύστημα ανεστάλη, ότι εφαρμόστηκε μια διόρθωση ή ότι ελήφθη και δρομολογήθηκε ένα παράπονο. Η τεκμηρίωση της ανταπόκρισης συχνά παραβλέπεται επειδή οι ομάδες εστιάζουν στο πρώτο αποτέλεσμα του μοντέλου. Στην πράξη, η λογοδοσία βρίσκεται σε ό,τι συμβαίνει αφού η αβεβαιότητα γίνει ορατή. Ένα σύστημα που μπορεί να παράγει αρχείο ενός προβλήματος αλλά δεν έχει αρχείο της ανταπόκρισης έχει κατασκευάσει έναν αισθητήρα χωρίς φρένο.

Αυτές οι τρεις λειτουργίες αλληλοκαλύπτονται, αλλά δεν θα έπρεπε να συγχωνευθούν. Μια παραπομπή σε πηγή μπορεί να τεκμηριώνει μια βάση χωρίς να αποδεικνύει ότι η πηγή χρησιμοποιήθηκε όντως στην εκτέλεση. Μια ανθρώπινη έγκριση μπορεί να τεκμηριώνει μια απόκριση χωρίς να αποδεικνύει ότι ο αξιολογητής είδε πλήρες πλαίσιο. Μια έκδοση μοντέλου μπορεί να τεκμηριώνει ταυτότητα χωρίς να αποδεικνύει ότι η έκδοση συμπεριφέρθηκε με συνέπεια. Τα καλά αρχεία καθιστούν ρητούς τους ισχυρισμούς που μπορούν να υποστηρίξουν. Δεν δανείζονται κύρος από γειτονικά αρχεία και δεν αποκαλούν τη διευθέτηση αλυσίδα.

Η πληρότητα δεν είναι θέμα αριθμού byte. Είναι η ικανότητα να απαντηθούν τα ερωτήματα που δημιουργούν ο σκοπός και οι συνέπειες του συστήματος.

Τι δεν μπορεί να κάνει ένα αρχείο

Ένα αρχείο δεν μπορεί να μετατρέψει μια απαγορευμένη πρακτική σε επιτρεπόμενη. Αν η ίδια η χρήση είναι εκτός νόμου, η τέλεια καταγραφή δεν αποτελεί υπεράσπιση. Τα αποδεικτικά στοιχεία μπορούν να αποκαλύψουν μια λανθασμένη απόφαση, αλλά δεν μπορούν να προσδώσουν αναδρομικά εξουσία που δεν υπήρξε ποτέ. Γι' αυτό η τεκμηρίωση δεν θα έπρεπε ποτέ να παρουσιάζεται ως υποκατάστατο της νομικής ανάλυσης, της εκτίμησης θεμελιωδών δικαιωμάτων ή ενός σαφούς σκοπού. Μια όμορφα ευρετηριασμένη παραβίαση εξακολουθεί να είναι παραβίαση. Το ευρετήριο απλώς τη διευκολύνει να βρεθεί.

Ένα αρχείο δεν μπορεί να αποδείξει ότι μια απόφαση ήταν δίκαιη μόνο και μόνο επειδή τα πεδία είναι συμπληρωμένα. Η δικαιοσύνη δεν είναι ιδιότητα που εμφανίζεται όταν μια φόρμα φτάσει στο εκατό τοις εκατό. Το σχετικό ερώτημα είναι αν το σύστημα, τα δεδομένα, η ροή εργασίας και η ανθρώπινη κρίση μεταχειρίστηκαν τους ανθρώπους με τρόπο που σέβεται τα ισχύοντα δικαιώματα και τις υποχρεώσεις. Ένα αρχείο μπορεί να διατηρήσει αποδεικτικά στοιχεία για αυτό το ερώτημα. Μπορεί να δείξει ποιες πληροφορίες χρησιμοποιήθηκαν, ποιος κανόνας εφαρμόστηκε, ποιες εξαιρέσεις εξετάστηκαν και πώς διεκπεραιώθηκε μια ένσταση. Δεν μπορεί να αποφασίσει το ηθικό και νομικό ζήτημα από μόνο του.

Ένα αρχείο δεν μπορεί να κάνει μια αδύναμη εξήγηση ουσιαστική προσθέτοντας τεχνικές λεπτομέρειες. Ένα άτομο που επηρεάζεται από μια απόφαση μπορεί να χρειάζεται σαφή περιγραφή του ρόλου που έπαιξε η τεχνητή νοημοσύνη και των βασικών στοιχείων της απόφασης. Το να φορτωθεί αυτό το άτομο με εσωτερικά αναγνωριστικά, ακατέργαστα ίχνη διακριτικών ή μια οθόνη γεμάτη τηλεμετρία μηχανής δεν είναι αυτόματα διαφάνεια. Η μορφή των αποδεικτικών στοιχείων πρέπει να ταιριάζει με το ερώτημα και το κοινό. Οι αρχές χρειάζονται αξιολογήσιμη τεκμηρίωση. Οι χειριστές χρειάζονται χρηστικές οδηγίες. Οι επηρεαζόμενοι χρειάζονται μια κατανοητή διαδρομή για να κατανοήσουν και να αμφισβητήσουν.

Ένα αρχείο δεν μπορεί να διατηρήσει το μέλλον. Είναι μια άποψη από μια συγκεκριμένη χρονική στιγμή, που δημιουργήθηκε με τις πληροφορίες και την κατάσταση του συστήματος που υπήρχαν τότε. Αυτός ο περιορισμός δεν είναι ελάττωμα. Είναι ένας λόγος για να καταγράφονται οι εκδόσεις, οι περίοδοι ισχύος και η αβεβαιότητα. Αν μια πολιτική άλλαξε μετά από μια απόφαση, το αρχείο δεν θα πρέπει να εμφανίζει σιωπηλά τη νέα πολιτική σαν να ίσχυε για την παλιά ενέργεια. Αν μια πηγή διορθώθηκε, η προηγούμενη καταχώριση θα πρέπει να παραμένει αναγνωρίσιμη, ενώ η διόρθωση και το αποτέλεσμά της καταγράφονται. Ο χρόνος είναι μέρος του νοήματος, όχι διακόσμηση στη δεξιά πλευρά ενός πίνακα ελέγχου.

Ένα αρχείο δεν μπορεί να πει σε έναν οργανισμό τι δεν κατέγραψε. Αυτό ακούγεται προφανές, αλλά είναι ένα σημαντικό όριο σε μια εποχή παραγόμενων εξηγήσεων. Ένα μοντέλο μπορεί να κληθεί να αφηγηθεί μια προηγούμενη απόφαση. Το κείμενο που προκύπτει μπορεί να είναι χρήσιμο ως υπόθεση ή ως σύνοψη. Εκτός αν βασίζεται σε διατηρημένα αποδεικτικά στοιχεία, δεν είναι μια μηχανή του χρόνου. Η ασφαλέστερη πρακτική είναι να χαρακτηρίζεται η ανακατασκευή ως ανακατασκευή, να εντοπίζονται τα ελλείποντα αποδεικτικά στοιχεία και να αποφεύγεται η παρουσίαση μιας εύλογης αφήγησης ως παρατηρηθείσας. Η ειλικρινής ατέλεια είναι πιο χρήσιμη από μια πλήρης επινόηση.

Τα αρχεία καταγραφής είναι αποδεικτικά στοιχεία, όχι ηθικό άλλοθι

Η καταγραφή είναι ελκυστική επειδή φαίνεται αντικειμενική. Μια γραμμή με χρονική σήμανση και αναγνωριστικό συστήματος φαίνεται πιο ουδέτερη από μια ανθρώπινη σημείωση. Δεν είναι ουδέτερη. Κάποιος αποφάσισε τι να καταγράψει, τι να παραλείψει, ποια πεδία να διατηρήσει, πώς να τα προστατεύσει, πώς να συγχρονίσει τον χρόνο και ποιος μπορεί να επιθεωρήσει το αποτέλεσμα. Η καταγραφή είναι μια μηχανική επιλογή με νομικές και ανθρώπινες συνέπειες. Οι διατάξεις του AI Act για την τήρηση αρχείων καθιστούν αυτή την επιλογή ορατή, αλλά δεν αφαιρούν την ανάγκη για προσεκτικό σχεδιασμό.

Το πρώτο ερώτημα σχεδιασμού είναι ο σκοπός. Το άρθρο 12 αναφέρει την ιχνηλασιμότητα, τον εντοπισμό κινδύνου, την παρακολούθηση μετά τη διάθεση στην αγορά και την παρακολούθηση λειτουργίας ως λόγους καταγραφής σχετικών συμβάντων. Κάθε λόγος μπορεί να απαιτεί διαφορετική οπτική. Ένας χειριστής μπορεί να χρειάζεται μια συνοπτική εξήγηση μιας άρνησης και μια διαδρομή προς έναν επόπτη. Ένας ειδικός ασφαλείας μπορεί να χρειάζεται την έκδοση και την προέλευση των δεδομένων εισόδου. Μια αρμόδια αρχή μπορεί να χρειάζεται τεκμηρίωση και αρχεία καταγραφής επαρκή για την αξιολόγηση της συμμόρφωσης. Ένας υπεύθυνος προστασίας δεδομένων μπορεί να χρειάζεται να γνωρίζει ποια προσωπικά δεδομένα περιέχει το αρχείο και γιατί διατηρούνται. Μια ενιαία αδιαφοροποίητη ροή μπορεί να είναι ταυτόχρονα πολύ θορυβώδης για ένα άτομο και πολύ αδύναμη για μια έρευνα.

Το δεύτερο ερώτημα είναι το πεδίο εφαρμογής. Ένα χρήσιμο αρχείο καταγραφής καταγράφει τα συμβάντα που έχουν σημασία για τον επιδιωκόμενο σκοπό και τον κίνδυνο, όχι κάθε περιστασιακή ενέργεια. Για ένα σύστημα που απλώς συντάσσει εσωτερικό κείμενο, το σχετικό συμβάν μπορεί να είναι η κλήση, το σύνολο πηγών, η έκδοση μοντέλου, η έκδοση οδηγιών, η ανθρώπινη έγκριση και η τελική διαχείριση. Για ένα σύστημα που μπορεί να αλλάξει ένα εξωτερικό αρχείο, οι μεταβάσεις κατάστασης και οι επιβεβαιώσεις εργαλείων καθίστανται απαραίτητες. Για ένα σύστημα που υποστηρίζει μια απόφαση υψηλού αντικτύπου, το πεδίο εισόδου, το αποτέλεσμα, η ανθρώπινη αναθεώρηση και η διαδρομή διόρθωσης έχουν μεγαλύτερη σημασία από έναν διακοσμητικό μετρητή διακριτικών. Το αρχείο θα πρέπει να ακολουθεί τις συνέπειες.

Το τρίτο ερώτημα είναι η ακεραιότητα. Ένα αρχείο που μπορεί να τροποποιηθεί χωρίς εντοπισμό μπορεί να είναι ακόμα χρήσιμο για λειτουργικούς σκοπούς, αλλά αποτελεί ασθενέστερο ισχυρισμό για την ιστορία. Οι έλεγχοι ακεραιότητας μπορούν να περιλαμβάνουν περιορισμούς πρόσβασης, αποθήκευση μόνο με προσθήκη, αθροίσματα ελέγχου, υπογραφές, ανεξάρτητες αναφορές χρόνου, ελεγχόμενες διορθώσεις και τεκμηριωμένη διατήρηση. Ο κατάλληλος μηχανισμός εξαρτάται από τον κίνδυνο. Το σημαντικό είναι να αναφέρεται τι προστατεύει ο μηχανισμός και τι όχι. Τα στοιχεία παραποίησης μπορούν να δείξουν ότι ένα αρχείο άλλαξε. Δεν μπορούν να δείξουν ότι το αρχικό αρχείο ήταν πλήρες ή ότι το καταγεγραμμένο συμβάν ήταν νόμιμο.

Το τέταρτο ζήτημα είναι η ιδιωτικότητα. Τα αρχεία καταγραφής μπορεί να περιέχουν προτροπές, αναγνωριστικά, αποσπάσματα πηγών, εξόδους μοντέλων, ορίσματα εργαλείων και σημειώσεις ανθρώπων. Η διατήρηση όλων αυτών επ' αόριστον μπορεί να δημιουργήσει ένα δεύτερο πρόβλημα στο όνομα της επίλυσης του πρώτου. Ο ίδιος ο Κανονισμός συνδέει τις υποχρεώσεις καταγραφής με άλλο ενωσιακό και εθνικό δίκαιο, συμπεριλαμβανομένης της προστασίας δεδομένων. Ένας συνετός σχεδιασμός διαχωρίζει τα επιχειρησιακά αποδεικτικά στοιχεία από το περιττό περιεχόμενο, περιορίζει την πρόσβαση, ορίζει την περίοδο διατήρησης και υποστηρίζει τη διόρθωση ή τη διαγραφή όπου απαιτείται. Η ελαχιστοποίηση δεν είναι εχθρός της λογοδοσίας. Είναι αυτό που εμποδίζει τη λογοδοσία να μετατραπεί σε άδεια συλλογής ενός ιδιωτικού βιογραφικού για κάθε χρήστη.

Το πέμπτο ζήτημα είναι η αναπαραγωγή. Η αναπαραγωγή δεν σημαίνει πάντα την εκ νέου εκτέλεση ενός πιθανοτικού μοντέλου με την προσδοκία της ίδιας πρότασης. Μπορεί να σημαίνει την ανακατασκευή της σχετικής κατάστασης: τις εκδόσεις μοντέλου και πολιτικής, τις αναφορές πηγών, την ταξινόμηση εισόδου, το σύνολο οδηγιών, την έξοδο, την ανθρώπινη παρέμβαση, το αποτέλεσμα του εργαλείου και την επακόλουθη ενέργεια. Μια αναπαραγωγή μπορεί να αποκαλύψει ότι η ακριβής επανάληψη είναι αδύνατη επειδή άλλαξε μια απομακρυσμένη εξάρτηση. Αυτό το αποτέλεσμα εξακολουθεί να αποτελεί αποδεικτικό στοιχείο αν το σύστημα αναφέρει τι διατηρήθηκε, τι όχι και γιατί. Το ειλικρινές όριο της αναπαραγωγής είναι πολυτιμότερο από ένα θεατρικό κουμπί με την ένδειξη αναπαραγωγή.

Τέλος, τα αρχεία καταγραφής χρειάζονται έναν υπεύθυνο. Ένα πεδίο χωρίς υπεύθυνο γίνεται μια ορφανή υπόσχεση. Κάποιος πρέπει να αποφασίζει ποια συμβάντα είναι σχετικά, να επαληθεύει ότι η καταγραφή λειτουργεί, να παρακολουθεί τις αποτυχίες στη διαδικασία καταγραφής, να προστατεύει την πρόσβαση, να δοκιμάζει την ανάκτηση και να αποσύρει τα αρχεία σύμφωνα με τον δηλωμένο σκοπό. Ο υπεύθυνος μπορεί να είναι ομάδα και όχι άτομο, αλλά η λογοδοσία δεν μπορεί να εκχωρηθεί σε έναν χώρο αποθήκευσης. Ο χώρος αποθήκευσης δεν παρίσταται στη σύσκεψη ανασκόπησης. Έχει επίσης απογοητευτική αντίληψη της αναλογικότητας.

Η τεκμηρίωση είναι μια ζωντανή περιγραφή

Η τεχνική τεκμηρίωση αντιμετωπίζεται μερικές φορές ως ο χώρος όπου μια ομάδα μηχανικών εξηγεί το προϊόν στον εαυτό της. Στο πλαίσιο του AI Act έχει ευρύτερο κοινό. Πρέπει να παρέχει πληροφορίες που μια εθνική αρμόδια αρχή ή κοινοποιημένος οργανισμός μπορεί να χρησιμοποιήσει για να αξιολογήσει τη συμμόρφωση. Αυτό αλλάζει τον τόνο του εγγράφου. Δεν θα πρέπει να είναι διαφήμιση του συστήματος, ούτε ιδιωτικό σημειωματάριο γεμάτο αναφορές που κανείς άλλος δεν μπορεί να ακολουθήσει. Είναι μια ελεγχόμενη περιγραφή του σκοπού, του σχεδιασμού, της λειτουργίας, των ορίων, των δεδομένων, των δοκιμών και των αλλαγών.

Μια ζωντανή περιγραφή έχει σχέση με την ταυτότητα του συστήματος. Κατονομάζει τον πάροχο, τον επιδιωκόμενο σκοπό και τις σχετικές εκδόσεις. Εξηγεί πώς αλληλεπιδρά το σύστημα με άλλο λογισμικό και υλικό. Περιγράφει τα στοιχεία και τις διαδικασίες που επηρεάζουν τις απαιτήσεις. Καταγράφει τις δοκιμές και την επικύρωση που υποστηρίζουν τους ισχυρισμούς απόδοσης. Προσδιορίζει τις προβλέψιμες συνθήκες που μπορούν να αλλάξουν τη συμπεριφορά. Αναφέρει τις διεπαφές και τα μέτρα εποπτείας που χρειάζεται ο αναπτύσσων. Αυτό δεν σημαίνει ότι το έγγραφο πρέπει να αποκαλύπτει αδιακρίτως εμπορικά απόρρητα. Σημαίνει ότι η εμπιστευτικότητα δεν μπορεί να γίνει δικαιολογία για την απουσία μιας αξιολογήσιμης περιγραφής.

Η έκδοση είναι ο κρίσιμος άξονας. Ένα έγγραφο που αλλάζει χωρίς ιστορικό μπορεί να κρύψει μια αλλαγή κάνοντας τη νέα κατάσταση να μοιάζει με την παλιά. Ένα ιστορικό που καταγράφει κάθε διόρθωση στίξης μπορεί να θάψει μια ουσιαστική αλλαγή μέσα σε αθώο θόρυβο. Ένα χρήσιμο αρχείο αλλαγών προσδιορίζει τι άλλαξε, γιατί άλλαξε, ποιος το ενέκρινε, ποια αξιολόγηση επαναλήφθηκε, ποιο μεταγενέστερο υλικό πρέπει να ενημερωθεί και πότε τέθηκε σε ισχύ η νέα κατάσταση. Ο AI Act αναφέρεται σε ουσιώδη τροποποίηση σε πολλά σημεία. Ένας οργανισμός χρειάζεται έναν τρόπο να αντιλαμβάνεται την αλλαγή πριν ο χαρακτηρισμός γίνει αντικείμενο διαφωνίας.

Η προέλευση ισχύει και για τις παραδοχές. Ένα σύστημα μπορεί να βασίζεται σε μια παραδοχή σχετικά με τον πληθυσμό που αντιπροσωπεύεται σε ένα σύνολο δεδομένων, την επικαιρότητα μιας πηγής, τη σημασία ενός πεδίου ή την επάρκεια αυτού που το αναπτύσσει. Οι παραδοχές δεν είναι αμήχανες ατέλειες που πρέπει να κρύβονται σε μια υποσημείωση. Είναι τα όρια του ισχυρισμού του συστήματος. Ένα αρχείο που τις κατονομάζει δίνει στον χειριστή την ευκαιρία να αναγνωρίσει πότε έχει φτάσει στο όριο. Ένα αρχείο που τις αποκρύπτει καλεί το σύστημα να χρησιμοποιηθεί εκτός των συνθηκών υπό τις οποίες τα στοιχεία του είχαν νόημα.

Η τεκμηρίωση θα πρέπει να καθιστά την αβεβαιότητα ευανάγνωστη χωρίς να προσποιείται ότι κάθε άγνωστη παράμετρος μπορεί να ποσοτικοποιηθεί. Ορισμένες αβεβαιότητες είναι αριθμητικές. Άλλες αφορούν ελλιπή κάλυψη, άλυτες συγκρούσεις, μεταβαλλόμενη νομοθεσία, νέες εισροές ή μια μη δοκιμασμένη αλληλεπίδραση με άλλο στοιχείο. Μια καλή περιγραφή μπορεί να αναφέρει ότι μια συνθήκη δεν αξιολογήθηκε, ότι ένα αποτέλεσμα εξαρτάται από την ανθρώπινη κρίση ή ότι το σύστημα δεν θα πρέπει να χρησιμοποιείται για έναν συγκεκριμένο σκοπό. Αυτές οι δηλώσεις δεν είναι σημάδι αδύναμου συστήματος. Είναι οι πληροφορίες που επιτρέπουν σε ένα ισχυρό σύστημα να παραμείνει εντός των ορίων της εγκυρότητάς του.

Υπάρχει διαφορά μεταξύ ενός περιορισμού και μιας άρνησης. Ένας περιορισμός αναφέρει πού ο ισχυρισμός ενός συστήματος καθίσταται αναξιόπιστος. Μια άρνηση αναφέρει ότι το σύστημα δεν θα προχωρήσει υπό μια συγκεκριμένη συνθήκη. Και τα δύο θα πρέπει να τεκμηριώνονται. Αν ο χρήστης βλέπει μόνο ένα γενικό σφάλμα, ο οργανισμός χάνει την ευκαιρία να εξηγήσει αν ο περιορισμός προστατεύει την ασφάλεια, την ιδιωτικότητα, τα δικαιώματα, την ποιότητα ή τη χωρητικότητα. Τα σαφή αρχεία άρνησης υποστηρίζουν επίσης τη βελτίωση. Οι επαναλαμβανόμενες αρνήσεις μπορεί να δείχνουν ότι μια ροή εργασίας ζητά από το σύστημα να κάνει μια δουλειά για την οποία δεν σχεδιάστηκε ποτέ.

Η ανθρώπινη εποπτεία χρειάζεται αποδεικτικά στοιχεία γύρω της

Οι διατάξεις του AI Act για την ανθρώπινη εποπτεία είναι εύκολο να συνοψιστούν και δύσκολο να εφαρμοστούν. Ο ορισμός ενός ατόμου δεν ισοδυναμεί με την ενεργοποίηση της εποπτείας. Το άτομο χρειάζεται ικανότητα, εκπαίδευση, εξουσία και υποστήριξη. Πρέπει να κατανοεί τις δυνατότητες και τους περιορισμούς, να εντοπίζει ανωμαλίες, να αποφεύγει την προκατάληψη αυτοματοποίησης, να ερμηνεύει τα αποτελέσματα και να αποφασίζει να μην χρησιμοποιήσει, να παρακάμψει, να αντιστρέψει ή να διακόψει το σύστημα. Αυτές είναι επιχειρησιακές εξουσίες. Ένα άτομο που ορίζεται τυπικά ως αξιολογητής αλλά δεν μπορεί να δει την είσοδο, να αλλάξει το αποτέλεσμα ή να σταματήσει τη ροή εργασίας είναι μάρτυρας, όχι επόπτης.

Τα αρχεία μπορούν να δείξουν αν η εποπτεία είχε ουσιαστική ισχύ. Μπορούν να προσδιορίσουν τον ρόλο που ανατέθηκε, τις πληροφορίες που παρουσιάστηκαν, την προειδοποίηση ή τον περιορισμό που εμφανίστηκε, την ενέργεια που έκανε ο αξιολογητής και την τελική έκβαση. Μπορούν να διατηρήσουν έναν λόγο για μια παράκαμψη χωρίς να υποχρεώνουν το άτομο να συντάσσει έκθεση κάθε φορά. Μπορούν επίσης να δείξουν πότε το σύστημα ήταν μη διαθέσιμο ή πότε παρακάμφθηκε η διαδικασία αξιολόγησης. Η απουσία ανθρώπινης ενέργειας δεν αποτελεί αυτόματα παράβαση. Είναι ένα σήμα για να εξεταστεί αν ο σχεδιασμός κατέστησε την ενέργεια δυνατή, αναγκαία και ορατή.

Εξετάστε ένα προτεινόμενο μοτίβο αντί για ένα αναφερόμενο συμβάν. Ένα σύστημα παρέχει μια σύσταση και ένα σύντομο πλαίσιο αποδεικτικών στοιχείων. Ο αξιολογητής μπορεί να αποδεχθεί, να επεξεργαστεί, να απορρίψει ή να προωθήσει. Η διεπαφή καταγράφει την έκδοση του συστήματος, τις αναφορές πηγών, την κατάσταση πολιτικής, τον ρόλο του αξιολογητή και την έκβαση. Αν ο αξιολογητής απορρίψει τη σύσταση, το αρχείο αποθηκεύει έναν ελεγχόμενο λόγο και στέλνει μια υπόθεση για παρακολούθηση όπου το μοτίβο υποδηλώνει επαναλαμβανόμενο ελάττωμα. Αυτό δεν αποτελεί ισχυρισμό ότι το μοτίβο επαρκεί για κάθε περιβάλλον υψηλού κινδύνου. Δείχνει πώς μια διεπαφή μπορεί να μετατρέψει την ανθρώπινη εποπτεία από ένα πλαίσιο ελέγχου σε ένα παρατηρήσιμο μέρος της απόφασης.

Η ανθρώπινη επανεξέταση χρειάζεται επίσης προστασία από την κόπωση και την κοινωνική πίεση. Ένα αρχείο που δείχνει χιλιάδες εγκρίσεις αλλά καμία ουσιαστική παρέμβαση μπορεί να υποδηλώνει ότι η ροή εργασίας είναι υγιής, ή μπορεί να υποδηλώνει ότι ο επανεξεταστής δεν μπορεί ρεαλιστικά να αμφισβητήσει το αποτέλεσμα. Οι αριθμοί από μόνοι τους δεν μπορούν να το αποφασίσουν. Μια χρήσιμη ρουτίνα παρακολούθησης συνδυάζει τις αποφάσεις με τη δειγματοληψία, τα ευρήματα σφαλμάτων, την ποιότητα της κλιμάκωσης, τον διαθέσιμο χρόνο, την εκπαίδευση και τις συνέπειες μιας λανθασμένης απάντησης. Η μέτρηση θα πρέπει να φωτίζει το έργο, όχι να δημιουργεί μια ποσόστωση που μαθαίνει στους ανθρώπους να εγκρίνουν γρηγορότερα.

Η εποπτεία πρέπει να περιλαμβάνει το δικαίωμα διακοπής. Το άρθρο 14 περιγράφει την παρέμβαση ή τη διακοπή μέσω ενός κουμπιού διακοπής ή παρόμοιας διαδικασίας που επιτρέπει στο σύστημα να σταματήσει σε ασφαλή κατάσταση. Ένα στοιχείο ελέγχου διακοπής που υπάρχει μόνο σε ένα εγχειρίδιο διαδικασιών δεν είναι το ίδιο με ένα στοιχείο ελέγχου που μπορεί να φτάσει ένα εξουσιοδοτημένο άτομο υπό πίεση. Το αρχείο θα πρέπει να δείχνει αν η διακοπή ήταν διαθέσιμη, ποιος μπορούσε να τη χρησιμοποιήσει, ποια κατάσταση ακολούθησε και πώς επανεκκινήθηκε η ροή εργασίας. Ένα σύστημα που μπορεί να σταματήσει αλλά δεν μπορεί να εξηγήσει τι σταμάτησε έχει λύσει μόνο το μισό πρόβλημα.

Υπάρχει μια ανθρώπινη πλευρά σε αυτά τα στοιχεία. Όταν αμφισβητείται ένα αποτέλεσμα, τα αρχεία μπορούν να προστατεύσουν τόσο τον επανεξεταστή όσο και το ενδιαφερόμενο άτομο. Μπορούν να δείξουν ότι ο επανεξεταστής είδε έναν περιορισμό, ακολούθησε τη διαδικασία, κλιμάκωσε μια σύγκρουση ή σταμάτησε μια επικίνδυνη ενέργεια. Αυτό δεν καθιστά κάθε απόφαση σωστή. Καθιστά ορατές τις συνθήκες της κρίσης. Η λογοδοσία δεν είναι το κυνήγι του πλησιέστερου ανθρώπινου αποτυπώματος. Είναι η προσπάθεια να κατανοηθεί η αλυσίδα αρκετά καλά ώστε να βελτιωθεί.

Το σύστημα ποιότητας πίσω από τη γραφειοκρατία

Το άρθρο 17 απαιτεί από τους παρόχους συστημάτων τεχνητής νοημοσύνης υψηλού κινδύνου να εφαρμόζουν ένα σύστημα διαχείρισης ποιότητας και να το τεκμηριώνουν συστηματικά και με τάξη μέσω πολιτικών, διαδικασιών και οδηγιών. Ο κατάλογός του είναι σκόπιμα ευρύς. Περιλαμβάνει τη συμμόρφωση με τις κανονιστικές απαιτήσεις και τη διαχείριση τροποποιήσεων, τους ελέγχους σχεδιασμού και ανάπτυξης, τις δοκιμές και την επικύρωση, τις τεχνικές προδιαγραφές, τη διαχείριση δεδομένων, τη διαχείριση κινδύνου, την παρακολούθηση μετά τη διάθεση στην αγορά, την αναφορά σοβαρών περιστατικών, την επικοινωνία με τις αρχές και άλλους φορείς εκμετάλλευσης, την τήρηση αρχείων, τη διαχείριση πόρων και ένα πλαίσιο λογοδοσίας για τη διοίκηση και το προσωπικό.

Εξεταζόμενο στο σύνολό του, αυτό δεν είναι απαίτηση για έναν ακόμη φάκελο συμμόρφωσης. Είναι απαίτηση ο οργανισμός να μπορεί να συνδέει τις αποφάσεις του. Η διαδικασία δοκιμής θα πρέπει να έχει σχέση με τον κίνδυνο. Η διαδικασία δεδομένων θα πρέπει να έχει σχέση με τον επιδιωκόμενο σκοπό. Η διαδικασία αλλαγής θα πρέπει να έχει σχέση με την τεκμηρίωση. Η διαδικασία παρακολούθησης θα πρέπει να έχει σχέση με τη διορθωτική ενέργεια. Το πλαίσιο ευθύνης θα πρέπει να έχει σχέση με τα άτομα που μπορούν πραγματικά να αλλάξουν το σύστημα. Αν κάθε έγγραφο τηρείται μεμονωμένα, το σύστημα ποιότητας μετατρέπεται σε αρχείο άσχετων καλών προθέσεων.

Ένα χρήσιμο αρχείο ποιότητας απαντά σε τέσσερα πρακτικά ερωτήματα. Τι έπρεπε να συμβεί. Τι συνέβη στην πραγματικότητα. Πώς έγινε αντιληπτή η διαφορά. Τι άλλαξε ως αποτέλεσμα. Η απάντηση μπορεί να είναι κατανεμημένη σε ένα μητρώο κινδύνου, μια έκθεση δοκιμής, ένα αρχείο αλλαγής, μια έκθεση περιστατικού και μια απόφαση έκδοσης. Αυτό είναι αποδεκτό αν οι σχέσεις είναι σταθερές και κατανοητές. Δεν είναι αποδεκτό αν ένας επανεξεταστής πρέπει να μαντέψει ποια αρχεία ανήκουν στην ίδια κατάσταση συστήματος ή ποιο αποτέλεσμα δοκιμής χρησιμοποιήθηκε για να υποστηρίξει μια συγκεκριμένη έκδοση.

Το σύστημα χρειάζεται επίσης έναν τρόπο να καταγράφει μια απόφαση να μην αλλάξει κάτι. Ένας κίνδυνος μπορεί να αξιολογηθεί και να κριθεί αποδεκτός εντός των τεκμηριωμένων συνθηκών. Μια προτεινόμενη λειτουργία μπορεί να απορριφθεί επειδή τα στοιχεία είναι ανεπαρκή. Μια έκδοση μπορεί να καθυστερήσει επειδή μια αξιολόγηση είναι ελλιπής. Αυτές είναι αποφάσεις με αιτιολογία, όχι κενός χώρος στο ημερολόγιο. Η καταγραφή τους εμποδίζει έναν μεταγενέστερο αναγνώστη να συγχέει ένα σκόπιμο όριο με μια τυχαία παράλειψη. Βοηθά επίσης μια ομάδα να αντισταθεί στην πίεση να μετατρέψει κάθε άλυτο ζήτημα σε σχέδιο κυκλοφορίας.

Η διαχείριση ποιότητας έχει χρονική διάσταση. Μια διαδικασία που λειτούργησε για ένα στατικό μοντέλο μπορεί να μην λειτουργήσει όταν το σύστημα μαθαίνει μετά την ανάπτυξη, αλλάζει το ευρετήριο ανάκτησης ή λαμβάνει ένα νέο εργαλείο. Μια διαδικασία που λειτουργεί για έναν εσωτερικό βοηθό μπορεί να μην λειτουργήσει όταν το ίδιο στοιχείο ενσωματώνεται σε μια ροή εργασιών λήψης αποφάσεων. Το αρχείο θα πρέπει επομένως να προσδιορίζει τα εναύσματα για επανεξέταση: μια έκδοση μοντέλου, μια πηγή δεδομένων, έναν σκοπό, έναν πληθυσμό χρηστών, μια άδεια εργαλείου, μια νομική απαίτηση, ένα περιστατικό ή ένα μοτίβο στην παρακολούθηση. Το έναυσμα αποτελεί μέρος του ελέγχου.

Η αναλογικότητα έχει επίσης σημασία εδώ. Ο Κανονισμός αναφέρει ότι η εφαρμογή θα πρέπει να είναι ανάλογη προς το μέγεθος του οργανισμού του παρόχου, σεβόμενη παράλληλα την αυστηρότητα και την προστασία που απαιτούνται για τη συμμόρφωση. Αναλογικό δεν σημαίνει άτυπο. Ένας μικρός πάροχος μπορεί να χρησιμοποιήσει ένα συμπαγές σύνολο καλά σχεδιασμένων αρχείων αντί να αναπαράγει τον μηχανισμό ενός μεγάλου ιδρύματος. Πρέπει ωστόσο να γνωρίζει ποιος είναι υπεύθυνος για κάθε απόφαση, πού αποθηκεύονται τα αποδεικτικά στοιχεία, πώς αξιολογούνται οι αλλαγές και πώς μπορεί μια αρχή να λάβει τις πληροφορίες που χρειάζεται. Το μικρό μέγεθος δεν σημαίνει απαλλαγή από τη μνήμη.

Η διατήρηση είναι επιλογή σχεδιασμού

Το άρθρο 18 απαιτεί από τους παρόχους να διατηρούν συγκεκριμένη τεκμηρίωση στη διάθεση των εθνικών αρμόδιων αρχών για περίοδο που λήγει δέκα έτη μετά τη διάθεση στην αγορά ή τη θέση σε λειτουργία ενός συστήματος τεχνητής νοημοσύνης υψηλού κινδύνου. Το άρθρο 19 αφορά τα αυτόματα παραγόμενα αρχεία καταγραφής και απαιτεί τη διατήρησή τους, εφόσον βρίσκονται υπό τον έλεγχο του παρόχου, για περίοδο κατάλληλη για τον επιδιωκόμενο σκοπό και τουλάχιστον έξι μήνες, εκτός αν άλλη νομοθεσία ορίζει διαφορετικά, συμπεριλαμβανομένης της νομοθεσίας για την προστασία δεδομένων. Πρόκειται για νομικές απαιτήσεις με ακριβές πεδίο εφαρμογής. Δεν θα πρέπει να γενικεύονται αβασάνιστα σε κάθε αρχείο σε κάθε ροή εργασιών τεχνητής νοημοσύνης.

Το πρακτικό συμπέρασμα είναι ότι η διατήρηση πρέπει να σχεδιάζεται ανά κατηγορία αρχείου. Η τεχνική τεκμηρίωση, τα αρχεία συστήματος ποιότητας, το υλικό συμμόρφωσης, τα αρχεία καταγραφής, τα δεδομένα πηγής, οι ανθρώπινες σημειώσεις, τα σύνολα αξιολόγησης, τα αποδεικτικά περιστατικών και οι δημόσιες εξηγήσεις μπορεί να έχουν διαφορετικούς σκοπούς και διάρκειες ζωής. Μια ενιαία προεπιλεγμένη ρύθμιση διατήρησης είναι συντόμευση αρχιτεκτονικής, όχι στρατηγική διακυβέρνησης. Μπορεί να διαγράψει αποδεικτικά στοιχεία πολύ νωρίς ή να διατηρήσει ευαίσθητο υλικό πολύ μετά τη λήξη του σκοπού του. Το σύστημα θα πρέπει να γνωρίζει ποιο επίπεδο διατηρεί και γιατί.

Η διατήρηση χρειάζεται επίσης αρχή και τέλος. Ένα αρχείο που αναφέρει διατήρηση για δέκα έτη χωρίς να ορίζει το γεγονός από το οποίο υπολογίζεται η περίοδος δεν είναι λειτουργικά πλήρες. Ένα αρχείο καταγραφής που διατηρείται για έξι μήνες χωρίς να διευκρινίζεται αν η περίοδος έπεται του γεγονότος, της κυκλοφορίας ή του τέλους ενός κύκλου παρακολούθησης προκαλεί αποφεύγιμη σύγχυση. Το νομικό κείμενο παρέχει τα σχετικά σημεία αναφοράς για τις συγκεκριμένες υποχρεώσεις. Ο οργανισμός πρέπει να αντιστοιχίσει αυτά τα σημεία αναφοράς σε καταστάσεις συστήματος και να καταστήσει την αντιστοίχιση ελέγξιμη.

Η διαγραφή ενός αρχείου είναι από μόνη της ένα γεγονός. Αν αφαιρεθεί ένα ενεργό προτροπή επειδή έληξε ο σκοπός της, το σύστημα μπορεί να χρειαστεί να διατηρήσει μια αναφορά που να αποδεικνύει ότι πραγματοποιήθηκε η αφαίρεση και ποιος κανόνας διατήρησης την ενέκρινε. Αν διορθωθεί ένα σφάλμα, τα αρχικά αποδεικτικά στοιχεία μπορεί να χρειαστεί να παραμείνουν διαθέσιμα υπό ελεγχόμενο ιστορικό αντί να εξαφανιστούν χωρίς εξήγηση. Αν διαγραφούν προσωπικά δεδομένα, τα παράγωγα τεχνουργήματα και οι διαδρομές πρόσβασης μπορεί να απαιτούν ξεχωριστή ανάλυση. Το αρχείο διαγραφής δεν θα πρέπει να εκλαμβάνεται ως απόδειξη ότι κάθε αντίγραφο έχει εξαφανιστεί. Είναι απόδειξη μιας ελεγχόμενης ενέργειας εντός καθορισμένων ορίων.

Η διατήρηση μπορεί επίσης να προστατεύσει τη θεσμική μάθηση. Μια ανασκόπηση περιστατικού που διατηρεί μόνο το τελικό συμπέρασμα χάνει τις συνθήκες που προκάλεσαν το πρόβλημα. Ένα αρχείο αξιολόγησης που διατηρεί μόνο μια βαθμολογία χάνει τον φόρτο εργασίας, τον πληθυσμό, τη μέθοδο και τους περιορισμούς που κατέστησαν τη βαθμολογία ερμηνεύσιμη. Ένα αρχείο διόρθωσης που διατηρεί μόνο τη νέα τιμή χάνει το γεγονός ότι μια λανθασμένη τιμή διήλθε μέσα από ένα σύστημα. Η διατήρηση των πάντων δεν είναι η απάντηση. Η διατήρηση των σωστών αποδεικτικών στοιχείων για το ερώτημα είναι.

Όταν λείπουν αποδεικτικά στοιχεία

Τα πιο χρήσιμα συστήματα καταγραφής είναι σχεδιασμένα για την απουσία. Μπορούν να δηλώσουν ότι μια πηγή δεν ήταν διαθέσιμη, ότι ένα πεδίο αποκρύφθηκε, ότι ένα αναγνωριστικό έκδοσης ήταν άγνωστο, ότι δεν πραγματοποιήθηκε ανθρώπινη αναθεώρηση, ότι μια επιβεβαίωση εργαλείου απέτυχε ή ότι μια αναπαραγωγή δεν μπορεί να ολοκληρωθεί. Αυτό δεν αποτελεί πρόσκληση για την κατασκευή ενός τακτοποιημένου υποκατάστατου. Είναι ένας τρόπος να αποτραπεί η σιωπηλή μετατροπή των ελλειπόντων αποδεικτικών στοιχείων σε βεβαιότητα.

Η απουσία έχει τύπους. Το «δεν συλλέχθηκε» σημαίνει ότι το σύστημα δεν επιχείρησε ποτέ να διατηρήσει το πεδίο. Το «δεν είναι διαθέσιμο» σημαίνει ότι το πεδίο υπήρχε αλλού, αλλά δεν ήταν δυνατό να αποκτηθεί. Το «δεν ισχύει» σημαίνει ότι η προϋπόθεση δεν ανήκε στη ροή εργασίας. Το «αποκρύφθηκε» σημαίνει ότι τα αποδεικτικά στοιχεία υπάρχουν, αλλά είναι περιορισμένα βάσει κάποιου κανόνα. Το «σε σύγκρουση» σημαίνει ότι δύο πηγές διαφωνούν. Το «άγνωστο» σημαίνει ότι ο οργανισμός δεν έχει τεκμηριώσει την απάντηση. Αυτές οι ετικέτες αποτελούν προτεινόμενο επιχειρησιακό λεξιλόγιο και όχι όρους που επιβάλλονται από την Πράξη για την Τεχνητή Νοημοσύνη. Η αξία τους έγκειται στο ότι εμποδίζουν διαφορετικά προβλήματα να συγχωνευθούν σε ένα κενό κελί.

Ένας επιθεωρητής πληρότητας θα πρέπει επομένως να θέτει ερωτήσεις και όχι να μετράει πεδία. Προσδιορίζει το αρχείο την κατάσταση του συστήματος; Δείχνει τον σκοπό και το πεδίο εισόδου; Μπορεί να εντοπιστεί η πηγή ή η πολιτική βάση; Είναι ορατή η ανθρώπινη εξουσία; Αναφέρονται ονομαστικά η αβεβαιότητα και οι εξαιρέσεις; Μπορεί ένα άτομο να διορθώσει, να προσφύγει, να αναστείλει ή να διαγράψει εντός του ισχύοντος ορίου; Οι απαντήσεις εξαρτώνται από τα συμφραζόμενα. Ένα αρχείο μπορεί να είναι πλήρες για μια επιχειρησιακή ειδοποίηση και ελλιπές για μια ατομική απόφαση. Η πληρότητα είναι μια σχέση μεταξύ αποδεικτικών στοιχείων και συνεπειών.

Τα ελλείποντα αρχεία θα πρέπει να ενεργοποιούν μια ανταπόκριση ανάλογη με τον κίνδυνο. Μια ελλιπής ετικέτα χαμηλού αντικτύπου μπορεί να επιδιορθωθεί στην επόμενη έκδοση. Μια ελλιπής έκδοση μοντέλου για μια απόφαση με σημαντικές συνέπειες μπορεί να απαιτεί την επανεξέταση της απόφασης ή την αναστολή της ροής εργασίας. Ένα ελλιπές αρχείο καταγραφής μιας κλήσης εργαλείου που μεταβάλλει την κατάσταση μπορεί να απαιτεί έρευνα εκτός της ομάδας μοντέλων. Ο οργανισμός θα πρέπει να καθορίσει αυτά τα όρια πριν από το περιστατικό, επειδή ο καθορισμός τους κατά τη διάρκεια μιας τεταμένης αναθεώρησης συνήθως παράγει μια πολιτική φτιαγμένη από αδρεναλίνη.

Η διαδρομή απουσίας χρειάζεται επίσης έναν υπεύθυνο και μια χρονική σήμανση. Εάν δεν μπορεί να παραχθεί ένα απαιτούμενο αρχείο, κάποιος θα πρέπει να γνωρίζει ποιος είναι υπεύθυνος για τη διερεύνηση, ποιος μπορεί να αποφασίσει εάν η εργασία συνεχίζεται, ποια αποδεικτικά στοιχεία αναζητούνται και πότε θα επανεξεταστεί η κατάσταση. Αυτό μετατρέπει ένα κενό σε μια διαχειριζόμενη κατάσταση. Δεν καθιστά το κενό ακίνδυνο. Εμποδίζει τον θεσμό να προσποιείται ότι μια σελίδα που λείπει είναι μια κενή σελίδα.

Το Γραφείο Τεχνητής Νοημοσύνης και το έργο της ερμηνείας

Η Πράξη για την Τεχνητή Νοημοσύνη δημιουργεί θεσμούς και διαδικασίες που συμβάλλουν στη μετατροπή του Κανονισμού σε πρακτική. Το Γραφείο Τεχνητής Νοημοσύνης της Επιτροπής έχει ρόλο στην εποπτεία και την επιβολή των υποχρεώσεων για τα μοντέλα τεχνητής νοημοσύνης γενικού σκοπού, ενώ οι εθνικές αρμόδιες αρχές και οι αρχές εποπτείας της αγοράς έχουν αρμοδιότητες στο ευρύτερο πλαίσιο. Το Γραφείο Εξυπηρέτησης της Πράξης για την Τεχνητή Νοημοσύνη παρέχει μια επεξήγηση για το Άρθρο 12 που συνοψίζει την υποχρέωση τήρησης αρχείων και παραπέμπει τους αναγνώστες στο επίσημο κείμενο. Η σύνοψή του είναι ρητά μη δεσμευτική. Αυτή η διάκριση αξίζει να διατηρηθεί.

Οι κατευθυντήριες γραμμές μπορούν να καταστήσουν έναν κανόνα χρησιμοποιήσιμο μετατρέποντας μια νομική απαίτηση σε παραδείγματα, ερωτήσεις και επιλογές εφαρμογής. Δεν μπορούν να αντικαταστήσουν τον Κανονισμό. Ένας οργανισμός θα πρέπει να μπορεί να δείξει ποιος ισχυρισμός προέρχεται από το δεσμευτικό κείμενο, ποιος από τις κατευθυντήριες γραμμές και ποιος αποτελεί δική του απόφαση ελέγχου. Αυτή η πειθαρχία ως προς τις πηγές δεν είναι ακαδημαϊκή λεπτολογία. Εμποδίζει ένα χρήσιμο παράδειγμα να μετατραπεί σε πλασματική υποχρέωση και εμποδίζει μια εθελοντική πρακτική να προβάλλεται εσωτερικά ως νομικό ελάχιστο.

Η ανακοίνωση AI@EC της Επιτροπής προσφέρει ένα χρήσιμο θεσμικό παράδειγμα, χωρίς να ισχυρίζεται ότι περιγράφει κάθε δημόσιο φορέα. Τον Ιανουάριο του 2024, η Επιτροπή παρουσίασε μια προσέγγιση για τη δική της ανάπτυξη και χρήση της ΤΝ, συμπεριλαμβανομένων εσωτερικών επιχειρησιακών κατευθυντήριων γραμμών, αξιολόγησης και ταξινόμησης βάσει κινδύνου, αποφυγής συστημάτων ασύμβατων με τις ευρωπαϊκές αξίες ή που απειλούν τα δικαιώματα και την ασφάλεια, καθώς και οργανωτικών δομών για την εκπλήρωση των υποχρεώσεων. Το ζητούμενο δεν είναι ότι μια ανακοίνωση λύνει το πρόβλημα της εφαρμογής. Το ζητούμενο είναι ότι ένας θεσμός που προετοιμάζεται να χρησιμοποιήσει ΤΝ πρέπει επίσης να προετοιμάσει τη δική του ικανότητα να διέπει τη χρήση.

Αυτή η ικανότητα οικοδομείται από αρχεία που μπορούν να ταξιδεύουν. Μια πολιτική θα πρέπει να παραπέμπει σε έναν υπεύθυνο. Μια αξιολόγηση κινδύνου θα πρέπει να παραπέμπει σε μια ταυτότητα συστήματος. Μια τεχνική περιγραφή θα πρέπει να παραπέμπει σε μια έκδοση. Ένα αρχείο εκπαίδευσης θα πρέπει να παραπέμπει σε έναν ρόλο και μια ικανότητα. Ένα σήμα παρακολούθησης θα πρέπει να παραπέμπει σε μια ενέργεια. Ένα παράπονο θα πρέπει να παραπέμπει σε μια οδό. Όταν αυτές οι σχέσεις είναι ρητές, οι κατευθυντήριες γραμμές μπορούν να εφαρμοστούν χωρίς να επινοείται ένα ξεχωριστό σύμπαν γραφειοκρατίας. Όταν δεν είναι, κάθε νέα κατευθυντήρια γραμμή γίνεται ένα ακόμη έγγραφο που ο οργανισμός ελπίζει ότι θα αλλάξει με κάποιον τρόπο τη συμπεριφορά.

Το ευρωπαϊκό δίκαιο έχει μια ιδιαίτερη θεσμική υφή. Οι αρμοδιότητες κατανέμονται μεταξύ των θεσμικών οργάνων της Ένωσης, των κρατών μελών, των αρχών, των παρόχων, των υπευθύνων ανάπτυξης και άλλων φορέων εκμετάλλευσης. Ένα αρχείο πρέπει να καθιστά ορατή αυτή την κατανομή και όχι να εξομοιώνει κάθε φορέα με έναν γενικό ιδιοκτήτη συστήματος. Το ερώτημα δεν είναι μόνο ποιος κατασκεύασε το μοντέλο. Είναι ποιος το έθεσε σε λειτουργία, ποιος ελέγχει τα δεδομένα εισόδου, ποιος ανέθεσε την εποπτεία, ποιος μπορεί να αναστείλει τη χρήση και ποιος πρέπει να συνεργαστεί με μια αρχή. Τα ονόματα και οι συμβάσεις έχουν σημασία, αλλά έχουν σημασία και οι επιχειρησιακές εξουσίες που μπορεί να αποκαλύψει ένα αρχείο.

Από τη νομική γλώσσα στην καθημερινή ρουτίνα

Το δίκαιο γίνεται πρακτικό όταν ένας οργανισμός μετατρέπει κάθε υποχρέωση σε έναν μικρό αριθμό επαναλαμβανόμενων ρουτινών. Αυτό είναι ένα προτεινόμενο επιχειρησιακό πρότυπο, όχι ένας νομικός κατάλογος ελέγχου. Κατά την εισαγωγή, ταξινομήστε τον επιδιωκόμενο σκοπό, τα επηρεαζόμενα άτομα, τις κατηγορίες δεδομένων, την αυτονομία, τα εργαλεία και την αρμοδιότητα λήψης αποφάσεων. Πριν από τη διάθεση, συνδέστε την ταυτότητα του συστήματος, την έκδοση, την κατάσταση των οδηγιών, τις πηγές δεδομένων, τις δοκιμές, τα όρια, τον ρόλο εποπτείας και τη διαδρομή διακοπής. Κατά τη λειτουργία, καταγράψτε τα σχετικά συμβάντα, παρακολουθήστε τους κινδύνους και καταστήστε ορατή την αβεβαιότητα. Μετά από μια αλλαγή ή ένα περιστατικό, διερευνήστε, διορθώστε, ενημερώστε την περιγραφή και αποφασίστε αν η χρήση θα πρέπει να συνεχιστεί.

Προσέξτε τι δεν λέει αυτό το πρότυπο. Δεν λέει να συλλέγονται όλα τα μηνύματα για πάντα. Δεν λέει ότι ένα αυτοματοποιημένο αρχείο καταγραφής είναι το ίδιο με μια εξήγηση. Δεν λέει ότι ένας πίνακας ελέγχου αποδεικνύει την ασφάλεια. Δεν λέει ότι ένα ανθρώπινο όνομα σε μια ροή εργασίας αποδεικνύει την εποπτεία. Λέει ότι το σύστημα θα πρέπει να έχει ένα αρχείο των συνθηκών υπό τις οποίες επιτρέπεται να λειτουργεί και των συμβάντων που μπορούν να δείξουν αν αυτές οι συνθήκες ίσχυσαν.

Μια καλή ρουτίνα έχει αρχή και τέλος. Ένα αρχείο δημιουργείται όταν ξεκινά μια ουσιαστική κατάσταση, ενημερώνεται όταν αλλάζουν τα αποδεικτικά στοιχεία ή η εξουσία και κλείνει όταν λήγει ο σκοπός ή η περίοδος επανεξέτασης. Το γεγονός του κλεισίματος έχει σημασία επειδή τα ανοιχτά αρχεία γίνονται σιωπηλά μόνιμα. Θα πρέπει να αναφέρει αν το σύστημα διατέθηκε, απορρίφθηκε, τέθηκε σε παύση, αντικαταστάθηκε, διορθώθηκε ή αποσύρθηκε. Αν το αρχείο δεν μπορεί να κλείσει, ο οργανισμός θα πρέπει να γνωρίζει τον λόγο. Η ατέρμονη προσωρινή κατάσταση είναι ένας ευγενικός τρόπος να αποφεύγεται μια απόφαση.

Οι ρουτίνες θα πρέπει επίσης να διακρίνουν τα γεγονότα από τις ερμηνείες. Ένα αρχείο καταγραφής μπορεί να καταγράψει ότι ένα μοντέλο επέστρεψε ένα αποτέλεσμα. Ένας αξιολογητής μπορεί να καταγράψει ότι το αποτέλεσμα απορρίφθηκε επειδή μια πηγή συγκρούστηκε με μια πολιτική. Μια ομάδα διαχείρισης περιστατικών μπορεί αργότερα να συμπεράνει ότι μια αλλαγή στην ανάκτηση δεδομένων συνέβαλε στη σύγκρουση. Το συμπέρασμα μπορεί να είναι ισχυρό, αλλά δεν είναι το ίδιο είδος αποδεικτικού στοιχείου με το συμβάν. Τα χαρακτηρισμένα επίπεδα καθιστούν τη μεταγενέστερη διερεύνηση πιο έντιμη. Χωρίς αυτά, κάθε συμπέρασμα σταδιακά σκληραίνει σε γεγονός επειδή κανείς δεν θυμάται ποια πρόταση παρατηρήθηκε και ποια γράφτηκε στη συνάντηση.

Η ιδιοκτησία θα πρέπει να είναι ορατή σε επίπεδο πεδίου όπου αυτό είναι πρακτικό. Ο πάροχος μπορεί να κατέχει την τεχνική τεκμηρίωση. Ένας αναπτύσσων μπορεί να κατέχει τη συνάφεια των εισροών και την επιχειρησιακή παρακολούθηση. Ένας υπεύθυνος δεδομένων μπορεί να κατέχει τα δικαιώματα πηγής και την ποιότητα. Ένας ρόλος ανθρώπινης εποπτείας μπορεί να κατέχει την απόφαση για αποδοχή, παράκαμψη ή διακοπή. Μια λειτουργία τήρησης αρχείων μπορεί να κατέχει τη διατήρηση και την πρόσβαση. Η κατανομή θα διαφέρει ανάλογα με το πλαίσιο και τη σύμβαση. Το αρχείο θα πρέπει να καθιστά δυνατό να απευθυνθεί κανείς ερώτηση στον σωστό ιδιοκτήτη χωρίς να στείλει κυκλικό email σε ολόκληρο τον οργανισμό.

Η δοκιμή της διαδικασίας είναι εξίσου σημαντική με τη σύνταξή της. Ένα προτεινόμενο μέτρο ελέγχου θα πρέπει να ασκείται με ένα ασφαλές, σαφώς επισημασμένο σενάριο. Μπορεί η ομάδα να ανακτήσει το αρχείο ανά έκδοση συστήματος; Μπορεί ένας χειριστής να δει την κατάσταση οδηγιών που χρησιμοποιήθηκε κατά την κυκλοφορία; Μπορεί ένας αξιολογητής να απορρίψει ένα αποτέλεσμα και να διατηρήσει τον λόγο; Μπορεί η διαδρομή διακοπής να αφήσει μια σαφή κατάσταση; Μπορεί μια αρμόδια αρχή να λάβει τη σχετική τεκμηρίωση χωρίς κυνήγι θησαυρού; Αυτές είναι ασκήσεις, όχι αναφερόμενα περιστατικά. Τα αποτελέσματά τους θα πρέπει να καταγράφονται ως δοκιμές, με τυχόν περιορισμούς να δηλώνονται με σαφήνεια.

Η διαδικασία θα πρέπει να είναι σχεδιασμένη για μια ήσυχη ημέρα. Αν λειτουργεί μόνο όταν ένας ειδικός είναι ξύπνιος, ένας προμηθευτής ανταποκρίνεται γρήγορα και όλοι θυμούνται το ιστορικό ανάπτυξης, τότε δεν είναι διαδικασία. Είναι συλλογική μνήμη με συμφωνία επιπέδου υπηρεσιών. Ένα σοβαρό σύστημα αρχείων δίνει στο συνηθισμένο προσωπικό έναν τρόπο να απαντά σε συνηθισμένες ερωτήσεις και δίνει στους ειδικούς μια βαθύτερη διαδρομή όταν η ερώτηση γίνεται σημαντική. Η ήσυχη ημέρα είναι εκεί όπου το σύστημα κερδίζει το δικαίωμα να το εμπιστεύονται τη θορυβώδη ημέρα.

Υπάρχει ο πειρασμός να γίνουν τα αρχεία όμορφα. Ο σαφής σχεδιασμός βοηθά τους ανθρώπους να τα χρησιμοποιούν, αλλά η οπτική φινέτσα δεν αποτελεί απόδειξη. Μια έγχρωμη κατάσταση, μια βαθμολογία ωριμότητας ή μια κάρτα που φαίνεται πλήρης μπορεί να κρύβουν ελλείποντα πεδία. Η διεπαφή θα πρέπει να καθιστά την αβεβαιότητα, τα παρωχημένα δεδομένα και τους μη επαληθευμένους ισχυρισμούς πιο δύσκολο να παραβλεφθούν. Θα πρέπει να υποστηρίζει τις βαρετές ενέργειες που διατηρούν ένα αρχείο αληθές: την καθήλωση μιας έκδοσης, τον προσδιορισμό μιας πηγής, την ονομασία ενός ρόλου, τη σήμανση ενός περιορισμού, τη σύνδεση μιας διόρθωσης και το κλείσιμο μιας κατάστασης. Ο καλός σχεδιασμός δίνει στο αρχείο λαβές. Δεν δίνει στο αρχείο δυνάμεις που δεν έχει κερδίσει.

Ένα σύντομο σημείωμα από εμάς

Στη Dweve, το Trust Centre μας είναι οργανωμένο γύρω από αυτό ακριβώς το ερώτημα: τι θα πρέπει να μπορεί να επιθεωρήσει ένα άλλο άτομο για ένα μοντέλο και τη λειτουργία του. Ο δημόσιος κατάλογος συνδέει την ταυτότητα του μοντέλου, το περιεχόμενο εκπαίδευσης, τις αξιολογήσεις, τη διαχείριση κινδύνου, την παρακολούθηση μετά τη διάθεση στην αγορά, τα περιστατικά, τη διακυβέρνηση δεδομένων και την τεχνική τεκμηρίωση. Αυτή η διάταξη δεν αποτελεί ισχυρισμό ότι μια δημόσια σελίδα αποδεικνύει τη συμμόρφωση, ούτε υποκατάστατο της αξιολόγησης μιας αρχής. Είναι μια σκόπιμη προσπάθεια να διατηρηθούν τα αρχεία και τα όριά τους ορατά. Η εργασία μας στο Ledger υποστηρίζει ένα συναφές επιχείρημα σε επιχειρησιακό επίπεδο: ένα αρχείο θα πρέπει να φέρει αρκετή ταυτότητα και ιστορικό ώστε ένας μεταγενέστερος αναγνώστης να μπορεί να ελέγξει τι άλλαξε. Το χρήσιμο τεστ δεν είναι αν η σελίδα φαίνεται καθησυχαστική. Είναι αν τα στοιχεία λένε την αλήθεια για το τι μπορούν και τι δεν μπορούν να αποδείξουν.

Τα αρχεία είναι μέρος του θεσμού

Το βαθύτερο λάθος είναι να αντιμετωπίζονται οι απαιτήσεις τήρησης αρχείων του AI Act ως φόρος στην καινοτομία. Καλύτερα να κατανοηθούν ως περιγραφή του τι χρειάζεται ένας θεσμός για να χρησιμοποιήσει ένα ισχυρό, μεταβαλλόμενο σύστημα χωρίς να παραδώσει τη μνήμη του. Ένα μοντέλο μπορεί να παράγει ένα αποτέλεσμα γρήγορα. Ένας θεσμός πρέπει να αποφασίσει αν το αποτέλεσμα ανήκει σε μια απόφαση, αν κάποιος μπορεί να το αμφισβητήσει, αν μια διόρθωση μπορεί να διαδοθεί μέσω του συστήματος και αν ένας μελλοντικός αναγνώστης μπορεί να κατανοήσει τη διαδρομή.

Γι' αυτό τα αρχεία καταγραφής δεν μπορούν να παραμείνουν στην άκρη της αρχιτεκτονικής. Ανήκουν δίπλα στα δεδομένα, στις οδηγίες, στις εκδόσεις μοντέλων, στα εργαλεία, στις διεπαφές, στους ανθρώπινους ρόλους και στις διορθώσεις. Το αρχείο καταγραφής είναι ο συνδετικός ιστός που επιτρέπει σε αυτά τα μέρη να ανταποκρίνονται μεταξύ τους. Μετατρέπει μια δήλωση κινδύνου σε ελέγξιμη συνθήκη. Μετατρέπει μια πηγή σε ιχνηλάσιμη βάση. Μετατρέπει μια ανθρώπινη έγκριση σε παρατηρήσιμη πράξη. Μετατρέπει μια διόρθωση σε αλλαγή που μπορεί να ελεγχθεί. Μετατρέπει ένα πεδίο που λείπει σε διαχειριζόμενο ερώτημα και όχι σε κενό που δεν ανήκει σε κανέναν.

Η εργασία είναι ήσυχη επειδή φαίνεται συνηθισμένη. Ονομάστε το σύστημα. Καθορίστε τον σκοπό. Καταγράψτε την έκδοση. Διατηρήστε το όριο της πηγής. Δοκιμάστε το αρχείο καταγραφής. Δώστε στον αξιολογητή εξουσία. Σημειώστε τι είναι άγνωστο. Διατηρήστε την απάντηση. Αποσύρετε το αρχείο καταγραφής όταν τελειώσει ο σκοπός. Τίποτα από αυτά δεν έχει τη γοητεία ενός βίντεο παρουσίασης. Έχει την πολυτιμότερη ιδιότητα να επιβιώνει από αλλαγή προσωπικού, αλλαγή μοντέλου, αλλαγή προμηθευτή και από μια ερώτηση κάποιου που δεν ήταν στην αίθουσα.

Θα εξακολουθήσουν να υπάρχουν διαφωνίες σχετικά με την ερμηνεία του AI Act, το κατάλληλο επίπεδο λεπτομέρειας και τον τρόπο με τον οποίο τα πρότυπα θα μεταφράσουν τις νομικές απαιτήσεις σε τεχνική πρακτική. Τα αρχεία καταγραφής δεν εξαλείφουν αυτά τα επιχειρήματα. Τα καθιστούν πιο ακριβή. Ένας οργανισμός μπορεί να δείξει σε ποιο κείμενο βασίστηκε, ποια υπόθεση έκανε, ποια αποδεικτικά στοιχεία είχε, ποιο έλεγχο επέλεξε και πού παραμένει η αβεβαιότητά του. Αυτό είναι καλύτερο σημείο εκκίνησης για μια ρυθμιστική αρχή, έναν συνάδελφο, ένα ενδιαφερόμενο πρόσωπο και τον ίδιο τον οργανισμό.

Το πρακτικό δίδαγμα είναι απλό. Μην ρωτάτε μόνο αν ένα σύστημα τεχνητής νοημοσύνης μπορεί να παράγει ένα αποτέλεσμα. Ρωτήστε αν ο οργανισμός μπορεί να θυμάται τις συνθήκες αυτού του αποτελέσματος, να δείξει τα αποδεικτικά στοιχεία που είχαν σημασία, να κατονομάσει την αρχή που ενήργησε, να εντοπίσει την αβεβαιότητα που παρέμεινε και να κάνει μια διόρθωση να ταξιδέψει. Αν η απάντηση είναι όχι, το σύστημα μπορεί να είναι ακόμα τεχνικά εντυπωσιακό. Δεν είναι ακόμα θεσμικά έτοιμο.

Η ήσυχη εργασία του AI Act της ΕΕ δεν αφορά λοιπόν το να κάνει την τεχνολογία να ακούγεται σοβαρή. Αφορά το να κάνει τη σοβαρότητα παρατηρήσιμη. Τα αρχεία καταγραφής δεν είναι συνθήματα με χρονοσφραγίδες. Είναι οριοθετημένα αποδεικτικά στοιχεία, δημιουργημένα για έναν σκοπό, συνδεδεμένα με την υπευθυνότητα και ανοιχτά σε διόρθωση. Χτίστε τα με προσοχή και ένας οργανισμός μπορεί να χρησιμοποιήσει την τεχνητή νοημοσύνη χωρίς να ζητά από την ευχέρεια να υποκαταστήσει τη μνήμη. Αφήστε τα ως εκ των υστέρων σκέψη και η πρώτη δύσκολη ερώτηση θα ανακαλύψει ότι το σύστημα κράτησε το αποτέλεσμά του αλλά έχασε την ιστορία του.

Πηγές