Η Ευρώπη δεν μπορεί να ρυθμίζει ό,τι δεν μπορεί να ελέγξει
Η ακρόαση με το όμορφο διάγραμμα
Το πιο κομψό διάγραμμα αρχιτεκτονικής που είδα ποτέ σε δημόσια ακρόαση δεν είχε καμία επιχειρησιακή αξία. Προβαλλόταν σε τοίχο αιθούσης με εξαιρετικά μικρόφωνα και απογοητευτικό καφέ. Το υπό συζήτηση σύστημα επηρέαζε αποφάσεις επιλεξιμότητας για χιλιάδες ανθρώπους. Ο προμηθευτής παρουσίασε μια καθαρή στοίβα: δεδομένα, μοντέλο, κανόνες, ροή εργασίας, ανθρώπινη αναθεώρηση, αναφορές. Τα βέλη ήταν ίσια. Τα χρώματα ήταν διακριτικά. Η διαφάνεια είχε εκείνη την ηρεμία που εμφανίζεται μόνο όταν κανένα ουρά, εξαίρεση, εξαγωγή, επιδιόρθωση ή θυμωμένος χρήστης δεν έχει προσκληθεί.
Ένα μέλος της επιτροπής έκανε μια απλή ερώτηση. Μπορούσε η ρυθμιστική αρχή να εξετάσει μια πραγματική απόφαση από την είσοδο έως το αποτέλεσμα. Όχι μια σύνοψη. Όχι ένα δείγμα που επέλεξε ο προμηθευτής. Όχι ένα στιγμιότυπο πίνακα ελέγχου. Μια πραγματική υπόθεση, με τα δεδομένα που ήταν διαθέσιμα εκείνη τη στιγμή, την έκδοση κανόνων, την έκδοση μοντέλου, τα δικαιώματα πρόσβασης, την ανθρώπινη παρέμβαση, τα αρχεία καταγραφής και τη διαδρομή διόρθωσης. Η αίθουσα έγινε προσεκτική. Οι άνθρωποι χρησιμοποίησαν λέξεις όπως εμπορικά ευαίσθητο, αναλογικό, χάρτης πορείας διεπαφής και πακέτο διασφάλισης. Αυτά δεν είναι πάντα υπεκφυγές. Μερικές φορές είναι ειλικρινείς περιγραφές συστημάτων που κατασκευάστηκαν χωρίς την επιθεώρηση ως βασική απαίτηση.
Αυτή η στιγμή αποτυπώνει ένα ευρωπαϊκό πρόβλημα. Η Ευρώπη είναι άνετη στο να γράφει υποχρεώσεις. Είναι λιγότερο άνετη στο να χτίζει τις τεχνικές συνθήκες που καθιστούν αυτές τις υποχρεώσεις επιθεωρήσιμες. Ο νόμος μπορεί να απαιτεί δικαιοσύνη, διαφάνεια, λογοδοσία, διαχείριση κινδύνου, διαγραφή, επεξηγησιμότητα και ανθρώπινη εποπτεία. Αλλά αν το σύστημα δεν μπορεί να παράγει αποδεικτικά στοιχεία, αν η γενεαλογία δεδομένων είναι ασαφής, αν οι εκδόσεις μοντέλων δεν είναι καθηλωμένες, αν τα αρχεία καταγραφής ελέγχονται από το επιθεωρούμενο μέρος, αν οι αποφάσεις δεν μπορούν να αναπαραχθούν και αν οι προμήθειες δέχονται το θέατρο ως απόδειξη, η ρύθμιση γίνεται ένας καλοντυμένος θεατής. Η Ευρώπη δεν μπορεί να ρυθμίσει ό,τι δεν μπορεί να επιθεωρήσει.
Η επιθεώρηση δεν είναι περιέργεια
Η επιθεώρηση αντιμετωπίζεται μερικές φορές ως γραφειοκρατική όρεξη, σαν οι ρυθμιστικές αρχές να θέλουν απλώς περισσότερα έγγραφα επειδή οι φάκελοι φαίνονται επίσημοι. Αυτό παρερμηνεύει το νόημα. Η επιθεώρηση είναι η πρακτική διαδρομή από έναν κανόνα σε ένα μέσο επανόρθωσης. Ένας πολίτης αμφισβητεί μια απόφαση. Ένα νοσοκομείο ελέγχει αν ένα μοντέλο διαλογής άλλαξε συμπεριφορά μετά από μια ενημέρωση. Ένας δήμος θέλει να μάθει αν ένα σήμα απάτης χρησιμοποίησε έναν απαγορευμένο πληρεξούσιο. Ένα σχολείο ρωτά γιατί ένα παιδί επισημάνθηκε για επιπλέον παρακολούθηση. Μια ομάδα προμηθειών πρέπει να επαληθεύσει ότι η διαγραφή έφτασε στα παράγωγα αποθετήρια. Χωρίς επιθεώρηση, κάθε μία από αυτές τις περιπτώσεις γίνεται διαπραγμάτευση για την πεποίθηση.
Η σοβαρή επιθεώρηση είναι στενότερη από την απεριόριστη πρόσβαση και ισχυρότερη από ένα δελτίο τύπου. Ζητά τα σωστά αποδεικτικά στοιχεία στο σωστό επίπεδο. Ποια δεδομένα ήταν διαθέσιμα. Ποιοι μετασχηματισμοί εφαρμόστηκαν. Ποιο μοντέλο, βιβλίο κανόνων, προτροπή, όριο και πολιτική πύλη εκτελέστηκαν. Ποιος ανθρώπινος ή αυτοματοποιημένος παράγοντας ενέκρινε το αποτέλεσμα. Ποια αρχεία καταγραφής δείχνουν πρόσβαση. Ποια εναλλακτική διαδρομή ήταν δυνατή. Ποιος μηχανισμός διόρθωσης υπάρχει. Το ζητούμενο δεν είναι να γίνει κάθε σύστημα διαφανές με μια μυστικιστική έννοια. Το ζητούμενο είναι να γίνει η σημαντική συμπεριφορά εξετάσιμη αρκετά ώστε να αμφισβητηθεί, να βελτιωθεί και να επιβληθεί.
Τα ψηφιακά συστήματα είναι ιδιαίτερα καλά στο να φαίνονται υπεύθυνα ενώ παραμένουν δύσκολα στην επιθεώρηση. Παράγουν πίνακες ελέγχου. Παράγουν εξαγωγές. Παράγουν ετήσιες εκθέσεις. Παράγουν βαθμολογίες εμπιστοσύνης με τη συναισθηματική σταθερότητα ενός ωροσκοπίου. Τίποτα από αυτά δεν είναι επιθεώρηση εκτός αν συνδέεται με το υποκείμενο ίχνος συμβάντων. Μια δήλωση συμμόρφωσης μπορεί να είναι αληθινή στο πνεύμα και άχρηστη σε μια διαφορά. Μια συγκεντρωτική μετρική μπορεί να κρύβει τη μία ομάδα που έχει σημασία. Μια κάρτα μοντέλου μπορεί να περιγράφει την εκπαίδευση ενώ ο αγωγός παραγωγής έχει αλλάξει ήσυχα την ανάκτηση, τα όρια και τους κανόνες εναλλακτικής. Η επιθεώρηση ξεκινά εκεί που τελειώνει το διακοσμητικό στρώμα.
Η δύναμη της Ευρώπης είναι και η παγίδα της
Η Ευρώπη έχει σοβαρή παράδοση στο δημόσιο δίκαιο, στην προστασία των καταναλωτών, στην προστασία δεδομένων, στην ασφάλεια προϊόντων, στα εργατικά δικαιώματα, στην πολιτική ανταγωνισμού και στη θεσμική διαδικασία. Αυτή η παράδοση έχει σημασία. Δίνει γλώσσα σε βλάβες που η καθαρή λογική της αγοράς συχνά αντιμετωπίζει ως καιρικά φαινόμενα. Αναγνωρίζει ότι η εξουσία μπορεί να κρύβεται μέσα στην υποδομή. Επιμένει ότι όσοι επηρεάζονται από συστήματα αξίζουν κάτι περισσότερο από έναν αναστεναγμό και μια σελίδα όρων. Αυτό είναι δύναμη, όχι γραφειοκρατία για χάρη της γραφειοκρατίας.
Η παγίδα είναι να πιστεύουμε ότι οι καλές νομικές έννοιες γίνονται αυτόματα καλοί τεχνικοί έλεγχοι. Ο περιορισμός του σκοπού δεν εφαρμόζεται μόνος του. Η μη διάκριση δεν εμφανίζεται επειδή ένας πίνακας ελέγχου έχει καρτέλα δικαιοσύνης. Η ανθρώπινη εποπτεία δεν υπάρχει απλώς επειδή ένας κουρασμένος υπάλληλος μπορεί να πατήσει «έγκριση» αφού το σύστημα έχει ήδη διαμορφώσει την υπόθεση. Η διαφάνεια δεν είναι ιδιότητα ενός PDF. Η διαγραφή δεν ολοκληρώνεται επειδή ο κύριος πίνακας αφαίρεσε μια εγγραφή, ενώ οι προσωρινές μνήμες, τα αντίγραφα ασφαλείας, τα ευρετήρια, οι εξαγωγές και τα σύνολα εκπαίδευσης συνεχίζουν την ήσυχη μεταθανάτια ζωή τους. Τα δικαιώματα χρειάζονται μηχανισμούς.
Αυτοί οι μηχανισμοί δεν είναι εντυπωσιακοί. Είναι δεδομένα με εκδόσεις, σταθερά αναγνωριστικά, αρχεία προέλευσης, μητρώα μοντέλων, αρχεία καταγραφής ελέγχου, έλεγχοι πρόσβασης, πύλες πολιτικής, σύνολα αξιολόγησης, εργαλεία αναπαραγωγής, μορφές εξαγωγής, διαδικασίες περιστατικών και ανεξάρτητοι αποθηκευτικοί χώροι αποδεικτικών στοιχείων. Είναι η ικανότητα να ρωτάς ένα σύστημα τι συνέβη ένα πρωινό Τρίτης του Μαρτίου και να λαμβάνεις κάτι περισσότερο από εντυπώσεις σε JSON. Η Ευρώπη συχνά υπερέχει στο να ονομάζει το καθήκον. Τώρα πρέπει να γίνει εξίσου σοβαρή με τους σωλήνες που επιτρέπουν σε ένα καθήκον να έχει αποτέλεσμα.
Το μαύρο κουτί είναι συχνά μια μαύρη εφοδιαστική αλυσίδα
Όταν οι άνθρωποι μιλούν για μαύρα κουτιά στην τεχνητή νοημοσύνη, συνήθως φαντάζονται το μοντέλο ως το αδιαφανές αντικείμενο. Αυτό μπορεί να ισχύει. Κάποια μοντέλα είναι δύσκολο να ερμηνευτούν εσωτερικά. Αλλά πολλές αποτυχίες διακυβέρνησης είναι λιγότερο μυστηριώδεις. Το κουτί είναι μαύρο επειδή η αλυσίδα γύρω από το μοντέλο δεν επιθεωρείται. Κανείς δεν μπορεί να πει ποια έγγραφα πηγής ήταν στο ευρετήριο. Κανείς δεν μπορεί να δείξει ποια έκδοση προτροπής εκτελέστηκε. Κανείς δεν μπορεί να διαχωρίσει ένα σφάλμα μοντέλου από ένα σφάλμα ανάκτησης. Κανείς δεν ξέρει αν η υπηρεσία εναλλακτικής λύσης χρησιμοποίησε διαφορετική πολιτική. Κανείς δεν μπορεί να αποδείξει ότι μια διαγραμμένη εγγραφή δεν ήταν ακόμη παρούσα σε ένα δείγμα αξιολόγησης. Το μυστήριο δεν είναι η ευφυΐα. Είναι η λογιστική με καλύτερο μάρκετινγκ.
Ένα επιθεωρήσιμο σύστημα τεχνητής νοημοσύνης διαθέτει λίστα υλικών για τις αποφάσεις του. Κατονομάζει τις συλλογές πηγών, τις άδειες, τις καταστάσεις συγκατάθεσης, τους ελέγχους ποιότητας δεδομένων, τα βήματα μετασχηματισμού, τα μοντέλα ενσωμάτωσης, τους κανόνες κατάταξης, τα βάρη μοντέλων, τους προσαρμογείς, τα προτροπές, τα επίπεδα ασφαλείας, τις άδειες εργαλείων, τους κανόνες ανθρώπινης αναθεώρησης και την πολιτική καταγραφής. Αυτό ακούγεται βαρύ μέχρι να συμβεί κάτι λάθος. Τότε ακούγεται σαν τον ελάχιστο ενήλικο εξοπλισμό στο δωμάτιο. Χωρίς αυτό, κάθε έρευνα μετατρέπεται σε έναν ευγενικό κυνηγητό μέσα από πύλες προμηθευτών, αναμνήσεις Slack και υπολογιστικά φύλλα με το όνομα final-final-real.
Η σκέψη της εφοδιαστικής αλυσίδας αποτρέπει επίσης μια τεμπέλικη μορφή κατηγορίας προς τον προμηθευτή. Ο προμηθευτής μπορεί να είναι υπεύθυνος για ορισμένα επίπεδα. Ο δημόσιος φορέας, το νοσοκομείο, η τράπεζα, το σχολείο ή ο φορέας εκμετάλλευσης της πλατφόρμας μπορεί να είναι υπεύθυνοι για άλλα. Οι προμήθειες μπορεί να έχουν αποδεχθεί αδύναμα δικαιώματα εξαγωγής. Η μηχανική μπορεί να έχει παραλείψει τις συμβάσεις δεδομένων. Το νομικό τμήμα μπορεί να έχει αντιμετωπίσει τα αρχεία καταγραφής ελέγχου ως συμβατικό παράρτημα αντί για επιχειρησιακά αποδεικτικά στοιχεία. Η διοίκηση μπορεί να έχει επιβραβεύσει την ταχύτητα κυκλοφορίας έναντι της επιθεωρησιμότητας. Η ρύθμιση λειτουργεί μόνο όταν η ευθύνη μπορεί να αποδοθεί στο επίπεδο όπου πραγματικά ζει ο έλεγχος.
Η αυτοπιστοποίηση έχει ένα ανώτατο όριο
Η αυτοαξιολόγηση είναι χρήσιμη. Οι ομάδες θα πρέπει να τεκμηριώνουν τους κινδύνους, να διεξάγουν αξιολογήσεις, να δοκιμάζουν τους ελέγχους και να εξηγούν τις σχεδιαστικές επιλογές. Οι ώριμοι προμηθευτές συχνά γνωρίζουν τα συστήματά τους καλύτερα από οποιονδήποτε άλλον. Το να προσποιείται κανείς το αντίθετο είναι παιδιάστικο. Αλλά η αυτοπιστοποίηση έχει ένα ανώτατο όριο επειδή τα κίνητρα δεν είναι ουδέτερα. Μια ομάδα που βαθμολογεί τη δική της εργασία μπορεί να είναι ακόμη ειλικρινής, αλλά η ειλικρίνεια δεν είναι αρχιτεκτονική. Οι ρυθμιστικές αρχές και οι πελάτες χρειάζονται τρόπους να επαληθεύουν τους ισχυρισμούς που έχουν σημασία χωρίς να εξαρτώνται πλήρως από το μέρος που επιθεωρείται.
Αυτό δεν σημαίνει ότι κάθε ρυθμιστική αρχή χρειάζεται απεριόριστη πρόσβαση στον πηγαίο κώδικα, στα προσωπικά δεδομένα, στα εμπορικά μυστικά και στα συστήματα παραγωγής. Αυτό δεν θα ήταν ούτε αναλογικό ούτε συνετό. Σημαίνει ότι οι διεπαφές επιθεώρησης πρέπει να σχεδιαστούν. Μια ρυθμιστική αρχή μπορεί να χρειάζεται υπογεγραμμένα αρχεία καταγραφής, επαναλήψιμες δοκιμαστικές εκτελέσεις, εξαγωγές ιχνηλασιμότητας δεδομένων, βεβαιώσεις έκδοσης μοντέλου, αποδείξεις διαγραφής, δειγματοληπτικά αρχεία αποφάσεων, αποδεικτικά στοιχεία αξιολόγησης και πρόσβαση σε ανεξάρτητα τεχνουργήματα ελέγχου. Το όριο μπορεί να είναι στενό. Δεν μπορεί να είναι φανταστικό.
Τα καλύτερα καθεστώτα επιθεώρησης σέβονται τη θεμιτή εμπιστευτικότητα ενώ αρνούνται το αποδεικτικό κενό. Ένας προμηθευτής δεν θα πρέπει να εκθέτει κάθε μυστικό για να αποδείξει ότι ένα σύστημα ακολούθησε έναν κανόνα. Αλλά θα πρέπει να εκθέτει αρκετά ανεξάρτητα επαληθεύσιμα αποδεικτικά στοιχεία ώστε ο κανόνας να μπορεί να επιβληθεί. Η Ευρώπη έχει εμπειρία εδώ. Η ασφάλεια προϊόντων, η χρηματοοικονομική εποπτεία, η ιχνηλασιμότητα τροφίμων, οι αερομεταφορές, η ιατρική και η ενέργεια διαχειρίζονται όλα ευαίσθητες πληροφορίες. Καμία από αυτές δεν λειτουργεί αποδεχόμενη ένα φυλλάδιο ως απόδειξη ότι το μηχάνημα είναι εντάξει.
Τα σημεία αναφοράς δεν είναι επιθεώρηση
Τα σημεία αναφοράς μπορεί να είναι χρήσιμα. Αποκαλύπτουν την απόδοση υπό καθορισμένες συνθήκες, συγκρίνουν συστήματα και φέρνουν στην επιφάνεια τις υποβαθμίσεις. Ωστόσο, είναι επίσης επικίνδυνα εύκολο να υπερεκτιμηθούν. Ένα μοντέλο που αποδίδει καλά σε ένα σημείο αναφοράς μπορεί να αποτύχει σε μια τοπική ροή εργασίας, επειδή τα δεδομένα είναι διαφορετικά, το όριο είναι λάθος, το προτρέπον άλλαξε, το επίπεδο ανάκτησης είναι παρωχημένο, ο πληθυσμός των χρηστών δεν μοιάζει με το σύνολο δοκιμών ή η συνέπεια απαιτεί ένα είδος αξιοπιστίας που το σημείο αναφοράς δεν μέτρησε ποτέ. Τα αποτελέσματα των σημείων αναφοράς είναι δελτία καιρού από έναν συγκεκριμένο λόφο. Δεν αποτελούν επιθεώρηση κτιρίου.
Η Ευρώπη θα πρέπει να είναι προσεκτική όσον αφορά την αντικατάσταση του θεάματος των σημείων αναφοράς με επιχειρησιακά αποδεικτικά στοιχεία. Ένα σύστημα μπορεί να περάσει μια δημόσια δοκιμή και να παραμένει μη επιθεωρήσιμο όταν ένα άτομο αμφισβητεί μια απόφαση. Μπορεί να επιτύχει μια μετρική δικαιοσύνης και να εξακολουθεί να κρύβει ένα υποκατάστατο σε έναν μεταγενέστερο κανόνα. Μπορεί να παρουσιάζει χαμηλά ποσοστά παραισθήσεων και να εξακολουθεί να παραθέτει έγγραφα που ο χρήστης δεν είχε δικαίωμα να δει. Μπορεί να σκοράρει καλά σε ένα εργαστήριο και να αποτύχει όταν ένας προμηθευτής αλλάζει σιωπηλά ένα μοντέλο ενσωμάτωσης. Ο δημόσιος αριθμός μπορεί να είναι πραγματικός. Απλώς δεν είναι ολόκληρο το ίχνος.
Η επιθεώρηση απαιτεί δοκιμές ειδικές για τα συμφραζόμενα, συνδεδεμένες με την πραγματική χρήση. Ποιες είναι οι εργασίες. Ποιες ομάδες επηρεάζονται. Ποια δεδομένα είναι έγκυρα. Ποιες γλώσσες, ακραίες περιπτώσεις και τρόποι αποτυχίας έχουν σημασία. Ποια αποτελέσματα προκαλούν νομικές ή υλικές συνέπειες. Ποιο βήμα ανθρώπινης επανεξέτασης μπορεί πραγματικά να αλλάξει το αποτέλεσμα. Ποια αποδεικτικά στοιχεία επιβιώνουν από την έφεση. Τα γενικά σημεία αναφοράς μπορούν να ενημερώσουν τη βασική γραμμή, αλλά δεν μπορούν να αντικαταστήσουν το τοπικό ερώτημα. Συμπεριφέρεται αυτό το σύστημα, σε αυτόν τον τόπο, υπό αυτήν την πολιτική, με αυτά τα δεδομένα, με τρόπο που μπορεί να εξεταστεί και να διορθωθεί.
Τα αρχεία καταγραφής είναι πολιτική υποδομή
Τα αρχεία καταγραφής ακούγονται τεχνικά μέχρι να ξεκινήσει μια διαφορά. Τότε γίνονται πολιτική υποδομή. Όποιος ελέγχει το αρχείο καταγραφής ελέγχει τι μπορεί να θυμηθεί. Εάν το ελεγχόμενο μέρος μπορεί να ξαναγράψει, να φιλτράρει, να καθυστερήσει ή να συνοψίσει τα αποδεικτικά στοιχεία κατά βούληση, η εποπτεία είναι αδύναμη. Εάν τα αρχεία καταγραφής παραλείπουν τα σημαντικά επίπεδα, η εποπτεία είναι θεατρική. Εάν τα αρχεία καταγραφής περιέχουν πάρα πολλά προσωπικά δεδομένα, η εποπτεία γίνεται ένα νέο πρόβλημα απορρήτου. Η απάντηση δεν είναι η μέγιστη καταγραφή. Η απάντηση είναι σχεδιασμένα αποδεικτικά στοιχεία: στενά, ανθεκτικά, με εμφανή ένδειξη παραποίησης, με έλεγχο πρόσβασης και συνδεδεμένα με πραγματικά γεγονότα.
Για τεχνητή νοημοσύνη και αυτοματοποιημένες αποφάσεις, τα χρήσιμα αρχεία καταγραφής θα πρέπει να συνδέουν αναφορές εισόδου, ελέγχους ποιότητας δεδομένων, ανακτηθέντα αποδεικτικά στοιχεία, εκδόσεις μοντέλων ή κανόνων, πύλες πολιτικής, κλήσεις εργαλείων, ανθρώπινες ενέργειες, αποτελέσματα, ειδοποιήσεις και γεγονότα διόρθωσης. Θα πρέπει να κρατούν τα μυστικά έξω όπου είναι δυνατόν, χρησιμοποιώντας κατακερματισμούς, αναφορές, αποκρύψεις και διαχωρισμό. Θα πρέπει να υποστηρίζουν τη δειγματοληψία και τη διερεύνηση χωρίς να απαιτούν από τους ελεγκτές να περιηγούνται σε ιδιωτικά αρχεία σαν τουρίστες με δικαιώματα διαχειριστή. Θα πρέπει να επιβιώνουν από τις αλλαγές στον πίνακα ελέγχου του προμηθευτή και τους κύκλους προμηθειών. Ένα αρχείο καταγραφής που εξαφανίζεται όταν λήξει η σύμβαση δεν ήταν θεσμική μνήμη. Ήταν ένα ημερολόγιο ενοικίασης.
Τα ανεξάρτητα αποδεικτικά στοιχεία έχουν σημασία επειδή η δημόσια αρχή δεν μπορεί να βασιστεί σε ιδιωτικά στιγμιότυπα οθόνης. Μια ρυθμιστική αρχή δεν χρειάζεται να κατέχει κάθε σύστημα. Χρειάζεται σιγουριά ότι τα αποδεικτικά στοιχεία για συστήματα με σημαντικές συνέπειες επιβιώνουν από τα κίνητρα των μερών που ρυθμίζονται. Αυτό μπορεί να σημαίνει αρχεία καταγραφής που κατέχει ο πελάτης, αποθηκευτικούς χώρους ελέγχου τρίτων, υπογεγραμμένες ροές συμβάντων, αναπαραγώγιμες εξαγωγές ή νομικές υποχρεώσεις διατήρησης. Οι λεπτομέρειες ποικίλλουν. Η αρχή δεν αλλάζει. Η εποπτεία χωρίς αξιόπιστα αρχεία είναι επίβλεψη μέσω αφηγήσεων.
Οι προμήθειες καθορίζουν τα δικαιώματα επιθεώρησης
Όταν φτάσει ένας ρυθμιστής, πολλές επιλογές επιθεώρησης έχουν ήδη γίνει από τις προμήθειες. Η σύμβαση αποφάσισε αν τα αρχεία καταγραφής μπορούν να εξαχθούν. Το παράρτημα ασφαλείας αποφάσισε αν τα κλειδιά διαχειρίζεται ο πελάτης. Η περιγραφή υπηρεσίας αποφάσισε αν οι εκδόσεις μοντέλων μπορούν να καρφιτσωθούν. Οι όροι επεξεργασίας δεδομένων αποφάσισαν αν τα παράγωγα δεδομένα μπορούν να επαναχρησιμοποιηθούν. Η ρήτρα εξόδου αποφάσισε αν τα αποδεικτικά στοιχεία μπορούν να φύγουν σε χρήσιμη μορφή. Η συμφωνία υποστήριξης αποφάσισε ποιος μπορεί να αγγίξει την παραγωγή και τι ίχνος παραμένει. Οι προμήθειες δεν είναι γραφειοκρατία μετά την αρχιτεκτονική. Είναι αρχιτεκτονική με τμήμα αγορών.
Αυτό είναι άβολο επειδή οι δημόσιοι και ιδιώτες αγοραστές συχνά αξιολογούν τα ψηφιακά συστήματα μέσω χαρακτηριστικών, τιμής και χρονοδιαγράμματος υλοποίησης. Η δυνατότητα επιθεώρησης αντιμετωπίζεται ως ένα ωραίο θέμα διασφάλισης, που μερικές φορές εξετάζεται αφού ο προτιμώμενος προμηθευτής έχει ήδη επιλεγεί συναισθηματικά. Αυτό είναι αργά. Αν ένα σύστημα επηρεάζει δικαιώματα, υπηρεσίες, ασφάλεια, χρήματα, εργασία, εκπαίδευση, υγεία ή δημόσια εμπιστοσύνη, τα δικαιώματα επιθεώρησης δεν είναι προαιρετική διακόσμηση. Είναι μέρος του προϊόντος. Ένα φθηνό σύστημα που δεν μπορεί να επιθεωρηθεί μπορεί να γίνει ακριβό την πρώτη φορά που ένα δικαστήριο, ελεγκτής, δημοσιογράφος, συνδικάτο, ασθενής, πολίτης ή διοικητικό συμβούλιο θέσει μια ακριβή ερώτηση.
Οι καλές προμήθειες ζητούν διεπαφές αποδεικτικών στοιχείων πριν από την κυκλοφορία. Ρωτούν πώς εντοπίζονται οι αποφάσεις, πώς καρφιτσώνονται οι εκδόσεις, πώς κοινοποιούνται οι αλλαγές, πώς επαναλαμβάνονται οι δοκιμές, πώς αποδεικνύεται η διαγραφή, πώς ελέγχονται οι ενημερώσεις μοντέλων, πώς διαχωρίζονται τα τοπικά δεδομένα, πώς καταγράφεται η πρόσβαση υποστήριξης, πώς δειγματοληπτούνται οι διαφορές και πώς η έξοδος διατηρεί τη θεσμική μνήμη. Αυτές οι ερωτήσεις δεν σκοτώνουν την καινοτομία. Σκοτώνουν ένα συγκεκριμένο είδος αισιοδοξίας που του αρέσει να τιμολογεί πρώτα και να εξηγεί αργότερα. Η Ευρώπη δεν χρειάζεται λιγότερη φιλοδοξία. Χρειάζεται φιλοδοξία που μπορεί να επιβιώσει από την επιθεώρηση.
Η ανθρώπινη εποπτεία πρέπει επίσης να είναι επιθεωρήσιμη
Η ανθρώπινη εποπτεία είναι μία από τις πιο καταχρηστικές φράσεις στην ψηφιακή διακυβέρνηση. Ένα άτομο κοντά σε ένα σύστημα δεν είναι αυτόματα εποπτεία. Ένα άτομο που κάνει κλικ στην έγκριση μιας προσυμπληρωμένης σύστασης χωρίς χρόνο, αποδεικτικά στοιχεία, εξουσία ή ανατροφοδότηση δεν είναι ουσιαστικός έλεγχος. Ένα άτομο που εξετάζει ακραίες περιπτώσεις ενώ το σύστημα δρομολογεί σιωπηλά τις περισσότερες περιπτώσεις δεν αρκεί, εκτός αν η ίδια η δρομολόγηση μπορεί να επιθεωρηθεί. Η ανθρώπινη εποπτεία πρέπει να σχεδιαστεί ως επίπεδο λήψης αποφάσεων με εξουσίες, περιορισμούς, όρια φόρτου εργασίας και αρχεία.
Η επιθεώρηση της ανθρώπινης εποπτείας σημαίνει να θέτουμε πρακτικές ερωτήσεις. Τι είδε ο αναθεωρητής. Ποια στοιχεία ήταν κρυμμένα ή μη διαθέσιμα. Μπορούσε ο αναθεωρητής να αλλάξει το αποτέλεσμα. Καταγραφόταν η διαφωνία. Η πίεση, το μήκος της ουράς ή ο προεπιλεγμένος σχεδιασμός ωθούσαν προς την έγκριση. Τα παρακάμματα επιστρέφονταν στην αξιολόγηση. Έμαθε το σύστημα από τις ανθρώπινες διορθώσεις ή απλώς τις απορρόφησε σε έναν πίνακα ελέγχου. Είχαν εκπαιδευτεί οι αναθεωρητές στην πολιτική ή μόνο στη διεπαφή. Ένας άνθρωπος στον βρόχο μπορεί να προστατεύσει τους ανθρώπους. Ένας άνθρωπος στον βρόχο μπορεί επίσης να γίνει ένας σφουγγάρια ευθύνης με κωδικό πρόσβασης.
Η Ευρώπη θα πρέπει να αντισταθεί στην άνεση των συμβολικών ανθρώπων. Ο σκοπός της εποπτείας δεν είναι να προσθέσει ένα πρόσωπο στην αυτοματοποίηση. Είναι να δημιουργήσει ένα πραγματικό σημείο ελέγχου όπου η κρίση μπορεί να αλλάξει μια πορεία με συνέπειες. Αυτό το σημείο ελέγχου πρέπει να αφήνει αποδεικτικά στοιχεία, γιατί διαφορετικά κανείς δεν μπορεί να πει αν λειτούργησε. Αν ο νόμος απαιτεί ανθρώπινη εποπτεία αλλά το σύστημα καταγράφει μόνο «εγκρίθηκε από τον χειριστή», ο νόμος έλαβε ένα κουμπί, όχι μια διασφάλιση.
Η ικανότητα επιθεώρησης είναι δημόσια δυνατότητα
Η ρύθμιση συχνά συζητείται ως κείμενο: άρθρα, αιτιολογικές σκέψεις, πρότυπα, κατευθυντήριες γραμμές, συμβάσεις, κώδικες δεοντολογίας. Το κείμενο έχει σημασία, αλλά η ικανότητα επιθεώρησης είναι επίσης άνθρωποι, εργαλεία, προϋπολογισμοί, περιβάλλοντα δοκιμών, κανόνες πρόσβασης σε δεδομένα, άδειες ασφαλείας, τεχνική εκπαίδευση και θεσμική υπομονή. Μια ρυθμιστική αρχή που λαμβάνει εκατομμύρια γραμμές αρχείων καταγραφής χωρίς εργαλεία δεν είναι ενισχυμένη. Μια ρυθμιστική αρχή που έχει εργαλεία αλλά όχι εξουσία να απαιτεί αποδεικτικά στοιχεία δεν είναι ενισχυμένη. Μια ρυθμιστική αρχή που εξαρτάται εξ ολοκλήρου από τις εξηγήσεις των προμηθευτών δεν είναι ενισχυμένη. Η ικανότητα είναι το άχαρο μισό της κυριαρχίας.
Η Ευρώπη χρειάζεται επιθεωρητές που μπορούν να διαβάζουν τα συστήματα ως συστήματα. Δεν χρειάζεται κάθε δικηγόρος να γίνει μηχανικός, και δεν χρειάζεται κάθε μηχανικός να γίνει δικηγόρος. Αλλά οι ομάδες επιθεώρησης χρειάζονται τη συνδυασμένη ικανότητα να χαρτογραφούν ροές εργασίας, να διαβάζουν αρχεία καταγραφής, να κατανοούν τη γενεαλογία δεδομένων, να αμφισβητούν την αξιολόγηση μοντέλων, να εντοπίζουν μεταβλητές υποκατάστασης, να επιθεωρούν διαδρομές διαγραφής, να δοκιμάζουν ελέγχους πρόσβασης και να μεταφράζουν τα ευρήματα σε εκτελεστή γλώσσα. Αυτή είναι επαγγελματική εργασία. Δεν θα λυθεί με μία εκπαίδευση ηθικής τεχνητής νοημοσύνης και μια νέα πύλη με ένα μπλε κουμπί.
Οι θεσμοί χρειάζονται επίσης κοινά πρότυπα. Κοινά σχήματα αποδεικτικών στοιχείων, αναπαραγώγιμα πακέτα ελέγχου, μορφές αναφοράς περιστατικών, βεβαιώσεις έκδοσης, αποδείξεις διαγραφής, ειδοποιήσεις αλλαγής μοντέλου και περιβάλλοντα δοκιμών μπορούν να μειώσουν την τριβή. Η τυποποίηση δεν θα πρέπει να εξομαλύνει κάθε τομέα. Η υγειονομική περίθαλψη, τα οικονομικά, η εκπαίδευση, η εργασία και η δημόσια διοίκηση έχουν διαφορετικές βλάβες. Αλλά τα κοινά βασικά στοιχεία επιθεώρησης θα σταματούσαν κάθε έρευνα από το να εφευρίσκει το δικό της φτυάρι. Η Ευρώπη αγαπά τα πλαίσια. Εδώ, το πλαίσιο πρέπει να περιλαμβάνει πραγματικές λαβές.
Ο βρόχος που δίνει στους κανόνες δόντια
Η επιθεώρηση δεν είναι μια τελετή που γίνεται μία φορά. Τα συστήματα αλλάζουν. Τα δεδομένα αποκλίνουν. Οι προμηθευτές ενημερώνουν τις υπηρεσίες. Οι πολιτικές μετακινούνται. Εμφανίζονται νέες ομάδες χρηστών. Το κόστος πιέζει τη δρομολόγηση. Οι παρακάμψεις γίνονται συνήθειες. Ένα σύστημα που ήταν αποδεκτό τον Ιανουάριο μπορεί να είναι επικίνδυνο τον Σεπτέμβριο επειδή ο κόσμος γύρω του άλλαξε ή επειδή το σύστημα έμαθε έναν νέο τρόπο να είναι με σιγουριά λάθος. Η ρύθμιση που επιθεωρεί μόνο κατά την είσοδο είναι σαν να ελέγχεις την κουζίνα ενός εστιατορίου όταν το χρώμα είναι ακόμα νωπό και να μην επιστρέφεις ποτέ μετά την πρωινή αιχμή.
Το χρήσιμο μοτίβο είναι ένας βρόχος. Όρισε την υποχρέωση με επιχειρησιακούς όρους. Δείγμα πραγματικών γεγονότων. Ιχνηλάτησε τα αποδεικτικά στοιχεία. Δοκίμασε το σύστημα υπό γνωστές και αντιξοότητες συνθήκες. Διάταξε διόρθωση όπου χρειαζόταν. Επαλήθευσε ότι η διόρθωση άλλαξε τη συμπεριφορά. Τροφοδότησε το εύρημα πίσω στις προμήθειες, τα πρότυπα και τις κατευθυντήριες γραμμές. Αυτός ο βρόχος δεν είναι γοητευτικός, αλλά ούτε και οι ασκήσεις πυρόσβεσης. Το θέμα δεν είναι το δράμα. Το θέμα είναι η θεσμική μυϊκή μνήμη.
Για τους οργανισμούς που υπόκεινται σε ρύθμιση, ο βρόχος είναι επίσης υγιής. Διαχωρίζει τον πραγματικό κίνδυνο από τη φημολογία. Επιτρέπει στις ομάδες να επιδεικνύουν καλή δουλειά με αποδεικτικά στοιχεία αντί να εκλιπαρούν για εμπιστοσύνη. Εντοπίζει τους αδύναμους ελέγχους προτού εξελιχθούν σε δημόσιες αποτυχίες. Δίνει στις προμήθειες καλύτερες ερωτήσεις και στους μηχανικούς σαφέστερες απαιτήσεις. Αποτρέπει τη διακυβέρνηση από το να μετατραπεί σε μουσείο υποσχέσεων. Η επιθεώρηση δεν πρέπει να φοβίζει επειδή είναι εχθρική. Πρέπει να αναμένεται επειδή τα σοβαρά συστήματα επηρεάζουν σοβαρές ζωές.
Τι πρέπει να χτίσει η Ευρώπη
Το συμπέρασμα δεν είναι ότι η Ευρώπη πρέπει να ρυθμίζει λιγότερο. Είναι ότι η Ευρώπη πρέπει να ρυθμίζει με καλύτερα μέσα. Τα ισχυρά δικαιώματα και οι υποχρεώσεις είναι απαραίτητα, αλλά πρέπει να συνδυάζονται με τεχνικές απαιτήσεις αποδεικτικών στοιχείων, πειθαρχία στις προμήθειες, ανεξάρτητα αρχεία καταγραφής, συστήματα με εκδόσεις, πρακτικές διεπαφές ελέγχου, εξειδικευμένες ομάδες επιθεώρησης και διαδρομές επανόρθωσης που μπορούν να επαληθευτούν. Διαφορετικά, η νομική γλώσσα γίνεται ένα όμορφο διάγραμμα: συνεκτικό, ήρεμο και ανίκανο να απαντήσει τι συνέβη σε μια πραγματική υπόθεση.
Εδώ υπάρχει ένα μάθημα κυριαρχίας. Η κυριαρχία δεν είναι μια σημαία σε μια περιοχή cloud ούτε μια ομιλία για αξίες. Είναι η ικανότητα να επιθεωρείς, να σταματάς, να διορθώνεις, να αντικαθιστάς και να εξηγείς συστήματα που διαμορφώνουν την ιδιωτική και τη δημόσια ζωή. Αν τα αποδεικτικά στοιχεία ζουν αλλού, αν οι καθοριστικές εκδόσεις είναι άγνωστες, αν τα αρχεία καταγραφής μπορούν να τροποποιηθούν, αν η έξοδος καταστρέφει τη μνήμη ή αν οι ρυθμιστικές αρχές δεν διαθέτουν τα εργαλεία για να ελέγξουν τους ισχυρισμούς, η Ευρώπη εξαρτάται ακόμη και όταν το κείμενο πολιτικής είναι άριστο. Η εξάρτηση δεν μοιάζει πάντα με ξένο έλεγχο. Μερικές φορές μοιάζει με ένα κουμπί εξαγωγής που λείπει.
Η Ευρώπη δεν μπορεί να ρυθμίσει ό,τι δεν μπορεί να επιθεωρήσει. Αυτή η πρόταση δεν πρέπει να διαβαστεί ως απαισιοδοξία. Είναι μια απαίτηση σχεδιασμού. Χτίστε συστήματα που αφήνουν αναλογικά αποδεικτικά στοιχεία. Αγοράστε συστήματα με δικαιώματα επιθεώρησης. Εκπαιδεύστε τους ρυθμιστές να διαβάζουν τεχνικά ίχνη. Απαιτήστε διορθώσεις που μπορούν να ελεγχθούν. Αντιμετωπίστε την ανθρώπινη εποπτεία ως πραγματικό σημείο ελέγχου. Σταματήστε να αποδέχεστε τους πίνακες ελέγχου ως απόδειξη. Ο νόμος μπορεί να ορίσει τι πρέπει να ισχύει. Η επιθεώρηση είναι ο τρόπος με τον οποίο η Ευρώπη διαπιστώνει αν ισχύει.