Δημόσια AI χρειάζεται αποδείξεις
Το παράθυρο χωρίς απόδειξη
Ένα δημόσιο γραφείο χωρίς αποδείξεις θα έμοιαζε παράλογο. Φανταστείτε να ανανεώνετε μια άδεια, να παραδίδετε έγγραφα, να πληρώνετε ένα τέλος και να λαμβάνετε μόνο ένα φιλικό νεύμα από τον υπάλληλο. Χωρίς αριθμό αναφοράς. Χωρίς ημερομηνία. Χωρίς ένδειξη για το τι έγινε δεκτό. Χωρίς δυνατότητα αμφισβήτησης. Ο υπάλληλος χαμογελά και λέει ότι το σύστημα θα το γνωρίζει. Ακόμη και στον πιο υπομονετικό δήμο, κάποιος στην ουρά θα άρχιζε να κάνει εκείνο το ύφος που σημαίνει ότι η δημοκρατία πρόκειται να γίνει γραφειοκρατία.
Οι αποδείξεις είναι μικρά πράγματα, αλλά φέρουν θεσμικό βάρος. Λένε στους ανθρώπους ότι συνέβη μια ενέργεια, ότι ένα αίτημα εισήλθε σε μια διαδικασία, ότι άλλαξαν χέρια χρήματα, ότι εφαρμόστηκε ένας κανόνας, ότι ξεκίνησε μια προθεσμία, ότι μια απόφαση μπορεί να βρεθεί ξανά. Δεν είναι εντυπωσιακές. Είναι καλύτερες από εντυπωσιακές. Είναι ταπεινά αποδεικτικά ότι το κράτος δεν απορρόφησε απλώς την υπόθεσή σας σε μια μπεζ μηχανή και δεν σας ζήτησε να έχετε πίστη.
Η δημόσια τεχνητή νοημοσύνη χρειάζεται πλέον την ίδια συνήθεια. Όταν ένας αλγόριθμος συνοψίζει έναν φάκελο, προτείνει επιλεξιμότητα, κατατάσσει επιθεωρήσεις, συντάσσει μια απάντηση, επισημαίνει κινδύνους, δρομολογεί έναν πολίτη ή υποστηρίζει μια απόφαση, ο δημόσιος φορέας θα πρέπει να μπορεί να εκδώσει απόδειξη. Όχι μια θεατρική εξήγηση που παράγεται εκ των υστέρων. Όχι ένα στιγμιότυπο οθόνης από πίνακα ελέγχου. Όχι μια υπόσχεση ότι ο πάροχος μπορεί πιθανώς να ανασυνθέσει κάτι αν επικοινωνήσετε με την υποστήριξη κατά τις ώρες γραφείου. Μια απόδειξη: συμπαγής, δομημένη, κατανοητή τεκμηρίωση του τι συνέβη και γιατί επιτράπηκε να συμβεί.
Αυτό δεν συμβαίνει επειδή κάθε ενέργεια τεχνητής νοημοσύνης είναι ύποπτη. Τις περισσότερες φορές το πρόβλημα είναι λιγότερο δραματικό και πιο συνηθισμένο. Τα συστήματα είναι πολύπλοκα. Οι πηγές αλλάζουν. Οι πολιτικές ενημερώνονται. Τα μοντέλα αντικαθίστανται. Οι άνθρωποι μετακινούνται μεταξύ τμημάτων. Ένας πολίτης αμφισβητεί ένα αποτέλεσμα έξι μήνες αργότερα. Ένας ελεγκτής ρωτά ποια έκδοση κανόνα χρησιμοποιήθηκε. Ένας υπουργός θέλει διαβεβαιώσεις πριν από μια ακρόαση. Χωρίς αποδείξεις, ο οργανισμός πρέπει να ανασυνθέσει το παρελθόν από αναμνήσεις, αρχεία καταγραφής, εξαγωγές και την αισιοδοξία κάποιου που επιμένει ότι το διάγραμμα αρχιτεκτονικής είναι σχεδόν επίκαιρο.
Η εμπιστοσύνη δεν είναι διάθεση
Οι δημόσιοι φορείς συχνά μιλούν για την εμπιστοσύνη σαν να ήταν μια ζεστή ατμόσφαιρα γύρω από τις υπηρεσίες. Να είστε διαφανείς, να είστε ανθρώπινοι, να είστε καινοτόμοι, και η εμπιστοσύνη θα έρθει χαμογελώντας με μια τσάντα. Αυτό είναι πολύ μαλακό για την τεχνητή νοημοσύνη. Η δημόσια εμπιστοσύνη δεν είναι διάθεση. Είναι μια θεσμική συνθήκη που παράγεται από δικαιώματα, διαδικασίες, αρχεία, επανεξέταση, όρια και την ικανότητα να πούμε τι συνέβη όταν το αποτέλεσμα αμφισβητείται.
Η τεχνητή νοημοσύνη δυσχεραίνει αυτό το έργο, επειδή μπορεί να κάνει τη διοικητική εργασία να φαίνεται πιο ομαλή, ενώ καθιστά δυσκολότερη την επιθεώρηση της συλλογιστικής της πορείας. Ένας υπάλληλος κοινωνικής πρόνοιας μπορεί να λάβει μια σύνοψη αρκετά ακριβή ώστε να είναι χρήσιμη. Ένας προγραμματιστής μπορεί να λάβει μια βαθμολογία κινδύνου που εξοικονομεί χρόνο. Ένας πολίτης μπορεί να λάβει μια απάντηση από chatbot που μειώνει ένα τηλεφώνημα. Αυτά μπορεί να είναι πραγματικά οφέλη. Αλλά όταν η απάντηση επηρεάζει τη θεραπεία, την προτεραιότητα, την επιλεξιμότητα, την επιβολή ή την πρόσβαση σε μια υπηρεσία, ο θεσμός χρειάζεται κάτι περισσότερο από χρησιμότητα. Χρειάζεται λογοδοσία δημοσίου επιπέδου.
Η λογοδοσία δημοσίου επιπέδου σημαίνει ότι ο θεσμός μπορεί να συνδέσει ένα αποτέλεσμα με μια εντολή. Μπορεί να δείξει ποια δεδομένα χρησιμοποιήθηκαν και ποια δεν επιτράπηκε να χρησιμοποιηθούν. Μπορεί να δείξει αν το μοντέλο λειτούργησε ως βοήθημα σύνταξης, ως μηχανή συστάσεων, ως εργαλείο διαλογής ή ως στοιχείο αυτοματοποιημένης απόφασης. Μπορεί να δείξει την έκδοση των κανόνων και την ανθρώπινη έγκριση όπου απαιτείται. Μπορεί να εξηγήσει πώς το ενδιαφερόμενο άτομο μπορεί να προσβάλει το αποτέλεσμα. Αυτά δεν είναι διακοσμητικά στοιχεία γύρω από την τεχνητή νοημοσύνη. Είναι το θεμέλιο κάτω από αυτήν.
Υπάρχει ο πειρασμός να απαντηθούν οι ανησυχίες για την εμπιστοσύνη με γενικές διαβεβαιώσεις. Το σύστημα έχει δοκιμαστεί. Το μοντέλο είναι ασφαλές. Ο πάροχος είναι πιστοποιημένος. Η διαδικασία έχει διακυβέρνηση. Αυτές οι δηλώσεις μπορεί να είναι αληθείς και παρόλα αυτά ανεπαρκείς. Η δημόσια εργασία γίνεται κατά περίπτωση. Ένας πολίτης δεν ζει μέσα σε ένα συγκεντρωτικό σημείο αναφοράς. Ζει μέσα στην απόφασή του, στον φάκελό του, στην προθεσμία του, στο επίδομα που έχασε, στην επιθεώρησή του, στο ραντεβού του, στην αναπάντητη ερώτησή του. Οι αποδείξεις φέρνουν τη λογοδοσία στο επίπεδο όπου γίνεται αισθητή η δημόσια εξουσία.
Μια απόδειξη δεν είναι απλώς ένα αρχείο καταγραφής
Το πρώτο λάθος είναι να συγχέονται οι αποδείξεις με τα αρχεία καταγραφής. Τα αρχεία καταγραφής είναι πολύτιμα, αλλά γράφονται για μηχανές, χειριστές, ομάδες ασφαλείας ή για μελλοντική αποσαφήνιση. Μπορεί να είναι υπερβολικά λεπτομερή, υπερβολικά ευαίσθητα, υπερβολικά τεχνικά, υπερβολικά διάσπαρτα ή υπερβολικά εξαρτημένα από έναν προμηθευτή. Μια απόδειξη είναι ένα διαμορφωμένο τεχνούργημα. Έχει σχεδιαστεί για να απαντά σε ερωτήματα δημόσιας λογοδοσίας χωρίς να αποκαλύπτει κάθε μυστικό, να κατακλύζει κάθε αναγνώστη ή να απαιτεί ένα σεμινάριο ενός σαββατοκύριακου στην κατανεμημένη ιχνηλασιμότητα.
Μια χρήσιμη απόδειξη έχει επίπεδα. Το δημόσιο επίπεδο μπορεί να περιέχει το πλαίσιο της υπηρεσίας, την ημερομηνία, τον αριθμό αναφοράς της απόφασης, τις κατηγορίες δεδομένων υψηλού επιπέδου, τη νομική βάση και τη διαδρομή προσφυγής. Το εσωτερικό επίπεδο μπορεί να περιέχει αναγνωριστικά πηγών, έκδοση μοντέλου, πρότυπο προτροπής, παραμέτρους ανάκτησης, ελέγχους πολιτικής, ελέγχους πρόσβασης και ταυτότητα αναθεωρητή. Το επίπεδο ελέγχου μπορεί να περιέχει κατακερματισμούς, χρονικές σημάνσεις, υπογραφές, κανόνες διατήρησης και συνδέσμους προς αμετάβλητα αποδεικτικά στοιχεία. Τα επίπεδα προστατεύουν την ιδιωτικότητα διατηρώντας παράλληλα την επιθεωρησιμότητα. Δεν χρειάζεται να βλέπουν όλοι την ίδια λεπτομέρεια. Κάποιος πρέπει να μπορεί να δει αρκετά.
Αυτή η διάκριση έχει σημασία επειδή οι δημόσιες αποδείξεις τεχνητής νοημοσύνης πρέπει να αποφεύγουν να γίνουν επιτήρηση με άλλο όνομα. Η απάντηση στην αδιαφάνεια δεν είναι να καταγράφονται τα πάντα για πάντα. Έτσι ένα πρόβλημα διακυβέρνησης γίνεται πρόβλημα ιδιωτικότητας με καλύτερους φακέλους. Οι αποδείξεις θα πρέπει να είναι ελάχιστες, να εξυπηρετούν συγκεκριμένο σκοπό, να διατηρούνται για σαφείς περιόδους, να διαχωρίζονται από περιττό περιεχόμενο και να είναι προσβάσιμες μέσω καθορισμένων ρόλων. Το τεστ είναι απλό: μπορεί ο θεσμός να εξηγήσει το αποτέλεσμα και να υποστηρίξει τη διόρθωση χωρίς να δημιουργεί ένα μόνιμο ημερολόγιο κάθε αλληλεπίδρασης πολίτη.
Τα αρχεία καταγραφής είναι η πρώτη ύλη. Οι αποδείξεις είναι το προϊόν λογοδοσίας. Σε ένα ώριμο σύστημα, συνδέονται. Μια απόδειξη μπορεί να παραπέμπει σε βαθύτερα αρχεία καταγραφής όταν μια εξουσιοδοτημένη έρευνα το απαιτεί. Ένα αρχείο καταγραφής μπορεί να αποδείξει ότι μια απόδειξη δεν επινοήθηκε αφού ξεκίνησε το επιχείρημα. Αλλά η απόδειξη είναι αυτό που μπορεί η δημόσια υπηρεσία να παραδώσει στις δικές της διαδικασίες, και μερικές φορές στο ενδιαφερόμενο άτομο, χωρίς να ζητά από όλους να θαυμάσουν ένα αντικείμενο JSON στο φυσικό του περιβάλλον.
Ο πολίτης βλέπει το όριο
Τα διαγράμματα αρχιτεκτονικής τείνουν να σχεδιάζονται από μέσα προς τα έξω. Πλαίσια, βέλη, υπηρεσίες, ουρές, μοντέλα, βάσεις δεδομένων, μηχανές πολιτικής, πύλες προσωπικού. Ο πολίτης δεν βιώνει τίποτα από αυτά. Ο πολίτης βιώνει ένα όριο. Η αίτηση γίνεται δεκτή ή απορρίπτεται. Η σημαία κινδύνου εμφανίζεται ή όχι. Το ραντεβού είναι διαθέσιμο ή όχι. Το έγγραφο επαρκεί ή όχι. Η απάντηση λέει ναι, όχι, αναμονή, μεταφόρτωση, κλήση, ένσταση, αποχώρηση.
Σε αυτό το όριο οι αποδείξεις έχουν τη μεγαλύτερη σημασία. Αν ενημερωθεί ένας πολίτης ότι μια αίτηση δεν μπορεί να διεκπεραιωθεί αυτόματα, η απόδειξη θα πρέπει να αναφέρει ποια προϋπόθεση απέτυχε και πώς να διορθωθεί. Αν μια σύνοψη τεχνητής νοημοσύνης επηρέασε μια απόφαση, το αρχείο θα πρέπει να δείχνει ότι την εξέτασε άνθρωπος και ποιο υλικό ήταν διαθέσιμο ως πηγή. Αν ένα chatbot δίνει συμβουλές διαδικαστικού χαρακτήρα, η απόδειξη θα πρέπει να προσδιορίζει την έκδοση της δημόσιας πηγής και να διευκρινίζει αν η συμβουλή ήταν δεσμευτική. Αν ένα μοντέλο κινδύνου ιεραρχεί έναν έλεγχο, η απόδειξη θα πρέπει να δείχνει τη νόμιμη βάση, τις κατηγορίες δεδομένων και τη διαδρομή προσφυγής, χωρίς να αποκαλύπτει μεθόδους που θα υπονόμευαν τον ίδιο τον έλεγχο.
Δεν πρόκειται να μετατραπεί κάθε δημόσια αλληλεπίδραση σε νομική πραγματεία. Οι άνθρωποι δεν θα πρέπει να χρειάζονται δικηγόρο για να κατανοήσουν μια άδεια στάθμευσης. Αλλά η δημόσια εξουσία οφείλει στους πολίτες μια κατανοητή λαβή. Μια απόδειξη μπορεί να είναι σύντομη και ταυτόχρονα ουσιαστική: η αίτησή σας αξιολογήθηκε βάσει αυτής της έκδοσης κανόνων, με αυτά τα αρχεία, με αυτή την αυτοματοποιημένη υποστήριξη, εξετάστηκε από αυτόν τον ρόλο και μπορεί να προσβληθεί μέσω αυτής της διαδρομής. Αυτό δεν είναι ποίηση, κάτι που είναι ευτύχημα. Η ποίηση έχει κακό ιστορικό στις πύλες υπηρεσιών.
Το όριο έχει σημασία και για τους υπαλλήλους. Χειριστές υποθέσεων, επιθεωρητές, εκπαιδευτικοί, πολεοδόμοι, κλινικοί γιατροί και προσωπικό υποδοχής δεν θα πρέπει να μένουν με αποτελέσματα τεχνητής νοημοσύνης των οποίων την προέλευση δεν μπορούν να εξηγήσουν. Μια απόδειξη τους προστατεύει από το να γίνουν ανθρώπινα περιτυλίγματα γύρω από μυστηριώδεις μηχανισμούς. Τους δίνει έναν τρόπο να πουν τι έκανε το σύστημα, πού μπήκε η δική τους κρίση και πότε μια υπόθεση πρέπει να βγει από τον αυτοματισμό. Αυτό δεν είναι γραφειοκρατία για χάρη της γραφειοκρατίας. Είναι επαγγελματική αξιοπρέπεια με αριθμό αναφοράς.
Η δέουσα διαδικασία στον χρόνο της μηχανής
Η δημόσια διοίκηση έχει ήδη παραδόσεις δέουσας διαδικασίας: ειδοποίηση, αιτιολογία, πρόσβαση σε αρχεία, ακρόαση, ένσταση, αναλογικότητα, ίση μεταχείριση, κανόνες διατήρησης και κατονομαζόμενη αρχή. Η τεχνητή νοημοσύνη δεν αντικαθιστά αυτές τις παραδόσεις. Συμπιέζει τον χρόνο μέσα στον οποίο πρέπει να λειτουργήσουν. Ένα μοντέλο μπορεί να επεξεργαστεί χίλιους φακέλους πριν από το μεσημέρι. Ένας κανόνας δρομολόγησης μπορεί να επηρεάσει ολόκληρες γειτονιές πριν το προσέξει κανείς. Ένα σφάλμα σύνοψης μπορεί να ταξιδέψει μέσα σε μια ροή εργασίας γρηγορότερα από ό,τι μια διόρθωση. Ο χρόνος της μηχανής καθιστά τα παλιά δικαιώματα πιο επείγοντα, όχι λιγότερο.
Οι αποδείξεις είναι ένας τρόπος να επιβιώσει η δέουσα διαδικασία από την ταχύτητα. Δημιουργούν παύσεις στο αρχείο ακόμη και όταν η ροή εργασίας είναι γρήγορη. Τη στιγμή που ένα σύστημα AI αγγίζει μια υπόθεση, η απόδειξη μπορεί να καταγράψει τον σκοπό, την εξουσιοδότηση, το εύρος της πηγής, την κατάσταση του μοντέλου, τους ελέγχους πολιτικής και την κατάσταση αναθεώρησης. Τη στιγμή που ένας άνθρωπος βασίζεται στο αποτέλεσμα, η απόδειξη μπορεί να καταγράψει τον ρόλο και την ενέργεια. Τη στιγμή που ένας πολίτης λαμβάνει μια έκβαση, η απόδειξη μπορεί να παρέχει μια παραπομπή και μια διαδρομή. Αυτό δίνει στη διαδικασία μνήμη.
Η μνήμη είναι σημαντική επειδή τα δημόσια σφάλματα συχνά ανακαλύπτονται αργά. Ένα άτομο μπορεί να μην γνωρίζει ότι ένα πεδίο δεδομένων που λείπει είχε σημασία μέχρι να απορριφθεί ένα επίδομα. Ένας επιθεωρητής μπορεί να μην γνωρίζει ότι μια πηγή ήταν παρωχημένη μέχρι μια επιτόπια επίσκεψη να φανεί περίεργα στοχευμένη. Ένας εκπαιδευτικός μπορεί να μην γνωρίζει ότι μια σημαία κινδύνου προήλθε από μια ελαττωματική ροή παρουσιών μέχρι να κάνει ένας γονέας μια άμεση ερώτηση. Χωρίς αποδείξεις, η καθυστερημένη ανακάλυψη γίνεται καθυστερημένη εικασία. Με αποδείξεις, η καθυστερημένη ανακάλυψη μπορεί να γίνει διόρθωση.
Αυτό δεν σημαίνει ότι κάθε βήμα με υποβοήθηση AI γίνεται προσβλητό μεμονωμένα. Η δημόσια διαδικασία πρέπει να παραμείνει λειτουργική. Αλλά η αλυσίδα πρέπει να διατηρεί αρκετά αποδεικτικά στοιχεία για ουσιαστική αμφισβήτηση στο σωστό σημείο. Αν ένα σύστημα δίνει μια πρόταση που ένας άνθρωπος αγνοεί, η απόδειξη θα πρέπει να το αντικατοπτρίζει. Αν ένα σύστημα δίνει μια σύσταση που ένας άνθρωπος αποδέχεται, η απόδειξη θα πρέπει να το αντικατοπτρίζει επίσης. Η διαφορά έχει σημασία. Το κοινό δεν μπορεί να αμφισβητήσει ένα φάντασμα, και οι αξιωματούχοι δεν μπορούν να υπερασπιστούν ένα.
Αποδείξεις χωρίς επιτήρηση
Η ισχυρότερη αντίρρηση στις αποδείξεις είναι ότι θα μπορούσαν να δημιουργήσουν νέους κινδύνους δεδομένων. Αυτή η αντίρρηση είναι σοβαρή. Οι δημόσιοι θεσμοί δεν θα πρέπει να λύσουν την αδιαφάνεια του AI συλλέγοντας ένα δεύτερο σκιώδες αρχείο για κάθε πολίτη. Ένα σύστημα αποδείξεων που αποθηκεύει για πάντα περιττά ερωτήματα, πλήρεις συνομιλίες, ευαίσθητα αποσπάσματα πηγών, εσωτερικές σημειώσεις, έξοδα εργαλείων και ίχνη συμπεριφοράς δεν είναι λογοδοσία. Είναι ένα πολύ οργανωμένο πρόβλημα.
Οι αποδείξεις που προστατεύουν την ιδιωτικότητα απαιτούν πειθαρχία στον σχεδιασμό. Αποθηκεύστε αναγνωριστικά αντί για πλήρες περιεχόμενο όπου είναι δυνατόν. Χρησιμοποιήστε κατακερματισμούς για την ακεραιότητα. Διαχωρίστε τις αποδείξεις που απευθύνονται στον πολίτη από τα εσωτερικά αρχεία ελέγχου. Διατηρήστε τα αποδεικτικά στοιχεία σύμφωνα με τη νομική αξία της διαδικασίας, όχι σύμφωνα με την όρεξη των συστημάτων αποθήκευσης. Αποκρύψτε ή συγκεντρώστε αλληλεπιδράσεις χαμηλού κινδύνου. Προστατέψτε τις ταυτότητες των αναθεωρητών όπου η προσωπική ασφάλεια ή η ανεξαρτησία το απαιτεί, διατηρώντας παράλληλα τη λογοδοσία του ρόλου. Κρατήστε αρχεία πρόσβασης για το ίδιο το κατάστημα αποδείξεων, επειδή τα αποδεικτικά στοιχεία για τα αποδεικτικά στοιχεία έχουν την ατυχή συνήθεια να γίνονται σημαντικά.
Ο σχεδιασμός θα πρέπει επίσης να αποφεύγει τη δημιουργία ψευδούς ακρίβειας. Μια απόδειξη δεν θα πρέπει να ισχυρίζεται ότι το μοντέλο συλλογίστηκε σαν άνθρωπος αν δεν το έκανε. Δεν θα πρέπει να μεταφράζει το πιθανοτικό αποτέλεσμα σε ηθική κρίση. Δεν θα πρέπει να προσποιείται ότι μια υψηλή βαθμολογία είναι γεγονός. Θα πρέπει να λέει τι έκανε το σύστημα: ανέκτησε αυτές τις πηγές, εφάρμοσε αυτόν τον κανόνα, παρήγαγε αυτό το αποτέλεσμα, σημείωσε αυτό το εύρος εμπιστοσύνης, παρέδωσε σε αυτόν τον ρόλο, έλαβε αυτήν την ανθρώπινη ενέργεια. Η ξερή γλώσσα είναι δημόσια υπηρεσία. Ο δημόσιος τομέας έχει ήδη αρκετή διακοσμητική ομίχλη.
Υπάρχει μια χρήσιμη ταπεινότητα εδώ. Οι αποδείξεις δεν κάνουν το AI τέλεια δίκαιο, ακριβές ή νόμιμο. Κάνουν το σύστημα πιο επιθεωρήσιμο. Μειώνουν το κόστος εύρεσης σφαλμάτων. Δημιουργούν έναν χώρο για διόρθωση. Κάνουν πιο δύσκολο για τους θεσμούς να κρυφτούν πίσω από τη φράση το σύστημα το είπε. Στη δημόσια εργασία, αυτό δεν είναι μικρό πράγμα. Είναι η διαφορά μεταξύ του αυτοματισμού ως διοίκησης και του αυτοματισμού ως κλειδωμένου συρταριού.
Αγοράζοντας τη διεπαφή αποδείξεων
Αν οι αποδείξεις έχουν σημασία, πρέπει να αγοραστούν και να κατασκευαστούν, όχι να ευχηθούμε να εμφανιστούν μετά την κυκλοφορία. Οι δημόσιοι αγοραστές θα πρέπει να ρωτούν τους προμηθευτές πώς το σύστημα παράγει αποδεικτικά στοιχεία ανά υπόθεση. Μπορούν να καθηλωθούν οι εκδόσεις μοντέλων; Είναι εκδοσοποιημένα τα πρότυπα προτροπών; Επιστρέφονται αναγνωριστικά πηγής; Μπορούν να εξαχθούν οι αποφάσεις ανάκτησης; Καταγράφονται οι έλεγχοι πολιτικής; Μπορούν τα αρχεία καταγραφής να διαχωριστούν ανά σκοπό; Είναι υπογεγραμμένες ή ανθεκτικές σε παραποίηση οι εγγραφές ελέγχου; Μπορούν να δημιουργηθούν περιλήψεις προς τους πολίτες από τα ίδια αποδεικτικά στοιχεία χωρίς να εκτίθενται ευαίσθητες εσωτερικές λεπτομέρειες; Μπορεί ο οργανισμός να αποχωρήσει με τις αποδείξεις του άθικτες.
Αυτές οι ερωτήσεις μπορεί να ακούγονται απαιτητικές, αλλά είναι λιγότερο απαιτητικές από το να ανακατασκευάσεις μια αμφισβητούμενη αυτοματοποιημένη διαδικασία αφού ενδιαφερθεί μια εφημερίδα, ένα δικαστήριο, ένα συμβούλιο, ένα κοινοβούλιο ή ένας διαμεσολαβητής. Η εκ των υστέρων προσθήκη αποδείξεων είναι δύσκολη επειδή τα στοιχεία που λείπουν συχνά δεν καταγράφηκαν ποτέ. Δεν μπορείς να συρράψεις μια απόδειξη σε μια χθεσινή αόρατη συναλλαγή. Μπορείς μόνο να κάνεις ερμηνευτικό χορό γύρω από την τηλεμετρία. Αυτό δεν συνιστάται ως μέθοδος διακυβέρνησης.
Οι διεπαφές αποδείξεων βοηθούν επίσης τις εσωτερικές ομάδες. Κάνουν την αξιολόγηση ευκολότερη επειδή τα αποτελέσματα μπορούν να συγκριθούν με την πηγή και την κατάσταση των κανόνων. Κάνουν την αντιμετώπιση περιστατικών ταχύτερη επειδή οι επηρεαζόμενες υποθέσεις μπορούν να εντοπιστούν. Κάνουν τις αλλαγές πολιτικής πιο μετρήσιμες επειδή οι ομάδες μπορούν να δουν ποιοι κανόνες προκαλούν τριβή. Κάνουν την εκπαίδευση ασφαλέστερη επειδή τα παραδείγματα μπορούν να επιλεγούν με τεκμηρίωση προέλευσης. Κάνουν τη διαγραφή και τη διόρθωση λιγότερο θεατρικές επειδή τα παράγωγα τεχνουργήματα μπορούν να εντοπιστούν.
Οι δημόσιοι οργανισμοί δεν χρειάζεται να εκθέτουν κάθε εσωτερικό μυστικό σε κάθε προμηθευτή. Ορισμένα στοιχεία θα παραμείνουν μαύρα κουτιά σε ένα επίπεδο. Αλλά η υπηρεσία στο σύνολό της πρέπει να παράγει χρησιμοποιήσιμες αποδείξεις στο δημόσιο όριο. Αν ένας προμηθευτής δεν μπορεί να το υποστηρίξει αυτό, ο οργανισμός θα πρέπει να κατανοήσει τι αγοράζει: όχι απλώς μια δυνατότητα, αλλά ένα κενό στη δική του ικανότητα να λογοδοτεί για την εξουσία.
Όταν οι αποδείξεις αποκαλύπτουν κακή πολιτική
Οι αποδείξεις θα αποκαλύπτουν μερικές φορές ότι το σύστημα τεχνητής νοημοσύνης δεν είναι το κύριο πρόβλημα. Αυτό είναι χρήσιμο και άβολο. Μια απόδειξη μπορεί να δείξει ότι το μοντέλο ακολούθησε σωστά έναν κανόνα, αλλά ο κανόνας ήταν ξεπερασμένος. Μπορεί να δείξει ότι ένας άνθρωπος παρακάμπτει συχνά το σύστημα επειδή η πολιτική ήταν πολύ άκαμπτη. Μπορεί να δείξει ότι τα ελλιπή δεδομένα από άλλο τμήμα προκάλεσαν επανειλημμένες απορρίψεις. Μπορεί να δείξει ότι μια σημαία κινδύνου ήταν τεχνικά ακριβής και κοινωνικά παράλογη. Τα καλά αποδεικτικά στοιχεία έχουν την αγενή συνήθεια να διευρύνουν τη συζήτηση.
Αυτός είναι ένας λόγος για τον οποίο οι θεσμοί μπορεί να αντιστέκονται στις αποδείξεις χωρίς να το λένε ευθέως. Οι αποδείξεις δημιουργούν λογοδοσία όχι μόνο για τις ομάδες τεχνολογίας αλλά και για τους υπεύθυνους πολιτικής, τους υπεύθυνους δεδομένων, τους διαχειριστές, τους προμηθευτές και τους εκλεγμένους ηγέτες. Καθιστούν δυσκολότερο να κατηγορηθεί ο αλγόριθμος για μια απόφαση που στην πραγματικότητα σχεδιάστηκε από πολιτική, προϋπολογισμό, στελέχωση ή ένα υπολογιστικό φύλλο με ηρωικό αριθμό κρυφών στηλών. Αυτή η δυσφορία είναι χαρακτηριστικό. Η δημόσια τεχνητή νοημοσύνη δεν θα πρέπει να παρέχει ένα νέο μέρος για να κρύβονται παλιές επιλογές.
Οι αποδείξεις υποστηρίζουν επίσης τη μάθηση. Αν πολλές υποθέσεις αποτυγχάνουν στην ίδια απαίτηση αποδεικτικών στοιχείων, η φόρμα μπορεί να είναι ασαφής. Αν πολλές περιλήψεις τεχνητής νοημοσύνης διορθώνονται από το προσωπικό, η εξαγωγή πηγών μπορεί να είναι αδύναμη. Αν οι ενστάσεις ανατρέπουν επανειλημμένα αποφάσεις που αφορούν συγκεκριμένο κανόνα, η πολιτική θα πρέπει να επανεξεταστεί. Αν οι πολίτες κάνουν την ίδια ερώτηση μετά τη λήψη απόδειξης, η εξήγηση δεν είναι αρκετά καλή. Η λογοδοσία γίνεται βρόχος, όχι ιερό κειμήλιο μιας παρελθοντικής ανάπτυξης.
Στους δημόσιους θεσμούς επιτρέπεται να είναι ατελείς. Δεν τους επιτρέπεται να είναι μη επιθεωρήσιμοι όταν ασκούν εξουσία. Οι αποδείξεις καθιστούν την ατέλεια διαχειρίσιμη. Δίνουν στους ανθρώπους κάτι να αμφισβητήσουν και στους οργανισμούς κάτι να βελτιώσουν. Αυτό είναι λιγότερο ρομαντικό από το να υπόσχεται κανείς αξιόπιστη τεχνητή νοημοσύνη σε ένα έγγραφο στρατηγικής. Είναι επίσης πολύ πιο χρήσιμο, κάτι που αποτελεί γνωστό κίνδυνο των πρακτικών μέτρων.
Μια δημόσια απόφαση με μνήμη
Τα καλύτερα συστήματα αποδείξεων δεν είναι παθητικά αρχεία. Τροφοδοτούν έναν βρόχο αποφάσεων. Εισέρχεται ένα αίτημα. Επαληθεύονται η εξουσιοδότηση και ο σκοπός. Επιλέγονται οι πηγές. Το μοντέλο ή η μηχανή κανόνων υποστηρίζει την εργασία εντός δηλωμένων ορίων. Ένας ανθρώπινος ρόλος αποδέχεται, απορρίπτει ή τροποποιεί το αποτέλεσμα όπου απαιτείται. Ο πολίτης λαμβάνει ένα αποτέλεσμα και μια διαδρομή. Οι αμφισβητήσεις και οι διορθώσεις επιστρέφουν στο σύστημα ως αποδεικτικά στοιχεία για βελτίωση. Η απόδειξη είναι το νήμα που διατρέχει τον βρόχο.
Αυτός ο βρόχος έχει σημασία επειδή οι δημόσιες υπηρεσίες αλλάζουν. Οι νόμοι τροποποιούνται. Οι φόρμες επανασχεδιάζονται. Τα σύνολα δεδομένων καθαρίζονται. Τα μοντέλα αναβαθμίζονται. Τα οργανωτικά όρια μετακινούνται. Μια απόδειξη από πέρυσι μπορεί να χρειαστεί να αναγνωστεί υπό το περσινό πλαίσιο διαδικασίας. Αυτό απαιτεί σταθερά αναγνωριστικά, εκδόσεις κανόνων, αρχεία μετεγκατάστασης και πειθαρχία διατήρησης. Διαφορετικά, ένας δημόσιος φορέας μπορεί να διατηρήσει μια απόδειξη που αναφέρεται σε ένα εξαφανισμένο σύστημα με λεξιλόγιο που κανείς δεν καταλαβαίνει. Αυτό δεν είναι λογοδοσία. Αυτό είναι ψηφιακή αρχαιολογία με καλύτερο καφέ.
Οι αποδείξεις θα πρέπει επομένως να διέπονται όπως τα αρχεία. Χρειάζονται ιδιοκτησία, χρονοδιαγράμματα διατήρησης, δικαιώματα πρόσβασης, μορφές εξαγωγής, ελέγχους ακεραιότητας, κανόνες διαγραφής και διαδικασίες επανεξέτασης. Δεν θα πρέπει να αφήνονται ως παρενέργεια οποιασδήποτε βιβλιοθήκης καταγραφής έτυχε να είναι της μόδας όταν ξεκίνησε η υπηρεσία. Τα δημόσια αρχεία είναι μια πολιτική τεχνολογία. Οι αποδείξεις τεχνητής νοημοσύνης αποτελούν μέρος αυτής της παράδοσης, ακόμη και αν περιέχουν εκδόσεις μοντέλων αντί για υπογραφές με πένα.
Υπάρχει επίσης ένα δημοκρατικό όφελος. Οι αποδείξεις επιτρέπουν τη συνολική εποπτεία χωρίς να εκθέτουν κάθε άτομο. Οι θεσμοί μπορούν να μετρήσουν ποιες υπηρεσίες χρησιμοποιούν τεχνητή νοημοσύνη, πού η αυτοματοποιημένη υποστήριξη διαμορφώνει τα αποτελέσματα, πόσο συχνά οι άνθρωποι παρακάμπτουν, πού επιτυγχάνουν οι ενστάσεις, ποιες πηγές δημιουργούν τριβή και αν ορισμένες ομάδες επηρεάζονται δυσανάλογα. Έτσι μπορεί η δημόσια τεχνητή νοημοσύνη να περάσει από τις αόριστες διαβεβαιώσεις στην ελεγχόμενη πρακτική. Όχι ζητώντας από την κοινωνία να θαυμάσει ένα μοντέλο, αλλά καθιστώντας τη δημόσια εξουσία αρκετά μετρήσιμη ώστε να αμφισβητείται.
Το δίδαγμα
Η δημόσια τεχνητή νοημοσύνη χρειάζεται αποδείξεις, επειδή η δημόσια εξουσία χρειάζεται αρχεία. Μια ευφράδεια απάντηση μοντέλου δεν αρκεί. Μια χρήσιμη βαθμολογία κινδύνου δεν αρκεί. Μια επιτυχημένη πιλοτική εφαρμογή δεν αρκεί. Όταν η τεχνητή νοημοσύνη αγγίζει δικαιώματα, υπηρεσίες, προτεραιότητες, χρήματα, επιβολή, φροντίδα, εκπαίδευση ή πρόσβαση, ο θεσμός πρέπει να μπορεί να παρουσιάσει την εξουσιοδότηση, τις πηγές, την κατάσταση του μοντέλου, τους κανόνες, τον ανθρώπινο ρόλο και τη διαδρομή επανεξέτασης πίσω από το αποτέλεσμα.
Αυτό δεν σημαίνει ότι κάθε αλληλεπίδραση πρέπει να γίνεται γραφειοκρατία. Σημαίνει ότι τα αποδεικτικά στοιχεία πρέπει να ενσωματώνονται στο σύστημα στο σωστό επίπεδο. Οι δημόσιες αποδείξεις θα πρέπει να είναι συνοπτικές, πολυεπίπεδες, να προστατεύουν την ιδιωτικότητα, να λαμβάνουν υπόψη τον ρόλο, να καθιστούν εμφανή την παραποίηση και να συνδέονται με πραγματική επανεξέταση. Θα πρέπει να βοηθούν τους πολίτες να κατανοούν τα όρια, τους αξιωματούχους να ασκούν κρίση, τους ελεγκτές να ανασυνθέτουν τα γεγονότα και τους θεσμούς να μαθαίνουν από τις αμφισβητήσεις.
Ο δημόσιος τομέας δεν χρειάζεται τεχνητή νοημοσύνη που υποδύεται την εμπιστοσύνη. Χρειάζεται τεχνητή νοημοσύνη που μπορεί να λογοδοτήσει. Οι αποδείξεις είναι η σεμνή τεχνολογία αυτής της λογοδοσίας. Είναι μικρές, βαρετές και πεισματικά χρήσιμες. Στη δημόσια διοίκηση, αυτός ο συνδυασμός έχει σταθμίσει περισσότερο από τα περισσότερα μανιφέστα. Το μέλλον της δημόσιας τεχνητής νοημοσύνης δεν θα κριθεί μόνο από τις δυνατότητες του μοντέλου. Θα κριθεί επίσης από το αν, όταν ρωτηθεί τι συνέβη, ο θεσμός μπορεί να παρουσιάσει κάτι καλύτερο από ένα σίγουρο ανασήκωμα των ώμων.