Ο μύθος της ουδέτερης αυτοματοποίησης
Η ουρά που έμοιαζε αντικειμενική
Το γραφείο παραπόνων είχε μια νέα ουρά. Οι υποθέσεις εισέρχονταν μέσω μιας φόρμας, εμπλουτίζονταν με εγγραφές από τρία εσωτερικά συστήματα, βαθμολογούνταν ως προς τον επείγοντα χαρακτήρα τους και δρομολογούνταν σε μία από τέσσερις ομάδες. Η παλιά διαδικασία ήταν χαοτική. Οι άνθρωποι χρησιμοποιούσαν την κρίση τους, η κρίση επηρεαζόταν από τη διάθεση, η διάθεση από τον καιρό, και ολόκληρη η διαδικασία εξαρτιόταν ενίοτε από το αν ο επικεφαλής χειριστής υποθέσεων είχε ήδη πιει τον καφέ του. Η νέα ουρά περιγραφόταν ως ουδέτερη επειδή αντιμετώπιζε κάθε υπόθεση με τον ίδιο τρόπο. Αυτή είναι μια παρηγορητική φράση, ειδικά όταν κανείς δεν έχει ρωτήσει ακόμη τι σημαίνει «με τον ίδιο τρόπο».
Τον πρώτο μήνα, ο πίνακας ελέγχου έδειχνε εξαιρετικά αποτελέσματα. Ο μέσος χρόνος διαχείρισης μειώθηκε. Ο αριθμός των μη ανατεθειμένων υποθέσεων έπεσε. Τα στελέχη είχαν ένα διάγραμμα που μπορούσαν να βάλουν σε μια παρουσίαση χωρίς να ζητούν συγγνώμη για το μέγεθος της γραμματοσειράς. Έπειτα εμφανίστηκε ένα μοτίβο. Υποθέσεις από άτομα χωρίς σταθερή διεύθυνση δρομολογούνταν συχνότερα σε μια πιο αργή διαδρομή. Όχι επειδή κάποιος είχε γράψει έναν κανόνα που έλεγε ότι η ασταθής διεύθυνση ισοδυναμεί με χαμηλότερη προτεραιότητα. Το σύστημα είχε μάθει ότι τα ελλιπή πεδία διεύθυνσης συσχετίζονταν με ελλιπείς εγγραφές παρακολούθησης, και οι ελλιπείς εγγραφές μείωναν την εμπιστοσύνη στη βαθμολογία επείγοντος χαρακτήρα. Η ουρά ήταν ουδέτερη με τον ίδιο τρόπο που ένα κανάλι είναι φυσικό αφού οι άνθρωποι έχουν περάσει τρεις αιώνες μετακινώντας το νερό.
Όλοι στην αίθουσα ήθελαν το σωστό πράγμα. Η ομάδα δεδομένων ήθελε συνέπεια. Οι επιχειρήσεις ήθελαν προβλέψιμο φόρτο εργασίας. Η νομική υπηρεσία ήθελε ίση μεταχείριση. Η διοίκηση ήθελε ένα σύστημα που να μπορεί να εξηγηθεί χωρίς να χρειάζεται να συγκληθεί μια μικρή χορωδία ειδικών. Αλλά ο ισχυρισμός περί ουδετερότητας είχε κάνει την πρώτη συζήτηση για τον σχεδιασμό υπερβολικά εύκολη. Επέτρεψε στον οργανισμό να αντιμετωπίσει τον αυτοματισμό ως μια πιο καθαρή εκδοχή της κρίσης, αντί ως κρίση μεταφερμένη σε μηχανήματα.
Αυτός είναι ο μύθος του ουδέτερου αυτοματισμού. Η μηχανή δεν εισέρχεται σε έναν θεσμό ως φιλοσοφικό κενό. Κληρονομεί κατηγορίες, αρχεία, όρια, κίνητρα, ελλιπείς τιμές, ιστορικές συνήθειες, δημοσιονομικούς περιορισμούς, διεπαφές χρήστη, διαδρομές κλιμάκωσης και τα παλιά σημεία τριβής που όλοι ήλπιζαν ότι το νέο σύστημα θα εξομάλυνε αθόρυβα. Ο αυτοματισμός μπορεί να κάνει αυτές τις επιλογές πιο συνεπείς. Μπορεί να τις κάνει ταχύτερες. Μπορεί να τις κάνει ευκολότερες στην παρακολούθηση. Δεν τις κάνει ουδέτερες.
Ουδέτερο δεν σημαίνει το ίδιο με συνεπές
Η συνέπεια έχει αξία. Ένα σύστημα που εφαρμόζει τον ίδιο κανόνα στην ίδια κατάσταση είναι ευκολότερο να δοκιμαστεί, να εποπτευθεί και να αμφισβητηθεί. Μπορεί να μειώσει την αυθαίρετη μεταχείριση από μεμονωμένους εργαζόμενους. Μπορεί να κάνει τον φόρτο εργασίας λιγότερο εξαρτώμενο από το προσωπικό στυλ. Όποιος έχει δει ένα κοινόχρηστο εισερχόμενο να μετατρέπεται σε ένα μικρό βασίλειο καταλαβαίνει γιατί η συνέπεια είναι δελεαστική. Αλλά η συνέπεια δεν είναι ουδετερότητα. Ένας συνεπής κανόνας μπορεί να είναι συνεπώς λανθασμένος, συνεπώς τυφλός ή συνεπώς γενναιόδωρος προς τους ανθρώπους των οποίων η ζωή ταιριάζει με τον σχεδιασμό της βάσης δεδομένων.
Η διαφορά έχει σημασία, γιατί ο αυτοματισμός συχνά δανείζεται ηθική αυθεντία από τα μαθηματικά. Μια βαθμολογία δείχνει πιο καθαρή από μια συζήτηση. Ένα όριο δείχνει πιο καθαρό από έναν προϊστάμενο που επιλέγει. Ένας πίνακας δεδομένων δείχνει πιο καθαρός από μια στοίβα σημειώσεων. Η καθαρότητα είναι εν μέρει πραγματική: λιγότερος αυτοσχεδιασμός, λιγότερες ιδιωτικές συντομεύσεις, περισσότερη επαναληψιμότητα. Αλλά η ίδια καθαρότητα μπορεί να κρύψει τις κρίσεις αξίας που διαμόρφωσαν τη βαθμολογία. Ποια αποτελέσματα βελτιστοποιήθηκαν. Ποιες βλάβες μετρήθηκαν. Ποιες ομάδες είχαν αρκετά αρχεία για να εκπροσωπηθούν σωστά. Ποια ταλαιπωρία θεωρήθηκε αποδεκτή επειδή συνέβη εκτός του πίνακα δεδομένων.
Σκεφτείτε ένα μοντέλο ανίχνευσης απάτης. Μπορεί να αντιμετωπίζει κάθε συναλλαγή με την ίδια συνάρτηση βαθμολόγησης. Αυτό δεν απαντά στο αν τα δεδομένα εκπαίδευσης υπερεκπροσωπούν ορισμένες συμπεριφορές, αν το κόστος των ψευδώς θετικών αποτελεσμάτων το επωμίζονται άνθρωποι με λιγότερο οικονομικό περιθώριο, αν μια αποκλεισμένη συναλλαγή έχει δρόμο ένστασης ή αν επιτρέπεται στο μοντέλο να μαθαίνει από έρευνες που ήταν οι ίδιες μεροληπτικές. Το σύστημα μπορεί να είναι συνεπές και παρόλα αυτά πολιτικά φορτισμένο. Μπορεί επίσης να είναι χρήσιμο, υπό την προϋπόθεση ότι ο οργανισμός σταματά να προσποιείται ότι το χρήσιμο σημαίνει ουδέτερο.
Μια καλύτερη λέξη είναι το τοποθετημένο. Ο αυτοματισμός είναι τοποθετημένος σε έναν θεσμό, μια ιστορία, ένα νομικό πλαίσιο, ένα επιχειρησιακό μοντέλο και ένα σύνολο ανθρώπινων συνεπειών. Ένα τοποθετημένο σύστημα μπορεί να κυβερνηθεί, επειδή οι επιλογές του είναι ορατές. Ένα ουδέτερο σύστημα, ή ένα σύστημα που προωθείται ως ουδέτερο εντός του οργανισμού, συχνά διαφεύγει της διακυβέρνησης, επειδή όλοι υποθέτουν ότι τα δύσκολα ερωτήματα έχουν διαλυθεί από τον κώδικα. Έτσι ένας τύπος γίνεται άλλοθι.
Τα δεδομένα είναι ήδη μια απόφαση
Τα δεδομένα μοιάζουν πραγματικά επειδή φτάνουν σε πίνακες. Οι πίνακες είναι πολύ καλοί στο να δείχνουν αθώοι. Έχουν γραμμές, στήλες, τύπους και την ήρεμη στάση των επίπλων γραφείου. Ωστόσο, κάθε σύνολο δεδομένων είναι γεμάτο αποφάσεις. Τι συλλέχθηκε. Ποιος ρωτήθηκε. Ποια έντυπα ήταν υποχρεωτικά. Ποια σφάλματα διορθώθηκαν. Ποιες κατηγορίες επιτράπηκαν. Ποια γεγονότα καταγράφηκαν. Ποιοι άνθρωποι έμαθαν να αποφεύγουν το σύστημα επειδή σπάνια τους βοηθούσε. Τα ελλιπή δεδομένα δεν είναι σιωπή. Συχνά είναι μια ιστορία με το μικρόφωνο κλειστό.
Ο αυτοματισμός που βασίζεται σε θεσμικά δεδομένα κληρονομεί τη μνήμη του θεσμού. Αν ο οργανισμός ιστορικά εξέταζε ορισμένες περιπτώσεις περισσότερο από άλλες, τα δεδομένα θα δείξουν περισσότερα προβλήματα σε εκείνα τα σημεία. Αν κάποιοι άνθρωποι είχαν καλύτερη πρόσβαση σε έγγραφα, το σύστημα θα τους δει ως πιο πλήρεις. Αν το προσωπικό χρησιμοποιούσε τις σημειώσεις ελεύθερου κειμένου διαφορετικά μεταξύ των ομάδων, ένα γλωσσικό μοντέλο ή ένας ταξινομητής μπορεί να μπερδέψει το στυλ γραφής με τον κίνδυνο. Αν ένα πεδίο ήταν προαιρετικό επειδή η παλιά διαδικασία το έβρισκε άβολο, η νέα διαδικασία μπορεί να αντιμετωπίσει την απουσία ως απόδειξη. Αυτό δεν είναι κακόβουλη μηχανή. Είναι λογιστική με φαντάσματα.
Η διακυβέρνηση δεδομένων ανήκει επομένως στην αρχή της διακυβέρνησης της τεχνητής νοημοσύνης, όχι σε ένα υπόγειο στη συνέχεια. Το ερώτημα δεν είναι μόνο αν τα δεδομένα είναι ακριβή. Είναι αν τα δεδομένα εκπροσωπούν τον τομέα απόφασης αρκετά δίκαια για την προβλεπόμενη χρήση. Είναι αν η ελλιπής κάλυψη είναι κατανοητή. Είναι αν οι δείκτες υποκατάστασης κατονομάζονται. Είναι αν οι ετικέτες προήλθαν από αξιόπιστα αποτελέσματα ή από παλιές θεσμικές επιλογές. Ένα μοντέλο εκπαιδευμένο σε παλιές αποφάσεις μπορεί να αναπαράγει παλιές προτεραιότητες με μια πιο ωραία διεπαφή. Μερικές φορές αυτό είναι ακριβώς το πρόβλημα που προσπαθούσαν να λύσουν οι άνθρωποι.
Το πρακτικό καθήκον είναι να γίνουν οι επιλογές δεδομένων επιθεωρήσιμες. Τεκμηριώστε τι σημαίνει ένα πεδίο, από πού προήλθε, πόσο συχνά λείπει, ποιος λείπει από αυτό και τι επιτρέπεται να συμπεράνει το σύστημα από αυτό. Κατονομάστε τους ευαίσθητους δείκτες υποκατάστασης. Αντιμετωπίστε τα παράγωγα χαρακτηριστικά ως αποφάσεις, όχι ως αβλαβείς τεχνικές βελτιώσεις. Όταν κάποιος λέει ότι το μοντέλο χρησιμοποιεί μόνο αντικειμενικά δεδομένα, ρωτήστε αν το αντικειμενικό σημαίνει μετρημένο από συσκευή, καταγεγραμμένο από υπάλληλο, συναγόμενο από μοντέλο ή απλώς βολικό να υπερασπιστεί κανείς σε μια συνάντηση.
Τα όρια είναι πολιτική που φοράει αριθμούς
Κάθε αυτοματοποιημένη ροή εργασίας φτάνει τελικά σε ένα σημείο τομής. Αποστολή ή αναμονή. Κλιμάκωση ή αναμονή. Έγκριση ή απόρριψη. Ανθρώπινη αναθεώρηση ή πλήρης αυτόματη επεξεργασία. Το σημείο τομής μπορεί να είναι ένα κατώφλι εμπιστοσύνης του μοντέλου, μια βαθμολογία κινδύνου, ένας κλάδος μηχανής κανόνων, ένα όριο χωρητικότητας ουράς ή ένα όριο κόστους κρυμμένο μέσα στη λογική προγραμματισμού. Όποια κι αν είναι η μορφή του, είναι πολιτική. Καθορίζει ποια σφάλματα προτιμά το ίδρυμα, ποιες καθυστερήσεις αποδέχεται και ποιανού το βάρος γίνεται λειτουργικά αόρατο.
Τα κατώφλια συχνά φαίνονται τεχνικά επειδή ρυθμίζονται με διαγράμματα. Η ομάδα σχεδιάζει την ακρίβεια και την ανάκληση, τα ψευδώς θετικά και τα ψευδώς αρνητικά, τις καμπύλες κόστους και την κάλυψη. Αυτή είναι καλή δουλειά. Δεν είναι όμως όλη η δουλειά. Η επιλογή ενός κατωφλίου δεν είναι μόνο ένα έργο βελτιστοποίησης. Είναι μια απόφαση διακυβέρνησης σχετικά με τη βλάβη, την προσπάθεια και τη λογοδοσία. Μια ομάδα ανίχνευσης απάτης μπορεί να ανεχθεί περισσότερα ψευδώς θετικά για να αποτρέψει απώλειες. Μια υπηρεσία διαλογής υγειονομικής περίθαλψης μπορεί να ανεχθεί περισσότερα ψευδώς θετικά για να αποφύγει να χάσει έναν κίνδυνο. Ένας οργανισμός παροχών μπορεί να επιλέξει ανθρώπινη αναθεώρηση σε χαμηλότερη εμπιστοσύνη επειδή το κόστος μιας εσφαλμένης άρνησης το επωμίζονται άνθρωποι που δεν μπορούν να χρηματοδοτήσουν την καθυστέρηση. Το σωστό κατώφλι εξαρτάται από την αποστολή, όχι μόνο από τη μετρική.
Το δύσκολο κομμάτι είναι ότι τα κατώφλια μπορούν να μετακινηθούν αθόρυβα. Το ανεκτέλεστο υπόλοιπο μεγαλώνει, οπότε το κατώφλι για ανθρώπινη αναθεώρηση ανεβαίνει. Ο προϋπολογισμός στενεύει, οπότε λιγότερες υποθέσεις κλιμακώνονται. Ένα μοντέλο βελτιώνεται κατά μέσο όρο, οπότε κάποιος υποθέτει ότι η εποπτεία μπορεί να μειωθεί. Κάθε αλλαγή μπορεί να είναι λογική. Μαζί, μπορούν να μετατοπίσουν τη συμπεριφορά του ιδρύματος χωρίς δημόσια απόφαση. Ο πίνακας ελέγχου εξακολουθεί να δείχνει την απόδοση αυτοματισμού. Το κοινό βιώνει μετατόπιση πολιτικής. Η ολλανδική γραφειοκρατία έχει κάπου έναν όρο για αυτό, πιθανώς σε μια φόρμα που απαιτεί τη λάθος φόρμα για να την ζητήσεις.
Η ορθή διακυβέρνηση της τεχνητής νοημοσύνης αντιμετωπίζει τα κατώφλια ως ελεγχόμενα αντικείμενα. Έχουν ιδιοκτήτες, αιτιολογίες, ημερομηνίες έναρξης ισχύος, δοκιμές και κύκλους αναθεώρησης. Οι αλλαγές καταγράφονται. Τα αποτελέσματά τους δειγματοληπτούνται ανά ομάδες και τύπους υποθέσεων. Οι χειριστές μπορούν να δουν ποιο κατώφλι εφαρμόστηκε σε μια υπόθεση. Οι άνθρωποι που επηρεάζονται από αποφάσεις μπορούν να λάβουν μια εξήγηση που περιλαμβάνει τον σχετικό κανόνα. Ένας αριθμός που μετακινεί συνέπειες δεν θα έπρεπε ποτέ να επιτρέπεται να συμπεριφέρεται σαν ιδιωτική προτίμηση.
Η διεπαφή είναι διακυβέρνηση
Οι άνθρωποι συχνά αντιμετωπίζουν τη διεπαφή χρήστη ως την ευγενική επιφάνεια του αυτοματισμού, κάτι που βελτιώνεται αφού ολοκληρωθούν το μοντέλο και οι κανόνες. Αυτό είναι λάθος. Η διεπαφή καθορίζει τι βλέπουν οι χειριστές, τι μπορούν να αμφισβητήσουν, ποιες προεπιλογές αποδέχονται και πόση τριβή υπάρχει μεταξύ μιας μηχανικής σύστασης και μιας ανθρώπινης εναλλακτικής. Ένα κουμπί μπορεί να είναι μέσο πολιτικής. Αυτό είναι απογοητευτικό μόνο αν ήλπιζες ότι η διακυβέρνηση θα έμενε σε έγγραφα όπου τα κουμπιά δεν μπορούν να τη βρουν.
Αν η προτεινόμενη ενέργεια είναι μεγάλη και πράσινη, ενώ η επιλογή ελέγχου είναι γκρίζα και κρυμμένη κάτω από «περισσότερα», το σύστημα έχει κάνει μια επιλογή διακυβέρνησης. Αν η εμπιστοσύνη εμφανίζεται ως ένα ποσοστό χωρίς να εξηγείται η ποιότητα ή το εύρος της πηγής, η διεπαφή προσκαλεί σε ψευδή ακρίβεια. Αν οι εργαζόμενοι αξιολογούνται με βάση την απόδοση ενώ η φόρμα παράκαμψης απαιτεί πέντε πεδία και έγκριση προϊσταμένου, ο οργανισμός έχει ανακοινώσει προτίμηση στη συμφωνία. Μπορεί να ισχυρίζεται ακόμα ότι οι άνθρωποι είναι στο κύκλωμα. Το κύκλωμα, ωστόσο, έχει εξοπλιστεί με τουρνικέ.
Ο σχεδιασμός της διεπαφής διαμορφώνει επίσης την προσφυγή. Ένα άτομο που επηρεάζεται από τον αυτοματισμό πρέπει να γνωρίζει ότι έγινε μια απόφαση, τι είδους αποδεικτικά στοιχεία είχαν σημασία και πώς να την αμφισβητήσει. Αν το σύστημα δίνει μόνο ένα γενικό μήνυμα, το δικαίωμα προσφυγής γίνεται διακοσμητικό. Αν το προσωπικό δεν μπορεί να δει τη σχετική αλυσίδα αποδεικτικών στοιχείων, δεν μπορεί να βοηθήσει. Αν οι διορθώσεις δεν επιστρέφουν στην αυτοματοποιημένη διαδικασία, το ίδιο λάθος μπορεί να επαναληφθεί με την υπομονή μιας μηχανής που δεν έχει γνωρίσει ποτέ ντροπή.
Η σωστή διακυβέρνηση εξετάζει τις οθόνες, όχι μόνο τα μοντέλα. Ρωτά τι βλέπει ο εργαζόμενος από προεπιλογή. Ρωτά αν η αβεβαιότητα είναι ορατή. Ρωτά αν η διεπαφή διακρίνει μεταξύ σύστασης μοντέλου, πολιτικής απαίτησης και ανθρώπινης κρίσης. Ρωτά αν ο χρήστης μπορεί να βρει τη διαδρομή προσφυγής χωρίς χάρτη θησαυρού. Ρωτά αν οι εξηγήσεις είναι χρήσιμες στο σημείο της δράσης, όχι μόνο σε ένα παράρτημα συμμόρφωσης. Η διεπαφή είναι εκεί όπου οι θεσμικές αξίες γίνονται μυϊκή μνήμη.
Η ανατροφοδότηση μπορεί να βελτιώσει ή να δηλητηριάσει το σύστημα
Ο αυτοματισμός μαθαίνει από την ανατροφοδότηση, είτε τυπικά μέσω επανεκπαίδευσης του μοντέλου είτε άτυπα μέσω του τρόπου με τον οποίο οι άνθρωποι προσαρμόζονται σε αυτόν. Η ανατροφοδότηση δεν είναι αυτόματα υγιής. Ένα σύστημα μπορεί να μάθει από τα δικά του προηγούμενα σφάλματα. Μπορεί να μάθει από ανθρώπινες αποφάσεις που διαμορφώθηκαν υπό πίεση. Μπορεί να μάθει από αποτελέσματα που δεν μετρήθηκαν ποτέ για τους ανθρώπους που διοχετεύτηκαν αλλού. Μπορεί να μάθει ότι οι υποθέσεις είναι χαμηλού κινδύνου επειδή κανείς δεν είχε χρόνο να τις ερευνήσει. Αυτό δεν είναι ευφυΐα. Αυτό είναι ένας καθρέφτης σε ένα δωμάτιο με κακό φωτισμό.
Οι βρόχοι ανατροφοδότησης χρειάζονται διακυβέρνηση, επειδή τα αυτοματοποιημένα συστήματα αλλάζουν το περιβάλλον που παρατηρούν. Ένα μοντέλο κινδύνου μπορεί να αυξήσει τους ελέγχους σε μια περιοχή, παράγοντας περισσότερα ευρήματα εκεί, τα οποία στη συνέχεια δικαιολογούν περισσότερους ελέγχους. Ένα σύστημα συστάσεων μπορεί να δρομολογεί περίπλοκες υποθέσεις σε ειδικούς, κάνοντας τις γενικές ομάδες να φαίνονται πιο επιτυχημένες και τους ειδικούς πιο αργούς. Ένα σύστημα προγραμματισμού μπορεί να υποβαθμίζει άτομα που χάνουν συχνά ραντεβού, ενώ ο τόπος ή η ώρα του ραντεβού είναι ο λόγος που τα χάνουν. Το μοντέλο καταγράφει τη συμπεριφορά. Το ίδρυμα δημιουργεί μέρος αυτής της συμπεριφοράς. Η διάκριση είναι άβολη και απαραίτητη.
Οι υγιείς βρόχοι ανατροφοδότησης διαχωρίζουν την παρατήρηση από την επιβεβαίωση. Δειγματοληπτούν υποθέσεις που το μοντέλο θα αγνοούσε. Παρακολουθούν τις ενστάσεις και τις διορθώσεις. Μετρούν τα ψευδώς αρνητικά όπου είναι δυνατόν, όχι μόνο τα επιβεβαιωμένα θετικά. Καταγράφουν πότε το προσωπικό διαφωνεί με τη σύσταση και γιατί. Εξετάζουν αν η πίεση του φόρτου εργασίας αλλάζει τις αποφάσεις. Ρωτούν αν το σύστημα βελτιώνει την αποστολή ή απλώς βελτιώνει τη δική του μετρική. Οι μετρικές είναι θαυμάσιοι υπηρέτες και εξαιρετικά αλαζονικοί ιδιοκτήτες.
Εδώ είναι επίσης το σημείο όπου η ανθρώπινη εμπειρογνωμοσύνη πρέπει να παραμείνει ενεργή. Οι ειδικοί δεν πρέπει να υποβιβάζονται σε εργοστάσια ετικετών για το μοντέλο. Θα πρέπει να βοηθούν στην ερμηνεία των τρόπων αποτυχίας, να ορίζουν τις απαράδεκτες βλάβες και να εντοπίζουν περιπτώσεις όπου το σύστημα θέτει λάθος ερώτηση. Ένας καλός βρόχος ανατροφοδότησης δεν είναι ένας σωλήνας από το αποτέλεσμα στην επανεκπαίδευση. Είναι μια εποπτευόμενη συνομιλία μεταξύ αποδεικτικών στοιχείων, πολιτικής, επιχειρήσεων και των επηρεαζόμενων ατόμων. Αργός, ναι. Επίσης, λιγότερο πιθανό να αυτοματοποιήσει μια παρεξήγηση για τρία χρόνια.
Η ουδέτερη γλώσσα κρύβει υπεύθυνες επιλογές
Οι οργανισμοί χρησιμοποιούν ουδέτερη γλώσσα επειδή χαμηλώνει την ένταση. Λέμε βασισμένο σε δεδομένα, αντικειμενικό, αυτοματοποιημένο, τυποποιημένο, επεκτάσιμο, βελτιστοποιημένο. Αυτές οι λέξεις δεν είναι λάθος, αλλά είναι ελλιπείς. Περιγράφουν τη μέθοδο ενώ αφήνουν την ευθύνη θολή. Βασισμένο σε δεδομένα από ποιον. Αντικειμενικό σύμφωνα με ποια μέτρηση. Τυποποιημένο γύρω από το φυσιολογικό ποιου. Επεκτάσιμο σε ποιες βλάβες. Βελτιστοποιημένο για τι. Μια πρόταση μπορεί να ακούγεται σύγχρονη ενώ αποφεύγει προσεκτικά το υποκείμενο.
Το αντίδοτο είναι η απλή γλώσσα. Το σύστημα δίνει προτεραιότητα σε υποθέσεις με πλήρη αρχεία επειδή τα πλήρη αρχεία είναι ευκολότερο να επαληθευτούν. Το σύστημα δρομολογεί υποθέσεις χαμηλής βεβαιότητας σε ανθρώπινη αναθεώρηση επειδή η άρνηση χωρίς αναθεώρηση θα δημιουργούσε απαράδεκτη βλάβη. Το σύστημα δεν χρησιμοποιεί αυτό το υποκατάστατο επειδή παρακολουθεί πολύ στενά ένα προστατευόμενο χαρακτηριστικό. Το σύστημα δειγματοληπτεί εγκεκριμένες και απορριφθείσες υποθέσεις επειδή και τα δύο είδη μπορεί να είναι λάθος. Τέτοιες προτάσεις είναι λιγότερο λαμπερές. Περιέχουν επίσης περισσότερη διακυβέρνηση.
Η απλή γλώσσα έχει και ένα δεύτερο όφελος: επιτρέπει σε μη τεχνικούς να διαφωνήσουν με το σωστό πράγμα. Πολλές πολιτικές διαφωνίες κρύβονται μέσα σε τεχνικές περιγραφές, επειδή οι άνθρωποι που επηρεάζονται από την πολιτική δεν μπορούν να δουν την επιλογή. Αν ένα όριο περιγράφεται ως βαθμονόμηση μοντέλου, μόνο οι ειδικοί μπαίνουν στη συζήτηση. Αν περιγράφεται ως το σημείο όπου ο οργανισμός σταματά τον χειροκίνητο έλεγχο, περισσότεροι άνθρωποι καταλαβαίνουν γιατί έχει σημασία. Η τεχνική ακρίβεια και η δημόσια σαφήνεια δεν θα έπρεπε να είναι εχθροί. Όταν γίνονται εχθροί, η σαφήνεια θα έπρεπε να αναρωτιέται τι προσπαθεί να κρύψει η ακρίβεια.
Αυτό δεν σημαίνει ότι κάθε εσωτερική λεπτομέρεια ανήκει στο δημόσιο κείμενο. Η ασφάλεια, η ιδιωτικότητα και η λειτουργική κατάχρηση έχουν σημασία. Αλλά οι βασικές επιλογές θα έπρεπε να είναι εξηγήσιμες. Αν ένας οργανισμός δεν μπορεί να περιγράψει την κρίση αξίας πίσω από μια αυτοματοποιημένη απόφαση σε απλή γλώσσα, πιθανότατα δεν έχει διακυβερνήσει την απόφαση. Απλώς την έχει υλοποιήσει και ήλπιζε ότι η ορολογία θα έκανε τα ηθικά.
Τι παραδέχεται η υπεύθυνη αυτοματοποίηση
Η υπεύθυνη αυτοματοποίηση ξεκινά παραδεχόμενη ότι η αυτοματοποίηση είναι θεσμική πράξη. Δεν είναι απλώς ένα μοντέλο, μια ροή εργασίας, μια δυνατότητα προμηθευτή, ένας πίνακας ελέγχου ή ένα πρόγραμμα αποδοτικότητας. Είναι ο οργανισμός που αποφασίζει ότι ορισμένα σήματα θα πρέπει να παράγουν ορισμένες συνέπειες σε κλίμακα. Αυτή η απόφαση μπορεί να είναι καλή. Μπορεί να κάνει την υπηρεσία ταχύτερη, να μειώσει την αυθαίρετη διακύμανση, να αποκαλύψει κρυφό φόρτο εργασίας και να απελευθερώσει εξειδικευμένους ανθρώπους από επαναλαμβανόμενη εργασία. Το ζητούμενο δεν είναι να αντιπαθεί κανείς την αυτοματοποίηση. Το ζητούμενο είναι να σταματήσει να προσποιείται ότι έρχεται χωρίς αξίες.
Ένας υπεύθυνος σχεδιασμός ονομάζει την απόφαση που αυτοματοποιείται. Ονομάζει τις ομάδες που επηρεάζονται. Ονομάζει τις πηγές δεδομένων και τις γνωστές απουσίες. Εντοπίζει υποκατάστατα και ευαίσθητα συμπεράσματα. Ελέγχει τα όρια. Σχεδιάζει τη διεπαφή χειριστή ως μέρος της διακυβέρνησης. Δημιουργεί διαδρομές ένστασης και διόρθωσης. Δειγματοληπτεί τα αποτελέσματα. Καταγράφει τις αλλαγές. Δίνει στους υπεύθυνους αρκετή εξουσία να σταματήσουν το σύστημα όταν τα στοιχεία χαλάνε. Αυτά δεν είναι τελετουργικά καθήκοντα. Είναι οι λειτουργικές συνθήκες υπό τις οποίες η αυτοματοποίηση αξίζει εμπιστοσύνη.
Επίσης, αντιμετωπίζει τη διαφωνία ως χρήσιμη. Αν οι χειριστές παρακάμπτουν συχνά το σύστημα, αυτό είναι στοιχείο. Αν οι επηρεαζόμενοι άνθρωποι πετυχαίνουν στις ενστάσεις τους, αυτό είναι στοιχείο. Αν μια ομάδα βιώνει περισσότερη καθυστέρηση, αυτό είναι στοιχείο. Αν το μοντέλο αποδίδει καλά κατά μέσο όρο αλλά άσχημα στο όριο όπου οι αποφάσεις έχουν τις μεγαλύτερες συνέπειες, αυτό είναι στοιχείο. Η διακυβέρνηση δεν θα έπρεπε να λειαίνει αυτά τα σήματα μέχρι ο πίνακας ελέγχου να φαίνεται ήρεμος. Οι ήρεμοι πίνακες ελέγχου έχουν κρύψει πολλά ενεργητικά προβλήματα.
Ο ώριμος ισχυρισμός δεν είναι ότι αυτή η αυτοματοποίηση είναι ουδέτερη. Ο ώριμος ισχυρισμός είναι στενότερος και ισχυρότερος: αυτή η αυτοματοποίηση έχει δηλωμένες επιλογές, μετρημένα όρια, ελεγχόμενα κατώφλια, ορατή ένσταση και αρχεία που μας επιτρέπουν να μαθαίνουμε όταν αποτυγχάνει. Αυτή η πρόταση δεν χωράει τόσο τακτοποιημένα σε μια διαφάνεια. Καλά. Τα σημαντικά πράγματα θα έπρεπε περιστασιακά να δυσκολεύουν τον σχεδιασμό διαφανειών.
Το μάθημα
Ο μύθος της ουδέτερης αυτοματοποίησης επιβιώνει επειδή είναι βολικός. Επιτρέπει στους ηγέτες να αγοράζουν ταχύτητα χωρίς να κατονομάζουν τους συμβιβασμούς. Επιτρέπει στους μηχανικούς να επιλύουν ζητήματα με βάση τις μετρήσεις χωρίς να φέρουν ολόκληρο το ηθικό λεξιλόγιο του θεσμού. Επιτρέπει στους χειριστές να κατηγορούν το σύστημα και στο σύστημα να κατηγορεί τα δεδομένα. Επιτρέπει σε όλους να απολαμβάνουν το καθαρό συναίσθημα της συνέπειας ενώ οι δύσκολες επιλογές συνεχίζονται σε πιο ήσυχα δωμάτια.
Αλλά η αυτοματοποίηση δεν είναι ουδέτερη. Είναι διατεταγμένη. Διατάσσει την προσοχή, το βάρος, τα αποδεικτικά στοιχεία, τον χρόνο και την εξουσία. Η σωστή απάντηση δεν είναι ο πανικός ή η νοσταλγία για τη χειρωνακτική εργασία. Τα χειρωνακτικά συστήματα έχουν τη δική τους αδικία, τους δικούς τους άτυπους κανόνες, τα δικά τους μυστηριώδη συρτάρια. Η σωστή απάντηση είναι η ρητή διακυβέρνηση: να κατονομάζεις τις επιλογές, να μετράς τις συνέπειες, να διατηρείς την αμφισβήτηση και να αντιμετωπίζεις τις τεχνικές ρυθμίσεις ως θεσμικές δεσμεύσεις.
Όταν προτείνεται μια αυτοματοποιημένη ουρά, ταξινομητής, σύστημα συστάσεων ή πράκτορας, η χρήσιμη ερώτηση δεν είναι αν αφαιρεί την ανθρώπινη κρίση. Δεν την αφαιρεί. Η χρήσιμη ερώτηση είναι πού έχει μετακινηθεί η κρίση, ποιος μπορεί να την επιθεωρήσει, ποιος μπορεί να την αλλάξει και ποιος μπορεί να προσφύγει όταν αυτή έχει αρνητικές συνέπειες. Αν η απάντηση είναι ασαφής, το σύστημα δεν είναι ουδέτερο. Είναι απλώς σιωπηλό.
Τα σιωπηλά συστήματα μπορούν να προκαλέσουν μεγάλη ζημιά προτού τα ακούσει κανείς. Μπορούν επίσης να κάνουν πολύ καλό όταν οι επιλογές τους είναι αρκετά ορατές ώστε να επιβλέπονται. Η διαφορά είναι η διακυβέρνηση. Όχι η διακυβέρνηση ως θέατρο επιτροπών, αλλά η διακυβέρνηση ως η πρακτική πειθαρχία του να καθίσταται η θεσμική κρίση ευανάγνωστη προτού αρχίσει να ταξιδεύει με την ταχύτητα της μηχανής.