Ανθρώπινη αναθεώρηση δεν είναι ένα τυπικό βήμα
Η καθησυχαστική πρόταση
Η πιο ακριβή πρόταση στη διακυβέρνηση της τεχνητής νοημοσύνης είναι συχνά και η πιο σύντομη: ένας άνθρωπος παραμένει στον βρόχο. Ακούγεται συνετή. Ταιριάζει ωραία σε μια εκτίμηση κινδύνου. Καθησυχάζει μια επιτροπή διεύθυνσης, επειδή υπονοεί ότι ό,τι κι αν κάνει το μηχάνημα, ένας υπεύθυνος άνθρωπος θα στέκεται κοντά με ηθικό ανάστημα και ίσως έναν καφέ. Η πρόταση δεν είναι από μόνη της ψευδής. Είναι απλώς ελλιπής, με τον τρόπο που μια γέφυρα είναι ελλιπής όταν κάποιος έχει σχεδιάσει μόνο το κιγκλίδωμα.
Σε έναν οργανισμό, η πρόταση εμφανιζόταν σε κάθε έγγραφο έργου. Το σύστημα τεχνητής νοημοσύνης θα ταξινομούσε τις εισερχόμενες υποθέσεις, θα συνέτασσε μια σύσταση και θα έστελνε τα ευαίσθητα θέματα για ανθρώπινη εξέταση. Το πιλοτικό πρόγραμμα έδειχνε υπεύθυνο. Οι αξιολογητές έβλεπαν μια ουρά, περνούσαν από τις προτάσεις του μοντέλου και ενέκριναν τις περισσότερες. Έπειτα ο όγκος παραγωγής αυξήθηκε. Η ουρά έγινε θορυβώδης. Κάποιες υποθέσεις δεν είχαν αποδεικτικά στοιχεία από την πηγή. Κάποιες προτάσεις ήταν εύλογες αλλά λανθασμένες. Κάποιοι αξιολογητές είχαν την εξουσία να αλλάξουν το αποτέλεσμα και άλλοι απλώς πρόσθεταν σχόλια που κανείς δεν διάβαζε. Ο άνθρωπος ήταν ακόμα στον βρόχο. Ο βρόχος είχε γίνει πλυντήριο.
Η ανθρώπινη εξέταση αποτυγχάνει όταν χρησιμοποιείται ως διακοσμητικός έλεγχος. Ένα άτομο που τοποθετείται στο τέλος μιας αδύναμης ροής εργασίας κληρονομεί ελλιπή στοιχεία, ασαφή πολιτική, βιασύνη, κακά εργαλεία, διφορούμενη εξουσία και ευθύνη για λάθη που έγιναν ανάντη. Αυτό δεν είναι διακυβέρνηση. Αυτό είναι να δίνεις τον ανιχνευτή καπνού στο άτομο που στέκεται μέσα στον καπνό. Ο αξιολογητής μπορεί να αποτρέψει ακόμα τη ζημιά, αλλά το σύστημα έχει μπερδέψει ένα άτομο με έναν σχεδιασμό ελέγχου.
Μια πραγματική λειτουργία εξέτασης έχει δομή. Καθορίζει ποιες υποθέσεις χρειάζονται εξέταση, γιατί τη χρειάζονται, ποια στοιχεία λαμβάνει ο αξιολογητής, τι εξουσία απόφασης έχει, πώς καταγράφεται η διαφωνία, πώς λειτουργεί η κλιμάκωση, πώς μετράται η ποιότητα της εξέτασης και πώς μαθαίνει το σύστημα από την εξέταση. Χωρίς αυτά τα μέρη, η ανθρώπινη εξέταση δεν είναι λογοδοσία. Είναι ένα τετραγωνάκι με μια καρέκλα.
Ο βρόχος είναι δουλειά, όχι θέση
Υπάρχει η συνήθεια να αντιμετωπίζεται ο βρόχος ως θέση σε ένα διάγραμμα. Το μηχάνημα ενεργεί και έπειτα ένα άτομο ελέγχει. Το βέλος φαίνεται τακτοποιημένο. Δυστυχώς, η πραγματική δουλειά δεν σέβεται και τόσο τα βέλη. Οι αξιολογητές χρειάζονται προετοιμασία πριν φτάσει η υπόθεση, πλαίσιο όσο την εξετάζουν, εξουσία όταν διαφωνούν, ανατροφοδότηση αφού ενεργήσουν και προστασία όταν ο όγκος υπερβαίνει τη χωρητικότητα. Ο βρόχος δεν είναι εκεί που κάθεται το άτομο. Είναι το σύνολο των ευθυνών, των εργαλείων, των δικαιωμάτων και των συνεπειών γύρω από αυτό το άτομο.
Η αξιολόγηση εξυπηρετεί επίσης διαφορετικούς σκοπούς. Κάποια αξιολόγηση είναι έλεγχος ποιότητας: να διαπιστωθεί αν μια απάντηση είναι χρήσιμη. Κάποια είναι έλεγχος κινδύνου: να αποτραπεί μια επιβλαβής ενέργεια. Κάποια είναι νομικός έλεγχος: να διασφαλιστεί ότι μια απόφαση μπορεί να αιτιολογηθεί. Κάποια είναι επιχειρησιακός έλεγχος: να δρομολογηθούν οι εξαιρέσεις. Κάποια είναι μάθηση: να μετατραπούν τα λάθη σε καλύτερα δεδομένα, προτροπές, πολιτικές ή μοντέλα. Αυτοί οι σκοποί μπορεί να αλληλοκαλύπτονται, αλλά δεν θα έπρεπε να συγχωνεύονται σιωπηλά. Ένας αξιολογητής που καλείται να βελτιώσει το μοντέλο, να προστατεύσει τους χρήστες, να πετύχει τους στόχους απόδοσης και να δημιουργήσει αποδεικτικά στοιχεία ελέγχου σε ενενήντα δευτερόλεπτα δεν έχει εξουσιοδότηση. Χρησιμοποιείται ως κάδος απορριμμάτων διακυβέρνησης.
Ο σχεδιασμός ξεκινά με την επιλογή των περιπτώσεων. Ποιες περιπτώσεις πηγαίνουν για αξιολόγηση επειδή η εμπιστοσύνη είναι χαμηλή. Ποιες πηγαίνουν επειδή η συνέπεια είναι μεγάλη. Ποιες πηγαίνουν επειδή λείπουν αποδεικτικά στοιχεία. Ποιες πηγαίνουν επειδή η πολιτική απαιτεί ανθρώπινη κρίση ακόμη και όταν το μοντέλο είναι σίγουρο. Ποιες πηγαίνουν ως τυχαία δείγματα για τον εντοπισμό αποκλίσεων. Ποιες δεν πηγαίνουν ποτέ επειδή ο αυτοματισμός δεν επιτρέπεται να τις αγγίξει. Αν όλες οι αβέβαιες περιπτώσεις ρίχνονται σε μία ουρά, η αξιολόγηση γίνεται διαλογή χωρίς χάρτη. Οι άνθρωποι μπορεί να αυτοσχεδιάσουν καλά για λίγο. Έπειτα οι τοπικές συνήθειες σκληραίνουν σε ανεπίσημη πολιτική.
Ένας ώριμος κύκλος διακρίνει τους ρόλους των αξιολογητών. Ένας ειδικός του τομέα μπορεί να κρίνει το νόημα. Ένας υπεύθυνος συμμόρφωσης μπορεί να κρίνει την πολιτική. Ένας προϊστάμενος μπορεί να εγκρίνει παρακάμψεις. Ένας διαχειριστής δεδομένων μπορεί να διορθώσει την ποιότητα της πηγής. Ένας ιδιοκτήτης προϊόντος μπορεί να αλλάξει τα όρια. Ένα άτομο μπορεί μερικές φορές να κατέχει πολλούς ρόλους, ειδικά σε μικρούς οργανισμούς, αλλά οι ρόλοι πρέπει να έχουν ονόματα. Διαφορετικά, το σύστημα δεν μπορεί να διακρίνει μεταξύ ειδικής κρίσης και κάποιου που πατάει «έγκριση» επειδή η ουρά είναι κόκκινη.
Η εξουσία είναι το στοιχείο ελέγχου που λείπει
Πολλά σχέδια αξιολόγησης δίνουν στον άνθρωπο ορατότητα αλλά όχι εξουσία. Ο αξιολογητής μπορεί να δει τη σύσταση αλλά δεν μπορεί να αλλάξει το υποκείμενο αρχείο. Μπορεί να απορρίψει το αποτέλεσμα αλλά δεν μπορεί να ενεργοποιήσει μια διόρθωση της πηγής. Μπορεί να αφήσει ένα σχόλιο αλλά δεν μπορεί να διακόψει τη ροή εργασίας. Μπορεί να εντοπίσει ένα επαναλαμβανόμενο μοτίβο αλλά δεν μπορεί να ζητήσει αλλαγή ορίου. Αυτό δημιουργεί ένα θέατρο εποπτείας. Το άτομο είναι παρόν, ο έλεγχος υπάρχει στα χαρτιά και το σύστημα συνεχίζει ακριβώς όπως πριν, πράγμα πολύ αποδοτικό αν ο στόχος είναι η συλλογή υπογραφών.
Η εξουσία πρέπει να αντιστοιχεί στη συνέπεια. Αν το αποτέλεσμα της αξιολόγησης επηρεάζει δικαιώματα, χρήματα, υγεία, ασφάλεια, απασχόληση, εκπαίδευση ή πρόσβαση, ο αξιολογητής χρειάζεται τη δύναμη να αλλάξει το αποτέλεσμα, να ζητήσει περισσότερα αποδεικτικά στοιχεία, να προωθήσει την υπόθεση σε ανώτερο επίπεδο και να καταγράψει έναν λόγο. Αν η έξοδος του μοντέλου είναι μόνο συμβουλευτική, η διεπαφή δεν θα έπρεπε να ωθεί τον αξιολογητή να τη θεωρεί προεπιλογή. Αν ο αξιολογητής μπορεί να παρακάμψει, ο οργανισμός θα έπρεπε να τον προστατεύει από τιμωρία για πιο αργές αλλά αιτιολογημένες αποφάσεις. Η λογοδοσία χωρίς προστατευόμενη διακριτική ευχέρεια είναι μόνο πίεση με ωραιότερο τίτλο.
Η εξουσία χρειάζεται επίσης όρια. Ένας αξιολογητής δεν θα έπρεπε να εφευρίσκει πολιτική κατά περίπτωση. Χρειάζεται δημοσιευμένα κριτήρια, κανόνες με εκδόσεις, οδούς προώθησης σε ανώτερο επίπεδο και παραδείγματα παρόμοιων αποφάσεων. Χρειάζεται να ξέρει πότε να αρνηθεί, πότε να ζητήσει περισσότερες πληροφορίες, πότε να προωθήσει σε ανώτερο επίπεδο και πότε το σύστημα δεν θα έπρεπε ποτέ να του είχε στείλει την υπόθεση. Τα καλά όρια δεν αποδυναμώνουν την κρίση. Αποτρέπουν την κρίση από το να γίνει ιδιωτικός καιρός.
Το σύστημα θα έπρεπε να καταγράφει τον τύπο της ανθρώπινης ενέργειας. Η έγκριση είναι διαφορετική από τη διόρθωση. Η διόρθωση είναι διαφορετική από την προώθηση σε ανώτερο επίπεδο. Η προώθηση είναι διαφορετική από την αμφισβήτηση πολιτικής. Η αμφισβήτηση πολιτικής είναι διαφορετική από το ελάττωμα στα δεδομένα πηγής. Αυτές οι διακρίσεις έχουν σημασία επειδή λένε στον οργανισμό τι να διορθώσει. Μια ουρά γεμάτη ελαττώματα πηγής χρειάζεται διαχείριση δεδομένων. Μια ουρά γεμάτη αμφισβητήσεις πολιτικής χρειάζεται διακυβέρνηση. Μια ουρά γεμάτη χαμηλή εμπιστοσύνη χρειάζεται εργασία στο μοντέλο ή στην ανάκτηση. Μια ουρά γεμάτη βιαστικές εγκρίσεις χρειάζεται μια συζήτηση για το προσωπικό που μπορεί να χαλάσει μια παρουσίαση.
Ο χρόνος είναι μέρος της ηθικής
Η ανθρώπινη αναθεώρηση συχνά συζητείται με ηθική γλώσσα και σχεδιάζεται με γλώσσα στελέχωσης, και εκεί πηγαίνουν πολλές ευγενείς προθέσεις για να γίνουν ουρές αναμονής. Ένας αναθεωρητής με τρία λεπτά ανά υπόθεση δεν μπορεί να ασκήσει την ίδια κρίση με έναν αναθεωρητή που έχει δεκαπέντε. Ένας αναθεωρητής που αντιμετωπίζει εκατοντάδες σχεδόν πανομοιότυπες εγκρίσεις δεν θα παραμείνει εξίσου δύσπιστος για πάντα. Ένας αναθεωρητής που μετριέται μόνο με βάση την απόδοση θα μάθει να εμπιστεύεται το μοντέλο περισσότερο από όσο αξίζει ο κίνδυνος. Η ηθική που αγνοεί τον χρόνο είναι απλώς διακόσμηση με σοβαρή γραμματοσειρά.
Η ουρά αναμονής έχει σημασία. Όταν οι αφίξεις γίνονται πιο μεταβλητές και η δυσκολία των υποθέσεων γίνεται πιο μεταβλητή, ο χρόνος αναμονής μπορεί να αυξηθεί απότομα ακόμη και αν ο μέσος όγκος φαίνεται διαχειρίσιμος. Τα συστήματα τεχνητής νοημοσύνης συχνά δημιουργούν ακριβώς αυτό το μοτίβο: πολλές εύκολες υποθέσεις, μικρότερος αριθμός παράξενων υποθέσεων και περιστασιακές εκρήξεις όταν αλλάζει μια πηγή δεδομένων ή όταν το μοντέλο αποκλίνει. Η ομάδα αναθεώρησης γίνεται τότε ο απορροφητής κραδασμών. Οι απορροφητές κραδασμών είναι χρήσιμοι. Φθείρονται όμως όταν ο δρόμος είναι σχεδιασμένος από αισιόδοξους.
Η δυναμικότητα αναθεώρησης θα πρέπει να σχεδιάζεται ανά κατηγορία υπόθεσης, όχι με βάση τον μέσο αριθμό. Η απλή δειγματοληψία μπορεί να διαρκέσει δευτερόλεπτα. Οι αποφάσεις υψηλού αντίκτυπου μπορεί να χρειάζονται προσεκτική ανάγνωση, επικοινωνία και έγκριση από προϊστάμενο. Οι διαφωνίες για τα δεδομένα πηγών μπορεί να χρειάζονται άλλη ομάδα. Οι νομικές οριακές περιπτώσεις μπορεί να χρειάζονται ημέρες. Αν όλα μετρώνται ως ένα στοιχείο αναθεώρησης, η διοίκηση θα πιστεύει ότι υπάρχει δυναμικότητα μέχρι να συσσωρευτούν οι δύσκολες υποθέσεις. Η ουρά γίνεται τότε ένα ηθικό σημείο συμφόρησης μεταμφιεσμένο σε παραγωγικότητα.
Ο σχεδιασμός του χρόνου περιλαμβάνει τον σχεδιασμό της προσοχής. Η διεπαφή θα πρέπει να δείχνει τι άλλαξε από την προηγούμενη έκδοση, ποιες πηγές υποστηρίζουν τη σύσταση, ποιες πηγές συγκρούονται, ποιες ρήτρες πολιτικής ισχύουν και για τι ήταν αβέβαιο το μοντέλο. Θα πρέπει να κρύβει τον άσχετο θόρυβο. Θα πρέπει να κάνει την επικίνδυνη ενέργεια πιο αργή από την ασφαλή όταν τα στοιχεία είναι αδύναμα. Δεν θα πρέπει να χρησιμοποιεί πράσινα κουμπιά και χαρούμενες προεπιλογές για να κάνει την έγκριση να μοιάζει με τακτοποίηση. Οι άνθρωποι δεν είναι άτρωτοι στη βαρύτητα της διεπαφής, ειδικά αργά το απόγευμα της Παρασκευής όταν το σύστημα έχει αποφασίσει να είναι διδακτικό.
Η προκατάληψη αυτοματισμού σχεδιάζεται, δεν απλώς υφίσταται
Η προκατάληψη αυτοματισμού περιγράφεται συχνά ως ανθρώπινη αδυναμία: οι άνθρωποι εμπιστεύονται υπερβολικά τις μηχανές. Αυτό είναι αρκετά αληθές, αλλά ελλιπές. Τα συστήματα μπορούν να σχεδιάσουν την υπερβολική εμπιστοσύνη μέσα στη ροή εργασίας. Αν η έξοδος του μοντέλου εμφανίζεται πρώτη, γραμμένη με σιγουριά, χωρίς ορατή αβεβαιότητα και με ένα μεγάλο κουμπί έγκρισης, η διεπαφή έχει κάνει μια σύσταση και μια κοινωνική απαίτηση. Αν οι πηγές είναι κρυμμένες πίσω από κλικ, ο αναθεωρητής πληρώνει φόρο για τον σκεπτικισμό. Αν η ανατροπή του μοντέλου απαιτεί περισσότερη εξήγηση από ό,τι η έγκρισή του, ο οργανισμός έχει τιμολογήσει τη διαφωνία.
Το αντίθετο αποτυχημένο σενάριο είναι επίσης πιθανό. Οι αξιολογητές μπορεί να δυσπιστούν τόσο πολύ στο σύστημα ώστε να επαναλαμβάνουν όλη τη δουλειά χειροκίνητα, μετατρέποντας τον αυτοματισμό σε μια ακριβή μηχανή προτάσεων. Αυτό συμβαίνει συχνά μετά από πρώιμα σφάλματα, κακή παρουσίαση των αποδεικτικών στοιχείων ή όταν υπάρχει η αίσθηση ότι το μοντέλο επιβάλλεται αντί να κερδίζει την εμπιστοσύνη του. Η εμπιστοσύνη δεν είναι ρύθμιση. Είναι το αποτύπωμα του κατά πόσο το σύστημα συμπεριφέρεται με ειλικρίνεια με την πάροδο του χρόνου.
Ο καλός σχεδιασμός της αξιολόγησης βαθμονομεί την εμπιστοσύνη. Δείχνει σιγουριά εκεί που η σιγουριά έχει νόημα, όχι ως διακοσμητικό ποσοστό. Παρουσιάζει τα αποδεικτικά στοιχεία, τα στοιχεία που λείπουν και τις διαφωνίες. Αποκαλύπτει τους περιορισμούς του μοντέλου στο πλαίσιο της εκάστοτε εργασίας. Επισημαίνει πότε το αποτέλεσμα είναι σχέδιο, σύσταση ή ενέργεια. Καθιστά την παράκαμψη φυσιολογική και όχι ντροπιαστική. Καταγράφει γιατί διαφωνούν οι αξιολογητές και μετατρέπει τα μοτίβα σε βελτιώσεις του προϊόντος. Η βαθμονομημένη εμπιστοσύνη δεν είναι θετικό συναίσθημα. Είναι η σταθερή ικανότητα να βασίζεσαι σε ένα σύστημα για τα σωστά πράγματα και να το απορρίπτεις για τα λάθος.
Η εκπαίδευση βοηθά, αλλά δεν μπορεί να επισκευάσει μια παραπλανητική ροή εργασίας. Οι αξιολογητές θα πρέπει να κατανοούν την εργασία, την κατηγορία του μοντέλου, τις πηγές δεδομένων, τους συνήθεις τρόπους αποτυχίας, τα όρια πολιτικής, τις οδούς κλιμάκωσης και τη δική τους εξουσία. Θα πρέπει επίσης να βλέπουν παραδείγματα όπου το μοντέλο είχε δίκιο και όπου έκανε λάθος. Αλλά αν η οθόνη παραγωγής κρύβει τις πηγές και ανταμείβει την ταχύτητα εις βάρος της κρίσης, η εκπαίδευση γίνεται μια ανάμνηση από μια καλύτερη χώρα. Ο σχεδιασμός υπερισχύει των διαφανειών.
Τα αποδεικτικά στοιχεία πρέπει να επιβιώνουν της κρίσης
Ένα αποτέλεσμα αξιολόγησης θα πρέπει να δημιουργεί ένα διαρκές αρχείο. Όχι μια αόριστη σημείωση που λέει «ελέγχθηκε». Όχι ένα στιγμιότυπο οθόνης επικολλημένο σε ένα έγγραφο με το όνομα final-final. Ένα αρχείο. Θα πρέπει να αναφέρει τι πρότεινε το σύστημα, ποια αποδεικτικά στοιχεία χρησιμοποίησε, ποια πολιτική εφαρμόστηκε, τι αποφάσισε ο αξιολογητής, γιατί το αποφάσισε, αν το μοντέλο διορθώθηκε, αν βρέθηκε ελάττωμα στην πηγή, αν έγινε κλιμάκωση και ποια έκδοση της ροής εργασίας ήταν ενεργή. Αυτό δεν είναι γραφειοκρατία για την ίδια τη γραφειοκρατία. Είναι η μνήμη που επιτρέπει να υπάρχει λογοδοσία αφού η υπόθεση έχει προχωρήσει.
Το αρχείο έχει σημασία για το άτομο που επηρεάζεται από την απόφαση. Αν κάποιος ρωτήσει γιατί απορρίφθηκε ένα επίδομα, γιατί κλιμακώθηκε ένα ιατρικό συναγερμός, γιατί επισημάνθηκε μια υπόθεση δανείου, γιατί δρομολογήθηκε ένας φάκελος μαθητή ή γιατί αποκλείστηκε ένα αίτημα υπαλλήλου, ο οργανισμός χρειάζεται κάτι περισσότερο από τον ισχυρισμό ότι ένας άνθρωπος το έλεγξε. Χρειάζεται αιτιολογίες που μπορούν να διαβαστούν, να αμφισβητηθούν και να διορθωθούν. Μια ανθρώπινη αξιολόγηση χωρίς τεκμηριωμένο αρχείο μπορεί να φαίνεται υπόλογη εσωτερικά, ενώ παραμένει άχρηστη για το άτομο εκτός συστήματος.
Το αρχείο έχει σημασία και για τον οργανισμό. Τα πρότυπα αξιολόγησης αποτελούν τεκμήρια για την ποιότητα του συστήματος. Οι παρακάμψεις μπορούν να αποκαλύψουν κακή ανάκτηση, μεροληπτικά δεδομένα εκπαίδευσης, ασαφή πολιτική, εύθραυστα prompts, ελλιπή πεδία ή σύγχυση στη διεπαφή. Αν τα αποτελέσματα των αξιολογήσεων αποθηκεύονται ως αδόμητα σχόλια σε μια ουρά που κανείς δεν αναλύει, ο οργανισμός έχει πάρει το καλύτερο σήμα μάθησης που διαθέτει και το έχει μετατρέψει σε μόνωση σοφίτας. Πολύ άνετο. Όχι και πολύ σοφό.
Υπάρχει εδώ μια ισορροπία μεταξύ ιδιωτικότητας και εργασίας. Τα αρχεία καταγραφής αξιολογήσεων δεν θα πρέπει να εκθέτουν ευαίσθητα δεδομένα ευρύτερα από όσο χρειάζεται. Δεν θα πρέπει να μετατρέπονται σε παρακολούθηση των αξιολογητών χωρίς τη δέουσα διαδικασία. Δεν θα πρέπει να τιμωρούν τη λελογισμένη διαφωνία. Αλλά η απάντηση είναι θεσμοθετημένα αρχεία, όχι η απουσία τους. Η λογοδοσία χρειάζεται τεκμήρια με κανόνες πρόσβασης. Διαφορετικά, το ίδρυμα μένει με πεποιθήσεις, και οι πεποιθήσεις είναι διάσημες για το ότι περνούν τους ελέγχους μόνο σε ιστορίες που λένε άνθρωποι που δεν έχουν γνωρίσει ποτέ ελεγκτές.
Η αξιολόγηση θα πρέπει να αλλάζει το σύστημα
Το ισχυρότερο σημάδι μιας υγιούς λειτουργίας αξιολόγησης είναι ότι το ίδιο αποφεύξιμο ζήτημα εμφανίζεται όλο και λιγότερο συχνά με την πάροδο του χρόνου. Αν οι αξιολογητές διορθώνουν συνεχώς το ίδιο πεδίο, θα πρέπει να αλλάξει η σύμβαση της πηγής. Αν απορρίπτουν συνεχώς συστάσεις για τον ίδιο λόγο, θα πρέπει να αλλάξουν τα όρια του prompt, της ανάκτησης, του μοντέλου ή της πολιτικής. Αν αναβαθμίζουν συνεχώς μια κατηγορία, θα πρέπει να αλλάξει η ιδιοκτησία. Αν εγκρίνουν συνεχώς χωρίς τροποποιήσεις, η δειγματοληψία θα πρέπει να επιβεβαιώσει αν η ουρά είναι χρήσιμη ή απλώς τυπική. Η αξιολόγηση δεν είναι το τέλος της ροής εργασίας. Είναι ένα από τα σημεία όπου η ροή εργασίας μαθαίνει.
Η μάθηση απαιτεί ταξινομία. Το σύστημα θα πρέπει να διακρίνει μεταξύ διόρθωσης γεγονότων, ελλιπών τεκμηρίων, ασάφειας πολιτικής, αναβάθμισης κινδύνου, βλάβης στον χρήστη, παραίσθησης του μοντέλου, σύγκρουσης πηγών, σύγχυσης στη διεπαφή και καθυστέρησης διαδικασίας. Ένα πεδίο ελεύθερου κειμένου μπορεί να είναι χρήσιμο, αλλά δεν θα πρέπει να σηκώνει όλο το βάρος. Οι κατηγορίες καθιστούν τα πρότυπα ορατά. Αποτρέπουν επίσης τη γνωστή άσκηση διακυβέρνησης όπου όλοι συμφωνούν ότι υπάρχουν ζητήματα και κανείς δεν μπορεί να τα μετρήσει χωρίς μια εβδομάδα και ένα δυνατό ποτό.
Η μάθηση απαιτεί επίσης ιδιοκτησία. Μια ομάδα μοντέλων μπορεί να διορθώσει ορισμένα ζητήματα. Μια ομάδα δεδομένων μπορεί να διορθώσει άλλα. Ένας υπεύθυνος πολιτικής πρέπει να διορθώσει τους ασαφείς κανόνες. Οι επιχειρήσεις πρέπει να διορθώσουν τον σχεδιασμό της ουράς. Οι νομικοί μπορεί να χρειαστεί να αποσαφηνίσουν τις υποχρεώσεις τήρησης αρχείων. Το προϊόν μπορεί να χρειαστεί να επανασχεδιάσει τη διεπαφή. Χωρίς ιδιοκτησία, οι γνώσεις από τις αξιολογήσεις γίνονται παρατηρήσεις, και οι παρατηρήσεις είναι εκεί όπου τα προβλήματα πηγαίνουν για να γίνουν ευγενικά.
Η αξιολόγηση κλειστού βρόχου αλλάζει τα κίνητρα. Οι αξιολογητές βλέπουν ότι η δουλειά τους έχει σημασία. Οι μηχανικοί βλέπουν πραγματικούς τρόπους αποτυχίας αντί για αφηρημένα παράπονα. Οι διευθυντές βλέπουν το κόστος της ασάφειας. Οι υπεύθυνοι πολιτικής βλέπουν πού αποτυγχάνουν οι κανόνες στην πράξη. Οι χρήστες λαμβάνουν καλύτερες εξηγήσεις. Το σύστημα τεχνητής νοημοσύνης γίνεται λιγότερο μυστηριώδες επειδή το ίδρυμα σταματά να αντιμετωπίζει την ανθρώπινη κρίση ως σφουγγαρίστρα και αρχίζει να την αντιμετωπίζει ως όργανο μέτρησης.
Ο αναθεωρητής δεν είναι ασπίδα ευθύνης
Υπάρχει ένας θεσμικός πειρασμός να τοποθετείται ένας ανθρώπινος αναθεωρητής στη διαδικασία, ώστε η ευθύνη να μπορεί να αποδοθεί σε ένα πρόσωπο. Το σύστημα το συνέστησε, αλλά ο άνθρωπος το ενέκρινε. Αυτό είναι νομικά, ηθικά και επιχειρησιακά επισφαλές. Αν ο άνθρωπος ήταν βιαστικός, ανεπαρκώς εκπαιδευμένος, χωρίς εξουσία, παραπλανημένος από τη διεπαφή, στερημένος αποδεικτικών στοιχείων ή τιμωρημένος για τη διαφωνία του, η έγκριση λέει περισσότερα για τον οργανισμό παρά για τον αναθεωρητή. Μια υπογραφή δεν εξαγνίζει μια κακή διαδικασία. Αποδεικνύει μόνο πού βρέθηκε η πένα.
Η χρηστή διακυβέρνηση προστατεύει τους αναθεωρητές, επειδή οι αναθεωρητές προστατεύουν όλους τους άλλους. Χρειάζονται δυνατότητα προσφυγής χωρίς αντίποινα, χρόνο για τις δύσκολες υποθέσεις, πρόσβαση σε ειδικούς και μια κουλτούρα που αντιμετωπίζει τη διαφωνία ως σήμα. Χρειάζονται σαφείς οδηγίες για το πότε το μοντέλο είναι συμβουλευτικό και πότε όχι. Χρειάζονται το δικαίωμα να πουν ότι η υπόθεση δεν μπορεί να αναθεωρηθεί επειδή λείπουν αποδεικτικά στοιχεία. Χρειάζονται υποστήριξη όταν οι ενδιαφερόμενοι αμφισβητούν τα αποτελέσματα. Διαφορετικά, ο οργανισμός δημιουργεί ένα μοναχικό σημείο ευθύνης και το αποκαλεί υπευθυνότητα.
Η ευημερία του αναθεωρητή δεν είναι διακοσμητικό στοιχείο. Η κόπωση, το ηθικό άγχος, η επαναλαμβανόμενη έκθεση σε δύσκολες υποθέσεις και η πίεση για εκκαθάριση ουρών επηρεάζουν την ποιότητα. Σε τομείς όπως η υγειονομική περίθαλψη, τα οικονομικά, οι κοινωνικές υπηρεσίες, η μετριοπάθεια περιεχομένου, η εκπαίδευση και η δημόσια διοίκηση, οι αναθεωρητές μπορεί να αντιμετωπίζουν αποφάσεις που επηρεάζουν πραγματικές ζωές. Το να αντιμετωπίζεται η δουλειά τους ως ένα τελικό κλικ παρανοεί τόσο το σύστημα όσο και τον άνθρωπο. Ένας κουρασμένος αναθεωρητής με κακή διεπαφή δεν είναι πλαίσιο διακυβέρνησης. Είναι ένα προβλέψιμο περιστατικό με μια καρέκλα.
Οι ηγέτες θα πρέπει να κάνουν ευθείες ερωτήσεις. Τι μπορούν να αρνηθούν οι αναθεωρητές. Τι συμβαίνει όταν διαφωνούν με το μοντέλο. Ποιος αναθεωρεί τις αποφάσεις των αναθεωρητών. Πώς αντιμετωπίζεται η ασυνέπεια. Πόσες υποθέσεις μπορούν να επεξεργαστούν με ασφάλεια. Ποιες αποφάσεις απαιτούν αναθεώρηση από δύο άτομα. Ποιες ενέργειες χρειάζονται προσφυγή σε ειδικό. Ποιες μετρήσεις θα αποκάλυπταν τη μηχανική έγκριση. Αυτές οι ερωτήσεις δεν είναι κατά του αυτοματισμού. Είναι το τίμημα για να καταστεί ο αυτοματισμός υπόλογος.
Η ανθρώπινη κρίση αξίζει καλύτερα συστήματα
Το επιχείρημα κατά της αναθεώρησης με τυπική επιβεβαίωση δεν είναι επιχείρημα κατά των ανθρώπων στις ροές εργασίας τεχνητής νοημοσύνης. Είναι το αντίθετο. Η ανθρώπινη κρίση είναι σπάνια, δαπανηρή, εξαρτώμενη από τα συμφραζόμενα και πολύτιμη. Θα πρέπει να χρησιμοποιείται εκεί όπου αλλάζει το νόημα, προστατεύει δικαιώματα, επιλύει την ασάφεια, διαχειρίζεται αμφισβητούμενες υποθέσεις, φέρνει εξειδικευμένη γνώση και λαμβάνει υπόλογες αποφάσεις. Δεν θα πρέπει να σπαταλιέται για να αντισταθμίζει τα ελλείποντα πεδία, τα αδιαφανή αποδεικτικά στοιχεία, τη λανθασμένη δρομολόγηση ή ένα μοντέλο που του επετράπη να μετατρέψει την αβεβαιότητα σε ουρά.
Τα καλά συστήματα σέβονται την ανθρώπινη κρίση προετοιμάζοντας την εργασία. Ταξινομούν τις υποθέσεις πριν από την εξέταση. Συγκεντρώνουν αποδεικτικά στοιχεία. Επισημαίνουν την αβεβαιότητα με ειλικρίνεια. Παρέχουν το πλαίσιο της πολιτικής. Διαχωρίζουν το προσχέδιο από την απόφαση. Επιτρέπουν τη διόρθωση. Διατηρούν τα σκεπτικά. Δρομολογούν τα επαναλαμβανόμενα ελαττώματα στους υπεύθυνους. Μετρούν την ποιότητα και την κόπωση. Καθιστούν την κλιμάκωση φυσιολογική. Καθιστούν την έγκριση ουσιαστική, επειδή η άρνηση ήταν δυνατή.
Αυτό είναι λιγότερο εντυπωσιακό από το να διακηρύσσει κανείς ανθρώπινη εποπτεία σε μια παρουσίαση διακυβέρνησης. Είναι όμως και πιο χρήσιμο. Το κοινό δεν θα εμπιστευτεί τα συστήματα τεχνητής νοημοσύνης επειδή μια διαφάνεια λέει ότι ένας άνθρωπος συμμετέχει. Το προσωπικό δεν θα τα εμπιστευτεί επειδή μια πολιτική λέει ότι η ευθύνη παραμένει ανθρώπινη. Η εμπιστοσύνη αναπτύσσεται όταν οι άνθρωποι βλέπουν ότι η εξέταση έχει ουσιαστική ισχύ: αρκετό χρόνο, αρκετά αποδεικτικά στοιχεία, αρκετή εξουσία και αρκετή μνήμη για να επισκευάσει ό,τι πάει στραβά. Η ισχύς δεν είναι πάντα ελκυστική στα διαγράμματα. Είναι όμως χρήσιμη όταν έρχεται αντιμέτωπη με την πραγματικότητα.
Το μάθημα είναι απλό. Η ανθρώπινη εξέταση δεν είναι ένα πλαίσιο ελέγχου. Είναι μια επιχειρησιακή ικανότητα. Έχει προσωπικό, εργαλεία, εξουσία, αποδεικτικά στοιχεία, αρχεία, βρόχους μάθησης και κουλτούρα. Αν την αντιμετωπίσετε ως πλαίσιο ελέγχου, ο οργανισμός αποκτά τυπική έγκριση με ανθρώπινα δακτυλικά αποτυπώματα πάνω στη μηχανική αβεβαιότητα. Αν την αντιμετωπίσετε ως ικανότητα, ο άνθρωπος κάνει αυτό για το οποίο υπάρχουν οι άνθρωποι: να κρίνει, να αμφισβητεί, να διορθώνει, να προστατεύει και να διδάσκει στο σύστημα πού η αυτοπεποίθησή του έχει υπερβεί την αιτιολόγησή της.