Γιατί η ακρίβεια μπορεί να γίνει μειονέκτημα
Το δεκαδικό που σταμάτησε την αίθουσα
Ο αριθμός στον πίνακα ελέγχου ήταν 97,38 τοις εκατό. Κανείς δεν τον αμφισβήτησε αρχικά. Οι αριθμοί με δύο δεκαδικά έχουν έναν τρόπο να μπαίνουν στις αίθουσες με καλύτερα παπούτσια από όλους τους άλλους. Η ομάδα εξέταζε μια αυτοματοποιημένη ροή εργασιών προτεραιοποίησης. Οι υποθέσεις πάνω από τη γραμμή προωθούνταν. Οι υποθέσεις κάτω από τη γραμμή περίμεναν. Το μοντέλο είχε βελτιωθεί, έλεγε το διάγραμμα. Η μέση εμπιστοσύνη είχε αυξηθεί. Η ουρά φαινόταν πιο τακτοποιημένη. Η συνάντηση είχε σχεδόν τελειώσει όταν ένας χειριστής ρώτησε αν το 97,38 σήμαινε ότι το σύστημα είχε δίκιο, ή μόνο ότι ήταν πολύ σίγουρο για την αναπαράσταση που του είχε δοθεί.
Η αίθουσα έγινε ήσυχη με τον συγκεκριμένο τρόπο που οι τεχνικές αίθουσες γίνονται ήσυχες όταν φτάνει μια χρήσιμη ενόχληση. Ο επιστήμονας δεδομένων εξήγησε τη βαθμονόμηση. Ο ιδιοκτήτης προϊόντος εξήγησε τον στόχο υπηρεσίας. Ο επικεφαλής λειτουργιών εξήγησε το ανεκτέλεστο υπόλοιπο. Το άτομο συμμόρφωσης ρώτησε πόσα άτομα επηρεάζονταν κοντά στο όριο. Κάποιος άνοιξε μια εξαγωγή. Τα δύο δεκαδικά δεν εξαφανίστηκαν, αλλά έχασαν την εξουσία τους. Ο αριθμός ήταν ακριβής. Δεν ήταν επαρκής.
Η ακρίβεια είναι μια σαγηνευτική αρετή στα τεχνικά συστήματα. Δίνει αίσθηση πειθαρχίας. Υποδηλώνει μέτρηση, επαναληψιμότητα και έλεγχο. Κάνει τους πίνακες ελέγχου να φαίνονται σοβαροί και βοηθά τις ομάδες να αποφεύγουν αόριστα επιχειρήματα. Σε πολλές περιπτώσεις, η ακρίβεια είναι απαραίτητη. Ένα όριο αισθητήρα, ένας οικονομικός υπολογισμός, μια δόση φαρμάκου, μια κρυπτογραφική σύγκριση, μια κίνηση ρομποτικής ή ένας προγραμματιστής χρονοδιαγράμματος μπορεί να αποτύχει σοβαρά όταν η ακρίβεια είναι ατημέλητη. Το πρόβλημα δεν είναι η ίδια η ακρίβεια. Το πρόβλημα είναι η ακρίβεια που ξεπερνά τα αποδεικτικά στοιχεία της.
Στις λειτουργίες τεχνητής νοημοσύνης, η ακρίβεια μπορεί να γίνει υποχρέωση όταν μετατρέπει την αβεβαιότητα σε μια τιμή που φαίνεται στενή και στη συνέχεια αφήνει μια ροή εργασιών να αντιμετωπίσει αυτή την τιμή ως αλήθεια. Μια βαθμολογία 0,92 μπορεί να είναι χρήσιμη. Μπορεί επίσης να είναι ένα μικρό κοστούμι που φοριέται από ελλιπή δεδομένα, μετατόπιση κατανομής, μια αδύναμη ετικέτα, ένα εύθραυστο όριο, μια μη δοκιμασμένη υπόθεση ή ένα όριο απόφασης του οποίου το ανθρώπινο κόστος δεν αποτιμήθηκε ποτέ. Ο κίνδυνος δεν είναι ότι ο αριθμός είναι λάθος. Ο κίνδυνος είναι ότι ο αριθμός είναι αρκετά ακριβής ώστε να σταματά τους ανθρώπους από το να ρωτούν τι σημαίνει.
Η ακρίβεια δεν είναι ακρίβεια
Η παλιά διάκριση εξακολουθεί να έχει σημασία. Η ακρίβεια περιγράφει τη λεπτότητα της μέτρησης ή τη συνέπεια της εξόδου. Η ακρίβεια περιγράφει την εγγύτητα σε αυτό που έχει σημασία. Ένα χαλασμένο ρολόι μπορεί να είναι ακριβές στην άρνησή του να κινηθεί. Ένας ταξινομητής μπορεί να παράγει σταθερές πιθανότητες από χαρακτηριστικά που χάνουν την πραγματική κατάσταση. Ένα μοντέλο κατάταξης μπορεί να είναι σταθερά λάθος για μια υποομάδα. Μια πρόβλεψη μπορεί να φέρει τρία δεκαδικά και να βασίζεται ακόμα στον κόσμο του χθες. Η ακρίβεια χωρίς ακρίβεια είναι τακτοποιημένο σφάλμα.
Τα επιχειρησιακά συστήματα συχνά θολώνουν αυτή τη διάκριση, επειδή τα ακριβή αποτελέσματα είναι πιο εύκολο να αυτοματοποιηθούν. Ένας αριθμός ξεπερνά ένα όριο. Μια υπόθεση προχωρά. Μια σύσταση γίνεται ενέργεια. Ένας χρήστης δρομολογείται, καθυστερεί, εγκρίνεται, αποκλείεται ή του ζητούνται περισσότερες πληροφορίες. Το μηχάνημα δεν γνωρίζει αν το δεκαδικό είναι επιστημονικά έντιμο. Ξέρει μόνο ότι η σύγκριση επέστρεψε αληθές. Γι' αυτό η σύγκριση αξίζει περισσότερη διακυβέρνηση από όση συνήθως της παρέχει ο πίνακας ελέγχου.
Η ακρίβεια επίσης δεν είναι μια ενιαία καθολική ιδιότητα. Ένα μοντέλο μπορεί να είναι ακριβές κατά μέσο όρο και αδύναμο ακριβώς εκεί όπου η απόφαση είναι επώδυνη. Μπορεί να αποδίδει καλά σε ιστορικά δεδομένα και άσχημα σε ένα νέο κανάλι. Μπορεί να είναι αξιόπιστο για συνηθισμένες περιπτώσεις και να μπερδεύεται με ακραίες περιπτώσεις που έχουν υψηλό κόστος. Μπορεί να ταξινομεί σωστά τις περιπτώσεις ενώ έχει κακή βαθμονόμηση. Μπορεί να είναι ακριβές για τον χώρο χαρακτηριστικών και ανακριβές για την ανθρώπινη κατάσταση. Οι μέσοι όροι είναι χρήσιμοι μέχρι να γίνουν κρυψώνες.
Το πρακτικό λάθος είναι να επιτρέπουμε σε ένα ακριβές σκορ να αντλεί κύρος από τα μαθηματικά που το περιβάλλουν και όχι από τα επιχειρησιακά στοιχεία που το περιβάλλουν. Το ερώτημα δεν είναι απλώς αν το μοντέλο είναι ακριβές. Το ερώτημα είναι ακριβές ως προς τι, για ποιον, υπό ποιες συνθήκες δεδομένων, σε ποιο όριο, με ποια διαδικασία αναθεώρησης και με ποιο κόστος όταν κάνει λάθος. Το δεκαδικό είναι η αρχή της συζήτησης, όχι ο πρόεδρός της.
Η ευθύνη εμφανίζεται στο όριο
Η ακρίβεια γίνεται επικίνδυνη στα όρια, επειδή τα όρια μετατρέπουν τις τιμές σε ενέργειες. Ένα σκορ κινδύνου 0,701 και ένα σκορ κινδύνου 0,699 μπορεί να είναι πρακτικά ταυτόσημα ως αποδεικτικά στοιχεία. Αν το όριο είναι 0,700, μπορούν να οδηγήσουν σε διαφορετικές ζωές για τις περιπτώσεις πίσω τους. Η μία προωθείται. Η άλλη περιμένει. Η μία παίρνει άνθρωπο. Η άλλη παίρνει πρότυπο. Η μία λαμβάνει δάνειο. Η άλλη λαμβάνει μια ευγενική άρνηση με μια διαδικασία ένστασης που μπορεί ή δεν μπορεί να βρεθεί πριν το μεσημέρι.
Δεν υπάρχει τίποτα εγγενώς λάθος με τα όρια. Οι επιχειρήσεις τα χρειάζονται. Οι ουρές πρέπει να ιεραρχούνται. Οι συναγερμοί πρέπει να ενεργοποιούνται. Οι έλεγχοι απάτης πρέπει να αποφασίζουν. Τα συστήματα ασφαλείας πρέπει να σταματούν. Το πρόβλημα είναι να προσποιούμαστε ότι το όριο είναι φυσικός νόμος επειδή μια ακριβής τιμή το ξεπέρασε. Ένα όριο είναι πολιτική ενσωματωμένη σε μηχανήματα. Χρειάζεται αιτιολογία, ιδιοκτήτη, στοιχεία, ζώνη αναθεώρησης, παρακολούθηση και έναν τρόπο αλλαγής χωρίς να ξαναγράφεται η ιστορία. Διαφορετικά είναι ένα μικρό συνοριακό πέρασμα χωρίς τελωνείο.
Οι ζώνες αναθεώρησης είναι ένα απλό αντίδοτο. Αντί να αντιμετωπίζουμε το 0,700 ως μαγικό γκρεμό, ορίζουμε ένα εύρος όπου το σύστημα διατηρεί την αβεβαιότητα και ζητά ανθρώπινη κρίση ή πρόσθετα στοιχεία. Το πλάτος αυτής της ζώνης εξαρτάται από το κόστος, την αναστρεψιμότητα, τη χωρητικότητα και την ποιότητα των στοιχείων. Μια σύσταση χαμηλού κόστους μπορεί να ανεχθεί μια στενή ζώνη. Μια απόφαση επιλεξιμότητας υψηλού αντίκτυπου δεν θα έπρεπε. Η ακρίβεια δεν αφαιρεί την ανάγκη για κρίση κοντά στο όριο. Μας λέει πού η κρίση είναι πιο πιθανό να έχει σημασία.
Ο χειριστής στη συνάντηση το κατάλαβε αυτό πριν χρησιμοποιήσει κανείς την επίσημη ορολογία. Ήξερε ότι οι περιπτώσεις κοντά στη γραμμή δεν ήταν ίδιες με τις περιπτώσεις μακριά από τη γραμμή. Ήξερε ότι το σύστημα είχε κάνει τη γραμμή να φαίνεται πιο καθαρή από ό,τι είναι η δουλειά. Αυτό το είδος επιχειρησιακής σοφίας συχνά αντιμετωπίζεται ως ανέκδοτο μέχρι να το επιβεβαιώσει μια μετρική. Θα μπορούσαμε να εξοικονομήσουμε χρόνο αν τη σεβόμασταν νωρίτερα.
Η επιχειρησιακή ακρίβεια μπορεί να κρύβει την ακατέργαστη ποιότητα των δεδομένων
Τα συστήματα τεχνητής νοημοσύνης συχνά παράγουν ακριβή αποτελέσματα από ακατέργαστα δεδομένα εισόδου. Η ετικέτα εκπαίδευσης μπορεί να ήταν μια ανθρώπινη απόφαση που λήφθηκε υπό χρονική πίεση. Το πεδίο προέλευσης μπορεί να σημαίνει διαφορετικά πράγματα σε διαφορετικές ομάδες. Μια τιμή που λείπει μπορεί να σημαίνει όχι, άγνωστο, δεν ρωτήθηκε, δεν ισχύει ή ότι το σενάριο μετεγκατάστασης είχε μια κακή μέρα. Μια ημερομηνία εγγράφου μπορεί να είναι η ημερομηνία δημιουργίας, η ημερομηνία υπογραφής, η ημερομηνία μεταφόρτωσης ή η ημερομηνία που κάποιος θυμήθηκε επιτέλους τον κωδικό πρόσβασης στην πύλη. Το μοντέλο δεν βιώνει αυτό το χάος ως αμηχανία. Το μετατρέπει σε χαρακτηριστικά.
Μόλις μετατραπεί, η ακατέργαστη φύση μπορεί να εξαφανιστεί από τα μάτια. Ένα διάνυσμα χαρακτηριστικών φαίνεται καθαρό. Μια βαθμολογία φαίνεται καθαρή. Ένα διάγραμμα φαίνεται καθαρό. Η επιχειρησιακή πραγματικότητα που παρήγαγε το δεδομένο εισόδου παραμένει βρώμικη. Έτσι η ακρίβεια ξεπλένει την αβεβαιότητα. Δεν ψεύδεται σκόπιμα. Μορφοποιεί την ασάφεια σε ένα σχήμα που τα κατώτερα συστήματα μπορούν να επεξεργαστούν, και τα κατώτερα συστήματα συχνά μπερδεύουν την επεξεργασιμότητα με την αλήθεια.
Οι αναγνώσιμες λειτουργίες τεχνητής νοημοσύνης θα πρέπει να διατηρούν την ακατέργαστη φύση ορατή εκεί όπου επηρεάζει τις αποφάσεις. Δείξτε την ποιότητα της πηγής. Διατηρήστε τη σημασιολογία των ελλείψεων. Παρακολουθήστε την προέλευση των ετικετών. Διαχωρίστε τα παρατηρημένα γεγονότα από τις εξαγόμενες τιμές. Σημειώστε τα παρωχημένα δεδομένα. Κρατήστε διαστήματα εμπιστοσύνης ή ζώνες όπου είναι χρήσιμα. Καταγράψτε πότε ένας άνθρωπος διόρθωσε μια τιμή. Αυτές οι λεπτομέρειες δεν είναι αισθητικές. Καθορίζουν αν ένα ακριβές αποτέλεσμα αξίζει δράση ή έλεγχο.
Τα ισχυρότερα συστήματα δεν λατρεύουν τα καθαρά δεδομένα. Ξέρουν πού τα δεδομένα είναι καθαρά, πού είναι απλώς τακτοποιημένα και πού είναι μια φήμη με όνομα στήλης. Αυτή η διάκριση έχει μεγαλύτερη σημασία από ένα ακόμη δεκαδικό ψηφίο. Ένα μοντέλο που βασίζεται σε ακατέργαστα δεδομένα μπορεί να είναι ακόμα χρήσιμο, αλλά μόνο αν η λειτουργία γύρω του θυμάται την ακατέργαστη φύση τους. Η λήθη είναι εκεί που αρχίζει η ευθύνη.
Η εμπιστοσύνη του επιλυτή δεν είναι θεσμική εμπιστοσύνη
Οι σύγχρονες στοίβες τεχνητής νοημοσύνης περιέχουν πολλούς επιλυτές: ταξινομητές, κατατάκτες, ανακτητές, βελτιστοποιητές, γλωσσικά μοντέλα, προγραμματιστές, μηχανές κανόνων και ανθρώπινους αναθεωρητές. Κάθε ένας μπορεί να παράγει τη δική του μορφή εμπιστοσύνης. Ένας ανακτητής μπορεί να κατατάξει ένα απόσπασμα υψηλά. Ένα μοντέλο μπορεί να απαντήσει με ευχέρεια. Ένας ταξινομητής μπορεί να αποδώσει πιθανότητα. Ένας προγραμματιστής μπορεί να βρει μια εφικτή διαδρομή. Αυτές οι εμπιστοσύνες είναι τοπικές. Μας λένε κάτι για την εσωτερική εργασία ενός στοιχείου. Δεν μας λένε αυτόματα ότι ο θεσμός θα πρέπει να δράσει.
Αυτή η διάκριση συχνά χάνεται επειδή η εμπιστοσύνη του στοιχείου είναι εύκολο να εμφανιστεί. Εμφανίζεται μια βαθμολογία ανάκτησης. Εμφανίζεται μια εμπιστοσύνη μοντέλου. Εμφανίζεται ένα εκατοστημόριο κατάταξης. Ο πίνακας ελέγχου γίνεται μια παρέλαση αριθμών που φαίνονται συγκρίσιμοι επειδή μοιράζονται την ίδια τυπογραφία. Δεν είναι συγκρίσιμοι. Μια βαθμολογία ομοιότητας δεν είναι βαθμολογία αλήθειας. Μια πιθανότητα δεν είναι ηθική άδεια. Η εμπιστοσύνη ενός βελτιστοποιητή διαδρομής δεν είναι δήλωση για τη δικαιοσύνη της εργασίας. Η ευχέρεια ενός γλωσσικού μοντέλου δεν είναι απόδειξη ότι η πηγή ήταν επαρκής.
Η θεσμική εμπιστοσύνη συναρμολογείται από επιμέρους αποδεικτικά στοιχεία, καθώς και από πολιτική, πλαίσιο, κόστος, αναστρεψιμότητα και λογοδοσία. Το επιμέρους σύστημα μπορεί να λέει «πιθανό». Το ίδρυμα πρέπει να αποφασίσει αν το «πιθανό» αρκεί για τη συγκεκριμένη ενέργεια. Η αποστολή μιας πρότασης χαμηλού ρίσκου μπορεί να είναι αποδεκτή. Η άρνηση μιας υπηρεσίας μπορεί να μην είναι. Η αναδιάταξη μιας ουράς μπορεί να είναι αποδεκτή αν υπάρχουν ένσταση και παρακολούθηση. Το κλείσιμο μιας υπόθεσης μπορεί να απαιτεί ισχυρότερες αποδείξεις. Η ακρίβεια πρέπει να τροφοδοτεί την κρίση του ιδρύματος, όχι να την υποκαθιστά.
Μια χρήσιμη αρχιτεκτονική διαχωρίζει τα τοπικά σήματα των επιμέρους συστημάτων από την επιχειρησιακή εξουσία. Καταγράφει ποιο σύστημα παρήγαγε ποιο σήμα, πώς βαθμονομήθηκε το σήμα, ποια πύλη πολιτικής το ερμήνευσε και ποιος φορέας αποδέχθηκε την τελική ενέργεια. Αυτό μπορεί να ακούγεται γραφειοκρατικό. Είναι λιγότερο γραφειοκρατικό από το να εξηγεί κανείς εκ των υστέρων ότι το σύστημα ενήργησε επειδή ένας αριθμός φαινόταν μεγάλος.
Η ακρίβεια μπορεί να κάνει την απόκλιση να μοιάζει με πρόοδο
Η απόκλιση σπάνια έρχεται με προειδοποίηση. Οι κατανομές των δεδομένων εισόδου μετατοπίζονται. Η συμπεριφορά των χρηστών αλλάζει. Μια πολιτική αλλάζει τη σημασία μιας ετικέτας. Ένα νέο κανάλι φέρνει διαφορετικές υποθέσεις. Το προσωπικό μαθαίνει πώς συμπεριφέρεται το σύστημα και προσαρμόζει τη δική του συμπεριφορά γύρω από αυτό. Μια φόρμα ανάντη επανασχεδιάζεται. Ένας προμηθευτής αλλάζει τις προεπιλογές. Μια ενημέρωση μοντέλου βελτιώνει μια μετρική και αποδυναμώνει μια άλλη. Ο πίνακας ελέγχου μπορεί να εξακολουθεί να δείχνει ακριβείς τιμές. Μπορεί ακόμη και να βελτιώνονται. Το ερώτημα είναι αν εξακολουθούν να μετρούν το ίδιο πράγμα.
Αυτή είναι μια κλασική παγίδα των επιχειρήσεων. Η ακρίβεια δίνει συνέχεια σε μια μετρική ενώ ο κόσμος από κάτω αλλάζει. Ο χρόνος αναμονής μειώνεται επειδή οι δύσκολες υποθέσεις δρομολογούνται αλλού. Μια βαθμολογία σιγουριάς ανεβαίνει επειδή το μοντέλο βλέπει περισσότερες εύκολες υποθέσεις. Ένα ποσοστό ψευδώς θετικών αποτελεσμάτων φαίνεται σταθερό επειδή οι ενστάσεις είναι πολύ δύσκολο να υποβληθούν. Ένα μοντέλο φαίνεται καλύτερο επειδή το σύνολο αξιολόγησης δεν μοιάζει πλέον με την πραγματική ζήτηση. Ο αριθμός είναι ακριβής. Η σύμβαση μέτρησης έχει σπάσει.
Οι καλές επιχειρήσεις συνδέουν τις μετρικές με συμβάσεις μέτρησης. Ποιον πληθυσμό αντιπροσωπεύει αυτή η μετρική. Ποιες είσοδοι περιλαμβάνονται. Ποιες εξαιρέσεις ισχύουν. Ποιες ετικέτες ορίζουν την επιτυχία. Πώς αντιμετωπίζονται τα καθυστερημένα αποτελέσματα. Ποιες υποομάδες παρακολουθούνται. Πόσο συχνά ελέγχεται η βαθμονόμηση. Ποιες επιχειρησιακές αλλαγές ακυρώνουν τη σύγκριση. Χωρίς αυτή τη σύμβαση, η ακρίβεια μπορεί να γίνει μια ψευδαίσθηση συνέχειας. Η γραμμή του γραφήματος είναι ομαλή επειδή ο ορισμός μετακινήθηκε σιωπηλά από κάτω.
Η παρακολούθηση της απόκλισης θα πρέπει να περιλαμβάνει και ανθρώπινα σήματα. Οι χειριστές παρακάμπτουν το σύστημα πιο συχνά; Οι χρήστες υποβάλλουν ενστάσεις; Αλλάζουν οι κλήσεις υποστήριξης; Δημιουργούν οι ομάδες παράλληλα υπολογιστικά φύλλα; Συγκεντρώνονται οι υποθέσεις κοντά στα όρια; Παράγουν ορισμένες πηγές παρωχημένα δεδομένα; Η ανθρώπινη συμπεριφορά συχνά ανιχνεύει την απόκλιση πριν από τις συγκεντρωτικές μετρικές. Αν το μοντέλο είναι ακριβές και οι άνθρωποι είναι ανήσυχοι, μην υποθέτετε ότι οι άνθρωποι είναι το θορυβώδες μέρος.
Η ευθύνη της υπερπροσαρμογής στις λειτουργίες
Η ακρίβεια μπορεί να παρασύρει τις ομάδες να βελτιστοποιούν το μετρούμενο μέρος ενός συστήματος μέχρι το μη μετρούμενο μέρος να αρχίσει να πληρώνει το τίμημα. Ένα μοντέλο δρομολόγησης μειώνει τον μέσο χρόνο διαχείρισης στέλνοντας πολύπλοκες υποθέσεις σε μια εξειδικευμένη ουρά που πλέον εξαντλείται. Ένα όριο απάτης μειώνει τις απώλειες αλλά αυξάνει τους ψευδείς αποκλεισμούς σε πελάτες που στη συνέχεια αποχωρούν. Ένας προγνωστικός δείκτης συντήρησης μειώνει τους ελέγχους έως ότου οι σπάνιες βλάβες γίνουν πιο σοβαρές. Ένας ταξινομητής περιεχομένου βελτιώνει την ακρίβεια στο σημείο αναφοράς ενώ η υποστήριξη λαμβάνει περισσότερες μπερδεμένες ακραίες περιπτώσεις. Η μετρική βελτιώνεται. Το σύστημα γίνεται λιγότερο υγιές.
Αυτή είναι η λειτουργική υπερπροσαρμογή. Δεν είναι απλώς πρόβλημα μοντελοποίησης. Συμβαίνει όταν ένας οργανισμός συντονίζεται γύρω από ακριβείς μετρικές που δεν αντιπροσωπεύουν ολόκληρη την αποστολή. Όσο πιο ακριβής και συχνή είναι η μετρική, τόσο ισχυρότερος είναι ο πειρασμός. Οι άνθρωποι διαχειρίζονται ό,τι μετράται. Οι μηχανές βελτιστοποιούν ό,τι επιβραβεύεται. Και τα δύο μπορούν να παράγουν εξαιρετική τοπική απόδοση και κακή συμπεριφορά συστήματος. Ο πίνακας ελέγχου δεν θα ζητήσει συγγνώμη. Είναι απασχολημένος με το να είναι πράσινος.
Το αντίδοτο είναι να συνδυάσουμε την ακρίβεια με αντιμετρικές. Αν η ταχύτητα βελτιώνεται, παρακολουθήστε την ποιότητα, τις επανεργασίες, τις ενστάσεις και τον φόρτο του προσωπικού. Αν το ποσοστό αυτοματοποίησης βελτιώνεται, παρακολουθήστε τη σοβαρότητα των σφαλμάτων και τη βλάβη στους χρήστες. Αν το κόστος μειώνεται, παρακολουθήστε την ανθεκτικότητα και την αποχώρηση. Αν η εμπιστοσύνη του μοντέλου αυξάνεται, παρακολουθήστε τη βαθμονόμηση και την απόδοση ανά υποομάδα. Αν η ακρίβεια βελτιώνεται σε ένα σημείο αναφοράς, παρακολουθήστε τη μετατόπιση σε πραγματικό χρόνο. Κάθε ακριβής στόχος χρειάζεται γείτονες που μπορούν να διαμαρτυρηθούν.
Οι αντιμετρικές δεν είναι τρόπος να αποφύγουμε αποφάσεις. Είναι ο τρόπος με τον οποίο οι αποφάσεις παραμένουν έντιμες. Οι λειτουργίες περιλαμβάνουν πάντα αντισταθμίσεις. Το πρόβλημα δεν είναι η επιλογή. Το πρόβλημα είναι να επιλέγεις ενώ μια ακριβής μετρική κρύβει το μέρος του κόστους που μεταφέρεται αλλού. Σε σοβαρά συστήματα, το απλήρωτο κόστος συνήθως βρίσκει έναν άνθρωπο.
Η ακρίβεια χρειάζεται ένα πλαίσιο διακυβέρνησης
Η λύση δεν είναι να στρογγυλοποιούμε κάθε αριθμό μέχρι να μην βλέπει κανείς τίποτα. Η ασάφεια δεν είναι πιο ανθρώπινη απλώς επειδή έχει λιγότερα δεκαδικά ψηφία. Η λύση είναι ένα πλαίσιο διακυβέρνησης γύρω από την ακρίβεια. Μια ακριβής τιμή θα πρέπει να συνοδεύεται από μεταδεδομένα: πηγή, χρόνο, πληθυσμό, βαθμονόμηση, διάστημα εμπιστοσύνης ή ζώνη αβεβαιότητας όπου είναι χρήσιμο, όριο απόφασης, πολιτική αναθεώρησης, γνωστούς περιορισμούς, υπεύθυνο και αποδεικτικά στοιχεία πρόσφατης επικύρωσης. Αυτό ακούγεται βαρύ μέχρι να συγκριθεί με το βάρος ενός ακριβούς λάθους.
Το πλαίσιο επιτρέπει σε διαφορετικούς αναγνώστες να χρησιμοποιούν την ακρίβεια υπεύθυνα. Ένας χειριστής βλέπει αν μια υπόθεση είναι κοντά στο όριο. Ένας διευθυντής βλέπει αν η μετρική εξακολουθεί να αντιπροσωπεύει τον προβλεπόμενο πληθυσμό. Ένας ελεγκτής βλέπει γιατί συνέβη η ενέργεια. Ένας προγραμματιστής βλέπει ποια είσοδος άλλαξε. Ένας χρήστης λαμβάνει μια εξήγηση που δεν προσποιείται ότι το σύστημα ανακάλυψε το πεπρωμένο. Ο αριθμός παραμένει χρήσιμος. Σταματά να ταξιδεύει μόνος.
Υπάρχει μια πρόκληση σχεδιασμού. Πάρα πολλά μεταδεδομένα παντού γίνονται ομίχλη με ετικέτες. Η σωστή διεπαφή αποκαλύπτει το πλαίσιο ακρίβειας σταδιακά. Η κύρια προβολή δείχνει την τιμή και αν είναι ασφαλής, παρωχημένη, αβέβαιη ή κοντά σε ζώνη αναθεώρησης. Η λεπτομερής προβολή δείχνει τα αποδεικτικά στοιχεία. Η προβολή ελέγχου δείχνει εκδόσεις και γενεαλογία. Η προβολή λειτουργιών δείχνει μετατόπιση και πίεση στα όρια. Διαφορετικοί αναγνώστες χρειάζονται διαφορετικές πόρτες στην ίδια αλήθεια.
Εδώ συναντώνται επίσης η πειθαρχία του προϊόντος και της μηχανικής. Δεν αρκεί η κάρτα μοντέλου να αναφέρει την αβεβαιότητα ενώ η ροή εργασίας μετατρέπει κάθε βαθμολογία σε άκαμπτη ενέργεια. Δεν αρκεί μια συμβουλή εργαλείου στον πίνακα ελέγχου να εξηγεί τη βαθμονόμηση ενώ το API επιστρέφει ένα γυμνό δεκαδικό. Η ακρίβεια πρέπει να διέπεται στο σημείο χρήσης. Διαφορετικά, το σύστημα τεκμηριώνει ευγενικά την προσοχή και στη συνέχεια την αγνοεί.
Μαθαίνοντας να είμαστε ακριβείς ως προς την αβεβαιότητα
Η ώριμη στάση δεν είναι κατά της ακρίβειας. Είναι ακρίβεια ως προς την αβεβαιότητα. Αντί να προσποιείστε ότι μια βαθμολογία είναι γεγονός, δείξτε τι είδους ισχυρισμός είναι. Είναι εκτίμηση, κατάταξη, πιθανότητα, ομοιότητα, πρόβλεψη, μέτρηση ή αποτέλεσμα πολιτικής. Ποια είναι η αβεβαιότητα. Ποιο είναι το κόστος του να ενεργήσετε τώρα. Ποιο είναι το κόστος της αναμονής. Ποια στοιχεία θα άλλαζαν την απόφαση. Ποιες περιπτώσεις είναι αρκετά κοντά στο όριο ώστε το σύστημα να ζητά βοήθεια. Αυτές οι ερωτήσεις κάνουν την ακρίβεια πιο χρήσιμη, όχι λιγότερο.
Οι ομάδες μπορούν να ενσωματώσουν αυτή τη στάση στην καθημερινή λειτουργία. Η αξιολόγηση θα πρέπει να περιλαμβάνει βαθμονόμηση, συμπεριφορά υποομάδων, ευαισθησία κατωφλίου και καθυστέρηση αποτελεσμάτων. Η παρακολούθηση θα πρέπει να καταγράφει κατανομές, όγκο κοντά στο όριο, παρακάμψεις, ενστάσεις, παρωχημένες πηγές και παρενέργειες. Οι διεπαφές θα πρέπει να διακρίνουν το σήμα από την απόφαση. Οι ανασκοπήσεις συμβάντων θα πρέπει να εξετάζουν αν οι ακριβείς τιμές έκρυψαν αβεβαιότητα. Οι προμήθειες θα πρέπει να ρωτούν πώς ένα εργαλείο αποκαλύπτει την εμπιστοσύνη και τα όρια, όχι μόνο αν έχει βαθμολογία εμπιστοσύνης. Μια βαθμολογία εμπιστοσύνης χωρίς πειθαρχία εμπιστοσύνης είναι απλώς ένα μικρό σήμα σε μια μεγαλύτερη εικασία.
Υπάρχει και ένα πολιτισμικό κομμάτι. Οι οργανισμοί πρέπει να επιτρέπουν στους ανθρώπους να αμφισβητούν ακριβείς αριθμούς χωρίς να αντιμετωπίζονται ως εχθροί των δεδομένων. Ο χειριστής που ρωτά τι σημαίνει το 97.38 δεν επιβραδύνει την επιστήμη. Προστατεύει τη γέφυρα μεταξύ μέτρησης και δράσης. Μια υγιής τεχνική κουλτούρα κάνει χώρο για αυτή την ερώτηση. Μια ανθυγιεινή δείχνει τον πίνακα ελέγχου και κηρύσσει τη συνάντηση λήξασα.
Η ακρίβεια κερδίζει εμπιστοσύνη όταν παραμένει ταπεινή. Λέει τι μετρήθηκε, με πόση λεπτομέρεια, υπό ποιες υποθέσεις, πόσο πρόσφατα, με ποιο σφάλμα και τι πρέπει να συμβεί κοντά στο όριο. Αυτό είναι λιγότερο εντυπωσιακό από μια καθαρή βαθμολογία. Είναι όμως και πιο χρήσιμο. Τα συστήματα δεν γίνονται ασφαλέστερα επειδή φαίνονται βέβαια. Γίνονται ασφαλέστερα όταν ξέρουν πότε η βεβαιότητα είναι δικαιολογημένη.
Ο αριθμός και η δουλειά
Το δεκαδικό στη συνάντηση δεν χρειαζόταν να αφαιρεθεί. Χρειαζόταν να μπει στη θέση του. Η ομάδα κράτησε τη βαθμολογία, πρόσθεσε μια ζώνη ανασκόπησης, διαχώρισε την εμπιστοσύνη από τη δράση, παρακολούθησε τις περιπτώσεις κοντά στο κατώφλι και άλλαξε τον πίνακα ελέγχου ώστε οι χειριστές να βλέπουν την πρόσφατη κατάσταση των πηγών και τη βαθμονόμηση. Η δουλειά έγινε λιγότερο κομψή και πιο ειλικρινής. Αυτή είναι συνήθως μια καλή ανταλλαγή.
Η ακρίβεια είναι ένα από τα καλύτερα εργαλεία που έχουμε για τη λειτουργία πολύπλοκων συστημάτων. Μας επιτρέπει να ανιχνεύουμε μικρές αλλαγές, να συγκρίνουμε επιλογές, να αυτοματοποιούμε με ασφάλεια, να κατανέμουμε την περιορισμένη προσοχή και να βελτιωνόμαστε με την πάροδο του χρόνου. Αλλά η ίδια ακρίβεια μπορεί να γίνει υποχρέωση όταν ξεφεύγει από το πλαίσιο μέτρησής της και αρχίζει να κυβερνά τους ανθρώπους σαν κάθε δεκαδικό να ήταν ένα κομμάτι αλήθειας. Οι λειτουργίες τεχνητής νοημοσύνης είναι γεμάτες από αυτόν τον κίνδυνο επειδή μετατρέπουν ακατάστατα στοιχεία σε ρέουσες, αριθμητικές και αξιοποιήσιμες επιφάνειες.
Η απάντηση δεν είναι να δυσπιστούμε στους αριθμούς. Η απάντηση είναι να σταματήσουμε να αφήνουμε τους αριθμούς να ταξιδεύουν χωρίς διαβατήριο. Ένα ακριβές αποτέλεσμα θα πρέπει να φέρει την πηγή του, την αβεβαιότητά του, τα όριά του, τον ιδιοκτήτη του και το κόστος του σφάλματος. Θα πρέπει να προσκαλεί σε έλεγχο κοντά σε κρίσιμα σημεία. Θα πρέπει να παρακολουθείται για αποκλίσεις. Θα πρέπει να παραμένει συνδεδεμένο με τον ανθρώπινο και θεσμικό σκοπό που καλείται να εξυπηρετήσει.
Η ακρίβεια είναι χρήσιμη όταν οξύνει την προσοχή. Γίνεται επικίνδυνη όταν περιορίζει την ευθύνη. Η διαφορά είναι μια επιλογή σχεδιασμού λειτουργίας, όχι μια μαθηματική μοίρα.