Η εμπιστοσύνη του μοντέλου δεν είναι θεσμική εμπιστοσύνη
Η σίγουρη απάντηση που κανείς δεν ήθελε να αναλάβει
Το μοντέλο ήταν σίγουρο. Πολύ σίγουρο. Επέστρεψε 0,94, επισήμανε τρία υποστηρικτικά αποσπάσματα και συνέστησε ότι η υπόθεση μπορούσε να κλείσει χωρίς κλιμάκωση. Η ομάδα επιχειρήσεων περίμενε αυτή τη στιγμή. Το ανεκτέλεστο ήταν άσχημο, το παράθυρο εξυπηρέτησης ήταν στενό και ο νέος βοηθός είχε εκπαιδευτεί, αξιολογηθεί, ρυθμιστεί, ευλογηθεί από μια επιτροπή καθοδήγησης και παρουσιαστεί με ένα διάγραμμα που ανέβαινε ευγενικά από αριστερά προς τα δεξιά. Μια βαθμολογία 0,94 έμοιαζε με άδεια να ανασάνεις.
Τότε ο χειριστής της υπόθεσης συνοφρυώθηκε. Τα υποστηρικτικά αποσπάσματα προέρχονταν από το σωστό έγγραφο πολιτικής, αλλά όχι από την έκδοση που είχε τεθεί σε ισχύ την προηγούμενη εβδομάδα. Από το αρχείο του πελάτη έλειπε μια πρόσφατη διόρθωση. Ο κανόνας κλιμάκωσης εξαρτιόταν από μια τοπική εξαίρεση που δεν υπήρχε στο ευρετήριο ανάκτησης. Το μοντέλο είχε απαντήσει στην ερώτηση που έβλεπε. Ο οργανισμός έπρεπε να λογοδοτήσει για την ενέργεια που θα ακολουθούσε. Αυτά δεν είναι το ίδιο πράγμα.
Η αίθουσα έκανε ό,τι κάνουν οι αίθουσες όταν η σιγουριά συναντά την ευθύνη. Κάποιος ρώτησε αν η βαθμολογία ήταν βαθμονομημένη. Κάποιος άλλος ρώτησε αν το μοντέλο είχε πρόσβαση στη νέα πολιτική. Ένας διευθυντής ρώτησε τι θα συνέβαινε αν έκλειναν την υπόθεση και έφτανε μια έφεση. Ένας προγραμματιστής είπε ότι ο βοηθός δεν είχε δικαίωμα εγγραφής, κάτι που ήταν αλήθεια και όχι εντελώς σχετικό. Το σύστημα μπορούσε παρόλα αυτά να διαμορφώσει την ανθρώπινη απόφαση. Μπορούσε να βάλει το χέρι του στη ζυγαριά των επιχειρήσεων ενώ τεχνικά δεν άγγιζε τίποτα. Αυτό είναι ένα δημοφιλές κόλπο μεταξύ σοβαρών εργαλείων.
Η σιγουριά του μοντέλου δεν είναι θεσμική σιγουριά. Η σιγουριά του μοντέλου λέει κάτι για την εκτίμηση του συστήματος για τη δική του έξοδο υπό τις συνθήκες που αντιπροσωπεύονται από την εκπαίδευση, την ανάκτηση, την προτροπή ή τη μέθοδο βαθμολόγησής του. Η θεσμική σιγουριά ρωτά αν ο οργανισμός δικαιολογείται να ενεργήσει βάσει αυτής της εξόδου σε αυτή την υπόθεση, αυτή τη στιγμή, υπό αυτή την πολιτική, με αυτά τα αποδεικτικά στοιχεία, μέσω αυτής της ροής εργασίας, για αυτό το άτομο, με αυτή τη διαδρομή ανάκαμψης. Το ένα είναι ένα σήμα. Το άλλο είναι μια ευθύνη.
Τι λέει πραγματικά η σιγουριά του μοντέλου
Η σιγουριά είναι μια υπερφορτωμένη λέξη. Σε έναν ταξινομητή, μπορεί να είναι μια βαθμολογία που μοιάζει με πιθανότητα και αποδίδεται στην κορυφαία ετικέτα. Σε ένα σύστημα γλωσσικού μοντέλου, μπορεί να είναι μια παράγωγη εκτίμηση, μια βαθμολογία ομοιότητας, μια έξοδος ανακατάταξης, μια ευρετική αβεβαιότητας, ένα βαθμονομημένο περιτύλιγμα ή απλώς η ορατή λάμψη της παραγόμενης απάντησης. Μερικές φορές είναι μαθηματικά σημαντική. Μερικές φορές είναι ένα σήμα φτιαγμένο από δονήσεις και δεκαδικά. Το δεκαδικό είναι το επικίνδυνο μέρος. Οι άνθρωποι γίνονται υπάκουοι όταν ένας αριθμός έχει δύο ψηφία μετά την υποδιαστολή.
Μια σωστή βαθμολογία εμπιστοσύνης χρειάζεται βαθμονόμηση. Αν το σύστημα δηλώνει 80 τοις εκατό σιγουριά σε ένα σύνολο περιπτώσεων, περίπου το 80 τοις εκατό αυτών των προβλέψεων θα πρέπει να είναι σωστές με τον τρόπο που ορίζει η μετρική την ορθότητα. Η βαθμονόμηση δεν είναι μαγεία. Εξαρτάται από το σύνολο αξιολόγησης, τον πληθυσμό, τον ορισμό της εργασίας, την ποιότητα των ετικετών και από το αν η πραγματική λειτουργία εξακολουθεί να μοιάζει με τις συνθήκες δοκιμής. Ένα καλά βαθμονομημένο μοντέλο σε έναν τομέα μπορεί να γίνει κακώς βαθμονομημένο όταν αλλάξει η ροή εργασίας, αλλάξει ο πληθυσμός των χρηστών ή τα έγγραφα πηγής αρχίσουν να φορούν νέα ονόματα επειδή μια επιτροπή ανακάλυψε την επωνυμία.
Ακόμη και η βαθμονομημένη εμπιστοσύνη είναι περιορισμένη. Μπορεί να λέει ότι το μοντέλο επιλέγει συχνά τη σωστή ετικέτα όταν παρουσιάζονται πλήρη δεδομένα ενός οικείου είδους. Δεν λέει ότι η πολιτική είναι επίκαιρη, ότι τα δεδομένα είναι νόμιμα εντός πεδίου εφαρμογής, ότι η επακόλουθη ενέργεια είναι αναλογική, ότι ο ανθρώπινος χειριστής κατανοεί την αβεβαιότητα ή ότι ο οργανισμός μπορεί να διορθώσει τη βλάβη. Ένα μοντέλο μπορεί να είναι στατιστικά σίγουρο και επιχειρησιακά ανεπαρκές. Η βαθμολογία είναι ένας χρήσιμος μάρτυρας. Δεν είναι ο δικαστής, ο γραμματέας, ο δικαστικός επιμελητής και το εφετείο.
Τα συστήματα γλωσσικών μοντέλων περιπλέκουν περαιτέρω αυτό το ζήτημα, επειδή η ευφράδεια μεταμφιέζεται σε εμπιστοσύνη. Ένα μοντέλο μπορεί να γράψει μια προσεκτική απάντηση με τον τόνο ενός ανώτερου δημοσίου υπαλλήλου και να κάνει λάθος στη μία διάταξη που έχει σημασία. Μια διστακτική απάντηση μπορεί να είναι σωστή. Μια σίγουρη απάντηση μπορεί να είναι μια καλοντυμένη εικασία. Ο επιχειρησιακός σχεδιασμός πρέπει επομένως να διακρίνει την έκφραση του μοντέλου από την εγγύηση του μοντέλου. Το ερώτημα δεν είναι πόσο σίγουρο ακούγεται το αποτέλεσμα. Το ερώτημα είναι ποια στοιχεία καθιστούν τον θεσμό δικαιούχο να το χρησιμοποιήσει.
Η θεσμική εμπιστοσύνη έχει περισσότερα μέρη
Ένας θεσμός αποκτά εμπιστοσύνη σε μια αυτοματοποιημένη ή υποβοηθούμενη απόφαση μόνο όταν ευθυγραμμίζονται αρκετές προϋποθέσεις. Τα στοιχεία είναι σχετικά και επίκαιρα. Το μοντέλο ή ο κανόνας ισχύει για αυτό το είδος υπόθεσης. Η πολιτική είναι γνωστή και ενεργή. Η ροή εργασίας έχει εξουσία να ενεργήσει. Ο χειριστής μπορεί να δει την αβεβαιότητα. Το αρχείο μπορεί να επιθεωρηθεί αργότερα. Το ενδιαφερόμενο άτομο έχει τρόπο να αμφισβητήσει ή να διορθώσει το αποτέλεσμα όπου εμπλέκονται δικαιώματα ή σοβαρά συμφέροντα. Οι λειτουργίες μπορούν να ανιχνεύσουν την απόκλιση, να θέσουν σε παύση το σύστημα και να ανακάμψουν από λάθη. Καμία από αυτές τις προϋποθέσεις δεν περιέχεται σε μια ακατέργαστη βαθμολογία εμπιστοσύνης του μοντέλου.
Γι' αυτό μια απάντηση 0.94 μπορεί να εξακολουθεί να είναι ένα όχι. Εάν το αρχείο πηγής είναι παρωχημένο, ο θεσμός δεν πρέπει να ενεργήσει. Εάν το μοντέλο είναι εκτός πεδίου εφαρμογής, δεν πρέπει να ενεργήσει. Εάν η βαθμολογία εμπιστοσύνης βαθμονομήθηκε σε διαφορετικό πληθυσμό, δεν πρέπει να ενεργήσει χωρίς πρόσθετους ελέγχους. Εάν η επακόλουθη ενέργεια είναι μη αναστρέψιμη, το όριο για τη θεσμική εμπιστοσύνη αυξάνεται. Εάν ένας άνθρωπος δεν μπορεί να καταλάβει γιατί έγινε η σύσταση, ο θεσμός μπορεί να χρειαστεί μια διαδρομή επανεξέτασης ακόμη και όταν η βαθμολογία είναι υψηλή. Η βαθμολογία είναι ένα συστατικό, όχι ένα γεύμα.
Ισχύει και το αντίστροφο. Ένα μοντέλο με μέτρια εμπιστοσύνη μπορεί να υποστηρίξει υψηλή θεσμική εμπιστοσύνη όταν η ροή εργασίας έχει σχεδιαστεί κατάλληλα. Μια σύσταση 0.62 μπορεί να αρκεί για να δρομολογηθεί μια υπόθεση σε έναν ειδικό, επειδή η συνέπεια είναι η προσοχή και όχι η άρνηση. Μια περίληψη χαμηλής εμπιστοσύνης μπορεί να βοηθήσει έναν εργαζόμενο να βρει σχετικά έγγραφα γρηγορότερα, εάν η διεπαφή την επισημαίνει σαφώς ως οδηγό και όχι ως συμπέρασμα. Η αβεβαιότητα δεν είναι αποτυχία όταν το σύστημα γνωρίζει τι είδους ενέργεια επιτρέπεται να υποστηρίξει η αβεβαιότητα.
Η θεσμική εμπιστοσύνη είναι επομένως ειδική ως προς την ενέργεια. Το ίδιο αποτέλεσμα του μοντέλου μπορεί να είναι αποδεκτό για βοήθεια αναζήτησης, αμφισβητήσιμο για ιεράρχηση και απαράδεκτο για αυτόματη άρνηση. Μπορεί να είναι εντάξει για εσωτερική διαλογή αλλά όχι για εξωτερική εξήγηση. Μπορεί να είναι χρήσιμο κατά τη διάρκεια της έρευνας αλλά όχι αρκετό για την επιβολή. Οι σοβαρές λειτουργίες AI δεν ρωτούν αν το μοντέλο είναι γενικά σίγουρο. Ρωτούν για τι είναι αρκετά σίγουρος ο οργανισμός να κάνει.
Ο κίνδυνος της νομιμοποίησης της αβεβαιότητας
Η νομιμοποίηση της αβεβαιότητας συμβαίνει όταν η αβεβαιότητα μετατρέπεται σε εξουσία καθώς διακινείται μέσα στον οργανισμό. Ένα μοντέλο εκπέμπει μια πιθανότητα. Ένας πίνακας ελέγχου τη στρογγυλοποιεί. Μια ροή εργασίας τη μετατρέπει σε πράσινο. Ένας διευθυντής την αποκαλεί σύσταση. Ένας εργαζόμενος τη βιώνει ως αναμενόμενη. Ένας ελεγκτής αργότερα διαβάζει τη σημείωση της υπόθεσης και βλέπει ότι η απόφαση υποστηρίχθηκε από τεχνητή νοημοσύνη. Σε κάθε βήμα η αβεβαιότητα χάνει λίγο βάρος και κερδίζει λίγο κύρος. Στο τέλος, μια στατιστική ένδειξη έχει φορέσει κοστούμι.
Αυτή η νομιμοποίηση σπάνια είναι κακόβουλη. Συμβαίνει επειδή οι οργανισμοί αγαπούν τις σαφείς καταστάσεις. Οι ουρές χρειάζονται προτεραιότητες. Το προσωπικό χρειάζεται οδηγίες. Οι διευθυντές χρειάζονται αναφορές. Τα συστήματα χρειάζονται κουμπιά. Έτσι, μια βαθμολογία γίνεται ετικέτα, μια ετικέτα γίνεται διαδρομή, μια διαδρομή γίνεται στόχος απόδοσης και ένας στόχος απόδοσης γίνεται πολιτισμική προσδοκία. Το μοντέλο μπορεί να περιγράφεται ακόμη ως συμβουλευτικό, αλλά μια συμβουλή που όλοι τιμωρούνται αν αγνοήσουν δεν είναι συμβουλή. Είναι εντολή με πιο μαλακό καπέλο.
Οι διεπαφές μπορούν να επιταχύνουν τη νομιμοποίηση. Τα πράσινα σήματα, οι διατυπώσεις με αυτοπεποίθηση, τα προεπιλεγμένα κουμπιά αποδοχής, τα κρυφά πάνελ αποδεικτικών στοιχείων και οι ελλιπείς εξηγήσεις αβεβαιότητας κάνουν την πρόταση του μοντέλου να φαίνεται πιο έγκυρη από ό,τι είναι. Οι μετρήσεις μπορούν να κάνουν το ίδιο. Αν οι ομάδες επιβραβεύονται για την απόδοση, θα μάθουν να αποδέχονται τις συστάσεις, εκτός αν το σύστημα καθιστά τη διαφωνία εύκολη και θεμιτή. Η εκπαίδευση μπορεί επίσης να συμβάλει, ειδικά όταν οι άνθρωποι ενημερώνονται ότι το μοντέλο έχει επικυρωθεί χωρίς να τους λένε πού τελειώνει η επικύρωση.
Η πρόληψη της νομιμοποίησης της αβεβαιότητας απαιτεί τριβή στα σωστά σημεία. Όχι τυχαία γραφειοκρατία, αλλά ουσιαστικό διαχωρισμό μεταξύ σήματος και απόφασης. Η διεπαφή θα πρέπει να δείχνει την αβεβαιότητα μαζί με την ποιότητα των πηγών, το πεδίο εφαρμογής της πολιτικής και τους γνωστούς περιορισμούς. Η ροή εργασίας θα πρέπει να διακρίνει μεταξύ σύστασης, απαίτησης και ενέργειας. Η παράκαμψη θα πρέπει να είναι δυνατή και κατατοπιστική. Η αναθεώρηση θα πρέπει να ενεργοποιείται από τις συνέπειες, όχι μόνο από τη χαμηλή βαθμολογία. Το αρχείο θα πρέπει να διατηρεί τι είπε το μοντέλο και τι αποφάσισε ο θεσμός, επειδή αυτά μπορεί να διαφέρουν και συχνά θα έπρεπε.
Η αβεβαιότητα αποτυγχάνει με λειτουργικούς τρόπους
Η αβεβαιότητα του μοντέλου μπορεί να αποτύχει για λόγους που δεν εμφανίζονται ποτέ σε ένα σημείο αναφοράς. Το μοντέλο μπορεί να είναι βαθμονομημένο σε πλήρεις υποθέσεις, ενώ η παραγωγή είναι γεμάτη με ελλιπή αρχεία. Η ανάκτηση μπορεί να χάσει το ένα έγγραφο που άλλαξε την απάντηση. Μια ενημέρωση πολιτικής μπορεί να υστερεί σε σχέση με το ευρετήριο. Ένα πεδίο φόρμας μπορεί να χρησιμοποιείται διαφορετικά από μία περιφέρεια. Μια μετάφραση μπορεί να εξομαλύνει μια νομική διάκριση. Ένας προμηθευτής μπορεί να αλλάξει μια ανάντη ταξινομία. Μια ανθρώπινη ομάδα μπορεί να προσαρμοστεί στο μοντέλο και να αλλάξει την κατανομή των δεδομένων. Η παραγωγή έχει το χάρισμα να βρίσκει το μέρος της αξιολόγησης που κανείς δεν κάλεσε στη συνάντηση.
Αυτές οι αποτυχίες είναι λειτουργικές, όχι μόνο στατιστικές. Προκύπτουν από την επικαιρότητα των δεδομένων, τη σύζευξη των ροών εργασίας, τον χρονισμό της παράδοσης, τα δικαιώματα πρόσβασης, τον έλεγχο εκδόσεων, την εκπαίδευση, τα κίνητρα και τις διαδικασίες υποστήριξης. Μια αξιολόγηση μοντέλου μπορεί να προειδοποιήσει για ορισμένες από αυτές, αλλά οι λειτουργίες τεχνητής νοημοσύνης πρέπει να τις διαχειρίζονται καθημερινά. Αυτό σημαίνει παρακολούθηση πέρα από την ακρίβεια. Παρακολουθήστε την επικαιρότητα της πηγής, τα πεδία που λείπουν, την κάλυψη ανάκτησης, τα ποσοστά παράκαμψης, τα αποτελέσματα των ενστάσεων, τις διαφορές μεταξύ ομάδων, την καθυστέρηση, τις επιπτώσεις της ουράς και το κατά πόσο το μοντέλο χρησιμοποιείται για εργασίες εκτός του δηλωμένου πεδίου εφαρμογής του.
Η εμπιστοσύνη μπορεί επίσης να αποτύχει επειδή άλλαξαν οι συνέπειες. Ένα μοντέλο που χρησιμοποιείται για σύνταξη έχει ένα προφίλ κινδύνου. Το ίδιο μοντέλο που χρησιμοποιείται για αποφάσεις έχει άλλο. Ένας ταξινομητής που χρησιμοποιείται για την ιεράρχηση της εσωτερικής προσοχής έχει ένα προφίλ κινδύνου. Ο ίδιος ταξινομητής που χρησιμοποιείται για την άρνηση υπηρεσίας έχει άλλο. Η βαθμολογία δεν άλλαξε, αλλά άλλαξε το θεσμικό νόημα. Γι' αυτό έχει σημασία ο έλεγχος του πεδίου εφαρμογής. Μια κάρτα μοντέλου ή μια έκθεση αξιολόγησης δεν είναι μόνιμο διαβατήριο. Είναι μια δήλωση για τη χρήση υπό συγκεκριμένες συνθήκες. Αλλάξτε τη χρήση και η δήλωση πρέπει να επανεξεταστεί.
Οι πιο βαρετές αποτυχίες είναι συχνά οι πιο σημαντικές. Το μοντέλο είναι εντάξει, αλλά η ειδοποίηση πηγαίνει σε ένα γραμματοκιβώτιο που κανείς δεν διαχειρίζεται. Το όριο είναι σωστό, αλλά η ουρά εξαιρέσεων έχει έλλειψη προσωπικού. Η πολιτική είναι επίκαιρη, αλλά το προσωρινά αποθηκευμένο μήνυμα προτροπής δεν είναι. Το σχέδιο επαναφοράς υπάρχει, αλλά μόνο ένα άτομο ξέρει πώς να το εκτελέσει και αυτό το άτομο βρίσκεται σε συνέδριο μαθαίνοντας για την ανθεκτικότητα. Ο ολλανδικός προγραμματισμός έχει ταλέντο σε τέτοιου είδους συγχρονισμούς. Η θεσμική εμπιστοσύνη εξαρτάται από βαρετούς ελέγχους ακριβώς επειδή οι βαρετές αποτυχίες έχουν πραγματικές συνέπειες.
Η βαθμονόμηση είναι συνήθεια, όχι πιστοποιητικό
Οι ομάδες αγαπούν τα πιστοποιητικά, γιατί τα πιστοποιητικά ολοκληρώνονται. Η βαθμονόμηση δεν ολοκληρώνεται. Ένα μοντέλο μπορεί να είναι βαθμονομημένο τον Ιανουάριο και να μην είναι τον Απρίλιο, επειδή άλλαξε η σύνθεση των περιστατικών, άλλαξε η συμπεριφορά του προσωπικού, άλλαξε κάποια πολιτική ή επειδή ο ανάντη αγωγός δεδομένων σταμάτησε σιωπηλά να συμπληρώνει ένα πεδίο. Η βαθμονόμηση είναι η συνήθεια να ελέγχουμε αν η αβεβαιότητα του συστήματος εξακολουθεί να αντιστοιχεί στα παρατηρούμενα αποτελέσματα υπό τις τρέχουσες συνθήκες χρήσης.
Αυτή η συνήθεια χρειάζεται επιμέρους τομές. Η συνολική ακρίβεια είναι πολύ χονδροειδές μέτρο. Ένα μοντέλο μπορεί να αποδίδει καλά κατά μέσο όρο, ενώ να αποτυγχάνει για μια περιοχή, μια γλώσσα, έναν τύπο υπόθεσης, ένα επίπεδο ποιότητας εγγράφων ή μια οριακή συνθήκη. Η θεσμική εμπιστοσύνη προέρχεται από το να γνωρίζουμε πού το μοντέλο είναι αξιόπιστο, πού είναι αδύναμο και πού δεν έχει καμία δουλειά να χρησιμοποιείται. Η φράση δεν έχει καμία δουλειά να χρησιμοποιείται είναι σημαντική. Δεν χρειάζεται κάθε αδυναμία να λυθεί με ένα καλύτερο μοντέλο. Κάποιες αδυναμίες θα πρέπει να γίνουν λειτουργικά όρια.
Η βαθμονόμηση χρειάζεται επίσης ορισμούς αποτελέσματος. Σωστό ως προς τι. Μια σύνοψη μπορεί να είναι πραγματολογικά ορθή, αλλά να παραλείπει το γεγονός που χρειαζόταν ο εργαζόμενος. Μια σύσταση μπορεί να συμφωνεί με ιστορικές αποφάσεις, ενώ αυτές οι αποφάσεις δεν ήταν δίκαιες. Μια βαθμολογία κινδύνου μπορεί να προβλέπει τα αποτελέσματα των ερευνών, ενώ οι έρευνες κατανέμονταν άνισα. Ο θεσμός πρέπει να ορίζει την επιτυχία σε σχέση με την αποστολή και τα δικαιώματα, όχι μόνο σε σχέση με την ιστορική συμφωνία. Διαφορετικά, το μοντέλο γίνεται εξαιρετικό στο να επαναλαμβάνει ό,τι έκανε ο οργανισμός στο παρελθόν. Πολλοί οργανισμοί έχουν ήδη ανθρώπους για αυτό.
Τέλος, η βαθμονόμηση χρειάζεται ιδιοκτησία. Κάποιος πρέπει να είναι υπεύθυνος για την παρακολούθησή της, την εξήγησή της και την ανάληψη δράσης όταν αυτή αλλάζει. Ο ιδιοκτήτης χρειάζεται εξουσία να προσαρμόζει τα κατώφλια, να θέτει σε παύση μια ροή εργασίας, να απαιτεί ανθρώπινη αναθεώρηση, να ενημερώνει τις πηγές δεδομένων ή να αναβαθμίζει ζητήματα διακυβέρνησης. Η παρακολούθηση χωρίς εξουσία είναι θέατρο. Η εξουσία χωρίς παρακολούθηση είναι αισιοδοξία. Τα δύο θα πρέπει να συναντηθούν πριν από το περιστατικό, ιδανικά σε ένα δωμάτιο με λιγότερα γλυκά και περισσότερα αρχεία καταγραφής.
Σχεδιασμός για την κατάλληλη εμπιστοσύνη
Ο στόχος δεν είναι να κάνουμε τους ανθρώπους να δυσπιστούν στα μοντέλα. Η γενικευμένη δυσπιστία είναι τεμπελιά προς την αντίθετη κατεύθυνση. Ο στόχος είναι η κατάλληλη εμπιστοσύνη: οι άνθρωποι και οι ροές εργασίας θα πρέπει να βασίζονται στο σύστημα στον βαθμό που δικαιολογείται από τα στοιχεία, το πεδίο εφαρμογής και τις συνέπειες. Αυτός ο βαθμός αλλάζει. Μπορεί να είναι υψηλός για την ανίχνευση διπλοτύπων, μέτριος για τη διαλογή, χαμηλός για τις τελικές αποφάσεις και μηδενικός για περιπτώσεις εκτός του δηλωμένου πεδίου. Μια ώριμη λειτουργία μπορεί να διατηρεί όλες αυτές τις θέσεις ταυτόχρονα χωρίς να νιώθει φιλοσοφικά ακατάστατη.
Η κατάλληλη εμπιστοσύνη έχει απαιτήσεις διεπαφής. Δείξτε τι κάνει το μοντέλο και τι δεν κάνει. Παρουσιάστε την εμπιστοσύνη ως περιορισμένο σήμα, όχι ως ετυμηγορία. Δείξτε την κάλυψη των πηγών και την επικαιρότητά τους όπου έχουν σημασία. Επισημάνετε με σαφήνεια τις περιπτώσεις εκτός πεδίου. Κάντε τη διαφωνία δυνατή χωρίς να γίνεται επαγγελματικά επιζήμια. Καταγράψτε τους λόγους διαφωνίας ώστε το σύστημα να βελτιώνεται και ο οργανισμός να μαθαίνει. Ένας άνθρωπος στη διαδικασία είναι χρήσιμος μόνο αν η διαδικασία του δίνει χώρο να έχει δίκιο.
Έχει επίσης απαιτήσεις ροής εργασίας. Χρησιμοποιήστε όρια ενεργειών με βάση τις συνέπειες. Μια πρόταση χαμηλού κινδύνου μπορεί να προχωρήσει πιο γρήγορα από μια άρνηση υψηλού αντικτύπου. Απαιτήστε έλεγχο όταν τα στοιχεία είναι ελλιπή, το πεδίο είναι ασαφές ή το αποτέλεσμα συγκρούεται με γνωστή πολιτική. Διαχωρίστε τη βοήθεια στη σύνταξη από την εξουσία λήψης αποφάσεων. Κρατήστε τις ενημερώσεις του μοντέλου και τις ενημερώσεις πολιτικής συντονισμένες. Διεξάγετε δοκιμές σκιώδους αξιολόγησης πριν επεκτείνετε τη χρήση. Δοκιμάστε την επαναφορά. Εξασκηθείτε στην παύση. Το κουμπί παύσης είναι εργαλείο διακυβέρνησης, όχι παραδοχή αποτυχίας.
Η κατάλληλη εμπιστοσύνη έχει και πολιτισμικές απαιτήσεις. Το προσωπικό πρέπει να εκπαιδεύεται ώστε να κατανοεί τι σημαίνει εμπιστοσύνη και τι δεν σημαίνει. Χρειάζεται άδεια να αμφισβητεί το σύστημα. Οι διευθυντές πρέπει να αντιμετωπίζουν τις παρακάμψεις ως σήμα, όχι ως ανυπακοή. Οι ομάδες διακυβέρνησης πρέπει να θέτουν επιχειρησιακά ερωτήματα, όχι μόνο ερωτήματα συμμόρφωσης. Οι μηχανικοί πρέπει να γνωρίζουν ότι ένα υψηλό σκορ σε σημείο αναφοράς δεν τελειώνει τη συζήτηση. Όλοι έχουν λίγη παραπάνω δουλειά. Έτσι φτιάχνονται τα ώριμα συστήματα.
Το μητρώο εμπιστοσύνης
Ένα πρακτικό εργαλείο για λειτουργίες τεχνητής νοημοσύνης είναι το μητρώο εμπιστοσύνης. Όχι ένα μεγαλεπήβολο έγγραφο, απλώς ένας συντηρημένος χάρτης του από πού προέρχεται η θεσμική εμπιστοσύνη για κάθε αυτοματοποιημένη ή υποβοηθούμενη ενέργεια. Για μια δεδομένη ροή εργασίας, το μητρώο κατονομάζει το μοντέλο ή τον κανόνα, την επιτρεπόμενη χρήση, τις πηγές στοιχείων, τα στοιχεία βαθμονόμησης, τα γνωστά όρια, τα όρια ενεργειών, τους απαιτούμενους ανθρώπινους ελέγχους, τα σήματα παρακολούθησης, τον υπεύθυνο και τη διαδρομή ανάκαμψης. Αν αυτό ακούγεται προφανές, συγχαρητήρια. Τα προφανή πράγματα είναι συχνά αυτά που λείπουν κατά τη διάρκεια περιστατικών.
Το μητρώο θα πρέπει να διακρίνει την εμπιστοσύνη του μοντέλου από την εμπιστοσύνη απόφασης. Θα πρέπει να λέει, για παράδειγμα, ότι ένα σκορ μοντέλου πάνω από 0,85 αρκεί για να προταθεί μια διαδρομή όταν η επικαιρότητα της πηγής είναι κάτω από 24 ώρες, ο τύπος υπόθεσης είναι εντός πεδίου, δεν ενεργοποιείται κανένας κανόνας αποκλεισμού και ο χειριστής βλέπει τον πίνακα στοιχείων. Θα πρέπει επίσης να λέει ότι το ίδιο σκορ δεν αρκεί για να κλείσει αυτόματα μια υπόθεση, ή ότι το αυτόματο κλείσιμο απαιτεί πρόσθετους ελέγχους πολιτικής και ειδοποίηση ένστασης. Η αξία βρίσκεται στις συνθήκες γύρω από το σκορ.
Ένα τέτοιο μητρώο βοηθά στην αλλαγή. Όταν αλλάζει μια πηγή δεδομένων, οι επηρεαζόμενοι ισχυρισμοί εμπιστοσύνης είναι ορατοί. Όταν μετακινείται ένα όριο, καταγράφεται ο λόγος. Όταν προκύπτει ένα μοτίβο ενστάσεων, η ροή εργασίας μπορεί να επανεξεταστεί. Όταν κυκλοφορεί μια ενημέρωση μοντέλου, το μητρώο δείχνει ποιες ενέργειες χρειάζονται νέα βαθμονόμηση. Όταν ένας διευθυντής ρωτά γιατί μια απάντηση υψηλής εμπιστοσύνης εξακολουθεί να απαιτεί έλεγχο, η απάντηση δεν είναι επειδή το λέει η διακυβέρνηση. Η απάντηση είναι ότι η θεσμική εμπιστοσύνη έχει συνθήκες και μία από αυτές λείπει.
Το μητρώο βοηθά επίσης να αποφεύγονται οι υπερβολικοί ισχυρισμοί. Επιτρέπει στον οργανισμό να πει πού το σύστημα είναι ισχυρό χωρίς να προσποιείται ότι η ισχύς είναι καθολική. Αυτό είναι επιχειρησιακά χρήσιμο. Οι άνθρωποι μπορούν να βασίζονται στο σύστημα εκεί όπου έχει κερδίσει την εμπιστοσύνη και να το παρακάμπτουν εκεί όπου δεν την έχει. Η εμπιστοσύνη γίνεται λιγότερο σύνθημα και περισσότερο ένα σύνολο συντηρημένων αδειών. Λίγο λιγότερο ηρωικό, πολύ λιγότερο δαπανηρό.
Το μάθημα
Μια βαθμολογία εμπιστοσύνης του μοντέλου είναι χρήσιμη. Μπορεί να βοηθήσει στην κατάταξη, τη δρομολόγηση, την προειδοποίηση και τη λήψη αποφάσεων όταν συνδυάζεται με τους σωστούς ελέγχους. Μπορεί να δείξει την αβεβαιότητα με μεγαλύτερη ειλικρίνεια από μια ανθρώπινη διαίσθηση. Μπορεί να υποστηρίξει καλύτερες λειτουργίες όταν είναι βαθμονομημένη, παρακολουθείται και τοποθετείται σε μια ροή εργασίας που κατανοεί τη συνέπεια. Το πρόβλημα αρχίζει όταν η βαθμολογία καλείται να φέρει εξουσία που δεν κέρδισε ποτέ.
Η θεσμική εμπιστοσύνη είναι βαρύτερη. Περιλαμβάνει την απόδοση του μοντέλου, αλλά και την ποιότητα των τεκμηρίων, την καταλληλότητα της πολιτικής, το νομικό πεδίο, την κατανόηση από τους χειριστές, τη δυνατότητα ελέγχου, την επανόρθωση, την παρακολούθηση, την κυριότητα και την ανάκαμψη. Ρωτά αν ο οργανισμός μπορεί να σταθεί πίσω από την ενέργεια, να την εξηγήσει, να την αμφισβητήσει και να την επισκευάσει. Αυτό είναι ένα ευρύτερο τεστ από το αν το μοντέλο ακουγόταν σίγουρο.
Η πρακτική πειθαρχία είναι να κρατάμε τις δύο εμπιστοσύνες ξεχωριστές. Αφήστε το μοντέλο να αναφέρει την αβεβαιότητά του. Αφήστε τον θεσμό να αποφασίσει τι επιτρέπεται να κάνει αυτή η αβεβαιότητα. Καταγράψτε τις συνθήκες. Παρακολουθήστε τις. Επανεξετάστε τις. Διδάξτε στους ανθρώπους ότι η υψηλή εμπιστοσύνη δεν είναι εντολή και η χαμηλή εμπιστοσύνη δεν είναι πάντα άχρηστη. Η εμπιστοσύνη γίνεται χρήσιμη όταν συνδέεται με την ενέργεια με προσοχή.
Ο λειτουργός υποθέσεων στη συνάντηση είχε δίκιο να συνοφρυωθεί. Το μοντέλο δεν είχε αποτύχει παράγοντας 0.94. Ο θεσμός θα είχε αποτύχει αν αντιμετώπιζε το 0.94 ως άδεια να σταματήσει να σκέφτεται. Οι σοβαρές λειτουργίες τεχνητής νοημοσύνης αρχίζουν σε εκείνη τη μικρή παύση ανάμεσα σε μια σίγουρη απάντηση και σε μια υπεύθυνη ενέργεια. Δεν είναι εντυπωσιακό. Εκεί χτίζεται πραγματικά η εμπιστοσύνη.