Η υπόθεση υπέρ των αποφάσεων με απόδειξη
Η απόφαση που έφτασε χωρίς αποσκευές
Η επιστολή έμοιαζε πλήρης. Είχε ημερομηνία, αριθμό πρωτοκόλλου, ευγενικό προοίμιο, απόφαση και οδό προσφυγής. Το σύστημα είχε κατατάξει την υπόθεση, είχε εφαρμόσει διάφορους κανόνες, είχε ανακτήσει τα σχετικά έγγραφα και είχε προτείνει το τελικό κείμενο. Ένας άνθρωπος την είχε εγκρίνει. Η ροή εργασίας είχε καταγράψει επιτυχία. Τίποτα δεν έμοιαζε προφανώς λάθος, μέχρι που ο παραλήπτης της επιστολής έκανε μια απλή ερώτηση: γιατί αυτή η απόφαση, για την περίπτωσή μου, εκείνη την ημέρα.
Ο οργανισμός μπορούσε να απαντήσει σε μέρος της ερώτησης. Μπορούσε να δείξει την τελική επιστολή. Μπορούσε να δείξει τον φάκελο της αίτησης όπως υπάρχει τώρα. Μπορούσε να δείξει ότι η ροή εργασίας εκτελέστηκε. Μπορούσε να δείξει ότι ένας υπάλληλος πάτησε «έγκριση». Μπορούσε να δείξει μια βαθμολογία μοντέλου στρογγυλεμένη σε δύο δεκαδικά, επειδή τα δεκαδικά έχουν το ταλέντο να ντύνονται ως αυθεντία. Αυτό που δεν μπορούσε να δείξει καθαρά ήταν η αλυσίδα που καθιστούσε την απόφαση αιτιολογημένη τη στιγμή που ελήφθη.
Η απόφαση είχε φτάσει χωρίς αποσκευές. Δεν είχε ανθεκτική συσκευασία πηγών, εκδόσεων κανόνων, έκδοσης μοντέλου, διαδρομής ανάκτησης, αποκλεισμένων αποδεικτικών στοιχείων, αβεβαιότητας, ανθρώπινης κρίσης, εξουσιοδότησης και οδού αμφισβήτησης. Οι άνθρωποι άρχισαν να ανασυνθέτουν το παρελθόν από πίνακες ελέγχου, εξαγωγές, σημειώσεις αιτημάτων και μνήμη. Αυτή είναι η αρχαιολογία της αδύναμης διακυβέρνησης. Όλοι εργάζονται σκληρά. Κανείς δεν είναι περήφανος.
Η υπόθεση για αποφάσεις που φέρουν αποδείξεις ξεκινά εκεί. Οι σημαντικές αποφάσεις δεν πρέπει να ταξιδεύουν ως γυμνά αποτελέσματα. Πρέπει να φέρουν αρκετές αποδείξεις, με την ευρεία επιχειρησιακή έννοια, ώστε ένα άλλο άτομο ή σύστημα να μπορεί να εξετάσει γιατί επιτράπηκε μια ενέργεια. Η απόδειξη δεν χρειάζεται να είναι τυπικό θεώρημα σε κάθε τομέα. Μερικές φορές είναι πιστοποιητικό. Μερικές φορές είναι δομημένη συσκευασία αποδεικτικών στοιχείων. Μερικές φορές είναι αναπαράξιμο αρχείο απόφασης. Η αρχή είναι η ίδια: η αιτιολόγηση ταξιδεύει μαζί με την απόφαση.
Τα αρχεία καταγραφής δεν αρκούν
Τα αρχεία καταγραφής είναι χρήσιμα. Μας λένε ότι συνέβησαν γεγονότα, ποια υπηρεσία εκτελέστηκε, ποιος χρήστης ενήργησε, ποιο τελικό σημείο ανταποκρίθηκε και ποια χρονική σήμανση πίστευε το σύστημα. Χωρίς αρχεία καταγραφής, η λειτουργία γίνεται δεισιδαιμονία με κλήσεις περιστατικών. Αλλά τα αρχεία καταγραφής δεν αποτελούν αυτόματα απόδειξη μιας απόφασης. Συχνά καταγράφουν κίνηση και όχι αιτιολόγηση. Λένε ότι το αίτημα μετακινήθηκε από μια κατάσταση σε άλλη. Δεν λένε απαραίτητα αν η μετακίνηση ήταν δικαιολογημένη.
Μια γραμμή καταγραφής μπορεί να πει ότι ένα μοντέλο επέστρεψε μια βαθμολογία. Μπορεί να μην δείχνει ποιες πηγές ανακτήθηκαν, ποιες πηγές έλειπαν, αν η βαθμολογία ήταν βαθμονομημένη για αυτόν τον τύπο υπόθεσης ή ποια πολιτική επέτρεπε στη βαθμολογία να επηρεάσει την ενέργεια. Ένα αρχείο καταγραφής μπορεί να πει ότι ένας χειριστής ενέκρινε. Μπορεί να μην δείχνει τι είδε ο χειριστής, ποια αβεβαιότητα ήταν ορατή, αν ήταν δυνατή η παράκαμψη ή αν η έγκριση ήταν ουσιαστική υπό πίεση ουράς. Ένα αρχείο καταγραφής μπορεί να πει ότι η εξαγωγή ολοκληρώθηκε. Μπορεί να μην διατηρεί το σημασιολογικό πλαίσιο που καθιστούσε το αρχείο κατανοητό.
Αυτή η διάκριση δεν είναι σχολαστικισμός. Η διακυβέρνηση αποτυγχάνει όταν οι ομάδες συγχέουν την προέλευση γεγονότων με την απόδειξη απόφασης. Ένα χρονοδιάγραμμα είναι πολύτιμο, αλλά ένα χρονοδιάγραμμα από μόνο του δεν θεμελιώνει αιτιολόγηση. Αν καταρρεύσει μια γέφυρα, το να γνωρίζουμε τη σειρά των email δεν είναι το ίδιο με το να γνωρίζουμε αν ο υπολογισμός φορτίου ήταν έγκυρος. Αν μια απόφαση υποστηριζόμενη από τεχνητή νοημοσύνη βλάψει κάποιον, το να γνωρίζουμε ότι η ροή εργασίας ολοκληρώθηκε δεν είναι το ίδιο με το να γνωρίζουμε ότι τα αποδεικτικά στοιχεία, η εξουσιοδότηση και οι περιορισμοί υποστήριζαν την ενέργεια.
Οι αποφάσεις που φέρουν απόδειξη δεν αντικαθιστούν τα αρχεία καταγραφής. Τα χρησιμοποιούν ως ένα συστατικό. Το πακέτο απόδειξης θέτει ένα πιο δύσκολο ερώτημα: δεδομένης της κατάστασης του κόσμου και των κανόνων εκείνη τη στιγμή, γιατί επιτράπηκε αυτή η απόφαση. Αυτό το ερώτημα απαιτεί δομή, όχι μόνο χρονολογία.
Η εξήγηση δεν είναι επίσης απόδειξη
Οι παραγόμενες εξηγήσεις μπορεί να είναι χρήσιμες. Μια περίληψη σε απλή γλώσσα μπορεί να βοηθήσει τον χρήστη να καταλάβει τι συνέβη. Ένα σκεπτικό μπορεί να βοηθήσει έναν εργαζόμενο να επανεξετάσει ένα αποτέλεσμα. Ένας κωδικός αιτιολογίας μπορεί να καθοδηγήσει μια ένσταση. Το πρόβλημα ξεκινά όταν η εξήγηση αντιμετωπίζεται ως απόδειξη. Μια εξήγηση μπορεί να περιγράφει την απόφαση εκ των υστέρων. Η απόδειξη πρέπει να συνδέει την απόφαση με τα στοιχεία και τους κανόνες που την κατέστησαν θεμιτή.
Υπάρχουν αρκετές παγίδες εδώ. Η πρώτη είναι η ευφράδεια. Ένα μοντέλο μπορεί να παράγει ένα εύλογο σκεπτικό που ακούγεται πιο τακτικό από την πραγματική διαδικασία. Η δεύτερη είναι η επιλεκτικότητα. Μια εξήγηση μπορεί να αναφέρει τους παράγοντες που υποστηρίζουν την απόφαση και να παραλείπει τους παράγοντες που ήταν απόντες, παρωχημένοι, αντικρουόμενοι ή εκτός πεδίου. Η τρίτη είναι η αυτοαξιολόγηση. Αν το ίδιο σύστημα που παρήγαγε την απόφαση παράγει και τη μοναδική εξήγηση, ο οργανισμός δεν απέκτησε ανεξάρτητη εγγύηση. Απέκτησε έναν καλύτερο αφηγητή.
Η απόδειξη, με αυτή την επιχειρησιακή έννοια, δεν είναι μια πιο όμορφη παράγραφος. Είναι μια ελέγξιμη σχέση μεταξύ ισχυρισμού, στοιχείων, εξουσίας, μεθόδου και αρχείου. Θα πρέπει να αναφέρει ποια γεγονότα χρησιμοποιήθηκαν, ποια αποκλείστηκαν, ποιος κανόνας ή μοντέλο τα μετασχημάτισε, ποια αβεβαιότητα παρέμεινε, ποιος ρόλος αποδέχθηκε το αποτέλεσμα και πώς μπορεί να αμφισβητηθεί η απόφαση. Η εξήγηση μπορεί να βασίζεται πάνω σε αυτό. Δεν θα πρέπει να καλείται να το υποκαταστήσει.
Αυτό έχει σημασία και για τη δικαιοσύνη. Οι άνθρωποι αξίζουν κάτι περισσότερο από μια σίγουρη ιστορία όταν οι αποφάσεις επηρεάζουν δικαιώματα, πρόσβαση, χρήματα, φροντίδα, εργασία ή φήμη. Χρειάζονται μια διαδρομή για να ελέγξουν αν η απόφαση λήφθηκε με τους σωστούς κανόνες και με τα σωστά στοιχεία. Η εξήγηση χωρίς απόδειξη μπορεί να καθησυχάσει. Η απόδειξη δίνει στους ανθρώπους κάτι να αμφισβητήσουν.
Τι σημαίνει απόδειξη στα συνηθισμένα συστήματα
Η λέξη απόδειξη μπορεί να ακούγεται υπερβολικά τυπική, σαν κάθε οργανισμός να πρέπει να μετατρέψει τη ροή εργασίας του σε αποδεικτικό σύστημα πριν στείλει μια επιστολή. Δεν είναι αυτός ο ισχυρισμός. Η τυπική απόδειξη είναι πολύτιμη όπου η λογική, οι περιορισμοί ή οι κανόνες κρίσιμοι για την ασφάλεια το δικαιολογούν. Αλλά οι αποφάσεις που φέρουν απόδειξη μπορούν να υπάρχουν σε πολλά επίπεδα. Το κλειδί είναι ότι η απόφαση φέρει μια δομημένη εγγύηση ανάλογη με τις συνέπειές της.
Για μια σύσταση χαμηλού κινδύνου, η απόδειξη μπορεί να είναι μια λίστα πηγών, ένας δείκτης φρεσκάδας, ένα εύρος εμπιστοσύνης και μια σημείωση ότι το αποτέλεσμα είναι συμβουλευτικό. Για μια δημόσια απόφαση επιλεξιμότητας, η απόδειξη μπορεί να περιλαμβάνει εκδόσεις κανόνων, πηγές στοιχείων, ελέγχους για ελλείποντα στοιχεία, ανθρώπινη επανεξέταση, απαιτήσεις ειδοποίησης και διαδρομή ένστασης. Για μια σύσταση ιατρικής διαλογής, η απόδειξη μπορεί να περιλαμβάνει στιγμιότυπο του ιατρικού φακέλου του ασθενούς, ελέγχους αντενδείξεων, παραπομπές σε κατευθυντήριες οδηγίες, όρια του μοντέλου, ενέργεια του κλινικού γιατρού και διαδρομή κλιμάκωσης. Για μια απόφαση εφοδιαστικής, η απόδειξη μπορεί να περιλαμβάνει περιορισμούς, χωρητικότητα, παραδοχές διαδρομής, κατάσταση επιλυτή και σχέδιο έκτακτης ανάγκης.
Κάθε πακέτο απαντά στην ίδια οικογένεια ερωτημάτων. Ποια απόφαση λήφθηκε. Ποια ήταν η επιτρεπόμενη χρήση. Ποια στοιχεία υπήρχαν εκείνη τη στιγμή. Ποια διαδρομή μετασχηματισμού ή συλλογισμού χρησιμοποιήθηκε. Ποιοι περιορισμοί ήταν δεσμευτικοί. Ποια αβεβαιότητα παρέμεινε. Ποιος είχε την εξουσία. Τι άλλαξε εκ των υστέρων. Πώς μπορεί η απόφαση να αναπαραχθεί, να αμφισβητηθεί, να διορθωθεί ή να αποτελέσει μάθημα.
Το επίπεδο απόδειξης θα πρέπει να κλιμακώνεται ανάλογα με τις συνέπειες και την αναστρεψιμότητα. Μια πρόταση ορθογραφίας δεν χρειάζεται φάκελο διακυβέρνησης. Μια αυτοματοποιημένη άρνηση υπηρεσίας χρειάζεται. Μια πρόταση διαδρομής μπορεί να χρειάζεται ίχνος εφικτότητας. Μια οδηγία ασφάλειας μπορεί να χρειάζεται ισχυρότερο αρχείο. Το ζητούμενο δεν είναι ο μέγιστος γραφειοκρατικός φόρτος. Το ζητούμενο είναι μια εγγύηση ανάλογη με την ενέργεια.
Η στιγμή της λήψης της απόφασης έχει σημασία
Το αποδεικτικό υλικό για μια απόφαση θα πρέπει να συλλέγεται τη στιγμή που λαμβάνεται η απόφαση. Όχι μετά από ένα παράπονο. Όχι κατά τη διάρκεια ενός ελέγχου. Όχι όταν μια ρυθμιστική αρχή στείλει επιστολή. Τη στιγμή της απόφασης, το σύστημα έχει ακόμη πρόσβαση στη σχετική κατάσταση: το στιγμιότυπο των εγγραφών, την ενεργή πολιτική, την έκδοση του μοντέλου, τις ανακτηθείσες πηγές, τον ρόλο του χρήστη, την κατάσταση της διεπαφής, την αβεβαιότητα και τις διαθέσιμες εναλλακτικές. Αργότερα, αυτά τα στοιχεία αλλάζουν. Οι εγγραφές διορθώνονται. Οι πολιτικές αλλάζουν. Τα μοντέλα ενημερώνονται. Οι πίνακες ελέγχου αναπτύσσονται εκ νέου. Οι άνθρωποι ξεχνούν. Η μνήμη γίνεται μια τοπική βάση δεδομένων με ζητήματα αξιοπιστίας.
Η σύλληψη αποδεικτικών στοιχείων τη στιγμή της απόφασης αλλάζει επίσης τη συμπεριφορά. Εάν μια ροή εργασίας γνωρίζει ότι πρέπει να διατηρήσει αποδεικτικά στοιχεία, είναι πιο πιθανό να ζητήσει αποδεικτικά στοιχεία πριν από την ενέργεια. Εάν μια έξοδος μοντέλου πρέπει να φέρει αβεβαιότητα, η διεπαφή είναι λιγότερο πιθανό να την αποκρύψει. Εάν μια έγκριση πρέπει να καταγράφει τι είδε ο άνθρωπος, το σύστημα είναι πιο πιθανό να δείξει κάτι που αξίζει να δει κανείς. Η σύλληψη αποδεικτικών στοιχείων δεν είναι μόνο αρχειακή εργασία. Διαμορφώνει τον σχεδιασμό της ίδιας της απόφασης.
Γι' αυτό τα στιγμιότυπα οθόνης είναι αδύναμα υποκατάστατα. Ένα στιγμιότυπο οθόνης καταγράφει μια εικόνα, όχι μια κατάσταση απόφασης. Μπορεί να παραλείψει κρυφά πλαίσια, την επικαιρότητα των πηγών, τις εκδόσεις πολιτικής, τις ρυθμίσεις μοντέλου ή τις ελλείπουσες εισόδους. Είναι δύσκολο να υποβληθεί σε ερωτήματα, δύσκολο να ελεγχθεί και εύκολο να παρεξηγηθεί αργότερα. Τα στιγμιότυπα οθόνης είναι μερικές φορές χρήσιμα στην υποστήριξη. Δεν αποτελούν σοβαρή μορφή αποδεικτικών στοιχείων για αποφάσεις που έχουν σημασία. Το στιγμιότυπο οθόνης έχει ήδη κάνει αρκετά στην εταιρική ζωή. Ας το αφήσουμε να ξεκουραστεί.
Οι αποφάσεις που φέρουν αποδεικτικά στοιχεία χρειάζονται δομημένη σύλληψη. Αυτό σημαίνει ότι το σύστημα αποθηκεύει πεδία, εκδόσεις, αναφορές, κατακερματισμούς όπου είναι χρήσιμοι, κωδικούς αιτιολογίας, αβεβαιότητα, ενέργεια χρήστη και συνδέσμους προς αμετάβλητες ή ανεξάρτητα ελεγχόμενες εγγραφές. Το ακριβές σχήμα ποικίλλει ανά τομέα, αλλά η συνήθεια δεν θα πρέπει: να συλλαμβάνει το αποδεικτικό έγγραφο όσο υπάρχει.
Τα αποδεικτικά στοιχεία προστατεύουν και τις δύο πλευρές της λογοδοσίας
Η λογοδοσία περιγράφεται συχνά ως κάτι που οι οργανισμοί οφείλουν στους ανθρώπους που επηρεάζονται. Αυτό είναι αλήθεια. Είναι επίσης κάτι που οι οργανισμοί οφείλουν στους δικούς τους εργαζόμενους. Ένας λειτουργός υποθέσεων, ένας κλινικός γιατρός, ένας διαχειριστής, ένας αναλυτής ή ένας αξιολογητής δεν θα πρέπει να μένει μόνος με μια μυστηριώδη σύσταση και μια μελλοντική κατηγορία. Εάν ο οργανισμός αναμένει από τους ανθρώπους να βασίζονται σε ένα σύστημα, θα πρέπει να τους δίνει αποδεικτικά στοιχεία. Εάν αναμένει από αυτούς να αμφισβητήσουν το σύστημα, θα πρέπει να τους δίνει μια διαδρομή.
Οι αποφάσεις που φέρουν αποδεικτικά στοιχεία προστατεύουν τους επηρεαζόμενους ανθρώπους καθιστώντας δυνατή την αμφισβήτηση. Προστατεύουν τους εργαζόμενους δείχνοντας ποιες πληροφορίες ήταν διαθέσιμες και πώς τις παρουσίασε το σύστημα. Προστατεύουν τους μηχανικούς διακρίνοντας την αποτυχία δεδομένων από την αποτυχία μοντέλου, την αποτυχία διεπαφής, την αποτυχία πολιτικής και την ανθρώπινη κρίση. Προστατεύουν τους διαχειριστές αποκαλύπτοντας πού είναι αδύναμο το επιχειρησιακό μοντέλο. Προστατεύουν τους ελεγκτές δίνοντάς τους κάτι καλύτερο από μια περιήγηση στους πίνακες ελέγχου.
Αυτό δεν αφορά την αποφυγή ευθύνης. Αφορά τον ακριβή εντοπισμό της ευθύνης. Μια κακή απόφαση μπορεί να προέλθει από λανθασμένα δεδομένα, έναν άκυρο κανόνα, ένα μοντέλο εκτός πεδίου εφαρμογής, μια ασαφή διεπαφή, αντίστροφα κίνητρα ή μια ανθρώπινη παρέμβαση. Χωρίς αποδεικτικά στοιχεία, η ευθύνη μετατοπίζεται προς το πλησιέστερο άτομο. Με αποδεικτικά στοιχεία, ο οργανισμός μπορεί να δει ποιο επίπεδο απέτυχε. Αυτό είναι πιο δίκαιο και πολύ πιο χρήσιμο.
Υπάρχει επίσης ένα όφελος εμπιστοσύνης. Οι άνθρωποι είναι πιο πρόθυμοι να αποδεχτούν αυτοματοποιημένες ή υποβοηθούμενες αποφάσεις όταν ξέρουν ότι η αμφισβήτηση είναι πραγματική. Όχι επειδή θα αρέσει κάθε απόφαση, αλλά επειδή η διαδικασία έχει σημεία ελέγχου. Μια απόφαση που φέρει αποδεικτικά στοιχεία λέει: ορίστε τι χρησιμοποιήσαμε, ορίστε τι κάναμε, ορίστε ποιος ενήργησε, ορίστε πώς μπορείτε να την αμφισβητήσετε. Αυτό δεν αποτελεί εγγύηση ορθότητας. Είναι μια άρνηση να κρυφτούμε πίσω από το αποτέλεσμα.
Το πακέτο αποδεικτικών στοιχείων πρέπει να ταξιδεύει
Ένα αρχείο απόφασης που μπορεί να γίνει κατανοητό μόνο μέσα σε έναν πίνακα ελέγχου προμηθευτή δεν μεταφέρει αποδεικτικά στοιχεία. Μεταφέρει αποδεικτικά στοιχεία με κοντό λουρί. Οι σημαντικές αποφάσεις χρειάζονται πακέτα αποδεικτικών στοιχείων που μπορούν να ταξιδέψουν στον χρόνο, μεταξύ συστημάτων, προμηθευτών και πλαισίων αναθεώρησης. Η αρχειοθέτηση πρέπει να είναι δυνατή. Η ανεξάρτητη δειγματοληψία πρέπει να είναι δυνατή. Η μετεγκατάσταση δεν πρέπει να καταστρέφει το νόημα. Ο έλεγχος δεν πρέπει να εξαρτάται από το αν η αρχική εφαρμογή είναι ακόμα σε λειτουργία και σε διάθεση συνεργασίας.
Η φορητότητα αλλάζει τις σχεδιαστικές επιλογές. Χρησιμοποιήστε τεκμηριωμένα σχήματα. Διατηρήστε τα αναγνωριστικά. Κρατήστε τις εκδόσεις κανόνων και τις αναφορές πηγών. Αποθηκεύστε αρκετό πλαίσιο για να αναπαραχθεί η απόφαση χωρίς να εκτίθενται περισσότερα προσωπικά δεδομένα από όσα χρειάζονται. Διαχωρίστε το αρχείο αποδεικτικών στοιχείων από τη διεπαφή που έτυχε να το εμφανίζει. Όταν η ιδιωτικότητα απαιτεί ελαχιστοποίηση, αποθηκεύστε δεσμεύσεις, αναφορές ή ελεγχόμενα στιγμιότυπα αντί να αποθηκεύετε τα πάντα για πάντα. Η μεταφορά αποδεικτικών στοιχείων δεν σημαίνει απρόσεκτη συσσώρευση. Σημαίνει διατήρηση του σωστού εντάλματος με τους σωστούς ελέγχους.
Υπάρχει επίσης ένα ζήτημα τοπικότητας. Ορισμένα αποδεικτικά στοιχεία πρέπει να παραμένουν υπό την εξουσία του φορέα που φέρει την ευθύνη. Αν ένας δημόσιος φορέας πρέπει να εξηγήσει μια απόφαση, τα αποδεικτικά στοιχεία δεν θα πρέπει να είναι διαθέσιμα μόνο μέσω λογαριασμού προμηθευτή. Αν ένα νοσοκομείο πρέπει να υπερασπιστεί μια θεραπευτική οδό, το σχετικό αρχείο δεν θα πρέπει να εξαφανίζεται όταν ένας πάροχος μοντέλων αλλάξει την πολιτική διατήρησης. Αν μια εταιρεία πρέπει να διερευνήσει ένα περιστατικό ασφαλείας, δεν θα πρέπει να περιμένει ένα δελτίο υποστήριξης για να ανακτήσει το δικό της ένταλμα.
Το ταξίδι των αποδεικτικών στοιχείων βοηθά επίσης στη μάθηση. Όταν τα αρχεία αποφάσεων χρησιμοποιούν σταθερή δομή, οι ομάδες μπορούν να αναλύουν μοτίβα: ποιοι κανόνες δημιουργούν ενστάσεις, ποιες πηγές ξεθωριάζουν, ποιες εκδόσεις μοντέλων αυξάνουν την αβεβαιότητα, ποιοι αναθεωρητές κάνουν χρήσιμες παρακάμψεις, ποιες ομάδες βιώνουν περισσότερη επανεπεξεργασία. Το πακέτο αποδεικτικών στοιχείων δεν είναι μόνο αμυντικό. Γίνεται εργαλείο λειτουργίας.
Τι αλλάζει για τα συστήματα τεχνητής νοημοσύνης
Η τεχνητή νοημοσύνη καθιστά τις αποφάσεις με αποδεικτικά στοιχεία πιο επείγουσες, επειδή τα συστήματα τεχνητής νοημοσύνης συχνά παράγουν ενδιάμεσα προϊόντα που μοιάζουν λιγότερο με αρχεία και περισσότερο με προσωρινούς υπολογισμούς. Τα προτροπές, τα ανακτηθέντα αποσπάσματα, οι ενσωματώσεις, οι βαθμολογίες αναδιάταξης, τα αποτελέσματα φίλτρων ασφαλείας, οι εκδόσεις μοντέλων, οι κλήσεις εργαλείων, οι συνοπτικές αλυσίδες και οι εκτιμήσεις εμπιστοσύνης μπορεί να επηρεάσουν όλα την απόφαση. Αν εξαφανιστούν, ο οργανισμός διατηρεί το αποτέλεσμα αλλά χάνει το ένταλμα.
Το πακέτο αποδεικτικών στοιχείων δεν πρέπει να διατηρεί κάθε εσωτερικό διακριτικό για πάντα. Αυτό θα ήταν δαπανηρό, παρεμβατικό και συχνά περιττό. Θα πρέπει να διατηρεί το υλικό που χρειάζεται για να εξεταστεί η απόφαση. Ποιες πηγές ανακτήθηκαν και επιλέχθηκαν. Ποιες πηγές δεν ήταν διαθέσιμες. Ποιο μοντέλο και ποια διαμόρφωση χρησιμοποιήθηκαν. Ποια προτροπή ή πρότυπο εργασίας διαμόρφωσε την εργασία. Ποιες κλήσεις εργαλείων άλλαξαν κατάσταση. Ποια αβεβαιότητα εκτέθηκε. Ποιος άνθρωπος είδε τι. Ποια πολιτική επέτρεψε ή απέκλεισε μια ενέργεια.
Τα συστήματα τεχνητής νοημοσύνης πρέπει επίσης να καταγράφουν την άρνηση απάντησης. Αν το σύστημα αρνήθηκε να απαντήσει επειδή έλειπαν αποδεικτικά στοιχεία, η άρνηση αυτή αποτελεί μέρος της διακυβέρνησης. Αν ένας άνθρωπος παρέκαμψε την άρνηση, αυτό είναι σημαντικό. Αν το σύστημα απάντησε παρά τη χαμηλή βεβαιότητα, ο λόγος θα πρέπει να είναι ορατός. Το πακέτο αποδείξεων θα πρέπει να περιγράφει όχι μόνο τις επιτυχημένες αποφάσεις, αλλά και τα όριά τους. Τα όρια είναι εκεί όπου συνήθως ζει η ασφάλεια.
Ένα άλλο ζήτημα ειδικό για την τεχνητή νοημοσύνη είναι η αλλαγή μοντέλου. Μια απόφαση που ελήφθη με μια έκδοση μοντέλου δεν θα πρέπει να εξηγείται αργότερα με μια άλλη. Αν μια ενημέρωση μοντέλου αλλάξει τη συμπεριφορά, οι ιστορικές αποφάσεις χρειάζονται το αρχικό τους πλαίσιο. Διαφορετικά, ο οργανισμός μπορεί κατά λάθος να ξαναγράψει το παρελθόν. Αυτό μπορεί να είναι βολικό σε μια ταινία επιστημονικής φαντασίας. Είναι κακή πρακτική ελέγχου.
Η απόδειξη έχει κόστος, αλλά και η ανασύνθεση
Οι αποφάσεις που φέρουν αποδείξεις έχουν κάποιο κόστος. Απαιτούν σχεδιασμό σχήματος δεδομένων, αποθήκευση, εκδόσεις, έλεγχο πρόσβασης, έλεγχο απορρήτου, εργασία διεπαφής, ιδιοκτησία διακυβέρνησης και επιχειρησιακή πειθαρχία. Μπορεί να προσθέσουν μια μικρή τριβή. Μπορεί να αποκαλύψουν ότι οι υπάρχουσες ροές εργασίας δεν γνωρίζουν στην πραγματικότητα γιατί λαμβάνουν ορισμένες αποφάσεις. Αυτή η ανακάλυψη μπορεί να είναι άβολη. Ωραία. Η αμηχανία πριν από τη ζημιά είναι συμφωνία.
Το εναλλακτικό κόστος είναι η ανασύνθεση. Η ανασύνθεση μετά από παράπονο, περιστατικό, έλεγχο ή δικαστική διαμάχη είναι αργή, δαπανηρή, ελλιπής και αγχωτική. Οι άνθρωποι ψάχνουν παλιά αρχεία καταγραφής, ρωτούν ποιος θυμάται, συμπεραίνουν ποια πολιτική ήταν ενεργή, ζητούν εξαγωγές από προμηθευτές, συγκρίνουν στιγμιότυπα οθόνης και γράφουν προσεκτικές προτάσεις που είναι κατά το ήμισυ αποδεικτικά στοιχεία και κατά το ήμισυ ελπίδα. Η ανασύνθεση είναι το τίμημα για τη μη καταγραφή της αιτιολογίας όταν ήταν φθηνή.
Υπάρχει επίσης ένα όφελος στην ποιότητα των αποφάσεων. Όταν ένα σύστημα σχεδιάζεται για να φέρει αποδείξεις, τείνει να λαμβάνει καλύτερες αποφάσεις επειδή πρέπει να γνωρίζει τις δικές του συνθήκες. Πρέπει να γνωρίζει ποια στοιχεία είναι τρέχοντα, ποιος κανόνας ισχύει, ποια εξουσία είναι παρούσα, ποια αβεβαιότητα παραμένει και ποια ενέργεια επιτρέπεται. Η απαίτηση απόδειξης επιβάλλει σαφήνεια ανάντη. Αυτή η σαφήνεια είναι πολύτιμη ακόμη και αν κανείς δεν ελέγξει ποτέ το αρχείο.
Η απόδειξη αποθαρρύνει επίσης τις υπερβολικές διεκδικήσεις. Μια ομάδα που πρέπει να διατηρήσει την αιτιολογία είναι λιγότερο πιθανό να προσποιηθεί ότι μια βαθμολογία μοντέλου αρκεί, ότι μια σύνοψη είναι πηγή ή ότι ένα ανθρώπινο κλικ είναι ουσιαστική αναθεώρηση. Το αρχείο κρατά όλους λίγο πιο έντιμους. Αυτό μπορεί να μειώσει τη λάμψη της επίδειξης. Βελτιώνει την πιθανότητα το σύστημα να μπορεί να ζήσει έξω από την επίδειξη.
Να γίνει φυσιολογικό
Οι αποφάσεις που φέρουν αποδείξεις θα πρέπει να γίνουν ένα φυσιολογικό πρότυπο σχεδιασμού για ροές εργασίας υψηλών συνεπειών, αυτοματοποιημένες και με υποστήριξη. Ξεκινήστε ταξινομώντας τους τύπους αποφάσεων. Ποιες είναι προτάσεις χαμηλού κινδύνου. Ποιες είναι επιχειρησιακές συστάσεις. Ποιες επηρεάζουν δικαιώματα, ασφάλεια, χρήματα, πρόσβαση ή φήμη. Αντιστοιχίστε το πακέτο αποδείξεων με τη συνέπεια. Μην χτίζετε έναν καθεδρικό ναό για κάθε επεξήγηση εργαλείου. Μην στέλνετε αποφάσεις με συνέπειες χωρίς προστασία.
Στη συνέχεια, ορίστε το σχήμα αιτιολογίας. Ποιες πηγές, εκδόσεις, κανόνες, λεπτομέρειες μοντέλου, αβεβαιότητα, ανθρώπινες ενέργειες και διαδρομές αναθεώρησης πρέπει να υπάρχουν. Ορίστε τι αποθηκεύεται, τι αναφέρεται, τι κατακερματίζεται, τι ελαχιστοποιείται και ποιος μπορεί να έχει πρόσβαση. Ορίστε πόσο καιρό ζει. Ορίστε πώς μετακινείται κατά τη μετεγκατάσταση. Ορίστε τι συμβαίνει όταν λείπει ένα απαιτούμενο πεδίο. Αν η απάντηση είναι προχωρήστε ούτως ή άλλως, το σχήμα είναι διακοσμητικό.
Έπειτα, συνδέστε το πακέτο αποδείξεων με τη διεπαφή. Ένας αναθεωρητής θα πρέπει να δει την αιτιολογία πριν εγκρίνει. Ένα επηρεαζόμενο άτομο θα πρέπει να λάβει μια εξήγηση που προέρχεται από την αιτιολογία. Ένας ελεγκτής θα πρέπει να δειγματίσει την αιτιολογία. Ένας χειριστής θα πρέπει να κάνει διάγνωση από αυτήν. Ένας διαχειριστής θα πρέπει να δει μοτίβα από αυτήν. Τα αποδεικτικά στοιχεία δεν θα πρέπει να ζουν σε ένα υπόγειο που επισκέπτεται η συμμόρφωση μόνο μία φορά τον χρόνο με έναν φακό.
Τέλος, διατηρήστε το πρότυπο. Οι κανόνες αλλάζουν. Τα μοντέλα αλλάζουν. Οι πηγές αλλάζουν. Οι ροές εργασίας αλλάζουν. Το πακέτο αποδείξεων θα πρέπει να εξελίσσεται μέσω εκδόσεων σχήματος και αναθεώρησης διακυβέρνησης. Ένα σύστημα αποδείξεων που δεν συντηρείται γίνεται άλλο ένα απολίθωμα, και τα απολιθώματα είναι γοητευτικά μόνο όταν δεν λαμβάνουν αποφάσεις.
Η υπόθεση
Η υπόθεση για τις αποφάσεις που φέρουν αποδείξεις είναι απλή. Οι σημαντικές αποφάσεις δημιουργούν υποχρεώσεις. Οι υποχρεώσεις χρειάζονται αποδείξεις. Οι αποδείξεις πρέπει να καταγράφονται όσο υπάρχουν ακόμη. Αν η απόφαση επηρεάζει ανθρώπους, χρήματα, ασφάλεια, δικαιώματα, πρόσβαση ή θεσμική εμπιστοσύνη, το αποτέλεσμα από μόνο του δεν αρκεί. Η απόφαση πρέπει να φέρει την αιτιολόγησή της.
Αυτό δεν καθιστά κάθε απόφαση σωστή. Κάνει κάτι πιο μετρημένο και πιο χρήσιμο. Καθιστά τις αποφάσεις ελέγξιμες. Επιτρέπει στους επηρεαζόμενους να αμφισβητούν με ουσία. Επιτρέπει στους εργαζόμενους να βασίζονται και να διαφωνούν με πλαίσιο. Επιτρέπει στους μηχανικούς να εντοπίζουν το σφάλμα στο σωστό επίπεδο. Επιτρέπει στους διευθυντές να βλέπουν τα αδύναμα λειτουργικά μοντέλα. Επιτρέπει στους ελεγκτές να ελέγχουν τα αρχεία αντί να θαυμάζουν πίνακες δεδομένων.
Η επιστολή από την εναρκτήρια ιστορία δεν θα έπρεπε ποτέ να έχει φτάσει μόνη της. Θα έπρεπε να έχει φτάσει με ένα πακέτο απόφασης που ο οργανισμός θα μπορούσε να ελέγξει: εδώ ήταν οι πηγές, εδώ ήταν ο κανόνας, εδώ ήταν η κατάσταση του μοντέλου, εδώ ήταν η αβεβαιότητα, εδώ ήταν η ανθρώπινη κρίση, εδώ είναι η οδός προσφυγής. Τότε το ερώτημα γιατί αυτή η απόφαση, για τη δική μου υπόθεση, εκείνη την ημέρα δεν θα πυροδοτούσε αρχαιολογική αναζήτηση. Θα πυροδοτούσε έλεγχο.
Αυτή είναι η πρακτική υπόσχεση των αποφάσεων που φέρουν αποδείξεις. Όχι τέλεια συστήματα. Συστήματα που φέρνουν μαζί τους τους λόγους τους.