Θεατρικότητα χωρίς ουσία
Η εξήγηση που έφτασε πολύ αργά
Η άβολη εξήγηση συνήθως έρχεται αφού η απόφαση έχει ήδη μετρήσει. Ένας πελάτης έχει απορριφθεί. Ένας ασθενής έχει δρομολογηθεί. Ένας μαθητής έχει επισημανθεί. Μια αποστολή έχει καθυστερήσει. Ένας πολίτης έχει λάβει εντολή να περιμένει. Το σύστημα τεχνητής νοημοσύνης παρήγαγε μια απάντηση μέρες ή εβδομάδες πριν, όλοι ήταν απασχολημένοι, η ουρά προχώρησε, και τώρα κάποιος θέλει να μάθει γιατί συνέβη αυτή η απάντηση. Τότε είναι που ο οργανισμός ανακαλύπτει αν διαθέτει δυνατότητα εξήγησης ή μόνο ένα τμήμα εξηγήσεων.
Η πρώτη εκδοχή συχνά φαίνεται λογική. Ένας πίνακας ελέγχου δείχνει βαθμό εμπιστοσύνης. Μια κάρτα μοντέλου αναφέρει ότι το σύστημα δοκιμάστηκε. Μια παραγόμενη παράγραφος εξηγεί ότι διάφοροι παράγοντες συνέβαλαν στο αποτέλεσμα. Ένας αξιολογητής θυμάται ότι τα στοιχεία έδειχναν σωστά εκείνη τη στιγμή. Μια εξαγωγή αρχείων καταγραφής περιέχει πολλές γραμμές και γι' αυτό δείχνει σοβαρή. Οι άνθρωποι συγκεντρώνονται γύρω από τα τεχνουργήματα και αρχίζουν να αφηγούνται. Μπορεί να είναι ειλικρινείς. Μπορεί να είναι ικανοί. Μπορεί ακόμη και να έχουν δίκιο. Αλλά αν η διαδρομή δεν μπορεί να αναπαραχθεί, η εξήγηση είναι μια παράσταση με σκηνικά αντικείμενα.
Η αναπαραγωγή αλλάζει το πρότυπο. Ρωτά αν ο οργανισμός μπορεί να ανασυνθέσει τη διαδρομή απόφασης από τα πραγματικά συστατικά: αίτημα, ταυτότητα, κατάσταση δεδομένων, αποτελέσματα ανάκτησης, προτροπή ή εντολή, έκδοση μοντέλου, ρυθμίσεις, κλήσεις εργαλείων, έλεγχοι πολιτικής, ανθρώπινες ενέργειες, χρονισμός και έξοδος. Όχι μια παρόμοια διαδρομή. Όχι μια εύλογη διαδρομή. Η διαδρομή που παρήγαγε την απάντηση, ή ένας ελεγχόμενος απολογισμός γιατί η ακριβής αναπαραγωγή είναι αδύνατη και ποιο μέρος δεν μπορεί να ανακτηθεί. Αυτό είναι λιγότερο εντυπωσιακό από έναν πίνακα εξηγήσεων. Είναι επίσης πολύ πιο δύσκολο να πλαστογραφηθεί.
Η δυνατότητα εξήγησης χωρίς αναπαραγωγή είναι θέατρο, γιατί προσκαλεί τους ανθρώπους να θαυμάσουν μια ιστορία αντί να επιθεωρήσουν ένα σύστημα. Το θέατρο δεν είναι άχρηστο. Το καλό θέατρο μπορεί να διδάξει, να παρηγορήσει, να προειδοποιήσει και περιστασιακά να κρατήσει ζωντανή μια αίθουσα χωριού. Δεν θα έπρεπε να αποφασίζει αν μια αυτοματοποιημένη απόφαση ήταν νόμιμη, δίκαιη, αναλογική ή ορθή. Γι' αυτό, το κοινό χρειάζεται τον μηχανισμό στα παρασκήνια.
Γιατί μια άνετη αιτιολογία δεν αρκεί
Τα μεγάλα γλωσσικά μοντέλα είναι πολύ καλά στο να παράγουν αιτιολογίες. Αυτό είναι μέρος της χρησιμότητάς τους και μέρος του προβλήματος. Μια αιτιολογία μπορεί να είναι σαφής, εύλογη, ευγενική και αποκομμένη από την πραγματική διαδρομή που παρήγαγε την απάντηση. Το σύστημα μπορεί να εξηγήσει μια ταξινόμηση αναφέροντας παράγοντες που ακούγονται σχετικοί, ενώ η πραγματική επιρροή προήλθε από μια παρωχημένη πηγή, ένα σκέλος προτροπής, μια κρυφή προεπιλογή ή ένα αποτέλεσμα εργαλείου που δεν εμφανίζεται ποτέ στο κείμενο. Το κείμενο μπορεί να είναι χρήσιμο. Δεν αποτελεί αυτόματα απόδειξη.
Αυτό δεν είναι κάποιο ιδιαίτερο ηθικό ελάττωμα της τεχνητής νοημοσύνης. Και οι άνθρωποι εξηγούν εκ των υστέρων τις πράξεις τους με μεγάλη δημιουργικότητα και επιλεκτική μνήμη. Η διαφορά είναι θέμα κλίμακας και υφής. Τα συστήματα τεχνητής νοημοσύνης μπορούν να παράγουν χιλιάδες αποφάσεις, καθεμία με μια τακτοποιημένη εξήγηση, ενώ η επιχειρησιακή πορεία εξαρτάται από τη μετακίνηση δεδομένων, εκδόσεων, προσωρινών αρχείων, πολιτικών και υπηρεσιών. Το επίπεδο των εξηγήσεων μπορεί να παραμένει ήρεμο, ενώ η υποκείμενη διαδικασία συμπεριφέρεται σαν συρτάρι με μαχαιροπίρουνα σε σεισμό.
Μια χρήσιμη εξήγηση πρέπει να απαντά σε δύο ερωτήματα. Ποιοι λόγοι μπορούν να γίνουν κατανοητοί από έναν άνθρωπο. Ποια στοιχεία δείχνουν ότι αυτοί οι λόγοι συνδέονται με όσα πραγματικά συνέβησαν. Το πρώτο ερώτημα αφορά την επικοινωνία. Το δεύτερο αφορά την αναπαραγωγή της διαδρομής. Αν ο οργανισμός μπορεί να απαντήσει μόνο στο πρώτο, μπορεί να έχει καλή εμπειρία χρήστη και αδύναμη επιφάνεια λογοδοσίας. Αυτό είναι επικίνδυνο, γιατί η εξήγηση μπορεί να γίνεται πιο πειστική ακριβώς όταν θα έπρεπε να γίνεται πιο μετριοπαθής.
Υπάρχουν περιπτώσεις όπου μια απλή εξήγηση αρκεί. Αν ένας βοηθός χαμηλού κινδύνου προτείνει μια διόρθωση ορθογραφίας, κανείς δεν χρειάζεται μια εγκληματολογική ανακατασκευή της οικονομίας των φωνηέντων. Αλλά όταν ένα αποτέλεσμα επηρεάζει δικαιώματα, χρήματα, πρόσβαση, ασφάλεια, επαγγελματική κρίση ή δημόσια εμπιστοσύνη, ο οργανισμός χρειάζεται κάτι περισσότερο από έναν ευφράδη λόγο. Χρειάζεται μια διαδρομή επιστροφής μέσα στο σύστημα. Ένας άνθρωπος θα πρέπει να μπορεί να ρωτήσει: δείξε μου τι είδε το σύστημα, τι του επιτρεπόταν να κάνει, ποια έκδοση εκτελέστηκε, ποιος κανόνας εφαρμόστηκε, ποιος βασίστηκε σε αυτό και πώς μπορώ να το αμφισβητήσω.
Η αναπαραγωγή δεν είναι μόνο ντετερμινισμός
Οι άνθρωποι συχνά ακούν τη λέξη αναπαραγωγή και φαντάζονται ότι σημαίνει να πατάς ένα κουμπί και να λαμβάνεις την ίδια ακριβώς ακολουθία διακριτικών. Μερικές φορές αυτό είναι εφικτό. Μερικές φορές δεν είναι. Τα μοντέλα μπορεί να είναι στοχαστικά. Οι εξωτερικές υπηρεσίες μπορεί να αλλάξουν. Τα ευρετήρια ανάκτησης μπορεί να ανανεωθούν. Τα δεδομένα με χρονικό περιορισμό μπορεί να λήξουν. Ένα εργαλείο μπορεί να εξαρτάται από ένα όριο ρυθμού, μια τιμή αγοράς, μια κατάσταση ημερολογίου ή μια ανθρώπινη είσοδο. Η ακριβής επανάληψη bit προς bit είναι χρήσιμη όταν είναι διαθέσιμη, αλλά η αναπαραγωγή είναι μια ευρύτερη πειθαρχία από τη ντετερμινιστική νοσταλγία.
Η αναπαραγωγή σημαίνει ότι το σύστημα μπορεί να ανακατασκευάσει τη διαδρομή απόφασης στο επίπεδο που απαιτεί το ερώτημα. Για μια πραγματολογική απάντηση, αυτό μπορεί να σημαίνει τις πηγές, τις κατατάξεις, τα αποσπάσματα, το προτρέπον κείμενο, την έκδοση του μοντέλου και το αποτέλεσμα. Για μια ενέργεια εργαλείου, μπορεί να σημαίνει την εξουσιοδότηση, τις παραμέτρους, τους ελέγχους πολιτικής, την κατάσταση έγκρισης, το αποτέλεσμα εκτέλεσης και το επακόλουθο αρχείο καταγραφής. Για μια απόφαση με ανθρώπινη υποστήριξη, μπορεί να σημαίνει τη σύσταση του μοντέλου, το πακέτο αποδεικτικών στοιχείων, την ενέργεια του αναθεωρητή, τη διαφωνία και το τελικό αποτέλεσμα. Στόχος είναι να γίνει το παρελθόν επιθεωρήσιμο, όχι να προσποιούμαστε ότι το παρελθόν ήταν ένα εργαστηριακό δείγμα φυλαγμένο κάτω από γυαλί.
Αυτή η διάκριση έχει σημασία, γιατί η ακριβής αναπαραγωγή μπορεί να γίνει δικαιολογία για να μην κάνουμε τίποτα. Μια ομάδα λέει ότι το μοντέλο είναι μη ντετερμινιστικό, άρα η αναπαραγωγή είναι αδύνατη, άρα οι εξηγήσεις θα παράγονται κατόπιν ζήτησης. Αυτό μοιάζει με το να λέμε ότι ο καιρός δεν μπορεί να γυρίσει πίσω, άρα δεν έχει νόημα να κρατάμε καταγραφικό πτήσης. Μπορεί να μην αναπαράγουμε κάθε μόριο αναταραχής. Μπορούμε όμως να καταγράφουμε το υψόμετρο, την πορεία, τα χειριστήρια, τις προειδοποιήσεις και τις αποφάσεις. Τα συστήματα τεχνητής νοημοσύνης αξίζουν την ίδια μετριοφροσύνη και την ίδια πειθαρχία.
Η αναπαραγωγή χρειάζεται επίσης όρια. Η καταγραφή των πάντων για πάντα δεν είναι υπεύθυνη πρακτική. Δημιουργεί κίνδυνο για την ιδιωτικότητα, κόστος και θόλωση της διακυβέρνησης. Ένας σχεδιασμός αναπαραγωγής θα πρέπει να συλλαμβάνει τα ελάχιστα αποδεικτικά στοιχεία που χρειάζονται για να ανακατασκευαστούν οι κρίσιμες διαδρομές, με περιόδους διατήρησης και πρόσβαση ανάλογες με τον κίνδυνο. Η επιλογή δεν είναι ανάμεσα στην ολική μνήμη και στη θεατρική αμνησία. Τα σοβαρά συστήματα ζουν στη μέση, όπου τα αποδεικτικά στοιχεία είναι σκόπιμα, περιορισμένα και αρκετά ισχυρά για να απαντήσουν σε μελλοντικά ερωτήματα.
Τα σημεία όπου η αναπαραγωγή αποτυγχάνει
Η αναπαραγωγή συνήθως σπάει στα όρια. Η κλήση του μοντέλου είναι εύκολο να τη θυμάται κανείς, γιατί όλοι την κοιτάζουν. Το περιβάλλον πλαίσιο είναι εκεί όπου διαφεύγουν τα γεγονότα. Ο ρόλος του χρήστη άλλαξε. Το έγγραφο προέλευσης αντικαταστάθηκε. Ο δείκτης ανάκτησης ανακατασκευάστηκε χωρίς στιγμιότυπο. Το πρότυπο προτροπής επεξεργάστηκε επί τόπου. Η μηχανή πολιτικής χρησιμοποίησε τον τρέχοντα κανόνα όταν ρωτήθηκε για τον προηγούμενο μήνα. Το εργαλείο επέστρεψε μια τιμή από σήμερα. Ο άνθρωπος που έκανε την επανεξέταση είδε μια οθόνη που δεν υπάρχει πλέον. Το ρολόι συστήματος ήταν λάθος σε μία υπηρεσία και σωστό σε μια άλλη, ένα μικρό δώρο των κατανεμημένων συστημάτων στις μελλοντικές συναντήσεις.
Η φθορά του πλαισίου είναι ιδιαίτερα συχνή στα συστήματα ανάκτησης. Μια παραγόμενη απάντηση παραθέτει μια σελίδα πολιτικής. Έξι μήνες αργότερα η σελίδα έχει αλλάξει. Η παραπομπή εξακολουθεί να επιλύεται, αλλά δεν λέει πλέον ό,τι έλεγε. Η εξήγηση λέει ότι το σύστημα βασίστηκε στην πολιτική, κάτι που ισχύει με την πιο άχρηστη έννοια. Χωρίς κατακερματισμό περιεχομένου, έκδοση, στιγμιότυπο ή αρχειακή αναφορά, ο οργανισμός δεν μπορεί να δείξει ποια πολιτική διαμόρφωσε την απάντηση. Μπορεί να δείξει μόνο την τρέχουσα σελίδα και να ελπίζει ότι η ιστορία θα φανεί συνεργάσιμη.
Η χρήση εργαλείων δημιουργεί άλλο ένα σημείο ρήξης. Ένα μοντέλο μπορεί να αποφασίσει να καλέσει ένα εργαλείο, αλλά η εξήγηση μπορεί να μην διατηρεί τις παραμέτρους, τον έλεγχο δικαιωμάτων, την απόκριση, τη διαδρομή επανάληψης ή την παρενέργεια. Το αποτέλεσμα μοιάζει τότε με απάντηση, ενώ η σημαντική ενέργεια έγινε αλλού. Αν το εργαλείο άλλαξε μια εγγραφή, έστειλε ένα μήνυμα, βαθμολόγησε έναν κίνδυνο ή ενεργοποίησε μια ροή εργασίας, η αναπαραγωγή πρέπει να ακολουθήσει αυτό το όριο. Διαφορετικά, η εξήγηση περιγράφει το μέρος που μιλάει και χάνει το χέρι που κίνησε τον μοχλό.
Η ανθρώπινη επανεξέταση μπορεί επίσης να σπάσει την αναπαραγωγή. Ένας αναθεωρητής μπορεί να δει τα στοιχεία, να κρίνει και να αφήσει μόνο μια τελική κατάσταση. Αργότερα, ο οργανισμός λέει ότι συμμετείχε ένας άνθρωπος. Αυτό είναι αλήθεια και ανεπαρκές. Ποια στοιχεία είδε ο αναθεωρητής. Άλλαξε το αποτέλεσμα. Αποδέχτηκε μια σύσταση ή πήρε ανεξάρτητη απόφαση. Είχε χρόνο. Κατέγραψε την αμφιβολία. Η διεπαφή έδειξε την εμπιστοσύνη με τρόπο που τον επηρέασε. Αν η ανθρώπινη κατάσταση δεν καταγράφεται, η ανθρώπινη επανεξέταση γίνεται κουρτίνα. Φαίνεται καθησυχαστική από το κοινό. Πίσω της, κανείς δεν μπορεί να βρει την καρέκλα.
Η εξήγηση θα πρέπει να είναι μια προβολή πάνω στα στοιχεία
Το καλύτερο πρότυπο είναι να αντιμετωπίζεται η εξήγηση ως προβολή πάνω στα στοιχεία αναπαραγωγής. Το πακέτο στοιχείων είναι το υποκείμενο αρχείο καταγραφής. Η εξήγηση είναι μια απόδοση προς τον άνθρωπο επιλεγμένων τμημάτων αυτού του αρχείου. Ένας πολίτης μπορεί να δει μια σύντομη περιγραφή των κατηγοριών πηγών, της βάσης κανόνων, της αυτοματοποιημένης υποστήριξης, της ανθρώπινης επανεξέτασης και της διαδρομής ένστασης. Ένας χειριστής μπορεί να δει αποσπάσματα πηγών, εμπιστοσύνη, ελέγχους πολιτικής και αποτελέσματα εργαλείων. Ένας ελεγκτής μπορεί να δει κατακερματισμούς, εκδόσεις, χρονικές σημάνσεις, γεγονότα έγκρισης και στάση διατήρησης. Διαφορετικές προβολές, ίδια ραχοκοκαλιά στοιχείων.
Αυτό αποτρέπει τις εξηγήσεις από το να γίνονται επινοημένος πεζός λόγος. Το σύστημα δεν θα πρέπει να ζητά από ένα μοντέλο να εξηγήσει μια προηγούμενη απόφαση από μνήμης ή από μια σύνοψη του εαυτού του. Θα πρέπει να δημιουργεί ή να συναρμολογεί την εξήγηση από καταγεγραμμένα στοιχεία. Αν λείπουν στοιχεία, η εξήγηση θα πρέπει να το αναφέρει. Τα στοιχεία που λείπουν δεν αποτελούν ταλαιπωρία για τη διεπαφή χρήστη. Είναι ένα γεγονός σχετικά με τη λογοδοσία της απόφασης. Το να τα κρύβεις κάτω από μια πιο ομαλή παράγραφο είναι ο τρόπος με τον οποίο το θέατρο γίνεται ακριβό.
Η εξήγηση που βασίζεται σε στοιχεία βελτιώνει επίσης την προσβασιμότητα. Οι άνθρωποι που επηρεάζονται από αποφάσεις δεν χρειάζονται ακατέργαστα αρχεία καταγραφής. Χρειάζονται κατανοητούς λόγους, διαδρομές διόρθωσης και αρκετή λεπτομέρεια για να αμφισβητήσουν μια απόφαση. Οι προγραμματιστές και οι ελεγκτές χρειάζονται βαθύτερα επίπεδα. Ο διαχωρισμός των στοιχείων από τις προβολές επιτρέπει στο σύστημα να εξυπηρετεί και τους δύο χωρίς να συγχέει τη διαφάνεια με το να φορτώνει τεχνικό υλικό στους ανθρώπους μέχρι να παραδοθούν. Ένα ίχνος χιλίων γραμμών μπορεί να είναι εξίσου αδιαφανές με ένα μαύρο κουτί αν δοθεί σε λάθος κοινό.
Η προβολή πρέπει επίσης να αποφεύγει τους υπερβολικούς ισχυρισμούς. Μια εξήγηση μοντέλου δεν θα πρέπει να προσποιείται ότι αποκαλύπτει εσωτερικά ψυχολογικά κίνητρα. Μια εξήγηση βαθμολογίας δεν θα πρέπει να μετατρέπει τη συσχέτιση σε ηθική κρίση. Μια εξήγηση ανάκτησης δεν θα πρέπει να υπονοεί ότι οι πηγές που δεν αναφέρονται ήταν άσχετες αν δεν ανακτήθηκαν ποτέ. Η καλή εξήγηση χρησιμοποιεί ξηρή γλώσσα: αυτό το αίτημα χρησιμοποίησε αυτές τις εκδόσεις πηγών, υπό αυτούς τους κανόνες, με αυτή τη ρύθμιση μοντέλου, παρήγαγε αυτό το αποτέλεσμα, εξετάστηκε από αυτόν τον ρόλο, οδήγησε σε αυτή την ενέργεια. Η ξηρή γλώσσα υποτιμάται. Έχει λιγότερα σημεία για να κρύψει ανοησίες.
Η αναπαραγωγή κλείνει τον κύκλο μάθησης
Η αναπαραγωγή δεν προορίζεται μόνο για ελέγχους και παράπονα. Είναι ο τρόπος με τον οποίο τα συστήματα μαθαίνουν χωρίς να εξαπατούν τον εαυτό τους. Αν εμφανιστεί ένα κακό αποτέλεσμα, η αναπαραγωγή επιτρέπει στην ομάδα να επιθεωρήσει τη διαδρομή. Έλειπε η πηγή; Η πηγή ήταν παρούσα αλλά κατατάχθηκε πολύ χαμηλά; Το prompt κατέστειλε την αβεβαιότητα; Το μοντέλο αγνόησε έναν κανόνα; Ένα εργαλείο επέστρεψε λάθος κατάσταση; Ένας ανθρώπινος αναθεωρητής ενέκρινε επειδή το πακέτο στοιχείων ήταν κακώς σχεδιασμένο; Μια σύγκρουση πολιτικής ανάγκασε μια εύθραυστη διαδρομή; Κάθε απάντηση υποδεικνύει μια διαφορετική επισκευή.
Χωρίς αναπαραγωγή, η βελτίωση γίνεται δεισιδαιμονία. Η ομάδα αλλάζει το prompt επειδή τα prompts είναι ορατά. Αλλάζει το μοντέλο επειδή τα μοντέλα είναι συναρπαστικά. Προσθέτει μια προειδοποίηση επειδή οι προειδοποιήσεις είναι φθηνές. Το πραγματικό πρόβλημα μπορεί να ήταν ένας παρωχημένος δείκτης, ένας κανόνας χωρίς έκδοση, μια σιωπηλή αποτυχία άδειας ή μια διεπαφή αναθεωρητή που έκρυβε τη διαφωνία. Η δεισιδαιμονία μπορεί να παράγει κίνηση. Σπάνια παράγει έλεγχο. Ο οργανισμός αισθάνεται απασχολημένος και παραμένει μπερδεμένος, ένα δημοφιλές αλλά κουραστικό επιχειρησιακό μοντέλο.
Ένας βρόχος αναπαραγωγής μπορεί να τροφοδοτήσει την αξιολόγηση. Οι αποτυχημένες περιπτώσεις γίνονται δοκιμαστικές περιπτώσεις με διατηρημένο πλαίσιο. Οι ανθρώπινες διορθώσεις γίνονται επισημασμένα παραδείγματα. Τα αποτελέσματα των ενστάσεων γίνονται σήματα διακυβέρνησης. Οι αποτυχίες φρεσκάδας των πηγών γίνονται μετρικές ποιότητας δεδομένων. Τα σφάλματα εργαλείων γίνονται δοκιμές συμβολαίου. Το σύστημα αποκτά μια μνήμη των λαθών του που είναι πλουσιότερη από έναν σωρό παραπόνων. Αυτή η μνήμη επιτρέπει στις ομάδες να κάνουν αλλαγές και στη συνέχεια να συγκρίνουν τη νέα διαδρομή με την παλιά.
Η αναπαραγωγή προστατεύει επίσης από το θέατρο βελτίωσης. Μια νέα έκδοση μπορεί να παράγει ωραιότερες εξηγήσεις ενώ λαμβάνει χειρότερες αποφάσεις. Μια άλλη μπορεί να βελτιώσει την ακρίβεια αλλά να αποδυναμώσει τη συμπεριφορά άρνησης. Μια τρίτη μπορεί να μειώσει την καθυστέρηση παραλείποντας στοιχεία πηγής. Αν ο οργανισμός καταγράφει και αναπαράγει περιπτώσεις, μπορεί να δει τους συμβιβασμούς. Αν δειγματίζει μόνο γυαλισμένες εξηγήσεις, θα μπει στον πειρασμό να πιστέψει ότι η έκδοση με τους καλύτερους τρόπους είναι η καλύτερη.
Η ένσταση περί ιδιωτικότητας είναι πραγματική
Το Replay μπορεί να σχεδιαστεί λανθασμένα. Η τεμπέλικη εκδοχή καταγράφει τα πάντα: πλήρη προτροπή, πλήρη έγγραφα, προσωπικά δεδομένα, εξόδους εργαλείων, εσωτερικές σημειώσεις, σχόλια αξιολογητών και ίσως και το χρώμα της καρέκλας αν υπήρχε αισθητήρας κοντά. Έπειτα ο οργανισμός το αποκαλεί δυνατότητα ελέγχου και δημιουργεί ένα δεύτερο πεδίο κινδύνου. Αυτό δεν είναι ώριμο. Είναι συσσώρευση με σήμα συμμόρφωσης.
Ένας υπεύθυνος σχεδιασμός replay ξεκινά από τον σκοπό. Ποιες αποφάσεις χρειάζονται replay. Ποια αποδεικτικά στοιχεία είναι απαραίτητα. Ποια μέρη μπορούν να αναφέρονται με σταθερό αναγνωριστικό αντί να αντιγράφονται. Ποιες τιμές πρέπει να κατακερματίζονται. Ποιο περιεχόμενο χρειάζεται αποκάλυψη. Ποιοι ρόλοι μπορούν να έχουν πρόσβαση σε βαθύτερα επίπεδα. Ποια περίοδος διατήρησης ταιριάζει στη νομική και ανθρώπινη αξία της διαδικασίας. Ποια αποδεικτικά στοιχεία δεν πρέπει ποτέ να καταγράφονται επειδή ο κίνδυνος υπερτερεί του οφέλους. Αυτά τα ερωτήματα δεν είναι εμπόδια στην επεξηγησιμότητα. Είναι μέρος της.
Το replay που προστατεύει την ιδιωτικότητα συχνά σημαίνει διαστρωμάτωση. Η δημόσια εξήγηση μπορεί να περιέχει κατηγορίες και λόγους. Η εσωτερική ανασκόπηση μπορεί να περιέχει αναγνωριστικά πηγών και αποσπάσματα. Το επίπεδο ελέγχου μπορεί να περιέχει κατακερματισμούς, χρονοσφραγίδες και υπογραφές. Το επίπεδο περιστατικών μπορεί να απαιτεί προσωρινή ευρύτερη πρόσβαση υπό αυστηρό έλεγχο. Τα επίπεδα θα πρέπει να συνδέονται, αλλά δεν θα πρέπει να συγχωνεύονται σε ένα γιγάντιο αρχείο διαθέσιμο σε όποιον ξέρει πού βρίσκεται το κουμπί εξαγωγής. Τα κουμπιά εξαγωγής δεν είναι διακυβέρνηση. Είναι πόρτες, και οι πόρτες απαιτούν κλειδαριές.
Υπάρχει επίσης ένας λόγος δικαιοσύνης για τον προσεκτικό σχεδιασμό του replay. Αν μόνο ορισμένες υποθέσεις λαμβάνουν λεπτομερή αρχεία επειδή είναι υψηλού κινδύνου ή υψηλής αξίας, ο οργανισμός θα πρέπει να το γνωρίζει και να το αιτιολογεί. Αν οι υποθέσεις χαμηλού κινδύνου καταγράφονται ανεπαρκώς, οι άνθρωποι μπορεί να έχουν λιγότερη δυνατότητα να αμφισβητήσουν σφάλματα σε αυτές τις ροές. Αν οι υποθέσεις υψηλού κινδύνου καταγράφονται υπερβολικά, οι ευαίσθητες ομάδες μπορεί να φέρουν βαρύτερη επιτήρηση. Το replay δεν είναι ουδέτερη μνήμη. Είναι μια σχεδιαστική επιλογή για το ποιανού το παρελθόν μπορεί να επιθεωρηθεί και από ποιον.
Το Replay αλλάζει τον τρόπο που οι ομάδες γράφουν προτροπές
Μόλις το replay αποκτήσει σημασία, οι προτροπές παύουν να είναι ανεπίσημη λαογραφία. Μια προτροπή γίνεται μέρος της διαδρομής απόφασης. Χρειάζεται εκδοχή, ιδιοκτησία, δοκιμές και σχέση με την πολιτική. Αυτό δεν σημαίνει ότι κάθε αλλαγή διατύπωσης χρειάζεται τελετή με μπισκότα. Σημαίνει ότι μια σημαντική προτροπή δεν θα πρέπει να επεξεργάζεται επί τόπου χωρίς να αφήνει αρχείο. Αν η προτροπή άλλαξε μεταξύ μιας απόφασης και μιας έφεσης, ο οργανισμός πρέπει να γνωρίζει ποια ίσχυε.
Το Replay κάνει επίσης τα prompts μικρότερα εκεί που πρέπει. Οι ομάδες συχνά στριμώχνουν πολιτική, μορφοποίηση, κανόνες άρνησης, οδηγίες δεδομένων, τόνο, χρήση εργαλείων, παραδείγματα και λειτουργικούς περιορισμούς σε ένα ενιαίο μακροσκελές prompt. Και μετά του ζητούν να είναι ταυτόχρονα διακυβέρνηση, διεπαφή και μνήμη. Ένα replayable σύστημα μπορεί να μεταφέρει μέρος αυτής της δομής σε ρητούς ελέγχους: πύλες πολιτικής, φίλτρα πηγών, επικυρωτές σχήματος, δικαιώματα εργαλείων και μεταβάσεις κατάστασης. Το prompt μπορεί να κάνει γλωσσική δουλειά αντί να υποδύεται το σύνταγμα.
Αυτό βελτιώνει τις εξηγήσεις, γιατί το σύστημα μπορεί να δείξει συγκεκριμένους ελέγχους. Η απάντηση απορρίφθηκε επειδή η πύλη πολιτικής μπλόκαρε τις ιατρικές συμβουλές εκτός ρόλου, όχι επειδή το μοντέλο είχε μια αόριστη αίσθηση. Η πηγή αποκλείστηκε επειδή η σύμβαση δεδομένων την έκρινε εκτός σκοπού, όχι επειδή το prompt έλεγε να είστε προσεκτικοί με το απόρρητο. Το εργαλείο δεν εκτελέστηκε επειδή η ενέργεια ήταν μη αναστρέψιμη χωρίς έγκριση, όχι επειδή μια πρόταση σε ένα prompt ήλπιζε σε σύνεση. Η ελπίδα είναι μια υπέροχη ανθρώπινη ιδιότητα. Δεν είναι επίπεδο ελέγχου.
Τα prompts εξακολουθούν να έχουν σημασία. Διαμορφώνουν το πλαίσιο, την αβεβαιότητα, τον τόνο και τη συμπεριφορά συλλογισμού. Το Replay απλώς τα εμποδίζει να είναι το μόνο μέρος όπου κρύβεται η ευθύνη. Αυτό είναι πιο υγιές για όλους, συμπεριλαμβανομένου του ατόμου που καλείται να συντηρήσει το prompt έξι μήνες αργότερα, όταν αυτό έχει γίνει ένα ευαίσθητο απολίθωμα προηγούμενων συναντήσεων.
Το κόστος της χρήσιμης εξήγησης
Η χρήσιμη εξήγηση έχει κόστος. Η καταγραφή αποδεικτικών στοιχείων κοστίζει αποθήκευση και χρόνο μηχανικής. Η έκδοση των πηγών κοστίζει πειθαρχία. Η διατήρηση στιγμιότυπων κοστίζει χρήματα. Η δημιουργία προβολών ανά ρόλο κοστίζει σχεδιασμό προϊόντος. Η ανασκόπηση απορρήτου κοστίζει προσοχή. Τα τεστ Replay κοστίζουν χρόνο εκτέλεσης. Οι αναγνώσιμοι από τον άνθρωπο κωδικοί αιτιολογίας κοστίζουν δουλειά τομέα. Αυτά τα κόστη είναι πραγματικά. Το να προσποιείσαι ότι δεν υπάρχουν είναι ο τρόπος με τον οποίο οι οργανισμοί καταλήγουν είτε σε υπερβολικά αρχεία είτε σε γοητευτικά άχρηστες εξηγήσεις.
Η σωστή ερώτηση είναι ποιο επίπεδο replay αξίζει η απόφαση. Ένας περιστασιακός βοηθός σύνταξης μπορεί να χρειάζεται ελαφρά ίχνη και σύντομη διατήρηση. Ένα βοήθημα κλινικής διαλογής χρειάζεται ισχυρότερα αποδεικτικά στοιχεία, στιγμιότυπα πηγών, αρχεία ανασκόπησης και υποστήριξη ενστάσεων. Μια απόφαση δημόσιων παροχών χρειάζεται αποδείξεις ανά υπόθεση και νομική έκδοση. Ένα σύστημα διερεύνησης απάτης χρειάζεται προσεκτική ισορροπία μεταξύ εξηγησιμότητας, ασφάλειας και δυνατότητας αμφισβήτησης. Μία στάση replay για κάθε σύστημα είναι εξίσου παράλογη με ένα νούμερο παπουτσιού για κάθε συνάντηση.
Οι συμβιβασμοί πρέπει να είναι ρητοί. Περισσότερη λεπτομέρεια βελτιώνει την επιθεώρηση αλλά μπορεί να αυξήσει τον κίνδυνο απορρήτου. Τα ισχυρά στιγμιότυπα βελτιώνουν το replay αλλά κοστίζουν χρήματα. Τα ταχύτερα συστήματα μπορεί να καταγράφουν λιγότερα. Οι πλουσιότερες εξηγήσεις μπορεί να αποκαλύπτουν ευαίσθητη λογική. Οι ανθρώπινες σημειώσεις μπορεί να διασαφηνίζουν την κρίση αλλά και να δημιουργούν αρχεία που χρειάζονται διακυβέρνηση. Αυτές είναι σχεδιαστικές αποφάσεις, όχι δικαιολογίες. Οι σοβαρές ομάδες τις ονομάζουν πριν από την ανάπτυξη. Οι λιγότερο σοβαρές ομάδες τις ανακαλύπτουν κατά τη διάρκεια παραπόνων και μετά το αποκαλούν διδάγματα, που είναι μια παραδοσιακή φράση που σημαίνει την επόμενη φορά, ίσως.
Τα καλύτερα συστήματα replay είναι μετρημένα και αξιόπιστα. Καταγράφουν τα αποδεικτικά στοιχεία που χρειάζονται για τα ερωτήματα που ο οργανισμός είναι πιθανό και υποχρεωμένος να απαντήσει. Αποφεύγουν να καταγράφουν τα πάντα. Παράγουν εξηγήσεις από αποδεικτικά στοιχεία, όχι από διαισθήσεις. Παραδέχονται την αβεβαιότητα. Καθιστούν ορατά τα ελλιπή αποδεικτικά στοιχεία. Επιτρέπουν στις ομάδες να βελτιώνονται. Αυτό δεν είναι εντυπωσιακό. Η καλή διακυβέρνηση σπάνια είναι. Το υψηλότερο επίτευγμά της είναι συχνά ότι μια δύσκολη ερώτηση μπορεί να απαντηθεί χωρίς να γίνουν όλοι θεατρικοί.
Το δίδαγμα
Η επεξηγησιμότητα χωρίς replay είναι θέατρο, γιατί μπερδεύει μια πειστική αφήγηση με μια επαληθεύσιμη. Μια παραγόμενη αιτιολογία, ένας πίνακας ελέγχου, μια καρτέλα μοντέλου και ένας σίγουρος αναθεωρητής μπορούν όλα να βοηθήσουν. Κανένα από αυτά δεν αρκεί όταν μια απόφαση με σημαντικές συνέπειες πρέπει να ανασυντεθεί. Το σύστημα χρειάζεται τη διαδρομή: πλαίσιο, πηγές, οδηγίες, κατάσταση μοντέλου, έλεγχοι πολιτικής, ενέργειες εργαλείων, ανθρώπινη κρίση, έξοδος και αποτέλεσμα.
Το replay δεν απαιτεί τέλειο ντετερμινισμό. Απαιτεί πειθαρχημένη μνήμη. Απαιτεί σταθερές αναφορές, εκδόσεις, στιγμιότυπα όπου χρειάζονται, προβολές ανά ρόλο, όρια ιδιωτικότητας και αρχεία που δηλώνουν πότε λείπουν αποδεικτικά στοιχεία. Αντιμετωπίζει την εξήγηση ως προβολή πάνω σε αποδεικτικά στοιχεία και όχι ως ιστορία που επινοήθηκε εκ των υστέρων. Δίνει στους επηρεαζόμενους κάτι να αμφισβητήσουν, στους χειριστές κάτι να επισκευάσουν και στους ελεγκτές κάτι καλύτερο από μια ξενάγηση στην ελπίδα.
Το μέλλον της επεξηγήσιμης τεχνητής νοημοσύνης δεν θα κερδηθεί μόνο με πιο όμορφα κείμενα εξήγησης. Θα κερδηθεί από συστήματα που μπορούν να επιστρέψουν στη δική τους δουλειά. Αν η διαδρομή μπορεί να αναπαραχθεί, μια εξήγηση μπορεί να ελεγχθεί. Αν η διαδρομή δεν μπορεί να αναπαραχθεί, η εξήγηση μπορεί να είναι ακόμα εύγλωττη. Μπορεί να είναι ακόμα και αληθινή. Αλλά σε σοβαρά πλαίσια, η ευγλωττία είναι φτωχό υποκατάστατο για τον μηχανισμό που μπορεί να δείξει τη δουλειά του.