Γιατί η επαναληψιμότητα μετράει περισσότερο από τα demos
Η δεύτερη εκτέλεση είναι η αλήθεια
Η πρώτη εκτέλεση είχε χειροκρότημα. Το μοντέλο βρήκε τη ρήτρα, ο πίνακας ελέγχου φωτίστηκε, η απάντηση παρέπεμπε στο σωστό έγγραφο και η αίθουσα χαλάρωσε με τον ακριβή τρόπο που χαλαρώνουν οι αίθουσες όταν μια γραμμή του προϋπολογισμού γίνεται μόλις πιο εύκολο να υπερασπιστεί κανείς. Η ομάδα είχε προετοιμαστεί προσεκτικά. Τα δεδομένα ήταν αρκετά καθαρά, οι ερωτήσεις ήταν λογικές, το δίκτυο συμπεριφέρθηκε σωστά, ο φορητός υπολογιστής του προμηθευτή δεν είχε αποφασίσει να γίνει ένα μικρό καλοριφέρ και κανείς δεν ρώτησε για τη μία ακραία περίπτωση που είχε μετατεθεί ευγενικά σε μεταγενέστερη φάση. Ήταν μια καλή επίδειξη. Οι καλές επιδείξεις είναι χρήσιμες. Δείχνουν το δυνατό. Δίνουν στους ανθρώπους ένα κοινό αντικείμενο για συζήτηση. Κάνουν μια αφηρημένη ικανότητα ορατή.
Έπειτα ήρθε η δεύτερη εκτέλεση. Ίδια περίπτωση χρήσης, αλλά τώρα με τα δεδομένα της περασμένης εβδομάδας, διαφορετικό χειριστή, ένα έγγραφο πηγή με έναν παράξενο πίνακα, μια ενημέρωση πολιτικής που δεν είχε φτάσει στο προτρέπτο και έναν διευθυντή να παρακολουθεί επειδή το αποτέλεσμα θα διαμόρφωνε μια πραγματική απόφαση. Η απάντηση ήταν ακόμα ευχερής. Αυτό δεν ήταν το πρόβλημα. Το πρόβλημα ήταν ότι κανείς δεν μπορούσε να πει αν ήταν η ίδια απάντηση για τους ίδιους λόγους ή μια διαφορετική απάντηση με τον ίδιο τόνο. Η επίδειξη είχε αποδείξει ότι το σύστημα μπορούσε να αποδώσει. Δεν είχε αποδείξει ότι ο οργανισμός μπορούσε να επαναλάβει την απόδοση.
Εδώ η σοβαρή εργασία με την τεχνητή νοημοσύνη αλλάζει χαρακτήρα. Μια επίδειξη ρωτά μπορούμε να το κάνουμε να λειτουργήσει μία φορά. Η λειτουργία ρωτά μπορούμε να το κάνουμε να λειτουργήσει ξανά, να εξηγήσουμε γιατί λειτούργησε, να γνωρίζουμε πότε δεν λειτούργησε και να διατηρήσουμε τα αποδεικτικά στοιχεία όταν κάποιος ρωτήσει έξι μήνες αργότερα. Η επαναληψιμότητα δεν είναι το αντίθετο της καινοτομίας. Είναι το μέρος της καινοτομίας που επιβιώνει από την επαφή με τη μισθοδοσία, τον νόμο, την ασφάλεια, τους πελάτες, τους πολίτες, τους ελεγκτές, το κουρασμένο προσωπικό και την ήσυχη εχθρότητα των πραγματικών δεδομένων.
Οι περισσότερες αποτυχίες στη λειτουργία της τεχνητής νοημοσύνης δεν φτάνουν ως κινηματογραφική κατάρρευση. Φτάνουν ως μικρές διαφορές που κανείς δεν μπορεί να αναπαράγει. Ένα αποτέλεσμα ανάκτησης αλλάζει. Μια ενημέρωση προτρέπτου διορθώνει μια περίπτωση και αποδυναμώνει μια άλλη. Μια αναβάθμιση μοντέλου μετακινεί το όριο απόφασης. Μια ροή πηγής χάνει ένα πεδίο. Μια ανθρώπινη παράκαμψη καταγράφεται σε ένα σύστημα αλλά όχι σε άλλο. Ο οργανισμός εξακολουθεί να έχει ένα λειτουργικό σύστημα με τη θεατρική έννοια. Δεν έχει πλέον ένα σύστημα που μπορεί να αφηγηθεί την ίδια ιστορία δύο φορές.
Μια επίδειξη κρύβει το βαρετό συμβόλαιο
Σε μια επίδειξη επιτρέπεται να είσαι επιλεκτικός. Έχει μια ιστορία, μια αρχή, ένα ικανοποιητικό κλικ και συνήθως ένα δείγμα δεδομένων που έχει χτενιστεί σαν παιδί πριν από τις σχολικές φωτογραφίες. Αυτό δεν είναι εξαπάτηση. Είναι επικοινωνία. Το πρόβλημα αρχίζει όταν ο οργανισμός μπερδεύει την επικοινωνία με ένα συμβόλαιο λειτουργίας. Η επίδειξη δεν καθορίζει τη φρεσκάδα της πηγής, τα όρια εκδόσεων, τις διαδρομές επαναφοράς, τα δικαιώματα ανθρώπινης αναθεώρησης, τη γλώσσα των σφαλμάτων, τη διατήρηση δεδομένων ή την ακριβή συνθήκη υπό την οποία το σύστημα πρέπει να αρνηθεί να απαντήσει. Αυτές οι λεπτομέρειες συχνά βρίσκονται ακριβώς έξω από την οθόνη, να δείχνουν άκομψες και να περιμένουν να εκδώσουν τιμολόγιο σε όλους αργότερα.
Η επαναληψιμότητα κάνει το συμβόλαιο ορατό. Ρωτάει ποια είσοδος είναι η είσοδος, όχι το πλησιέστερο αντίγραφο. Ρωτάει ποια έκδοση κανόνων περιόρισε την απάντηση, όχι ποια σελίδα πολιτικής φαινόταν οικεία. Ρωτάει αν η σειρά ανάκτησης είναι σταθερή, αν οι ισοπαλίες αντιμετωπίζονται ντετερμινιστικά, αν οι προτροπές έχουν εκδόσεις, αν τα μοντέλα παραμέτρων μπορούν να ονομαστούν, αν οι κλήσεις εργαλείων καταγράφονται, αν ο χειριστής μπορεί να αναπαράγει μια υπόθεση και αν μια παράκαμψη αλλάζει τη ροή εργασίας ή απλώς διακοσμεί ένα αρχείο καταγραφής. Αυτά δεν είναι φιλοσοφικά ερωτήματα. Είναι η καλωδίωση πίσω από την αξιόπιστη εργασία.
Το δύσκολο είναι ότι η επαναληψιμότητα φαίνεται πιο αργή στην αρχή. Μια ομάδα που κυνηγάει μια επίδειξη μπορεί να χρησιμοποιήσει τον ταχύτερο δρόμο μέσα στον κήπο. Μια ομάδα που χτίζει επαναληψιμότητα πρέπει να στρώσει πλάκες, να επισημάνει τις πύλες και να αποφασίσει ποιος κατέχει το κλειδί της αποθήκης. Αυτό μπορεί να φαίνεται γραφειοκρατικό σε ανθρώπους που βλέπουν μόνο την πρώτη εβδομάδα. Μετά το τρίτο περιστατικό, αρχίζει να φαίνεται ευεργετικό.
Τα συστήματα τεχνητής νοημοσύνης αυξάνουν την ανάγκη για αυτή την ευεργεσία επειδή εισάγουν θεμιτή μεταβλητότητα. Τα γλωσσικά μοντέλα μπορούν να δειγματοληφθούν. Η ανάκτηση μπορεί να αναδείξει κοντινούς υποψηφίους. Η ανθρώπινη κρίση μπορεί να διαφέρει. Τα έγγραφα μπορεί να είναι διφορούμενα. Ένα επαναλήψιμο σύστημα δεν προσποιείται ότι ο κόσμος είναι ντετερμινιστικός σε κάθε λεπτομέρεια. Διακρίνει την επιτρεπόμενη διακύμανση από τη μη διαχειριζόμενη διακύμανση. Λέει ότι αυτό το πεδίο μπορεί να διαφέρει επειδή ο χρήστης ρωτά σε φυσική γλώσσα, αλλά αυτό το σύνολο πηγών δεν πρέπει να διαφέρει χωρίς καταγεγραμμένη αλλαγή στο σώμα κειμένων. Αυτή η διατύπωση της σύνοψης μπορεί να διαφέρει, αλλά η βάση επιλεξιμότητας δεν πρέπει. Αυτή η βαθμολογία μπορεί να αλλάξει μετά από αναβάθμιση μοντέλου, αλλά η αναβάθμιση πρέπει να είναι ιχνηλάσιμη.
Η ίδια είσοδος δεν είναι μια απλή φράση
Οι άνθρωποι λένε ίδια είσοδος σαν να ήταν προφανής η φράση. Στα πραγματικά συστήματα σπάνια είναι προφανής. Η ορατή ερώτηση του χρήστη είναι μόνο ένα μέρος. Η πραγματική είσοδος μπορεί να περιλαμβάνει ανακτημένα έγγραφα, κρυφές οδηγίες, προτροπές συστήματος, σχήματα εργαλείων, κανόνες πολιτικής, ρόλο χρήστη, χρόνο, τοπικές ρυθμίσεις, δικαιώματα πρόσβασης, αποθηκευμένες εγγραφές, σημαίες λειτουργιών, έκδοση μοντέλου, ευρετήριο ενσωματώσεων, ρυθμίσεις κατωφλίου και τη σιωπηλή υπόθεση ότι η ανανέωση της αποθήκης δεδομένων της προηγούμενης ημέρας ήταν επιτυχής. Η ίδια είσοδος μπορεί να γίνει ένα εκπληκτικά γεμάτο δωμάτιο.
Γι' αυτό η επαναληψιμότητα ξεκινά με την ταυτότητα της εισόδου. Το σύστημα θα πρέπει να γνωρίζει ποιες εγγραφές ήταν διαθέσιμες, ποιες εγγραφές επιλέχθηκαν, ποια έκδοση του σώματος κειμένων αναζητήθηκε, ποιο πρότυπο προτροπής χρησιμοποιήθηκε, ποιο σύνολο πολιτικών εφαρμόστηκε, ποιο μοντέλο εκτελέστηκε, ποια εργαλεία επιτράπηκαν και ποιος ανθρώπινος ρόλος αποδέχθηκε το αποτέλεσμα. Αν αυτό ακούγεται πολύ, είναι επειδή η διαδρομή απόφασης ήταν ήδη μεγάλη. Το μόνο ερώτημα είναι αν ο οργανισμός το παραδέχεται.
Η διάκριση έχει τη μεγαλύτερη σημασία όταν τα αποτελέσματα αμφισβητούνται. Αν ένας πελάτης ρωτήσει γιατί απορρίφθηκε μια αξίωση, ένα νοσοκομείο ρωτήσει γιατί εμφανίστηκε μια ένδειξη κινδύνου, μια τράπεζα ρωτήσει γιατί κλιμακώθηκε μια υπόθεση ή μια δημόσια υπηρεσία ρωτήσει γιατί ένας πολίτης έλαβε μια συγκεκριμένη οδηγία, ο οργανισμός δεν μπορεί να απαντήσει μόνο με την ορατή ερώτηση. Χρειάζεται το πλαίσιο λειτουργίας. Χωρίς αυτό, η αναθεώρηση περιστατικών γίνεται μια ευγενική συνεδρία επίκλησης πνευμάτων στην οποία όλοι επικαλούνται αρχεία καταγραφής, μνήμη και στιγμιότυπα οθόνης ενώ προσποιούνται ότι αυτό είναι μια μέθοδος.
Η ταυτότητα εισόδου προστατεύει επίσης τις ομάδες από άδικες κατηγορίες. Αν ένα αποτέλεσμα άλλαξε επειδή άλλαξε ένα έγγραφο πηγής, αυτό είναι ζήτημα περιεχομένου. Αν άλλαξε επειδή ανακατασκευάστηκε ένα ευρετήριο με διαφορετικές παραμέτρους, αυτό είναι ζήτημα ανάκτησης. Αν άλλαξε επειδή αναβαθμίστηκε ένα μοντέλο, αυτό είναι ζήτημα ανάπτυξης. Αν άλλαξε επειδή ένας χειριστής χρησιμοποίησε διαφορετική ροή εργασίας, αυτό είναι ζήτημα διαδικασίας. Το να αποκαλούμε όλα αυτά συμπεριφορά μοντέλου είναι βολικό και λάθος, ένας ισχυρός συνδυασμός σε οργανισμούς με γεμάτα ημερολόγια.
Η επαναληψιμότητα δεν σημαίνει πάγωμα των πάντων
Υπάρχει μια τεμπέλικη ένσταση ότι η επαναληψιμότητα σκοτώνει την προσαρμογή. Δεν την σκοτώνει. Σκοτώνει το μυστήριο. Μια επαναλήψιμη λειτουργία μπορεί ακόμα να βελτιώνει μοντέλα, να αλλάζει προτροπές, να ενημερώνει κανόνες, να καθαρίζει δεδομένα, να προσθέτει πηγές, να ρυθμίζει κατώφλια και να επανασχεδιάζει ροές εργασίας. Η διαφορά είναι ότι οι αλλαγές γίνονται ονομασμένα γεγονότα αντί για καιρός. Όταν το αποτέλεσμα μετακινείται, η ομάδα μπορεί να ρωτήσει ποια ελεγχόμενη αλλαγή το μετακίνησε. Έτσι η βελτίωση γίνεται μάθηση αντί για δεισιδαιμονία με σημείωμα έκδοσης.
Οι καλύτερες λειτουργικές ομάδες αντιμετωπίζουν τις αλλαγές ως πειράματα με όρια. Κρατούν περιπτώσεις βάσης. Τρέχουν αξιολογήσεις σκιάς. Συγκρίνουν παλιά και νέα αποτελέσματα ανάκτησης. Ελέγχουν παραδείγματα υψηλού αντίκτυπου πριν από την προώθηση. Καταγράφουν ποιος ενέκρινε την αλλαγή και γιατί. Ορίζουν συνθήκες επαναφοράς πριν από την κλήση εκκίνησης, όχι ενώ το κανάλι υποστήριξης φλέγεται. Αυτό δεν είναι θεατρική προσοχή. Είναι πώς οι ομάδες κινούνται πιο γρήγορα αφού το πρώτο σύστημα έχει σημασία.
Υπάρχει επίσης μια ηθική διάσταση, αν και είναι καλύτερο όταν εκφράζεται απλά. Αν ένα σύστημα επηρεάζει χρήματα, εργασία, φροντίδα, προτεραιότητα, επιβολή ή πρόσβαση, οι άνθρωποι που επηρεάζονται από αυτό αξίζουν κάτι περισσότερο από μια παράσταση. Αξίζουν μια διαδικασία που μπορεί να εξηγήσει τον εαυτό της. Η επαναληψιμότητα δημιουργεί την προϋπόθεση για αυτή την εξήγηση. Δεν μπορείς να ελέγξεις μια πράξη εξαφάνισης. Μπορείς μόνο να χειροκροτήσεις ή να παραπονεθείς.
Η καλή επαναληψιμότητα διαχωρίζει λοιπόν το σταθερό από το ευέλικτο. Σταθερά είναι τα αρχεία του τι συνέβη, οι αναγνωριστικοί αριθμοί έκδοσης, το σύνολο αξιολόγησης, η γενεαλογία πηγών, ο ιδιοκτήτης κανόνων, η διαδρομή έγκρισης και οι συνθήκες άρνησης. Ευέλικτες είναι οι τεχνικές που χρησιμοποιούνται για βελτίωση εντός αυτών των ορίων. Η τέχνη είναι να ξέρεις ποιο είναι ποιο. Πολλοί οργανισμοί τα αντιστρέφουν. Παγώνουν τη διαδικασία επειδή κανείς δεν εμπιστεύεται το σύστημα, και μετά επιτρέπουν κρυφές τεχνικές αλλαγές επειδή κανείς δεν μπορεί να τις δει. Αυτή είναι διακυβέρνηση με περσίδα παραθύρου.
Το σύνολο αξιολόγησης είναι μια εργαζόμενη μνήμη
Κάθε ώριμη λειτουργία χρειάζεται ένα μικρό σύνολο περιπτώσεων που αρνείται να ξεχάσει. Όχι ένα συνθετικό σημείο αναφοράς που επιλέχθηκε επειδή φαίνεται εντυπωσιακό σε μια αναφορά, αλλά ένα ζωντανό σύνολο αξιολόγησης που φτιάχτηκε από τις δύσκολες περιπτώσεις που δίδαξαν κάτι στην ομάδα. Το έγγραφο με τις αντικρουόμενες ημερομηνίες. Το αίτημα πελάτη που συνδυάζει δύο πολιτικές. Το τιμολόγιο όπου η εξαγωγή πίνακα σχεδόν λειτουργεί. Η ιατρική σημείωση με διφορούμενες συντομογραφίες. Η περίπτωση προμηθειών όπου η νομική βάση έχει μεγαλύτερη σημασία από την προφανή απάντηση. Αυτές οι περιπτώσεις γίνονται θεσμική μνήμη.
Ένα επαναλήψιμο σύστημα τρέχει αυτές τις περιπτώσεις όταν κάτι αλλάζει. Ο στόχος δεν είναι να λατρεύουμε τα παλιά αποτελέσματα. Μερικές φορές το παλιό αποτέλεσμα ήταν λάθος. Ο στόχος είναι να κατανοήσουμε την κίνηση. Βελτίωσε η νέα έκδοση την περίπτωση για τον σωστό λόγο. Έσπασε μια εύθραυστη αλλά σημαντική συμπεριφορά. Έγινε πιο σίγουρη ενώ έχανε αποδεικτικά στοιχεία. Επέλεξε διαφορετική πηγή. Παρήγαγε το ίδιο συμπέρασμα με πιο αδύναμη διαδρομή. Σε σοβαρή δουλειά, η διαδρομή έχει σημασία επειδή η ίδια απάντηση για λάθος λόγο δεν είναι η ίδια απάντηση.
Εδώ χάνουν τον έλεγχο πολλά προγράμματα που καθοδηγούνται από επιδείξεις. Μετρούν την ικανοποίηση χρήστη, την καθυστέρηση και τη γενική ακρίβεια, αλλά δεν κρατούν κοντά τις δύσκολες περιπτώσεις. Το αποτέλεσμα είναι ένα σύστημα που μπορεί να φαίνεται καλύτερο συνολικά ενώ γίνεται χειρότερο στα άκρα που έχουν σημασία. Οι μέσοι όροι είναι χρήσιμοι. Στα άκρα φτάνει το παράπονο με συνημμένα.
Το σύνολο αξιολόγησης θα πρέπει να περιλαμβάνει και περιπτώσεις άρνησης. Ένα σύστημα που απαντά πάντα δεν είναι χρήσιμο. Είναι φορτικό. Η επαναληψιμότητα απαιτεί το σύστημα να αρνείται με συνέπεια όταν λείπουν πηγές, απουσιάζει η εξουσιοδότηση, η εμπιστοσύνη είναι πολύ αδύναμη, ένας χρήστης ρωτά εκτός ρόλου ή η εργασία απαιτεί ανθρώπινη απόφαση. Η συμπεριφορά άρνησης είναι μέρος της ποιότητας. Ένα καθαρό όχι είναι συχνά πιο πολύτιμο από ένα γοητευτικό ίσως μεταμφιεσμένο σε βεβαιότητα.
Η ανθρώπινη κρίση πρέπει να είναι επίσης επαναλήψιμη
Η επαναληψιμότητα δεν είναι ιδιότητα μόνο των μηχανών. Τα ανθρώπινα βήματα χρειάζονται επίσης επαναληψιμότητα. Αν ένας αξιολογητής αντιμετωπίζει την έξοδο του μοντέλου ως προσχέδιο, ένας άλλος ως απόφαση και ένας τρίτος ως ενοχλητικό συνάδελφο, η ροή εργασίας θα αποκλίνει όσο σταθερό και αν είναι το μοντέλο. Ο οργανισμός πρέπει να ορίσει τι σημαίνει αξιολόγηση. Επαληθεύει ο άνθρωπος τις πηγές, ελέγχει την πολιτική, δειγματίζει αποδεικτικά στοιχεία, εγκρίνει, επεξεργάζεται τη γλώσσα ή αναλαμβάνει το συμπέρασμα. Κάθε ρήμα δημιουργεί διαφορετικό καθήκον.
Οι χειριστές χρειάζονται διεπαφές που υποστηρίζουν αυτά τα καθήκοντα. Αν πρέπει να επαληθεύουν πηγές, οι πηγές πρέπει να είναι ορατές. Αν πρέπει να ελέγχουν πολιτική, η βάση κανόνων πρέπει να είναι κοντά στην έξοδο. Αν πρέπει να παρακάμψουν, η διαδρομή παράκαμψης πρέπει να είναι φυσιολογική, όχι κρυμμένη πίσω από ένα κουμπί που μοιάζει με ομολογία προδοσίας. Αν πρέπει να εξηγήσουν αργότερα μια απόφαση, το σύστημα πρέπει να διατηρεί ό,τι είδαν εκείνη τη στιγμή. Διαφορετικά, η ανθρώπινη εποπτεία γίνεται διακοσμητική φράση με συνημμένο αναγνωριστικό υπαλλήλου.
Σημασία έχει και η εκπαίδευση, αλλά όχι το είδος που μαθαίνει στους ανθρώπους να θαυμάζουν το σύστημα. Η χρήσιμη εκπαίδευση δείχνει τα όρια. Δίνει στους αξιολογητές παραδείγματα ισχυρών εξόδων, αδύναμων εξόδων, ελλιπών αποδεικτικών στοιχείων, παρωχημένων πηγών, έγχυσης προτροπών, σύγκρουσης πολιτικών και περιπτώσεων όπου το μοντέλο πρέπει να αγνοηθεί με ήρεμη καρδιά. Τους λέει ποιες διαφωνίες είναι αναμενόμενες. Τους λέει ότι οι καλές παρακάμψεις είναι μέρος του συστήματος ελέγχου. Αν κάθε παράκαμψη αντιμετωπίζεται ως αποτυχία υιοθέτησης, οι άνθρωποι θα μάθουν να σταματούν να παρατηρούν. Οι άνθρωποι είναι προσαρμοστικοί, μερικές φορές ενοχλητικά.
Υπάρχει ξερή παρηγοριά στο να καταγράφεις τη διαδικασία. Όχι επειδή τα έγγραφα είναι μαγικά. Δεν είναι, όπως ξέρει όποιος έχει γνωρίσει έναν κοινόχρηστο δίσκο. Η παρηγοριά έρχεται από το να αναγκάζεις τον οργανισμό να επιλέξει. Ένα επαναλήψιμο ανθρώπινο βήμα λέει ότι αυτός ο ρόλος πρέπει να κάνει αυτόν τον έλεγχο, με αυτά τα αποδεικτικά στοιχεία, μέσα σε αυτή την προθεσμία, και αυτό συμβαίνει όταν ο έλεγχος αποτυγχάνει. Ξαφνικά, η εποπτεία αποκτά σκελετό.
Η τυχαιότητα χρειάζεται διεύθυνση κατοικίας
Ορισμένα συστήματα τεχνητής νοημοσύνης περιλαμβάνουν τυχαιότητα εκ σχεδιασμού. Η δειγματοληψία μπορεί να παράγει καλύτερη γλώσσα. Η αναζήτηση μπορεί να εξερευνήσει εναλλακτικές. Οι πράκτορες μπορούν να δοκιμάσουν διαφορετικές διαδρομές εργαλείων. Η ανθρώπινη ανατροφοδότηση μπορεί να μεταβάλει τη συμπεριφορά με την πάροδο του χρόνου. Τίποτα από αυτά δεν είναι εκ φύσεως κακό. Το λειτουργικό λάθος είναι να αφήνουμε την τυχαιότητα να ζει παντού και πουθενά. Αν η μεταβλητότητα είναι χρήσιμη, πείτε πού επιτρέπεται. Αν είναι επικίνδυνη, περιορίστε την. Αν εμφανίζεται, καταγράψτε αρκετά για να την κατανοήσετε. Η τυχαιότητα χωρίς διεύθυνση είναι ο τρόπος με τον οποίο οι ομάδες καταλήγουν να διορθώνουν μια μηχανή ομίχλης.
Υπάρχουν πρακτικές τεχνικές. Χρησιμοποιήστε ντετερμινιστικές ρυθμίσεις όταν το αποτέλεσμα έχει συνέπειες και η εργασία είναι οριοθετημένη. Καρφιτσώστε εκδόσεις και πρότυπα. Διατηρήστε στιγμιότυπα του συνόλου δεδομένων. Καταγράψτε τα υποψήφια αποτελέσματα ανάκτησης. Διαχωρίστε τη δημιουργική σύνταξη από την υποστήριξη αποφάσεων. Για παραγωγικό κείμενο που μπορεί να ποικίλλει, αξιολογήστε τους ισχυρισμούς και τις πηγές αντί για την επιφανειακή διατύπωση. Για ροές εργασίας με πράκτορες, καταγράψτε τα σχέδια εργαλείων, τα αποτελέσματα εργαλείων και τις διαδρομές άρνησης. Για ενημερώσεις μοντέλων, εκτελέστε συγκρίσεις ανά ζεύγη πριν μετακινηθεί η κυκλοφορία. Τίποτα από αυτά δεν αφαιρεί την αβεβαιότητα. Της δίνει μια θέση στο τραπέζι και την εμποδίζει να περιπλανιέται μέσα από τα πλακάκια της οροφής.
Η επαναληψιμότητα αλλάζει επίσης τη γλώσσα των περιστατικών. Αντί να λέμε ότι το AI έδωσε μια κακή απάντηση, η ομάδα μπορεί να πει ότι η απάντηση χρησιμοποίησε το στιγμιότυπο συνόλου δεδομένων 18, το πακέτο πολιτικής 12, την έκδοση μοντέλου 4, το πρότυπο προτροπής 31, τα ανακτημένα έγγραφα Α, Γ και ΣΤ, παρέλειψε το έγγραφο Β λόγω πεδίου πρόσβασης και έγινε αποδεκτή από τον ρόλο Χ χωρίς κλιμάκωση. Αυτή η πρόταση είναι λιγότερο συναρπαστική από το ότι το σύστημα εξετράπη. Είναι επίσης πιο χρήσιμη, κάτι που αποτελεί επαναλαμβανόμενη απογοήτευση για τους δραματικούς ανθρώπους.
Όταν το σύστημα δεν μπορεί να παρέχει αυτή την πρόταση, ο οργανισμός δεν λειτουργεί AI. Παρακολουθεί το AI. Το βλέπει, αντιδρά, το παρηγορεί και ελπίζει ότι η επόμενη βάρδια θα πάει καλύτερα. Αυτό μπορεί να είναι αποδεκτό για ένα πρωτότυπο. Δεν είναι αποδεκτό για εργασία από την οποία εξαρτώνται οι άνθρωποι.
Το λάθος στις προμήθειες
Η επαναληψιμότητα πρέπει να αγοράζεται καθώς και να χτίζεται. Πολλές διαδικασίες προμηθειών εξακολουθούν να επιβραβεύουν την καλύτερη επίδειξη. Το σύστημα που φαίνεται ομαλό, απαντά γρήγορα και δίνει στη διοίκηση μια ευχάριστη αίσθηση εκσυγχρονισμού κερδίζει πόντους. Το σύστημα που εξηγεί τη διατήρηση αποδεικτικών στοιχείων, τη μορφή εξαγωγής, τις δοκιμές παλινδρόμησης, την ντετερμινιστική ανάκτηση, την καθήλωση έκδοσης μοντέλου, την αναθεώρηση βάσει ρόλου και την πολιτική επαναφοράς μπορεί να ακούγεται λιγότερο συναρπαστικό. Έτσι οι οργανισμοί αγοράζουν μελλοντικές συναντήσεις.
Οι καλές ερωτήσεις προμηθειών είναι ευθείες. Μπορούμε να αναπαράγουμε μια υπόθεση. Μπορούμε να εξάγουμε τη διαδρομή αποδεικτικών στοιχείων. Μπορούμε να καρφιτσώσουμε ή να ονομάσουμε κάθε μοντέλο και προτροπή που επηρεάζει μια απάντηση. Μπορεί η ανάκτηση να αναπαραχθεί μετά από αναδόμηση ευρετηρίου. Μπορούμε να συγκρίνουμε την τρέχουσα συμπεριφορά με μια βασική γραμμή που ορίστηκε πριν από την αποδοχή μιας ενημέρωσης. Μπορούν οι ανθρώπινες παρακάμψεις να αναλυθούν χωρίς να τιμωρείται η χρήσιμη κρίση. Μπορούμε να φύγουμε με τα αρχεία μας. Μπορούμε να πούμε σε έναν ελεγκτή τι συνέβη χωρίς να ανοίξουμε δελτίο υποστήριξης και να ανάψουμε ένα κερί.
Αυτές οι ερωτήσεις δεν απαιτούν εχθρότητα προς τους προμηθευτές. Απαιτούν ωριμότητα. Ένας καλός προμηθευτής θα πρέπει να μπορεί να πει ποια μέρη είναι επαναλήψιμα, ποια μέρη είναι πιθανολογικά, ποια αποδεικτικά στοιχεία είναι διαθέσιμα, ποια δεν είναι, και τι πρέπει να λειτουργεί μόνος του ο αγοραστής. Ένας αγοραστής που δεν μπορεί να κάνει αυτές τις ερωτήσεις θα ανακαλύψει τελικά τις απαντήσεις στην παραγωγή, όπου οι απαντήσεις είναι πιο ακριβές και έρχονται φορώντας ακουστικά.
Η ίδια λογική προμηθειών ισχύει και εσωτερικά. Οι ομάδες πλατφορμών δεν θα πρέπει να πουλούν ένα demo στις λειτουργίες χωρίς τη σύμβαση επαναληψιμότητας. Οι ομάδες δεδομένων δεν θα πρέπει να παραδίδουν πηγές χωρίς γενεαλογία. Οι ομάδες μοντέλων δεν θα πρέπει να κυκλοφορούν βελτιώσεις χωρίς συγκρίσεις βασικής γραμμής. Οι ομάδες διακυβέρνησης δεν θα πρέπει να εγκρίνουν αρχές χωρίς να δοκιμάζουν τα αρχεία. Όλοι θέλουν την κυκλοφορία. Η επαναληψιμότητα είναι η πειθαρχία του να νοιάζεσαι για την Τρίτη μετά την κυκλοφορία.
Η επαναληψιμότητα είναι καλοσύνη προς τις μελλοντικές ομάδες
Υπάρχει ένας ανθρώπινος λόγος να νοιάζεσαι για την επαναληψιμότητα που σπάνια εμφανίζεται στις στρατηγικές παρουσιάσεις. Είναι πιο ευγενική. Είναι πιο ευγενική προς τους χειριστές που δεν θα έπρεπε να μαντεύουν γιατί άλλαξε ένα σύστημα. Είναι πιο ευγενική προς τους μηχανικούς που δεν θα έπρεπε να ανασυνθέτουν περιστατικά από ψίχουλα πινάκων ελέγχου. Είναι πιο ευγενική προς τους διαχειριστές που πρέπει να λαμβάνουν αποφάσεις υπό έλεγχο. Είναι πιο ευγενική προς πελάτες, πολίτες, ασθενείς και συναδέλφους που αξίζουν απαντήσεις που δεν είναι αυτοσχέδιες εκ των υστέρων. Ένα επαναλήψιμο σύστημα μειώνει την ποσότητα θεσμικής προσποίησης που απαιτείται για να βγει η εβδομάδα.
Η επαναληψιμότητα κάνει επίσης την ειλικρίνεια πιο εύκολη. Όταν τα αποδεικτικά στοιχεία είναι διαθέσιμα, οι ομάδες μπορούν να πουν ότι το μοντέλο απέτυχε εδώ, τα δεδομένα ήταν παρωχημένα εκεί, η πολιτική ήταν διφορούμενη, ο αξιολογητής είχε ανεπαρκές πλαίσιο, ή η πηγή έλειπε. Χωρίς αποδεικτικά στοιχεία, κάθε παραδοχή μοιάζει επικίνδυνη επειδή κανείς δεν ξέρει πού θα προσγειωθεί η ευθύνη. Έτσι οι άνθρωποι μαλακώνουν τη γλώσσα, καθυστερούν αποφάσεις και δημιουργούν την πυκνή ομίχλη γνωστή ως ευθυγράμμιση. Τα αποδεικτικά στοιχεία δεν κάνουν τους οργανισμούς γενναίους, αλλά μειώνουν το κόστος της ακρίβειας.
Θα υπάρχουν πάντα εκπλήξεις. Η επαναληψιμότητα δεν είναι ξόρκι ενάντια στην πραγματικότητα. Νέες περιπτώσεις θα ανατρέπουν υποθέσεις. Οι χρήστες θα κάνουν παράξενες ερωτήσεις. Θα φτάνουν έγγραφα με μορφοποίηση που μοιάζει να συμφωνήθηκε κατά τη διάρκεια διακοπής ρεύματος. Τα μοντέλα θα βελτιώνονται προς μία κατεύθυνση και θα υποχωρούν προς μία άλλη. Το ζητούμενο δεν είναι να εξαλείψουμε την έκπληξη. Είναι να κάνουμε την έκπληξη πληροφοριακή αντί για μεταδοτική.
Γι' αυτό η επαναληψιμότητα έχει μεγαλύτερη σημασία από τις επιδείξεις. Οι επιδείξεις δημιουργούν την πεποίθηση ότι μια δυνατότητα υπάρχει. Η επαναληψιμότητα δημιουργεί τη δυνατότητα να βασιστούμε σε αυτήν. Η πρώτη είναι χρήσιμη για να ξεκινήσει μια συζήτηση. Η δεύτερη είναι απαραίτητη για να γίνει δουλειά. Όταν ένα σύστημα τεχνητής νοημοσύνης γίνεται μέρος ενός θεσμού, το ερώτημα παύει να είναι αν μπορεί να εντυπωσιάσει μια αίθουσα. Το ερώτημα γίνεται αν μπορεί να παράγει, να διατηρεί και να εξηγεί το έργο του σε μια συνηθισμένη μέρα, υπό συνηθισμένη πίεση, με συνηθισμένους ανθρώπους στη μέση. Οι συνηθισμένες μέρες είναι εκεί όπου τα σοβαρά συστήματα αποδεικνύουν την αξία τους.