Από πιλοτικά προγράμματα AI σε υπεύθυνες λειτουργίες
Το πιλοτικό που συνέχιζε να κερδίζει
Το πιλοτικό ήταν επιτυχημένο με τον τρόπο που είναι συχνά τα πιλοτικά. Το δωμάτιο ήταν μικρό, οι χρήστες ήταν φιλικοί, οι περιπτώσεις ήταν επιλεγμένες, η ομάδα του προμηθευτή ήταν προσεκτική, το μοντέλο συμπεριφέρθηκε αρκετά καλά και η διαφάνεια στο τέλος είχε ένα ποσοστό που έκανε όλους να σκύψουν μπροστά. Ο βοηθός μείωσε τον χρόνο σύνταξης. Ο ταξινομητής βρήκε περισσότερες σχετικές υποθέσεις. Το εργαλείο αναζήτησης ανέδειξε έγγραφα που οι άνθρωποι είχαν ξεχάσει ότι υπάρχουν. Το συμπέρασμα ήταν προφανές: κλιμάκωση.
Μετά το πιλοτικό συνάντησε τη Δευτέρα. Η Δευτέρα είχε ελλιπή δεδομένα, κουρασμένο προσωπικό, ακραίες περιπτώσεις, παλιές πολιτικές, μπερδεμένους χρήστες, πίεση στην ουρά, αργό δίκτυο, έναν διευθυντή που ζητούσε αναφορά μέχρι το μεσημέρι και μία υπόθεση που δεν ταίριαζε σε καμία από τις κατηγορίες που είχε χρησιμοποιήσει το πιλοτικό. Η Δευτέρα είναι εκεί όπου το λογισμικό παύει να είναι μια δυνατότητα και γίνεται μια ευθύνη. Είναι επίσης εκεί όπου πολλά πιλοτικά τεχνητής νοημοσύνης χάνουν ήσυχα τη γοητεία που είχαν στο δωμάτιο.
Το χάσμα μεταξύ πιλοτικού και λειτουργίας δεν είναι κυρίως θέμα ποιότητας μοντέλου. Είναι θέμα ιδιοκτησίας. Σε ένα πιλοτικό, οι εξαιρέσεις είναι ενδιαφέρουσες. Στη λειτουργία, οι εξαιρέσεις έχουν πελάτες, ασθενείς, πολίτες, συναδέλφους, τιμολόγια και προθεσμίες προσαρτημένα. Σε ένα πιλοτικό, η ομάδα έργου παρακολουθεί στενά. Στη λειτουργία, το σύστημα πρέπει να παρακολουθείται από ανθρώπους που έχουν και άλλη δουλειά να κάνουν. Σε ένα πιλοτικό, επιτυχία σημαίνει ότι η ιδέα αξίζει προσοχή. Στη λειτουργία, επιτυχία σημαίνει ότι ο οργανισμός μπορεί να βασιστεί σε αυτό χωρίς να προσποιείται ότι η πραγματικότητα έχει γίνει ευκολότερη.
Οι υπεύθυνες λειτουργίες είναι η ενήλικη μορφή ενός πιλοτικού τεχνητής νοημοσύνης. Καθορίζουν ποιος κατέχει τη ροή εργασίας, ποιες ενέργειες επιτρέπεται να υποστηρίζει το σύστημα, ποια αποδεικτικά στοιχεία απαιτούνται, πώς ανιχνεύονται οι αποτυχίες, πότε το σύστημα κάνει παύση, πώς οι άνθρωποι υποβάλλουν ένσταση, πώς εγκρίνονται οι αλλαγές και πώς μετράται η αξία αφού έχει ξεθωριάσει η καινοτομία. Λιγότερο συναρπαστικό από το πιλοτικό, σίγουρα. Επίσης λιγότερο πιθανό να δημιουργήσει ένα όμορφα χρηματοδοτούμενο χάος.
Ένα πιλοτικό επιτρέπεται να είναι ελλιπές
Ένα καλό πιλοτικό είναι σκόπιμα ελλιπές. Δοκιμάζει ένα ερώτημα. Μπορεί αυτό το μοντέλο να ταξινομήσει αυτά τα έγγραφα αρκετά καλά ώστε να συνεχίσει. Μπορεί αυτός ο βοηθός να μειώσει τον χρόνο σύνταξης. Μπορεί αυτό το μοτίβο ανάκτησης να αναδείξει σχετικά αποδεικτικά στοιχεία. Μπορεί αυτή η προσέγγιση σχεδιασμού να βελτιώσει ένα χρονοδιάγραμμα. Ένα πιλοτικό πρέπει να είναι περιορισμένο, αρκετά γρήγορο για να προσφέρει μάθηση και ειλικρινές σχετικά με τις συνθήκες υπό τις οποίες έτρεξε. Δεν πρέπει να προσποιείται ότι είναι ένα λειτουργικό μοντέλο με λιγότερες συναντήσεις.
Το πρόβλημα ξεκινά όταν τα στοιχεία από ένα πιλοτικό πρόγραμμα προωθούνται πέρα από τα όρια της αρμοδιότητάς τους. Ένα επιλεγμένο σύνολο περιπτώσεων γίνεται απόδειξη ποιότητας παραγωγής. Οι φιλικοί χρήστες γίνονται απόδειξη υιοθέτησης. Ο χρόνος που εξοικονομήθηκε σε ένα ελεγχόμενο περιβάλλον εργασίας γίνεται επιχειρηματικό επιχείρημα για ένα χαοτικό τμήμα. Μια ενσωμάτωση με υποστήριξη προμηθευτή γίνεται απόδειξη ότι οι εσωτερικές ομάδες μπορούν να τη λειτουργήσουν. Ένας πίνακας ελέγχου που παρακολουθείται καθημερινά από την ομάδα έργου γίνεται απόδειξη ότι υπάρχει παρακολούθηση. Το πιλοτικό πρόγραμμα δεν είπε ψέματα. Ο οργανισμός υπερερμήνευσε.
Τα πιλοτικά προγράμματα συχνά αποφεύγουν τα πιο δύσκολα ερωτήματα, επειδή έτσι προχωρούν γρήγορα. Ποιος κατέχει το μοντέλο μετά την κυκλοφορία. Ποιος ενημερώνει το προτροπή. Ποιος χειρίζεται μια ένσταση. Τι συμβαίνει όταν λείπουν δεδομένα. Τι συμβαίνει όταν το μοντέλο αρνείται. Ποιες περιπτώσεις δεν πρέπει ποτέ να αυτοματοποιούνται. Πώς ανιχνεύεται η απόκλιση. Πώς διακόπτεται το σύστημα. Ποια είναι η διαδρομή επαναφοράς. Ποιος προϋπολογισμός πληρώνει για τη συντήρηση. Αυτά τα ερωτήματα μπορούν να περιμένουν κατά τη διάρκεια της διερεύνησης. Δεν μπορούν να περιμένουν κατά τη διάρκεια των επιχειρήσεων.
Δεν υπάρχει ντροπή στο να είναι ένα πιλοτικό πρόγραμμα ελλιπές. Ντροπή υπάρχει στο να το αποκαλείς έτοιμο επειδή ήταν γοητευτικό. Ένα πιλοτικό πρόγραμμα κερδίζει την επόμενη φάση όταν παράγει μάθηση, όχι όταν παράγει ενθουσιασμό. Ο ενθουσιασμός είναι φθηνός σε ένα ελεγχόμενο δωμάτιο. Οι επιχειρήσεις απαιτούν διαφορετικό νόμισμα.
Η επιτρεπόμενη χρήση είναι η πρώτη επιχειρησιακή απόφαση
Πριν από την κλιμάκωση ενός συστήματος τεχνητής νοημοσύνης, ορίστε την επιτρεπόμενη χρήση. Όχι με ασαφή γλώσσα όπως βελτίωση της παραγωγικότητας ή υποστήριξη λήψης αποφάσεων. Ονομάστε τη δράση. Συντάξτε εσωτερικές σημειώσεις. Συνοψίστε στοιχεία για αναθεώρηση. Ιεραρχήστε περιπτώσεις για προσοχή. Προτείνετε μια διαδρομή. Εγκρίνετε μια συναλλαγή χαμηλού κινδύνου. Απορρίψτε ένα αίτημα. Στείλτε ένα μήνυμα. Κάθε ρήμα έχει διαφορετική συνέπεια. Οι επιχειρήσεις δεν μπορούν να διαχειριστούν μια ομίχλη.
Η επιτρεπόμενη χρήση θα πρέπει να περιλαμβάνει όρια. Ποιες πηγές δεδομένων μπορούν να χρησιμοποιηθούν. Ποιες περιπτώσεις είναι εκτός πεδίου. Ποιο όριο εμπιστοσύνης ή αποδεικτικών στοιχείων απαιτείται. Ποιες ενέργειες απαιτούν ανθρώπινη έγκριση. Ποιες ενέργειες είναι μόνο συμβουλευτικές. Ποια αποτελέσματα μπορούν να φύγουν από τον οργανισμό. Ποιοι χρήστες μπορούν να τα δουν. Ποιες αποφάσεις απαιτούν διατηρημένο αρχείο. Το όριο δεν είναι νομικό στολίδι. Είναι ο χάρτης που χρησιμοποιούν οι χειριστές όταν το σύστημα συναντά μια περίπτωση που το πιλοτικό πρόγραμμα δεν είχε προβλέψει.
Αυτό είναι ιδιαίτερα σημαντικό επειδή τα συστήματα τεχνητής νοημοσύνης τείνουν να επεκτείνονται λόγω ευκολίας. Ένα εργαλείο που συντάσσει εσωτερικές περιλήψεις αρχίζει να συντάσσει απαντήσεις σε πελάτες. Ένας ταξινομητής που χρησιμοποιείται για διαλογή αρχίζει να επηρεάζει την επιλεξιμότητα. Ένας βοηθός αναζήτησης που χρησιμοποιείται από ειδικούς αρχίζει να απαντά σε αρχάριους. Ένα μοντέλο που αξιολογήθηκε στα αγγλικά χρησιμοποιείται σε μεταφρασμένο υλικό. Κανείς δεν ανακοινώνει απαραίτητα μια νέα χρήση. Απλώς γίνεται χρήσιμο σε ένα νέο μέρος. Το χρήσιμο δεν είναι το ίδιο με το εξουσιοδοτημένο.
Οι υπεύθυνες επιχειρήσεις απαιτούν ένα μητρώο πεδίου εφαρμογής που χρησιμοποιείται πραγματικά. Θα πρέπει να συνδέει τη χρήση, τη συνέπεια, τα στοιχεία, τον ιδιοκτήτη, τους ελέγχους, την παρακολούθηση και την αναθεώρηση. Όταν κάποιος ρωτά αν το σύστημα μπορεί να υποστηρίξει μια νέα ενέργεια, η απάντηση θα πρέπει να έρχεται μέσω του μητρώου και μιας διαδικασίας αλλαγής, όχι μέσω μιας συνομιλίας στο διάδρομο με προθεσμία.
Η ιδιοκτησία πρέπει να επιβιώνει πέρα από την ομάδα του έργου
Τα πιλοτικά προγράμματα συχνά στηρίζονται σε μια ειδική ομάδα ανθρώπων που κατανοούν το πλαίσιο, θυμούνται τις εξαιρέσεις και απαντούν γρήγορα στις ερωτήσεις, επειδή το ημερολόγιο εξακολουθεί να έχει τη μυρωδιά του έργου. Η λειτουργία δεν μπορεί να βασίζεται σε αυτό. Οι άνθρωποι αλλάζουν θέση. Οι προμηθευτές αποχωρούν. Οι χορηγοί προχωρούν παρακάτω. Ο ενθουσιώδης αναλυτής προάγεται, κάτι που είναι υπέροχο μέχρι να συνειδητοποιήσουν όλοι ότι η βιβλιοθήκη προτροπών ήταν κυρίως στο κεφάλι του.
Η επιχειρησιακή ιδιοκτησία χρειάζεται ρόλους, όχι ήρωες. Ένας επιχειρηματικός ιδιοκτήτης κατέχει τον σκοπό και τον αποδεκτό κίνδυνο. Ένας ιδιοκτήτης δεδομένων κατέχει την ποιότητα της πηγής, τη διόρθωση και τη γενεαλογία. Ένας τεχνικός ιδιοκτήτης κατέχει την ανάπτυξη, την απόδοση, την ασφάλεια και την ενοποίηση. Ένας ιδιοκτήτης μοντέλου κατέχει την αξιολόγηση, την παρακολούθηση και την αλλαγή. Ένας ιδιοκτήτης λειτουργιών κατέχει τα εγχειρίδια λειτουργίας, την υποστήριξη, την αντιμετώπιση περιστατικών και τα σχόλια των χρηστών. Ένας ιδιοκτήτης διακυβέρνησης κατέχει τα αποδεικτικά στοιχεία, την αναθεώρηση και τη συμμόρφωση με την επιτρεπόμενη χρήση. Σε μικρούς οργανισμούς, ένα άτομο μπορεί να κατέχει αρκετούς ρόλους. Οι ρόλοι εξακολουθούν να χρειάζονται ονόματα.
Η ιδιοκτησία χρειάζεται επίσης εξουσία. Δεν αρκεί να αναθέτεις σε κάποιον τη λογοδοσία ενώ του στερείς τη δυνατότητα να σταματήσει μια ροή εργασίας, να απαιτήσει αποδεικτικά στοιχεία, να απορρίψει μια αλλαγή, να διαθέσει χρόνο συντήρησης ή να αναβαθμίσει έναν κίνδυνο. Αυτό δεν είναι ιδιοκτησία. Αυτό είναι διακοσμητική αποθήκευση ευθυνών. Οι υπεύθυνες λειτουργίες απαιτούν εξουσία ίση με την ευθύνη.
Ο προϋπολογισμός είναι μέρος της ιδιοκτησίας. Τα πιλοτικά προγράμματα έχουν συχνά ειδική χρηματοδότηση. Οι λειτουργίες χρειάζονται χρηματοδότηση συντήρησης: παρακολούθηση, επανεκπαίδευση ή επαναξιολόγηση, υποστήριξη, εκπαίδευση χρηστών, διορθώσεις ποιότητας δεδομένων, αναθεώρηση ασφάλειας, ασκήσεις περιστατικών και περιοδική διακυβέρνηση. Αν η επιχειρηματική υπόθεση χρηματοδοτεί μόνο την εκτόξευση, δεν είναι επιχειρηματική υπόθεση για λειτουργίες. Είναι ένα πάρτι εκτόξευσης με τιμολόγια κρυμμένα κάτω από το τραπεζομάντιλο.
Τα δεδομένα παραγωγής δεν είναι πιλοτικά δεδομένα με περισσότερες σειρές
Τα δεδομένα παραγωγής έχουν ιδιοσυγκρασία. Φτάνουν καθυστερημένα, ελλιπή, διπλότυπα, μεταφρασμένα, διορθωμένα χειροκίνητα, εσφαλμένα ταξινομημένα, μετονομασμένα από επιτροπές, διαμορφωμένα από κίνητρα και περιστασιακά καταχωρισμένα από κάποιον που έχει μια κακή μέρα. Τα πιλοτικά σύνολα δεδομένων είναι συχνά πιο καθαρά επειδή κάποιος τα επέλεξε, τα καθάρισε ή τουλάχιστον τα φρόντισε για μερικές εβδομάδες. Η διαφορά έχει μεγαλύτερη σημασία από ό,τι περιμένουν οι ομάδες.
Η ιδιοκτησία των δεδομένων στις λειτουργίες πρέπει να περιλαμβάνει την επικαιρότητα, την προέλευση, τα δικαιώματα διόρθωσης, τις ελλείψεις, την απόκλιση, την πρόσβαση, τη διατήρηση και τα παράγωγα δεδομένα. Τα συστήματα τεχνητής νοημοσύνης δημιουργούν παράγωγο υλικό: ενσωματώσεις, περιλήψεις, βαθμολογίες, ετικέτες, χαρακτηριστικά, προσωρινές μνήμες και ανατροφοδότηση. Αυτά μπορούν να επηρεάσουν μελλοντικές αποφάσεις. Αν κανείς δεν τα κατέχει, η λειτουργία αποκτά μια δεύτερη βάση δεδομένων που είναι λιγότερο ορατή από την πρώτη και μερικές φορές πιο επιδραστική. Πολύ αποδοτικό, αν στόχος είναι η έκπληξη.
Η λειτουργική παρακολούθηση θα πρέπει λοιπόν να εξετάζει κάτι περισσότερο από την ακρίβεια του μοντέλου. Να εξετάζει την επικαιρότητα της πηγής, τα πεδία που λείπουν, τις ασυνήθιστες κατανομές, την κάλυψη ανάκτησης, τα διπλότυπα, τις γλωσσικές μετατοπίσεις, τη συμπεριφορά των χρηστών, τους λόγους παράκαμψης, τα αποτελέσματα των ενστάσεων, την καθυστέρηση και το κόστος. Ένα μοντέλο μπορεί να είναι τεχνικά άρτιο ενώ τα δεδομένα γύρω του έχουν πάψει να σημαίνουν ό,τι σήμαιναν κατά τη δοκιμαστική περίοδο. Το σύστημα δεν γνωρίζει ότι η δοκιμαστική περίοδος τελείωσε. Απλώς λαμβάνει εισροές.
Οι διαδρομές διόρθωσης έχουν επίσης σημασία. Όταν ένας χρήστης παρατηρεί ότι μια πηγή είναι λανθασμένη, μπορεί η πηγή να διορθωθεί; Ενημερώνονται τα παράγωγα δεδομένα; Δείχνει το αρχείο απόφασης την παλιά κατάσταση; Διδάσκει μια διορθωμένη περίπτωση το μοντέλο ή τη ροή εργασίας; Αν η διόρθωση αλλάζει μόνο το ορατό αρχείο ενώ τα κρυφά χαρακτηριστικά παραμένουν παρωχημένα, η λειτουργία μετατρέπεται σε μουσείο παλιών λαθών με ένα φρέσκο στρώμα μπογιάς.
Η παρακολούθηση πρέπει να γνωρίζει τι σημαίνει δράση
Πολλά σχέδια παρακολούθησης τεχνητής νοημοσύνης ξεκινούν με τεχνικά μέτρα: διαθεσιμότητα, καθυστέρηση, ποσοστό σφαλμάτων, χρήση διακριτικών, βαθμολογία μοντέλου, μετρική απόκλισης. Αυτά είναι αναγκαία αλλά όχι επαρκή. Οι υπεύθυνες λειτουργίες παρακολουθούν τη δράση που υποστηρίζει το σύστημα. Αν το σύστημα δρομολογεί υποθέσεις, παρακολουθούν τις λανθασμένες δρομολογήσεις, τα αποτελέσματα στην ουρά, την υπερφόρτωση των ειδικών, την καθυστερημένη κλιμάκωση και τις παρακάμψεις από τους χρήστες. Αν συντάσσει απαντήσεις, παρακολουθούν την προσπάθεια διόρθωσης, τη σύγχυση των πελατών, τις παραβιάσεις πολιτικής και τις επαναλαμβανόμενες επεξεργασίες. Αν προτείνει αποφάσεις, παρακολουθούν τις ενστάσεις, τις ανατροπές, τα αποτελέσματα ανά υποομάδα και τα κενά αποδεικτικών στοιχείων.
Το ερώτημα της παρακολούθησης δεν είναι μόνο αν λειτουργεί το μοντέλο. Είναι αν η ροή εργασίας εξακολουθεί να αξίζει εμπιστοσύνη. Ένα μοντέλο μπορεί να παραμένει σταθερό ενώ μια πολιτική αλλάζει. Η καθυστέρηση μπορεί να είναι εξαιρετική ενώ η ποιότητα των αποδεικτικών στοιχείων πέφτει. Η ακρίβεια μπορεί να είναι υψηλή κατά μέσο όρο ενώ ένας τύπος υπόθεσης καταρρέει. Τα κόστη μπορούν να μειώνονται ενώ η επανεπεξεργασία αυξάνεται αλλού. Η παρακολούθηση που βλέπει μόνο το στοιχείο θα χάσει τις αποτυχίες που ζουν στη λειτουργία.
Η λειτουργική παρακολούθηση χρειάζεται επίσης όρια και υπεύθυνους. Ποιος ειδοποιείται όταν αποτυγχάνει η επικαιρότητα της πηγής; Τι συμβαίνει αν αυξηθούν τα ποσοστά παράκαμψης; Ποιο επίπεδο απόκλισης ενεργοποιεί την επανεξέταση; Ποιο μοτίβο ενστάσεων αναστέλλει την αυτοματοποίηση; Ποια αύξηση κόστους απαιτεί επανεξέταση της αρχιτεκτονικής; Ποια σοβαρότητα περιστατικού απαιτεί ενημέρωση των επηρεαζόμενων ατόμων; Ένας πίνακας ελέγχου χωρίς κανόνες απόκρισης είναι ένας πίνακας με αριθμούς.
Οι καλύτεροι βρόχοι παρακολούθησης περιλαμβάνουν τους χρήστες. Οι χρήστες γνωρίζουν πότε το σύστημα διευκολύνει το λάθος πράγμα, πότε η εξήγηση είναι άχρηστη, πότε εμφανίζεται ένας νέος τύπος υπόθεσης ή πότε η ροή εργασίας υφίσταται εκμετάλλευση. Κάντε την ανατροφοδότηση κοντά στην εργασία. Αντιμετωπίστε την ως λειτουργικό σήμα, όχι ως συναίσθημα. Οι άνθρωποι που βρίσκονται πιο κοντά στην εργασία είναι συχνά οι πρώτοι που ανιχνεύουν την απόκλιση, αν και σπάνια έχουν τον σχετικό τίτλο.
Η αντιμετώπιση περιστατικών δεν είναι προαιρετική επειδή το μοντέλο είναι έξυπνο
Τα περιστατικά τεχνητής νοημοσύνης δεν είναι πάντα εκρήξεις. Μπορεί να είναι ήσυχα: λανθασμένες περιλήψεις που επαναλαμβάνονται για μια εβδομάδα, ένα ευρετήριο ανάκτησης που χάνει μια κατηγορία εγγράφων, ένας ταξινομητής που αποκλίνει για μια περιοχή, μια ενημέρωση προτροπής που αλλάζει τον τόνο σε ρυθμιζόμενες απαντήσεις, ένα μοντέλο που αρνείται πολύ λίγο, ένα μοντέλο που αρνείται πολύ, μια ουρά που γεμίζει με ακραίες περιπτώσεις που κανείς δεν έχει αναλάβει. Τα ήσυχα περιστατικά εξακολουθούν να είναι περιστατικά αν επηρεάζουν ανθρώπους ή υποχρεώσεις.
Η επιχειρησιακή ετοιμότητα περιλαμβάνει σχέδια αντιμετώπισης περιστατικών. Τι θεωρείται περιστατικό τεχνητής νοημοσύνης. Ποιος μπορεί να το δηλώσει. Πώς τίθεται το σύστημα σε παύση. Ποια αποδεικτικά στοιχεία διατηρούνται. Ποιες αποφάσεις χρειάζονται αναθεώρηση. Ποιοι χρήστες ενημερώνονται. Ποια πρόσβαση προμηθευτή απαιτείται και με ποια όρια. Πώς γίνεται η επαναφορά. Πώς επικοινωνείται με τους επηρεαζόμενους. Πώς κλείνει το περιστατικό. Αν η απάντηση είναι θα συγκεντρώσουμε την ομάδα, η ομάδα έχει ήδη καθυστερήσει.
Τα εγχειρίδια λειτουργίας πρέπει να δοκιμάζονται με πρόβες. Ένα σχέδιο επαναφοράς που δεν έχει επαναφέρει ποτέ τίποτα είναι έγγραφο ευσεβών πόθων. Μια επαναφορά μοντέλου που κανείς δεν έχει δοκιμάσει είναι διακοσμητική έξοδος κινδύνου. Μια διαδικασία ένστασης που δεν μπορεί να ανακτήσει το σχετικό αρχείο απόφασης είναι θέατρο. Οι ασκήσεις αποκαλύπτουν βαρετά προβλήματα πριν γίνουν δημόσια: ελλείπουσες άδειες, ασαφείς ιδιοκτήτες, παρωχημένη τεκμηρίωση, πίνακες ελέγχου που κανείς δεν μπορεί να προσπελάσει και ένα κρίσιμο άτομο σε διακοπές στη Φρισλανδία με εξαιρετικά όρια.
Η ανασκόπηση μετά το περιστατικό θα πρέπει να εστιάζει στη μάθηση του συστήματος. Ποιον κίνδυνο χάσαμε. Ποιο σήμα αγνοήθηκε. Ποιος έλεγχος απέτυχε. Ποια ανθρώπινη λύση εμπόδισε τα πράγματα να χειροτερέψουν. Ποια μετρική έκρυψε το ζήτημα. Ποιο αρχείο απόφασης ήταν ελλιπές. Ποια αλλαγή χρειάζεται. Το να κατηγορείς τον πλησιέστερο χειριστή είναι συναισθηματικά αποδοτικό και επιχειρησιακά αδύναμο. Τα περιστατικά είναι ακριβοί δάσκαλοι. Τουλάχιστον διάβασε το μάθημα.
Η διαχείριση αλλαγών είναι εκεί που τα πιλοτικά προγράμματα γίνονται σοβαρά
Τα συστήματα τεχνητής νοημοσύνης αλλάζουν συχνά. Τα μοντέλα ενημερώνονται. Οι προτροπές μετατοπίζονται. Οι πηγές ανάκτησης επεκτείνονται. Οι πολιτικές μετακινούνται. Οι χρήστες προσαρμόζονται. Οι σωληνώσεις δεδομένων αλλάζουν. Τα εξαρτήματα προμηθευτών εξελίσσονται. Ένα πιλοτικό πρόγραμμα μπορεί να απορροφήσει την αλλαγή με στενή προσοχή. Οι επιχειρήσεις χρειάζονται διαχείριση αλλαγών. Όχι ένα γραφειοκρατικό τέλμα, αλλά μια πειθαρχημένη διαδρομή που ρωτά τι επηρεάζει η αλλαγή και πώς θα γνωρίζει ο οργανισμός αν πάει στραβά.
Κάθε ουσιαστική αλλαγή θα πρέπει να αναφέρει τη συγκεκριμένη χρήση που επηρεάζεται, τα αποδεικτικά στοιχεία, τις δοκιμές, τη διαδικασία επαναφοράς, την επικοινωνία και τον υπεύθυνο. Μια αλλαγή στο prompt για σύνταξη χαμηλού κινδύνου μπορεί να χρειάζεται γρήγορη αναθεώρηση και δειγματοληψία. Μια αλλαγή στο μοντέλο για συστάσεις επιλεξιμότητας μπορεί να χρειάζεται τμήματα αξιολόγησης, δοκιμή σε περιβάλλον προσομοίωσης, έγκριση, συμβατότητα με το αρχείο αποφάσεων και κριτήρια επαναφοράς. Μια νέα πηγή δεδομένων μπορεί να χρειάζεται ανασκόπηση της προέλευσης, αξιολόγηση απορρήτου και παρακολούθηση της επικαιρότητας. Η αναλογικότητα έχει σημασία. Έχει σημασία επίσης να μην προσποιούμαστε ότι όλες οι αλλαγές είναι μικρές επειδή η επεξεργασία κειμένου φάνηκε μικρή.
Η έκδοση είναι ζωτικής σημασίας. Οι αποφάσεις θα πρέπει να γνωρίζουν ποια έκδοση μοντέλου, prompt, πηγής δεδομένων, πολιτικής, ορίου και διεπαφής τις διαμόρφωσε. Χωρίς εκδόσεις, ο οργανισμός δεν μπορεί να εξηγήσει γιατί μία υπόθεση συμπεριφέρθηκε διαφορετικά από μία άλλη. Δεν μπορεί να διερευνήσει καθαρά την απόκλιση. Δεν μπορεί να επαναφέρει με σιγουριά. Η έκδοση δεν είναι διακοσμητική δουλειά. Είναι το νήμα που επιτρέπει στις λειτουργίες να ξηλώσουν το πουλόβερ χωρίς να ισχυρίζονται ότι το πουλόβερ είναι κασκόλ.
Η διαχείριση αλλαγών αποτρέπει επίσης τη διεύρυνση του πεδίου. Αν μια ομάδα θέλει να χρησιμοποιήσει το σύστημα για μια νέα ενέργεια, η διαδικασία αλλαγής θα πρέπει να θέτει το ερώτημα αν ισχύουν ακόμη η υπάρχουσα αξιολόγηση, οι έλεγχοι, τα αποδεικτικά στοιχεία και η ιδιοκτησία. Συχνά δεν ισχύουν. Αυτό δεν σημαίνει ποτέ όχι. Σημαίνει όχι κατά λάθος.
Η αξία πρέπει να μετράται μετά το χειροκρότημα
Τα πιλοτικά προγράμματα συχνά μετρούν την αξία εκεί όπου είναι πιο εύκολο να φανεί: χρόνος που εξοικονομήθηκε, βελτιωμένη ακρίβεια, έγγραφα που βρέθηκαν, σχέδια που παρήχθησαν, ικανοποιημένοι χρήστες. Οι λειτουργίες πρέπει να μετρούν την αξία μετά το χειροκρότημα. Μειώθηκε η επανεπεξεργασία. Βελτιώθηκε η ποιότητα για δύσκολες υποθέσεις. Έγινε βιώσιμος ο φόρτος εργασίας του προσωπικού. Έλαβαν οι χρήστες πιο σαφή εξυπηρέτηση. Άλλαξαν οι ενστάσεις. Μετακινήθηκαν τα κόστη ή απλώς μετατοπίστηκαν. Μείωσε το σύστημα τον κίνδυνο ή τον έκρυψε. Έγιναν οι αποφάσεις πιο εύκολο να εξηγηθούν.
Ο εξοικονομημένος χρόνος είναι ιδιαίτερα παραπλανητικός. Αν ένα εργαλείο εξοικονομεί δέκα λεπτά στη σύνταξη αλλά προσθέτει οκτώ λεπτά ελέγχου, δύο λεπτά διόρθωσης και μια μεταγενέστερη επανάνοιξη υπόθεσης, η αξία δεν είναι δέκα λεπτά. Αν εξοικονομεί χρόνο στους ειδικούς μεταθέτοντας εργασία σε νεότερο προσωπικό, η αξία μπορεί να είναι μια ψευδαίσθηση στελέχωσης. Αν επιταχύνει τις εύκολες υποθέσεις ενώ επιδεινώνει τις οριακές, ο μέσος όρος μπορεί να βελτιωθεί και η λειτουργία να γίνει λιγότερο δίκαιη. Η αξία χρειάζεται μια οπτική ολόκληρης της ροής εργασίας.
Η αξία περιλαμβάνει επίσης την αποφυγή βλάβης. Μια άρνηση που αποτρέπει μια κακή απόφαση έχει αξία. Μια ειδοποίηση παρακολούθησης που εντοπίζει απόκλιση έχει αξία. Ένα αρχείο απόφασης που επιλύει γρήγορα μια ένσταση έχει αξία. Μια διαδρομή επαναφοράς που περιορίζει ένα περιστατικό έχει αξία. Αυτά τα οφέλη είναι πιο δύσκολο να τοποθετηθούν σε μια διαφάνεια πιλοτικού προγράμματος επειδή μοιάζουν με πράγματα που δεν συνέβησαν. Οι λειτουργίες θα πρέπει να τα υπολογίζουν παρόλα αυτά. Τα σοβαρά συστήματα συχνά αποδεικνύουν την αξία τους κάνοντας τις βαρετές εβδομάδες πιο πιθανές.
Η οικονομική ιδιοκτησία θα πρέπει να αντικατοπτρίζει την πλήρη εικόνα. Αν η αυτοματοποίηση εξοικονομεί χρόνο σε μια ομάδα και δημιουργεί φόρτο αναθεώρησης για μια άλλη, το επιχειρηματικό σκεπτικό θα πρέπει να δείχνει και τα δύο. Αν η συντήρηση αποτρέπει μελλοντικά περιστατικά, ο προϋπολογισμός δεν θα πρέπει να αντιμετωπίζει τη συντήρηση ως προαιρετική διακόσμηση. Οι υπεύθυνες λειτουργίες απαιτούν λογιστική που ακολουθεί το έργο, όχι μόνο τον κωδικό του έργου.
Η επιχειρησιακή ανασκόπηση
Πριν ένας πιλότος γίνει παραγωγική λειτουργία, διεξάγετε μια επιχειρησιακή ανασκόπηση. Η ατζέντα πρέπει να είναι πρακτική. Ποια ακριβής χρήση εγκρίνεται. Ποιος κατέχει κάθε επίπεδο. Ποιες πηγές δεδομένων είναι εντός πεδίου. Ποιες αποφάσεις χρειάζονται αρχεία. Ποιες έξοδοι είναι συμβουλευτικές. Ποιες περιπτώσεις εξαιρούνται. Ποιοι έλεγχοι σταματούν επικίνδυνες ενέργειες. Ποιοι δείκτες έχουν σημασία. Ποια κατώφλια ενεργοποιούν ανασκόπηση. Ποια άτομα είναι εκπαιδευμένα. Ποια εγχειρίδια λειτουργίας υπάρχουν. Ποια επαναφορά έχει δοκιμαστεί. Ποιος προϋπολογισμός χρηματοδοτεί τη συντήρηση.
Αυτή η ανασκόπηση θα πρέπει να περιλαμβάνει άτομα κοντά στη δουλειά. Χειριστές, προσωπικό υποστήριξης, ειδικούς τομέα, υπεύθυνους κινδύνου, υπεύθυνους δεδομένων, ασφάλεια, νομικούς και εκπροσώπους επηρεαζόμενων χρηστών όπου ενδείκνυται. Ο στόχος δεν είναι να δημιουργηθεί πλήθος. Ο στόχος είναι να αποτραπεί η ομάδα πιλότου από το να μπερδεύει τη δική της προσοχή με ένα επιχειρησιακό μοντέλο. Οι άνθρωποι που θα ζήσουν με το σύστημα γνωρίζουν ερωτήματα που ο πιλότος δεν σκέφτηκε να θέσει.
Η ανασκόπηση πρέπει να επιτρέπεται να πει όχι έτοιμο. Όχι ως τιμωρία, αλλά ως χρήσιμη κατάσταση. Ίσως λείπει η διαδρομή διόρθωσης δεδομένων. Ίσως τα αρχεία αποδεικτικών στοιχείων είναι ελλιπή. Ίσως η ανθρώπινη ανασκόπηση είναι πολύ αργή. Ίσως η επιτρεπόμενη χρήση είναι ασαφής. Ίσως η παρακολούθηση βλέπει τα λάθος πράγματα. Ίσως η επιχειρηματική υπόθεση αγνοεί την επανεργασία. Το όχι έτοιμο είναι φθηνότερο πριν από την εκκίνηση παρά μετά τη δημιουργία θεσμικής εξάρτησης.
Όταν η ανασκόπηση λέει έτοιμο, πρέπει να λέει έτοιμο για τι. Έτοιμο για συμβουλευτική χρήση σε μία ροή εργασίας. Έτοιμο για περιορισμένη παραγωγή με δειγματοληψία. Έτοιμο για αυτοματοποιημένη δράση κάτω από ένα κατώφλι συνεπειών. Έτοιμο για ευρύτερη ανάπτυξη μετά από δύο μήνες παρακολούθησης. Η ετοιμότητα δεν είναι μετάλλιο. Είναι προϋπόθεση συνδεδεμένη με τη χρήση.
Το μάθημα
Η μετάβαση από πιλότους AI σε υπεύθυνες λειτουργίες δεν είναι τεχνικό βήμα ανάπτυξης. Είναι μεταβίβαση ευθύνης. Το ερώτημα αλλάζει από μπορεί αυτό να δουλέψει σε μπορούμε να το κατέχουμε όταν δουλεύει, όταν αποτυγχάνει, όταν αλλάζει, όταν οι άνθρωποι βασίζονται σε αυτό και όταν κάποιος μας ζητά να το εξηγήσουμε. Αυτή είναι μια πολύ καλύτερη ερώτηση, και λιγότερο βολική.
Οι πιλότοι παραμένουν πολύτιμοι. Επιτρέπουν στους οργανισμούς να μαθαίνουν γρήγορα και φθηνά. Αποκαλύπτουν υποσχέσεις. Μειώνουν την αφηρημένη συζήτηση. Βοηθούν τις ομάδες να ανακαλύψουν τι μπορεί να κάνει ένα μοντέλο, μια ροή εργασίας ή μια διεπαφή. Αλλά ένας πιλότος δεν είναι απόδειξη επιχειρησιακής λογοδοσίας. Είναι πρόσκληση να τη σχεδιάσεις.
Οι υπεύθυνες λειτουργίες χρειάζονται επιτρεπόμενη χρήση, ιδιοκτησία, έλεγχο δεδομένων, παρακολούθηση, αντιμετώπιση περιστατικών, διαχείριση αλλαγών, αρχεία αποδεικτικών στοιχείων, σχόλια χρηστών, προϋπολογισμό και μέτρηση αξίας που ακολουθεί ολόκληρη τη ροή εργασίας. Χρειάζονται ανθρώπους που μπορούν να σταματήσουν, να επισκευάσουν, να εξηγήσουν και να βελτιώσουν. Χρειάζονται διακυβέρνηση που λειτουργεί όταν κανείς δεν χειροκροτά.
Η Δευτέρα θα έρθει. Έρχεται πάντα. Το ερώτημα είναι αν το σύστημα τεχνητής νοημοσύνης φτάνει τη Δευτέρα ως ένα επιτυχημένο πιλοτικό πρόγραμμα με θαυμαστές, ή ως μια υπεύθυνη λειτουργία με μια δουλειά να κάνει.