Το κρυφό κόστος των πιθανοτικών ροών εργασίας
Το τιμολόγιο που κανείς δεν είδε στην πιλοτική φάση
Η πιλοτική φάση φαινόταν φθηνή. Αυτό ήταν το πρώτο πρόβλημα. Μια ομάδα είχε συνδέσει ένα βήμα τεχνητής νοημοσύνης με μια γνωστή ροή εργασίας: τα εισερχόμενα έγγραφα ταξινομούνταν, δημιουργούνταν μια σύντομη σύνοψη, επιλεγόταν μια προτεινόμενη διαδρομή και ένας ανθρώπινος αναθεωρητής την ενέκρινε ή την άλλαζε. Το demo ήταν προσεγμένο. Το μοντέλο φαινόταν ικανό. Ο λογαριασμός για τα tokens ήταν χαμηλότερος από τον προϋπολογισμό για το μεσημεριανό, κάτι που έκανε όλους να νιώθουν οικονομικά ώριμοι. Κάποιος είπε τη λέξη επεκτάσιμο, και η αίθουσα έγινε για λίγο επικίνδυνη.
Τρεις μήνες αργότερα, η συζήτηση για το κόστος άλλαξε. Ο λογαριασμός για τα tokens εξακολουθούσε να μην είναι εντυπωσιακός. Το κρυφό κόστος βρισκόταν αλλού. Οι αναθεωρητές ξόδευαν επιπλέον λεπτά ελέγχοντας οριακά αποτελέσματα. Εμφανίζονταν επαναλήψεις επειδή το ίδιο εισαγόμενο δεδομένο μερικές φορές παρήγαγε μια αρκετά διαφορετική απάντηση. Οι ουρές εξαιρέσεων μεγάλωναν. Οι ομάδες δεδομένων ερευνούσαν γιατί ένας τύπος εγγράφου μπέρδευε τον ταξινομητή. Οι λειτουργίες πρόσθεσαν δειγματοληψία. Το νομικό τμήμα ζήτησε αποδεικτικά στοιχεία για αμφισβητούμενες υποθέσεις. Οι διευθυντές ρωτούσαν γιατί ο χρόνος κύκλου είχε γίνει λιγότερο προβλέψιμος. Οι μηχανικοί πρόσθεσαν prompts, μετά προστατευτικά μέτρα, μετά εναλλακτικές λύσεις, μετά παρακολούθηση, μετά ένα υπολογιστικό φύλλο που κανείς δεν αγαπούσε αλλά όλοι άνοιγαν. Η ροή εργασίας δεν είχε εκραγεί. Είχε αποκτήσει διακύμανση.
Αυτό είναι το κρυφό κόστος των πιθανοτικών ροών εργασίας. Η κλήση του μοντέλου είναι η ορατή μονάδα κατανάλωσης, αλλά το λειτουργικό κόστος επιβαρύνεται από την αβεβαιότητα γύρω από την κλήση. Ένα πιθανοτικό στοιχείο μπορεί να είναι χρήσιμο, ισχυρό και οικονομικά λογικό. Μπορεί επίσης να μεταφέρει κόστος στην αναθεώρηση, τη συμφωνία, τα αποδεικτικά στοιχεία, την υποστήριξη, τον σχεδιασμό ουρών, την ανάλυση περιστατικών, τη μέτρηση ποιότητας και την ανθρώπινη προσοχή. Αν αυτά τα κόστη δεν ενσωματωθούν στον σχεδιασμό της ροής εργασίας, έρχονται ούτως ή άλλως, συνήθως με λιγότερη υπομονή.
Τα παραδοσιακά συστήματα ροών εργασίας δεν είναι τέλεια. Αποτυγχάνουν, αποκλίνουν και εκπλήσσουν τους ανθρώπους με τους δικούς τους βαρετούς τρόπους. Αλλά συχνά έχουν μια χρήσιμη ιδιότητα: το ίδιο εισαγόμενο δεδομένο, η ίδια κατάσταση και ο ίδιος κανόνας τείνουν να παράγουν το ίδιο αποτέλεσμα. Τα πιθανοτικά συστήματα αποδυναμώνουν αυτή την υπόθεση. Μερικές φορές αυτό είναι το ζητούμενο. Διαχειρίζονται την ασάφεια, τη γλώσσα, τις εικόνες, τα ακατάστατα έγγραφα και την ασαφή πρόθεση. Ωραία. Το τίμημα είναι ότι οι λειτουργίες πρέπει να σταματήσουν να προσποιούνται ότι η αβεβαιότητα είναι μια λεπτομέρεια του demo. Είναι μια βασική παράμετρος στο μοντέλο κόστους.
Η διακύμανση δεν είναι λεπτομέρεια υλοποίησης
Τα πιθανοτικά στοιχεία εισάγουν μεταβλητότητα σε πολλά σημεία. Το μοντέλο μπορεί να παράγει ελαφρώς διαφορετική διατύπωση. Ένας ταξινομητής μπορεί να τοποθετήσει μια οριακή περίπτωση σε οποιαδήποτε πλευρά ενός ορίου. Ένας ανακτητής μπορεί να επιστρέψει διαφορετικό σύνολο πηγών μετά από ενημέρωση ευρετηρίου. Ένας συνοψιστής μπορεί να παραλείψει μια λεπτομέρεια που είχε σημασία για έναν μεταγενέστερο αξιολογητή. Ένας πράκτορας που χρησιμοποιεί εργαλεία μπορεί να επιλέξει διαφορετική ακολουθία κλήσεων. Τίποτα από αυτά δεν είναι αυτόματα λάθος. Είναι απλώς διαφορετικό υλικό από τον ντετερμινιστικό κώδικα. Το να το αντιμετωπίζει κανείς σαν συνηθισμένο κώδικα επειδή έχει API είναι κατηγορικό σφάλμα με τιμολόγια.
Η μεταβλητότητα έχει λειτουργικές συνέπειες. Αυξάνει την ανάγκη για δειγματοληψία και έλεγχο. Περιπλέκει την αναπαραγωγή περιστατικών. Καθιστά την απόδοση δυσκολότερη στη μέτρηση, επειδή η μέση ποιότητα μπορεί να κρύβει αστάθεια στα άκρα. Δημιουργεί διαφωνίες μεταξύ χρηστών που είδαν διαφορετικά αποτελέσματα. Μπορεί να καταστήσει εύθραυστα τα κατάντη συστήματα όταν αυτά αναμένουν σταθερή δομή. Μπορεί να μετατρέψει μια απλή συμφωνία επιπέδου υπηρεσιών σε συζήτηση περί κατανομών πιθανοτήτων, που είναι ένας ωραίος τρόπος να ανακαλύψει κανείς ποιος στην αίθουσα αγαπά πραγματικά τα μαθηματικά.
Το πρώτο κόστος είναι η τριβή στη λήψη αποφάσεων. Όταν τα αποτελέσματα ποικίλλουν, οι άνθρωποι ξοδεύουν χρόνο αποφασίζοντας αν η διαφορά έχει σημασία. Ένα προσχέδιο email που λέει το ίδιο πράγμα με διαφορετικές λέξεις μπορεί να είναι αποδεκτό. Μια ιατρική περίληψη που παραλείπει ένα φάρμακο δεν είναι. Ένας ταξινομητής υποστήριξης που δρομολογεί ένα αίτημα διαφορετικά μπορεί να είναι εντάξει. Μια εξήγηση επιλεξιμότητας παροχών που αλλάζει τη συλλογιστική της δεν είναι. Η ροή εργασίας χρειάζεται ένα μοντέλο ανοχής: ποια διαφορά είναι ακίνδυνη, ποια απαιτεί έλεγχο και ποια απαγορεύεται.
Το δεύτερο κόστος είναι η αναπαραγωγιμότητα. Αν ένας πελάτης, πολίτης, ελεγκτής ή μηχανικός ρωτήσει γιατί συνέβη μια απόφαση, ο οργανισμός πρέπει να αναπαράγει το σχετικό πλαίσιο: έκδοση μοντέλου, προτροπή, σύνολο ανάκτησης, είσοδος, πολιτική, παράμετροι, έξοδοι εργαλείων και ανθρώπινη ενέργεια. Χωρίς αυτό το αρχείο, η διερεύνηση γίνεται θέατρο. Κάποιος εκτελεί ξανά την προτροπή, παίρνει διαφορετική απάντηση και η αίθουσα μαθαίνει με τον δύσκολο τρόπο ότι το να ξαναπροσπαθείς δεν αποτελεί απόδειξη.
Οι επαναλήψεις δεν είναι δωρεάν μόνο και μόνο επειδή είναι αυτοματοποιημένες
Οι επαναλήψεις φαίνονται φθηνές από μέσα στον κώδικα. Αν το μοντέλο δώσει αδύναμη απάντηση, κάλεσέ το ξανά. Αν ο ταξινομητής είναι αβέβαιος, ζήτησε άλλο δείγμα. Αν μια απάντηση JSON είναι άκυρη, επιδιόρθωσέ την. Αν η κλήση εργαλείου αποτύχει, δοκίμασε άλλη διαδρομή. Η μηχανή κάνει τη δουλειά, οπότε το ένστικτο είναι να αντιμετωπίζονται οι επαναλήψεις ως μηχανική κόλλα. Σε μια πιθανοτική ροή εργασίας, οι επαναλήψεις είναι πολιτική. Αποφασίζουν πόση μεταβλητότητα επιτρέπεται να κρύψει το σύστημα προτού τη δει ένας άνθρωπος.
Υπάρχουν καλοί λόγοι για επανάληψη. Ένα παροδικό σφάλμα δεν πρέπει να σταματά μια διαδικασία. Μια κακοσχηματισμένη απάντηση μπορεί συχνά να διορθωθεί. Το να ζητά κανείς δεύτερο πέρασμα μπορεί να βελτιώσει την ποιότητα. Αλλά οι επαναλήψεις δημιουργούν επίσης κόστος και ασάφεια. Ποιο αποτέλεσμα μετράει ως το αρχείο. Κρατάμε όλες τις προσπάθειες. Οι μεταγενέστερες προσπάθειες αντικαθιστούν τις προηγούμενες. Δείχνουμε στον αξιολογητή την αστάθεια. Οι επαναλήψεις μεροληπτούν το σύστημα προς απαντήσεις που ακούγονται πιο σίγουρες. Επαναλαμβάνουμε μόνο τις φθηνές περιπτώσεις, καθιστώντας κατά λάθος τις σημαντικές περιπτώσεις πιο αργές. Μετράμε τις επαναλήψεις στους προϋπολογισμούς κόστους και καθυστέρησης. Η ταπεινή επανάληψη έχει πολλές απόψεις μόλις την προσκαλέσεις στην παραγωγή.
Οι επαναλήψεις αλλάζουν επίσης τα κίνητρα. Αν οι ομάδες γνωρίζουν ότι το σύστημα θα συνεχίσει να προσπαθεί έως ότου το αποτέλεσμα ταιριάξει με την αναμενόμενη μορφή, μπορεί να επενδύσουν λιγότερο στην ποιότητα της εισόδου, στον σχεδιασμό του σχήματος, στους περιορισμούς της προτροπής ή στην ντετερμινιστική προεπεξεργασία. Η επανάληψη γίνεται σφουγγαρίστρα. Οι σφουγγαρίστρες είναι χρήσιμες. Μια στρατηγική κατασκευής που βασίζεται στο σφουγγάρισμα είναι λιγότερο εντυπωσιακή.
Ένα καλύτερο μοτίβο είναι να ταξινομείτε τους λόγους επανάληψης. Η παροδική αστοχία υποδομής είναι μία κατηγορία. Η επιδιόρθωση μορφοποίησης είναι άλλη. Η χαμηλή εμπιστοσύνη είναι άλλη. Η σύγκρουση πολιτικής είναι άλλη. Η σύγκρουση πηγής είναι άλλη. Κάθε κατηγορία χρειάζεται όρια, αρχεία καταγραφής και κανόνες κλιμάκωσης. Μια επανάληψη που κρύβει την αβεβαιότητα από τον χρήστη θα πρέπει να αντιμετωπίζεται διαφορετικά από μια επανάληψη που απλώς ανακάμπτει από μια μικρή διακοπή δικτύου. Το κόστος δεν είναι μόνο υπολογιστικό. Είναι το κόστος του να αποφασίζει ο οργανισμός ποια αβεβαιότητα είναι διατεθειμένος να κρύψει.
Η ουρά εξαιρέσεων είναι το πραγματικό διάγραμμα αρχιτεκτονικής
Κάθε πιθανοτικός φόρτος εργασίας αποκαλύπτει τελικά τον πραγματικό του σχεδιασμό μέσω της ουράς εξαιρέσεων. Όχι μέσω της ομαλής διαδρομής. Η ομαλή διαδρομή είναι εκεί όπου τα διαγράμματα πηγαίνουν για να φανούν αξιοπρεπή. Η ουρά εξαιρέσεων δείχνει ποιες περιπτώσεις δεν κατανοεί το σύστημα, ποια δεδομένα εισόδου είναι ακάθαρτα, ποιες πολιτικές συγκρούονται, ποιοι χρήστες χρειάζονται υποστήριξη, ποια κατώφλια είναι λανθασμένα και ποιες υποσχέσεις δόθηκαν πολύ νωρίς.
Αν η ουρά εξαιρέσεων είναι καλά σχεδιασμένη, γίνεται επιφάνεια μάθησης. Οι περιπτώσεις κατηγοριοποιούνται, δειγματοληπτούνται, εξετάζονται από τους κατάλληλους ρόλους, συνδέονται με διορθώσεις στα δεδομένα πηγής, συνδέονται με αλλαγές πολιτικής και τροφοδοτούνται ξανά στην αξιολόγηση. Αν είναι κακώς σχεδιασμένη, γίνεται βάλτος. Οι δύσκολες περιπτώσεις μένουν σε μια ουρά αναμονής. Οι αξιολογητές εφευρίσκουν τοπικές συνήθειες. Οι διαχειριστές βλέπουν μόνο όγκο. Οι μηχανικοί βλέπουν μόνο συνολικές αστοχίες. Οι χρήστες βλέπουν καθυστέρηση. Το μοντέλο παραμένει μυστηριώδες επειδή ο οργανισμός έκρυψε τα καλύτερα στοιχεία του σε επιχειρησιακή λάσπη.
Το κόστος των εξαιρέσεων δεν είναι μόνο ο αριθμός των περιπτώσεων. Είναι η μορφή τους. Ένα ποσοστό εξαιρέσεων δέκα τοις εκατό μπορεί να είναι διαχειρίσιμο αν οι περιπτώσεις είναι γρήγορες, χαμηλού κινδύνου και εύκολες στη δρομολόγηση. Ένα ποσοστό εξαιρέσεων δύο τοις εκατό μπορεί να είναι δαπανηρό αν κάθε περίπτωση χρειάζεται νομική ερμηνεία, εξέταση από ειδικό τομέα, επικοινωνία με τον πελάτη και ανασύνθεση αποδεικτικών στοιχείων. Ο μέσος ρυθμός αυτοματοποίησης είναι επομένως μια ύποπτη μετρική. Σας λέει πόσα πέρασαν από τη μηχανή, όχι πόσο κόστος μετατόπισε η μηχανή.
Ο σχεδιασμός των εξαιρέσεων θα πρέπει να είναι ρητός. Καθορίστε ζώνες εμπιστοσύνης. Καθορίστε την αποχή. Καθορίστε ποιες συγκρούσεις θέτουν τον φόρτο εργασίας σε παύση. Καθορίστε ποιοι ρόλοι μπορούν να επιλύσουν ποιες κατηγορίες. Καθορίστε το μέγιστο όριο ηλικίας της ουράς. Καθορίστε δειγματοληπτική εξέταση για τις αποδεκτές περιπτώσεις, όχι μόνο για τις αποτυχημένες. Καθορίστε τι διορθώνεται όταν μια εξαίρεση επαναλαμβάνεται. Διαφορετικά, ο οργανισμός δεν έχει αυτοματοποιήσει την εργασία. Έχει αυτοματοποιήσει τη δημιουργία μιας δεύτερης, λιγότερο ορατής δουλειάς.
Η πιθανοτική έξοδος αναγκάζει τα κατάντη συστήματα να διαπραγματεύονται
Τα συστήματα λογισμικού προτιμούν συμβόλαια. Ένα πεδίο είναι ημερομηνία. Μια κατάσταση έχει επιτρεπόμενες τιμές. Ένα ποσό έχει ακρίβεια. Ένας κανόνας έχει κλάδο. Τα πιθανοτικά αποτελέσματα συχνά φτάνουν ως γλώσσα, κατάταξη, βαθμός εμπιστοσύνης ή εν μέρει δομημένες εικασίες. Τα κατάντη συστήματα στη συνέχεια διαπραγματεύονται. Αναλύουν. Επικυρώνουν. Επιδιορθώνουν. Ρωτούν ξανά. Αντιστοιχίζουν ασαφείς ετικέτες σε ακριβείς καταστάσεις. Δημιουργούν εναλλακτικές λύσεις. Κάθε διαπραγμάτευση είναι ένα μικρό κόστος. Αρκετά μικρά κόστη γίνονται αρχιτεκτονική.
Η δομημένη έξοδος βοηθά, αλλά δεν αφαιρεί την αβεβαιότητα. Ένα μοντέλο μπορεί να παράγει έγκυρο JSON και παρόλα αυτά να επιλέξει τη λάθος κατηγορία. Μπορεί να συμπληρώσει κάθε πεδίο και να παραλείψει μια συνθήκη. Μπορεί να αναφέρει μια πηγή και να την παρερμηνεύσει. Ένα σχήμα εντοπίζει σφάλματα μορφής. Δεν αποδεικνύει το νόημα. Αυτή είναι μια συνηθισμένη παγίδα, επειδή τα σφάλματα μορφής είναι ορατά στις μηχανές και τα σφάλματα νοήματος είναι ορατά στους ανθρώπους. Μαντέψτε ποιο διορθώνεται πρώτο.
Η κατάντη διαπραγμάτευση αλλάζει επίσης την ιδιοκτησία. Αν μια υπόθεση δρομολογηθεί λάθος επειδή η έξοδος του μοντέλου ήταν ασαφής και το επίπεδο ενοποίησης έκανε εικασία, ποιος κατέχει το σφάλμα. Η ομάδα του μοντέλου. Η ομάδα πλατφόρμας. Ο ιδιοκτήτης της διαδικασίας. Ο αναθεωρητής. Η ομάδα δεδομένων. Όλοι μπορούν να προβάλουν έναν βάσιμο ισχυρισμό, που είναι ο τρόπος να καταλάβετε ότι λείπει το λειτουργικό μοντέλο. Τα πιθανοτικά συστήματα χρειάζονται ιδιοκτησία στο όριο όπου η αβεβαιότητα γίνεται κατάσταση συστήματος.
Μια πρακτική μέθοδος είναι να διαχωρίσετε την εμπιστοσύνη, την πληρότητα και τη συνέπεια. Η εμπιστοσύνη λέει πόσο πιθανή είναι η έξοδος. Η πληρότητα λέει αν υπάρχουν τα απαιτούμενα αποδεικτικά στοιχεία. Η συνέπεια λέει πόση βλάβη μπορεί να προκαλέσει μια λανθασμένη ενέργεια. Μια έξοδος υψηλής εμπιστοσύνης με ελλιπή αποδεικτικά στοιχεία μπορεί να χρειάζεται ακόμα αναθεώρηση. Μια έξοδος χαμηλής εμπιστοσύνης με χαμηλή συνέπεια μπορεί να δρομολογηθεί γρήγορα. Μια έξοδος μέτριας εμπιστοσύνης με υψηλή συνέπεια μπορεί να χρειάζεται κλιμάκωση. Η ροή εργασίας δεν πρέπει να αντιμετωπίζει όλη την αβεβαιότητα ως την ίδια απόχρωση του κίτρινου.
Η αξιολόγηση είναι επαναλαμβανόμενο λειτουργικό κόστος
Πολλές ομάδες αντιμετωπίζουν την αξιολόγηση ως φάση έργου. Πριν από την κυκλοφορία, συγκεντρώνουν ένα σύνολο δοκιμών, εκτελούν προτροπές, συγκρίνουν αποτελέσματα, ίσως βαθμολογούν την ποιότητα και δηλώνουν ετοιμότητα. Στη συνέχεια φτάνει η πραγματικότητα με νέα έγγραφα, νέους χρήστες, νέες ακραίες περιπτώσεις, νέα γλώσσα, νέα πολιτική και νέες εκδόσεις μοντέλων. Το σύνολο αξιολόγησης αρχίζει να γερνά. Σαν τυρί, εκτός από λιγότερο νόστιμο και πιο πιθανό να προκαλέσει συνάντηση.
Τα πιθανοτικά συστήματα χρειάζονται επαναλαμβανόμενη αξιολόγηση. Αυτό σημαίνει επιμελημένες περιπτώσεις, αντιθετικές περιπτώσεις, πρόσφατα δείγματα παραγωγής, σουίτες παλινδρόμησης, αναθεώρηση από ειδικούς τομέα, ελέγχους δικαιοσύνης όπου χρειάζεται, παρακολούθηση κόστους και καθυστέρησης και δοκιμές που εκτελούνται όταν αλλάζουν προτροπές, μοντέλα, ευρετήρια ανάκτησης, πολιτικές ή δεδομένα πηγής. Η αξιολόγηση δεν είναι ένα εφάπαξ στάδιο. Είναι ο λειτουργικός προϋπολογισμός για να γνωρίζετε αν η ροή εργασίας εξακολουθεί να αξίζει την κυκλοφορία.
Αυτό το κόστος εκπλήσσει τους ανθρώπους επειδή το πιλοτικό πρόγραμμα το κρύβει. Κατά τη διάρκεια ενός πιλοτικού προγράμματος, οι ειδικοί είναι κοντά στο σύστημα. Παρατηρούν ζητήματα ανεπίσημα. Το μείγμα εισόδου είναι περιορισμένο. Τα διακυβεύματα είναι ελεγχόμενα. Στην παραγωγή, το σύστημα γίνεται αρκετά βαρετό ώστε οι ειδικοί να σταματούν να παρακολουθούν κάθε έξοδο, που είναι ακριβώς όταν πρέπει να αναλάβει η επίσημη αξιολόγηση. Ένα πιθανοτικό σύστημα χωρίς επαναλαμβανόμενη αξιολόγηση είναι μια μηχανή που ξοδεύει αργά την εμπιστοσύνη ενώ αναφέρει διαθεσιμότητα.
Η αξιολόγηση πρέπει επίσης να συνδέεται με αποφάσεις. Αν πέσει η ποιότητα, ποιος μπορεί να κάνει παύση. Αν αυξηθεί η καθυστέρηση, ποιος αποφασίζει αν θα μειώσει το μέγεθος του μοντέλου, θα μειώσει τις επαναλήψεις ή θα προσθέσει δυνατότητα αναθεώρησης. Αν ένα νέο μοντέλο βελτιώνει τη μέση βαθμολογία αλλά χειροτερεύει μια κρίσιμη υποομάδα, ποιος αρνείται την αναβάθμιση. Αν το κόστος αυξηθεί επειδή αυξάνονται οι εξαιρέσεις, ποιος κατέχει τη διόρθωση. Ένας πίνακας ελέγχου που δείχνει φθορά χωρίς εξουσία να αναλάβει δράση είναι απλώς μια ακριβή πρόγνωση καιρού.
Η ανθρώπινη επισκόπηση έχει κόστος θεωρίας ουρών
Η ανθρώπινη επισκόπηση συχνά προστίθεται ως μια καθησυχαστική φράση. Ένας άνθρωπος θα παραμείνει στον βρόχο. Υπέροχα. Ποιος άνθρωπος, με ποια ουρά, με ποιο πλαίσιο, με ποια εξουσία, με ποιον χρόνο-στόχο, με ποια διαδρομή κλιμάκωσης, με ποιο μοντέλο κόπωσης και με ποιο δίχτυ ασφαλείας όταν το σύστημα στέλνει πάρα πολλές οριακές περιπτώσεις στις 16:45 την Παρασκευή. Ο βρόχος έχει επιμελητεία. Η επιμελητεία έχει κόστος. Το κόστος έχει μια γοητευτική συνήθεια να εμφανίζεται μετά τη διαφάνεια της αρχιτεκτονικής.
Η δυναμικότητα επισκόπησης δεν είναι γραμμική. Μια μικρή αύξηση στις αβέβαιες περιπτώσεις μπορεί να δημιουργήσει μεγάλη αύξηση στον χρόνο αναμονής όταν η ομάδα επισκόπησης είναι κοντά στη μέγιστη δυναμικότητά της. Η θεωρία ουρών είναι σκληρή αλλά δίκαιη. Αν οι αφίξεις γίνουν πιο μεταβλητές και ο χρόνος εξυπηρέτησης γίνει πιο μεταβλητός, οι καθυστερήσεις μπορούν να αυξηθούν γρήγορα. Οι στοχαστικές ροές εργασίας συχνά αυξάνουν και τα δύο: πιο άνιση δυσκολία περιπτώσεων και πιο μεταβλητό χρόνο επισκόπησης. Ο οργανισμός μπορεί να πιστεύει ότι αυτοματοποίησε το ογδόντα τοις εκατό της εργασίας, ενώ το υπόλοιπο είκοσι τοις εκατό ελέγχει ήσυχα τη συμφωνία επιπέδου υπηρεσιών.
Η ποιότητα της επισκόπησης εξαρτάται επίσης από το πλαίσιο. Αν οι επισκοπητές βλέπουν μόνο την τελική απάντηση, πρέπει να ανακατασκευάσουν γιατί εμφανίστηκε. Αν βλέπουν πηγές, εμπιστοσύνη, πολιτική, προηγούμενες προσπάθειες και γνωστές αβεβαιότητες, μπορούν να ενεργήσουν πιο γρήγορα και καλύτερα. Αν μετρώνται μόνο με βάση την απόδοση, θα μάθουν να εμπιστεύονται τη μηχανή υπερβολικά ή να την πολεμούν πολύ λίγο. Η ανθρώπινη επισκόπηση δεν είναι μια μαγική ουσία που χύνεται πάνω στην αβεβαιότητα. Είναι εξειδικευμένη εργασία που χρειάζεται σχεδιασμό.
Το κρυφό κόστος είναι η προσοχή. Οι άνθρωποι δεν μπορούν να επισκοπούν αόριστη ασάφεια επ' αόριστον. Η κόπωση αλλάζει τα πρότυπα. Εμφανίζονται τοπικές συνήθειες. Κάποιοι επισκοπητές γίνονται αυστηροί, άλλοι πραγματιστές, άλλοι παραιτημένοι. Η ροή εργασίας αρχίζει να παράγει διαφορετικά αποτελέσματα ανάλογα με το ποιος έπιασε την περίπτωση. Τότε το στοχαστικό σύστημα κατηγορείται για ασυνέπεια που ο οργανισμός ενίσχυσε στον σχεδιασμό της επισκόπησης. Η μηχανή παρείχε διακύμανση. Οι άνθρωποι παρείχαν δυναμική ουρών. Ένα ωραίο ντουέτο, αν ο στόχος είναι ο πόνος του ελέγχου.
Η κοστολόγηση πρέπει να περιλαμβάνει την αβεβαιότητα
Ένα χρήσιμο μοντέλο κόστους για στοχαστικές ροές εργασίας περιλαμβάνει περισσότερα από κλήσεις μοντέλων. Περιλαμβάνει προετοιμασία εισόδου, ανάκτηση, επαναλήψεις, επικύρωση, χρόνο επισκόπησης, διαχείριση εξαιρέσεων, αξιολόγηση, αποθήκευση αποδεικτικών στοιχείων, ανάλυση περιστατικών, παρακολούθηση, υποστήριξη χρηστών, συντήρηση προτροπών και πολιτικής, διόρθωση δεδομένων και επισκευή κατάντη. Περιλαμβάνει επίσης την προαιρετικότητα: το κόστος αλλαγής μοντέλου, προμηθευτή, προτροπής, ευρετηρίου ή ροής εργασίας όταν η τρέχουσα διάταξη δεν ταιριάζει πλέον.
Αυτό δεν σημαίνει ότι οι πιθανοτικές ροές εργασίας είναι κακές. Σημαίνει ότι είναι πραγματικές. Πολλές αξίζουν το κόστος τους. Ένα σύστημα που μειώνει την επαναλαμβανόμενη ανάγνωση ενώ αναδεικνύει επικίνδυνες περιπτώσεις μπορεί να είναι εξαιρετικό. Ένας ταξινομητής που διαχειρίζεται την ακατάστατη γλώσσα καλύτερα από τους κανόνες μπορεί να εξοικονομήσει χρόνο. Μια σύνοψη που δίνει στους ειδικούς μια καλή πρώτη προσέγγιση μπορεί να βελτιώσει την εξυπηρέτηση. Το ζητούμενο δεν είναι να αποφύγουμε την πιθανότητα. Το ζητούμενο είναι να σταματήσουμε να κρύβουμε το λειτουργικό της κόστος στα ημερολόγια άλλων ανθρώπων.
Μια χρήσιμη μέθοδος κοστολόγησης είναι η τιμολόγηση ανά κατηγορία περιστατικού. Τα περιστατικά άμεσης διεκπεραίωσης έχουν κόστος μοντέλου, επικύρωσης και δειγματοληψίας. Τα περιστατικά με υποβοήθηση προσθέτουν χρόνο αναθεωρητή. Τα εξαιρετικά περιστατικά προσθέτουν κόστος διαλογής, εξειδικευμένης αναθεώρησης και τεκμηρίωσης. Τα αμφισβητούμενα περιστατικά προσθέτουν κόστος αναπαραγωγής, επικοινωνίας και πιθανής αποκατάστασης. Τα περιστατικά βελτίωσης προσθέτουν συντήρηση δεδομένων ή προτροπών. Αυτό μετατρέπει το ποσοστό αυτοματοποίησης σε μια πλουσιότερη εικόνα: όχι μόνο πόσα περιστατικά άγγιξε η τεχνητή νοημοσύνη, αλλά πώς η αβεβαιότητα άλλαξε την εργασία και τον κίνδυνο.
Μια άλλη μέθοδος είναι η παρακολούθηση του προϋπολογισμού διακύμανσης. Πόση διακύμανση εξόδου είναι αποδεκτή για αυτή την εργασία. Πόσο συχνά μπορούν οι επαναλήψεις να διαφέρουν. Πόσες εξαιρέσεις την ημέρα μπορεί να απορροφήσει η ουρά. Πόσος χρόνος αναθεώρησης ανά περιστατικό έχει προϋπολογιστεί. Πόσα στοιχεία πρέπει να αποθηκεύονται. Πόσο γρήγορα πρέπει να αναπαράγονται τα αμφισβητούμενα αποτελέσματα. Αυτοί οι αριθμοί δεν εξαλείφουν την αβεβαιότητα. Την καθιστούν διαχειρίσιμη.
Ο ντετερμινισμός έχει ακόμα ρόλο
Η άνοδος των πιθανοτικών συστημάτων δεν καθιστά τη ντετερμινιστική μηχανική ξεπερασμένη. Καθιστά τα ντετερμινιστικά όρια πιο πολύτιμα. Χρησιμοποιήστε ντετερμινιστική ανάλυση όπου υπάρχει δομή. Χρησιμοποιήστε σαφείς κανόνες όπου η πολιτική είναι ξεκάθαρη. Χρησιμοποιήστε σταθερή ανάκτηση όπου οι πηγές πρέπει να είναι αναπαράξιμες. Χρησιμοποιήστε σχήματα, επικυρωτές, πεπερασμένες καταστάσεις, εκδόσεις προτροπών, σταθερά σύνολα αξιολόγησης και καταγεγραμμένες παραμέτρους. Χρησιμοποιήστε την πιθανότητα για το μέρος της εργασίας που πραγματικά χρειάζεται κρίση πάνω στην ασάφεια, όχι για το μέρος που απλώς χρειαζόταν κάποιον να γράψει τον βαρετό κώδικα.
Αυτό δεν είναι καθαρολογία. Είναι έλεγχος κόστους. Κάθε ντετερμινιστικό όριο αφαιρεί ένα σημείο όπου η διακύμανση μπορεί να διαρρεύσει. Μια ροή εργασίας που χρησιμοποιεί ένα μοντέλο για να διαβάσει ακατάστατο κείμενο, στη συνέχεια ντετερμινιστική επικύρωση για να ελέγξει τα υποχρεωτικά πεδία, στη συνέχεια κανόνες για να εφαρμόσει γνωστή πολιτική, και στη συνέχεια ανθρώπινη αναθεώρηση για αβεβαιότητα υψηλού αντίκτυπου, θα είναι συνήθως ευκολότερο να λειτουργήσει από μια ροή εργασίας που ζητά από το μοντέλο να κάνει τα πάντα και μετά εκπλήσσεται όταν τα πάντα περιλαμβάνουν αρκετές απόψεις.
Ο ντετερμινισμός βελτιώνει επίσης τα στοιχεία. Αν ενεργοποιήθηκε ένας κανόνας, καταγράψτε τον κανόνα. Αν ένας αναλυτής εξήγαγε ένα πεδίο, καταγράψτε τη θέση της πηγής. Αν η ανάκτηση ταξινόμησε έγγραφα, καταγράψτε την έκδοση του ευρετηρίου και τις βαθμολογίες. Αν το μοντέλο παρήγαγε μια σύνοψη, καταγράψτε την προτροπή, το σύνολο πηγών, την έκδοση του μοντέλου και την απόφαση του αναθεωρητή. Ο στόχος δεν είναι να μετατραπεί κάθε ροή εργασίας σε δικαστική αίθουσα. Ο στόχος είναι να είναι απαντήσιμες οι μελλοντικές ερωτήσεις χωρίς να καλείται ολόκληρη η ομάδα μηχανικών σε μια συνάντηση που ονομάζεται γρήγορος συγχρονισμός.
Το όριο μεταξύ ντετερμινιστικής και πιθανοτικής εργασίας πρέπει να είναι σαφές στα διαγράμματα και στους προϋπολογισμούς. Ποιο βήμα μπορεί να διαφέρει. Ποιο βήμα δεν πρέπει. Ποιο βήμα μπορεί να επαναληφθεί. Ποιο βήμα πρέπει να αναπαραχθεί ακριβώς. Ποιο βήμα μπορεί να εξηγηθεί στατιστικά. Ποιο βήμα χρειάζεται αρχείο. Αν η ομάδα δεν μπορεί να σχεδιάσει αυτό το όριο, δεν μπορεί να εκτιμήσει ειλικρινά το κόστος.
Το δίδαγμα
Το κρυφό κόστος των πιθανοτικών ροών εργασίας δεν είναι λόγος να τις αποφεύγετε. Είναι λόγος να τις υπολογίζετε με ειλικρίνεια. Το κόστος εμφανίζεται σε επαναλήψεις, επιθεωρήσεις, εξαιρέσεις, αποδεικτικά στοιχεία, αξιολογήσεις, ουρές αναμονής, υποστήριξη και στην πιο αργή διαδικασία του να αποφασίζετε ποια απόκλιση είναι αποδεκτή. Αν η ροή εργασίας εξοικονομεί χρόνο στην ομαλή διαδρομή αλλά τον ξοδεύει πίσω σε αμφισβητούμενες περιπτώσεις και λειτουργική ομίχλη, η επιχειρηματική υπόθεση είχε γραφτεί μόνο στα μισά.
Οι καλές πιθανοτικές λειτουργίες ξεκινούν αντιμετωπίζοντας την αβεβαιότητα ως υλικό. Ονομάστε πού εισέρχεται. Οριοθετήστε πού μπορεί να μεταβάλλεται. Καταγράψτε αρκετό πλαίσιο για να αναπαράγετε αποφάσεις. Σχεδιάστε τις ουρές εξαιρέσεων ως επιφάνειες μάθησης. Δώστε στους επιθεωρητές εξουσία και χρόνο. Αξιολογείτε συνεχώς. Διατηρήστε ντετερμινιστικά όρια εκεί όπου μειώνουν το κόστος. Τιμολογήστε την έξοδο και την αλλαγή. Το μεγαλύτερο μέρος αυτού δεν είναι εντυπωσιακό. Αυτό είναι σημάδι ότι μπορεί να επιβιώσει στην παραγωγή.
Η κλήση του μοντέλου είναι το εύκολο στοιχείο κόστους. Το πραγματικό ερώτημα είναι τι πρέπει να κάνει ο οργανισμός πριν και μετά από αυτή την κλήση, ώστε το αποτέλεσμα να μπορεί να είναι αξιόπιστο, να αμφισβητείται, να επισκευάζεται και να βελτιώνεται. Η πιθανότητα μπορεί να κάνει τις ροές εργασίας πιο ικανές. Μπορεί επίσης να τις κάνει λιγότερο προβλέψιμες. Η διαφορά δεν είναι μαγεία. Είναι οι λειτουργίες, που παραμένουν το μέρος όπου οι εντυπωσιακές επιδείξεις γίνονται είτε χρήσιμες είτε ακριβές.