Η τεχνητή νοημοσύνη χρειάζεται λιγότερη μαγεία και περισσότερη φύλαξη
Η απάντηση που έφτασε χωρίς αποσκευές
Η πρώτη απάντηση φαινόταν εντυπωσιακή. Σύνοψε έναν μακρύ φάκελο υπόθεσης, εντόπισε την πιθανή πολιτική διαδρομή, συνέταξε μια απάντηση και ακουγόταν σαν να είχε περάσει το πρωινό σε ένα τακτοποιημένο γραφείο με καθαρή συνείδηση. Στον διευθυντή άρεσε. Στον αξιολογητή άρεσε λιγότερο. Ρώτησε από πού προερχόταν η παράγραφος της πηγής, ποια έκδοση της πολιτικής χρησιμοποιήθηκε, αν το σημείωμα του πελάτη ήταν ορατό στο μοντέλο και γιατί η σύσταση παρέλειψε μια εξαίρεση που συνήθως είχε σημασία. Η αίθουσα είχε την απάντηση. Δεν είχε τις αποσκευές της.
Αυτές οι αποσκευές που λείπουν είναι το πρόβλημα. Το αποτέλεσμα της τεχνητής νοημοσύνης είχε ταξιδέψει μέσα από προτροπές, ανάκτηση, κατάταξη, συμπερασματική λειτουργία του μοντέλου, μετα-επεξεργασία και μια διεπαφή χρήστη. Στη διαδρομή άγγιξε έγγραφα, δικαιώματα πρόσβασης, αποθηκευμένα αποσπάσματα, άδειες εργαλείων, οδηγίες συστήματος και μια ανθρώπινη ροή εργασίας. Μέχρι τη στιγμή που η απάντηση έφτασε στην οθόνη, το μεγαλύτερο μέρος αυτού του ταξιδιού ήταν αόρατο. Ο οργανισμός μπορούσε να θαυμάσει το αποτέλεσμα, αλλά δεν μπορούσε να το κρατήσει σωστά. Δεν μπορούσε να πει ποια γεγονότα μεταφέρθηκαν, ποια αποκλείστηκαν, ποιος κανόνας δέσμευε το αποτέλεσμα, ποιο άτομο το αποδέχτηκε ή ποια εγγραφή θα επιβίωνε της συνάντησης.
Γι' αυτό η τεχνητή νοημοσύνη χρειάζεται λιγότερη μαγεία και περισσότερη επιμέλεια. Η μαγική σκέψη αντιμετωπίζει το μοντέλο ως το γεγονός. Μπαίνει μια ερώτηση, συμβαίνει η νοημοσύνη, βγαίνει μια απάντηση. Η σκέψη επιμέλειας αντιμετωπίζει το μοντέλο ως έναν διαχειριστή σε μια αλυσίδα. Η αλυσίδα έχει εισροές, δικαιώματα, μετασχηματισμούς, ευθύνες, αποφάσεις αποθήκευσης και εξόδους. Ρωτά ποιος επιτρέπεται να κρατήσει κάτι, για ποιο σκοπό, υπό ποιους περιορισμούς, για πόσο καιρό, με ποια απόδειξη και με ποια επανόρθωση όταν η αλυσίδα σπάσει.
Η επιμέλεια δεν είναι μια πιο ψυχρή λέξη για τον έλεγχο. Είναι φροντίδα με απόδειξη. Ένα μουσείο δεν κατέχει κάθε αντικείμενο που προστατεύει. Ένα αρχειοφυλάκιο δεν επινοεί κάθε εγγραφή που διατηρεί. Ένα εργαστήριο δεν κάνει ένα δείγμα πιο αληθινό επισημαίνοντάς το, αλλά η ετικέτα αποφασίζει αν το αποτέλεσμα μπορεί να θεωρηθεί αξιόπιστο αργότερα. Τα συστήματα τεχνητής νοημοσύνης χρειάζονται τις ίδιες ώριμες συνήθειες. Χειρίζονται δεδομένα άλλων ανθρώπων, θεσμική εξουσία, αποτελέσματα μοντέλων και αποφάσεις που μπορεί να επιβιώσουν της διεπαφής. Λίγη λιγότερη λάμψη, λίγη περισσότερη αλυσίδα επιμέλειας. Δεν θα κάνει καλύτερη την κεντρική ομιλία. Θα κάνει καλύτερο το σύστημα.
Η μαγεία είναι ένα ακριβό επιχειρησιακό μοντέλο
Η «μαγεία» είναι ελκυστική επειδή αφαιρεί την τριβή από την ιστορία. Μια δύσκολη ροή εργασίας γίνεται ένα prompt. Μια αδύναμη βάση γνώσεων γίνεται ζήτημα δυνατοτήτων του μοντέλου. Ένας ιδιοκτήτης που λείπει γίνεται αυτοματοποίηση. Ένας ασαφής κανόνας γίνεται μια οδηγία να είσαι προσεκτικός. Το σύστημα φαίνεται να λειτουργεί επειδή το μοντέλο μπορεί να παράγει άπταιστη γλώσσα καλύπτοντας τα κενά που θα σταματούσαν το συνηθισμένο λογισμικό. Η ευφράδεια είναι χρήσιμη. Είναι επίσης μια ταλαντούχα συγκαλύπτρια της ημιτελούς διακυβέρνησης.
Στις συνηθισμένες λειτουργίες, τα κενά έχουν άκρα. Ένα πεδίο που λείπει σπάει μια φόρμα. Ένας λάθος κωδικός αποτυγχάνει στην επικύρωση. Ένα σφάλμα δικαιωμάτων μπλοκάρει την πρόσβαση. Στις λειτουργίες τεχνητής νοημοσύνης, το κενό μπορεί να μετατραπεί σε πεζό κείμενο. Το μοντέλο μπορεί να απαντήσει γύρω από τα αποδεικτικά στοιχεία που λείπουν, να συμπεράνει πρόθεση από διφορούμενη γλώσσα, να μαλακώσει τις αντιφάσεις και να επιστρέψει μια παράγραφο που φαίνεται πλήρης. Αυτό είναι ισχυρό όταν η εργασία είναι χαμηλού ρίσκου και ο χρήστης μπορεί να κρίνει. Είναι επικίνδυνο όταν η παράγραφος γίνεται επιφάνεια απόφασης, αρχείο ελέγχου, υπόσχεση προς πελάτη, κλινική σημείωση, νομική σύσταση ή δίοδος προς ένα εργαλείο.
Η «μαγεία» είναι επίσης ακριβή επειδή αναβάλλει την ευθύνη. Αν κανείς δεν ξέρει ποια πηγή χρησιμοποιήθηκε, το κόστος έρχεται κατά τη διόρθωση. Αν κανείς δεν ξέρει ποια έκδοση prompt διαμόρφωσε μια απάντηση, το κόστος έρχεται κατά την αξιολόγηση. Αν κανείς δεν ξέρει ποια κλήση εργαλείου άλλαξε κατάσταση, το κόστος έρχεται κατά την αντιμετώπιση περιστατικού. Αν κανείς δεν ξέρει ποια παράγωγα δεδομένα διατηρήθηκαν, το κόστος έρχεται κατά τη διαγραφή, την αποκάλυψη ή τη δικαστική διαμάχη. Το μοντέλο ήταν γρήγορο. Ο οργανισμός γίνεται αργός αργότερα, συνήθως με περισσότερα άτομα στο δωμάτιο και χειρότερο καφέ.
Η επιμέλεια κάνει τα κρυφά κόστη ορατά νωρίτερα. Λέει ότι το σύστημα πρέπει να ξέρει τι κατέχει. Πρέπει να συνδέει τα δεδομένα με τον σκοπό. Πρέπει να διατηρεί αποδεικτικά στοιχεία χωρίς να μαζεύει τα πάντα. Πρέπει να διαχωρίζει το προσχέδιο από την απόφαση. Πρέπει να καταγράφει ποιος κυκλοφόρησε ένα αποτέλεσμα στον κόσμο. Πρέπει να ξέρει πώς να διορθώνει ή να αποσύρει τεχνουργήματα. Αυτό ακούγεται βαρετό επειδή είναι το μέρος που εμποδίζει τη γοητεία να γίνει υποχρέωση. Υπάρχουν χειρότερα πράγματα από το βαρετό. Ένα από αυτά είναι μια σίγουρη απάντηση που κανείς δεν μπορεί να εντοπίσει.
Η επιμέλεια δεδομένων δεν είναι θέατρο ιδιοκτησίας δεδομένων
Πολλοί οργανισμοί μιλούν για το ότι κατέχουν τα δεδομένα τους. Η ιδιοκτησία δεν είναι άχρηστη, αλλά είναι πολύ χοντροκομμένη για τη διακυβέρνηση της τεχνητής νοημοσύνης. Μια ομάδα μπορεί να κατέχει ένα σύνολο δεδομένων και παρόλα αυτά να έχει κακή επιμέλεια. Μπορεί να μην ξέρει πού βρίσκονται τα αντίγραφα, ποια embeddings προήλθαν, ποια prompts περιλάμβαναν ευαίσθητα αποσπάσματα, ποιες περιλήψεις επιβιώνουν στις σημειώσεις περιστατικών, ποια αρχεία καταγραφής περιέχουν προσωπικά δεδομένα ή ποια μεταγενέστερη έξοδος του μοντέλου φέρει πλέον ένα γεγονός από μια πηγή που διορθώθηκε αργότερα. Η ιδιοκτησία λέει ποιανού το περιουσιακό στοιχείο είναι. Η επιμέλεια ρωτά τι συνέβη σε αυτό.
Η τεχνητή νοημοσύνη δημιουργεί περισσότερα αντικείμενα επιμέλειας από τις παραδοσιακές εφαρμογές. Υπάρχει το αρχικό έγγραφο. Υπάρχουν τα αναλυμένα κομμάτια. Υπάρχουν τα embeddings. Υπάρχουν τα ανακτημένα αποσπάσματα. Υπάρχουν οι συναρμολογήσεις prompts. Υπάρχουν τα παραγόμενα προσχέδια. Υπάρχουν οι επεξεργασίες των αξιολογητών. Υπάρχουν τα ορίσματα κλήσεων εργαλείων. Υπάρχουν εξηγήσεις, βαθμολογίες, ταξινομήσεις και συμβάντα ελέγχου. Μερικά είναι προσωρινά. Μερικά γίνονται αρχεία. Μερικά πρέπει να διαγραφούν γρήγορα. Μερικά πρέπει να διατηρηθούν. Μερικά πρέπει να διαχωριστούν από τη διαδρομή εξυπηρέτησης του μοντέλου. Το να αντιμετωπίζεις όλα αυτά ως ένα ενιαίο σύνολο που ονομάζεται δεδομένα είναι ένας βολικός τρόπος να χάσεις τον έλεγχο ευγενικά.
Η καλή επιμέλεια διακρίνει την κατοχή, τη χρήση, την παραγωγή, τη δημοσίευση και τη διατήρηση. Ένα σύστημα μπορεί να κατέχει ένα αρχείο αλλά να μην το χρησιμοποιεί για έναν σκοπό. Μπορεί να χρησιμοποιεί μια πηγή για ανάκτηση αλλά να μην αποθηκεύει το απόσπασμα στην έξοδο. Μπορεί να παράγει μια περίληψη αλλά να τη χαρακτηρίζει ως μη έγκυρη. Μπορεί να δημοσιεύει μια τελική απάντηση ενώ διατηρεί μόνο αναγνωριστικά και κατακερματισμούς για αποδεικτικά στοιχεία. Μπορεί να κρατά ένα ίχνος ελέγχου υπό περιορισμένη πρόσβαση ενώ διαγράφει το περιβάλλον εργασίας. Αυτές οι διακρίσεις δεν είναι νομική διακόσμηση. Είναι ο τρόπος με τον οποίο τα συστήματα τεχνητής νοημοσύνης παραμένουν υπόλογα χωρίς να γίνονται μηχανές παρακολούθησης με καλύτερη τυπογραφία.
Το δύσκολο σημείο είναι ότι η επιμέλεια διαπερνά οργανωτικά όρια. Ιδιοκτήτες δεδομένων, ομάδες μοντέλων, ομάδες πλατφορμών, νομικές ομάδες, χειριστές, προμηθευτές και ελεγκτές αγγίζουν όλοι κομμάτια της αλυσίδας. Αν η επιμέλεια ζει μόνο στην τεκμηρίωση μιας ομάδας, θα αποτύχει στο σημείο παράδοσης. Το αρχείο χρειάζεται κοινά αναγνωριστικά, ορισμούς ρόλων, κανόνες διατήρησης και διαδρομές αποδεικτικών στοιχείων που επιβιώνουν των ορίων μεταξύ ομάδων. Διαφορετικά, κάθε περιστατικό γίνεται κυνήγι θησαυρού με προσκλήσεις ημερολογίου.
Τα prompts χρειάζονται επίσης επιμέλεια
Τα prompts συχνά αντιμετωπίζονται ως αναλώσιμο κείμενο, κάπου μεταξύ διαμόρφωσης και συζήτησης γραφείου. Αυτό είναι κατανοητό στα πειράματα. Είναι επικίνδυνο στην παραγωγή. Ένα prompt μπορεί να περιέχει ερμηνείες πολιτικής, κρυφά παραδείγματα, κανόνες τόνου, συνθήκες άρνησης, δικαιώματα εργαλείων, λογική κλιμάκωσης και ευαίσθητο πλαίσιο. Μπορεί να αλλάξει τον τρόπο που ένα μοντέλο χρησιμοποιεί τα αποδεικτικά στοιχεία. Μπορεί να αλλάξει το αν ένα αποτέλεσμα ακούγεται δοκιμαστικό ή τελικό. Μπορεί να αλλάξει το αν ένας ανθρώπινος αναθεωρητής βλέπει την αβεβαιότητα. Ένα prompt δεν είναι απλώς διατύπωση. Είναι επιχειρησιακή οδηγία.
Η επιμέλεια prompts σημαίνει έλεγχος εκδόσεων των prompts, ονομασία του σκοπού τους, καταγραφή των αποτελεσμάτων που διαμόρφωσαν, περιορισμός του ποιος μπορεί να τα αλλάξει, δοκιμή αλλαγών σε γνωστές περιπτώσεις και διατήρηση αρκετού ιστορικού για να εξηγηθεί η προηγούμενη συμπεριφορά. Σημαίνει επίσης διαχωρισμό της διαρκούς πολιτικής από τη διατύπωση του prompt. Αν ένας επιχειρησιακός κανόνας υπάρχει μόνο μέσα σε ένα prompt, ο οργανισμός έχει μετατρέψει τη διακυβέρνηση σε παράγραφο με δικαιώματα ανάπτυξης. Οι παράγραφοι είναι χρήσιμες. Δεν είναι υπέροχο μέρος για να κρύβεις εξουσία.
Η επιμέλεια prompts απαιτεί επίσης ταπεινότητα σχετικά με τη διαρροή και την απόκλιση prompts. Ένα prompt μπορεί να αντιγραφεί σε ένα ticket, να επεξεργαστεί από μια καλοπροαίρετη ομάδα, να ενσωματωθεί σε ρύθμιση προμηθευτή ή να επιδιορθωθεί κατά τη διάρκεια ενός περιστατικού. Μικρές αλλαγές μπορούν να μεταβάλουν την άρνηση, τον τόνο, τη χρήση πηγών και τις κλήσεις εργαλείων. Χωρίς επιμέλεια, ο οργανισμός δεν μπορεί να πει αν το μοντέλο χειροτέρεψε, αν άλλαξε μια πηγή ή αν μετακινήθηκε μια οδηγία. Θα εκτελέσει τότε το παραδοσιακό τελετουργικό του να διαφωνεί για εντυπώσεις ενώ η βασική αιτία περιμένει έξω από την αίθουσα.
Αυτό δεν σημαίνει ότι κάθε επεξεργασία prompt χρειάζεται επιτροπή. Η διακυβέρνηση πρέπει να αντιστοιχεί στον κίνδυνο. Ένα βοήθημα σύνταξης χαμηλού κινδύνου μπορεί να έχει ελαφρύτερους ελέγχους από ένα prompt που διαμορφώνει συστάσεις επιλεξιμότητας. Αλλά ακόμη και οι ελαφροί έλεγχοι χρειάζονται αρχείο. Ποιος το άλλαξε. Γιατί. Ποια τεστ έτρεξαν. Ποια διαδρομή το χρησιμοποιεί. Πότε πρέπει να αναθεωρηθεί. Η επιμέλεια prompts δεν είναι γραφειοκρατία για χάρη της γραφειοκρατίας. Είναι η διαφορά μεταξύ επιχειρησιακής μάθησης και αρχαιολογίας prompts.
Τα εργαλεία μετατρέπουν την επιμέλεια σε δράση
Το ζήτημα της επιμέλειας γίνεται πιο οξύ όταν τα μοντέλα μπορούν να καλούν εργαλεία. Μια παραγόμενη παράγραφος μπορεί να παραπλανήσει. Μια κλήση εργαλείου μπορεί να αλλάξει τον κόσμο. Μπορεί να ενημερώσει μια εγγραφή, να στείλει ένα email, να δημιουργήσει ένα δελτίο, να εγκρίνει μια συναλλαγή, να ξεκλειδώσει πρόσβαση, να διαγράψει περιεχόμενο ή να ενεργοποιήσει μια ροή εργασιών. Μόλις το μοντέλο περάσει από την πρόταση στην πράξη, η επιμέλεια πρέπει να περιλαμβάνει δικαιώματα, επικύρωση ορισμάτων, μεταβάσεις κατάστασης, ταυτοδυναμία, αποδείξεις και επαναφορά. Η έξοδος του μοντέλου δεν είναι πλέον μόνο περιεχόμενο. Είναι μια προτεινόμενη ενέργεια.
Η επιμέλεια εργαλείων ξεκινά με περιορισμένη εξουσιοδότηση. Ένα μοντέλο δεν θα πρέπει να λαμβάνει ευρεία πρόσβαση εγγραφής επειδή μια προτροπή λέει ότι θα συμπεριφερθεί σωστά. Η πύλη θα πρέπει να γνωρίζει ποιο εργαλείο μπορεί να κληθεί, από ποιον, για ποια εργασία, με ποια ορίσματα, υπό ποιες προϋποθέσεις τεκμηρίων. Ορισμένες κλήσεις θα πρέπει να απαιτούν ανθρώπινη έγκριση. Ορισμένες θα πρέπει να είναι μόνο για ανάγνωση. Ορισμένες θα πρέπει να είναι αδύνατες. Ένα τυποποιημένο όριο εργαλείων είναι λιγότερο εντυπωσιακό από μια επίδειξη αυτόνομης εργασίας. Είναι όμως πολύ πιο εύκολο να εξηγηθεί σε μια ρυθμιστική αρχή, σε έναν πελάτη ή σε έναν κουρασμένο μηχανικό στις 02:00.
Η επιμέλεια εργαλείων σημαίνει επίσης ότι το σύστημα μπορεί να ανασυνθέσει τι συνέβη. Ποια έξοδος πρότεινε την κλήση. Ποια τεκμήρια την υποστήριξαν. Ποιος χρήστης ή ρόλος την ενέκρινε. Ποια κατάσταση άλλαξε. Ποιο εξωτερικό σύστημα την αναγνώρισε. Ποια αντισταθμιστική ενέργεια υπάρχει αν ήταν λανθασμένη. Χωρίς αυτό το αρχείο, η αυτόνομη δράση γίνεται θεσμική απώλεια μνήμης με ταχύτητα μηχανής. Η ενέργεια έγινε. Η εξήγηση γίνεται ομαδικό εγχείρημα.
Υπάρχει ένας απλός κανόνας που αξίζει να κρατήσουμε: όσο περισσότερα μπορεί να αλλάξει ένα σύστημα τεχνητής νοημοσύνης, τόσο ισχυρότερη πρέπει να γίνεται η επιμέλεια. Η σύνταξη μιας παραγράφου χρειάζεται επιμέλεια πηγών και προτροπών. Η ταξινόμηση μιας ουράς χρειάζεται επιμέλεια δεδομένων, πολιτικής και προσφυγών. Η κλήση ενός εργαλείου εγγραφής χρειάζεται επιμέλεια συναλλαγών. Η επίδραση σε δικαιώματα, χρήματα, υγεία, πρόσβαση ή ασφάλεια χρειάζεται σοβαρή επιμέλεια σε ολόκληρη την αλυσίδα. Η λέξη αυτονομία δεν θα πρέπει να επιτρέπεται να αιωρείται πάνω από αυτές τις διαφορές σαν μπαλόνι σε έκθεση προμηθειών.
Η διατήρηση είναι μέρος της νοημοσύνης
Οι ομάδες τεχνητής νοημοσύνης συχνά εστιάζουν στο τι γνωρίζουν τα συστήματα. Η επιμέλεια ρωτά επίσης τι θα πρέπει να ξεχνούν τα συστήματα. Η διατήρηση δεν είναι διοικητικό μεταγενέστερο μέλημα. Διαμορφώνει τον κίνδυνο, τη λογοδοσία, το απόρρητο και τη μάθηση. Αν το εργασιακό πλαίσιο διαγράφεται πολύ γρήγορα, ο οργανισμός δεν μπορεί να εξηγήσει τις αποφάσεις του. Αν διατηρείται για πολύ καιρό, ο οργανισμός συσσωρεύει ευαίσθητο υλικό χωρίς ενεργό σκοπό. Αν τα παράγωγα αντικείμενα δεν παρακολουθούνται, η διαγραφή γίνεται θέατρο. Αν τα τελικά αρχεία δεν έχουν προέλευση, η διατήρηση γίνεται συρτάρι με σίγουρα αποσπάσματα.
Ο σωστός σχεδιασμός διατήρησης διαχωρίζει τα επίπεδα. Τα ακατέργαστα προτροπές μπορεί να έχουν μικρή διάρκεια ζωής ή να υποστούν επεξεργασία. Οι αναγνωριστικοί κωδικοί πηγής μπορεί να διατηρούνται περισσότερο από το κείμενο της πηγής. Τα τελικά αρχεία αποφάσεων μπορεί να διατηρούνται σύμφωνα με νομοθετικούς κανόνες. Τα κατακερματισμένα αρχεία ελέγχου μπορεί να επιβιώνουν από τη διαγραφή περιεχομένου. Τα παραδείγματα αξιολόγησης μπορεί να υποστούν ανωνυμοποίηση. Οι αποδείξεις εργαλείων μπορεί να χρειάζονται διατήρηση σε επίπεδο συναλλαγής. Ο σχεδιασμός εξαρτάται από τον κίνδυνο και τον σκοπό. Το σημαντικό είναι ότι η διατήρηση θα πρέπει να είναι σκόπιμη και όχι ό,τι έτυχε να κάνει το σύστημα καταγραφής την ημέρα της εκκίνησης.
Για την τεχνητή νοημοσύνη, η λήθη είναι τεχνικά δύσκολη επειδή τα γεγονότα μπορούν να αντιγραφούν σε περιλήψεις, ενσωματώσεις, προσωρινές μνήμες, αιτήματα υποστήριξης, στιγμιότυπα οθόνης, εξαγωγές και σύνολα εκπαίδευσης. Η επιμέλεια δεν το λύνει αυτό προσποιούμενη ότι η διαγραφή είναι εύκολη. Το λύνει γνωρίζοντας πού δημιουργούνται τα παράγωγα αρχεία, ποια περιέχουν προσωπικό ή ευαίσθητο περιεχόμενο, πώς μπορούν να ακυρωθούν και ποια αρχεία πρέπει να αποδεικνύουν ότι έγινε η ακύρωση. Η φράση «διαγράψτε τα δεδομένα» δεν είναι σχέδιο. Είναι μια εναρκτήρια πρόταση.
Υπάρχει επίσης μια ένταση στη μάθηση. Οι οργανισμοί θέλουν να κρατούν παραδείγματα για να βελτιώνουν το σύστημα. Οι άνθρωποι έχουν δικαιώματα διόρθωσης, διαγραφής, εμπιστευτικότητας και δίκαιης μεταχείρισης. Η επιμέλεια είναι ο τρόπος με τον οποίο διαπραγματεύονται αυτά τα συμφέροντα χωρίς γενικολογίες. Κρατήστε αρκετά για να μαθαίνετε και να λογοδοτείτε. Αφαιρέστε ή διαχωρίστε ό,τι δεν χρειάζεται. Διατηρήστε αποδείξεις διόρθωσης. Αποσύρετε τα ξεπερασμένα παραδείγματα. Μην εκπαιδεύετε με υλικό μόνο και μόνο επειδή βρισκόταν εκεί και έμοιαζε εκπαιδευτικό. Αυτή η τελευταία συνήθεια έχει προκαλέσει περισσότερα προβλήματα διακυβέρνησης από όσα θα παραδεχτούν ποτέ πολλά στρατηγικά έγγραφα.
Η επιμέλεια κάνει τους ανθρώπους κάτι περισσότερο από απλές σφραγίδες
Η ανθρώπινη εποπτεία είναι αδύναμη όταν οι άνθρωποι λαμβάνουν μια απάντηση χωρίς πλαίσιο επιμέλειας. Ένας αξιολογητής βλέπει επεξεργασμένο κείμενο και μια πράσινη ένδειξη εμπιστοσύνης. Δεν βλέπει την επικαιρότητα της πηγής, τα εξαιρούμενα έγγραφα, την έκδοση προτροπής, τη σύγκρουση ανάκτησης, την εξουσία των εργαλείων ή τις προηγούμενες διορθώσεις. Του ζητείται να εγκρίνει την απάντηση, αλλά δεν του δίνεται η αλυσίδα. Αυτό δεν είναι εποπτεία. Είναι τελετουργία με ένα κουμπί.
Η επιμέλεια δίνει στους ανθρώπους τα υλικά που χρειάζονται για την κρίση. Δείχνει τι χρησιμοποίησε το σύστημα, τι δεν χρησιμοποίησε, τι του επιτρεπόταν να κάνει, τι αβεβαιότητα παραμένει, τι ενέργεια προτείνεται και τι θα καταγραφεί αν ο άνθρωπος εγκρίνει. Επιτρέπει στον αξιολογητή να διαφωνήσει με τρόπο από τον οποίο το σύστημα μπορεί να μάθει. Επιτρέπει σε έναν προϊστάμενο να εξετάζει μοτίβα. Επιτρέπει σε ένα ενδιαφερόμενο άτομο να αμφισβητήσει ένα αποτέλεσμα. Επιτρέπει σε έναν ελεγκτή να ανασυνθέσει τη συμπεριφορά χωρίς να παίρνει συνεντεύξεις από τη μισή οργάνωση και έναν συνταξιούχο σύμβουλο.
Προστατεύει επίσης τους ανθρώπους από το να κατηγορούνται για την ασάφεια του συστήματος. Αν ένας αξιολογητής ενέκρινε μια έξοδο χωρίς πρόσβαση στην πηγή επειδή η διεπαφή την έκρυβε, αυτό είναι αποτυχία σχεδιασμού. Αν μια ομάδα εμπιστεύτηκε ένα μοντέλο επειδή το σύστημα χαρακτήρισε ένα προσχέδιο ως έτοιμο, αυτό είναι αποτυχία επιμέλειας. Αν ένας χειριστής δεν μπορούσε να διαγράψει παράγωγο υλικό επειδή κανείς δεν το παρακολουθούσε, αυτό δεν είναι ηθική αδυναμία του χειριστή. Η επιμέλεια αποδίδει την ευθύνη στην αλυσίδα και όχι μόνο στο πλησιέστερο άτομο που κρατά το αποτέλεσμα όταν κάτι πάει στραβά.
Η καλή επιμέλεια κάνει επομένως την ανθρώπινη εξουσία πιο πραγματική. Δεν θάβει τους ανθρώπους σε αρχεία καταγραφής. Συσκευάζει τα αποδεικτικά στοιχεία στο σωστό επίπεδο. Ένας χρήστης πρώτης γραμμής μπορεί να χρειάζεται ονόματα πηγών, επικαιρότητα και λόγο άρνησης. Ένας ειδικός μπορεί να χρειάζεται βαθύτερο ίχνος. Ένας ελεγκτής μπορεί να χρειάζεται υπογεγραμμένα αρχεία. Ένας υπεύθυνος προστασίας δεδομένων μπορεί να χρειάζεται ιστορικό διατήρησης και πρόσβασης. Η επιμέλεια είναι σε επίπεδα επειδή η ευθύνη είναι σε επίπεδα. Το να πετάς όλα τα αρχεία καταγραφής σε όλους δεν είναι διαφάνεια. Είναι χαρτοπόλεμος.
Η επιμέλεια είναι ένας κύκλος λειτουργίας
Η επιμέλεια δεν είναι ένα εφάπαξ διάγραμμα αρχιτεκτονικής. Είναι ένας κύκλος. Μια νέα περίπτωση χρήσης ταξινομείται. Τα δεδομένα και τα παράγωγα αρχεία που θα διαχειριστεί κατονομάζονται. Τα δικαιώματα και οι σκοποί δεσμεύονται. Το σύστημα λειτουργεί εντός αυτών των ορίων. Οι έξοδοι και οι ενέργειες πιστοποιούνται. Οι εξαιρέσεις εξετάζονται. Οι διορθώσεις ενημερώνουν την αλυσίδα. Τα παράγωγα αρχεία διατηρούνται, υποβάλλονται σε επεξεργασία ή αποσύρονται. Ο κύκλος επαναλαμβάνεται όταν αλλάζουν οι πολιτικές, τα μοντέλα, οι προμηθευτές, τα δεδομένα ή η εργασία.
Αυτός ο βρόχος έχει σημασία επειδή τα συστήματα τεχνητής νοημοσύνης κινούνται. Αλλάζει μια έκδοση μοντέλου. Ξαναχτίζεται ένα ευρετήριο ανάκτησης. Ενημερώνεται μια πολιτική. Ένας προμηθευτής αλλάζει τις ρυθμίσεις διατήρησης. Μια νέα ομάδα αντιγράφει ένα prompt. Ένα εργαλείο αποκτά νέα άδεια. Ένας βοηθός χαμηλού κινδύνου γίνεται μέρος μιας ροής εργασιών λήψης αποφάσεων. Χωρίς βρόχο επιμέλειας, κάθε αλλαγή γίνεται μια μικρή ακαταγράφητη διαφυγή. Μετά από έναν χρόνο, ο οργανισμός έχει ένα σύστημα που εξακολουθεί να λειτουργεί αλλά δεν αντιστοιχεί πλέον στην αφήγηση διακυβέρνησης. Αυτό είναι συνηθισμένο. Δεν είναι όμως και αναπόφευκτο.
Η λειτουργία της επιμέλειας απαιτεί υπεύθυνους. Κάποιος κατέχει την εξουσία της πηγής. Κάποιος κατέχει τις εκδόσεις των prompts. Κάποιος κατέχει την έγκριση των μοντέλων. Κάποιος κατέχει τις πύλες των εργαλείων. Κάποιος κατέχει τα αρχεία και τη διατήρηση. Κάποιος κατέχει τις διαδρομές διόρθωσης. Αυτοί οι υπεύθυνοι δεν χρειάζεται να βρίσκονται στο ίδιο τμήμα, αλλά οι αρμοδιότητές τους πρέπει να συναντώνται. Διαφορετικά, η επιμέλεια γίνεται ένα διάγραμμα τοίχου με βέλη που χάνονται στην ομίχλη, ένα είδος ήδη υπερεκπροσωπημένο στον ψηφιακό μετασχηματισμό.
Το μάθημα
Η τεχνητή νοημοσύνη χρειάζεται λιγότερη μαγεία και περισσότερη επιμέλεια, επειδή οι οργανισμοί δεν διακυβερνούν το θαύμα. Διακυβερνούν αρχεία, δικαιώματα, εργαλεία, ανθρώπους, σκοπούς και αλλαγές. Το μοντέλο μπορεί να είναι αξιοσημείωτο, αλλά ο θεσμός παραμένει υπεύθυνος για όσα το σύστημα κράτησε, μεταμόρφωσε, εξέδωσε, αποθήκευσε, διόρθωσε και ξέχασε. Το να αντιμετωπίζεις την απάντηση ως παράσταση δεν αρκεί. Η απάντηση χρειάζεται μια αλυσίδα.
Η επιμέλεια δεν σημαίνει να παγώσει η τεχνητή νοημοσύνη κάτω από τη γραφειοκρατία. Σημαίνει να καταστεί δυνατή η σοβαρή χρήση. Δίνει στις ομάδες εμπιστοσύνη ότι τα δεδομένα χρησιμοποιούνται για τον σωστό σκοπό, ότι τα prompts έχουν εκδόσεις, ότι τα εργαλεία είναι οριοθετημένα, ότι οι άνθρωποι λαμβάνουν αποδεικτικά στοιχεία, ότι τα αρχεία επιβιώνουν και ότι τα τεχνουργήματα αποσύρονται όταν τελειώνει ο σκοπός τους. Επιτρέπει στους οργανισμούς να αυτοματοποιούν χωρίς να προσποιούνται ότι ο αυτοματισμός διαλύει την ευθύνη. Τους επιτρέπει να μαθαίνουν χωρίς να συσσωρεύουν. Τους επιτρέπει να εξηγούν χωρίς να ψάχνουν στα σωθικά.
Η πρακτική αλλαγή είναι μέτρια και απαιτητική. Σταματήστε να ρωτάτε μόνο αν το μοντέλο μπορεί να απαντήσει. Ρωτήστε τι κράτησε το σύστημα για να παραγάγει την απάντηση, ποιος είχε δικαίωμα να το χειριστεί, τι άλλαξε, τι καταγράφηκε, τι μπορεί να αμφισβητηθεί και πότε τα τεχνουργήματα πρέπει να φύγουν από την επιμέλεια. Αυτό είναι λιγότερο μαγικό. Καλώς. Η μαγεία είναι ένα φτωχό πλαίσιο ελέγχου. Η επιμέλεια είναι πιο ήσυχη, πιο βαριά και πολύ πιο πιθανό να εξακολουθεί να λειτουργεί όταν κάποιος ρωτήσει τι συνέβη.