Ποιος παίρνει την απόφαση όταν ένας πράκτορας αναθέτει;

Η ανάθεση μπορεί να κάνει μια ροή εργασίας AI πιο ικανή χωρίς να την καθιστά πιο υπόλογη. Η διαφορά έγκειται στο αν η εξουσία, τα αποδεικτικά στοιχεία και...

Ποιος παίρνει την απόφαση όταν ένας πράκτορας αναθέτει;

Μια παράδοση εργασίας δεν αδειάζει την καρέκλα

Ένας πράκτορας αναθέτει μια εργασία. Ένας άλλος πράκτορας συγκεντρώνει υλικό, συγκρίνει αρχεία, καλεί ένα εργαλείο ή ετοιμάζει μια σύσταση. Ένας τρίτος πράκτορας ελέγχει το αποτέλεσμα. Η εργασία μετακινείται και αυτή η μετακίνηση μπορεί να είναι χρήσιμη. Μπορεί όμως να δημιουργήσει και ένα πολύ παλιό πρόβλημα διοίκησης με νέα μορφή: όλοι έχουν κάνει κάτι, αλλά κανείς δεν μπορεί να πει ποιος είχε την εξουσία να λάβει την απόφαση.

Ο δελεαστικός απάντηση είναι ο πράκτορας που έκανε την τελευταία κλήση. Είναι επίσης συνήθως η λιγότερο χρήσιμη απάντηση. Ένα στοιχείο λογισμικού μπορεί να επιλέξει μια διαδρομή, να ζητήσει περισσότερη εργασία και να υποβάλει μια εντολή σε ένα συνδεδεμένο σύστημα. Τίποτα από αυτά δεν καθορίζει ποιος αποδέχθηκε τον σκοπό, ποιος όρισε τα όρια, ποιος θα μπορούσε να αρνηθεί την ενέργεια ή ποιος έπρεπε να ενημερωθεί όταν άλλαξαν οι συνθήκες. Απλώς καθορίζει ότι ένα πρόγραμμα ήταν στην αλυσίδα.

Αυτή η διάκριση γίνεται έντονη όταν μια ροή εργασίας έχει συνέπειες. Μια προτεινόμενη απάντηση μπορεί να γίνει επικοινωνία με πελάτη. Μια ταξινόμηση μπορεί να γίνει ο λόγος για τον οποίο μια υπόθεση τοποθετείται σε μια συγκεκριμένη ουρά. Μια σύγκριση μπορεί να γίνει σύσταση αγοράς. Μια σύνταξη εντολής πληρωμής μπορεί να γίνει πληρωμή. Κάθε βήμα μπορεί να είναι τεχνικά άρτιο και παρόλα αυτά να είναι οργανωτικά ελλιπές. Το σύστημα έχει κάνει τη δουλειά της ανάθεσης χωρίς να κάνει τη δουλειά της εξουσίας.

Δεν χρειάζεται να επινοήσουμε μια δραματική αποτυχία για να δούμε το πρόβλημα. Πάρτε μια σκόπιμα υποθετική ροή εργασίας. Ένας πράκτορας διαλογής λαμβάνει μια ερώτηση, ζητά από έναν ερευνητικό πράκτορα να εξετάσει το σχετικό υλικό, στέλνει το αποτέλεσμα σε έναν αναθεωρητή και στη συνέχεια ετοιμάζει μια ενέργεια για ένα σύστημα διαχείρισης υποθέσεων. Ο ερευνητικός πράκτορας δεν είναι εξουσιοδοτημένος να ενεργήσει. Ο αναθεωρητής δεν είναι εξουσιοδοτημένος να καταστήσει το αποτέλεσμα της υπόθεσης ενεργό. Ο πράκτορας διαλογής έχει διαπιστευτήριο εργαλείου. Ο οργανισμός δεν έχει διευκρινίσει αν αυτό το διαπιστευτήριο του επιτρέπει να δεσμεύσει το αποτέλεσμα. Η ροή εργασίας μπορεί να φαίνεται τακτική σε έναν πίνακα ελέγχου. Έχει παρόλα αυτά φτάσει στο πιο σημαντικό ερώτημα χωρίς απάντηση.

Η ανάθεση δεν είναι η εξαφάνιση της ευθύνης. Είναι η ευθύνη που γίνεται πιο δύσκολο να διακριθεί. Ένας καλός σχεδιασμός λειτουργίας την κάνει πάλι πιο εύκολη. Λέει ποια είναι η αρχική απόφαση, τι μπορεί να ανατεθεί, ποιες προϋποθέσεις συνοδεύουν την εργασία, ποιος μπορεί να εγκρίνει μια μη αναστρέψιμη ή σημαντική ενέργεια, τι αρχείο παραμένει μετά την παράδοση και πώς ένα άτομο ή σύστημα μπορεί να παρέμβει όταν η διαδρομή δεν είναι πλέον ασφαλής. Η τεχνολογία δεν καλείται να διαθέτει ηθική βούληση. Καλείται να αφήσει την εξουσία του οργανισμού άθικτη.

Αυτό είναι το πρακτικό νόημα της λογοδοσίας σε μια ροή εργασίας πολλαπλών πρακτόρων. Δεν είναι μια διακοσμητική γραμμή σε μια πολιτική και δεν είναι ένα εκ των υστέρων κυνήγι του πλησιέστερου υπαλλήλου όταν κάτι πάει στραβά. Είναι μια ιδιότητα της διαδρομής πριν ξεκινήσει η εργασία. Το σωστό άτομο μπορεί να εξετάσει τι προτάθηκε, να καταλάβει γιατί προτάθηκε, να ασκήσει την εξουσία που του ανατέθηκε και να αφήσει πίσω ένα αρχείο που μπορεί να αμφισβητηθεί αργότερα.

Οι αναδυόμενοι κανόνες τεχνητής νοημοσύνης της Ευρώπης είναι χρήσιμοι εδώ επειδή ενδιαφέρονται λιγότερο για ένα θεατρικό άτομο στο τέλος μιας ροής και περισσότερο για τις συνθήκες υπό τις οποίες η εποπτεία μπορεί πραγματικά να λειτουργήσει. Οι διατάξεις ανθρώπινης εποπτείας του AI Act ισχύουν για συστήματα υψηλού κινδύνου, όχι για κάθε χρήση ενός πράκτορα. Αυτό το όριο έχει σημασία. Αλλά τα επιχειρησιακά ερωτήματα του νόμου μεταφέρονται καλά: μπορεί ένα ορισμένο φυσικό πρόσωπο να κατανοήσει τις σχετικές δυνατότητες και τα όρια, να παρακολουθεί για ανωμαλίες και απροσδόκητη απόδοση, να αποφεύγει την υπερβολική εξάρτηση, να ερμηνεύει το αποτέλεσμα, να το αγνοεί ή να το αναστρέφει και να διακόπτει το σύστημα σε ασφαλή κατάσταση; Μια ροή εργασίας με πολλούς πράκτορες δεν κάνει αυτά τα ερωτήματα μικρότερα. Πολλαπλασιάζει τα σημεία όπου η απάντηση μπορεί να χαθεί.

Η ανάθεση μπορεί να προωθεί την εργασία προς τα εμπρός. Δεν μπορεί να σβήσει τη διαδρομή μέσω της οποίας η εξουσία και η αμφισβήτηση επιστρέφουν πίσω.

Η ανάθεση είναι αλυσίδα, όχι ομίχλη

Οι άνθρωποι αναθέτουν διαρκώς. Ένα στέλεχος ζητά από έναν συνάδελφο να ετοιμάσει μια σημείωση. Μια ομάδα προμηθειών ζητά από έναν ειδικό να εξετάσει έναν όρο σύμβασης. Ένας κλινικός γιατρός ζητά από ένα εργαστήριο ένα αποτέλεσμα. Το άτομο που λαμβάνει την εργασία αποκτά έναν καθορισμένο ρόλο σε αυτήν· δεν κληρονομεί αυτόματα κάθε εξουσία που κατέχει εκείνος που τη ζήτησε. Οι καλοί οργανισμοί αποτυπώνουν αυτή τη συνηθισμένη διάκριση με περιγραφές θέσεων εργασίας, όρια έγκρισης, διαδικασίες, διαχωρισμό καθηκόντων και αρχεία. Το κάνουν επειδή η ικανότητα και η άδεια είναι διαφορετικά πράγματα.

Τα συστήματα πρακτόρων τείνουν να θολώνουν αυτή τη διάκριση, επειδή ένας πράκτορας μπορεί να περιγράψει, να σχεδιάσει και να εκτελέσει σε μια ενιαία επιφάνεια συνομιλίας. Ένα μοντέλο μπορεί να είναι σε θέση να δημιουργήσει ένα πειστικό σχέδιο για να επικοινωνήσει με έναν προμηθευτή. Ένα περιτύλιγμα εργαλείου μπορεί να είναι τεχνικά σε θέση να στείλει το μήνυμα. Ένα επίπεδο ενορχήστρωσης μπορεί να είναι σε θέση να καλέσει αυτό το περιτύλιγμα χωρίς παύση. Αυτά τα γεγονότα περιγράφουν ικανότητα. Δεν αποφασίζουν αν πρέπει να σταλεί το μήνυμα, αν ο προτεινόμενος παραλήπτης είναι εντός πεδίου, αν οι πληροφορίες είναι κατάλληλες για αποκάλυψη ή ποιος πρέπει να αποδεχθεί τη συνέπεια αν η προτεινόμενη ενέργεια είναι λανθασμένη.

Βοηθά να διαχωρίσουμε πέντε ερωτήματα που συχνά συγχέονται. Ποιος έδωσε στην εργασία τον σκοπό της; Ποιος μπορεί να εκτελέσει προπαρασκευαστική εργασία; Ποιος μπορεί να αναθέσει μια υποεργασία; Ποιος μπορεί να αποφασίσει ότι μια προτεινόμενη ενέργεια είναι αποδεκτή; Ποιος μπορεί να κάνει αυτή την ενέργεια αποτελεσματική στον εξωτερικό κόσμο; Μερικές φορές ένας ανθρώπινος ρόλος κατέχει δικαίως αρκετές από αυτές τις απαντήσεις. Μερικές φορές πρέπει να διαχωριστούν. Το ζητούμενο δεν είναι να δημιουργηθεί μια περίτεχνη τελετουργία για μια σημείωση χαμηλού κινδύνου. Το ζητούμενο είναι να αποφευχθεί η σιωπηλή μεταχείριση μιας τεχνικής ικανότητας ως μεταβίβασης θεσμικής εξουσίας.

Μια ανάθεση θα πρέπει επομένως να φέρει κάτι περισσότερο από μια οδηγία. Θα πρέπει να φέρει μια εντολή. Η εντολή προσδιορίζει τον στόχο, το οριοθετημένο πλαίσιο, τα επιτρεπόμενα δεδομένα εισόδου, το αναμενόμενο αποτέλεσμα, τις ενέργειες που παραμένουν απαγορευμένες, το όριο προϋπολογισμού ή χρόνου όπου συντρέχει λόγος, τις συνθήκες που απαιτούν κλιμάκωση και το άτομο ή τον ρόλο που είναι υπόλογο για το αποτέλεσμα. Ο πράκτορας που λαμβάνει την εντολή μπορεί έτσι να εκτελέσει χρήσιμη εργασία μέσα σε ένα ορατό πλαίσιο. Μπορεί να ζητήσει ανάλυση από άλλο πράκτορα. Δεν μπορεί να διευρύνει το πλαίσιο απλώς επειδή του έρχεται στο μυαλό ένα εύλογο επόμενο βήμα.

Αυτό δεν είναι επιχείρημα για να μετατραπεί κάθε αλληλεπίδραση σε συνάντηση έγκρισης. Είναι επιχείρημα για την επιλογή του σημείου στο οποίο ο οργανισμός επιθυμεί να ληφθεί μια απόφαση. Ένα σύστημα μπορεί να συντάξει μια εξήγηση χωρίς να την εξετάζει άνθρωπος σε κάθε πρόταση, όταν ο σκοπός, το κοινό, το όριο πηγών και οι κανόνες δημοσίευσης είναι ήδη καθορισμένα. Ένα σύστημα δεν θα πρέπει να αποκτά τη δύναμη να αλλάξει το δικαίωμα ενός πελάτη απλώς επειδή το ίδιο στοιχείο έχει πρόσβαση στη σχετική βάση δεδομένων. Η διαφορά είναι η συνέπεια, όχι η ευφυΐα του μοντέλου.

Αυτή η συνέπεια συχνά κατανέμεται. Μια εργασία μπορεί να είναι ακίνδυνη σε ένα στάδιο και να έχει συνέπειες στο επόμενο. Η ανάγνωση ενός αρχείου μπορεί να είναι συνηθισμένη διαδικασία. Ο συνδυασμός του με άλλη πηγή μπορεί να αλλάξει την ευαισθησία του υλικού. Η προετοιμασία μιας σύστασης μπορεί να είναι συνηθισμένη διαδικασία. Το πάτημα ενός κουμπιού που δημιουργεί νομικό, οικονομικό ή υπηρεσιακό αποτέλεσμα μπορεί να μην είναι. Ένας σχεδιασμός διακυβέρνησης που ρωτά μόνο αν ένας πράκτορας είναι αυτόνομος χάνει αυτή την αλλαγή κατάστασης. Η χρήσιμη ερώτηση είναι πιο συγκεκριμένη: αυτόνομος για να κάνει τι, για ποιον, υπό ποιες προϋποθέσεις και με ποια εξουσιοδότηση;

Υπάρχει ένα μετρημένο ολλανδικό ένστικτο που αξίζει να κρατήσουμε εδώ. Αν μια διαδικασία χρειάζεται δώδεκα υπογραφές, σφραγίδες και ένα πλαστικοποιημένο διάγραμμα ροής για να καθοριστεί ποιος μπορεί να πατήσει ένα κουμπί, μπορεί να μην είναι θρίαμβος της διακυβέρνησης. Αλλά η αντίθετη διάταξη, όπου ένα διαπιστευτήριο εργαλείου αντιμετωπίζεται ως συνταγματική διευθέτηση, δεν είναι επίσης θρίαμβος. Ο στόχος είναι μια αναλογική διαδρομή που καθιστά σαφή την εξουσία με συνέπειες, χωρίς να στήνει μια μικρή όπερα γύρω από κάθε συνηθισμένη ενέργεια.

Η ευρωπαϊκή εποπτεία είναι λειτουργική απαίτηση

Η Πράξη για την Τεχνητή Νοημοσύνη δίνει την πιο σαφή νομική έκφραση αυτής της ιδέας για συστήματα ΤΝ υψηλού κινδύνου. Το άρθρο 14 απαιτεί να σχεδιάζονται και να αναπτύσσονται έτσι ώστε τα φυσικά πρόσωπα να μπορούν να τα εποπτεύουν αποτελεσματικά όσο βρίσκονται σε χρήση. Ο δηλωμένος σκοπός είναι η πρόληψη ή η ελαχιστοποίηση κινδύνων για την υγεία, την ασφάλεια και τα θεμελιώδη δικαιώματα, όταν αυτοί οι κίνδυνοι μπορεί να παραμένουν παρά τις άλλες απαιτήσεις. Τα μέτρα πρέπει να είναι ανάλογα με τον κίνδυνο, την αυτονομία και το πλαίσιο χρήσης. Αυτό είναι ένα σκόπιμα λειτουργικό πρότυπο. Δεν λέει ότι κάποιο πρόσωπο κάπου στον οργανισμό ενδιαφέρεται γενικά για την ΤΝ.

Η διάταξη προχωρά πέρα από μια γενική οδηγία να παραμένει ένας άνθρωπος στον βρόχο. Ανάλογα με το τι είναι κατάλληλο και αναλογικό, το πρόσωπο που έχει ανατεθεί στην εποπτεία πρέπει να μπορεί να κατανοεί τις σχετικές ικανότητες και τους περιορισμούς, να παρακολουθεί τη λειτουργία και να εντοπίζει ανωμαλίες, δυσλειτουργίες ή απροσδόκητες επιδόσεις, να παραμένει ενήμερο για τη μεροληψία αυτοματοποίησης, να ερμηνεύει τα αποτελέσματα, να αποφασίζει να μην χρησιμοποιήσει ένα αποτέλεσμα ή να το αγνοήσει, να το παρακάμψει ή να το αντιστρέψει, και να παρεμβαίνει ή να διακόπτει το σύστημα σε ασφαλή κατάσταση. Ο νόμος δεν μετατρέπει αυτά σε καθολική λίστα ελέγχου για κάθε σύστημα πρακτόρων. Δείχνει όμως γιατί μια τυπική επικύρωση στο τέλος της διαδικασίας είναι φτωχό μοντέλο εποπτείας.

Τώρα προσθέστε την ανάθεση. Αν ένας πράκτορας αναθέτει μια εργασία σε άλλον πράκτορα, ο ρόλος εποπτείας πρέπει να μπορεί να βλέπει περισσότερα από την τελική πρόταση που παρήγαγε το τελευταίο μοντέλο. Χρειάζεται αρκετό πλαίσιο για να κατανοήσει ποιος πράκτορας πρότεινε την υποεργασία, ποιες πηγές ή εργαλεία χρησιμοποιήθηκαν, αν συναντήθηκε κάποιο όριο πολιτικής, αν ένα αποτέλεσμα άλλαξε από έναν αναθεωρητή και αν ένας μεταγενέστερος πράκτορας επέκτεινε το πεδίο εφαρμογής. Διαφορετικά, ο άνθρωπος μπορεί να δει ένα αποτέλεσμα αλλά όχι τη διαδρομή που το παρήγαγε. Αυτό μπορεί να αρκεί για ένα προσχέδιο χαμηλών συνεπειών. Δεν αποτελεί πειστική βάση για την αποδοχή μιας απόφασης με συνέπειες.

Το άρθρο 26 καθιστά το οργανωτικό σημείο ακόμη πιο σαφές για τους παρόχους συστημάτων υψηλού κινδύνου. Λέει ότι οι πάροχοι πρέπει να αναθέτουν την ανθρώπινη εποπτεία σε φυσικά πρόσωπα με την απαραίτητη ικανότητα, εκπαίδευση, εξουσία και υποστήριξη. Αυτές οι λέξεις ανήκουν μαζί. Η ικανότητα χωρίς εξουσία δημιουργεί έναν καλά ενημερωμένο παρατηρητή. Η εξουσία χωρίς ικανότητα δημιουργεί έναν τυπικό ιδιοκτήτη που δεν μπορεί να αμφισβητήσει το σύστημα. Και τα δύο χωρίς υποστήριξη δημιουργούν ένα πρόσωπο που αναμένεται να παρέμβει σε μια διαδικασία που δεν μπορεί να δει, με ρυθμό που δεν μπορεί να ακολουθήσει, χρησιμοποιώντας πληροφορίες που δεν μπορεί να ερμηνεύσει.

Στην εργασία με πολλαπλούς πράκτορες, η υποστήριξη περιλαμβάνει τη μορφή της διεπαφής και του αρχείου καταγραφής. Ο χειριστής δεν χρειάζεται κάθε διακριτικό που παρήγαγε ένα μοντέλο ούτε κάθε εσωτερική εκ νέου προσπάθεια. Χρειάζεται όμως την προτεινόμενη ενέργεια, τον κατονομαζόμενο σκοπό, τα ουσιώδη αποδεικτικά στοιχεία, την πολιτική και το όριο που ισχύουν, τις αλλαγές που έγιναν από το τελευταίο σημείο επανεξέτασης, το αναμενόμενο αποτέλεσμα, την πιθανή διαδρομή αναστροφής και τον λόγο για τον οποίο η υπόθεση κλιμακώθηκε. Αυτό δεν είναι τόσο ζήτημα να δείχνει ο πίνακας ελέγχου καθησυχαστικός όσο να μειώνεται η πιθανότητα να εγκρίνει κάποιος μια απάντηση επειδή το σύστημα έκανε την εναλλακτική επιλογή εξαντλητικά δύσκολη να βρεθεί.

Η Σύμβαση-Πλαίσιο του Συμβουλίου της Ευρώπης για την Τεχνητή Νοημοσύνη και τα Ανθρώπινα Δικαιώματα, τη Δημοκρατία και το Κράτος Δικαίου παρέχει την ευρύτερη θεσμική σύνδεση. Σκοπός της είναι να διασφαλίσει ότι οι δραστηριότητες στον κύκλο ζωής των συστημάτων ΤΝ συνάδουν με τα ανθρώπινα δικαιώματα, τη δημοκρατία και το κράτος δικαίου. Τα άρθρα 8 και 9 ζητούν διαφάνεια και εποπτεία προσαρμοσμένες σε συγκεκριμένα πλαίσια και κινδύνους, καθώς και λογοδοσία και ευθύνη για δυσμενείς επιπτώσεις. Η Σύμβαση δεν ορίζει κάποιο πρότυπο ενορχήστρωσης πρακτόρων. Αποτελεί όμως χρήσιμη διόρθωση στην αντίληψη ότι μια αλυσίδα στοιχείων λογισμικού μπορεί να διαλύσει τις ευθύνες της δημόσιας αρχής ή του ιδιωτικού φορέα που τη χρησιμοποιεί.

Αυτή η ευρύτερη οπτική έχει σημασία επειδή μια ανατεθειμένη απόφαση μπορεί να επηρεάσει κάτι περισσότερο από την τεχνική απόδοση. Μπορεί να επηρεάσει την ικανότητα ενός ατόμου να κατανοήσει μια απόφαση, να την αμφισβητήσει, να λάβει επανόρθωση ή απλώς να γνωρίζει ποιος οργανισμός είναι υπεύθυνος. Μια ροή εργασίας μπορεί να αποτελείται από στοιχεία πολλών προμηθευτών, μοντέλα πολλών παρόχων, εργαλεία που διαχειρίζεται άλλη ομάδα και μια υπηρεσία που παρέχεται βάσει δημόσιας σύμβασης. Το γεγονός ότι η αλυσίδα είναι τεχνικά κατανεμημένη δεν καθιστά τον αντίκτυπο στο άτομο λιγότερο πραγματικό. Στην πράξη, καθιστά σαφέστερη κατανομή ρόλων πιο σημαντική.

Η προστασία δεδομένων δίνει την ίδια προειδοποίηση από διαφορετική κατεύθυνση. Το έργο του Ευρωπαϊκού Συμβουλίου Προστασίας Δεδομένων για τα μοντέλα ΤΝ τονίζει ότι η ανάλυση προστασίας δεδομένων παραμένει συμφραζόμενη: οι οργανισμοί πρέπει να προσδιορίζουν τον ρόλο τους, να εντοπίζουν την επεξεργασία που εμπλέκεται και να εφαρμόζουν τις σχετικές υποχρεώσεις, αντί να αντιμετωπίζουν την ένδειξη «μοντέλο ΤΝ» ως απαλλαγή από τη συνήθη λογοδοσία. Όταν μια ροή εργασίας πολλαπλών πρακτόρων αγγίζει προσωπικά δεδομένα, η ανάθεση δεν θα πρέπει να συσκοτίζει ποιος καθορίζει τους σκοπούς και τα μέσα της επεξεργασίας, ποιος πράκτορας ή ποιο εργαλείο λαμβάνει ποια δεδομένα και αν η επόμενη μεταβίβαση είναι απαραίτητη για την εργασία. Μια υποεργασία εξακολουθεί να είναι ένα βήμα επεξεργασίας. Το να την αποκαλούμε ανάθεση δεν την κάνει να εξαφανιστεί.

Τίποτα από αυτά δεν παρέχει μια μαγική απάντηση για κάθε δύσκολη περίπτωση. Οι νομικές υποχρεώσεις εξαρτώνται από τη χρήση, τους φορείς, τα δεδομένα και τον τομέα. Ένα άρθρο δεν μπορεί να ταξινομήσει ένα συγκεκριμένο σύστημα. Μπορεί όμως να διατυπώσει μια πειθαρχημένη αρχή: αν μια ροή εργασίας κατανέμει την εργασία, θα πρέπει να την κατανέμει με τρόπο που διατηρεί την ικανότητα εντοπισμού της αρχής, έγκαιρης παρέμβασης, λογοδοσίας για τη διαδρομή και ανταπόκρισης στα άτομα που επηρεάζονται από το αποτέλεσμα.

Το άτομο στον βρόχο χρειάζεται πραγματικό βρόχο

Η ανθρώπινη εποπτεία εύκολα περιορίζεται σε μια οθόνη με ένα κουμπί έγκρισης. Αυτή η οθόνη μπορεί να είναι χρήσιμη. Μπορεί επίσης να είναι ένα τελετουργικό αντικείμενο. Το ερώτημα είναι αν το άτομο που τη χρησιμοποιεί έχει ουσιαστική επιλογή. Μια επιλογή δεν είναι ουσιαστική απλώς επειδή η διεπαφή εμφανίζει δύο κουμπιά. Εξαρτάται από το αν το άτομο έχει αρκετό χρόνο, πληροφορίες, ικανότητα και θεσμική άδεια να αποφασίσει διαφορετικά.

Ο χρόνος είναι το λιγότερο γοητευτικό μέρος του σχεδιασμού και συχνά το πιο καθοριστικό. Αν το σύστημα στέλνει εκατοντάδες προτάσεις σε ένα διάστημα μέσα στο οποίο ένας αξιολογητής θα μπορούσε εύλογα να εξετάσει μόνο ένα κλάσμα, ο οργανισμός έχει δημιουργήσει μια ουρά, όχι εποπτεία. Αν η πρόταση λήγει προτού ο αξιολογητής αποκτήσει το πλαίσιο, το σύστημα έχει κάνει την ταχύτητα πραγματικό λήπτη αποφάσεων. Αν μια ομάδα ανταμείβεται μόνο για την απόδοση, της έχει δοθεί μια σιωπηλή οδηγία για το ποιο κουμπί να πατήσει. Το λογισμικό δεν μπορεί να θεραπεύσει αυτές τις ρυθμίσεις προσθέτοντας μια βαθμολογία εμπιστοσύνης σε μια διαφορετική απόχρωση του πράσινου.

Η πληροφορία πρέπει να είναι ανάλογη, όχι εξαντλητική. Ένας αξιολογητής που λαμβάνει μόνο ένα συμπέρασμα δεν μπορεί να το αμφισβητήσει. Ένας αξιολογητής που λαμβάνει το πλήρες αρχείο καταγραφής κάθε αλληλεπίδρασης του πράκτορα συνήθως δεν μπορεί να το αμφισβητήσει ούτε αυτός. Η χρήσιμη μέση λύση είναι ένα πακέτο απόφασης. Προσδιορίζει ποια ενέργεια προτείνεται, γιατί εμπίπτει στον δηλωμένο σκοπό, ποια ουσιώδη αποδεικτικά στοιχεία την υποστηρίζουν, ποια αβεβαιότητα παραμένει, ποια πολιτική ή κανόνας έχει σημασία, ποιο είναι το προτεινόμενο αποτέλεσμα και τι θα συνέβαινε αν η ενέργεια δεν εγκριθεί. Το πακέτο θα πρέπει να συνδέει με βαθύτερα αποδεικτικά στοιχεία, αλλά δεν θα πρέπει να απαιτεί αρχαιολογική αποστολή για τη συνήθη περίπτωση.

Η επάρκεια σημαίνει κάτι περισσότερο από ένα γενικό μάθημα για την τεχνητή νοημοσύνη. Για την εκάστοτε εργασία, ο αξιολογητής πρέπει να κατανοεί τον τύπο του αποτελέσματος, τους γνωστούς περιορισμούς που θα μπορούσαν να έχουν σημασία, τον τρόπο με τον οποίο προορίζεται να συμπεριφέρεται η ροή εργασίας και τα σημάδια που επιβάλλουν κλιμάκωση. Ένα άτομο που μπορεί να αναγνωρίσει ένα ελαττωματικό τιμολόγιο προμηθευτή μπορεί να είναι κατάλληλο για να αξιολογήσει μια πρόταση που σχετίζεται με τιμολόγιο. Το ίδιο άτομο μπορεί να μην είναι κατάλληλο για να αξιολογήσει τη γλωσσική κάλυψη ενός μοντέλου ή μια επίπτωση στην προστασία δεδομένων. Η ανάθεση της εποπτείας είναι επομένως και απόφαση στελέχωσης.

Η θεσμική άδεια είναι το τεστ στο οποίο πολλά σχέδια αποτυγχάνουν σιωπηλά. Ο αξιολογητής πρέπει να μπορεί να αρνηθεί, να αναστείλει ή να αλλάξει την προτεινόμενη διαδρομή χωρίς να αντιμετωπίζεται ως η πηγή μιας βλάβης του συστήματος. Χρειάζεται πρόσβαση σε ένα άτομο ή ρόλο που μπορεί να αποφασίσει τι θα γίνει στη συνέχεια. Χρειάζεται έναν τρόπο να καταγράψει ότι το θέμα κλιμακώθηκε. Και το σύστημα χρειάζεται μια ασφαλή κατάσταση στην οποία η εργασία μπορεί να περιμένει χωρίς να δεσμευτεί κατά λάθος από μια επανάληψη, μια λήξη χρόνου ή έναν διαφορετικό πράκτορα που θεωρεί την αρχική οδηγία ανεκπλήρωτη υπόθεση.

Η μηχανική ασφάλειας αντιμετωπίζει εδώ και καιρό την ανθρώπινη απόδοση ως μέρος του συστήματος και όχι ως τελικό στρώμα βερνικιού. Η Εκτελεστική Υπηρεσία Υγείας και Ασφάλειας του Ηνωμένου Βασιλείου περιγράφει τους ανθρώπινους παράγοντες ως το έργο, το άτομο και τον οργανισμό μαζί, και προειδοποιεί να μην εξετάζονται μεμονωμένα. Αυτό είναι ένα λογικό πλαίσιο για την εποπτεία των πρακτόρων. Ένας αξιολογητής δεν είναι ένα αφηρημένο ανθρώπινο βύσμα για ένα κενό λογισμικού. Εκτελεί μια συγκεκριμένη εργασία, με συγκεκριμένες πληροφορίες και εργαλεία, μέσα σε έναν συγκεκριμένο οργανισμό με συγκεκριμένες πιέσεις και όρια. Η ποιότητα του ελέγχου εξαρτάται από όλα αυτά.

Γι' αυτόν τον λόγο, ένας καλός σχεδιασμός με τον άνθρωπο στον βρόχο ξεκινά πριν εμφανιστεί το κουμπί. Καθορίζει ποιες αποφάσεις χρειάζονται ανθρώπινη πύλη, ποιος θα κρατά την πύλη, ποια αποδεικτικά στοιχεία θα λάβει, πόσο χρόνο επιτρέπει η εργασία, τι συμβαίνει όταν απουσιάζει και αν η πύλη έχει εξουσία επί της ίδιας της ενέργειας ή μόνο επί μιας εξήγησης της ενέργειας. Αν ο οργανισμός δεν μπορεί να απαντήσει σε αυτές τις ερωτήσεις ένα ήσυχο πρωινό Τρίτης, δεν θα γίνει πιο σαφές όταν φτάσει μια υπόθεση υψηλών συνεπειών. Ούτε θα πρέπει να χρειάζεται μια φανταστική κρίση για να το προσέξει.

Οι άδειες θα πρέπει να περιγράφουν τη συνέπεια μιας ενέργειας και όχι απλώς το τεχνικό εύρος ενός διαπιστευτηρίου.

Μία εργασία, πολλά είδη εξουσίας

Ένα συμπαγές μοντέλο εξουσίας μπορεί να κάνει τη λειτουργία ενός πληρεξούσιου πιο εύκολη. Δεν χρειάζεται να είναι περίπλοκο. Ξεκινήστε από τη διάκριση μεταξύ ανάγνωσης, πρότασης, ανάθεσης, δέσμευσης και διακοπής. Ένας ρόλος με δικαίωμα ανάγνωσης μπορεί να εξετάσει το υλικό που είναι απαραίτητο για μια εργασία. Ένας ρόλος με δικαίωμα πρότασης μπορεί να προετοιμάσει μια πιθανή ενέργεια. Ένας ρόλος με δικαίωμα ανάθεσης μπορεί να αναθέσει οριοθετημένη εργασία σε άλλον φορέα. Ένας ρόλος με δικαίωμα δέσμευσης μπορεί να καταστήσει ενεργή μια σημαντική ενέργεια. Ένας ρόλος με δικαίωμα διακοπής μπορεί να θέσει σε παύση ή να σταματήσει μια διαδρομή όταν οι προϋποθέσεις της δεν ισχύουν πλέον.

Αυτά δεν είναι απλώς επίπεδα ιεραρχίας. Ένας υπεύθυνος συμμόρφωσης μπορεί να μπορεί να σταματήσει μια ροή εργασίας αλλά όχι να δεσμεύσει ένα αποτέλεσμα για έναν πελάτη. Ένας εξειδικευμένος πληρεξούσιος μπορεί να μπορεί να προτείνει μια διαδρομή αλλά όχι να αναθέσει νέα εργασία εκτός του τομέα του. Ένας διαχειριστής μπορεί να είναι υπόλογος για τον σκοπό μιας υπηρεσίας αλλά να μην είναι το πρόσωπο που εξουσιοδοτείται να εκτελέσει μια συγκεκριμένη πληρωμή. Η χρήσιμη ιδιότητα δεν είναι μια ιεραρχία για χάρη της ιεραρχίας. Είναι ότι το σύστημα μπορεί να αξιολογήσει αν ένας συγκεκριμένος φορέας έχει τη σχετική εξουσία για μια συγκεκριμένη ενέργεια στο τρέχον πλαίσιο.

Το πλαίσιο κάνει μεγάλο μέρος της δουλειάς. Η ίδια προτεινόμενη ενέργεια μπορεί να είναι συνηθισμένη σε μια περίσταση και σημαντική σε μια άλλη. Η αποστολή ενός ήδη εγκεκριμένου προτύπου σε μια γνωστή εσωτερική διεύθυνση μπορεί να εμπίπτει σε μια συνήθη εντολή επικοινωνίας. Η αποστολή ενός νέου μηνύματος με προσωπικά δεδομένα σε έναν νέο παραλήπτη είναι διαφορετική. Μια επιστροφή χρημάτων εντός ενός καθορισμένου ορίου μπορεί να ανατεθεί σε μια δοκιμασμένη διαδικασία. Μια αλλαγή σε ένα δικαίωμα, μια διαγραφή δεδομένων ή μια εξωτερική δέσμευση μπορεί να χρειάζεται μια ονομαστική ανθρώπινη απόφαση. Η πολιτική θα πρέπει να εκφράζει αυτή τη διάκριση πριν ζητηθεί από το μοντέλο να σχεδιάσει βάσει αυτής.

Υπάρχει επίσης μια σημαντική διαφορά μεταξύ μιας επιβεβαίωσης παραλαβής και μιας έγκρισης. Μια επιβεβαίωση παραλαβής καταγράφει ότι κάποιος είδε ένα μήνυμα. Μια έγκριση καταγράφει ότι ένα εξουσιοδοτημένο πρόσωπο αποδέχτηκε μια καθορισμένη ενέργεια, με το σχετικό πλαίσιο, σε ένα καθορισμένο σημείο της διαδρομής. Σε ένα σύστημα συνομιλίας αυτά μπορεί να φαίνονται παρόμοια. Το αρχείο δεν θα πρέπει να είναι παρόμοιο. Αν ένας μεταγενέστερος αναθεωρητής δεν μπορεί να διακρίνει ποια ενέργεια εγκρίθηκε και ποιο αποτέλεσμα αναμενόταν, ο οργανισμός έχει καταγράψει μια συνομιλία αντί να έχει αποτυπώσει μια απόφαση.

Η ίδια η ανάθεση χρειάζεται όρια. Ένας πληρεξούσιος που λαμβάνει μια εργασία να συγκρίνει τρεις υπάρχουσες προτάσεις μπορεί να επιτρέπεται να ζητήσει από έναν ερευνητικό πληρεξούσιο να εξάγει σχετικούς όρους. Δεν θα πρέπει να αντιμετωπίζει αυτή την άδεια ως πρόσκληση να επικοινωνήσει με προμηθευτές, να αποκτήσει νέα δεδομένα ή να αναδιατυπώσει τον στόχο της προμήθειας. Το όριο μπορεί να εκφραστεί στην πολιτική, στο πεδίο εφαρμογής των εργαλείων, σε μια δομημένη σύμβαση εργασίας ή και στα τρία. Αυτό που έχει σημασία είναι να είναι αρκετά επιβλητικό ώστε να περιορίζει τη διαδρομή και όχι απλώς να περιγράφει την επιθυμητή συμπεριφορά εκ των υστέρων.

Το βάθος ανάθεσης είναι ένα ακόμη όριο που αξίζει να αναφερθεί. Ένας άνθρωπος μπορεί να αναθέσει μια εργασία σε έναν πράκτορα και να διατηρήσει σαφή εικόνα για το πρώτο του βήμα. Μετά από πολλά διαδοχικά βήματα, ο αρχικός σκοπός μπορεί να είναι τεχνικά παρών στα μεταδεδομένα, αλλά πρακτικά αόρατος. Οι οργανισμοί μπορούν να ορίσουν ένα μέγιστο βάθος ανάθεσης για μια κατηγορία εργασιών, να απαιτούν έλεγχο σε συγκεκριμένο βάθος ή να απαγορεύουν σε έναν εκτελούντα να δημιουργεί περαιτέρω εκτελούντες χωρίς νέα έγκριση. Αυτές είναι σχεδιαστικές επιλογές, όχι καθολικές απαιτήσεις. Είναι πιο χρήσιμες όταν μια μεγαλύτερη αλυσίδα καθιστά δύσκολο να διακρίνει κανείς ποιος εισήγαγε μια νέα υπόθεση ή άλλαξε το πραγματικό πεδίο εφαρμογής.

Η εξουσία στα εργαλεία πρέπει επίσης να είναι ξεχωριστή από την εξουσία του μοντέλου. Ένα μοντέλο μπορεί να επιλέξει ένα εργαλείο βάσει ενός σχεδίου. Η ενσωμάτωση του εργαλείου θα πρέπει να ελέγχει αν η ζητούμενη ενέργεια, ο στόχος, η κατηγορία δεδομένων, το όριο πόρων και η κατάσταση της ροής εργασίας επιτρέπουν την κλήση. Αυτό δεν είναι δυσπιστία προς το μοντέλο με ηθική έννοια. Είναι συνηθισμένος σχεδιασμός ορίων. Ένα καλά διατυπωμένο σχέδιο μπορεί να είναι ακατάλληλο για την τρέχουσα περίπτωση, και ένα κακοδιατυπωμένο σχέδιο δεν θα πρέπει να γίνεται πραγματικότητα απλώς επειδή έφτασε σε διαπιστευτήρια με ευρεία πρόσβαση.

Το ίδιο ισχύει και για την ανάκαμψη. Μια επανάληψη δεν είναι πάντα ακίνδυνη. Το να επαναλαμβάνεις ένα αίτημα για ανάγνωση ενός δημόσιου εγγράφου είναι διαφορετικό από το να επαναλαμβάνεις ένα αίτημα που στέλνει ένα μήνυμα ή πραγματοποιεί μια χρέωση. Όταν μια ανατεθειμένη εργασία αποτυγχάνει, μια ροή εργασίας χρειάζεται μια σαφή επιλογή μεταξύ επανάληψης, αναδρομολόγησης, κλιμάκωσης, παύσης και ελεγχόμενης αποτυχίας. Το να τα αντιμετωπίζεις ως έναν γενικό χειριστή σφαλμάτων είναι ο τρόπος με τον οποίο μια επιχειρησιακή απόφαση λαμβάνεται σιωπηρά από τις προεπιλεγμένες ρυθμίσεις. Το περιβάλλον εκτέλεσης του πράκτορα μπορεί να διαθέσει τις επιλογές. Ο οργανισμός πρέπει να αποφασίσει ποια επιλογή ισχύει για ποια κατηγορία ενεργειών.

Η αποτυχία είναι συχνά μια απόφαση που λείπει

Όταν οι άνθρωποι ακούν τη λέξη αποτυχία, συχνά φαντάζονται έναν πράκτορα που παράγει μια ψευδή δήλωση ή ένα εργαλείο που λήγει ο χρόνος του. Και τα δύο μπορεί να έχουν σημασία. Οι πιο αποκαλυπτικές αποτυχίες στην ανατεθειμένη εργασία είναι συχνά πιο ήσυχες. Η εργασία ανατέθηκε χωρίς σαφή υπεύθυνο. Η πρόταση πέρασε ένα όριο που κανείς δεν είχε μοντελοποιήσει. Ο ελεγκτής μπορούσε να δει το συμπέρασμα αλλά όχι τα στοιχεία. Μια επανάληψη συνεχίστηκε μετά από μια παύση. Ένας άνθρωπος παρατήρησε ένα πρόβλημα αλλά δεν είχε εξουσία να σταματήσει την ενέργεια. Λήφθηκε μια απόφαση, αλλά το αρχείο διατήρησε μόνο το τελικό αποτέλεσμα και όχι την προϋπόθεση που το καθιστούσε αποδεκτό.

Αυτά δεν είναι ισχυρισμοί για ένα συγκεκριμένο περιστατικό. Είναι τρόποι αποτυχίας που προκύπτουν από τη δομή της ίδιας της ανάθεσης. Μπορούν να βρεθούν και σε ανθρώπινες διαδικασίες. Στο λογισμικό, ωστόσο, μπορούν να κινηθούν με την ταχύτητα της αυτοματοποίησης και να επαναληφθούν με μεγάλη συνέπεια. Αυτή η συνέπεια δεν είναι λόγος απόγνωσης. Είναι λόγος να αντιμετωπίζεται ο σχεδιασμός της ροής εργασίας ως μέρος του ελέγχου, αντί να υποθέτουμε ότι ο έλεγχος ακρίβειας ενός μεμονωμένου στοιχείου του μοντέλου επιλύει το ζήτημα.

Σκεφτείτε έναν άλλον ρητά υποθετικό σχεδιασμό. Ζητείται από έναν πράκτορα να ετοιμάσει μια σύνοψη υπόθεσης. Αναθέτει την εξαγωγή εγγράφων σε ένα στοιχείο και την ομαλοποίηση γλώσσας σε ένα άλλο. Ένα τρίτο στοιχείο βλέπει ένα ελλιπές πεδίο και χρησιμοποιεί μια συνδεδεμένη πηγή γνώσης για να καλύψει το κενό. Η τελική σύνοψη διαβάζεται ομαλά. Αν η ροή εργασίας δεν έχει καταγράψει το πεδίο που έλειπε, την πηγή που χρησιμοποιήθηκε για να καλυφθεί, την εμπιστοσύνη ή την αβεβαιότητα που τη συνόδευε, και το γεγονός ότι η αρχική εργασία επέτρεπε μόνο σύνοψη, ένας ελεγκτής δεν μπορεί να πει αν εγκρίνει μια σύνοψη ή μια νεοδημιουργηθείσα πραγματική διαπίστωση. Το πρόβλημα δεν είναι ότι η τελευταία πρόταση ακούγεται περίεργη. Το πρόβλημα είναι ότι το νόημα της εργασίας άλλαξε μέσα στη διαδρομή.

Μια σωστή απάντηση δεν είναι να απαγορευτεί η ανάθεση. Είναι να μπαίνουν τα σημεία αλλαγής στο αρχείο καταγραφής. Μια νέα πηγή, ένα νέο εργαλείο, μια νέα κατηγορία δεδομένων, μια νέα κατηγορία ενέργειας, μια ουσιαστική αλλαγή στην εμπιστοσύνη, ένας αποτυχημένος έλεγχος, μια αλυσίδα ανάθεσης μεγαλύτερη από την επιτρεπόμενη ή μια πρόταση για υπέρβαση ενός εξωτερικού ορίου μπορεί το καθένα να γίνει λόγος να έρθει το έργο στην επιφάνεια για αναθεώρηση. Τα ακριβή εναύσματα θα διαφέρουν ανάλογα με τα συμφραζόμενα. Η αρχή είναι σταθερή: μια αλλαγή που θα είχε σημασία για τον υπεύθυνο ιδιοκτήτη δεν θα πρέπει να παραμένει αόρατη επειδή συνέβη μεταξύ των στοιχείων.

Εδώ είναι ένα σημείο όπου η σκέψη περί τεκμηρίωσης ασφάλειας είναι χρήσιμη. Μια τεκμηρίωση ασφάλειας δεν είναι μια υπόσχεση ότι τίποτα δεν μπορεί να πάει στραβά. Είναι ένα δομημένο επιχείρημα για το γιατί ένα σύστημα είναι αποδεκτό για έναν καθορισμένο σκοπό υπό καθορισμένες συνθήκες, με αποδεικτικά στοιχεία, παραδοχές, ελέγχους και υπολειπόμενους κινδύνους ορατά. Εφαρμοζόμενη προσεκτικά σε μια ροή εργασίας πρακτόρων, αυτό σημαίνει ότι ο ισχυρισμός δεν είναι ότι οι πράκτορες είναι γενικά ασφαλείς. Ο ισχυρισμός είναι πιο περιορισμένος: αυτή η διαδρομή μπορεί να χρησιμοποιηθεί για αυτόν τον σκοπό, με αυτά τα όρια, επειδή υπάρχουν αυτοί οι έλεγχοι και οι ρυθμίσεις εποπτείας, και πρέπει να επανεξεταστεί όταν οι δηλωμένες παραδοχές δεν ισχύουν πλέον.

Η ροή εργασίας είναι τότε πιο εύκολο να αμφισβητηθεί. Ένας χειριστής μπορεί να ρωτήσει αν η κατηγορία ενέργειας αποδόθηκε σωστά. Ένας υπεύθυνος κινδύνου μπορεί να ρωτήσει αν ο αναθεωρητής έχει ακόμη αρκετό χρόνο. Ένας μηχανικός μπορεί να ρωτήσει αν μια επανάληψη θα μπορούσε να δημιουργήσει ένα διπλό αποτέλεσμα. Ένας ειδικός προστασίας δεδομένων μπορεί να ρωτήσει αν η υποεργασία παραμένει αναγκαία και αναλογική. Ένα άτομο που επηρεάζεται από ένα αποτέλεσμα μπορεί, όπου το ισχύον πλαίσιο το απαιτεί, να λάβει μια διαδρομή για να αμφισβητήσει την απόφαση. Αυτές οι ερωτήσεις δεν είναι γραφειοκρατία που προστέθηκε μετά την ενδιαφέρουσα τεχνική εργασία. Είναι η εργασία του να γίνει το τεχνικό σύστημα υπόλογο σε έναν οργανισμό.

Οι μετρήσεις θα πρέπει να ακολουθούν την ίδια πειθαρχία. Η καταμέτρηση του αριθμού των ανατεθειμένων εργασιών μας λέει κάτι για τον όγκο, όχι για την υπόλογη λειτουργία. Πιο χρήσιμα μέτρα μπορεί να περιλαμβάνουν τον ρυθμό με τον οποίο μια ροή εργασίας κλιμακώνεται επειδή άλλαξε ένα όριο, τον χρόνο που μια απόφαση περιμένει σε ένα σημείο ελέγχου, την αναλογία των σημαντικών ενεργειών με ένα πλήρες πακέτο απόφασης, τον αριθμό των επιτυχών αναστροφών ή τον αριθμό των περιπτώσεων όπου ένας έλεγχος πολιτικής αρνήθηκε μια κλήση εργαλείου. Τέτοιες μετρήσεις εξακολουθούν να χρειάζονται έναν ορισμό και ένα πλαίσιο. Δεν θα πρέπει ποτέ να επινοούνται για ένα φυλλάδιο. Αλλά ο σχεδιασμός των αρχείων έτσι ώστε να μπορούν να μετρηθούν είναι ένα σημάδι ότι η υπευθυνότητα αντιμετωπίζεται ως λειτουργική ιδιότητα.

Το αρχείο καταγραφής είναι εκεί όπου επιβιώνει η ευθύνη

Ένα σύστημα πολλαπλών πρακτόρων παράγει ένα περίεργο είδος ιστορικού. Έχει μηνύματα, κλήσεις εργαλείων, ενδιάμεσα αποτελέσματα, ελέγχους πολιτικής, εκδόσεις μοντέλων, πληροφορίες χρονισμού, επαναλήψεις, αλλαγμένες αναθέσεις και ίσως ανθρώπινες εγκρίσεις. Η διατήρηση κάθε byte για πάντα δεν είναι ούτε αναγκαία ούτε συχνά κατάλληλη. Η διατήρηση μόνο της τελικής απάντησης είναι συνήθως πολύ λίγη. Το αρχείο καταγραφής πρέπει να διατηρεί τις αποφάσεις και τα αποδεικτικά στοιχεία που εξηγούν πώς η ροή εργασίας πέρασε από ένα αίτημα σε ένα αποτέλεσμα.

Για μια σημαντική ενέργεια, αυτό το αρχείο καταγραφής θα πρέπει κανονικά να επιτρέπει σε έναν αναθεωρητή να ανασυνθέσει μερικά βασικά γεγονότα. Ποιος ήταν ο στόχος; Ποια πολιτική ή εντολή έκανε την εργασία επιτρεπτή; Ποιος ή τι έλαβε κάθε ανάθεση; Τι προτάθηκε σε κάθε σημαντικό σημείο ελέγχου; Ποιες πληροφορίες χρησιμοποιήθηκαν για να υποστηρίξουν την πρόταση; Ποια όρια, προειδοποιήσεις ή αποτυχίες συναντήθηκαν; Ποιος είχε την εξουσία να εγκρίνει, να σταματήσει ή να αναστρέψει την ενέργεια; Ποια ενέργεια τέθηκε σε ισχύ και τι συνέβη μετά; Αυτές δεν είναι εξωτικές ερωτήσεις. Είναι οι ερωτήσεις που θέτει ένας οργανισμός όταν θέλει να μάθει αν μια απόφαση ήταν δική του απόφαση.

Το αρχείο θα πρέπει να διακρίνει ένα λειτουργικό γεγονός από μια εξήγηση που παράγεται εκ των υστέρων. Αν ένα σύστημα αναφέρει ότι ένας αξιολογητής ενέκρινε μια ενέργεια, το γεγονός θα πρέπει να καταγράφει την ταυτότητα ή τον ρόλο του αξιολογητή, την ενέργεια που του παρουσιάστηκε, το σχετικό πλαίσιο και τον χρόνο κατά τον οποίο η έγκριση δεσμεύτηκε σε αυτή την ενέργεια. Αν το σύστημα αναφέρει ότι ένα μοντέλο επέλεξε έναν εκπρόσωπο, το αρχείο θα πρέπει να διατηρεί τον κανόνα επιλογής, τους υποψηφίους ή τα κριτήρια στο επίπεδο που αρμόζει στη χρήση, καθώς και την προκύπτουσα ανάθεση. Μια μεταγενέστερη αφήγηση μπορεί να βοηθήσει τον αναγνώστη, αλλά δεν θα πρέπει να υποκαθιστά το γεγονός που συνέβη.

Η έκδοση έχει σημασία εδώ. Η έξοδος ενός πράκτορα μπορεί να αναδημιουργηθεί. Μια πολιτική μπορεί να ενημερωθεί. Το σχήμα ενός εργαλείου μπορεί να αλλάξει. Ένα τελικό σημείο μοντέλου μπορεί να αντικατασταθεί. Αν μια απόφαση εξαρτάται από μια συγκεκριμένη έκδοση ενός prompt, μιας πολιτικής, ενός μοντέλου, μιας πηγής γνώσης ή μιας ενοποίησης, το αρχείο χρειάζεται μια σταθερή αναφορά σε αυτή την έκδοση. Διαφορετικά, η αναπαραγωγή γίνεται μια παράσταση: αναπαράγει ό,τι διαθέτει ο οργανισμός εκείνη τη στιγμή και αποκαλεί το αποτέλεσμα εξήγηση του τι συνέβη τότε.

Η αναστρεψιμότητα αξίζει εξίσου προσοχή. Ο AI Act αναφέρεται ρητά, στο πλαίσιο της εποπτείας υψηλού κινδύνου, στην ικανότητα αγνόησης, υπερίσχυσης ή αντιστροφής μιας εξόδου και στη διακοπή ενός συστήματος ώστε να περιέλθει σε ασφαλή κατάσταση. Σε μια διαδρομή πολλαπλών πρακτόρων, η ασφαλής κατάσταση δεν είναι απαραίτητα μια διακοπή της διεργασίας του μοντέλου. Μπορεί να σημαίνει ότι δεν αποστέλλεται καμία εξωτερική επικοινωνία, ότι μια προγραμματισμένη ενέργεια τίθεται σε αναμονή, ότι ένα κατάντη σύστημα δεν ενημερώνεται, ότι τα προσωρινά διαπιστευτήρια δεν είναι πλέον χρησιμοποιήσιμα για την εργασία και ότι διατηρούνται τα αποδεικτικά στοιχεία που χρειάζονται για να αποφασιστεί τι θα ακολουθήσει. Αυτό είναι ένα λειτουργικό συμπέρασμα από την απαίτηση εποπτείας, όχι παράθεση του νόμου. Είναι επίσης ένα χρήσιμο τεστ σχεδιασμού.

Ασφαλές δεν σημαίνει παγωμένο για πάντα. Μια διακοπείσα ροή εργασίας χρειάζεται μια ελεγχόμενη διαδρομή επανέναρξης. Κάποιος πρέπει να αποφασίσει αν θα τροποποιήσει την εργασία, θα απορρίψει την πρόταση, θα επανεκτελέσει ένα οριοθετημένο μέρος της δουλειάς, θα χρησιμοποιήσει διαφορετικό εργαλείο, θα αναζητήσει περισσότερα στοιχεία ή θα εγκαταλείψει τη διαδρομή. Ένα καθαρό αρχείο διευκολύνει αυτή την επιλογή, γιατί λέει στο επόμενο άτομο τι είναι γνωστό, τι επιχειρήθηκε, γιατί σταμάτησε η δουλειά και ποια αποτελέσματα έχουν επέλθει και ποια όχι. Χωρίς αυτό το αρχείο, η ανάκαμψη γίνεται άλλη μια μη δομημένη ανάθεση, συνήθως υπό μεγαλύτερη πίεση από την αρχική.

Γι' αυτό η διατήρηση και η πρόσβαση χρειάζονται τις δικές τους αποφάσεις. Δεν θα πρέπει να μπορεί κάθε φορέας να διαβάζει κάθε ίχνος. Ένα αρχείο μπορεί να περιέχει προσωπικά δεδομένα, εμπορικά ευαίσθητο υλικό ή λεπτομέρειες σχετικές με την ασφάλεια. Αλλά η ελεγχόμενη πρόσβαση δεν είναι το ίδιο με την απουσία αρχείου. Η έμφαση της Σύμβασης του Συμβουλίου της Ευρώπης στη διαφάνεια, την εποπτεία, τη λογοδοσία και την υπευθυνότητα είναι μια χρήσιμη υπενθύμιση ότι το όριο θα πρέπει να σχεδιάζεται και όχι να θεωρείται δεδομένο. Ένας οργανισμός μπορεί να διατηρήσει μια λογοδοτήσιμη διαδρομή ενώ περιορίζει την πρόσβαση στη λεπτομέρεια που χρειάζεται πραγματικά ένας συγκεκριμένος αξιολογητής.

Τι θα πρέπει να καθιστά ορατή μια σύμβαση ανάθεσης

Μια σύμβαση ανάθεσης μπορεί να είναι μια δομή δεδομένων, ένα σχήμα ροής εργασίας, ένα υπογεγραμμένο πακέτο έγκρισης ή συνδυασμός αυτών. Η μορφή της έχει μικρότερη σημασία από το περιεχόμενό της. Θα πρέπει να λέει στον αποδέκτη φορέα τι επιτρέπεται να κάνει, τι δεν επιτρέπεται να κάνει και πώς θα κριθεί η εργασία. Όταν αυτοί οι περιορισμοί απουσιάζουν, οι πράκτορες τείνουν να αντισταθμίζουν με ολοένα και πιο περίπλοκες οδηγίες. Αυτό μπορεί να βελτιώσει μια συγκεκριμένη εκτέλεση. Δεν δημιουργεί ένα οργανωτικό όριο που μπορεί να επιβάλει ένα εργαλείο, ένας αξιολογητής ή ένας ελεγκτής.

Ξεκινήστε με τον επιδιωκόμενο σκοπό. Ένας σκοπός θα πρέπει να είναι αρκετά συγκεκριμένος ώστε να αποκλείει παρόμοιες εργασίες. Το να συγκρίνετε τους όρους στις υποβληθείσες προτάσεις είναι διαφορετικό από το να βρείτε τον καλύτερο προμηθευτή. Το να συνοψίσετε τα παραληφθέντα έγγραφα είναι διαφορετικό από το να διαπιστώσετε τα ελλείποντα στοιχεία. Το να συντάξετε μια απάντηση για έλεγχο είναι διαφορετικό από το να επικοινωνήσετε μια απόφαση. Η αντίθεση μπορεί να ακούγεται υπερβολικά λεπτολόγος μέχρι τη στιγμή που ένας πράκτορας χρησιμοποιεί μια γενική οδηγία για να κάνει ένα εύλογο αλλά μη εξουσιοδοτημένο επόμενο βήμα. Τότε είναι η διαφορά μεταξύ χρήσιμης πρωτοβουλίας και απεριόριστης εντολής.

Να αναφέρετε τις επιτρεπόμενες και τις απαγορευμένες κατηγορίες ενεργειών. Ένας πράκτορας μπορεί να έχει τη δυνατότητα να διαβάσει έναν φάκελο υπόθεσης, να εξάγει συγκεκριμένα πεδία, να συγκρίνει με μια πολιτική και να ετοιμάσει ένα προσχέδιο. Μπορεί να του απαγορεύεται να τροποποιήσει μια εγγραφή προέλευσης, να επικοινωνήσει με εξωτερικό μέρος, να επιλέξει νέα πηγή ή να ολοκληρώσει μια συναλλαγή. Αυτά δεν είναι απλώς οδηγίες στο προτρέμμα. Το επίπεδο εργαλείων και ροής εργασίας θα πρέπει να τα επιβάλλει όπου είναι πρακτικά εφικτό. Μια πολιτική που δεν μπορεί να ελεγχθεί τη στιγμή της ενέργειας εξακολουθεί να είναι χρήσιμη ως καθοδήγηση, αλλά είναι ασθενέστερη ως έλεγχος.

Να αναφέρετε τον υπεύθυνο και τη διαδρομή κλιμάκωσης. Ο υπεύθυνος δεν είναι κατ' ανάγκην το άτομο που θα πατήσει έγκριση σε κάθε ενέργεια. Είναι ο ρόλος που λογοδοτεί για το αποτέλεσμα και για την απόφαση σχετικά με το τι θα συμβεί όταν η διαδρομή φτάσει σε ένα αναπάντητο ερώτημα. Η διαδρομή κλιμάκωσης προσδιορίζει την επόμενη αρχή όταν ο πράκτορας εντοπίσει παραβίαση ορίων, ανεπαρκή αποδεικτικά στοιχεία, σύγκρουση μεταξύ πηγών, αναντιστοιχία πολιτικής ή μια συνθήκη που το σύστημα δεν επιτρέπεται να επιλύσει. Μια ουρά χωρίς καθορισμένο υπεύθυνο λήψης αποφάσεων είναι απλώς μια καθυστέρηση με αισιόδοξη ετικέτα.

Να επισυνάψετε έναν κανόνα αποδεικτικών στοιχείων. Ο κανόνας μπορεί να ορίζει ποιες πηγές είναι έγκυρες, αν ο πράκτορας μπορεί να αναζητήσει πέρα από αυτές, πώς αναπαρίσταται η αβεβαιότητα, τι πρέπει να αναφέρεται στην πρόταση και πότε μια αντικρουόμενη πηγή απαιτεί επανεξέταση. Αυτό είναι ιδιαίτερα σημαντικό για συστήματα που παράγουν άπταιστο πεζό λόγο. Η ευφράδεια μπορεί να κάνει μια παραβίαση ορίων να μοιάζει με χρήσιμη ολοκλήρωση. Ένας κανόνας αποδεικτικών στοιχείων θέτει τη σωστή ερώτηση: παρέμεινε η ροή εργασίας εντός του υλικού που είχε εξουσιοδότηση να χρησιμοποιήσει;

Να ορίσετε όριο χρόνου, πόρων και ανάθεσης όπου έχουν σημασία. Μια εργασία που μπορεί να συνεχιστεί επ' αόριστον μπορεί να δημιουργήσει κόστος, λειτουργική συμφόρηση ή πίεση για ολοκλήρωση ενός παρωχημένου αποτελέσματος. Μια εργασία που μπορεί να αναθέτει επανειλημμένα μπορεί να δημιουργήσει μια αλυσίδα που κανένας υπεύθυνος δεν μπορεί να επιθεωρήσει εύκολα. Ένας σχεδιασμός με όρια ορίζει πόσο χρόνο παραμένει έγκυρη η εργασία, πόσους πόρους μπορεί να καταναλώσει, αν μπορεί να δημιουργήσει υποεργασία, ποιο μέγιστο βάθος επιτρέπεται και τι συμβαίνει όταν εξαντληθεί ένα όριο. Η απάντηση μπορεί να είναι αυτόματη παύση, κλιμάκωση ή ελεγχόμενη αποτυχία. Το σημαντικό είναι να αποφασιστεί πριν ξεπεραστεί το όριο.

Τέλος, να ορίσετε τη συνθήκη ολοκλήρωσης. Ολοκληρωμένο δεν σημαίνει πάντα ότι ο πράκτορας παρήγαγε κείμενο. Μπορεί να σημαίνει ότι ένας αναθεωρητής έλαβε ένα πλήρες πακέτο, ότι μια πύλη πολιτικής αποδέχθηκε μια συγκεκριμένη ενέργεια, ότι ένα κατάντη σύστημα επιβεβαίωσε μια αναστρέψιμη ενημέρωση ή ότι ένας υπόλογος υπεύθυνος επέλεξε να μην προχωρήσει. Οι συνθήκες ολοκλήρωσης διατηρούν τη ροή εργασίας έντιμη. Αποτρέπουν τον πράκτορα από το να αντιμετωπίζει την πρόταση μιας απόφασης ως απόφαση που έλαβε ο οργανισμός.

Αυτά τα πρότυπα είναι χρήσιμα είτε η ροή εργασίας περιέχει έναν μόνο πράκτορα που βασίζεται σε μοντέλο είτε μια μεγαλύτερη ομάδα εξειδικευμένων στοιχείων. Περισσότεροι πράκτορες δεν απαιτούν αυτόματα περισσότερη διαδικασία. Απαιτούν όμως τα όρια μεταξύ των ρόλων να εκφράζονται και όχι να υπονοούνται. Το κόστος αυτής της έκφρασης είναι γενικά πολύ χαμηλότερο από το κόστος της προσπάθειας ανασυγκρότησης της εξουσίας αφού πολλά συστήματα έχουν ανταλλάξει μερικές οδηγίες και ένα από αυτά έχει έρθει σε επαφή με τον έξω κόσμο.

Η ανάθεση θα πρέπει να καθιστά τον οργανισμό πιο ικανό, όχι λιγότερο υπόλογο

Τα συστήματα πρακτόρων συχνά περιγράφονται σαν η αξία τους να έγκειται στην αφαίρεση της οργάνωσης από την εργασία. Η πιο ενδιαφέρουσα προοπτική είναι η αντίθετη. Ένα προσεκτικά σχεδιασμένο σύστημα μπορεί να καταστήσει τις οργανωτικές δεσμεύσεις σαφέστερες: μια εργασία έχει υπεύθυνο, μια ανάθεση έχει όριο, μια σημαντική ενέργεια έχει εξουσία, μια αναθεώρηση έχει αποδεικτικά στοιχεία, μια διακοπή έχει ασφαλή κατάσταση και μια εγγραφή μπορεί να αναπαραχθεί. Αυτό δεν αποτελεί εμπόδιο στη χρήσιμη αυτοματοποίηση. Είναι αυτό που επιτρέπει στην αυτοματοποίηση να αναλάβει ουσιαστική εργασία χωρίς να ζητά από τους ανθρώπους να εμπιστευτούν μια αόρατη αλυσίδα.

Χτίσαμε το Dweve Nexus γύρω από αυτή τη διάκριση. Η τοπική τεκμηρίωση του προϊόντος περιγράφει διαρκείς εργασίες, εξουσία που αξιολογείται βάσει του περιβάλλοντος εκτέλεσης πριν από κάθε ενέργεια, ρητές δομές συνεργασίας που περιλαμβάνουν την ανάθεση, και αρχείο που καταγράφεται καθώς η εργασία εξελίσσεται. Ο σχετικός ισχυρισμός είναι σκόπιμα μετριοπαθής. Πρόκειται για σχεδιαστικές ιδιότητες που αποσκοπούν στο να καταστήσουν μια ανατεθειμένη διαδρομή ελέγξιμη. Δεν αποτελούν απόδειξη ότι οποιαδήποτε συγκεκριμένη εγκατάσταση είναι νόμιμη, ασφαλής ή κατάλληλη, και δεν αναιρούν την ανάγκη ενός οργανισμού να αποφασίσει ο ίδιος για τον σκοπό, την εξουσία και την ανθρώπινη εποπτεία του.

Το ευρύτερο δίδαγμα δεν εξαρτάται από ένα μόνο προϊόν. Ένα μοντέλο μπορεί να αποφασίσει πώς θα μοιράσει μια εργασία. Ένας πράκτορας μπορεί να ζητήσει εργασία από άλλον πράκτορα. Ένα εργαλείο μπορεί να εκτελέσει μια ενέργεια. Ο οργανισμός εξακολουθεί να πρέπει να αποφασίσει πού βρίσκεται η εξουσία. Πρέπει να το κάνει πριν ξεκινήσει η ανάθεση, όχι αφού το τελικό αποτέλεσμα έχει εξομαλυνθεί σε κάτι δύσκολο να αμφισβητηθεί.

Αυτή είναι η απάντηση στον τίτλο. Ο κάτοχος μιας απόφασης δεν είναι ο πράκτορας που έτυχε να μιλήσει τελευταίος. Είναι το πρόσωπο ή ο ρόλος στον οποίο ο οργανισμός ανέθεσε την εξουσία να αποδεχθεί τις συνέπειες της απόφασης, με αρκετές πληροφορίες και δύναμη για να την απορρίψει. Η ανάθεση είναι χρήσιμη όταν καθιστά αυτό το πρόσωπο πιο ικανό. Γίνεται επικίνδυνη όταν το καθιστά αδύνατο να βρεθεί.

Ποιος παίρνει την απόφαση όταν ένας πράκτορας αναθέτει;