Ποιος επιτρέπεται να σταματήσει ένα μοντέλο όταν κάνει λάθος;

Ποιος επιτρέπεται να σταματήσει ένα μοντέλο όταν κάνει λάθος;

Ο νόμος της Ευρωπαϊκής Ένωσης για την Τεχνητή Νοημοσύνη χρησιμοποιεί μια εκπληκτικά χειροπιαστή λέξη για μια ψηφιακή υποχρέωση. Το άρθρο 14 αναφέρει ότι τα άτομα που ορίζονται για την εποπτεία ενός συστήματος ΤΝ υψηλού κινδύνου πρέπει να μπορούν να παρέμβουν ή να διακόψουν το σύστημα μέσω ενός κουμπιού διακοπής ή παρόμοιας διαδικασίας που του επιτρέπει να περιέλθει σε ασφαλή κατάσταση. Η πρόταση αφορά λογισμικό. Μοιάζει σαν κάποιος να θυμήθηκε εύλογα ότι οι μηχανές μπορούν να απενεργοποιηθούν.

Αυτή η ανάμνηση είναι πιο σημαντική από όσο ακούγεται. Σε πολλούς οργανισμούς, η ανθρώπινη εποπτεία αντιμετωπίζεται ως η παρουσία ενός ατόμου κάπου κοντά στο σύστημα. Ένας αξιολογητής λαμβάνει μια σύσταση. Ένας χειριστής μπορεί να ανοίξει έναν πίνακα ελέγχου. Ένας διευθυντής αναφέρεται σε μια πολιτική. Υπάρχει μια διεύθυνση υποστήριξης για παράπονα. Η ρύθμιση περιγράφεται στη συνέχεια ως ανθρώπινος έλεγχος εντός βρόχου, σαν να είχε τοποθετηθεί ένας άνθρωπος μέσα σε έναν βρόχο και ο βρόχος να είχε γίνει κατά συνέπεια σοφός.

Το πραγματικό ερώτημα είναι δυσκολότερο και πιο χρήσιμο: όταν το μοντέλο κάνει λάθος, είναι αβέβαιο, βρίσκεται εκτός του εγκεκριμένου σκοπού του ή συμπεριφέρεται με τρόπο που τα δεδομένα δεν μπορούν να υποστηρίξουν, ποιος έχει την εξουσία να σταματήσει την εργασία; Ποιος μπορεί να αναστείλει νέες ενέργειες χωρίς να περιμένει τον προμηθευτή; Ποιος μπορεί να αποτρέψει τα ήδη παραγόμενα αποτελέσματα από το να μετατραπούν σε αποφάσεις; Ποιος μπορεί να διατηρήσει την κατάσταση που χρήζει διερεύνησης; Ποιος μπορεί να επαναφέρει τη διαδρομή και με ποια δεδομένα; Ένα άτομο που μπορεί να παρατηρήσει ένα πρόβλημα αλλά δεν μπορεί να τροποποιήσει το σύστημα είναι μάρτυρας. Ένα άτομο που μπορεί να πατήσει ένα κουμπί αλλά δεν ξέρει τι σταματάει αυτό το κουμπί χειρίζεται ένα σκηνικό αντικείμενο.

Γι' αυτό το δικαίωμα διακοπής πρέπει να σχεδιαστεί πριν από την ανάπτυξη. Χρειάζεται έναν καθορισμένο ρόλο, ένα πεδίο εφαρμογής, μια ασφαλή κατάσταση, ένα ίχνος αποδεικτικών στοιχείων, μια διαδρομή κλιμάκωσης και έναν τρόπο επαναφοράς σε λειτουργία που δεν επανεισάγει αθόρυβα την ίδια αποτυχία. Χρειάζεται αρκετή τεχνική λεπτομέρεια για να λειτουργήσει όταν το σύστημα είναι απασχολημένο, ο προμηθευτής δεν είναι διαθέσιμος και το άτομο που δημιούργησε την αρχική ροή εργασίας έχει μετακινηθεί σε άλλο έργο. Χρειάζεται επίσης αρκετή θεσμική σαφήνεια ώστε ένα άτομο να μπορεί να χρησιμοποιήσει την εξουσία χωρίς να κατηγορηθεί ότι διέκοψε την καινοτομία.

Η διακοπή είναι δυνατότητα, όχι ευγένεια

Η διακοπή περιγράφεται συχνά ως έσχατη λύση, κάτι που της προσδίδει μια ατυχή τελετουργική ποιότητα. Ο οργανισμός υπόσχεται ότι κάποιος μπορεί να σταματήσει το σύστημα αν οι συνθήκες γίνουν αρκετά σοβαρές. Οι συνθήκες φτάνουν. Το άτομο αναζητά την εξουσία. Η εξουσία αποδεικνύεται ότι είναι μια παράγραφος σε ένα έγγραφο, μια άδεια που κατέχει άλλη ομάδα ή μια διεύθυνση κλιμάκωσης που παρακολουθείται κατά τις ώρες γραφείου. Το σύστημα συνεχίζει, πολύ ευγενικά.

Η διακοπή δεν είναι διάθεση. Είναι μια δυνατότητα με διεπαφή και σύμβαση. Η διεπαφή μπορεί να είναι ένα κουμπί, μια εντολή, μια πύλη πολιτικής, ένα ανακληθέν διακριτικό, μια απενεργοποιημένη διαδρομή, μια αναστολή ουράς ή μια ελεγχόμενη τερματισμός λειτουργίας. Η σύμβαση ορίζει τι κάνει η ενέργεια, τι δεν κάνει, ποια εργασία αποτρέπεται, ποια εργασία επιτρέπεται να ολοκληρωθεί, ποια κατάσταση διατηρείται, ποιος ειδοποιείται και πώς γνωρίζει ο οργανισμός ότι η διακοπή τέθηκε σε ισχύ. Αν λείπουν αυτές οι απαντήσεις, η λέξη διακοπή σημαίνει μόνο ότι όλοι συμφωνούν ότι θα ήταν ωραίο να σταματήσει.

Υπάρχει μια χρήσιμη διάκριση μεταξύ της διακοπής ενός μοντέλου και της διακοπής μιας συνέπειας. Ένα μοντέλο μπορεί να εκτελείται ενώ τα αποτελέσματά του κρατούνται για αναθεώρηση. Μια υπηρεσία μπορεί να παραμείνει διαθέσιμη για σύνταξη χαμηλού αντίκτυπου ενώ η διαδρομή συστάσεών της είναι κλειστή. Ένα εργαλείο μπορεί να επιστρέφει πληροφορίες μόνο για ανάγνωση ενώ η πρόσβαση εγγραφής έχει ανακληθεί. Μια ροή εργασίας μπορεί να δέχεται νέες υποθέσεις αλλά να αρνείται να τις προωθήσει σε μια εξωτερική απόφαση. Αυτές είναι διαφορετικές επιφάνειες ελέγχου. Το να τις αντιμετωπίζει κανείς ως έναν μεγάλο κόκκινο διακόπτη είτε σταματάει πολύ λίγα είτε καταστρέφει περισσότερη δουλειά από όση χρειάζεται.

Η αναλογικότητα έχει σημασία, αλλά η αναλογικότητα δεν αποτελεί άδεια για να γίνει η διακοπή αόριστη. Ένας βοηθός χαμηλού κινδύνου μπορεί να χρειάζεται τοπική άρνηση και δίοδο προς άνθρωπο. Ένα σύστημα που χρησιμοποιείται σε τομέα υψηλού αντικτύπου μπορεί να χρειάζεται σκληρό φράγμα προτού ένα αποτέλεσμα επηρεάσει τα δικαιώματα ενός ατόμου ή την πρόσβασή του σε μια υπηρεσία. Ένα αυτόνομο εργαλείο που μπορεί να τροποποιήσει εξωτερικό αρχείο μπορεί να χρειάζεται ξεχωριστή οδό παρέμβασης από ένα μοντέλο που απλώς συντάσσει προσχέδιο. Ο κίνδυνος, ο βαθμός αυτονομίας και το πλαίσιο χρήσης καθορίζουν την ισχύ του ελέγχου. Δεν καταργούν την ανάγκη για τον έλεγχο.

Η γλώσσα του κανονισμού AI Act είναι χρήσιμη ακριβώς επειδή συνδέει την ανθρώπινη εποπτεία με έναν πραγματικό στόχο κινδύνου. Η εποπτεία αποσκοπεί στην πρόληψη ή την ελαχιστοποίηση κινδύνων για την υγεία, την ασφάλεια και τα θεμελιώδη δικαιώματα. Δεν υπάρχει για να στολίζει ένα σύστημα με μια ανθρώπινη σιλουέτα. Αν το ορισμένο πρόσωπο δεν μπορεί να αναγνωρίσει μια ανωμαλία, να ερμηνεύσει ένα αποτέλεσμα, να το παρακάμψει ή να διακόψει με ασφάλεια τη λειτουργία, η ρύθμιση δεν έχει εκπληρώσει τον πρακτικό σκοπό της εποπτείας, ανεξάρτητα από το πόσες υπογραφές υπάρχουν στον φάκελο του έργου.

Διαβάστε το άρθρο 14 ως προδιαγραφή μηχανικής

Το άρθρο 14 εφαρμόζεται σε συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου, όχι σε κάθε λογισμικό που έχει αποκτήσει ετικέτα τεχνητής νοημοσύνης. Η πρώτη του απαίτηση είναι το σύστημα να σχεδιάζεται και να αναπτύσσεται έτσι ώστε φυσικά πρόσωπα να μπορούν να το εποπτεύουν αποτελεσματικά όσο βρίσκεται σε χρήση. Η φράση όσο βρίσκεται σε χρήση έχει σημασία. Μια αξιολόγηση κατά τη διαδικασία προμήθειας δεν είναι εποπτεία ενός συστήματος σε λειτουργία. Μια εκπαίδευση που παραδίδεται πριν από την έναρξη δεν είναι εποπτεία ενός τροποποιημένου μοντέλου. Μια εκ των υστέρων εξήγηση μετά από περιστατικό δεν υποκαθιστά έναν έλεγχο που θα μπορούσε να είχε αποτρέψει την ενέργεια.

Η δεύτερη απαίτηση δίνει σκοπό στην εποπτεία. Θα πρέπει να αποτρέπει ή να ελαχιστοποιεί κινδύνους που προκύπτουν όταν το σύστημα χρησιμοποιείται για τον επιδιωκόμενο σκοπό του ή υπό εύλογα προβλέψιμη κακή χρήση. Αυτή η διατύπωση αντιστέκεται σε ένα βολικό τέχνασμα όπου ο οργανισμός αντιμετωπίζει κάθε επιβλαβή χρήση ως απρόβλεπτη έκπληξη. Οι άνθρωποι θα χρησιμοποιούν συστήματα υπό πίεση, με ελλιπείς πληροφορίες, μέσω μεταφράσεων, σε ασυνήθιστους συνδυασμούς και στα όρια των οδηγιών τους. Ένας σοβαρός σχεδιασμός αναρωτιέται ποια κακή χρήση είναι εύλογα προβλέψιμη και δίνει στον αξιολογητή τρόπο να ανταποκριθεί προτού το αποτέλεσμα αποκτήσει θεσμική ισχύ.

Η τρίτη απαίτηση καθιστά την εποπτεία ανάλογη με τον κίνδυνο, την αυτονομία και το πλαίσιο. Ο πάροχος μπορεί να ενσωματώσει μέτρα στο σύστημα και μπορεί επίσης να προσδιορίσει μέτρα που πρέπει να εφαρμόσει ο υπεύθυνος ανάπτυξης. Αυτός είναι καταμερισμός εργασίας, όχι καταμερισμός ευθύνης. Ο πάροχος δεν μπορεί να παραδώσει ένα σύστημα χωρίς κανέναν εφικτό τρόπο διακοπής του και να δείξει τον υπεύθυνο ανάπτυξης. Ο υπεύθυνος ανάπτυξης δεν μπορεί να αγνοήσει τα παρεχόμενα όρια και να ισχυριστεί ότι ο πάροχος υποσχέθηκε ασφάλεια εν γένει. Ο έλεγχος πρέπει να επιβιώνει στο όριο μεταξύ του παραδοτέου και του τρόπου χρήσης του.

Η τέταρτη παράγραφος είναι εκεί όπου η νομική γλώσσα γίνεται πρακτική λίστα ελέγχου. Τα πρόσωπα που ορίζονται για εποπτεία πρέπει να μπορούν να κατανοούν τις σχετικές δυνατότητες και τους περιορισμούς του συστήματος. Πρέπει να μπορούν να το παρακολουθούν, μεταξύ άλλων για ανωμαλίες, δυσλειτουργίες και απροσδόκητη απόδοση. Πρέπει να γνωρίζουν τη μεροληψία αυτοματοποίησης, την τάση να βασίζονται ή να υπερβασίζονται σε ένα αποτέλεσμα μηχανής. Πρέπει να μπορούν να ερμηνεύουν το αποτέλεσμα. Πρέπει να μπορούν να αποφασίσουν να μην το χρησιμοποιήσουν, να το αγνοήσουν, να το παρακάμψουν ή να το αντιστρέψουν. Τέλος, πρέπει να μπορούν να παρέμβουν ή να διακόψουν τη λειτουργία μέσω κουμπιού διακοπής ή παρόμοιας διαδικασίας που το φέρνει σε ασφαλή κατάσταση.

Κάθε ρήμα δημιουργεί διαφορετική υποχρέωση σχεδιασμού. Η κατανόηση χρειάζεται χρήσιμες πληροφορίες για το πεδίο εφαρμογής και τους περιορισμούς. Η παρακολούθηση χρειάζεται σήματα, χρόνο και μια διαδρομή για να τα εξετάσει κανείς. Η επίγνωση της προκατάληψης αυτοματοποίησης χρειάζεται εκπαίδευση και μια διεπαφή που δεν μετατρέπει μια σύσταση σε προεπιλεγμένη απόφαση. Η ερμηνεία χρειάζεται αποδεικτικά στοιχεία και πλαίσιο. Η παράκαμψη χρειάζεται εξουσιοδότηση και αρχείο διαφωνίας. Η διακοπή χρειάζεται μια μετάβαση κατάστασης που είναι ασφαλέστερη από τη συνέχιση. Ένας ενιαίος πράσινος πίνακας ελέγχου δεν μπορεί να ικανοποιήσει πέντε διαφορετικά ρήματα μόνο και μόνο επειδή είναι μεγάλος.

Η Πράξη περιλαμβάνει επίσης έναν πιο συγκεκριμένο κανόνα για ορισμένα συστήματα βιομετρικής ταυτοποίησης υψηλού κινδύνου. Στις περιπτώσεις που καλύπτονται από τη διάταξη, δεν μπορεί να ληφθεί απόφαση βάσει του αποτελέσματος ταυτοποίησης, εκτός εάν αυτό έχει επαληθευτεί και επιβεβαιωθεί χωριστά από τουλάχιστον δύο αρμόδια, εκπαιδευμένα και εξουσιοδοτημένα φυσικά πρόσωπα, με την επιφύλαξη των αναφερόμενων νομικών εξαιρέσεων. Αυτό είναι ένα συγκεκριμένο ευρωπαϊκό παράδειγμα όπου η εποπτεία εκφράζεται ως ανεξάρτητη εξουσία και όχι ως ένας μεμονωμένος αξιολογητής που κάνει κλικ σε μια σύσταση. Δείχνει επίσης γιατί ο σχεδιασμός πρέπει να κατονομάζει το είδος της απόφασης και τα αποδεικτικά στοιχεία που απαιτούνται για αυτήν.

Το άρθρο 14 δεν προβλέπει ένα ενιαίο καθολικό μοντέλο στελέχωσης. Θέτει ένα όριο. Το πρόσωπο πρέπει να έχει επαρκή ικανότητα, εκπαίδευση και εξουσία για να ασκήσει τον ρόλο. Ο πάροχος και ο υπεύθυνος ανάπτυξης πρέπει να καταστήσουν τον έλεγχο αναλογικό προς το σύστημα. Ο οργανισμός εξακολουθεί να πρέπει να αποφασίσει ποιοι ρόλοι εκτελούν ποιες ενέργειες, πότε η διακοπή είναι υποχρεωτική, πώς χειρίζεται μια υπόθεση που τελεί υπό αναστολή και τι συνιστά ασφαλή επανάληψη. Ο νόμος μπορεί να απαιτήσει την πόρτα. Δεν μπορεί να επιλέξει το πρόσωπο που έχει το κλειδί σε κάθε κτίριο.

Οι πέντε δυνάμεις που κρύβονται στη λέξη εποπτεία

Βοηθά να εξετάσουμε τις πέντε πρακτικές δυνάμεις του άρθρου 14 μία προς μία. Η πρώτη είναι η κατανόηση. Ένας ρόλος εποπτείας δεν μπορεί να βασιστεί σε ένα σύνθημα όπως το μοντέλο είναι συνήθως ακριβές. Ο ρόλος χρειάζεται τον επιδιωκόμενο σκοπό, τους γνωστούς περιορισμούς, τις συνθήκες εισόδου, τα σχετικά αποδεικτικά στοιχεία απόδοσης, τους τρόπους αστοχίας, την πολιτική ενημέρωσης και τη σημασία του αποτελέσματος στην πραγματική ροή εργασίας. Η κατανόηση δεν είναι το ίδιο με την ανάγνωση μιας κάρτας μοντέλου. Είναι η ικανότητα να αναγνωρίζει κανείς πότε μια πραγματική υπόθεση βρίσκεται εκτός των συνθηκών υπό τις οποίες αξιολογήθηκε το σύστημα.

Το δεύτερο είναι η παρακολούθηση. Η παρακολούθηση συχνά περιορίζεται στη διαθεσιμότητα, την καθυστέρηση και ένα σκορ μοντέλου. Αυτά τα μεγέθη έχουν σημασία, αλλά μια υπηρεσία μπορεί να είναι διαθέσιμη και ταυτόχρονα λανθασμένη. Ένα μοντέλο μπορεί να διατηρεί τη συνολική του απόδοση ενώ μια συλλογή πηγών γίνεται παρωχημένη, μια γλωσσική κατανομή αλλάζει, μια προθεσμία πολιτικής παρέρχεται ή μια κατάντη ομάδα αρχίζει να χρησιμοποιεί μια σύσταση ως αυτόματη απόφαση. Η λειτουργική παρακολούθηση ακολουθεί τη συνέπεια. Αναζητά απροσδόκητη απόδοση, αλλαγές στα δεδομένα εισόδου, αλλαγές στη διαδρομή, ασυνήθιστα μοτίβα παράκαμψης, περιπτώσεις που έχουν αποκλειστεί, παράπονα και ενδείξεις ότι το σύστημα καλείται να κάνει μια δουλειά που δεν του ανατέθηκε.

Το τρίτο είναι η ερμηνεία. Ένα άτομο δεν μπορεί να ασκήσει εποπτεία αν το αποτέλεσμα φτάνει χωρίς τους όρους του. Η ερμηνεία μπορεί να απαιτεί τη σχετική πηγή, πληροφορίες εμπιστοσύνης, έκδοση πολιτικής, σήμα ποιότητας εισόδου, μέθοδο εξήγησης ή σύγκριση με μια ασφαλή βάση αναφοράς. Δεν απαιτεί μια μυστικιστική ματιά σε κάθε παράμετρο. Απαιτεί αρκετό πλαίσιο για να απαντηθεί η ερώτηση για την οποία είναι υπεύθυνο το άτομο: τι σημαίνει αυτό το αποτέλεσμα εδώ, τι δεν σημαίνει και τι πρέπει να γίνει αν τα στοιχεία δεν επαρκούν;

Το τέταρτο είναι η άρνηση και η αναστροφή. Το άρθρο 14 δίνει ρητά στον ρόλο της εποπτείας τη δυνατότητα να αποφασίσει να μη χρησιμοποιήσει το σύστημα, να αγνοήσει το αποτέλεσμά του, να το παρακάμψει ή να το αναστρέψει. Αυτό είναι ισχυρότερο από το να ζητείται από ένα άτομο να προσθέσει ένα σχόλιο αφού αποδεχθεί το αποτέλεσμα. Σημαίνει ότι η ροή εργασίας πρέπει να επιτρέπει σε μια διαφορετική απόφαση να επιβιώσει. Η εναλλακτική δεν πρέπει να αντιμετωπίζεται ως εξαίρεση που εξαφανίζεται στο επόμενο αυτοματοποιημένο βήμα. Αν ένας άνθρωπος μπορεί να διαφωνήσει αλλά το σύστημα θα εκτελέσει ούτως ή άλλως την αρχική σύσταση, τότε ο άνθρωπος έχει προσκληθεί να εκφράσει γνώμη, δεν του έχει δοθεί εποπτεία.

Το πέμπτο είναι η διακοπή. Η διακοπή ενεργεί στην ίδια τη λειτουργία. Μπορεί να σταματήσει μια κλήση εργαλείου πριν από μια εξωτερική αλλαγή, να θέσει μια υπόθεση σε αναμονή, να αποτρέψει την είσοδο νέας εργασίας σε μια διαδρομή, να ανακαλέσει μια άδεια ή να μεταφέρει την υπηρεσία σε μια περιορισμένη εναλλακτική. Η τεχνική μέθοδος ποικίλλει. Η ιδιότητα ασφάλειας δεν ποικίλλει: η λειτουργία πρέπει να φτάσει σε μια καθορισμένη κατάσταση στην οποία η επόμενη κρίσιμη ενέργεια δεν μπορεί να συμβεί μόνο από την ορμή.

Αυτές οι εξουσίες σχετίζονται μεταξύ τους αλλά δεν είναι εναλλάξιμες. Ένα άτομο μπορεί να κατανοεί ένα σύστημα αλλά να μην έχει τα δικαιώματα να το σταματήσει. Ένα άτομο μπορεί να έχει ένα κουμπί διακοπής αλλά κανένα χρήσιμο σήμα που να του λέει πότε να το πατήσει. Ένα άτομο μπορεί να παρακάμψει ένα αποτέλεσμα ενώ μια διαδικασία παρτίδας συνεχίζει να παράγει το ίδιο αποτέλεσμα για όλους τους άλλους. Ένα άτομο μπορεί να σταματήσει την εισαγωγή νέων περιπτώσεων ενώ οι υπάρχουσες εργασίες συνεχίζουν να γράφουν σε ένα εξωτερικό σύστημα. Ο σχεδιασμός της εποπτείας πρέπει να συνδέει τις εξουσίες σε όλο τον πραγματικό κύκλο ζωής της εργασίας.

Αυτή η σύνδεση είναι επίσης εκεί όπου ο ανθρώπινος ρόλος αποκτά αξιοπρέπεια. Ο αναθεωρητής δεν είναι εκεί για να απορροφήσει την αβεβαιότητα του συστήματος με μια υπογραφή. Ο αναθεωρητής είναι εκεί για να ασκήσει μια περιορισμένη εξουσία που ο οργανισμός έχει σκόπιμα καταστήσει δυνατή. Η εργασία μπορεί να είναι δύσκολη. Μπορεί να απαιτεί εξειδίκευση στον τομέα, κρίση και θάρρος για να αμφισβητηθεί ένα δημοφιλές σύστημα. Αλλά η δυσκολία δεν είναι λόγος να κρύβεται ο έλεγχος. Είναι λόγος να προσδιορίζεται.

Ποιος παίρνει το κλειδί;

Δεν υπάρχει ένας μόνο άνθρωπος στον βρόχο. Συνήθως υπάρχουν αρκετές αρχές, καθεμία με διαφορετικό λόγο να παρέμβει. Ο πάροχος ελέγχει μέρη του σχεδιασμού και της κυκλοφορίας. Ο αναπτύσσων ελέγχει τον σκοπό, τη διαμόρφωση και τη λειτουργική χρήση. Το άτομο που έχει ανατεθεί στην εποπτεία ελέγχει μια συγκεκριμένη απόφαση ή παρέμβαση κατά τον χρόνο εκτέλεσης. Ένας κάτοχος τομέα ελέγχει αν ένα αποτέλεσμα είναι αποδεκτό σε ένα επαγγελματικό πλαίσιο. Ένας ρόλος ασφάλειας ή ιδιωτικότητας μπορεί να ελέγχει την πρόσβαση σε στοιχεία ή δεδομένα. Ένα επηρεαζόμενο άτομο μπορεί να έχει το δικαίωμα να αμφισβητήσει ένα αποτέλεσμα. Μια αρμόδια αρχή μπορεί να απαιτεί πληροφορίες, διορθωτικά μέτρα ή απόσυρση. Το να αντιμετωπίζονται όλα αυτά ως ένας ρόλος κάνει το σύστημα να ακούγεται απλό και τη λογοδοσία αδύνατη.

Η ευθύνη του παρόχου ξεκινά πριν το σύστημα φτάσει στον χρήστη. Ο πάροχος αποφασίζει ποιοι έλεγχοι είναι ενσωματωμένοι, ποιοι περιορισμοί τεκμηριώνονται, ποια αρχεία καταγραφής μπορούν να παραχθούν και ποιες αλλαγές θεωρούνται ουσιώδεις. Ένας πάροχος που λέει ότι ο αναπτύσσων μπορεί απλώς να παρακολουθεί το σύστημα πρέπει να δείξει πώς μπορεί να το κάνει αυτό με τη διεπαφή και τις πληροφορίες που παρέχονται. Αν η διακοπή εξαρτάται από μια μη τεκμηριωμένη εσωτερική εντολή ή από ένα δελτίο υποστήριξης με αβέβαιη ανταπόκριση, τότε η διακοπή δεν είναι δυνατότητα του αναπτύσσοντος. Είναι μια ελπίδα ότι ο προμηθευτής παραμένει σε εγρήγορση.

Ο αναπτύσσων έχει διαφορετική εξουσία. Ο αναπτύσσων αποφασίζει πού χρησιμοποιείται το σύστημα, για ποιο σκοπό, με ποια δεδομένα, υπό ποια ροή εργασίας και με ποια άτομα υπεύθυνα για την εποπτεία. Ένας αναπτύσσων μπορεί να μετατρέψει μια συμβουλευτική έξοδο σε απόφαση de facto μέσω του σχεδιασμού της διεπαφής, κινήτρων ή πίεσης, ακόμη και όταν ο πάροχος περιέγραψε το σύστημα προσεκτικά. Ο αναπτύσσων πρέπει επομένως να χαρτογραφήσει την τοπική διαδρομή και όχι απλώς να επαναλαμβάνει τον επιδιωκόμενο σκοπό του προμηθευτή. Το ίδιο στοιχείο μπορεί να έχει διαφορετικό προφίλ κινδύνου όταν συνδέεται με διαφορετική ενέργεια.

Ο ρόλος της εποπτείας κατά τη λειτουργία χρειάζεται μια στενότερη και σαφέστερη ανάθεση εξουσίας. Σε αυτό το άτομο μπορεί να επιτρέπεται να κρατά μια υπόθεση, να απορρίπτει μια σύσταση, να ζητά περισσότερα αποδεικτικά στοιχεία, να προωθεί το θέμα σε έναν ιδιοκτήτη τομέα ή να ενεργοποιεί μια ασφαλή διακοπή. Μπορεί να μην του επιτρέπεται να αλλάξει το μοντέλο, να διαγράψει αποδεικτικά στοιχεία, να προβεί σε νομικό προσδιορισμό ή να επαναφέρει μια ανασταλείσα διαδρομή. Αυτά τα όρια δεν αποτελούν προσβολή για τον ρόλο. Αποτρέπουν το άτομο που μπορεί να σταματήσει μια διαδικασία από το να μπορεί επίσης να σβήσει τον λόγο για τον οποίο τη σταματά.

Η εξουσία θα πρέπει να ακολουθεί τη συνέπεια. Ένας αξιολογητής που μπορεί να θέσει ένα σχέδιο σε αναμονή δεν χρειάζεται να μπορεί να αναστείλει κάθε διαδρομή στον οργανισμό. Ένα άτομο που μπορεί να σταματήσει μια ενέργεια σχετική με την ασφάλεια μπορεί να χρειάζεται πρόσβαση σε μια ευρύτερη ομάδα διαχείρισης περιστατικών και σαφή υποχρέωση ενημέρωσης. Ένας επαγγελματίας τομέα μπορεί να είναι το μόνο άτομο που επιτρέπεται να ανατρέψει μια έξοδο σε μια ρυθμιζόμενη απόφαση. Ένας υπεύθυνος ασφάλειας μπορεί να απομονώσει μια υπηρεσία ενώ μια άλλη αρχή αποφασίζει αν θα συνεχιστεί η χρήση. Το σημαντικό δεν είναι να δημιουργηθεί μια μεγάλη ιεραρχία. Είναι να γίνουν οι παραδόσεις μεταξύ των ρόλων σαφείς.

Η κλιμάκωση δεν πρέπει να συγχέεται με την παραίτηση από την ευθύνη. Αν ο πρώτος αξιολογητής προωθεί κάθε δύσκολη υπόθεση σε μια επιτροπή, το σύστημα δεν απέκτησε εποπτεία. Απέκτησε μια πιο αργή ουρά αναμονής. Μια διαδρομή κλιμάκωσης θα πρέπει να αναφέρει ποιο ζήτημα κλιμακώνεται, ποια εργασία παραμένει σε αναμονή όσο εκκρεμεί η απάντηση, ποιος πρέπει να ανταποκριθεί, ποια αποδεικτικά στοιχεία συνοδεύουν την υπόθεση και τι συμβαίνει αν η διαδρομή δεν είναι διαθέσιμη. Το πρώτο άτομο παραμένει υπεύθυνο για τη διατήρηση της υπόθεσης και τη χρήση της ασφαλούς προεπιλογής. Δεν απαιτείται να επινοήσει μόνο του την τελική απάντηση.

Η εξουσία χρειάζεται επίσης μια διαδρομή επιστροφής. Μια διακοπή χωρίς τρόπο επιστροφής του ελέγχου γίνεται είτε μόνιμη διακοπή λειτουργίας είτε σιωπηλή παράκαμψη. Η διαδρομή επιστροφής θα πρέπει να αναφέρει ποιος μπορεί να επαναφέρει τη λειτουργία, ποιες προϋποθέσεις πρέπει να πληρούνται, αν η καταγεγραμμένη κατάσταση παραμένει έγκυρη, ποια εκκρεμή εργασία χρειάζεται επαναξιολόγηση και πώς ενημερώνονται οι χρήστες ότι η διαδρομή έχει αλλάξει. Η επαναφορά είναι μια άλλη απόφαση. Της αξίζει η ίδια σοβαρότητα με τη διακοπή, αν και σπάνια έχει το ίδιο ελκυστικό κουμπί.

Η διακοπή πρέπει να είναι ασφαλής

Η φράση ασφαλής κατάσταση του κανονισμού για την τεχνητή νοημοσύνη αξίζει περισσότερη προσοχή από την εικόνα του υλικού για το κουμπί διακοπής. Ένα σύστημα μπορεί να σταματήσει να στέλνει νέα αιτήματα και παρόλα αυτά να αφήνει επικίνδυνη εργασία σε εξέλιξη. Μπορεί να τερματίσει μια διαδικασία στη μέση μιας συναλλαγής. Μπορεί να εγκαταλείψει μια έξοδο χωρίς να ενημερώσει το άτομο που περίμενε μια απόφαση. Μπορεί να απενεργοποιήσει την ορατή διεπαφή ενώ μια προγραμματισμένη εργασία συνεχίζεται στο παρασκήνιο. Μπορεί να σταματήσει το μοντέλο και να αφήσει μια προσωρινή σύσταση διαθέσιμη στην επόμενη υπηρεσία. Μια διακοπή είναι ασφαλής μόνο σε σχέση με τα πραγματικά αποτελέσματα του συστήματος.

Καθορίστε τις καταστάσεις πριν επιλέξετε το χειριστήριο. Μια ενεργή διαδρομή μπορεί να δέχεται, να αξιολογεί, να εισηγείται και να ενεργεί. Μια διαδρομή σε αναμονή μπορεί να μη δέχεται τίποτα νέο, αλλά να διατηρεί το υλικό που έχει ήδη ληφθεί. Μια διαδρομή σε διακοπή μπορεί να απορρίπτει κάθε σημαντική εργασία, ενώ επιτρέπει την εξουσιοδοτημένη επιθεώρηση. Μια υποβαθμισμένη διαδρομή μπορεί να παρέχει περιορισμένη υπηρεσία μόνο για ανάγνωση ή μόνο για ανθρώπινο χειρισμό. Μια αποσυρμένη διαδρομή μπορεί να απαιτεί νέα έγκριση πριν επανέλθει. Αυτές είναι σχεδιαστικές επιλογές, όχι καθολικές ονομασίες. Γίνονται χρήσιμες όταν οι άνθρωποι μπορούν να δουν σε ποια κατάσταση βρίσκονται και τι επιτρέπει η κάθε κατάσταση.

Η εργασία σε εξέλιξη χρειάζεται τον δικό της κανόνα. Ορισμένες λειτουργίες είναι αντιστρέψιμες και μπορούν να ολοκληρωθούν με ασφάλεια. Ορισμένες έχουν ήδη περάσει ένα εξωτερικό όριο και χρειάζονται μια αντισταθμιστική ενέργεια. Ορισμένες πρέπει να απορριφθούν και να αναδημιουργηθούν, επειδή τα στοιχεία δεν είναι πλέον αξιόπιστα. Ορισμένες έχουν χαμηλό αντίκτυπο και μπορούν να παραμείνουν ως προσχέδια. Το σύστημα δεν πρέπει να αναγκάζει τον χειριστή να μαντεύει από μια μόνο ένδειξη κατάστασης. Θα πρέπει να εκθέτει το σύνολο εργασιών, το σημείο μετάβασής του και την ενέργεια που θα πραγματοποιηθεί αν δεν γίνει τίποτα άλλο.

Μια ασφαλής κατάσταση προστατεύει επίσης τα στοιχεία. Η διακοπή ενός συστήματος με διαγραφή των προσωρινών του αρχείων μπορεί να αφαιρέσει το ίδιο το πλαίσιο που χρειάζεται για να κατανοηθεί η αποτυχία. Η διακοπή του με την αποθήκευση μυστικών σε μια ευρεία διαγνωστική εξαγωγή μπορεί να δημιουργήσει ένα δεύτερο περιστατικό. Το χειριστήριο χρειάζεται μια διαδρομή διατήρησης στοιχείων με όρια πρόσβασης, κανόνες διατήρησης και έναν κατονομαζόμενο υπεύθυνο. Η ασφάλεια και η ιδιωτικότητα δεν είναι αντίπαλοι εδώ. Και οι δύο απαιτούν σκόπιμο χειρισμό και όχι τη γνωστή πρακτική έκτακτης ανάγκης της αντιγραφής των πάντων σε έναν φάκελο με την ονομασία επείγον.

Η δοκιμή της διακοπής αποτελεί μέρος της ανάπτυξης του συστήματος. Ένα κουμπί που έχει πατηθεί μόνο σε μια επίδειξη αποδεικνύει ότι το κουμπί μπορεί να πατηθεί. Δεν αποδεικνύει ότι η είσοδος σταματά, ότι οι ενέργειες καταλήγουν, ότι τα αρχεία παραμένουν συνεπή, ότι οι ειδοποιήσεις φτάνουν στα σωστά άτομα ή ότι μια επανεκκίνηση δεν επαναλαμβάνει την εργασία δύο φορές. Η δοκιμή θα πρέπει να ασκεί την πραγματική διαδρομή, συμπεριλαμβανομένης μιας μερικής αποτυχίας και ενός χειριστή που έχει την προβλεπόμενη εξουσιοδότηση αλλά όχι την προσωπική γνώση του προγραμματιστή. Αν η διακοπή δεν μπορεί να δοκιμαστεί χωρίς ειδική προετοιμασία, δεν είναι ακόμη επιχειρησιακό χειριστήριο.

Μια ουρά αποτελεί μέρος της απόφασης

Η διακοπή ενός συστήματος τεχνητής νοημοσύνης συχνά φαντάζει ως διακοπή του μοντέλου. Στην πράξη, η ουρά γύρω από το μοντέλο αποτελεί μέρος της απόφασης. Η εργασία μπορεί να περιμένει να εισέλθει, να περιμένει αποτέλεσμα μοντέλου, να περιμένει ανθρώπινη αναθεώρηση, να περιμένει ένα επόμενο εργαλείο ή να περιμένει μια ειδοποίηση. Κάθε θέση έχει διαφορετικό κίνδυνο. Μια διακοπή που προστατεύει μόνο το μοντέλο μπορεί να επιτρέψει στη γύρω ουρά να συνεχίσει να αντιμετωπίζει τα παλιά αποτελέσματα ως έγκυρα.

Η εκκρεμής εργασία χρειάζεται μια πολιτική. Λαμβάνει ένα νέο αίτημα σαφή άρνηση, ειδοποίηση καθυστέρησης ή ανθρώπινη διαδρομή; Παραμένει χρησιμοποιήσιμο ένα αποτέλεσμα που παρήχθη πριν από τη διακοπή; Επισημαίνονται οι υποθέσεις που δεν έχουν ακόμη αναθεωρηθεί ως απαιτούμενες νέα αξιολόγηση; Διακρίνει το σύστημα την εργασία που διακόπηκε από ένα άτομο από την εργασία που απέτυχε τεχνικά; Μπορεί ένας χρήστης να αποσύρει ένα αίτημα ενώ αυτό βρίσκεται σε αναμονή; Οι λεπτομέρειες εξαρτώνται από την υπηρεσία, αλλά η απόφαση δεν μπορεί να αφεθεί στην προεπιλεγμένη συμπεριφορά επανάληψης της ουράς.

Οι επαναλήψεις είναι ιδιαίτερα αποκαλυπτικές. Μια τεχνική ουρά συχνά υποθέτει ότι μια λειτουργία που δεν ολοκληρώθηκε θα πρέπει να επιχειρηθεί ξανά. Μια ουρά διακυβέρνησης δεν μπορεί να υποθέσει ότι η ίδια σύσταση θα πρέπει να παραχθεί ξανά όταν ο λόγος της διακοπής είναι η αβεβαιότητα, το πεδίο εφαρμογής ή η πιθανή βλάβη. Η επανάληψη μπορεί να είναι ασφαλής για μια ταυτοδύναμη ανάγνωση και επισφαλής για μια εξωτερική ενέργεια. Η πολιτική διακοπής θα πρέπει επομένως να φέρει έναν λόγο και ένα επιτρεπόμενο επόμενο βήμα, και όχι απλώς μια κόκκινη ένδειξη.

Τα υπάρχοντα αποτελέσματα χρειάζονται ταξινόμηση. Κάποια είναι προσχέδια που κανένας άνθρωπος δεν έχει χρησιμοποιήσει. Κάποια έχουν επιδειχθεί σε έναν εργαζόμενο. Κάποια έχουν αντιγραφεί σε αρχείο απόφασης. Κάποια έχουν ενεργοποιήσει μια ειδοποίηση ή έχουν αλλάξει ένα σύστημα εκτός της διαδρομής τεχνητής νοημοσύνης. Ένας οργανισμός δεν μπορεί να αποφασίσει τι θα τα κάνει μέχρι να μάθει ποιο όριο διέσχισε το καθένα. Γι' αυτό η ιχνηλασιμότητα δεν είναι γραφειοκρατική διακόσμηση. Είναι ο χάρτης των συνεπειών που πρέπει να συγκρατήσει μια διακοπή.

Η ουρά αλλάζει επίσης τον φόρτο εργασίας των ανθρώπων. Μια διακοπή μπορεί να προστατεύσει τους ανθρώπους από μια μη ασφαλή αυτοματοποιημένη ενέργεια, δημιουργώντας ταυτόχρονα μεγάλο όγκο εργασίας αναθεώρησης. Αυτή η εργασία πρέπει να αναγνωριστεί, να ιεραρχηθεί και να εξοπλιστεί με πόρους. Διαφορετικά, ο οργανισμός θα ανοίξει τελικά ξανά τη διαδρομή επειδή οι κρατημένες υποθέσεις έγιναν άβολες, όχι επειδή βελτιώθηκαν τα στοιχεία. Μια παύση που απλώς μεταφέρει τη βλάβη σε μια εξαντλημένη χειροκίνητη ουρά είναι μια αναβολή με καλές προθέσεις.

Δεν υπάρχει ντροπή στο να γίνεται πιο αργή μια ουρά όταν η εναλλακτική είναι μια ανεξέταστη συνέπεια. Υπάρχει πρόβλημα σχεδιασμού όταν η ουρά δεν έχει μοντέλο χωρητικότητας, κανόνα διαλογής και τρόπο να ενημερώσει τους επηρεαζόμενους για το τι συμβαίνει. Η ανθρώπινη εποπτεία δεν είναι δωρεάν προσοχή. Είναι μια επιχειρησιακή υπηρεσία με όρια που θα έπρεπε να είναι γνωστά πριν ζητηθεί από το μηχάνημα να λειτουργήσει σε κλίμακα.

Μετά τη διακοπή, η μνήμη

Μια διακοπή είναι ένα γεγονός που αλλάζει τι γνωρίζει ο οργανισμός και τι είναι υποχρεωμένος να κάνει. Το αρχείο θα πρέπει να περιέχει το έναυσμα, τον χρόνο, τη διαδρομή, την κατάσταση πριν από την παρέμβαση, την εξουσία που χρησιμοποιήθηκε, το εύρος της αναστολής, την εργασία που επηρεάστηκε, τα στοιχεία που καταγράφηκαν, τις ειδοποιήσεις που έγιναν και τις προϋποθέσεις για αναθεώρηση. Θα πρέπει να διακρίνει την παρατήρηση από το συμπέρασμα. Ένας χειριστής μπορεί να καταγράψει ότι ένα αποτέλεσμα ήταν ασυνεπές με τα παρεχόμενα στοιχεία χωρίς να ισχυριστεί ότι έχει αποδειχθεί ένα περιστατικό. Η ακρίβεια στο αρχείο προστατεύει τόσο την έρευνα όσο και τους εμπλεκόμενους ανθρώπους.

Η Πράξη για την Τεχνητή Νοημοσύνη αντιμετωπίζει την τήρηση αρχείων ως τεχνική ιδιότητα για συστήματα υψηλού κινδύνου. Το άρθρο 12 απαιτεί τέτοια συστήματα να επιτρέπουν την αυτόματη καταγραφή γεγονότων καθ' όλη τη διάρκεια ζωής τους, με δυνατότητες καταγραφής που υποστηρίζουν την ιχνηλασιμότητα, τον εντοπισμό κινδύνων, την παρακολούθηση μετά τη διάθεση στην αγορά και την παρακολούθηση της λειτουργίας. Το άρθρο 19 αφορά τη διατήρηση αυτόματα δημιουργούμενων αρχείων καταγραφής υπό τον έλεγχο του παρόχου, με την επιφύλαξη του επιδιωκόμενου σκοπού και της ισχύουσας νομοθεσίας για την προστασία δεδομένων. Αυτό είναι μια χρήσιμη υπενθύμιση ότι μια διακοπή δεν μπορεί να εξαρτάται από ένα στιγμιότυπο οθόνης που συναρμολογείται εκ των υστέρων. Το σύστημα πρέπει να μπορεί να αφήνει ένα ίχνος ενώ λειτουργεί.

Η καταγραφή δεν είναι εντολή να συλλέγονται για πάντα όλα τα προσωπικά δεδομένα. Είναι απαίτηση να καταγράφονται τα γεγονότα που σχετίζονται με τον σκοπό και τον κίνδυνο. Ένα καλό αρχείο διακοπής μπορεί να χρησιμοποιεί αναφορές, κατακερματισμούς, αναγνωριστικά έκδοσης, περιεχόμενο με αποκρύψεις και ξεχωριστούς ελέγχους πρόσβασης. Μπορεί να διατηρεί τα δεδομένα εισόδου που χρειάζονται για αναπαραγωγή σε προστατευμένο χώρο αποθήκευσης αντί να τα τοποθετεί σε ένα συνηθισμένο πίνακα ελέγχου. Θα πρέπει να είναι δυνατή η διεξαγωγή έρευνας χωρίς να μετατρέπεται ο χώρος αποθήκευσης στοιχείων σε μια δεύτερη ανεξέλεγκτη περιοχή δεδομένων.

Η υποχρέωση διορθωτικών ενεργειών του παρόχου έχει επίσης σημασία. Όταν ένας πάροχος θεωρεί, ή έχει λόγο να θεωρεί, ότι ένα σύστημα υψηλού κινδύνου δεν συμμορφώνεται, η Πράξη απαιτεί τις αναγκαίες διορθωτικές ενέργειες, οι οποίες μπορεί να περιλαμβάνουν τη συμμόρφωσή του, την απόσυρσή του, την απενεργοποίησή του ή την ανάκλησή του, ανάλογα με την περίπτωση. Η επιλογή δεν είναι απόφαση μάρκετινγκ. Είναι μια αντίδραση που συνδέεται με στοιχεία, εύρος και κίνδυνο. Ένας υπεύθυνος ανάπτυξης μπορεί να χρειαστεί να διακόψει μια τοπική διαδρομή πριν ο πάροχος ολοκληρώσει αυτή την αξιολόγηση. Ένας πάροχος μπορεί να χρειαστεί να απενεργοποιήσει ή να αποσύρει μια διαδρομή που ο υπεύθυνος ανάπτυξης διατηρούσε σε λειτουργία. Οι δύο αρχές πρέπει να μπορούν να επικοινωνούν χωρίς να χάνουν τα στοιχεία που εξηγούν την αλλαγή.

Η παρακολούθηση μετά τη διάθεση στην αγορά επεκτείνει τη μνήμη πέρα από ένα μεμονωμένο συμβάν. Ο Κανονισμός περιγράφει ένα σύστημα που συλλέγει, τεκμηριώνει και αναλύει ενεργά και συστηματικά τα σχετικά δεδομένα καθ' όλη τη διάρκεια ζωής του συστήματος υψηλού κινδύνου. Το ζητούμενο δεν είναι να κοιτάζει ο πάροχος έναν πίνακα ελέγχου. Είναι να διαπιστωθεί αν το σύστημα εξακολουθεί να συμμορφώνεται και αν έχει αλλάξει το περιβάλλον γύρω του. Μια διακοπή μπορεί να είναι το πρώτο χρήσιμο σήμα σε αυτή τη διαδικασία. Μια σειρά από μικρές παρεμβάσεις μπορεί να αποκαλύψει περισσότερα για την καταλληλότητα ενός συστήματος από ό,τι μία προσεγμένη αξιολόγηση κατά την κυκλοφορία.

Τα σοβαρά περιστατικά έχουν ξεχωριστή οδό αναφοράς στον Κανονισμό, συμπεριλαμβανομένης της υποχρέωσης διερεύνησης και λήψης διορθωτικών μέτρων μετά την αναφορά. Το άρθρο δεν μετατρέπει κάθε παράκαμψη σε σοβαρό περιστατικό. Αυτή η διάκριση έχει σημασία. Ένας χειριστής που ανατρέπει μια σύσταση μπορεί να ασκεί έναν υγιή έλεγχο, όχι να ανακαλύπτει ένα γεγονός που πρέπει να αναφερθεί. Το αρχείο θα πρέπει να διατηρεί αρκετές πληροφορίες ώστε ο οργανισμός να αποφασίσει τι συνέβη, αντί να εξαναγκάζει κάθε διαφωνία είτε σε σιωπή είτε σε έναν δραματικό χαρακτηρισμό.

Η κλιμάκωση είναι διαδρομή, όχι διάθεση

Οι άνθρωποι συχνά λένε ότι μια δύσκολη υπόθεση θα πρέπει να κλιμακωθεί. Η φράση ακούγεται υπεύθυνη και δεν περιέχει σχεδόν καμία επιχειρησιακή πληροφορία. Σε ποιον να κλιμακωθεί; Για ποια απόφαση; Με ποια αποδεικτικά στοιχεία; Σε ποιο χρονικό διάστημα; Τι παραμένει σε εκκρεμότητα όσο εκκρεμεί η απάντηση; Τι συμβαίνει αν κανείς δεν απαντήσει; Μια διαδρομή που δεν απαντά σε καμία από αυτές τις ερωτήσεις θα επιβραβεύσει την επιμονή και όχι την κρίση. Η υπόθεση είτε θα περιφέρεται μέχρι η προθεσμία να γίνει η απόφαση, είτε θα επιστραφεί αθόρυβα σε εκείνον που πρώτος εντόπισε το πρόβλημα.

Μια χρήσιμη κλιμάκωση ξεκινά με ένα ερώτημα. Είναι το αποτέλεσμα εκτός του εγκεκριμένου σκοπού; Είναι τα αποδεικτικά στοιχεία ελλιπή; Έχει αλλάξει το σύστημα από την αξιολόγηση; Υπάρχει κίνδυνος για ένα θεμελιώδες δικαίωμα; Έχει ήδη συμβεί κάποια εξωτερική ενέργεια; Το ζήτημα είναι τεχνικό, νομικό, ειδικό για τον τομέα, σχετικό με την ασφάλεια ή συνδυασμός αυτών; Το ερώτημα καθορίζει ποιος ρόλος μπορεί να το απαντήσει. Μια κλιμάκωση που στέλνει την ίδια αδιαφοροποίητη υπόθεση σε κάθε ομάδα δεν είναι εξαντλητική. Είναι ένα ομαδικό email με μελλοντικό χρόνο.

Ο ρόλος της τοπικής εποπτείας θα πρέπει να έχει ένα ασφαλές προεπιλεγμένο σενάριο όσο το ζήτημα παραμένει ανοιχτό. Αυτό μπορεί να είναι αναστολή, άρνηση, επιστροφή σε διαδικασία μόνο με ανθρώπινο χειρισμό, διατήρηση προσχεδίου ή περιορισμός του συστήματος σε λειτουργία μόνο ανάγνωσης πληροφοριών. Η προεπιλογή θα πρέπει να είναι ορατή στο άτομο και, όπου ενδείκνυται, στον επηρεαζόμενο χρήστη. Η σιωπή δεν αποτελεί ασφαλή προεπιλογή όταν η ροή εργασίας συνεχίζεται από κάτω.

Τα αποδεικτικά στοιχεία πρέπει να συνοδεύουν την αναβάθμιση. Ο ρόλος που παραλαμβάνει δεν θα πρέπει να ανακατασκευάζει την υπόθεση από ένα αποτέλεσμα του μοντέλου και μια χρονική σήμανση. Θα πρέπει να λαμβάνει τη σχετική αναφορά εισόδου, το αποτέλεσμα, τις εκδόσεις μοντέλου και πολιτικής, το πηγαίο υλικό, το σήμα εμπιστοσύνης ή αβεβαιότητας, την κατάσταση ενέργειας, τις προηγούμενες παρεμβάσεις και την ακριβή απόφαση που απαιτείται. Εδώ έχει σημασία και η πειθαρχία περί απορρήτου. Στείλτε αρκετά για να απαντηθεί το ερώτημα, όχι ολόκληρη τη ζωή ενός ανθρώπου επειδή το κουμπί εξαγωγής ήταν εκεί κοντά.

Η αναβάθμιση χρειάζεται ένα ρολόι, αλλά δεν είναι κάθε ρολόι προθεσμία έγκρισης. Ένα ζήτημα χαμηλού αντικτύπου μπορεί να περιμένει μια συνήθη εξέταση. Μια ενέργεια υψηλού αντικτύπου μπορεί να απαιτεί άμεση αναστολή και διαδρομή εφημερίας. Ο κανόνας χρονισμού θα πρέπει να ορίζει τι συμβαίνει όταν λήγει το παράθυρο απόκρισης. Μπορεί να παρατείνει την αναστολή, να μεταβιβάσει την εξουσιοδότηση, να ειδοποιήσει έναν προϊστάμενο ή να απαιτήσει νέα απόφαση. Δεν θα πρέπει να μετατρέπει σιωπηρά μια ελλιπή απάντηση σε άδεια.

Το κλείσιμο αποτελεί μέρος της αναβάθμισης. Το αρχείο θα πρέπει να αναφέρει τι αποφασίστηκε, από ποιον, βάσει ποιων αποδεικτικών στοιχείων, με ποιους περιορισμούς και ποια παρακολούθηση. Εάν η απάντηση είναι ότι το σύστημα μπορεί να συνεχίσει μόνο σε στενότερο πλαίσιο, το νέο όριο θα πρέπει να εφαρμοστεί, όχι να θαυμάζεται. Εάν η απάντηση είναι ότι το σύστημα πρέπει να αποσυρθεί, οι επηρεαζόμενες εργασίες και οι χρήστες χρειάζονται ένα σχέδιο. Εάν η απάντηση είναι ότι η ανωμαλία ήταν καλοήθης, τα αποδεικτικά στοιχεία θα πρέπει να ενημερώνουν την παρακολούθηση και την εκπαίδευση. Μια αναβάθμιση που εξαφανίζεται μετά από μια συνάντηση δεν έχει γίνει θεσμική γνώση.

Η καλή αναβάθμιση προστατεύει επίσης το άτομο που εγείρει το ζήτημα. Η εξουσία να σταματήσει κανείς ένα σύστημα είναι άχρηστη εάν η χρήση της αντιμετωπίζεται ως έλλειψη αφοσίωσης. Οι οργανισμοί διδάσκουν τις πραγματικές τους προτεραιότητες μέσω του τι συμβαίνει αφού κάποιος πει όχι. Εάν η ανταπόκριση είναι περιέργεια, αποδεικτικά στοιχεία και υποστήριξη, οι άνθρωποι μαθαίνουν ότι η εποπτεία είναι μέρος της δουλειάς. Εάν η ανταπόκριση είναι κατηγορίες, καθυστέρηση και αίτημα για μεγαλύτερη θετικότητα, το σύστημα θα λαμβάνει λιγότερες προειδοποιήσεις και οι προειδοποιήσεις που θα λαμβάνει θα φτάνουν αργότερα.

Η ανθρώπινη εποπτεία είναι φόρτος εργασίας

Η αναφορά του νόμου σε ικανότητα, εκπαίδευση και εξουσιοδότηση διαβάζεται εύκολα ως απαίτηση διαχείρισης ανθρώπινου δυναμικού. Είναι επίσης απαίτηση δυναμικότητας. Ένα άτομο δεν μπορεί να παρακολουθεί αποτελεσματικά ένα σύστημα τεχνητής νοημοσύνης εάν η διεπαφή δείχνει υπερβολικό θόρυβο, η ουρά δεν αφήνει χρόνο για επιθεώρηση, τα αποδεικτικά στοιχεία φτάνουν σε διαφορετικό εργαλείο, οι αποφάσεις μετρώνται μόνο με βάση την ταχύτητα ή ο οργανισμός έχει αναθέσει τη δουλειά σε κάποιον χωρίς γνώση του πεδίου. Ο ρόλος μπορεί να υπάρχει στα χαρτιά και παρόλα αυτά να είναι αδύνατο να εκτελεστεί.

Η εκπαίδευση θα πρέπει να περιλαμβάνει τα όρια του συστήματος, τον εγκεκριμένο σκοπό, τα σημάδια μη αναμενόμενης απόδοσης, τη σημασία της αβεβαιότητας, τους μηχανισμούς παράκαμψης και διακοπής, το απόρρητο των αποδεικτικών στοιχείων και τη διαδρομή μετά την παρέμβαση. Θα πρέπει να περιλαμβάνει περιπτώσεις όπου το αποτέλεσμα φαίνεται εύλογο. Η εποπτεία χρειάζεται περισσότερο όταν η απάντηση δεν είναι αρκετά παράλογη ώστε να απορριφθεί άμεσα. Ένα μάθημα που διδάσκει στους ανθρώπους να εντοπίζουν μια καρτουνίστικα λανθασμένη απάντηση τους προετοιμάζει για μια επίδειξη, όχι για μια λειτουργική υπηρεσία.

Η προκατάληψη αυτοματισμού αξίζει πρακτική προσοχή. Μια σύσταση μπορεί να γίνει σημείο αναφοράς πριν καν ο αξιολογητής διαβάσει τα υποστηρικτικά στοιχεία. Μια ένδειξη εμπιστοσύνης μπορεί να εκληφθεί ως πιθανότητα, ακόμη κι όταν δεν είναι. Μια καλοδουλεμένη εξήγηση μπορεί να μοιάζει με ανεξάρτητη επιβεβαίωση, ενώ στην πραγματικότητα είναι απλώς μια επανάληψη. Η σειρά παρουσίασης στη διεπαφή έχει σημασία. Αν το σύστημα παρουσιάζει πρώτα την απάντησή του και μετά τα στοιχεία, ο αξιολογητής μπορεί να περάσει την υπόλοιπη διαδικασία υπερασπιζόμενος ή διορθώνοντας μια αρχική εντύπωση. Ένα κουμπί διακοπής που είναι κρυμμένο πίσω από την ίδια ροή εργασίας με την έγκριση στέλνει επίσης ένα μήνυμα για το ποια ενέργεια αναμένει ο οργανισμός.

Τα όρια φόρτου εργασίας είναι μέτρα ασφαλείας. Ένας αξιολογητής που πρέπει να εκκαθαρίσει μια μεγάλη ουρά μπορεί να μάθει να θεωρεί την προεπιλογή του μοντέλου ως την ταχύτερη ασφαλή επιλογή. Ένας ειδικός που λαμβάνει κάθε διφορούμενη υπόθεση μπορεί να αρχίσει να εγκρίνει απλώς για να κρατήσει την υπηρεσία σε λειτουργία. Μια μικρή ομάδα που διαχειρίζεται μια διαδρομή διακοπής σε επιφυλακή μπορεί να μην είναι διαθέσιμη τις ώρες που το σύστημα πραγματικά λειτουργεί. Αυτά δεν είναι προσωπικές αποτυχίες. Είναι προβλέψιμες αντιδράσεις σε έναν σχεδιασμό λειτουργίας που ζητά από την ανθρώπινη κρίση να αντισταθμίσει τον απεριόριστο αυτοματισμό.

Μετρήστε την ίδια την εργασία εποπτείας. Πόσο συχνά παρακάμπτονται τα αποτελέσματα; Πόσο συχνά επιχειρείται διακοπή; Ποια σήματα οδηγούν σε παρέμβαση; Πόσο καιρό παραμένουν ανοιχτές οι αναστολές; Ποιες ομάδες ή γλώσσες δημιουργούν μεγαλύτερη αβεβαιότητα; Πόση διόρθωση χρειάζεται πριν μπορέσει να χρησιμοποιηθεί ένα αποτέλεσμα; Οι μετρήσεις δεν αντικαθιστούν την κρίση, αλλά μπορούν να αποκαλύψουν ότι ο υποσχόμενος έλεγχος γίνεται τυπική επικύρωση. Ο στόχος δεν είναι να τιμωρηθεί ένα υψηλό ποσοστό παρακάμψεων. Είναι να αναρωτηθούμε τι μας λέει αυτό το ποσοστό για το σύστημα και τη ροή εργασίας.

Οι ευρωπαϊκές παραδόσεις ασφαλείας το γνωρίζουν ήδη αυτό

Η πολιτική γλώσσα της Ευρώπης για την αξιόπιστη τεχνητή νοημοσύνη δεν ξεκίνησε με τον νόμο για την τεχνητή νοημοσύνη. Το 2019, η Ομάδα Εμπειρογνωμόνων Υψηλού Επιπέδου της Ευρωπαϊκής Επιτροπής για την τεχνητή νοημοσύνη δημοσίευσε τις Κατευθυντήριες Γραμμές για την Αξιόπιστη Τεχνητή Νοημοσύνη. Οι κατευθυντήριες γραμμές προσδιορίζουν την ανθρώπινη δράση και εποπτεία ως μία από τις επτά απαιτήσεις και περιγράφουν προσεγγίσεις με τον άνθρωπο στη διαδικασία, τον άνθρωπο πάνω από τη διαδικασία και τον άνθρωπο σε θέση διοίκησης. Συνδέουν επίσης την εποπτεία με την τεχνική ευρωστία, τα εφεδρικά σχέδια, τη διαφάνεια, την ιχνηλασιμότητα και τη λογοδοσία. Το σημαντικό σημείο δεν είναι το λεξιλόγιο. Είναι η απόφαση να περιγραφεί η αξιοπιστία ως ένα σύνολο συνθηκών που μπορούν να αξιολογηθούν.

Η μεταγενέστερη εργασία αξιολόγησης της Επιτροπής δίνει στους οργανισμούς έναν τρόπο να μετατρέψουν αυτές τις συνθήκες σε ερωτήσεις. Γνωρίζουν οι άνθρωποι ότι αλληλεπιδρούν με ένα σύστημα τεχνητής νοημοσύνης; Μπορούν να κατανοήσουν τις δυνατότητες και τους περιορισμούς του συστήματος; Μπορούν να παρέμβουν και να αποφασίσουν να μην το χρησιμοποιήσουν; Υπάρχουν μηχανισμοί επανόρθωσης; Μια λίστα ελέγχου δεν καθιστά μια λειτουργία ασφαλή. Αλλά καθιστά πιο δύσκολο να προσποιηθεί κανείς ότι ένα άτομο που έχει οριστεί για εποπτεία είναι αυτόματα ένα άτομο που έχει την εξουσία να την ασκήσει.

Η εργασία του ENISA για την κυβερνοασφάλεια της τεχνητής νοημοσύνης προσεγγίζει το θέμα μέσω του κύκλου ζωής και του οικοσυστήματος γύρω από το μοντέλο. Η έκθεσή του για το τοπίο απειλών της τεχνητής νοημοσύνης του 2020 χαρτογραφεί περιουσιακά στοιχεία, φορείς, απειλές και στάδια από τις απαιτήσεις έως την ανάπτυξη. Αυτή η προοπτική είναι πολύτιμη για τη διακοπή, επειδή αυτό που πρέπει να απομονωθεί μπορεί να μην είναι το μοντέλο. Μπορεί να είναι μια πηγή δεδομένων, μια άδεια εργαλείου, ένα πακέτο ανάπτυξης, μια διαδρομή παρακολούθησης ή ένα εξάρτημα προμηθευτή. Μια διακοπή που σχεδιάζεται γύρω από το όνομα του μοντέλου μπορεί να αφήσει την πραγματική ικανότητα άθικτη αλλού στην αλυσίδα.

Αυτές είναι τεκμηριωμένες ευρωπαϊκές προσεγγίσεις, όχι ισχυρισμοί ότι η Ευρώπη έχει λύσει το ζήτημα της εποπτείας. Οι κατευθυντήριες γραμμές και ο νόμος θέτουν προσδοκίες. Το ENISA χαρτογραφεί ένα πρόβλημα ασφαλείας. Το έργο της υλοποίησης παραμένει τοπικό, τεχνικό και αναπόφευκτα καθημερινό. Κάποιος πρέπει ακόμα να αποφασίσει ποιος ρόλος μπορεί να κρατήσει τη διαδρομή στις τρεις το απόγευμα, ποια στοιχεία εμφανίζονται στην οθόνη του και ποιος απαντά όταν έχει χρησιμοποιηθεί η διακοπή.

Οι προμήθειες αποφασίζουν πριν από τους χειριστές

Πολλές αποτυχίες διακοπής είναι αποφάσεις προμηθειών που φορούν επιχειρησιακό προσωπείο. Η σύμβαση μπορεί να επιτρέπει στον πάροχο να αλλάξει ένα μοντέλο χωρίς εύλογη ειδοποίηση. Η υπηρεσία μπορεί να μην εκθέτει αρχεία καταγραφής ή αναγνωριστικό έκδοσης. Η εξαγωγή μπορεί να παραλείπει εκκρεμείς εργασίες και ιστορικό παρεμβάσεων. Η συμφωνία υποστήριξης μπορεί να μην προσφέρει οδό ανταπόκρισης για αναστολή ασφαλείας. Ο αγοραστής μπορεί να έχει αποδεχθεί μια γενική δήλωση ότι ο πελάτης είναι υπεύθυνος για τη χρήση, χωρίς να έχει εξασφαλίσει τους ελέγχους που απαιτούνται για την άσκηση αυτής της ευθύνης. Όταν ο χειριστής ζητήσει τον διακόπτη απενεργοποίησης, η σύμβαση έχει ήδη αποφασίσει αν αυτός υπάρχει.

Η προμήθεια θα πρέπει επομένως να θέτει επιχειρησιακά ερωτήματα. Ποιο μέρος μπορεί να απενεργοποιήσει κάθε διαδρομή; Μπορεί ο αναπτύσσων να σταματήσει μια κρίσιμη ενέργεια χωρίς να περιμένει την υποστήριξη του παρόχου; Τι συμβαίνει με τις εργασίες σε εξέλιξη και τις εργασίες σε αναμονή; Ποια κατάσταση καταγράφεται; Πώς ανακοινώνονται οι αλλαγές; Μπορεί ο πελάτης να ανακτήσει αρχεία καταγραφής και αποδεικτικά στοιχεία σε χρησιμοποιήσιμη μορφή; Ποια είναι η εναλλακτική όταν η υπηρεσία δεν είναι διαθέσιμη; Ποιοι ρόλοι έχουν εκπαιδευτεί και ποιος χρηματοδοτεί αυτή την εκπαίδευση; Πώς διορθώνεται ένα αμφισβητούμενο αποτέλεσμα; Πώς αποχωρεί ο οργανισμός χωρίς να χάσει τα αρχεία που απαιτούνται για να εξηγηθούν προηγούμενες αποφάσεις;

Αυτά τα ερωτήματα δεν αποτελούν απόπειρα να συμπεριφέρεται κάθε προμηθευτής σαν δημόσια αρχή. Είναι ένας τρόπος να παραμένει η εξουσία ευθυγραμμισμένη με τη χρήση. Αν ένας οργανισμός φέρει το καθήκον να προστατεύει τους ανθρώπους που επηρεάζονται από ένα σύστημα, χρειάζεται αρκετό έλεγχο επί της διαδρομής για να εκπληρώσει αυτό το καθήκον. Μια σύμβαση που αφήνει τον πελάτη υπεύθυνο αλλά επιχειρησιακά ανίσχυρο δεν είναι μοντέλο διακυβέρνησης. Είναι μεταβίβαση ευθύνης με λογότυπο.

Ένα σύντομο σημείωμα από εμάς

Στη Dweve, η εργασία μας στην υπεύθυνη τεχνητή νοημοσύνη βάσει κατάστασης υποστηρίζει το ίδιο μετρημένο επιχείρημα από την πλευρά της μηχανικής: μια υπεύθυνη ροή εργασίας έχει ονομασμένες καταστάσεις, φύλακες, αρχεία, ιδιοκτήτες και εξόδους. Αυτό δεν είναι ισχυρισμός ότι ένα διάγραμμα μπορεί να λύσει τη διακυβέρνηση. Είναι μια υπενθύμιση ότι οι αρχές χρειάζονται ένα σημείο προσγείωσης όταν ένα σύστημα βρίσκεται σε λειτουργία. Είτε το εργαλείο είναι ένα στοιχείο της Dweve, μια υπηρεσία του δημόσιου τομέα ή ένα μοντέλο προμηθευτή, το τεστ είναι το ίδιο. Μπορεί ένα πραγματικό πρόσωπο να δει το πρόβλημα, να ασκήσει εξουσία, να σταματήσει την επόμενη συνέπεια, να διατηρήσει τα αποδεικτικά στοιχεία και να επαναφέρει την εργασία σε μια υπερασπίσιμη κατάσταση;

Ερωτήματα πριν από την ανάπτυξη

Πριν ένα μοντέλο εισέλθει σε μια κρίσιμη ροή εργασίας, θέστε τα ερωτήματα διακοπής στον χώρο όπου το σύστημα θα λειτουργεί πραγματικά. Μην τα αφήνετε σε μια αναθεώρηση πολιτικής που δεν βλέπει ποτέ την ουρά, την πύλη εργαλείων ή το πρόσωπο που θα λάβει την ειδοποίηση.

• Τι ακριβώς μπορεί να διακοπεί; Προσδιορίστε τη διαδρομή του μοντέλου, την κλήση εργαλείου, την ουρά, την ειδοποίηση, την ενέργεια εγγραφής και την κατάντη υπηρεσία. Αν η απάντηση είναι μόνο η διεργασία του μοντέλου, αναζητήστε τη δυνατότητα που παραμένει μετά τη διακοπή της.
• Ποιος μπορεί να το διακόψει χωρίς να ρωτήσει τον κατασκευαστή; Προσδιορίστε τον ρόλο εκτέλεσης, την εξουσία του, το εφεδρικό σχέδιο και το όριό του. Το άτομο δεν θα πρέπει να χρειάζεται ιδιωτική γνώση της υλοποίησης για να χρησιμοποιήσει το στοιχείο ελέγχου.
• Ποιο σήμα τού λέει να ενεργήσει; Ορίστε τις ανωμαλίες, τα ελλείποντα αποδεικτικά στοιχεία, τη σύγκρουση εμβέλειας, τη μη αποδεκτή αβεβαιότητα, την αλλαγή πολιτικής, την ανησυχία ασφαλείας και την πρόκληση από τον χρήστη με όρους που μπορεί να παρατηρήσει ο χειριστής.
• Τι συμβαίνει με την εργασία που βρίσκεται ήδη σε εξέλιξη; Διαχωρίστε τις νέες εισροές, την εργασία σε ουρά, τις εν εξελίξει λειτουργίες, τα αποτελέσματα που εμφανίζονται σε ανθρώπους και τις ενέργειες που έχουν ήδη εφαρμοστεί. Αποδώστε ασφαλή μεταχείριση σε καθένα από αυτά.
• Ποια είναι η ασφαλής κατάσταση; Περιγράψτε τι αποδέχεται, απορρίπτει, κρατά, ολοκληρώνει ή εκθέτει το σύστημα μετά τη διακοπή. Ελέγξτε ότι η κατάσταση είναι πραγματική και όχι απλώς μια ένδειξη στην οθόνη.
• Ποια αποδεικτικά στοιχεία διατηρούνται; Διατηρήστε τη σχετική είσοδο, έξοδο, εκδόσεις, πολιτική, αναφορές πηγών, ανθρώπινες ενέργειες, χρονισμό και ειδοποιήσεις με κατάλληλους ελέγχους απορρήτου.
• Ποιος λαμβάνει την κλιμάκωση; Δηλώστε το ερώτημα απόφασης, το χρονικό περιθώριο απόκρισης, το πακέτο αποδεικτικών στοιχείων και την προεπιλογή ενώ αναμένει. Μια λίστα διανομής δεν είναι χάρτης εξουσίας.
• Ποιος μπορεί να συνεχίσει, να περιορίσει ή να αποσύρει τη διαδρομή; Καταστήστε σαφή την απόφαση επιστροφής. Προσδιορίστε τις προϋποθέσεις, την επαναξιολόγηση, την επικοινωνία με τον χρήστη και το έναυσμα αναθεώρησης που τη συνοδεύουν.
• Τι θα σας δείξει ότι ο έλεγχος αποτυγχάνει; Παρατηρήστε τα μοτίβα παράκαμψης, τη διάρκεια αναμονής, τα επαναλαμβανόμενα περιστατικά, τα άνισα αποτελέσματα, την πίεση στην ουρά, τα παράπονα χρηστών και την απόκλιση στη γύρω ροή εργασίας. Μια σπάνια χρησιμοποιούμενη διακοπή μπορεί να σημαίνει ασφαλές σύστημα ή κρυφό έλεγχο.

Οι ερωτήσεις είναι σκόπιμα απλές. Δεν αντικαθιστούν την εκτίμηση κινδύνου, τη διαδικασία συμμόρφωσης, το σχέδιο διαχείρισης περιστατικών ή τη νομική αναθεώρηση. Είναι το σημείο όπου αυτές οι δραστηριότητες γίνονται επιχειρησιακές. Αν ο οργανισμός δεν μπορεί να τις απαντήσει, η εργασία που λείπει δεν είναι μια φιλοσοφική διαφωνία για το αν πρέπει να εμπιστευόμαστε την τεχνητή νοημοσύνη. Είναι ένα ελλιπές μέρος του συστήματος.

Η εξουσία διακοπής είναι η εξουσία φροντίδας

Ένα μοντέλο μπορεί να κάνει λάθος με τρόπο που φαίνεται συνηθισμένος. Η πηγή είναι παλιά. Η είσοδος είναι ελλιπής. Η διαδρομή έχει επεκταθεί. Ένα όριο μετακινήθηκε. Μια μετάφραση άλλαξε το νόημα. Μια άδεια εργαλείου έζησε περισσότερο από τον σκοπό της. Στον αναθεωρητή εμφανίζεται το συμπέρασμα αλλά όχι τα αποδεικτικά στοιχεία. Δεν ηχεί κανένας συναγερμός επειδή το σύστημα εξακολουθεί να είναι διαθέσιμο και ο πίνακας ελέγχου παραμένει πράσινος. Η βλάβη ξεκινά ως μια μικρή αναντιστοιχία μεταξύ του τι επιτρεπόταν να κάνει το σύστημα και του τι αναμένει πλέον ο οργανισμός από αυτό.

Η ανθρώπινη εποπτεία είναι η απάντηση του θεσμού σε αυτή την αναντιστοιχία, αλλά μόνο όταν είναι κάτι περισσότερο από παρουσία. Ο ρόλος εποπτείας χρειάζεται τη γνώση για να αναγνωρίσει ένα πρόβλημα, τον χρόνο για να το διερευνήσει, την εξουσία να αρνηθεί ή να διακόψει, την ασφαλή κατάσταση που καθιστά τη διακοπή ουσιαστική και τα αρχεία που επιτρέπουν σε άλλους να κατανοήσουν τι συνέβη. Χρειάζεται κλιμάκωση που να φέρει ένα ερώτημα και αποδεικτικά στοιχεία και όχι ένα αόριστο αίτημα βοήθειας. Χρειάζεται επανέναρξη που να είναι απόφαση και όχι το τέλος μιας διακοπής λειτουργίας.

Η ευρωπαϊκή πράξη για την τεχνητή νοημοσύνη ορθώς χρησιμοποιεί τη γλώσσα της παρέμβασης και της ασφαλούς διακοπής για τα συστήματα υψηλού κινδύνου. Δίνει στη διακυβέρνηση ένα φυσικό πλεονέκτημα. Ζητά από τους ανθρώπους που σχεδιάζουν και αναπτύσσουν συστήματα να καταστήσουν δυνατό τον ανθρώπινο έλεγχο κατά τη χρήση και όχι απλώς αξιέπαινο κατ' αρχήν. Οι προηγούμενες εργασίες της Επιτροπής για την αξιόπιστη τεχνητή νοημοσύνη και η προσέγγιση κύκλου ζωής του ENISA ενισχύουν την ίδια κατεύθυνση: η εποπτεία ανήκει στη λειτουργία του συστήματος, στα αποδεικτικά στοιχεία του και στην ευρύτερη αλυσίδα εφοδιασμού του.

Στην Dweve, προτιμούμε την άδοξη εκδοχή αυτής της ιδέας. Ένα σοβαρό σύστημα πρέπει να γνωρίζει τις καταστάσεις του, τα όριά του και τον ιδιοκτήτη του. Πρέπει να μπορεί να κρατά εργασία, να εξηγεί γιατί την κράτησε και να σταματά με ειλικρίνεια όταν τα στοιχεία δεν επαρκούν. Αυτό δεν είναι ιδιαίτερη αρετή κάποιας συγκεκριμένης αρχιτεκτονικής. Είναι ο ελάχιστος σεβασμός που οφείλεται στους ανθρώπους που θα ζήσουν με το αποτέλεσμα.

Όταν το μοντέλο κάνει λάθος, το καθοριστικό ερώτημα δεν είναι αν ήταν τεχνικά παρών κάποιος άνθρωπος. Είναι αν μια συγκεκριμένη ανθρώπινη αρχή θα μπορούσε να αλλάξει ό,τι επακολούθησε και αν ο οργανισμός θα μπορούσε να θυμηθεί την αλλαγή. Αν η απάντηση είναι ναι, η εποπτεία κάνει τη δουλειά της. Αν η απάντηση είναι όχι, το σύστημα έχει κάποιον άνθρωπο κοντά, κάπου ένα κουμπί και κανένα φρένο.

Πηγές

• Regulation (EU) 2024/1689, the Artificial Intelligence Act, Ευρωπαϊκό Κοινοβούλιο και Συμβούλιο, εκδόθηκε στις 13 Ιουνίου 2024 και δημοσιεύθηκε στις 12 Ιουλίου 2024. Εξετάστηκαν τα άρθρα 9, 11 έως 15, 19 έως 21, 72 και 73.
• Ethics guidelines for trustworthy AI, Ομάδα Εμπειρογνωμόνων Υψηλού Επιπέδου της Ευρωπαϊκής Επιτροπής για την Τεχνητή Νοημοσύνη, 8 Απριλίου 2019, σελίδα ενημερώθηκε στις 31 Ιανουαρίου 2024.
• Artificial Intelligence Cybersecurity Challenges, Οργανισμός της Ευρωπαϊκής Ένωσης για την Κυβερνοασφάλεια (ENISA), 15 Δεκεμβρίου 2020.
• The state machine behind responsible AI, Dweve, 12 Μαρτίου 2026. Αυτό το τοπικό άρθρο της Dweve χρησιμοποιήθηκε μόνο για τη σύντομη καταληκτική αναφορά στη γλώσσα της υπεύθυνης ροής εργασιών.