Ένα σύστημα υψηλού κινδύνου δεν είναι μοντέλο υψηλού κινδύνου

Ο κίνδυνος δεν είναι ετικέτα προειδοποίησης πάνω στο μοντέλο. Προκύπτει από τον επιδιωκόμενο σκοπό, την ανάπτυξη, την εξουσία, τις διεπαφές και τους...

Ένα σύστημα υψηλού κινδύνου δεν είναι μοντέλο υψηλού κινδύνου

Η ετικέτα προσαρτάται σε μια χρήση, όχι σε ένα κουτί

Ένα μοντέλο μπορεί να αντιγραφεί από έναν διακομιστή σε άλλον χωρίς να μάθει τίποτα. Τα βάρη του, ο κώδικάς του και οι διαφημιζόμενες δυνατότητές του μπορεί να παραμείνουν αμετάβλητα. Ωστόσο, το ερώτημα που θέτει η Ευρώπη για το πράγμα που το περιβάλλει μπορεί να αλλάξει εντελώς. Σε τι χρησιμεύει; Ποιος το χρησιμοποιεί; Ποια θέση μπορεί να αλλάξει; Ποια εγγραφή εισέρχεται στη ροή εργασίας; Ποιος μπορεί να αμφισβητήσει την απάντηση, να τη διορθώσει, να τη σταματήσει ή να ανακαλύψει αργότερα γιατί ακολουθήθηκε;

Αυτό δεν είναι μια απόπειρα να παρουσιαστεί ένα απλό θέμα ως πιο σπουδαίο από ό,τι είναι. Είναι η συνηθισμένη διαφορά μεταξύ ενός εξαρτήματος και ενός συστήματος. Ένας δίσκος φρένων δεν είναι όχημα δρόμου. Ένας τύπος υπολογιστικού φύλλου δεν είναι φορολογική απόφαση. Ένα μοντέλο τεχνητής νοημοσύνης γενικής χρήσης δεν είναι, από μόνο του, κάθε σύστημα τεχνητής νοημοσύνης που μπορεί αργότερα να οικοδομηθεί γύρω του. Η διάκριση είναι εύκολο να γίνει αποδεκτή με ένα νεύμα και εξαιρετικά εύκολο να χαθεί μόλις μια σύσκεψη προμηθειών αρχίσει να μιλά για ένα μοντέλο σαν να περιέχει ήδη ολόκληρη τη μελλοντική ανάπτυξη.

Ο κανονισμός της ΕΕ για την τεχνητή νοημοσύνη διατηρεί τη διάκριση σε κοινή θέα. Ορίζει ένα σύστημα τεχνητής νοημοσύνης και, ξεχωριστά, ορίζει ένα μοντέλο τεχνητής νοημοσύνης γενικής χρήσης. Οι κανόνες του για υψηλό κίνδυνο αφορούν συστήματα τεχνητής νοημοσύνης σε συγκεκριμένες περιστάσεις, συμπεριλαμβανομένων συστημάτων που αποτελούν εξαρτήματα ασφαλείας ρυθμιζόμενων προϊόντων και συστημάτων που χρησιμοποιούνται σε απαριθμούμενους τομείς. Ο κανονισμός καθιστά επίσης τον επιδιωκόμενο σκοπό κεντρικό στοιχείο της ταξινόμησης και της τεκμηρίωσης ενός συστήματος τεχνητής νοημοσύνης. Δεν προσκαλεί μια ομάδα να δείξει το όνομα ενός μοντέλου, να επισυνάψει μια κόκκινη, πορτοκαλί ή πράσινη ετικέτα και να δηλώσει ότι η εργασία ολοκληρώθηκε.

Αυτό θα πρέπει να είναι απελευθερωτικό όσο και απαιτητικό. Ένα μοντέλο δεν φέρει ένα μόνιμο ηθικό ωροσκόπιο. Μια προσεκτική ανάλυση μπορεί να είναι περιορισμένη όπου ο επιδιωκόμενος σκοπός είναι περιορισμένος και μπορεί να γίνει σοβαρή όπου η εξουσία, η έκθεση και οι συνέπειες γίνονται σοβαρές. Η παγίδα είναι ότι η ανάλυση πρέπει να ακολουθεί το πραγματικό σύστημα. Όχι την επίδειξη. Όχι την παρουσίαση του προμηθευτή. Όχι την ακίνδυνη εργασία που ξεκίνησε το έργο πριν από έξι μήνες. Το σύστημα που θα λαμβάνει εισόδους, θα καθιστά διαθέσιμες τις εξόδους, θα διαμορφώνει μια απόφαση και θα λειτουργεί μια συνηθισμένη Τρίτη.

Εξετάστε ένα σκόπιμα υποθετικό παράδειγμα. Το ίδιο γλωσσικό μοντέλο συνδέεται πρώτα με ένα εσωτερικό εργαλείο αναζήτησης γνώσης. Ανακτά αποσπάσματα πολιτικής για έναν εκπαιδευμένο συνάδελφο, ο οποίος μπορεί να ανοίξει την αρχική πηγή και να γράψει τη δική του απάντηση. Αργότερα, ένας οργανισμός συνδέει το μοντέλο με μια φόρμα υποβολής, δίνει στη σύστασή του μια θέση στην κορυφή μιας εγγραφής υπόθεσης, εφαρμόζει ένα χρονόμετρο στην υπόθεση και καθιστά την αποδοχή της σύστασης τον ταχύτερο τρόπο για να εκκαθαριστεί η ουρά. Δεν χρειάζεται κανένα πλασματικό συμβούλιο, ασθενής, υπάλληλος ή περιστατικό για να γίνει αντιληπτή η αλλαγή. Το μοντέλο μπορεί να είναι πανομοιότυπο. Ο ρόλος της εξόδου, η διαδρομή δεδομένων, το κίνητρο, το επηρεαζόμενο άτομο και η πρακτική εξουσία της διεπαφής δεν είναι.

Αυτό είναι το επιχείρημα του άρθρου: ένα σύστημα υψηλού κινδύνου δεν είναι ένα μοντέλο υψηλού κινδύνου. Ένα μοντέλο μπορεί να αποτελεί σημαντικό μέρος του συστήματος και μπορεί να έχει δικές του υποχρεώσεις. Αλλά η ανάλυση κινδύνου αποκτά νόημα μόνο όταν φτάνει στον επιδιωκόμενο σκοπό, στο πλαίσιο ανάπτυξης, στους χρήστες, στα επηρεαζόμενα άτομα και στην κατάντη ενσωμάτωση. Αυτές οι λεπτομέρειες δεν είναι γραφειοκρατία που επισυνάπτεται μετά τη μηχανική. Είναι οι περιστάσεις που δίνουν σε μια έξοδο θεσμική ισχύ.

Τοποθετήστε τον δείκτη ή επιλέξτε ένα επίπεδο. Το μοντέλο είναι ένα επίπεδο· η συνέπεια εμφανίζεται μόνο όταν τα επίπεδα συναντηθούν.

Η Ευρώπη χρησιμοποιεί επίτηδες δύο διαφορετικά ουσιαστικά

Η διάκριση ξεκινά στους ορισμούς της πράξης. Ένα σύστημα τεχνητής νοημοσύνης είναι ένα σύστημα που βασίζεται σε μηχανή και έχει σχεδιαστεί να λειτουργεί με διάφορα επίπεδα αυτονομίας, το οποίο μπορεί να παρουσιάζει προσαρμοστικότητα μετά τη διάθεσή του στην αγορά και συνάγει από τα δεδομένα εισόδου πώς να παράγει αποτελέσματα, όπως προβλέψεις, περιεχόμενο, συστάσεις ή αποφάσεις που μπορούν να επηρεάσουν φυσικά ή εικονικά περιβάλλοντα. Ένα μοντέλο τεχνητής νοημοσύνης γενικού σκοπού είναι διαφορετικό: είναι ένα μοντέλο τεχνητής νοημοσύνης ικανό να εκτελεί με επάρκεια ένα ευρύ φάσμα διακριτών εργασιών, ανεξάρτητα από το αν διατίθεται στην αγορά, και μπορεί να ενσωματωθεί σε ποικίλα κατάντη συστήματα ή εφαρμογές.

Αυτοί οι ορισμοί αλληλοκαλύπτονται στην καθημερινή συζήτηση, επειδή η ίδια λέξη, τεχνητή νοημοσύνη, κάνει μεγάλο μέρος αόρατης δουλειάς. Δεν θα έπρεπε να αλληλοκαλύπτονται σε μια αξιολόγηση. Ένα μοντέλο γενικού σκοπού είναι φτιαγμένο για να ταξιδεύει. Οι πιθανές χρήσεις του είναι σκόπιμα ευρείες. Ένα σύστημα τεχνητής νοημοσύνης είναι η επιχειρησιακή διάταξη μέσω της οποίας τα αποτελέσματα επηρεάζουν ένα περιβάλλον. Έχει σκοπό, διαμόρφωση, διεπαφή και πλαίσιο. Μπορεί να περιλαμβάνει ένα μοντέλο, πολλά μοντέλα, ντετερμινιστικούς κανόνες, βάσεις δεδομένων, αισθητήρες, ανθρώπους, διαδικασίες και πολλές μικρές αποφάσεις που κανείς δεν αποκαλεί τεχνητή νοημοσύνη μέχρι να αποτύχουν.

Γι' αυτό ένας πάροχος μοντέλου τεχνητής νοημοσύνης γενικού σκοπού και ένας πάροχος ή αναπτύσσων σύστημα τεχνητής νοημοσύνης δεν μπορούν απλώς να ανταλλάξουν λίστες ελέγχου. Η καθοδήγηση της Επιτροπής για τα μοντέλα τεχνητής νοημοσύνης γενικού σκοπού αναφέρει ότι οι πάροχοι μοντέλων πρέπει να διαθέτουν πληροφορίες και τεκμηρίωση στους κατάντη παρόχους συστημάτων τεχνητής νοημοσύνης, ώστε αυτοί να μπορούν να κατανοήσουν τις δυνατότητες και τους περιορισμούς του μοντέλου και να ανταποκριθούν στις δικές τους υποχρεώσεις. Αυτή η πρόταση είναι πιο ενδιαφέρουσα από ό,τι φαίνεται αρχικά. Προϋποθέτει ότι ο κατάντη πάροχος έχει εργασία που δεν μπορεί να ολοκληρωθεί από τον πάροχο του μοντέλου. Η τεκμηρίωση του μοντέλου ταξιδεύει, αλλά δεν ολοκληρώνει το ταξίδι.

Υπάρχει μια πρακτική ταπεινοφροσύνη σε αυτό. Ένας πάροχος μοντέλου μπορεί να περιγράψει την αρχιτεκτονική, τη διαδικασία εκπαίδευσης, την αξιολόγηση, τις επιδιωκόμενες εργασίες, τις απαιτήσεις ενσωμάτωσης, τα δεδομένα εισόδου και εξόδου, τους περιορισμούς και τις γνωστές συνθήκες. Μια κατάντη ομάδα γνωρίζει αν ένας χρήστης είναι εκπαιδευμένος ειδικός, αν ένα θιγόμενο πρόσωπο μπορεί να αμφισβητήσει ένα αποτέλεσμα, αν μια σύσταση είναι συμβουλευτική κατ' όνομα αλλά δεσμευτική στην πράξη, αν μια κλήση σε εξωτερική υπηρεσία αλλάζει ένα αρχείο και αν μια ελαττωματική ενέργεια μπορεί να αντιστραφεί. Κανένα από τα δύο μέρη δεν έχει πλήρη εικόνα μόνο του.

Ο διαχωρισμός δεν είναι παραθυράκι. Είναι ένας χάρτης ευθύνης. Λέει ότι ένα σύστημα δεν μπορεί να διέπεται ζητώντας από τον πάροχο του μοντέλου να υποσχεθεί έλεγχο σε μια ανάπτυξη που ούτε λειτουργεί ούτε βλέπει. Λέει επίσης ότι ένας ενσωματωτής δεν μπορεί να επικαλεστεί άγνοια όπου η τεκμηρίωση καθιστά ορατό έναν σημαντικό περιορισμό. Το ζητούμενο δεν είναι να γίνει μια προσεγμένη παράδοση μεταξύ νομικών οντοτήτων. Είναι να μην χαθεί το ερώτημα στο κενό μεταξύ τους.

Υπάρχει και μια δεύτερη διάκριση που αξίζει να κρατήσουμε, πέρα από την πρώτη. Η ταξινόμηση ως υψηλού κινδύνου δεν ισοδυναμεί από μόνη της με άδεια, ασφάλεια, δικαιοσύνη ή νομιμότητα. Στη κοινή τους γνώμη για την αρχική πρόταση της Επιτροπής, το Ευρωπαϊκό Συμβούλιο Προστασίας Δεδομένων και ο Ευρωπαίος Επόπτης Προστασίας Δεδομένων τόνισαν ότι η ταξινόμηση ως υψηλού κινδύνου δεν σήμαινε κατ' ανάγκην ότι ένα σύστημα ήταν νόμιμο αυτό καθαυτό ή ότι μπορούσε να αναπτυχθεί από τον χρήστη του ως τέτοιο. Η τελική Πράξη έχει αλλάξει το νομικό τοπίο από τότε που διατυπώθηκε εκείνη η γνώμη, αλλά η υποκείμενη προειδοποίηση παραμένει χρήσιμη. Η ταξινόμηση είναι μια ρυθμιστική προϋπόθεση. Δεν είναι απόδειξη ότι ο οργανισμός μπορεί να πάψει να σκέφτεται.

Αυτό έχει σημασία, διότι μια ένδειξη υψηλού κινδύνου μπορεί να οδηγήσει σε δύο αντίθετα σφάλματα. Η μία ομάδα μπορεί να τη θεωρήσει μόνιμο στίγμα για ένα μοντέλο και να αποφασίσει ότι η λύση είναι απλώς να μην ψάξει περισσότερο. Η άλλη μπορεί να θεωρήσει μια ολοκληρωμένη διαδικασία συμμόρφωσης ως άδεια για οποιοδήποτε μεταγενέστερο πλαίσιο χρήσης. Και οι δύο προσεγγίσεις αντικαθιστούν μια ετικέτα με ένα επιχείρημα. Η Ευρώπη έχει επιλέξει μια πιο άβολη προσέγγιση: να προσδιορίσει το σύστημα, τον σκοπό του και τον ρόλο του, και στη συνέχεια να εξετάσει τους σχετικούς κινδύνους και τις υποχρεώσεις καθ' όλη τη διάρκεια του κύκλου ζωής του.

Ο επιδιωκόμενος σκοπός είναι το σημείο από το οποίο ξεκινά η ανάλυση

Ο επιδιωκόμενος σκοπός ακούγεται μετριοπαθής, σχεδόν γραφειοκρατικός. Δεν είναι. Η Πράξη τον ορίζει ως τη χρήση για την οποία ένα σύστημα τεχνητής νοημοσύνης προορίζεται από τον πάροχό του, συμπεριλαμβανομένου του συγκεκριμένου πλαισίου και των συνθηκών χρήσης που προσδιορίζονται στις πληροφορίες που παρέχει ο πάροχος. Με άλλα λόγια, ο σκοπός δεν είναι ένα σύνθημα σε μια σελίδα προϊόντος. Περιλαμβάνει το πλαίσιο και τις συνθήκες υπό τις οποίες ο πάροχος δηλώνει ότι το σύστημα πρόκειται να χρησιμοποιηθεί. Μια χρήσιμη δήλωση σκοπού έχει σαφή όρια. Λέει τι κάνει το σύστημα, για ποιον, με ποια δεδομένα εισόδου, σε ποια ροή εργασίας και πού τελειώνει η εξουσία του.

Συγκρίνετε δύο περιγραφές. Η πρώτη λέει ότι ένα σύστημα χρησιμοποιεί τεχνητή νοημοσύνη για να βοηθήσει τους οργανισμούς να λαμβάνουν καλύτερες αποφάσεις. Είναι αρκετά γενική για να χωρέσει σε ένα σκηνικό συνεδρίου και υπερβολικά γενική για να λειτουργήσει. Η δεύτερη λέει ότι ένα σύστημα παρουσιάζει σχέδια συνοπτικών περιλήψεων με παραπομπές σε πηγές από έναν υπάρχοντα φάκελο υπόθεσης σε εκπαιδευμένους αξιολογητές· δεν μπορεί να λάβει, να διαβιβάσει ή να εφαρμόσει μια απόφαση· ο αξιολογητής πρέπει να επαληθεύει τις αναφερόμενες πηγές πριν χρησιμοποιήσει μια περίληψη· και η λειτουργία δεν είναι διαθέσιμη για κατηγορίες που απαιτούν ξεχωριστή νόμιμη διαδικασία. Η δεύτερη περιγραφή είναι λιγότερο συναρπαστική. Είναι επίσης κάτι με το οποίο ένας μηχανικός, ένας υπεύθυνος προμηθειών, ένας συνάδελφος συμμόρφωσης και ένα ενδιαφερόμενο πρόσωπο μπορούν να διαφωνήσουν με συγκεκριμένους όρους.

Ο σκοπός δεν χρειάζεται να είναι μια μόνο πρόταση. Σε ένα σοβαρό σύστημα, συνήθως είναι ένα συμπαγές πακέτο: έργο, αποτέλεσμα, χρήστης, πληττόμενος πληθυσμός, περιβάλλον, εξουσία, εξαιρέσεις, εξαρτήσεις και προϋποθέσεις. Οι απαιτήσεις τεχνικής τεκμηρίωσης της Πράξης αφήνουν χώρο ακριβώς για μια τέτοια περιγραφή. Το Παράρτημα IV ζητά γενική περιγραφή του συστήματος τεχνητής νοημοσύνης, συμπεριλαμβανομένου του επιδιωκόμενου σκοπού, των προσώπων και των ομάδων για τις οποίες προορίζεται να χρησιμοποιηθεί, και των συγκεκριμένων εκδόσεων ή μορφών με τις οποίες διατίθεται στην αγορά. Ζητά επίσης περιγραφές της αρχιτεκτονικής του συστήματος, των απαιτήσεων δεδομένων, των μέτρων ανθρώπινης εποπτείας, της παρακολούθησης του κύκλου ζωής και των μέτρων διαχείρισης κινδύνου. Η τεκμηρίωση έχει αυτό το εύρος, διότι μια κάρτα μοντέλου από μόνη της δεν μπορεί να περιγράψει μια ανάπτυξη.

Ο σκοπός είναι επίσης το σημείο όπου μια ομάδα ανακαλύπτει ότι περιέγραφε μια φιλοδοξία και όχι μια λειτουργία. Το «θα υποστηρίξουμε τους χειριστές υποθέσεων» μπορεί να κρύβει δώδεκα διαφορετικές ρυθμίσεις. Το εργαλείο αναζητά έγγραφα, ταξινομεί εργασίες, συντάσσει μια απάντηση, προτείνει μια κατηγορία, απορρίπτει μια αίτηση, προωθεί μια ειδοποίηση, ορίζει μια προτεραιότητα ή καλεί μια άλλη υπηρεσία; Ο συνάδελφος το χρησιμοποιεί πριν ή αφού διαμορφώσει μια ανεξάρτητη άποψη; Το αποτέλεσμα είναι μια πρόταση σε ένα πλευρικό πλαίσιο ή ένα πεδίο που πρέπει να συμπληρωθεί προτού προχωρήσει ο φάκελος; Το αποτέλεσμα είναι άμεσο, καθυστερημένο, αναστρέψιμο ή δύσκολο να εντοπιστεί; Η απάντηση αλλάζει το σύστημα, ακόμη και όταν η διεπαφή χρήστη φαίνεται οικεία.

Ο δηλωμένος σκοπός ενός παρόχου δεν μπορεί να εξαφανίσει την πραγματικότητα. Μια ομάδα δεν μπορεί να δώσει σε ένα σύστημα ευρεία πρακτική εξουσία, να το περιγράψει ως αβλαβή βοηθό και να περιμένει ότι η περιγραφή θα λύσει το ζήτημα. Ωστόσο, ένας σωστά οριοθετημένος σκοπός εξακολουθεί να αποτελεί έλεγχο. Λέει στους χρήστες ποια στοιχεία έχουν ληφθεί υπόψη, λέει στους ενοποιητές τι δεν πρέπει να επεκτείνουν αβασάνιστα και λέει στους αξιολογητές ποια αλλαγή θα άνοιγε εκ νέου την αξιολόγηση. Ένας ασαφής σκοπός μετατρέπει κάθε μεταγενέστερη ερώτηση σε διαφωνία για το τι εννοούνταν. Ένας οριοθετημένος σκοπός επιτρέπει σε έναν οργανισμό να αναρωτηθεί αν εξακολουθεί να κάνει αυτό που ενέκρινε.

Αυτό αποκτά ιδιαίτερη σημασία όταν ένας οργανισμός προβαίνει σε ουσιαστική τροποποίηση. Η Πράξη περιέχει κανόνες για περιπτώσεις όπου ένας διανομέας, εισαγωγέας, αναπτύσσων ή άλλο τρίτο μέρος μπορεί να καταστεί πάροχος, μεταξύ άλλων όταν διαθέτει σύστημα στην αγορά με δικό του όνομα, προβαίνει σε ουσιαστική τροποποίηση ή τροποποιεί τον σκοπό με τρόπο που καθιστά το σύστημα υψηλού κινδύνου. Η ακριβής νομική εφαρμογή εξαρτάται από τα πραγματικά περιστατικά και θα πρέπει να ελέγχεται ανάλογα με τα συμφραζόμενα. Το επιχειρησιακό δίδαγμα είναι απλούστερο: μια αλλαγή στην ενοποίηση μπορεί να αποτελέσει γεγονός διακυβέρνησης. Η μεταφορά ενός αποτελέσματος μοντέλου από ένα παράθυρο προσχεδίου σε μια ουρά αποφάσεων μπορεί να είναι ταυτόχρονα αλλαγή προϊόντος, αλλαγή ροής εργασίας και αλλαγή λογοδοσίας.

Το πλαίσιο δεν είναι σκηνικό

Το πλαίσιο ανάπτυξης συχνά αντιμετωπίζεται ως το κομμάτι που έρχεται μετά την πραγματική δουλειά: μια λίστα χωρών, μια επιλογή φιλοξενίας, μερικά προφίλ χρηστών, ίσως ένα διάγραμμα με βέλη που οδηγούν υπάκουα από τα αριστερά προς τα δεξιά. Αλλά το πλαίσιο διαμορφώνει τον κίνδυνο. Το ίδιο είδος αποτελέσματος μπορεί να είναι αδιάφορο σε ένα περιβάλλον και να έχει συνέπειες σε ένα άλλο. Ένα λανθασμένο συμπλήρωμα σε ένα βοήθημα γραφής μπορεί να διορθωθεί στην επόμενη πρόταση. Μια λανθασμένη προτεραιότητα σε μια ροή εργασίας με σπάνιους πόρους μπορεί να καθορίσει ποιο αρχείο θα δει πρώτο ένα άτομο. Μια βαθμολογία που φαίνεται να είναι μία από τις πολλές εισόδους μπορεί να καταστεί καθοριστική αν κάθε άλλη είσοδος είναι αργή, ασαφής ή κρυμμένη πίσω από άλλη ομάδα.

Η προσέγγιση υψηλού κινδύνου της Πράξης το αντικατοπτρίζει αυτό. Το άρθρο 6 συνδέει την ταξινόμηση υψηλού κινδύνου με συστήματα που προορίζονται να χρησιμοποιηθούν ως εξαρτήματα ασφάλειας ορισμένων προϊόντων ή με συστήματα που αναφέρονται στο παράρτημα III. Το παράρτημα III απαριθμεί τομείς όπου τα συστήματα τεχνητής νοημοσύνης μπορεί να είναι υψηλού κινδύνου επειδή προορίζονται για συγκεκριμένες χρήσεις, όπως ορισμένες βιομετρικές χρήσεις, κρίσιμες υποδομές, εκπαίδευση και επαγγελματική κατάρτιση, απασχόληση, πρόσβαση σε βασικές ιδιωτικές και δημόσιες υπηρεσίες και παροχές, επιβολή του νόμου, μετανάστευση και έλεγχος συνόρων, καθώς και απονομή δικαιοσύνης και δημοκρατικές διαδικασίες. Η νομική λεπτομέρεια έχει σημασία, αλλά έχει σημασία και η διατύπωση. Δεν λέει ότι ένα τεχνικό κατασκεύασμα είναι υψηλού κινδύνου αφηρημένα. Λέει επανειλημμένα ότι προορίζεται να χρησιμοποιηθεί.

Το άρθρο 6 περιέχει επίσης μια προϋπόθεση για ορισμένα συστήματα του παραρτήματος III: δεν θεωρούνται υψηλού κινδύνου εφόσον δεν ενέχουν σημαντικό κίνδυνο βλάβης για την υγεία, την ασφάλεια ή τα θεμελιώδη δικαιώματα των φυσικών προσώπων, μεταξύ άλλων επειδή δεν επηρεάζουν ουσιωδώς την έκβαση της λήψης αποφάσεων. Οι πάροχοι πρέπει να τεκμηριώνουν αυτή την αξιολόγηση πριν διαθέσουν το σύστημα στην αγορά ή το θέσουν σε λειτουργία. Αυτό δεν είναι γενική απαλλαγή. Είναι μια υπενθύμιση ότι το πραγματικό αποτέλεσμα του συστήματος έχει σημασία. Μια χρήσιμη ανάλυση περιέχει αρκετή λεπτομέρεια για να εξηγήσει γιατί ένα σύστημα επηρεάζει ή δεν επηρεάζει ουσιωδώς ένα αποτέλεσμα. Αν αυτή η εξήγηση δεν μπορεί να γραφτεί χωρίς γενικόλογες διατυπώσεις, η ομάδα έχει μάθει κάτι πριν από τη διάθεση.

Το πλαίσιο περιλαμβάνει τον χρόνο. Μια σύσταση στην αρχή μιας ευρείας έρευνας έχει διαφορετική επίδραση από μια σύσταση στο σημείο όπου κάποιος έχει μία μόνο ευκαιρία να προσκομίσει υλικό που λείπει. Περιλαμβάνει τον όγκο. Ένας μεμονωμένος αξιολογητής μπορεί να αμφισβητήσει ένα αποτέλεσμα όταν φτάνουν πέντε υποθέσεις την ημέρα και να το ακολουθήσει από προεπιλογή όταν φτάνουν πεντακόσιες πριν από το μεσημέρι. Περιλαμβάνει τη γλώσσα. Ένας αξιολογητής που μπορεί να διαβάσει τα αποδεικτικά στοιχεία στη δική του γλώσσα εργασίας μπορεί να ασκήσει διαφορετικό είδος εποπτείας από έναν αξιολογητή που λαμβάνει μια κατηγορηματική σύνοψη υλικού που δεν μπορεί να επιθεωρήσει ανεξάρτητα. Περιλαμβάνει την τοπική διαδικασία, τα δικαιώματα προσφυγής, τη στελέχωση, την πρόσβαση σε ειδικό, τη διαθεσιμότητα εναλλακτικής λύσης και το αν ένα αποτέλεσμα φτάνει σε ένα άτομο με αρκετή εξουσία για να κάνει κάτι χρήσιμο.

Τίποτα από αυτά δεν απαιτεί να ισχύει ένα επινοημένο σενάριο καταστροφής. Έτσι απλώς λειτουργούν τα συστήματα. Μια επίσημη πολιτική μπορεί να λέει «άνθρωπος στον βρόχο», αλλά το σύστημα μπορεί να είναι παρόλα αυτά λειτουργικά αυτόματο αν το άτομο δεν έχει χρόνο, πληροφορίες, εξουσία ή πρακτική δυνατότητα να διαφωνήσει. Το άρθρο 14 του κανονισμού κάνει επομένως λόγο για αποτελεσματική ανθρώπινη εποπτεία ανάλογη με τους κινδύνους, το επίπεδο αυτονομίας και το πλαίσιο χρήσης. Απαιτεί τα συστήματα υψηλού κινδύνου να σχεδιάζονται και να αναπτύσσονται έτσι ώστε οι άνθρωποι να μπορούν να κατανοούν τις σχετικές δυνατότητες και τους περιορισμούς, να παραμένουν ενήμεροι για την τάση να βασίζονται αυτόματα στην έξοδο, να ερμηνεύουν σωστά την έξοδο, να αποφασίζουν να μην τη χρησιμοποιήσουν, να την παρακάμπτουν ή να την αναστρέφουν και να σταματούν το σύστημα με ασφάλεια όπου ενδείκνυται. Αυτά είναι λειτουργικά ζητήματα. Δεν μπορούν να απαντηθούν μόνο από ένα σημείο αναφοράς μοντέλου.

Επιλέξτε μια στάση ανάπτυξης. Το μοντέλο παραμένει στη θέση του· τα όρια του συστήματος, η εξουσία και τα αποδεικτικά στοιχεία που απαιτούνται δεν παραμένουν.

Οι χρήστες αποτελούν μέρος της επιφάνειας ελέγχου

Είναι δελεαστικό να μιλάμε για τους χρήστες σαν να βρίσκονται έξω από το σύστημα, κρατώντας ένα πληκτρολόγιο και κάνοντας το ανθρώπινο κομμάτι να συμβεί. Αποτελούν μέρος της λειτουργικής διάταξης. Οι γνώσεις τους, ο φόρτος εργασίας τους, η εξουσία τους, τα κίνητρά τους και οι δίοδοι βοήθειας καθορίζουν τι κάνει η έξοδος. Ένα σύστημα σχεδιασμένο για έναν ειδικό που μπορεί να επιθεωρήσει το υλικό πηγής δεν είναι αυτόματα κατάλληλο για έναν γενικό χρήστη που αναμένεται να εργάζεται με ταχείς ρυθμούς. Ένα εργαλείο που είναι χρήσιμο για έναν αξιολογητή που μπορεί να απορρίψει μια σύσταση δεν είναι αυτόματα κατάλληλο για έναν συνάδελφο που μπορεί μόνο να κάνει κλικ στην έγκριση ή να περιμένει κάποιον άλλον.

Αυτό δεν σημαίνει ότι ο χρήστης πρέπει να αμφισβητεί κάθε στοιχείο κάθε φορά. Αυτός θα ήταν ένας παράξενος ορισμός της χρήσιμης τεχνολογίας. Σημαίνει ότι η εποπτεία θα πρέπει να σχεδιάζεται ως πραγματικό καθήκον. Το άτομο πρέπει να γνωρίζει πότε χρησιμοποιείται το σύστημα, ποιος είναι ο σχετικός περιορισμός, ποια στοιχεία είναι διαθέσιμα, τι είδους διαφωνία μπορεί να καταγράψει και τι συμβαίνει αφού την καταγράψει. Χρειάζεται εξουσία ανάλογη με την ευθύνη. Το να ζητά κανείς από κάποιον να επιβλέπει ένα αποτέλεσμα που δεν μπορεί να διακόψει, να διορθώσει ή να δρομολογήσει είναι λιγότερο ανθρώπινη εποπτεία και περισσότερο ανθρώπινο διάκοσμο.

Η Πράξη αναθέτει ρόλο στους παρόχους συστημάτων εδώ. Το άρθρο 26 απαιτεί από τους παρόχους συστημάτων υψηλού κινδύνου να λαμβάνουν κατάλληλα τεχνικά και οργανωτικά μέτρα ώστε να διασφαλίζουν ότι χρησιμοποιούν τα συστήματα σύμφωνα με τις συνοδευτικές οδηγίες. Ζητά από τους παρόχους να αναθέτουν την ανθρώπινη εποπτεία σε φυσικά πρόσωπα με την απαραίτητη ικανότητα, κατάρτιση και εξουσία, και να παρακολουθούν τη λειτουργία βάσει των οδηγιών. Σε ορισμένες περιπτώσεις απαιτεί επίσης τη διατήρηση αυτόματα παραγόμενων αρχείων καταγραφής υπό τον έλεγχό τους. Αυτό δεν είναι αίτημα να παραμένει κοντά ένα έμπειρο άτομο σε περίπτωση που η διεπαφή αγχωθεί. Είναι απαίτηση για τη διαμόρφωση μιας εργασιακής πρακτικής.

Η κατάρτιση συχνά συζητείται ως η πλήρης απάντηση. Δεν είναι. Η κατάρτιση μπορεί να βοηθήσει ένα άτομο να αναγνωρίσει έναν περιορισμό, αλλά δεν μπορεί να δημιουργήσει μια πηγή καταγραφής που η διεπαφή αποκρύπτει. Δεν μπορεί να δημιουργήσει χρόνο που καταναλώνει ο σχεδιασμός της ουράς αναμονής. Δεν μπορεί να δημιουργήσει εξουσία που μια σύμβαση επιφυλάσσει αλλού. Δεν μπορεί να επισκευάσει μια ενσωμάτωση που μετατρέπει μια προσεκτική σύσταση σε μη αναστρέψιμη ενέργεια. Ένας οργανισμός θα πρέπει να εκπαιδεύει τους ανθρώπους του, φυσικά. Θα πρέπει επίσης να καθιστά δυνατό το καθήκον για το οποίο εκπαιδεύονται στο σύστημα που πραγματικά τους δίνεται.

Υπάρχει ένα χρήσιμο τεστ: περιγράψτε την ενέργεια του χρήστη χωρίς να χρησιμοποιήσετε το ρήμα «επανεξετάζω». Τι διαβάζουν; Τι σύγκριση μπορούν να κάνουν; Τι μπορούν να απορρίψουν; Πού καταγράφεται ο λόγος; Ποιος τον βλέπει; Τι συμβαίνει στη σύσταση μετά την απόρριψη; Μπορεί το άτομο που επηρεάζεται από το αποτέλεσμα να ρωτήσει τι συνέβη; Μπορεί ένας μεταγενέστερος συνάδελφος να ανασυνθέσει τη σχετική κατάσταση; Αν οι απαντήσεις παραμένουν γενικές, ο σχεδιασμός της εποπτείας είναι πιθανότατα γενικός και αυτός.

Αυτό το τεστ ισχύει πέρα από τα συστήματα υψηλού κινδύνου. Ο νόμος έχει συγκεκριμένο πεδίο εφαρμογής και ημερομηνίες· η ορθή επιχειρησιακή κρίση δεν περιμένει μια ετικέτα κατηγορίας προτού ρωτήσει αν ένα άτομο έχει τοποθετηθεί σε διακοσμητικό ρόλο. Είναι απολύτως δυνατό να δημιουργηθεί ένα εργαλείο χαμηλών συνεπειών που κάνει τους ανθρώπους λιγότερο ικανούς στη δική τους δουλειά επειδή το αποτέλεσμα είναι πολύ ομαλό για να αμφισβητηθεί. Είναι επίσης δυνατό να δημιουργηθεί ένα περιορισμένο εργαλείο που αυξάνει την ικανότητα ενός ατόμου να θέτει καλές ερωτήσεις επειδή διατηρεί στοιχεία, περιορίζει την εξουσία του και καθιστά ορατή την αβεβαιότητα. Το μοντέλο μπορεί να συμβάλει σε οποιοδήποτε από τα δύο αποτελέσματα. Το σύστημα αποφασίζει ποιο αποτέλεσμα έχει χώρο να συμβεί.

Οι επηρεαζόμενοι βρίσκονται έξω από την κονσόλα

Πολλοί από τους πιο σημαντικούς ανθρώπους σε ένα σύστημα τεχνητής νοημοσύνης δεν το αγγίζουν ποτέ. Μπορεί να είναι υποψήφιος, μαθητής, εργαζόμενος, ασθενής, επιβάτης, κάτοικος, πελάτης, αιτών, δανειολήπτης, μάρτυρας ή μέλος του κοινού. Μπορεί να μην γνωρίζουν ότι συμμετείχε ένα μοντέλο. Μπορεί να βιώσουν μόνο μια απάντηση που φτάνει γρήγορα, ένα αίτημα που καθυστερεί, μια υπηρεσία που καθίσταται μη διαθέσιμη, μια προτεραιότητα που αλλάζει ή μια απόφαση που φαίνεται αδύνατο να κατανοηθεί. Η απουσία τους από τη διεπαφή δεν σημαίνει ότι απουσιάζουν από το σύστημα.

Αυτός είναι ένας λόγος για τον οποίο το πλαίσιο κινδύνου της Πράξης αναφέρεται στην υγεία, την ασφάλεια και τα θεμελιώδη δικαιώματα. Κατευθύνει την προσοχή σε συνέπειες που δεν μπορούν να περιοριστούν στο αν ένας συνδεδεμένος συνάδελφος απόλαυσε το εργαλείο. Είναι επίσης ο λόγος για τον οποίο μια δήλωση σκοπού θα πρέπει να κατονομάζει τα πρόσωπα και τις ομάδες στα οποία προορίζεται να χρησιμοποιηθεί το σύστημα, όπως απαιτεί το παράρτημα IV. Ένα σύστημα που βασίζεται σε μια κατηγορία που ονομάζεται «χρήστης» μπορεί να αποκρύψει αθόρυβα τη διαφορά μεταξύ του ατόμου που χειρίζεται τη διεπαφή και του ατόμου που ζει με το αποτέλεσμα.

Οι πληττόμενοι αλλάζουν τα ερωτήματα που πρέπει να θέτει μια ομάδα. Υπάρχει τρόπος να γνωρίζουμε ότι το σύστημα είχε ουσιαστικό ρόλο; Η απόφαση βασίζεται σε πληροφορίες που μπορούν να διορθωθούν; Μια γλώσσα, μια αναπηρία, μια συσκευή, μια τοποθεσία ή ένα διοικητικό καθεστώς καθιστά δυσκολότερη τη συμμετοχή; Η λειτουργούσα ομάδα λαμβάνει σήματα από τους πληττόμενους ή μόνο από τον πίνακα ελέγχου; Μια διόρθωση φτάνει στα δεδομένα, στη σύσταση, στην απόφαση και σε οποιοδήποτε μεταγενέστερο κείμενο βασίστηκε σε αυτά; Αυτά τα ερωτήματα δεν αποτελούν αίτημα να μετατραπεί κάθε σύστημα σε δημόσια διαβούλευση. Αποτελούν αίτημα να ακολουθηθεί η συνέπεια αρκετά μακριά ώστε να διακριθεί το άτομο στο άλλο άκρο.

Η νομοθεσία για την προστασία δεδομένων έχει εφαρμογή όταν υφίσταται επεξεργασία προσωπικών δεδομένων, παράλληλα με το πλαίσιο του AI Act. Το ΕΣΠΔ και ο ΕΕΠΔ το διατύπωσαν σαφώς στη γνωμοδότησή τους του 2021 για την πρόταση: η ισχύουσα νομοθεσία της ΕΕ για την προστασία δεδομένων εφαρμόζεται στην επεξεργασία προσωπικών δεδομένων εντός του πεδίου εφαρμογής της πρότασης. Η ακριβής νομική ανάλυση θα εξαρτηθεί από την επεξεργασία και τους εμπλεκόμενους φορείς. Το δίδαγμα για τη διακυβέρνηση είναι απλό. Μια άσκηση ταξινόμησης δεν μπορεί να απορροφήσει κάθε άλλη υποχρέωση. Η ιδιωτικότητα, η απαγόρευση διακρίσεων, οι τομεακές υποχρεώσεις, οι απαιτήσεις του διοικητικού δικαίου, οι κανόνες προστασίας καταναλωτή και οι συμβατικές δεσμεύσεις δεν εξαφανίζονται επειδή μια ομάδα έχει καταρτίσει ένα ευπαρουσίαστο μητρώο κινδύνων.

Υπάρχει επίσης ένα βασικό ζήτημα αναγνωσιμότητας. Ένα άτομο δεν χρειάζεται να γίνει ειδικός στη μηχανική μάθηση για να κατανοήσει πώς να ζητήσει διόρθωση. Ωστόσο, ένα σύστημα δεν πρέπει να χρησιμοποιεί την τεχνική πολυπλοκότητα ως λόγο για να καθιστά αδύνατη τη διόρθωση. Μια σωστή διαδρομή διακρίνει τι κατέγραψε το σύστημα, τι αποφάσισε ένας άνθρωπος, ποια στοιχεία εξετάστηκαν, τι παραμένει αβέβαιο και τι μπορεί ακόμη να αλλάξει. Δεν διεκδικεί μια ακρίβεια που τα αρχεία δεν μπορούν να υποστηρίξουν. Σε αυτόν τον τομέα, η ειλικρίνεια δεν είναι απλώς ένας τόνος φωνής. Είναι μέρος της υπηρεσίας.

Η ενοποίηση είναι το σημείο όπου οι ευθύνες αλλάζουν χέρια

Οι ομάδες μερικές φορές σχεδιάζουν μια αρχιτεκτονική τεχνητής νοημοσύνης ως μια τακτοποιημένη αλυσίδα: μοντέλο, προτροπή, απάντηση, χρήστης. Οι πραγματικές αναπτύξεις μοιάζουν περισσότερο με δημοτικό χάρτη αφού κάποιος έχει θυμηθεί τους σωλήνες των υπηρεσιών. Υπάρχουν συστήματα ταυτότητας, χώροι αποθήκευσης ανάκτησης, άδειες εργαλείων, ουρές, σχήματα, προσωρινές μνήμες, πλατφόρμες παρατηρησιμότητας, επεκτάσεις προγράμματος περιήγησης, μαζικές εργασίες, κανόνες έγκρισης, ρυθμίσεις διατήρησης, προμηθευτές και άνθρωποι που κληρονομούν μια εργασία επειδή ο προηγούμενος έχει πάει διακοπές. Το μοντέλο είναι σημαντικό. Σπάνια είναι μόνο του.

Κάθε ενοποίηση μπορεί να αλλάξει τι μπορεί να κάνει το σύστημα και πώς μετακινείται ένα σφάλμα. Η ανάκτηση μπορεί να κάνει μια έξοδο του μοντέλου να φαίνεται τεκμηριωμένη ενώ η πηγή είναι παρωχημένη, ελλιπής ή με λάθος πεδίο εφαρμογής. Μια κλήση εργαλείου μπορεί να μετατρέψει ένα προσχέδιο σε αλλαγή κατάστασης. Μια ουρά μπορεί να μετατρέψει μια έγκαιρη σύσταση σε καθυστερημένη. Ένα επίπεδο ενορχήστρωσης μπορεί να επιλέξει διαφορετικό μοντέλο ή έκδοση προτροπής. Μια διεπαφή χρήστη μπορεί να αποκρύψει την αβεβαιότητα που υπάρχει σε χαμηλότερο επίπεδο. Μια ενοποίηση ταυτότητας μπορεί να δώσει σε ένα χρήσιμο εργαλείο πρόσβαση σε υλικό που ο χρήστης δεν θα μπορούσε διαφορετικά να ανοίξει. Καμία από αυτές τις παρατηρήσεις δεν κατηγορεί ένα συγκεκριμένο προϊόν ή οργανισμό. Περιγράφουν συνήθεις ιδιότητες συστημάτων, και αυτός είναι ακριβώς ο λόγος που θα πρέπει να τεκμηριώνονται πριν γίνουν έκπληξη.

Οι κατευθυντήριες γραμμές της Επιτροπής για το GPAI είναι χρήσιμες εδώ επειδή τοποθετούν την πληροφορία στο σημείο παράδοσης. Η τεκμηρίωση για τους μεταγενέστερους παρόχους αποσκοπεί στο να τους βοηθήσει να κατανοήσουν τις δυνατότητες και τους περιορισμούς του μοντέλου, τις προβλεπόμενες εργασίες του, τις τεχνικές απαιτήσεις ενοποίησης, τις προδιαγραφές εισόδου και εξόδου και τις πληροφορίες για τα δεδομένα εκπαίδευσης. Αυτές οι πληροφορίες είναι απαραίτητες. Δεν αρκούν. Οι μεταγενέστερες ομάδες πρέπει ακόμη να αποφασίσουν πώς θα γίνεται η προτροπή του μοντέλου, αν μια έξοδος εμφανίζεται με αποδεικτικά στοιχεία, ποιες άδειες εργαλείων επιτρέπονται, πώς δοκιμάζεται μια αλλαγή, ποια αρχεία καταγραφής διατηρούνται και αν μια σύσταση μπορεί να επηρεάσει μια συγκεκριμένη ροή εργασίας.

Γι' αυτό η αγορά μιας υπηρεσίας μοντέλου δεν είναι αγορά μιας πλήρους στάσης διαχείρισης κινδύνου. Η τεκμηρίωση του παρόχου μπορεί να λέει σε μια ομάδα ότι ένα μοντέλο έχει γνωστό περιορισμό ή ότι αξιολογήθηκε υπό ορισμένες συνθήκες. Δεν μπορεί να αποδείξει ότι το δικό της ευρετήριο ανάκτησης του αγοραστή είναι ενημερωμένο, ότι το προσωπικό του αγοραστή έχει την απαραίτητη εξουσιοδότηση ή ότι ένα θιγόμενο πρόσωπο έχει πρόσβαση σε μια οδό αμφισβήτησης. Αντίστροφα, ο αγοραστής δεν μπορεί να απαιτήσει από τον πάροχο μοντέλου να γνωρίζει κάθε τοπική πολιτική ή κατάντη διαδικασία. Το υπεύθυνο πράγμα δεν είναι να προσποιείται κανείς ότι η μία πλευρά μπορεί να γνωρίζει ολόκληρο το σύστημα. Είναι να καταστήσει το όριο σαφές και να διατηρήσει τα αποδεικτικά στοιχεία να διακινούνται μέσα από αυτό.

Το άρθρο 25 παρέχει ένα χρήσιμο νομικό σημείο αναφοράς για αυτή την επιχειρησιακή πραγματικότητα. Καθορίζει περιστάσεις υπό τις οποίες ένα μέρος άλλο από τον αρχικό πάροχο θεωρείται πάροχος συστήματος τεχνητής νοημοσύνης υψηλού κινδύνου. Αυτές περιλαμβάνουν τη διάθεση του συστήματος στην αγορά υπό την επωνυμία ή το εμπορικό σήμα του εν λόγω μέρους, την πραγματοποίηση ουσιώδους τροποποίησης ή την τροποποίηση του επιδιωκόμενου σκοπού κατά τρόπο που καθιστά το σύστημα υψηλού κινδύνου. Η διάταξη είναι τεχνική και εξαρτάται από τα πραγματικά περιστατικά· κανείς δεν θα πρέπει να αυτοχαρακτηρίζεται με βάση μια ανάρτηση ιστολογίου. Αλλά η κατεύθυνσή της είναι σαφής. Η ενσωμάτωση και η επαναπροσδιορισμός χρήσης μπορούν να αλλάξουν ποιος φέρει τις υποχρεώσεις του παρόχου. Μια κατάντη ρύθμιση δεν παραμένει για πάντα κατάντη απλώς επειδή το αρχικό μοντέλο προήλθε από αλλού.

Υπάρχει ένας θεσμικός λόγος να το λάβει κανείς αυτό στα σοβαρά. Όταν η ευθύνη αλλάζει σιωπηλά, η ασφάλεια και η επανόρθωση γίνονται ένα παιχνίδι οργανωσιακού πινγκ-πονγκ. Ο πάροχος μοντέλου υποδεικνύει την ανάπτυξη. Ο αναπτύσσων υποδεικνύει το μοντέλο. Ο ενσωματωτής υποδεικνύει την υπηρεσία νέφους. Ο ιδιοκτήτης της υπηρεσίας υποδεικνύει μια διαμόρφωση που δεν υπάρχει πλέον. Τα θιγόμενα πρόσωπα λαμβάνουν μια εκλεπτυσμένη εξήγηση για το πόσο πολύπλοκα είναι όλα. Αυτό μπορεί να είναι ακριβές, αλλά δεν είναι απάντηση. Το σύστημα χρειάζεται ένα αρχείο για το ποιος οργανισμός κατέχει το ερώτημα σε κάθε όριο και μια οδό για να ταξιδέψει το ερώτημα όταν η απάντηση βρίσκεται αλλού.

Η τεκμηρίωση θα πρέπει να περιγράφει ένα σύστημα που μπορεί ακόμη να αλλάξει

Η τεχνική τεκμηρίωση έχει τη φήμη ότι φτάνει στο τέλος ενός έργου με μια αμυδρή οσμή πανικού. Η πράξη περιγράφει έναν διαφορετικό ρόλο. Για συστήματα υψηλού κινδύνου, η τεχνική τεκμηρίωση πρέπει να καταρτίζεται πριν από τη διάθεση του συστήματος στην αγορά ή τη θέση του σε λειτουργία και να διατηρείται επικαιροποιημένη. Ο κατάλογος του παραρτήματος IV εκτείνεται πέρα από τη συμπεριφορά του μοντέλου στον επιδιωκόμενο σκοπό, τις εκδόσεις, την αρχιτεκτονική του συστήματος, την ανάπτυξη, τις απαιτήσεις δεδομένων, την επικύρωση και τις δοκιμές, την ανθρώπινη εποπτεία, την ακρίβεια και τα μέτρα κυβερνοασφάλειας, τη διαχείριση κινδύνου, τις αλλαγές και την παρακολούθηση μετά τη διάθεση στην αγορά. Αυτό δεν είναι ένα διακοσμητικό παράρτημα. Είναι μια προσπάθεια να διατηρηθεί αρκετή μνήμη για να μπορέσει κάποιος να επιθεωρήσει το σύστημα αφού η συνάντηση έναρξης έχει γίνει λαϊκή παράδοση.

Η τεκμηρίωση λειτουργεί μόνο όταν μπορεί να δείξει σχέσεις. Μια έκδοση μοντέλου πρέπει να συνδέεται με την έκδοση συστήματος που τη χρησιμοποίησε. Μια δοκιμή πρέπει να συνδέεται με τις συνθήκες εισόδου και τον σκοπό της. Μια πολιτική πρέπει να συνδέεται με ένα σημείο επιβολής. Ένας ρόλος χρήστη πρέπει να συνδέεται με την εξουσιοδότηση που έχει στη διεπαφή. Μια πολιτική καταγραφής πρέπει να συνδέεται με το συμβάν που μπορεί να ανακατασκευάσει. Μια αλλαγή πρέπει να συνδέεται με την αξιολόγηση που πυροδότησε. Διαφορετικά, μια ομάδα έχει μια βιβλιοθήκη καλών εγγράφων και κανέναν τρόπο να απαντήσει σε μια συγκεκριμένη ερώτηση.

Τα αρχεία καταγραφής αποτελούν παρόμοια περίπτωση. Το άρθρο 12 απαιτεί από τα συστήματα ΤΝ υψηλού κινδύνου να διαθέτουν τεχνικές δυνατότητες για την αυτόματη καταγραφή συμβάντων καθ' όλη τη διάρκεια ζωής του συστήματος, ανάλογες με τον επιδιωκόμενο σκοπό. Τα αρχεία καταγραφής μπορούν να υποστηρίξουν την ιχνηλασιμότητα, την παρακολούθηση μετά τη διάθεση στην αγορά και την επιχειρησιακή παρακολούθηση. Δεν εξηγούν μια απόφαση διά μαγείας. Ένα αρχείο καταγραφής μπορεί να πει σε έναν μεταγενέστερο ερευνητή ότι κλήθηκε ένα εργαλείο, ότι ήταν ενεργή μια έκδοση ή ότι ένας αξιολογητής πάτησε ένα στοιχείο ελέγχου. Δεν μπορεί, από μόνο του, να αποδείξει ότι ο αξιολογητής κατανόησε τα αποδεικτικά στοιχεία, ότι η πηγή εισόδου ήταν έγκυρη ή ότι μια διαδικασία ήταν δίκαιη. Τα αρχεία έχουν αξία επειδή δίνουν σε μια έρευνα ένα έντιμο σημείο εκκίνησης, όχι επειδή καταργούν την ανάγκη για κρίση.

Η παρακολούθηση μετά τη διάθεση στην αγορά ολοκληρώνει την εικόνα. Το άρθρο 72 απαιτεί από τους παρόχους συστημάτων υψηλού κινδύνου να θεσπίζουν και να τεκμηριώνουν ένα σύστημα παρακολούθησης μετά τη διάθεση στην αγορά, ανάλογο με τη φύση των τεχνολογιών και τους κινδύνους του συστήματος ΤΝ υψηλού κινδύνου. Αυτό έχει μια απλή συνέπεια για τις ομάδες ανάπτυξης: η κυκλοφορία δεν είναι η στιγμή κατά την οποία το σύστημα καθίσταται πλήρως γνωστό. Ο οργανισμός χρειάζεται έναν τρόπο να λαμβάνει σχετικές πληροφορίες, να διακρίνει ένα σήμα από ένα συμπέρασμα, να αποφασίζει αν εξακολουθεί να ισχύει το όριο του επιδιωκόμενου σκοπού και να προβαίνει σε αλλαγή ή διακοπή μιας χρήσης όταν τα αποδεικτικά στοιχεία το απαιτούν.

Αυτή η εργασία δεν είναι εντυπωσιακή. Μοιάζει με αναγνωριστικά εκδόσεων, σαφή κριτήρια κυκλοφορίας, αρχείο εξαρτήσεων, έλεγχο για μια διαδρομή επαναφοράς, έναν ονομαστικό υπεύθυνο για έναν περιορισμό και μια απόφαση που παραμένει ορατή ακόμη και μετά την αλλαγή ρόλου του ατόμου που την έλαβε. Μοιάζει με το να ρωτάς αν έχει αλλάξει μια ενοποίηση πριν ρωτήσεις αν έχει αλλάξει το μοντέλο. Μοιάζει με τη διατήρηση επαρκών αποδεικτικών στοιχείων για τη διόρθωση μιας συνέπειας, αντί να εξηγείται απλώς εκ των υστέρων. Το βαρετό δεν είναι το αντίθετο του φιλόδοξου εδώ. Είναι το κομμάτι που κάνει τη φιλοδοξία να χωράει μέσα σε έναν θεσμό.

Πώς να σκεφτείτε για ολόκληρο το σύστημα χωρίς να προσποιείστε βεβαιότητα

Μια πλήρης ανάλυση δεν είναι αναζήτηση ενός καθολικού δείκτη κινδύνου. Είναι μια ακολουθία ερωτημάτων που γίνεται πιο ακριβής όσο ο σχεδιασμός γίνεται πιο ακριβής. Το πρώτο ερώτημα είναι ο σκοπός: τι προορίζεται να κάνει αυτό το σύστημα και τι συγκεκριμένα δεν προορίζεται να κάνει; Το δεύτερο είναι η συνέπεια: ποιοι μπορούν να επηρεαστούν, πώς και μέσω ποιας απόφασης ή υπηρεσίας; Το τρίτο είναι η εξουσία: ποιο αποτέλεσμα μπορεί να μεταβάλει μια κατάσταση, να επηρεάσει μια απόφαση, να θέσει μια προτεραιότητα ή να αλλάξει αυτό που λαμβάνει ένα άτομο; Το τέταρτο είναι τα αποδεικτικά στοιχεία: τι υποστηρίζει τη χρήση του συστήματος σε αυτό το πλαίσιο και ποιες συνθήκες καθιστούν αυτά τα αποδεικτικά στοιχεία μεταβιβάσιμα;

Στη συνέχεια έρχονται τα άβολα ερωτήματα. Τι συμβαίνει όταν το μοντέλο είναι αβέβαιο, λανθασμένο, μη διαθέσιμο ή χρησιμοποιείται εκτός του δηλωμένου ορίου του; Τι αλλάζει όταν μια πηγή είναι παρωχημένη ή ένα εργαλείο απορρίπτεται; Τι γίνεται αν ένας χρήστης βιάζεται, είναι νέος στον ρόλο ή δεν μπορεί να επιθεωρήσει το υποκείμενο υλικό; Τι γίνεται αν ένα επηρεαζόμενο άτομο ζητήσει διόρθωση; Τι γίνεται αν μια ενημέρωση αλλάξει μια προτροπή, το σώμα ανάκτησης, τις προεπιλογές διεπαφής, την έκδοση μοντέλου ή τα δικαιώματα ρόλου; Η απάντηση είναι μερικές φορές ένας τεχνικός έλεγχος, μερικές φορές μια διαδικασία, μερικές φορές μια πιο περιορισμένη χρήση, μερικές φορές ένας διαφορετικός υπεύθυνος και μερικές φορές μια απόφαση να μην αναπτυχθεί το σύστημα. Η διακυβέρνηση που δεν επιτρέπει ποτέ την τελευταία απάντηση είναι απλώς έγκριση με ωραιότερο περιτύλιγμα.

Βοηθά να διατηρούνται χωριστές αρκετές δηλώσεις. Ένα επιβεβαιωμένο γεγονός λέει τι τεκμηρίωσε ο πάροχος του μοντέλου ή τι παρατήρησε ο οργανισμός σε μια καθορισμένη δοκιμή. Ένα συμπέρασμα λέει γιατί αυτό το γεγονός μπορεί να έχει σημασία σε μια συγκεκριμένη ροή εργασίας. Ένα προτεινόμενο μέτρο ελέγχου λέει τι σκοπεύει να εφαρμόσει η ομάδα. Ένας υπολειπόμενος κίνδυνος λέει τι παραμένει μετά το μέτρο ελέγχου. Ένα νομικό συμπέρασμα λέει τι ισχύει βάσει του νόμου. Αυτά δεν είναι εναλλάξιμα. Ένα καλό έγγραφο τα επισημαίνει επειδή ο αναγνώστης μπορεί να χρειαστεί να αμφισβητήσει ένα από αυτά χωρίς να απορρίψει τα υπόλοιπα.

Για παράδειγμα, μπορεί κανείς να πει: η τεκμηρίωση του παρόχου αναφέρει ότι το μοντέλο έχει έναν συγκεκριμένο περιορισμό· η ομάδα ανάπτυξης συνάγει ότι ο περιορισμός θα μπορούσε να επηρεάσει μια συγκεκριμένη χρήση· η ομάδα προτείνει μια πύλη επαλήθευσης της πηγής· η πύλη δεν έχει ακόμη δοκιμαστεί υπό τον προβλεπόμενο φόρτο εργασίας· και οι νομικοί σύμβουλοι πρέπει να αξιολογήσουν την προκύπτουσα χρήση βάσει της ισχύουσας νομοθεσίας. Αυτή η πρόταση είναι λιγότερο ικανοποιητική από ένα πράσινο τικ. Είναι πιο χρήσιμη από ένα πράσινο τικ, επειδή δεν αφήνει κανένα μυστήριο ως προς το τι έχει και τι δεν έχει τεκμηριωθεί.

Οι ομάδες θα πρέπει να είναι ιδιαίτερα προσεκτικές με τη λέξη άνθρωπος. Ένας ανθρώπινος ρόλος μπορεί να αποτελεί έλεγχο, αλλά μόνο όταν έχει καθορισμένο καθήκον, επαρκή πληροφόρηση, χρόνο, εκπαίδευση, εξουσία και μια οδό δράσης. Ένας ανθρώπινος ρόλος μπορεί επίσης να γίνει ένας τρόπος μεταφοράς της ευθύνης στο άτομο που βρίσκεται πιο κοντά στην οθόνη. Η διάκριση δεν είναι φιλοσοφική. Είναι ορατή στη ροή εργασίας. Αν ένας αξιολογητής μπορεί μόνο να εγκρίνει, αν η διαφωνία εξαφανίζεται σε ένα πεδίο σχολίων χωρίς παρακολούθηση, ή αν κανείς δεν μπορεί να διορθώσει την επακόλουθη συνέπεια, το σύστημα δεν έχει αποκτήσει ουσιαστική εποπτεία απλώς επειδή κάποιος έκανε κλικ σε κάτι.

Η ίδια προσοχή ισχύει και για τη διαφάνεια. Ένα μακροσκελές έγγραφο μπορεί να κάνει ένα σύστημα περιγράψιμο χωρίς να το κάνει αμφισβητήσιμο. Ένας πίνακας ελέγχου μπορεί να το κάνει ορατό χωρίς να το κάνει κατανοητό. Μια γνωστοποίηση μπορεί να λέει στον χρήστη ότι εμπλέκεται τεχνητή νοημοσύνη, χωρίς να του λέει τι μπορεί να γίνει για ένα σφάλμα. Η χρήσιμη ερώτηση είναι πρακτική: μπορεί το αρμόδιο άτομο να βρει το όριο, τα αποδεικτικά στοιχεία, τον υπεύθυνο ρόλο και την οδό διόρθωσης στο σημείο όπου αυτά έχουν σημασία; Αν όχι, οι πληροφορίες υπάρχουν σε λάθος θέση για να ασκηθεί διακυβέρνηση.

Ένα μικρό σημείωμα από εμάς

Στο Dweve, το δημόσιο Trust Centre μας αντιμετωπίζει το αρχείο του μοντέλου και την κατάντη ενσωμάτωση ως συναφή αλλά ξεχωριστά αρχεία. Η σελίδα για τις κατάντη χρήσεις αναφέρει ότι οι ομάδες που ενσωματώνουν ή αναπτύσσουν το Loom χρειάζονται τις τρέχουσες δυνατότητες, τα όρια, τις διεπαφές, το πλαίσιο αξιολόγησης και τις αλλαγές, ενώ το δημόσιο αρχείο αναφέρει ότι ένα μοντέλο είναι ένα νήμα σε ένα ευρύτερο πλέγμα στοιχείων και λειτουργικών ορίων. Αυτή είναι μια στάση τεκμηρίωσης, όχι ένας ισχυρισμός ότι μια δημόσια σελίδα ταξινομεί κάθε πιθανή ανάπτυξη ή αποδεικνύει συμμόρφωση για έναν ενσωματωτή. Ο σκοπός του διαχωρισμού είναι πιο μετριοπαθής: ένα αρχείο μοντέλου θα πρέπει να συνοδεύει την ενσωμάτωση χωρίς να προσποιείται ότι αντικαθιστά την ανάλυση συστήματος του ίδιου του ενσωματωτή.

Αυτό είναι το πρότυπο που αξίζει να διατηρηθεί. Ένας πάροχος μοντέλων θα πρέπει να διαθέτει χρήσιμες πληροφορίες. Ένας οργανισμός που αναπτύσσει ή ενσωματώνει το μοντέλο θα πρέπει να περιγράφει το πραγματικό σύστημα που έχει δημιουργήσει: σκοπό, ανθρώπους, δεδομένα, διεπαφές, εξουσία, παρακολούθηση και διόρθωση. Καμία πλευρά δεν θα πρέπει να χρησιμοποιεί την τεκμηρίωση ως μια τελετουργική ανταλλαγή όπου ο ένας λαμβάνει ένα PDF και ο άλλος λαμβάνει άφεση.

Η πιο δύσκολη ερώτηση είναι συνήθως η καλύτερη

Όταν μια ομάδα ρωτά αν ένα μοντέλο είναι υψηλού κινδύνου, μπορεί να αναζητά μια γρήγορη απάντηση σε μια εύλογη ανησυχία. Αλλά η πιο χρήσιμη ερώτηση είναι συνήθως μεγαλύτερη: τι σύστημα φτιάχνουμε από αυτό το μοντέλο, για ποιον σκοπό, σε ποιο πλαίσιο, με ποιους ανθρώπους, και τι συμβαίνει όταν κάνει λάθος; Αυτή η ερώτηση δεν μπορεί πάντα να απαντηθεί σε μία συνάντηση. Μπορεί να αποκαλύψει ότι η προτεινόμενη χρήση είναι στενότερη από το αναμενόμενο, ότι τα αποδεικτικά στοιχεία είναι ελλιπή, ότι ένας ρόλος χρήστη δεν έχει εξουσία, ότι μια σύμβαση αφήνει ένα σημαντικό όριο χωρίς ιδιοκτήτη, ή ότι μια κατάντη ενσωμάτωση έχει γίνει αθόρυβα το κέντρο του συστήματος.

Κανένα από αυτά τα ευρήματα δεν αποτελεί αποτυχία καινοτομίας. Είναι όσα μαθαίνει ένας οργανισμός προτού δώσει σε ένα σύστημα τη δύναμη να διαμορφώνει τις επιλογές ενός άλλου ανθρώπου. Η ευρωπαϊκή προσέγγιση περιγράφεται συχνά ως σύνολο υποχρεώσεων. Είναι όμως και μια πειθαρχία ονοματοδοσίας: να ονομάζεις τον σκοπό, τον φορέα, το πλαίσιο, την έκδοση, το πρόσωπο που επηρεάζεται, τον περιορισμό, τα αποδεικτικά στοιχεία και την οδό παρέμβασης. Μόλις ονομαστούν, αυτά μπορούν να δοκιμαστούν, να αλλάξουν και να αμφισβητηθούν. Όσο παραμένουν ανώνυμα, τείνουν να επανεμφανίζονται αργότερα ως έκπληξη.

Ένα μοντέλο μπορεί να είναι ικανό, προσεκτικά τεκμηριωμένο και πολύτιμο. Μπορεί επίσης να ενταχθεί σε ένα σύστημα που του ζητά υπερβολικά πολλά, που αποκρύπτει υπερβολικά πολλά από τους χρήστες του ή που αφήνει πολύ λίγο περιθώριο σε ένα πρόσωπο που επηρεάζεται από το αποτέλεσμα. Η διαφορά διαμορφώνεται έξω από τα βάρη. Εκεί βρίσκεται η δύσκολη δουλειά, και εκεί βρίσκεται και η σοβαρή ευκαιρία: να χτίζουμε συστήματα των οποίων η εξουσία αντιστοιχεί στα αποδεικτικά τους στοιχεία, των οποίων τα όρια επιβιώνουν της ενοποίησης και των οποίων οι χειριστές μπορούν ακόμη να πουν όχι.

Πηγές