Τι μπορεί να μάθει η Ευρώπη από τις μελέτες ασφάλειας

Ένα safety case είναι ένας ζωντανός συλλογισμός από κινδύνους και παραδοχές προς αποδεικτικά στοιχεία, υπολειπόμενο κίνδυνο και μια απόφαση. Προσφέρει στις...

Τι μπορεί να μάθει η Ευρώπη από τις μελέτες ασφάλειας

Ένα αρχείο που πρέπει να απαντήσει πριν κινηθεί το τρένο

Οι ευρωπαϊκοί κανονισμοί για τους σιδηροδρόμους ξεκινούν από μια άκομψη ερώτηση: τι άλλαξε. Μια αλλαγή μπορεί να είναι τεχνική, λειτουργική ή οργανωτική. Μπορεί να αφορά εξοπλισμό, μια διαδικασία, μια ρύθμιση προσωπικού ή μια διεπαφή μεταξύ οργανισμών. Η Κοινή Μέθοδος Ασφάλειας για την Αξιολόγηση και Εκτίμηση Κινδύνου ζητά από τον προτείνοντα να εκτιμήσει τη σημασία αυτής της αλλαγής, να εφαρμόσει μια διαδικασία διαχείρισης κινδύνου όταν απαιτείται και να χρησιμοποιήσει ανεξάρτητο φορέα αξιολόγησης για να ελέγξει ότι η διαδικασία και τα αποτελέσματά της εφαρμόστηκαν σωστά. Ο κανόνας δεν ενδιαφέρεται για το αν η αλλαγή ανακοινώθηκε με σιγουριά. Ενδιαφέρεται για το αν το επιχείρημα για τη συνέχιση της λειτουργίας μπορεί να επιθεωρηθεί.

Αυτή η συνήθεια αξίζει να μεταφερθεί στην τεχνητή νοημοσύνη. Ένα σύστημα δεν γίνεται ασφαλές επειδή το μοντέλο του είναι έξυπνο, η διεπαφή του είναι ήρεμη ή ο προμηθευτής του έχει παραγάγει μια εντυπωσιακή έκθεση δοκιμών. Γίνεται υπερασπίσιμο για μια συγκεκριμένη χρήση όταν ένας οργανισμός μπορεί να εξηγήσει τι ισχυρίζεται, ποιοι κίνδυνοι βρίσκονται πίσω από τον ισχυρισμό, ποιες παραδοχές καθιστούν τον ισχυρισμό δυνατό, ποια στοιχεία υποστηρίζουν κάθε κρίκο, ποιος αποδέχθηκε τον εναπομένοντα κίνδυνο και τι θα επανάνοιγε την απόφαση. Το αποτέλεσμα ονομάζεται συνήθως τεκμηρίωση ασφάλειας: ένα δομημένο επιχείρημα που υποστηρίζεται από στοιχεία, περιορίζεται από προϋποθέσεις και διατηρείται μέσω των αλλαγών.

Η τεκμηρίωση ασφάλειας δεν είναι μια ιστορία για ένα φανταστικό ατύχημα. Είναι ένας τρόπος να αρνηθεί κανείς να φορτώσει το ατύχημα με όλα τα στοιχεία. Θέτει τα δύσκολα ερωτήματα όσο ο σχεδιασμός, η προμήθεια και η λειτουργική πρακτική μπορούν ακόμη να αλλάξουν. Αυτό την καθιστά χρήσιμη για σιδηροδρόμους, αεροπορία, ιατρικές συσκευές, βιομηχανικό έλεγχο και κρίσιμες υποδομές. Την καθιστά επίσης χρήσιμη για την τεχνητή νοημοσύνη, όπου ένα στοιχείο μπορεί να είναι στατιστικά εντυπωσιακό και λειτουργικά ανέτοιμο ταυτόχρονα. Ένα μοντέλο μπορεί να περάσει μια δοκιμή ενώ το σύστημα γύρω του δεν έχει ασφαλή απάντηση στην αβεβαιότητα, δεν έχει υπεύθυνο χειριστή και δεν έχει τρόπο να ανακτήσει μια κακή απόφαση.

Η διάκριση έχει σημασία στην Ευρώπη επειδή ο Κανονισμός για την Τεχνητή Νοημοσύνη ήδη ζητά από τα συστήματα υψηλού κινδύνου να λειτουργούν με μια συνεχή, τεκμηριωμένη διαδικασία διαχείρισης κινδύνου. Το άρθρο 9 περιγράφει την επαναληπτική αναγνώριση, εκτίμηση, αξιολόγηση και αντιμετώπιση των κινδύνων σε όλο τον κύκλο ζωής του συστήματος, συμπεριλαμβανομένης της εύλογα προβλέψιμης κακής χρήσης και των πληροφοριών από την παρακολούθηση μετά τη διάθεση στην αγορά. Το άρθρο 11 απαιτεί τεχνική τεκμηρίωση πριν από τη διάθεση ενός συστήματος στην αγορά και αναφέρει ότι πρέπει να ενημερώνεται. Αυτές οι διατάξεις δεν χρησιμοποιούν την τεκμηρίωση ασφάλειας ως καθολική ετικέτα. Περιγράφουν, ωστόσο, τις συνήθειες που καθιστούν αξιόπιστη την τεκμηρίωση ασφάλειας.

Η τεκμηρίωση ασφάλειας καθιστά τη διαδρομή από έναν ισχυρισμό ασφάλειας έως μια απόφαση διάθεσης αρκετά ορατή ώστε να αμφισβητηθεί.

Η τεκμηρίωση ασφάλειας δεν είναι έκθεση δοκιμών

Μια έκθεση δοκιμής απαντά σε ένα ερώτημα σχετικά με μια δοκιμή. Καταγράφει τι δοκιμάστηκε, υπό ποιες συνθήκες, με ποιο αποτέλεσμα και, αν η εργασία είναι καλή, με ποιους περιορισμούς. Αυτό έχει αξία. Μια υπόθεση ασφάλειας θέτει ένα διαφορετικό ερώτημα: υπάρχει επαρκώς τεκμηριωμένο επιχείρημα ότι αυτό το σύστημα είναι αποδεκτό για αυτόν τον σκοπό, σε αυτό το πλαίσιο, με αυτούς τους ανθρώπους, τους ελέγχους και τους εναπομείναντες κινδύνους; Ένα αποτέλεσμα δοκιμής μπορεί να αποτελεί ένα κομμάτι αυτού του επιχειρήματος. Δεν μπορεί σιωπηρά να γίνει ολόκληρο το επιχείρημα απλώς επειδή ο πίνακας έχει πράσινα κελιά.

Ας υποθέσουμε ότι ένας ταξινομητής έχει δοκιμαστεί έναντι ενός συνόλου δεδομένων με ετικέτες. Η έκθεση μπορεί να μας πει πώς αποδόθηκε σε αυτό το σύνολο δεδομένων, ίσως ανά κατηγορία, κατώφλι ή σημείο λειτουργίας. Δεν μας λέει από μόνη της αν η είσοδος που φτάνει στην παραγωγή έχει την ίδια σημασία, αν η πληττόμενη πληθυσμιακή ομάδα εκπροσωπείται, αν ένας αναθεωρητής μπορεί να αναγνωρίσει ένα αδύναμο αποτέλεσμα, αν είναι δυνατή μια ένσταση, αν ένας προμηθευτής μπορεί να αλλάξει το μοντέλο χωρίς ειδοποίηση ή αν ο οργανισμός μπορεί να σταματήσει και να αναστρέψει μια μεταγενέστερη ενέργεια. Αυτά τα ερωτήματα ανήκουν στο σύστημα και στη χρήση του, όχι μόνο στο στοιχείο.

Το αντίθετο λάθος είναι επίσης συνηθισμένο. Ένα μεγάλο αρχείο διασφάλισης μπορεί να περιέχει εκατοντάδες σελίδες και παρόλα αυτά να αποτυγχάνει να διατυπώσει ένα επιχείρημα. Ένας κατάλογος δοκιμών, πολιτικών και πρακτικών συσκέψεων δεν είναι υπόθεση ασφάλειας αν κανένας ισχυρισμός δεν τα συνδέει. Τα τεκμήρια χρειάζονται έναν ρόλο. Μια δοκιμή μπορεί να υποστηρίξει έναν ισχυρισμό περί ευρωστίας. Μια περιγραφή ρόλου μπορεί να υποστηρίξει έναν ισχυρισμό περί εξουσίας. Μια άσκηση επαναφοράς μπορεί να υποστηρίξει έναν ισχυρισμό περί ανάκαμψης. Ένα αρχείο καταγραφής ελέγχου μπορεί να υποστηρίξει έναν ισχυρισμό περί ιχνηλασιμότητας. Χωρίς τη σχέση ισχυρισμού και τεκμηρίου, το αρχείο είναι ένα αρχείο δραστηριότητας, όχι μια εξήγηση ασφάλειας.

Γι' αυτό μια υπόθεση ασφάλειας μπορεί να είναι συντομότερη από μια έκθεση δοκιμής σε ένα σημείο και εκτενέστερη σε ένα άλλο. Αναπτύσσεται γύρω από τους κινδύνους και τις αποφάσεις. Ένα εργαλείο σύνταξης χαμηλού κινδύνου μπορεί να χρειάζεται ένα μέτριο επιχείρημα που καλύπτει το πεδίο εφαρμογής, τη διαχείριση δεδομένων, την αναθεώρηση και τη διόρθωση. Ένα σύστημα που συνδέεται με κλινικές, συγκοινωνιακές, χρηματοοικονομικές αποφάσεις ή αποφάσεις δημόσιας υπηρεσίας χρειάζεται περισσότερα τεκμήρια, επειδή περισσότεροι άνθρωποι εξαρτώνται από το αποτέλεσμα και επειδή η οδός επανόρθωσης μπορεί να είναι δύσκολη. Το μέγεθος ακολουθεί τη συνέπεια και την αβεβαιότητα, όχι τη μοδάτη έκταση της κάρτας μοντέλου.

Το επιχείρημα θα πρέπει επίσης να διακρίνει τα τεκμήρια στοιχείου από τα λειτουργικά τεκμήρια. Τα τεκμήρια στοιχείου αφορούν το μοντέλο, τον αλγόριθμο ή τον αισθητήρα μεμονωμένα ή σε ελεγχόμενη ενσωμάτωση. Τα λειτουργικά τεκμήρια αφορούν την πραγματική ροή εργασίας: πρόσβαση, επικαιρότητα δεδομένων, ανθρώπινη αναθεώρηση, ουρές αναμονής, δικαιώματα εργαλείων, διαχείριση περιστατικών και έλεγχο αλλαγών. Ένα μοντέλο μπορεί να είναι σταθερό ενώ μια ουρά αναμονής καταρρέει. Μια ροή εργασίας μπορεί να είναι καλά σχεδιασμένη ενώ ένας προμηθευτής αλλάζει το σχήμα εισόδου. Οι υποθέσεις ασφάλειας αναγκάζουν και τις δύο οπτικές να εμφανίζονται στην ίδια σελίδα, κάτι που είναι ελαφρώς άβολο και γι' αυτό υγιές.

Ξεκινήστε με έναν ισχυρισμό που έχει όρια

Κάθε υπόθεση ασφάλειας ξεκινά με έναν ισχυρισμό ανώτατου επιπέδου. Ο ισχυρισμός θα πρέπει να είναι αρκετά περιορισμένος ώστε να μπορεί να δοκιμαστεί και αρκετά χρήσιμος ώστε να καθοδηγεί μια απόφαση. Η πρόταση αυτή η τεχνητή νοημοσύνη είναι ασφαλής δεν είναι ισχυρισμός με όρια. Ασφαλής για ποιον, για να κάνει τι, υπό ποιες συνθήκες και με ποιους ελέγχους; Ένας καλύτερος ισχυρισμός θα μπορούσε να λέει ότι μια συγκεκριμένη λειτουργία υποστήριξης αποφάσεων είναι αποδεκτή για μια ονομαστική ομάδα εκπαιδευμένων χειριστών, υπό την προϋπόθεση ότι το σύστημα χρησιμοποιείται μόνο για συστάσεις, ότι τα τεκμήρια και η αβεβαιότητα παρουσιάζονται, ότι ένας άνθρωπος με εξουσία αναθεωρεί το αποτέλεσμα και ότι υπάρχουν καθορισμένες οδοί διακοπής και διόρθωσης.

Αυτή η πρόταση είναι λιγότερο εμπορεύσιμη και πολύ πιο πολύτιμη. Προσδιορίζει τον σκοπό, τον φορέα δράσης, το όριο και τις συνθήκες. Αποκαλύπτει επίσης τι θα καθιστούσε τον ισχυρισμό ψευδή. Αν η ίδια λειτουργία συνδεθεί άμεσα με μια αυτόματη απόφαση, ο ισχυρισμός δεν την καλύπτει πλέον. Αν οι προβλεπόμενοι χρήστες δεν είναι εκπαιδευμένοι ή δεν μπορούν να αμφισβητήσουν ένα αποτέλεσμα, ο ισχυρισμός εξασθενεί. Αν μια πηγή δεδομένων αλλάξει και δεν μπορεί να εντοπιστεί, τα τεκμήρια για τον ισχυρισμό μπορεί να λήξουν. Ένας καλός ισχυρισμός ανώτατου επιπέδου φέρει τη δική του λίστα τρόπων με τους οποίους μπορεί να επανεξεταστεί.

Οι ισχυρισμοί μπορούν να αναλυθούν σε επιμέρους στοιχεία. Το σύστημα παραμένει εντός του επιδιωκόμενου σκοπού του. Τα δεδομένα εισόδου πληρούν τις δηλωμένες προϋποθέσεις ποιότητας και αδειοδότησης. Η έξοδος του μοντέλου ερμηνεύεται με τρόπο που δεν δημιουργεί επισφαλή αυτοματοποιημένη προκατάληψη. Οι ενέργειες υψηλού αντικτύπου υπόκεινται σε έλεγχο ανάλογο με τον κίνδυνο που ενέχουν. Οι χειριστές μπορούν να αγνοήσουν ή να αναστρέψουν μια έξοδο. Ο οργανισμός μπορεί να εντοπίσει σημαντική απόκλιση. Καμία αλλαγή δεν κυκλοφορεί χωρίς έλεγχο των παραδοχών που επηρεάζει. Κάθε επιμέρους ισχυρισμός χρειάζεται ελέγχους και τεκμήρια. Το δέντρο δεν είναι μια εικόνα για διαφάνεια παρουσίασης· είναι η διαδρομή μέσω της οποίας ένας αξιολογητής μπορεί να εντοπίσει ένα αδύναμο σημείο.

Ένας ισχυρισμός θα πρέπει επίσης να δηλώνει τι δεν επιχειρεί να αποδείξει. Το επιχείρημα μπορεί να υποστηρίζει την ασφαλή χρήση για μία εργασία χωρίς να αποδεικνύει γενική νοημοσύνη, καθολική δικαιοσύνη ή καταλληλότητα για κάθε πληθυσμό. Μπορεί να υποστηρίζει μια κυκλοφορία υπό καθορισμένο πλαίσιο ανάπτυξης χωρίς να αποδεικνύει ότι μια μη καταγεγραμμένη διαμόρφωση θα συμπεριφερθεί με τον ίδιο τρόπο. Οι μη ισχυρισμοί δεν είναι διακοσμητικά στοιχεία σεμνότητας. Εμποδίζουν ένα περιορισμένο αποτέλεσμα να διαδοθεί σε έναν οργανισμό ως ένα πολύ ευρύτερο επιχείρημα.

Υπάρχει μια χρήσιμη ευρωπαϊκή προσέγγιση πίσω από αυτή την ακρίβεια. Ο κανονισμός 402/2013 ζητά από τον προτείνοντα σιδηροδρομικό φορέα να αποφασίσει αν μια αλλαγή είναι σημαντική, να επιλέξει μια αρχή αποδοχής κινδύνου και, όπου ενδείκνυται, να χρησιμοποιήσει ανεξάρτητη αξιολόγηση. Δεν ζητείται από τον προτείνοντα να αποδείξει ότι κάθε πιθανή μελλοντική κατάσταση του σιδηροδρομικού συστήματος είναι ασφαλής. Ζητείται να καταστήσει την τρέχουσα αλλαγή και τις διεπαφές της αρκετά κατανοητές για μια αναλογική απόφαση. Οι ομάδες τεχνητής νοημοσύνης μπορούν να υιοθετήσουν την ίδια πειθαρχία. Ονομάστε την αλλαγή, ονομάστε το πλαίσιο λειτουργίας και καταστήστε το όριο ορατό.

Οι κίνδυνοι είναι συνθήκες, όχι τίτλοι

Ένας κίνδυνος είναι μια συνθήκη που μπορεί να οδηγήσει σε βλάβη. Η διάκριση αυτή είναι πιο χρήσιμη από ό,τι φαίνεται αρχικά. Μια εσφαλμένη απόφαση παροχής είναι ένα αποτέλεσμα. Ένας κίνδυνος μπορεί να είναι ένα ελλιπές αρχείο σε συνδυασμό με ένα σύστημα που παρουσιάζει μια μη τεκμηριωμένη σύσταση ως έτοιμη προς έγκριση. Μια καθυστερημένη ειδοποίηση συντήρησης είναι ένα αποτέλεσμα. Ένας κίνδυνος μπορεί να είναι μια παρωχημένη ροή δεδομένων αισθητήρων που η ροή εργασίας αντιμετωπίζει ως τρέχουσα. Μια παραβίαση απορρήτου είναι ένα αποτέλεσμα. Ένας κίνδυνος μπορεί να είναι μια υπερβολικά ευρεία άδεια ανάκτησης σε συνδυασμό με ένα εργαλείο που αντιγράφει υλικό από την πηγή σε ένα μόνιμο αρχείο.

Η καταγραφή των κινδύνων με αυτόν τον τρόπο μετακινεί την προσοχή σε προγενέστερο στάδιο. Καθιστά δυνατούς τους σχεδιαστικούς και λειτουργικούς ελέγχους. Αν ο κίνδυνος είναι μια μη τεκμηριωμένη σύσταση που παρουσιάζεται με υπερβολική εξουσία, ένας έλεγχος μπορεί να απαιτεί τεκμήρια από την πηγή, να επισημαίνει την αβεβαιότητα, να περιορίζει την ενέργεια και να παρέχει μια διαδρομή επανεξέτασης. Αν ο κίνδυνος είναι παρωχημένα δεδομένα εισόδου, ένας έλεγχος μπορεί να ελέγχει την επικαιρότητα, να επισημαίνει την κατάσταση των δεδομένων, να αποκλείει την ενέργεια ή να την παραπέμπει σε άνθρωπο. Αν ο κίνδυνος είναι υπερβολική πρόσβαση, ένας έλεγχος μπορεί να περιορίζει την ανάκτηση, να διαχωρίζει τις ταυτότητες, να αποκρύπτει την έξοδο και να καταγράφει την απόφαση πρόσβασης. Ο έλεγχος θα πρέπει να αντιμετωπίζει τη συνθήκη, όχι απλώς να υπόσχεται προσοχή γύρω από το αποτέλεσμα.

Η ανάλυση κινδύνων θα πρέπει να περιλαμβάνει την ευλόγως προβλέψιμη κακή χρήση, όχι μόνο τον σκοπό που αναγράφεται σε ένα έγγραφο προμήθειας. Η Πράξη για την Τεχνητή Νοημοσύνη το καθιστά αυτό ρητό για τα συστήματα υψηλού κινδύνου. Το άρθρο 9 ζητά αξιολόγηση των κινδύνων όταν ένα σύστημα χρησιμοποιείται όπως προβλέπεται και υπό ευλόγως προβλέψιμη κακή χρήση. Κακή χρήση δεν σημαίνει κάθε παράλογο αίτημα. Σημαίνει χρήσεις που μια ικανή ομάδα θα μπορούσε να προβλέψει από τη διεπαφή, τα κίνητρα, τις οδηγίες και τη γύρω ροή εργασίας. Αν η ταχύτερη διαδρομή στο σύστημα είναι να αποδεχθεί κανείς μια σύσταση χωρίς να διαβάσει τα τεκμήριά της, αυτή η διαδρομή ανήκει στην ανάλυση, ακόμη και αν η πολιτική ορίζει ότι απαιτείται επανεξέταση.

Οι κίνδυνοι ζουν και στα σημεία διασύνδεσης. Ένα μοντέλο μπορεί να παράγει μια περιορισμένη σύσταση, αλλά μια ενοποίηση μπορεί να τη μετατρέψει σε μια απεριόριστη οδηγία. Ένας προμηθευτής μπορεί να παρέχει ένα τελικό σημείο με έκδοση, αλλά μια ανάπτυξη μπορεί να αποθηκεύσει στην κρυφή μνήμη απαντήσεις πέρα από την περίοδο ισχύος. Μια δημόσια αρχή μπορεί να διατηρεί την ευθύνη λήψης αποφάσεων, αλλά μια σύμβαση μπορεί να καθιστά τον προμηθευτή το μόνο μέρος που μπορεί να επιθεωρήσει το ίχνος. Το όριο συστήματος για μια υπόθεση ασφάλειας πρέπει να ακολουθεί την αιτιώδη διαδρομή έως την συνέπεια. Το να χαράσσεται το όριο γύρω από το μοντέλο και μόνο είναι ένας αποτελεσματικός τρόπος να χάνεται η δουλειά που κάνει το μοντέλο να έχει σημασία.

Δεν αξίζει σε κάθε κίνδυνο η ίδια μεταχείριση. Κάποιοι μπορούν να μειωθούν μέσω σχεδιασμού. Κάποιοι χρειάζονται διαδικαστικούς ελέγχους ή ανθρώπινη αναθεώρηση. Κάποιοι μπορούν να παρακολουθούνται και να γίνονται αποδεκτοί με όρους. Κάποιοι υποδεικνύουν ότι η προτεινόμενη χρήση δεν είναι κατάλληλη. Μια υπόθεση ασφάλειας θα πρέπει να δείχνει τη συλλογιστική, όχι να την κρύβει πίσω από μια καθολική βαθμολογία κινδύνου. Η ευρωπαϊκή σιδηροδρομική μέθοδος επιτρέπει διαφορετικές αρχές αποδοχής κινδύνου, συμπεριλαμβανομένων κωδίκων πρακτικής, σύγκρισης με παρόμοια μέρη ενός συστήματος και ρητής εκτίμησης κινδύνου. Το μάθημα δεν είναι ότι μια μέθοδος υπερισχύει παντού. Το μάθημα είναι ότι η μέθοδος και η καταλληλότητά της για την αλλαγή πρέπει να καταγράφονται.

Οι υποθέσεις φέρουν βάρος

Κάθε επιχείρημα ασφάλειας στηρίζεται σε υποθέσεις. Ο χειριστής είναι εκπαιδευμένος. Η πηγή είναι επίκαιρη. Το όριο έχει τη σημασία που πιστεύει η ομάδα ότι έχει. Το άτομο που λαμβάνει την ειδοποίηση μπορεί να ενεργήσει έγκαιρα. Η εξωτερική υπηρεσία θα είναι διαθέσιμη ή υπάρχει εναλλακτική λύση. Η έξοδος θα παραμείνει σύσταση και όχι de facto απόφαση. Ο οργανισμός θα παρατηρήσει αν μια ενημέρωση μοντέλου αλλάξει τη συμπεριφορά. Πολλές αποτυχίες ασφάλειας δεν προκαλούνται από το ότι μια υπόθεση είναι παράλογη. Προκαλούνται από το ότι μια υπόθεση είναι αόρατη.

Μια υπόθεση ανήκει στην υπόθεση ασφάλειας με έναν ιδιοκτήτη και έναν τρόπο ελέγχου της. Αν το επιχείρημα βασίζεται σε εκπαιδευμένους αναθεωρητές, η υπόθεση θα πρέπει να αναφέρει την απαιτούμενη επάρκεια, πώς διαπιστώνεται και τι συμβαίνει όταν αλλάζει το προσωπικό. Αν το επιχείρημα βασίζεται σε μια πηγή που παραμένει εντός ενός παραθύρου φρεσκάδας, το σύστημα θα πρέπει να καταγράφει τη φρεσκάδα και να εξαρτά τη δράση από αυτήν όπου είναι απαραίτητο. Αν το επιχείρημα βασίζεται σε μια ενοποίηση που διατηρεί ένα πεδίο, η σύμβαση διεπαφής και μια δοκιμή θα πρέπει να καθιστούν ορατή την εξάρτηση. Μια υπόθεση που δεν μπορεί να ελεγχθεί είναι ένας κίνδυνος με πιο ήπιο όνομα.

Οι υποθέσεις μπορεί να αφορούν τον εξωτερικό κόσμο καθώς και το λογισμικό. Ένα νοσοκομείο μπορεί να εξαρτάται από μια κλινική διαδρομή. Ένας σιδηροδρομικός φορέας μπορεί να εξαρτάται από μια διεπαφή σηματοδότησης. Ένας δημόσιος φορέας μπορεί να εξαρτάται από μια θεσμοθετημένη διαδικασία και από έναν άνθρωπο που λαμβάνει αποφάσεις και διατηρεί την εξουσία. Ένας κατασκευαστής μπορεί να εξαρτάται από τη συντήρηση που εκτελείται εντός καθορισμένου διαστήματος. Η υπόθεση ασφάλειας δεν ελέγχει κάθε εξωτερική συνθήκη. Πρέπει όμως να αναφέρει ποιες συνθήκες υποθέτει, ποιο μέρος τις κατέχει και πώς αναγνωρίζεται μια αλλαγή.

Όταν αλλάζουν οι υποθέσεις, η υπόθεση ασφάλειας δεν θα πρέπει να τεντώνεται σιωπηλά. Μια ομάδα μπορεί να ξεκινήσει με μια χρήση μόνο συστάσεων και στη συνέχεια να προσθέσει μια αυτόματη μεταβίβαση επειδή η σύσταση έχει γίνει συχνά αποδεκτή. Το μοντέλο δεν έχει αλλάξει, αλλά η εξουσία και ο κίνδυνος έχουν αλλάξει. Ένας πάροχος δεδομένων μπορεί να προσθέσει μια νέα κατηγορία που φαίνεται ακίνδυνη έως ότου αλλάξει τη σημασία ενός μεταγενέστερου κανόνα. Μια ανάπτυξη μπορεί να μετακινηθεί από εκπαιδευμένους ειδικούς σε μια γενική ομάδα υποστήριξης. Αυτές είναι αλλαγές στην υπόθεση ασφάλειας ακόμη και αν ο αριθμός έκδοσης του μοντέλου παραμένει ο ίδιος.

Οι υποθέσεις είναι ιδιαίτερα σημαντικές για πιθανοτικά συστήματα επειδή ένας σταθερός μέσος όρος μπορεί να κρύβει ένα ασταθές άκρο. Η υπόθεση θα πρέπει να προσδιορίζει πού αναμένεται το σύστημα να είναι αβέβαιο, ποια στοιχεία σηματοδοτούν αυτή την αβεβαιότητα και ποιος ανθρώπινος ή τεχνικός έλεγχος αναλαμβάνει. Ο στόχος δεν είναι να προσποιηθούμε ότι η αβεβαιότητα μπορεί να εξαλειφθεί. Είναι να σταματήσει μια ανείπωτη προσδοκία βεβαιότητας από το να γίνει η επιχειρησιακή πολιτική.

Τα τεκμήρια δεν αποτελούν διαβατήριο για κάθε πλαίσιο. Οι παραδοχές τους ορίζουν πού μπορούν να ταξιδέψουν.

Τα τεκμήρια χρειάζονται αλυσίδα φύλαξης

Τα τεκμήρια σε μια τεκμηρίωση ασφάλειας είναι κάτι περισσότερο από ένα αποτέλεσμα αντιγραμμένο σε έναν πίνακα. Έχουν ταυτότητα, πεδίο εφαρμογής, ημερομηνία, μέθοδο, υπεύθυνο άτομο ή ομάδα και σχέση με τον ισχυρισμό που υποστηρίζουν. Μια δοκιμή χρειάζεται καθορισμένη είσοδο και διαμόρφωση. Μια αναθεώρηση χρειάζεται ερώτημα και απόφαση. Μια άσκηση χρειάζεται αναμενόμενη απόκριση και παρατήρηση. Ένα αρχείο καταγραφής χρειάζεται αρκετό πλαίσιο για να ερμηνευθεί χωρίς να βασίζεται κανείς στη μνήμη. Μια εγγραφή πηγής χρειάζεται ίχνος προέλευσης. Οι λεπτομέρειες διαφέρουν ανά τομέα, αλλά η αρχή παραμένει σταθερή: τα τεκμήρια θα πρέπει να μπορούν να επιθεωρηθούν μετά τη συνάντηση στην οποία ακούστηκαν πειστικά.

Η Πράξη για την Τεχνητή Νοημοσύνη προσδίδει νομική βαρύτητα σε αυτή την αρχή για συστήματα υψηλού κινδύνου. Το άρθρο 11 απαιτεί η τεχνική τεκμηρίωση να είναι διαθέσιμη πριν από τη διάθεση του συστήματος στην αγορά και να διατηρείται επικαιροποιημένη. Το άρθρο 12 απαιτεί αυτόματη καταγραφή των σχετικών συμβάντων καθ' όλη τη διάρκεια ζωής του συστήματος, με δυνατότητες καταγραφής ανάλογες του επιδιωκόμενου σκοπού και χρήσιμες για τον εντοπισμό κινδύνων, την υποστήριξη της παρακολούθησης μετά τη διάθεση στην αγορά και την παρακολούθηση της λειτουργίας. Το άρθρο 13 ζητά πληροφορίες που επιτρέπουν στους αναπτύσσοντες να κατανοούν τις δυνατότητες, τους περιορισμούς, τους προβλέψιμους κινδύνους, την ανθρώπινη εποπτεία και τις απαιτήσεις εισόδου. Μια τεκμηρίωση ασφάλειας συνδέει αυτά τα αρχεία αντί να τα αφήνει σε ξεχωριστά συρτάρια συμμόρφωσης.

Τα τεκμήρια πρέπει να διατηρούν τις συνθήκες τους. Ένα αποτέλεσμα απόδοσης χωρίς τον πληθυσμό δοκιμής του μπορεί να παρερμηνευθεί. Ένα αποτέλεσμα ευρωστίας χωρίς τις διαταραχές που χρησιμοποιήθηκαν μπορεί να υπερεκτιμηθεί. Μια αναθεώρηση ανθρώπινων παραγόντων χωρίς τη ροή εργασίας και τη χρονική πίεση υπό την οποία εκτελέστηκε μπορεί να μετατραπεί σε γενικό κομπλιμέντο. Ένα αρχείο καταγραφής συμβάντων χωρίς την έκδοση, την κατάσταση δεδομένων και τα δικαιώματα που ίσχυαν μπορεί να παράγει μια ελκυστική αλλά λανθασμένη βασική αιτία. Όσο πιο σημαντική είναι η απόφαση, τόσο λιγότερο αποδεκτό είναι να αποσπάται ένα αποτέλεσμα από τις συνθήκες που το κατέστησαν αληθές.

Τα τεκμήρια μπορεί να είναι ποιοτικά ή ποσοτικά. Μια τεκμηριωμένη κρίση ειδικού μπορεί να αποτελεί έγκυρο τεκμήριο όταν το ερώτημα είναι κατάλληλο, η εξειδίκευση προσδιορίζεται και η αιτιολογία καταγράφεται. Μια αριθμητική βαθμολογία μπορεί να αποτελεί ασθενές τεκμήριο όταν ο παρονομαστής, το όριο ή οι συνθήκες δοκιμής δεν είναι σαφή. Δεν υπάρχει ηθική ιεραρχία στην οποία ένας αριθμός υπερτερεί αυτόματα μιας προσεκτικής παρατήρησης. Η τεκμηρίωση θα πρέπει να εξηγεί την καταλληλότητα για τον σκοπό και την αβεβαιότητα, όχι να αποδίδει ευλάβεια στα δεκαδικά ψηφία.

Η ιχνηλασιμότητα καθιστά επίσης τη διαφωνία παραγωγική. Ένας αξιολογητής θα πρέπει να μπορεί να πει ποιος ισχυρισμός δεν υποστηρίζεται, ποια υπόθεση είναι υπερβολικά αισιόδοξη ή ποιος έλεγχος δεν έχει ασκηθεί. Η υπόθεση γίνεται έτσι κοινό αντικείμενο αμφισβήτησης και όχι τελετουργικό πακέτο έγκρισης. Αυτός είναι ένας λόγος που οι βιομηχανίες κρίσιμης ασφάλειας επενδύουν σε ανεξάρτητη αξιολόγηση και δομημένες εκθέσεις διασφάλισης. Σκοπός δεν είναι να γίνει η διαφωνία άνετη. Σκοπός είναι να γίνει η διαφωνία εντοπίσιμη.

Ο υπολειπόμενος κίνδυνος είναι απόφαση, όχι υπόλοιπο

Ο κίνδυνος δεν εξαφανίζεται επειδή προστέθηκαν έλεγχοι. Ο κίνδυνος που απομένει μετά τους ελέγχους είναι ο υπολειπόμενος κίνδυνος. Πρέπει να περιγραφεί και να γίνει αποδεκτός από μια αρχή που μπορεί να κατανοήσει τα αποδεικτικά στοιχεία, να επιβάλει όρους και να σταματήσει τη χρήση όταν οι όροι δεν πληρούνται. Το να χαρακτηρίζεται ένας κίνδυνος αποδεκτός δεν είναι το ίδιο με το να λέμε ότι είναι μικρός. Σημαίνει ότι ο οργανισμός έχει λάβει μια τεκμηριωμένη απόφαση για την εναπομένουσα έκθεση σε ένα συγκεκριμένο πλαίσιο και δεν έχει αποκρύψει τη βάση αυτής της απόφασης.

Το άρθρο 9 της Πράξης για την Τεχνητή Νοημοσύνη χρησιμοποιεί απευθείας αυτή τη γλώσσα για συστήματα υψηλού κινδύνου. Ο σχετικός υπολειπόμενος κίνδυνος που συνδέεται με κάθε κίνδυνο, καθώς και ο συνολικός υπολειπόμενος κίνδυνος, πρέπει να κρίνονται αποδεκτοί. Ο κανονισμός ζητά επίσης εξάλειψη ή μείωση όπου αυτό είναι τεχνικά εφικτό, και μέτρα μετριασμού και ελέγχου όπου οι κίνδυνοι δεν μπορούν να εξαλειφθούν. Αυτή είναι μια χρήσιμη σειρά. Πρώτα αλλάζεις τον σχεδιασμό όταν είναι δυνατόν. Μετά προσθέτεις ελέγχους. Μετά καταγράφεις ό,τι απομένει. Μια προειδοποιητική ετικέτα δεν αποτελεί δικαιολογία για να διατηρείται ένας αποτρέψιμος κίνδυνος στην αρχιτεκτονική.

Ο υπολειπόμενος κίνδυνος θα πρέπει να περιλαμβάνει την αναστρεψιμότητα. Τα κριτήρια κινδύνου της Πράξης για την Τεχνητή Νοημοσύνη εξετάζουν αν ένα αποτέλεσμα μπορεί να διορθωθεί ή να αντιστραφεί και σημειώνουν ότι οι δυσμενείς επιπτώσεις στην υγεία, την ασφάλεια ή τα θεμελιώδη δικαιώματα δεν θα πρέπει να αντιμετωπίζονται ως εύκολα διορθώσιμες απλώς επειδή υπάρχει ένα τεχνικό κουμπί αναίρεσης. Αυτή είναι μια ήσυχη αλλά σημαντική διάκριση. Ένα προσχέδιο μπορεί να διορθωθεί. Ένα χαμένο όφελος, μια απορριφθείσα υπηρεσία ή μια δημόσια κατηγορία μπορεί να είναι πολύ πιο δύσκολο να επισκευαστούν. Η υπόθεση θα πρέπει να κατανέμει ισχυρότερους ελέγχους εκεί όπου το άτομο που επηρεάζεται δεν μπορεί ρεαλιστικά να εξαιρεθεί ή να αναιρέσει το αποτέλεσμα.

Η αποδοχή πρέπει να έχει όρους. Ένα σύστημα μπορεί να γίνει αποδεκτό για μια περιορισμένη πιλοτική φάση, μια εκπαιδευμένη ομάδα, μια συγκεκριμένη πηγή δεδομένων και μια διαδρομή αναθεώρησης. Μπορεί να μην γίνει αποδεκτό για διαφορετικό πληθυσμό, μη επιτηρούμενη ροή εργασίας ή ενσωμάτωση που αφαιρεί αποδεικτικά στοιχεία. Οι όροι θα πρέπει να διατυπώνονται έτσι ώστε ένας χειριστής να μπορεί να διαπιστώσει αν εξακολουθούν να ισχύουν. Αν ένας όρος είναι απλώς ότι οι χρήστες θα εφαρμόσουν κρίση, η υπόθεση δεν έχει πει πώς το σύστημα υποστηρίζει την κρίση ή τι συμβαίνει όταν ο φόρτος εργασίας δυσχεραίνει την άσκηση κρίσης.

Μια απόφαση υπολειπόμενου κινδύνου χρειάζεται επίσης ημερομηνία λήξης ή ενεργοποιητή αναθεώρησης. Μια σταθερή ημερομηνία στο ημερολόγιο μπορεί να βοηθήσει, αλλά τα γεγονότα είναι συνήθως πιο ενημερωτικά: μια αλλαγή μοντέλου, μια νέα πηγή, ένα σημαντικό συμβάν, ένα σήμα μετατόπισης, μια αλλαγή στους χρήστες, μια νέα νομική υποχρέωση ή μια αποτυχία άσκησης ελέγχου. Η απόφαση δεν είναι ένα φυλαχτό που τοποθετείται στην έκδοση. Είναι μια άδεια με πρόγραμμα συντήρησης.

Η ανθρώπινη εποπτεία πρέπει να έχει εξουσία

Η ανθρώπινη εποπτεία αναφέρεται συχνά σαν η παρουσία ενός ατόμου κάπου κοντά στο αποτέλεσμα να καθιστά το σύστημα ασφαλές. Η Πράξη για την Τεχνητή Νοημοσύνη είναι πιο απαιτητική. Το άρθρο 14 λέει ότι τα συστήματα υψηλού κινδύνου πρέπει να σχεδιάζονται έτσι ώστε τα φυσικά πρόσωπα να μπορούν να τα εποπτεύουν αποτελεσματικά κατά τη χρήση. Η εποπτεία πρέπει να είναι ανάλογη με τον κίνδυνο, την αυτονομία και το πλαίσιο. Τα άτομα που ανατίθενται σε αυτήν θα πρέπει να κατανοούν τις δυνατότητες και τα όρια, να εντοπίζουν ανωμαλίες, να αναγνωρίζουν τη μεροληψία αυτοματισμού, να ερμηνεύουν το αποτέλεσμα, να αποφασίζουν να μην το χρησιμοποιήσουν ή να το παρακάμψουν και να παρεμβαίνουν ή να σταματούν το σύστημα μέσω μιας ασφαλούς διαδικασίας.

Αυτές είναι απαιτήσεις σχεδιασμού όσο και απαιτήσεις στελέχωσης. Ένας αξιολογητής δεν μπορεί να ερμηνεύσει ένα αποτέλεσμα αν τα στοιχεία είναι κρυφά. Ένας αξιολογητής δεν μπορεί να αμφισβητήσει μια σύσταση αν η διεπαφή παρουσιάζει την αποδοχή ως τη μόνη βολική διαδρομή. Ένας αξιολογητής δεν μπορεί να σταματήσει ένα σύστημα αν η ενέργεια διακοπής απαιτεί άδεια που κανείς δεν έχει χορηγήσει. Ένας αξιολογητής δεν μπορεί να παρέχει ουσιαστική εποπτεία ενώ αξιολογείται μόνο με βάση την απόδοση. Μια υπόθεση ασφάλειας θα πρέπει επομένως να αντιμετωπίζει τον ανθρώπινο ρόλο ως στοιχείο ελέγχου με εισόδους, εξουσία, φόρτο εργασίας, εκπαίδευση και παρατηρήσιμη συμπεριφορά.

Η εξουσία είναι η λεπτομέρεια που οι ευγενικές περιγραφές παραλείπουν. Ποιος μπορεί να θέσει σε παύση τη ροή εργασίας. Ποιος μπορεί να αναστρέψει μια ενέργεια. Ποιος μπορεί να δηλώσει ότι μια παραδοχή δεν ισχύει πλέον. Ποιος μπορεί να επικοινωνήσει με τον προμηθευτή. Ποιος κατέχει το αρχείο. Ποιος αποφασίζει αν ο υπολειπόμενος κίνδυνος είναι ακόμη αποδεκτός. Αν κανείς δεν έχει την εξουσία, η περιγραφή του ανθρώπου στον βρόχο είναι θέατρο. Το άτομο μπορεί να βλέπει το αποτέλεσμα, αλλά το να βλέπει δεν σημαίνει ότι κυβερνά.

Η καλή εποπτεία είναι επίσης επιλεκτική. Ο στόχος δεν είναι να σταλεί κάθε ασήμαντο προσχέδιο σε μια επιτροπή. Είναι να τοποθετηθεί η ανθρώπινη κρίση εκεί όπου οι συνέπειες, η αβεβαιότητα ή η αμφισβητησιμότητα το απαιτούν. Ορισμένες περιπτώσεις μπορούν να αντιμετωπιστούν με δομημένους ελέγχους. Ορισμένες χρειάζονται εκπαιδευμένο ειδικό. Ορισμένες χρειάζονται δύο ανεξάρτητες επιβεβαιώσεις σύμφωνα με την ισχύουσα νομοθεσία. Ορισμένες θα πρέπει να απορρίπτονται. Η υπόθεση θα πρέπει να εξηγεί την επιλογή και να αποδεικνύει ότι η επιλεγμένη διαδρομή είναι διαθέσιμη στην πραγματική λειτουργία, όχι μόνο σε ένα εγχειρίδιο διαδικασιών.

Υπάρχει ένας μετρημένος σεβασμός στον σχεδιασμό με αυτόν τον τρόπο. Αποδέχεται ότι οι άνθρωποι κουράζονται, ότι οι ουρές μεγαλώνουν, ότι οι διεπαφές διαμορφώνουν την προσοχή και ότι μια προειδοποίηση που εμφανίζεται εκατό φορές μπορεί να πάψει να είναι προειδοποίηση. Η μηχανική ασφάλειας το έχει μάθει αυτό μέσα από την εμπειρία στις μεταφορές και τη βιομηχανία. Οι ομάδες τεχνητής νοημοσύνης δεν χρειάζεται να επαναλάβουν κάθε μάθημα διεξάγοντας ένα αποτρέψιμο πείραμα στο κοινό.

Η αλλαγή συνεχίζει να εισέρχεται στην υπόθεση

Μια υπόθεση ασφάλειας είναι ζωντανή επειδή το σύστημα είναι ζωντανό. Η έκδοση του μοντέλου μπορεί να αλλάξει, αλλά μπορεί να αλλάξουν και το προτρέπον κείμενο, το ευρετήριο ανάκτησης, η ταξινόμηση, η πολιτική, το υλικό, το προσωπικό, η διεπαφή, η πηγή δεδομένων ή ο προμηθευτής. Μια μικρή τροποποίηση μπορεί να ακυρώσει μια παραδοχή ή να μετακινήσει ένα στοιχείο ελέγχου. Ο προκύπτων κίνδυνος μπορεί να είναι υψηλότερος, χαμηλότερος ή απλώς διαφορετικός. Η σωστή απάντηση δεν είναι να παγώσει το σύστημα για πάντα. Είναι να γίνει η αλλαγή ορατή, να ταξινομηθεί η σημασία της και να αποφασιστεί ποια μέρη του επιχειρήματος πρέπει να επανεξεταστούν.

Η σιδηροδρομική πρακτική προσφέρει ένα σαφές πρότυπο. Ο κανονισμός 402/2013 εφαρμόζει την κοινή μέθοδό του όταν τεχνικές, λειτουργικές ή οργανωτικές αλλαγές επηρεάζουν το σιδηροδρομικό σύστημα. Ο προτείνων εξετάζει τη σημασία της αλλαγής και, όταν είναι απαραίτητο, χρησιμοποιεί αρχές αποδοχής κινδύνου και ανεξάρτητη αξιολόγηση. Ο κανονισμός προειδοποιεί επίσης ότι μπορεί να έχει σημασία το σύνολο των αλλαγών από την τελευταία διαδικασία κινδύνου. Πολλές μικρές αλλαγές μπορούν να αθροιστούν σε μια σημαντική. Η διακυβέρνηση της τεχνητής νοημοσύνης χρειάζεται την ίδια καχυποψία για τις αβλαβείς στην όψη προσαυξήσεις.

Για την τεχνητή νοημοσύνη, ένα αρχείο αλλαγών θα πρέπει να προσδιορίζει τι μετακινήθηκε και τι όχι. Άλλαξαν τα βάρη του μοντέλου. Άλλαξε η συλλογή στοιχείων. Άλλαξαν οι άδειες των εργαλείων. Άλλαξε ο πληθυσμός των χρηστών. Μετακινήθηκε το όριο. Έγινε αυτόματη η ροή εργασίας σε ένα σημείο που προηγουμένως ήταν συμβουλευτικό. Παρέμεινε διαθέσιμη η διαδρομή επαναφοράς. Αποτύπωσε η αξιολόγηση τη νέα κατάσταση. Το αρχείο θα πρέπει να συνδέει κάθε απάντηση με την επηρεαζόμενη αξίωση, τον κίνδυνο, το στοιχείο ελέγχου ή την παραδοχή και να προσδιορίζει τις δοκιμές ή τις αναθεωρήσεις που απαιτούνται πριν από τη διάθεση.

Ο έλεγχος αλλαγών θα πρέπει να περιλαμβάνει μια ασφαλή λειτουργία διάθεσης. Μια δοκιμαστική εκτέλεση, μια σταδιακή διαδρομή, ένας περιορισμένος πληθυσμός, μια ρητή συνθήκη επαναφοράς ή μια ανθρώπινη επιβεβαίωση μπορούν να εμποδίσουν τη νέα συμπεριφορά να γίνει θεσμικό γεγονός πριν την εξετάσει οποιοσδήποτε. Αυτοί οι μηχανισμοί δεν αποτελούν ένδειξη ότι το σύστημα είναι αδύναμο. Αποτελούν ένδειξη ότι ο οργανισμός κατανοεί ότι η νέα συμπεριφορά χρειάζεται έναν χώρο για να μάθει.

Η παρακολούθηση μετά τη διάθεση στην αγορά επεκτείνει την υπόθεση και μετά την κυκλοφορία. Το άρθρο 9 παραπέμπει σε δεδομένα που συλλέγονται μέσω του άρθρου 72, και το άρθρο 72 απαιτεί τεκμηριωμένο σύστημα παρακολούθησης για συστήματα υψηλού κινδύνου καθ' όλη τη διάρκεια ζωής τους. Η παρακολούθηση θα πρέπει να αναζητά τα σήματα που έχουν σημασία για τον ισχυρισμό: αλλαγμένα μοτίβα σφαλμάτων, ασυνήθιστες αρνήσεις, μη αναμενόμενη χρήση, αποτελέσματα προσφυγών, ελλείπουσες αποδείξεις, συμβάντα ασφάλειας και αποτυχίες των ανθρώπινων ελέγχων. Ένας πίνακας ελέγχου που αναφέρει μόνο τον χρόνο λειτουργίας είναι ένας ευχάριστος τρόπος να χάσετε ένα πρόβλημα ασφάλειας.

Η ανεξάρτητη αξιολόγηση είναι μια χρήσιμη ταλαιπωρία

Όσοι κατασκεύασαν ένα σύστημα γνωρίζουν την κομψότητά του, τις συντομεύσεις του και τις πιέσεις υπό τις οποίες παραδόθηκε. Αυτή η γνώση είναι απαραίτητη. Δεν αρκεί για να γίνει αποδεκτός ο κίνδυνος. Μια ανεξάρτητη αξιολόγηση δημιουργεί χώρο για κάποιον να αμφισβητήσει το επιχείρημα χωρίς να φέρει τα ίδια κίνητρα κυκλοφορίας. Η ανεξαρτησία δεν απαιτεί εχθρότητα ή εξωτερικό λογότυπο σε κάθε σελίδα. Απαιτεί ικανότητα, πεδίο εφαρμογής, πρόσβαση σε αποδεικτικά στοιχεία και εξουσία να καταγράψει μια διαφωνία που ο ιδιοκτήτης δεν μπορεί απλώς να διαγράψει.

Η ευρωπαϊκή σιδηροδρομική μέθοδος καθιστά αυτόν τον διαχωρισμό συγκεκριμένο. Ο ERA περιγράφει έναν φορέα αξιολόγησης υπεύθυνο για τον έλεγχο της ορθής εφαρμογής της διαδικασίας εκτίμησης κινδύνου και των αποτελεσμάτων της, με απαιτήσεις για ικανότητα, διαπίστευση ή αναγνώριση. Ο κανονισμός επιτρέπει μια ανεξάρτητη και ικανή εξωτερική ή εσωτερική οντότητα, υπό την προϋπόθεση ότι πληροί τα κριτήρια. Ο σχεδιασμός είναι αναλογικός και όχι θεατρικός. Αναγνωρίζει ότι η διασφάλιση μπορεί να είναι εσωτερική όταν η ανεξαρτησία είναι πραγματική, και ότι ένα σήμα δεν μπορεί να διασώσει έναν αξιολογητή που δεν μπορεί να δει τα σχετικά αποδεικτικά στοιχεία.

Για την τεχνητή νοημοσύνη, η ανεξαρτησία μπορεί να είναι σε επίπεδα. Ένας κάτοχος τομέα ελέγχει ότι η χρήση είναι θεμιτή και ότι η ανάλυση κινδύνων αντικατοπτρίζει την εργασία. Ένας αξιολογητής μηχανικής ελέγχει την ενσωμάτωση και τους τρόπους αστοχίας. Ένας αξιολογητής ασφάλειας δοκιμάζει τις οδούς πρόσβασης και χειραγώγησης. Ένας αξιολογητής λειτουργιών ελέγχει τον φόρτο εργασίας, την κλιμάκωση και την ανάκαμψη. Μια λειτουργία διακυβέρνησης ή συμμόρφωσης ελέγχει τα αρχεία και τα καθήκοντα. Για χρήσεις υψηλών συνεπειών, μπορεί να ισχύει εξωτερική αξιολόγηση ή διαδρομή κοινοποιημένου φορέα στο πλαίσιο του σχετικού νομικού πλαισίου. Η υπόθεση ασφάλειας θα πρέπει να αναφέρει τον ρόλο που παίζει κάθε αξιολογητής και τις ερωτήσεις που επιτρέπεται να θέσει.

Η ανεξαρτησία είναι επίσης προστασία από την αδιαφάνεια του προμηθευτή. Μια αναφορά προμηθευτή μπορεί να υποστηρίξει έναν ισχυρισμό, αλλά ο αναπτύσσων πρέπει να γνωρίζει τι δοκιμάστηκε, υπό ποια διαμόρφωση και ποιοι περιορισμοί παραμένουν. Εάν ένα κρίσιμο αποτέλεσμα δεν μπορεί να αναπαραχθεί, να επιθεωρηθεί ή να μεταφερθεί όταν λήξει η σύμβαση, η εξάρτηση ανήκει στην υπόθεση. Οι προμήθειες θα πρέπει να ζητούν πρόσβαση σε αποδεικτικά στοιχεία, ταυτότητα έκδοσης, κοινοποίηση συμβάντων, ειδοποίηση αλλαγών, εξαγωγή, επαναφορά και πρακτική έξοδο. Η λέξη πρακτική κάνει μεγάλη δουλειά εδώ. Ένα δικαίωμα που δεν μπορεί να ασκηθεί υπό πίεση χρόνου δεν είναι και πολύ έλεγχος.

Μια καλή αξιολόγηση παράγει περισσότερα από μια σφραγίδα έγκρισης. Καταγράφει προϋποθέσεις, ανοιχτά ευρήματα, κενά αποδεικτικών στοιχείων, υπολειπόμενο κίνδυνο και απαιτούμενη παρακολούθηση. Μερικές φορές η σωστή απόφαση είναι να κυκλοφορήσει με περιορισμούς. Μερικές φορές είναι να καθυστερήσει. Μερικές φορές είναι να απορρίψει την προτεινόμενη χρήση. Μια κουλτούρα ασφάλειας δεν είναι αυτή στην οποία περνά κάθε υπόθεση. Είναι αυτή στην οποία η απόφαση ακολουθεί το επιχείρημα.

Τι προσθέτει ο κανονισμός AI στο επιχείρημα

Ο κανονισμός AI δεν μετατρέπει κάθε ανάπτυξη τεχνητής νοημοσύνης σε σιδηρόδρομο. Καθιερώνει ένα ευρωπαϊκό λεξιλόγιο για τη διαχείριση κινδύνου, την τεχνική τεκμηρίωση, την καταγραφή, τη διαφάνεια, την ανθρώπινη εποπτεία, την ακρίβεια, την ευρωστία και την κυβερνοασφάλεια για συστήματα υψηλού κινδύνου. Μια υπόθεση ασφάλειας μπορεί να βοηθήσει έναν οργανισμό να συνδέσει αυτές τις υποχρεώσεις σε μια επιχειρησιακή εξήγηση αντί να αντιμετωπίζει κάθε άρθρο ως ξεχωριστή εργασία συμμόρφωσης.

Το άρθρο 8 συνδέει τη συμμόρφωση με τον επιδιωκόμενο σκοπό και την γενικώς αναγνωρισμένη σύγχρονη τεχνολογία, και επιτρέπει τις αναγκαίες δοκιμές, την υποβολή εκθέσεων, τις πληροφορίες και την τεκμηρίωση να ενσωματώνονται στις υφιστάμενες διαδικασίες εναρμόνισης της Ένωσης, όταν ένα προϊόν καλύπτεται ήδη από αυτές. Αυτό είναι σημαντικό για τη μηχανική ασφάλειας. Αναγνωρίζει ότι ένα σύστημα μπορεί να διαθέτει ήδη μια ώριμη διαδικασία διασφάλισης και ότι ο διπλασιασμός αρχείων είναι λιγότερο χρήσιμος από τη διασύνδεσή τους. Η υπόθεση θα πρέπει να δείχνει πού εντάσσονται τα τεκμήρια για την τεχνητή νοημοσύνη στο ευρύτερο επιχείρημα του προϊόντος ή της υπηρεσίας.

Το άρθρο 11 και το παράρτημα IV προσδίδουν στον τεχνικό φάκελο ένα ευρύ περίγραμμα. Περιλαμβάνει τον επιδιωκόμενο σκοπό, τις εκδόσεις, τις διεπαφές, το υλικό, τις μεθόδους ανάπτυξης, την αρχιτεκτονική, την προέλευση και τα χαρακτηριστικά των δεδομένων, την ανθρώπινη εποπτεία, τις προκαθορισμένες αλλαγές, τις διαδικασίες επικύρωσης και δοκιμών, τις μετρήσεις, τα αρχεία καταγραφής δοκιμών και τα μέτρα κυβερνοασφάλειας. Αυτό δεν ταυτίζεται με μια μελέτη ασφάλειας, αλλά παρέχει πολλά από τα στοιχεία που χρειάζεται μια μελέτη ασφάλειας. Μια ομάδα μπορεί να αντιστοιχίσει κάθε στοιχείο σε έναν ισχυρισμό και να αποκαλύψει τι παραμένει χωρίς υπεύθυνο ή τεκμήρια.

Η απαίτηση καταγραφής του άρθρου 12 είναι ιδιαίτερα πρακτική. Εάν ένα σύστημα υψηλού κινδύνου πρέπει τεχνικά να επιτρέπει την αυτόματη καταγραφή συμβάντων καθ' όλη τη διάρκεια ζωής του, η απόφαση έκδοσης θα πρέπει να εξετάζει τι μπορεί πραγματικά να ανασυνθέσει το σύστημα. Ποια δεδομένα εισόδου, ποιο μοντέλο, ποια διαμόρφωση, ποια τεκμήρια, ποια κλήση εργαλείου, ποια ανθρώπινη παρέμβαση και ποια επακόλουθη ενέργεια μπορούν να συνδεθούν. Ποια αρχεία καταγραφής βρίσκονται υπό τον έλεγχο του παρόχου και ποια υπό τον έλεγχο του αναπτύσσοντος. Πώς προστατεύονται και διατηρούνται. Μπορεί ένα ενδιαφερόμενο πρόσωπο ή μια αρχή να κατανοήσει τη σχετική διαδρομή χωρίς να λάβει ένα σύνολο άσχετων προσωπικών δεδομένων.

Το άρθρο 15 προσθέτει μια θεώρηση κύκλου ζωής για την ακρίβεια, την ευρωστία και την κυβερνοασφάλεια, συμπεριλαμβανομένης της ανθεκτικότητας σε σφάλματα, βλάβες και ασυνέπειες και, όπου συντρέχει περίπτωση, σχεδίων εφεδρικής λειτουργίας ή ασφαλούς αστοχίας. Μια μελέτη ασφάλειας δίνει σε αυτές τις λέξεις ένα πλαίσιο εφαρμογής. Ο ισχυρισμός δεν είναι ότι μια βαθμολογία είναι υψηλή. Ο ισχυρισμός είναι ότι το σύστημα αποδίδει με συνέπεια για τον επιδιωκόμενο σκοπό του, ότι οι γνωστές συνθήκες αστοχίας είναι περιορισμένες και ότι η ροή εργασίας διαθέτει μια ασφαλή απόκριση όταν αυτές εμφανίζονται. Τα τεκμήρια πρέπει να αναφέρουν τις συνθήκες υπό τις οποίες ισχύει το συμπέρασμα.

Οι υποχρεώσεις του κανονισμού εφαρμόζονται ανάλογα με το σύστημα, τον πάροχο, τον αναπτύσσοντα και τη χρήση. Μια μελέτη ασφάλειας δεν θα πρέπει να προσποιείται ότι ένα γενικό πρότυπο επιλύει την ταξινόμηση ή παρέχει νομικές συμβουλές. Θα πρέπει να καταγράφει την απόφαση εφαρμογής, το σκεπτικό της και τα σημεία που θα μπορούσαν να την αλλάξουν. Αυτό είναι ένα ακόμη όφελος των ρητών παραδοχών. Όταν αλλάζει ένα δεδομένο, ο οργανισμός γνωρίζει ποιο μέρος του επιχειρήματος χρειάζεται προσοχή, αντί να ανακαλύπτει εκ νέου ολόκληρο τον νομικό χάρτη εν μέσω πανικού.

Η αεροπορία αντιμετωπίζει τη μάθηση ως μέρος της διασφάλισης

Το Έγγραφο Ιδεών για την Τεχνητή Νοημοσύνη, Έκδοση 2, του Ευρωπαϊκού Οργανισμού Ασφάλειας της Αεροπορίας είναι χρήσιμο επειδή δεν περιγράφει την ασφάλεια της τεχνητής νοημοσύνης ως ιδιότητα ενός μεμονωμένου μοντέλου. Το έγγραφο εξειδικεύει τις κατευθυντήριες γραμμές για εφαρμογές επιπέδου 1 που ενισχύουν τις ανθρώπινες ικανότητες και εμβαθύνει την εργασία στη διασφάλιση της μάθησης, στην επεξηγησιμότητα της τεχνητής νοημοσύνης και στην αξιολόγηση βάσει δεοντολογίας. Εξετάζει επίσης συστήματα επιπέδου 2, όπου η τεχνητή νοημοσύνη μπορεί να λαμβάνει αυτόνομα αποφάσεις υπό ανθρώπινη εποπτεία, και αναδεικνύει τη συνεργασία ανθρώπου και τεχνητής νοημοσύνης και τον σχεδιασμό ασφαλούς αλληλεπίδρασης.

Η σημαντική ιδέα δεν είναι ότι κάθε οργανισμός θα πρέπει να αντιγράφει την ορολογία της αεροπορίας. Είναι ότι η διασφάλιση πρέπει να ακολουθεί τη σχέση μεταξύ του συστήματος και της ανθρώπινης εργασίας. Ένα μοντέλο που βοηθά έναν εκπαιδευμένο χειριστή δεν αποτελεί το ίδιο πρόβλημα ασφάλειας με ένα μοντέλο που αποφασίζει ενώ ένα άτομο απλώς επιβλέπει. Η ικανότητα του χειριστή να κατανοεί, να παρεμβαίνει και να ανακάμπτει αποτελεί μέρος του συστήματος. Το ίδιο ισχύει και για τα όρια γύρω από τη μάθηση, τις ενημερώσεις και τα τεκμήρια. Το έγγραφο του EASA παρέχει στις ομάδες τεχνητής νοημοσύνης ένα ευρωπαϊκό παράδειγμα ενός κλάδου που επιχειρεί να καταστήσει αυτές τις σχέσεις ρητές πριν από την ανάπτυξη.

Η έννοια της διασφάλισης μάθησης είναι χρήσιμη, επειδή η μηχανική μάθηση μπορεί να αλλάξει τη συνήθη εικόνα των αποδεικτικών στοιχείων. Μια συμβατική έκδοση λογισμικού μπορεί να ελεγχθεί έναντι μιας καθορισμένης υλοποίησης. Ένα προσαρμοστικό σύστημα μπορεί να αλλάξει τη συμπεριφορά του καθώς αλλάζουν τα δεδομένα, η κατάσταση ή το περιβάλλον. Η επιχειρηματολογία ασφάλειας πρέπει επομένως να αναφέρει τι επιτρέπεται να μαθαίνει, τι παραμένει σταθερό, πώς ανιχνεύεται η αλλαγή, ποια αποδεικτικά στοιχεία ανανεώνονται και πότε το σύστημα επανέρχεται σε διαδικασία αποδοχής. Αν η μάθηση βρίσκεται εκτός επιχειρηματολογίας, τότε η επιχειρηματολογία αφορά το σύστημα του χθες.

Η συνεργασία ανθρώπου και τεχνητής νοημοσύνης αλλάζει επίσης τη σημασία της εποπτείας. Ο άνθρωπος δεν είναι ένα φρένο έκτακτης ανάγκης προσαρτημένο σε μια μηχανή που σχεδιάστηκε χωρίς οδηγό. Η ομάδα αποτελεί μια κοινωνικοτεχνική διάταξη με ρόλους, προσδοκίες, σήματα, εξουσία και εκπαίδευση. Μια ασφαλής αλληλεπίδραση μπορεί να απαιτεί από τη μηχανή να εξηγήσει έναν περιορισμό, να ζητήσει επιβεβαίωση, να αρνηθεί μια ενέργεια ή να καταστήσει ορατή την αβεβαιότητα. Μπορεί να απαιτεί από τον άνθρωπο να αμφισβητήσει τη μηχανή και από τον οργανισμό να επιβραβεύσει αυτή την αμφισβήτηση. Τα αποδεικτικά στοιχεία θα πρέπει να εξετάζουν την αλληλεπίδραση και όχι να την συνάγουν από μια πρόταση πολιτικής.

Και πάλι, δεν χρειάζεται κάποια επινοημένη πτήση ή ατύχημα για να γίνει κατανοητό το ζήτημα. Ένα έγγραφο σύλληψης μιας δημόσιας υπηρεσίας αρκεί για να δείξει ότι ο ευρωπαϊκός προβληματισμός για την ασφάλεια κινείται προς τη μάθηση, την ανθρώπινη αλληλεπίδραση και τη διασφάλιση ως ένα ενιαίο πρόβλημα σχεδιασμού. Οι ομάδες τεχνητής νοημοσύνης μπορούν να διαβάσουν το υλικό ως αφορμή για να αναρωτηθούν τι μαθαίνει το δικό τους σύστημα, τι μπορεί να δει ο χειριστής και ποια αποδεικτικά στοιχεία επιβιώνουν από μια αλλαγή.

Μια σύνθετη πύλη έκδοσης, χαρακτηρισμένη ως τέτοια

Ενδεικτικό σύνθετο παράδειγμα, όχι πραγματικό περιστατικό: φανταστείτε μια δημόσια υπηρεσία που εξετάζει ένα εργαλείο τεχνητής νοημοσύνης το οποίο βοηθά το προσωπικό να οργανώνει το εισερχόμενο υλικό υποθέσεων πριν λάβει την απόφαση ένας άνθρωπος. Το εργαλείο δεν είναι εξουσιοδοτημένο να αποφασίζει για την επιλεξιμότητα, να αποστέλλει ειδοποίηση ή να κλείνει μια υπόθεση. Ο προτεινόμενος ισχυρισμός ασφάλειας είναι περιορισμένος: εκπαιδευμένο προσωπικό μπορεί να χρησιμοποιήσει το εργαλείο για να προετοιμάσει μια ουρά εξέτασης όταν ο φάκελος της πηγής είναι πλήρης, ο πίνακας αποδεικτικών στοιχείων είναι ορατός, η σύσταση επισημαίνεται σαφώς ως σύσταση και το μέλος του προσωπικού μπορεί να την παρακάμψει, να την αναστείλει ή να την αφαιρέσει.

Ο πρώτος κλάδος της επιχειρηματολογίας κατονομάζει τους κινδύνους. Ένας ελλιπής φάκελος θα μπορούσε να λάβει μια φαινομενικά συνεκτική προτεραιότητα. Ένα παρωχημένο έγγραφο πολιτικής θα μπορούσε να διαμορφώσει τη σύσταση. Μια ουρά θα μπορούσε να ασκήσει πίεση σε έναν εξεταστή να αποδεχθεί τη σειρά χωρίς έλεγχο. Ένα σφάλμα δικαιωμάτων πρόσβασης θα μπορούσε να εκθέσει το υλικό ενός ατόμου σε άλλη υπόθεση. Μια ενημέρωση προμηθευτή θα μπορούσε να αλλάξει τη σημασία μιας κατηγορίας. Αυτά δεν είναι ισχυρισμοί ότι έχει συμβεί κάτι τέτοιο. Είναι συνθήκες που η ομάδα μπορεί εύλογα να προβλέψει από τον προτεινόμενο σχεδιασμό.

Ο επόμενος κλάδος κατονομάζει τους ελέγχους. Η πληρότητα και η επικαιρότητα των εισερχόμενων δεδομένων ελέγχονται πριν εμφανιστεί μια σύσταση. Τα αποδεικτικά στοιχεία που χρησιμοποιούνται για την πρόταση είναι ορατά δίπλα στην υπόθεση. Η ενέργεια παραμένει σχέδιο έως ότου ένα εκπαιδευμένο άτομο την αποδεχθεί ή την αλλάξει. Μια ελλιπής πηγή δρομολογεί το στοιχείο σε διαφορετική διαδρομή. Τα δικαιώματα πρόσβασης ελέγχονται στο όριο ανάκτησης και όχι μόνο στη διεπαφή χρήστη. Η ροή εργασίας διαθέτει χειριστήριο αναστολής και χειροκίνητη δρομολόγηση. Μια αλλαγή έκδοσης εκτελείται σε περιορισμένη λειτουργία και μπορεί να ανακληθεί. Ο φάκελος καταγράφει γιατί υπάρχει κάθε έλεγχος και ποιον κίνδυνο αντιμετωπίζει.

Στη συνέχεια, τα αποδεικτικά στοιχεία πρέπει να ασκούν τους ελέγχους. Ένα τεστ δεδομένων παρέχει ελλιπείς και παρωχημένους φακέλους και καταγράφει το αποτέλεσμα. Μια ανασκόπηση χρηστικότητας εξετάζει αν το προσωπικό μπορεί να βρει τα αποδεικτικά στοιχεία και να κατανοήσει τη σύσταση υπό ρεαλιστικό φόρτο εργασίας. Ένα τεστ πρόσβασης ελέγχει ότι μια υπόθεση δεν μπορεί να ανακτήσει υλικό εκτός του πεδίου της. Μια πρόβα έκδοσης επαληθεύει ότι λειτουργούν οι διαδρομές αναστολής και ανάκλησης. Μια ανασκόπηση αλλαγών επιβεβαιώνει ότι η νέα κατηγορία και πολιτική δεν ακυρώνουν τη λογική της ουράς. Αυτά είναι υποθετικά τεστ σε αυτό το σύνθετο παράδειγμα και όχι αναφορές δοκιμών που διενεργήθηκαν από μια επώνυμη υπηρεσία.

Η απόφαση είναι υπό όρους. Το εργαλείο μπορεί να χρησιμοποιηθεί για την προετοιμασία της ουράς εντός του δηλωμένου πεδίου εφαρμογής. Δεν μπορεί να χρησιμοποιηθεί για τη λήψη ή τη γνωστοποίηση της ουσιαστικής απόφασης. Η προϋπόθεση ότι το προσωπικό πρέπει να έχει εξουσιοδότηση να παρακάμπτει την απόφαση ανατίθεται σε έναν ρόλο. Η προϋπόθεση ότι καταγράφεται η επικαιρότητα των δεδομένων παρακολουθείται. Μια αλλαγή στο μοντέλο, την πολιτική, τη σύμβαση δεδομένων, τον πληθυσμό χρηστών ή τη μεταγενέστερη ενέργεια επανενεργοποιεί την υπόθεση. Εάν ο οργανισμός δεν μπορεί να τεκμηριώσει αυτές τις προϋποθέσεις, η πύλη έκδοσης παραμένει κλειστή. Η ιστορία είναι χρήσιμη ακριβώς επειδή κανείς δεν χρειάζεται να προσποιηθεί ότι υπήρξε μια συγκεκριμένη πόλη, ομάδα ή Τρίτη.

Ένα μικρό παράδειγμα από το Trust Centre μας

Στο Dweve, το δημόσιο Trust Centre μας κάνει μια σχετική διάκριση στο αρχείο αξιολόγησής του. Η σελίδα αξιολογήσεων παρουσιάζει μια μέθοδο που προσδιορίζει το μοντέλο, την ακριβή σουίτα, τη διαμόρφωση, την καταγεγραμμένη κατάσταση, τα τεκμήρια και την απόφαση του αξιολογητή. Διαχωρίζει την ταυτότητα της αξιολόγησης από τη μεταβαλλόμενη κατάσταση του μοντέλου, διακρίνει την προετοιμασμένη κάλυψη από ένα πραγματικό αποτέλεσμα και περιγράφει την αναπαραγωγή ως μια σύμβαση που εξαρτάται από το καταγεγραμμένο τεχνούργημα, το γράφημα εκτέλεσης, τη δρομολόγηση, τη σειρά, την κατάσταση, τους περιορισμούς, τα εργαλεία και τα τεκμήρια. Η σελίδα αναφέρει επίσης ότι δεν υπήρχε κανένα αποτέλεσμα πρώτης εξωτερικής έκδοσης από την 1η Αυγούστου 2026, επειδή αυτή η έκδοση δεν είχε πραγματοποιηθεί.

Αυτό είναι ένα μικρό παράδειγμα, όχι απόδειξη ότι έχει ολοκληρωθεί μια τεκμηρίωση ασφάλειας για κάθε χρήση των συστημάτων μας. Η αξία του έγκειται στο όριο. Μια μέθοδος δεν είναι αποτέλεσμα. Μια κατηγορία δεν είναι βαθμολογία. Μια προγραμματισμένη έκδοση δεν είναι μια ιστορική εκτέλεση. Μια αναπαράξιμη καταγεγραμμένη κατάσταση δεν είναι το ίδιο με έναν ζωντανό κόσμο του οποίου τα τεκμήρια και η προσαρμοστική κατάσταση έχουν αλλάξει. Αυτές οι διακρίσεις είναι ακριβώς αυτό που χρειάζεται μια τεκμηρίωση ασφάλειας όταν αναφέρει πού ισχύουν τα τεκμήρια και πού σταματούν.

Για μια ευρωπαϊκή εταιρεία τεχνολογίας, η δημοσίευση τέτοιων ορίων μπορεί να μοιάζει με το να αφήνει κανείς χρήσιμο μάρκετινγκ χώρο κενό. Είναι πιο χρήσιμο από το να γεμίσει αυτόν τον χώρο με έναν αριθμό που κανείς δεν μπορεί να υπερασπιστεί. Η ίδια πειθαρχία ισχύει για μια δημόσια αρχή, έναν προμηθευτή, μια ερευνητική ομάδα ή μια εσωτερική ομάδα πλατφόρμας. Πείτε ποια τεκμήρια υπάρχουν, ποια είναι προετοιμασμένα, ποια προστατεύονται, ποια δεν συλλέχθηκαν και ποιο μελλοντικό γεγονός θα δημιουργούσε ένα νέο αποτέλεσμα. Ο αναγνώστης μπορεί τότε να αποφασίσει τι υποστηρίζουν τα τεκμήρια.

Το παράδειγμά μας δείχνει επίσης γιατί ένα Trust Centre θα πρέπει να διαβάζεται ως ευρετήριο τεκμηρίων και όχι ως υπόσχεση. Η δημόσια σελίδα επισημαίνει τα όρια ταυτότητας, μεθόδου, καταγραφής, αναθεώρησης και έκδοσης. Δεν αναιρεί την ανάγκη να εξεταστεί μια συγκεκριμένη ανάπτυξη, σκοπός ή πληγείς πληθυσμός. Μια τεκμηρίωση ασφάλειας θα πρόσθετε αυτό το τοπικό πλαίσιο, τους κινδύνους της πραγματικής ροής εργασίας και την εξουσία του ατόμου που λαμβάνει την απόφαση. Η δημόσια διαφάνεια είναι μια αρχική επιφάνεια, όχι ένα καθολικό πιστοποιητικό.

Τι μπορεί να αποδείξει μια τεκμηρίωση ασφάλειας

Μια καλή τεκμηρίωση ασφάλειας μπορεί να υποστηρίξει ένα οριοθετημένο συμπέρασμα. Μπορεί να δείξει ότι ένα σύστημα σχεδιάστηκε για έναν συγκεκριμένο σκοπό, ότι εντοπίστηκαν οι προβλέψιμοι κίνδυνοι, ότι οι έλεγχοι αντιμετωπίζουν αυτούς τους κινδύνους, ότι συλλέχθηκαν τεκμήρια υπό δηλωμένες συνθήκες, ότι αξιολογήθηκαν οι υπολειπόμενοι κίνδυνοι, ότι μια αρμόδια αρχή αποδέχθηκε ή απέρριψε τη χρήση και ότι ο οργανισμός διαθέτει τρόπο να ανιχνεύει την αλλαγή και να επανεξετάζει την απόφαση. Μπορεί να κάνει ένα επιχείρημα αρκετά ελέγξιμο για αμφισβήτηση και συντήρηση.

Μπορεί επίσης να δείξει τι είναι αβέβαιο. Μια τεκμηρίωση μπορεί να αποδείξει ισχυρά τεκμήρια για έναν πληθυσμό και περιορισμένα τεκμήρια για έναν άλλο. Μπορεί να δείξει ότι το σύστημα είναι ανθεκτικό σε μια καθορισμένη κατηγορία κακόμορφης εισόδου, αλλά όχι σε μια άγνωστη κατηγορία. Μπορεί να δείξει ότι ένας άνθρωπος μπορεί να παρέμβει όταν η στελέχωση και οι άδειες είναι όπως προδιαγράφονται. Μπορεί να δείξει ότι υπάρχει μια εναλλακτική λύση, αλλά δεν έχει ακόμη δοκιμαστεί σε πλήρη επιχειρησιακή κλίμακα. Μια ειλικρινής τεκμηρίωση δεν κρύβει αυτές τις ασυμμετρίες. Τις καθιστά προϋποθέσεις χρήσης.

Ένα safety case μπορεί να υποστηρίξει επίσης αποφάσεις προμηθειών και διακυβέρνησης. Ένας αγοραστής μπορεί να συγκρίνει τα στοιχεία που προσφέρει ένας προμηθευτής με τα στοιχεία που απαιτεί η ροή εργασίας. Μια ρυθμιστική αρχή μπορεί να δει ποιοι ισχυρισμοί υποστηρίζονται και ποια αρχεία λείπουν. Ένα διοικητικό συμβούλιο μπορεί να κατανοήσει πού βρίσκεται ο υπολειπόμενος κίνδυνος και ποιος τον κατέχει. Ένας χειριστής μπορεί να γνωρίζει ποιο σήμα θα πρέπει να προκαλέσει παύση. Οι επηρεαζόμενοι μπορούν να έχουν σαφέστερη οδό για να αμφισβητήσουν ένα αποτέλεσμα. Το case γίνεται ένας χάρτης ευθύνης, όχι απλώς ένα τεχνικό κατασκεύασμα.

Μπορεί να υποστηρίξει την αλλαγή χωρίς να προσποιείται ότι η αλλαγή είναι δωρεάν. Συνδέοντας ισχυρισμούς, κινδύνους, παραδοχές, ελέγχους και στοιχεία, ο οργανισμός μπορεί να εντοπίσει τη μικρότερη ουσιαστική επαναξιολόγηση όταν αλλάζει ένα στοιχείο. Αυτό είναι πιο αποδοτικό από το να επαναλαμβάνει τυφλά κάθε δοκιμή και ασφαλέστερο από το να υποθέτει ότι δεν χρειάζεται καμία επαναξιολόγηση. Η αναλογικότητα λειτουργεί μόνο όταν η δομή είναι ορατή. Διαφορετικά, μια ομάδα είτε εκτελεί τυπικές διαδικασίες είτε κάνει εκπτώσεις.

Τι δεν μπορεί να αποδείξει ένα safety case

Ένα safety case δεν μπορεί να αποδείξει ότι δεν θα συμβεί ποτέ καμία βλάβη. Τα πραγματικά συστήματα αντιμετωπίζουν συνθήκες που δεν είχαν προβλεφθεί, και οι άνθρωποι ανταποκρίνονται σε κίνητρα και πίεση με τρόπους που κανένα διάγραμμα δεν μπορεί να προβλέψει πλήρως. Ο σκοπός δεν είναι η βεβαιότητα. Είναι μια τεκμηριωμένη βάση για λειτουργία, μάθηση και διακοπή όταν η βάση δεν ισχύει πλέον.

Δεν μπορεί να αποδείξει ότι ένα μοντέλο είναι γενικά έξυπνο, γενικά δίκαιο ή ασφαλές σε κάθε τομέα. Τα στοιχεία έχουν πεδίο εφαρμογής. Μια δοκιμή σε ένα σύνολο δεδομένων δεν καθορίζει την απόδοση σε ένα άλλο. Μια επιτυχημένη αξιολόγηση σε μια ροή εργασίας δεν θεμελιώνει την ίδια εξουσία σε μια διαφορετική. Μια καλά σχεδιασμένη διαδρομή διακοπής δεν αποδεικνύει ότι κάθε χειριστής θα τη χρησιμοποιήσει χωρίς εκπαίδευση, χρόνο ή οργανωτική υποστήριξη. Το case πρέπει να αντισταθεί στον πειρασμό να μετατρέψει τα τοπικά στοιχεία σε έναν γενικό χαρακτηρισμό.

Δεν μπορεί να μεταφέρει την ευθύνη σε έναν προμηθευτή, ελεγκτή ή σήμα πιστοποίησης. Τα στοιχεία μπορεί να έχουν παραχθεί από κάποιον άλλο, αλλά ο φορέας ανάπτυξης εξακολουθεί να έχει μια χρήση, μια ροή εργασίας και ανθρώπους που εξαρτώνται από το αποτέλεσμα. Οι συμβάσεις μπορούν να κατανέμουν υποχρεώσεις και να παρέχουν πρόσβαση. Δεν μπορούν να κάνουν έναν οργανισμό να αγνοεί το σύστημα που λειτουργεί. Ούτε ένα πιστοποιητικό μπορεί να δικαιολογήσει μια αλλαγή που μετακινεί το σύστημα εκτός του αξιολογημένου πεδίου εφαρμογής.

Δεν μπορεί να καταστήσει αποδεκτή μια απαγορευμένη ή ακατάλληλη χρήση προσθέτοντας γραφειοκρατία. Εάν ο κίνδυνος δεν μπορεί να ελεγχθεί σε αποδεκτό επίπεδο, η απάντηση μπορεί να είναι η αλλαγή του σκοπού ή η μη ανάπτυξη. Τα safety cases περιγράφονται συχνά ως διασφάλιση, αλλά το πιο πολύτιμο αποτέλεσμα μπορεί να είναι ένα καλά τεκμηριωμένο όχι. Ένα πλήρες αρχείο μπορεί να υποστηρίξει μια κακή απόφαση εάν το επιχείρημα είναι αδύναμο. Ο σκοπός του αρχείου είναι να κάνει την απόφαση καλύτερη, όχι απλώς πιο ευανάγνωστη αφού έχει ληφθεί.

Τέλος, δεν μπορεί να αντικαταστήσει τον νόμο, την επαγγελματική κρίση ή τη δημοκρατική λογοδοσία. Είναι ένα τεχνικό και διοικητικό εργαλείο. Θα πρέπει να βοηθά τους ανθρώπους να κατανοούν την απόφαση και τις συνθήκες της, όχι να προσποιείται ότι επιλύει ζητήματα που ανήκουν στα δικαστήρια, τις ρυθμιστικές αρχές, τους κλινικούς γιατρούς, τους δημόσιους αξιωματούχους ή τους επηρεαζόμενους.

Ερωτήσεις για μια ευρωπαϊκή συνάντηση κυκλοφορίας

Μια ομάδα δεν χρειάζεται να περιμένει ένα τέλειο πρότυπο ή έναν φάκελο 400 σελίδων για να ξεκινήσει. Μπορεί να θέσει μια σειρά από απλές ερωτήσεις. Τι ακριβώς ισχυριζόμαστε ότι μπορεί να κάνει αυτό το σύστημα. Ποιοι επηρεάζονται όταν είναι λάθος. Ποιοι κίνδυνοι είναι συνθήκες στο σύστημα και στη ροή εργασίας και όχι ασαφή αρνητικά αποτελέσματα. Ποιες παραδοχές πρέπει να παραμείνουν αληθείς. Ποια στοιχεία υποστηρίζουν κάθε ισχυρισμό, και υπό ποια διαμόρφωση και πληθυσμό. Τι παραμένει αβέβαιο. Ποιος αποδέχεται αυτόν τον υπολειπόμενο κίνδυνο. Ποιος μπορεί να σταματήσει το σύστημα. Ποιο γεγονός θα άνοιγε ξανά το επιχείρημα.

Η συνάντηση θα πρέπει να αφήσει χώρο και για μια λιγότερο άνετη ερώτηση: τι θα μας έκανε να αρνηθούμε τη διάθεση. Αν η μόνη απάντηση είναι ένα χαμηλότερο σκορ, η ομάδα πιθανότατα δεν έχει περιγράψει τους κινδύνους της. Μια άρνηση μπορεί να πυροδοτηθεί από ελλιπή τεκμήρια, μια αναπόδεικτη παραδοχή, μια αποτυχημένη άσκηση ανάκαμψης, έναν αξιολογητή που δεν έχει πρόσβαση, μια ολοκλήρωση χωρίς όρια ή μια αλλαγή που δεν μπορεί να αναπαραχθεί. Το να κατονομάζονται οι προϋποθέσεις άρνησης μετατρέπει την ασφάλεια από μια διάθεση σε ένα λειτουργικό μέτρο ελέγχου.

Ρωτήστε πώς ταξιδεύει η τεκμηρίωση μαζί με το σύστημα. Μπορεί ένας χειριστής να βρει τον επιδιωκόμενο σκοπό, τους περιορισμούς και τη διαδρομή διακοπής. Μπορεί ένας ερευνητής περιστατικού να εντοπίσει το μοντέλο, τα τεκμήρια, τις άδειες και τις ανθρώπινες αποφάσεις που είχαν σημασία. Μπορεί ένας αγοραστής να εξάγει τα αρχεία αν αλλάξει ο προμηθευτής. Μπορεί μια ρυθμιστική αρχή να λάβει τις πληροφορίες που χρειάζεται για να αξιολογήσει τη συμμόρφωση. Μπορεί μια νέα ομάδα να κατανοήσει γιατί υπάρχει ένα μέτρο ελέγχου χωρίς να πάρει συνέντευξη από αυτόν που έφυγε. Μια τεκμηρίωση ασφάλειας που ζει μόνο σε έναν ιδιωτικό φάκελο είναι μια εύθραυστη ανάμνηση, όχι ένας ζωντανός συλλογισμός.

Ρωτήστε πώς αλλάζει η τεκμηρίωση. Ποιο είναι το έναυσμα επανεξέτασης για μια ενημέρωση μοντέλου, μια αλλαγή πηγής, μια αλλαγή πολιτικής, μια νέα ομάδα χρηστών, ένα νέο εργαλείο, μια νέα δικαιοδοσία ή μια νέα μεταγενέστερη ενέργεια. Ποιες αξιολογήσεις επαναλαμβάνονται και ποιες παραδοχές ελέγχονται. Τι συμβαίνει όταν η παρακολούθηση εντοπίζει ένα αδύναμο σήμα αλλά όχι ακόμη ένα σοβαρό περιστατικό. Υπάρχει μια ασφαλής, ιδιόκτητη διαδρομή για παύση και διερεύνηση. Ένας καλά οργανωμένος οργανισμός θα πρέπει να μπορεί να απαντήσει χωρίς να επινοήσει μια κρίση για να κάνει τη διαδικασία να φαίνεται πραγματική.

Και ρωτήστε αν τα τεκμήρια μπορούν να διαβαστούν από τους ανθρώπους των οποίων την απόφαση υποτίθεται ότι υποστηρίζουν. Ένας τεχνικός φάκελος που κανείς δεν μπορεί να ερμηνεύσει δεν είναι διαφάνεια. Μια πολιτική που κανείς δεν μπορεί να εφαρμόσει δεν είναι μέτρο ελέγχου. Ένας πίνακας ελέγχου γεμάτος πράσινα κελιά που κρύβει τον παρονομαστή δεν είναι καθησυχασμός. Η ευρωπαϊκή πρακτική ασφάλειας είναι στα καλύτερά της όταν καθιστά τον συλλογισμό διαθέσιμο στο πρόσωπο που έχει την ευθύνη, όχι μόνο σε αυτόν που συνέταξε το έγγραφο.

Το ήσυχο πλεονέκτημα ενός ειλικρινούς συλλογισμού

Οι τεκμηριώσεις ασφάλειας φαίνονται γραφειοκρατικές από μακριά επειδή περιέχουν αρχεία, ρόλους, προϋποθέσεις και σημεία επανεξέτασης. Από κοντά, είναι ένας τρόπος να διατηρηθεί η μηχανική ειλικρινής όταν τα συστήματα γίνονται πειστικά. Αποτρέπουν μια δοκιμή από το να μεταμφιέζεται σε απόφαση, μια παραδοχή από το να μεταμφιέζεται σε γεγονός, μια προγραμματισμένη αξιολόγηση από το να μεταμφιέζεται σε αποτέλεσμα και μια ανθρώπινη παρουσία από το να μεταμφιέζεται σε εξουσία.

Η Ευρώπη έχει ήδη κομμάτια αυτής της πειθαρχίας στους θεσμούς της. Οι σιδηρόδρομοι αντιμετωπίζουν την τεχνική, λειτουργική και οργανωτική αλλαγή ως ζήτημα κινδύνου και χρησιμοποιούν κοινές μεθόδους και ανεξάρτητη αξιολόγηση. Η αεροπορική καθοδήγηση συζητά τη διασφάλιση της μάθησης, την επεξηγησιμότητα και τη συνεργασία ανθρώπου-τεχνητής νοημοσύνης. Η Πράξη για την Τεχνητή Νοημοσύνη συνδυάζει τη διαχείριση κινδύνου του κύκλου ζωής με τεκμηρίωση, αρχεία καταγραφής, διαφάνεια, ανθρώπινη εποπτεία και απόδοση του κύκλου ζωής. Αυτά δεν είναι πανομοιότυπα πλαίσια και δεν θα πρέπει να συμπιεστούν σε μια ενιαία λίστα ελέγχου. Μοιράζονται όμως έναν σεβασμό για τις προϋποθέσεις, τα τεκμήρια και την ευθύνη.

Το πρακτικό μάθημα είναι αρκετά απλό για να το μεταφέρετε σε μια συνάντηση της Δευτέρας. Ξεκινήστε με έναν ισχυρισμό που έχει όρια. Κατονομάστε τους κινδύνους που θα μπορούσαν να τον καταστήσουν ψευδή. Καταγράψτε τις παραδοχές που του επιτρέπουν να σταθεί. Τοποθετήστε τα μέτρα ελέγχου εκεί όπου πραγματικά γίνεται η δουλειά. Επισυνάψτε τεκμήρια με ταυτότητα και εμβέλεια. Κρίνετε τον υπολειπόμενο κίνδυνο αντί να τον κρύβετε. Δώστε σε ένα πρόσωπο πραγματική εξουσία να παρέμβει. Ανοίξτε ξανά τον συλλογισμό όταν αλλάξει το σύστημα ή το πλαίσιο. Αφήστε έναν ανεξάρτητο αξιολογητή να είναι άβολος. Δημοσιεύστε τους περιορισμούς με την ίδια φροντίδα όπως και τις επιτυχίες.

Αυτή η προσέγγιση δεν θα κάνει κάθε σύστημα τεχνητής νοημοσύνης ασφαλές και δεν θα μετατρέψει την αβεβαιότητα σε βεβαιότητα. Θα κάνει την επικίνδυνη αυτοπεποίθηση πιο δύσκολο να διατηρηθεί. Θα δώσει στους χειριστές μια διαδρομή για παύση, θα δώσει στους αξιολογητές κάτι συγκεκριμένο να αμφισβητήσουν και θα δώσει στους επηρεαζόμενους ανθρώπους μια καλύτερη εξήγηση για το πού βρίσκεται η ευθύνη. Θα κάνει επίσης τα καλά συστήματα πιο εύκολο να βελτιωθούν, επειδή ο οργανισμός θα μπορεί να δει ποιο μέρος του συλλογισμού άλλαξε.

Έτσι, η υπόθεση ασφάλειας δεν είναι μια τελική παράγραφος μετά τη μηχανική. Είναι το νήμα που συνδέει τον σκοπό, τον σχεδιασμό, τους ανθρώπους, τα τεκμήρια και την αλλαγή. Η Ευρώπη μπορεί να διδαχθεί από τις υποθέσεις ασφάλειας, επειδή προσφέρουν μια πολιτική εκδοχή της μηχανικής πειθαρχίας: κανένα σύνθημα δεν γίνεται αποδεκτό χωρίς διαδρομή, καμία διαδρομή δεν γίνεται αποδεκτή χωρίς τεκμήρια, και κανένα τεκμήριο δεν επιτρέπεται να ταξιδέψει πιο μακριά από τις παραδοχές του.

Πηγές