Τι σοβαρή τεχνητή νοημοσύνη δανείζεται από τη μηχανική ασφάλειας
Η κίτρινη γραμμή στο πάτωμα του εργοστασίου
Το πρώτο χρήσιμο μάθημα ασφάλειας που είδα δεν ήταν σε εργαστήριο τεχνητής νοημοσύνης. Ήταν βαμμένο στο πάτωμα ενός εργοστασίου. Ένας επισκέπτης είχε περάσει πάνω από μια κίτρινη γραμμή για να δει καλύτερα ένα μηχάνημα που έκανε ακριβώς αυτό για το οποίο προοριζόταν, και γι' αυτό ακριβώς κανείς δεν ήθελε έναν επισκέπτη κοντά του. Δεν συνέβη τίποτα τρομερό. Ένα φως άλλαξε. Ένας προφυλακτήρας σταμάτησε την κίνηση. Ένας επόπτης πλησίασε με την υπομονετική έκφραση κάποιου που έχει εξηγήσει τον ίδιο κανόνα σε ακριβά παπούτσια στο παρελθόν.
Η γραμμή δεν ήταν ένα ηθικό επιχείρημα. Δεν ζητούσε από τον επισκέπτη να είναι υπεύθυνος. Δεν βασιζόταν σε μια διαφάνεια εκπαίδευσης που θυμόταν από το πρωινό. Δημιουργούσε ένα όριο, και το μηχάνημα ήταν σχεδιασμένο να αντιλαμβάνεται πότε το όριο παραβιαζόταν. Ο οργανισμός είχε αποφασίσει ότι ορισμένες αποτυχίες έπρεπε να γίνουν δύσκολες μέσω σχεδιασμού, όχι απλώς να αποθαρρύνονται μέσω πολιτικής. Γι' αυτό η μηχανική ασφάλειας είναι τόσο χρήσιμη στην τεχνητή νοημοσύνη. Έχει περάσει δεκαετίες μαθαίνοντας ότι η ανθρώπινη πρόθεση, οι γραπτές οδηγίες και οι καλές προθέσεις δεν αποτελούν ελέγχους.
Τα συστήματα τεχνητής νοημοσύνης συχνά εισάγονται με το αντίθετο ένστικτο. Κυκλοφορούμε ένα ικανό μοντέλο, γράφουμε κανόνες αποδεκτής χρήσης, προσθέτουμε έναν άνθρωπο στη διαδικασία και υποθέτουμε ότι αυτός ο άνθρωπος θα είναι σοφός, ξεκούραστος, ενημερωμένος, εξουσιοδοτημένος και χωρίς βιασύνη. Αυτό είναι αισιόδοξο με τον τρόπο που μια χάρτινη ομπρέλα είναι αισιόδοξη. Οι άνθρωποι είναι απαραίτητοι, αλλά οι άνθρωποι που τοποθετούνται στο τέλος μιας μη ασφαλούς διαδικασίας δεν αποτελούν αρχιτεκτονική ασφάλειας. Είναι μια συγγνώμη της τελευταίας στιγμής με κωδικό πρόσβασης.
Η σοβαρή τεχνητή νοημοσύνη δανείζεται από τη μηχανική ασφάλειας επειδή η μηχανική ασφάλειας ξεκινά από την άβολη ερώτηση. Τι μπορεί να πάει στραβά, πώς θα το μάθουμε, τι το αποτρέπει, τι περιορίζει τη ζημιά, ποιος μπορεί να σταματήσει το σύστημα και ποια αποδεικτικά στοιχεία δείχνουν ότι ο έλεγχος λειτούργησε. Οι απαντήσεις σπάνια είναι εντυπωσιακές. Είναι διατάξεις αλληλοαποκλεισμού, λίστες ελέγχου, συναγερμοί, αρχεία καταγραφής, ασκήσεις, διαχωρισμός καθηκόντων, λειτουργίες έκτακτης ανάγκης, ανασκοπήσεις σχεδιασμού, αναφορές συμβάντων και εκπαίδευση που συνδέεται με την εργασία και δεν καταλήγει πλαστικοποιημένη και ξεχασμένη.
Οι κίνδυνοι δεν είναι κακά αποτελέσματα με ωραιότερο εξώφυλλο
Ένας κίνδυνος είναι μια κατάσταση που μπορεί να οδηγήσει σε βλάβη. Αυτό ακούγεται απλό μέχρι να προσπαθήσει ένας οργανισμός να τον καταγράψει. Το κακό αποτέλεσμα μπορεί να είναι μια λανθασμένη άρνηση, μια χαμένη διάγνωση, μια επικίνδυνη οδηγία, μια μεροληπτική κατάταξη, μια παραβίαση απορρήτου ή μια παραπλανητική σύνοψη. Ο κίνδυνος μπορεί να είναι νωρίτερος και πιο ήσυχος: ελλιπή αρχεία, διφορούμενη εξουσιοδότηση, παρωχημένη ανάκτηση, υπερβολικά σίγουρη γλώσσα διεπαφής, έλλειψη διαβάθμισης, ασαφές πεδίο εφαρμογής ή μια ουρά που δίνει στους αναθεωρητές ενενήντα δευτερόλεπτα για μια απόφαση που αξίζει εννέα λεπτά.
Αυτή η διάκριση έχει σημασία. Αν οι ομάδες καταγράφουν μόνο τα κακά αποτελέσματα, οι έλεγχοι έρχονται πολύ αργά. Λένε ότι δεν θέλουμε λανθασμένες αποφάσεις. Ωραία. Κανείς δεν ήρθε στη συνάντηση ελπίζοντας σε αυτές. Η ανάλυση επικινδυνότητας ρωτά ποια συνθήκη του συστήματος καθιστά πιο πιθανές τις λανθασμένες αποφάσεις. Αυτή η ερώτηση είναι πιο χρήσιμη και πιο ενοχλητική. Επισημαίνει την ποιότητα των δεδομένων, τον σχεδιασμό της ροής εργασίας, τα κίνητρα, τη στελέχωση, το εύρος του μοντέλου, την παρακολούθηση και τη λειτουργική εξουσιοδότηση. Χαλάει επίσης αρκετά όμορφα χρονοδιαγράμματα κυκλοφορίας, και έτσι καταλαβαίνεις ότι λειτουργεί.
Η ανάλυση επικινδυνότητας για την τεχνητή νοημοσύνη θα πρέπει να βασίζεται στον τομέα εφαρμογής. Ένας βοηθός διαλογής σε νοσοκομείο, ένα μοντέλο δρομολόγησης δανείων, ένας προγραμματιστής αποθήκης, ένα εργαλείο δημιουργίας κώδικα και μια ροή εργασίας δημοσίων παροχών δεν μοιράζονται έναν ενιαίο πίνακα κινδύνων. Μοιράζονται συνήθειες ασφάλειας. Ονομάστε το έργο. Ονομάστε τους ανθρώπους που επηρεάζονται. Ονομάστε την ενέργεια. Ονομάστε τη συνέπεια. Ονομάστε τις παραδοχές. Ονομάστε τα σημεία όπου το σύστημα μπορεί να είναι λανθασμένο, καθυστερημένο, υπερβολικά χρησιμοποιούμενο, ανεπαρκώς εξηγημένο ή να του έχει δοθεί εμπιστοσύνη για λάθος λόγο.
Το ζητούμενο δεν είναι να φοβηθεί κανείς κάθε πιθανή αποτυχία. Η μηχανική ασφάλειας δεν είναι επαγγελματικό άγχος. Είναι επιλεκτική σοβαρότητα. Κάποιοι κίνδυνοι αξίζουν προειδοποίηση. Κάποιοι αξίζουν πλήρη διακοπή. Κάποιοι αξίζουν επανασχεδιασμό. Κάποιοι αξίζουν αποδοχή με παρακολούθηση. Κάποιοι δείχνουν ότι το σύστημα δεν θα έπρεπε να χρησιμοποιείται για αυτή την ενέργεια. Η αξία βρίσκεται στο να γίνει αυτή η κρίση ρητή πριν η διεπαφή κάνει τη δουλειά να φαίνεται φυσιολογική.
Τα επίπεδα υπερτερούν της ηρωικής εποπτείας
Ένας έλεγχος σπάνια αρκεί. Ένας φραγμός μπορεί να αποτύχει. Μια λίστα ελέγχου μπορεί να παραλειφθεί. Ένας αισθητήρας μπορεί να αποκλίνει. Ένας αξιολογητής μπορεί να είναι κουρασμένος. Ένα μοντέλο μπορεί να είναι υπερβολικά σίγουρο. Μια πολιτική μπορεί να παρερμηνευθεί. Η μηχανική ασφάλειας γι' αυτό χτίζει επίπεδα: πρόληψη, ανίχνευση, περιορισμός, ανάκαμψη, μάθηση. Η φράση άμυνα σε βάθος μπορεί να ακούγεται σαν να ανακάλυψε κάποιος σύμβουλος την πανοπλία, αλλά η ιδέα είναι απλή. Μην εξαρτάσαι από έναν έλεγχο για να είναι τέλειος σε έναν κόσμο που δεν είναι.
Τα συστήματα τεχνητής νοημοσύνης χρειάζονται την ίδια διάστρωση. Η πρόληψη μπορεί να περιλαμβάνει όρια εύρους, επικύρωση δεδομένων, περιορισμένα αποτελέσματα, δικαιώματα εργαλείων, όρια ανάκτησης και σχεδιασμό ροής εργασίας που κρατά τις ενέργειες υψηλών συνεπειών μακριά από αποτελέσματα χαμηλών αποδεικτικών στοιχείων. Η ανίχνευση μπορεί να περιλαμβάνει παρακολούθηση απόκλισης, βαθμονόμηση εμπιστοσύνης, ειδοποιήσεις ανωμαλιών, παρακολούθηση παρακάμψεων, πρότυπα ενστάσεων και ελέγχους φρεσκάδας πηγών. Ο περιορισμός μπορεί να περιλαμβάνει όρια ρυθμού, σταδιακή κυκλοφορία, δειγματοληψία, ανθρώπινη αναθεώρηση και ασφαλείς προεπιλογές. Η ανάκαμψη μπορεί να περιλαμβάνει επαναφορά, διόρθωση, ειδοποίηση και αποκατάσταση.
Η ανθρώπινη εποπτεία ανήκει μέσα στα επίπεδα, όχι σε βάθρο πάνω από αυτά. Ένας ανθρώπινος αξιολογητής είναι ισχυρός όταν η διεπαφή δείχνει αποδεικτικά στοιχεία, αβεβαιότητα, φρεσκάδα πηγών, πλαίσιο πολιτικής και ουσιαστικές επιλογές παράκαμψης. Ο ίδιος αξιολογητής είναι διακοσμητικός όταν το σύστημα κρύβει το υλικό που χρειάζεται για την κρίση, προωθεί το κουμπί αποδοχής, μετρά την ταχύτητα ως αρετή και αντιμετωπίζει τη διαφωνία ως αποτυχία υιοθέτησης. Ο άνθρωπος στον βρόχο δεν είναι ξόρκι. Είναι πρόβλημα σχεδιασμού θέσης εργασίας.
Υπάρχει μια ξερή αλήθεια εδώ: αν η υπόθεση ασφάλειας εξαρτάται από το να είναι όλοι προσεκτικοί κάθε φορά, τότε η υπόθεση ασφάλειας είναι αδύναμη. Οι άνθρωποι είναι μεταβλητοί εκ κατασκευής. Αυτό είναι χρήσιμο όταν χρειάζεται κρίση και επικίνδυνο όταν μια ροή εργασίας βασίζεται στην επαγρύπνηση για να αντισταθμίσει τους ελλείποντες ελέγχους. Τα καλά συστήματα σέβονται την ανθρώπινη κρίση μην αναγκάζοντάς την να απορροφά κάθε αποτρέψιμη αδυναμία.
Η ασφαλής αποτυχία διαφέρει από την ευγενική αποτυχία
Πολλά συστήματα τεχνητής νοημοσύνης αποτυγχάνουν ευγενικά. Ζητούν συγγνώμη, διατυπώνουν επιφυλάξεις, προσφέρουν μια προειδοποίηση ή προτείνουν να συμβουλευτείτε έναν ειδικό. Μερικές φορές αυτό είναι σκόπιμο. Όμως η μηχανική ασφάλεια θέτει ένα πιο δύσκολο ερώτημα: όταν το σύστημα είναι αβέβαιο, χαλασμένο, εκτός πεδίου ή του λείπουν δεδομένα, σε ποια κατάσταση μεταβαίνει. Σταματάει. Παραπέμπει σε άνθρωπο. Περιορίζει τις δυνατότητές του. Μπλοκάρει μια επόμενη ενέργεια. Διατηρεί τα αποδεικτικά στοιχεία. Ειδοποιεί κάποιον που μπορεί πραγματικά να αναλάβει δράση.
Μια ευγενική απάντηση μπορεί να είναι επικίνδυνη αν η ροή εργασίας τη θεωρεί αξιοποιήσιμη. Ένας βοηθός μπορεί να δηλώνει ότι δεν είναι γιατρός, ενώ ταυτόχρονα παράγει λεπτομερή ιατρική σύσταση μέσα σε μια ροή εργασίας όπου ο χρήστης βρίσκεται υπό πίεση. Ένας προγραμματιστής δρομολογίων μπορεί να προειδοποιεί ότι τα δεδομένα είναι ελλιπή, ενώ εξακολουθεί να στέλνει μια διαδρομή στο κέντρο εκπομπής. Ένας βοηθός συμμόρφωσης μπορεί να συνοδεύει την απάντησή του με επιφυλάξεις, ενώ ο εργαζόμενος την αντιγράφει σε μια τελική επιστολή. Οι προειδοποιήσεις είναι αδύναμοι έλεγχοι όταν το περιβάλλον σύστημα επιβραβεύει την αγνόησή τους.
Η ασφαλής αποτυχία σημαίνει σχεδιασμός της προεπιλεγμένης κατάστασης για την αβεβαιότητα. Αν το αρχείο είναι ελλιπές, το σύστημα μπορεί να αρνηθεί την τελική ενέργεια. Αν αποτύχει ο έλεγχος φρεσκάδας της πηγής, μπορεί να απαιτήσει νέο πέρασμα ανάκτησης. Αν μια ενημέρωση μοντέλου δεν έχει επικυρωθεί για μια ροή εργασίας, μπορεί να λειτουργήσει σε δοκιμαστική λειτουργία. Αν η δυνατότητα αναθεώρησης είναι κορεσμένη, μπορεί να επιβραδύνει την εισαγωγή αιτημάτων αντί να μειώνει σιωπηλά την ποιότητα της αναθεώρησης. Αυτό μπορεί να είναι εκνευριστικό. Το εκνευριστικό είναι αποδεκτό όταν η εναλλακτική είναι η σιωπηλή επικινδυνότητα.
Το κλειδί είναι η αναλογικότητα. Δεν αξίζει κάθε αβεβαιότητα μια διακοπή. Η σύνταξη χαμηλού κινδύνου μπορεί να ανεχθεί περισσότερη ευελιξία από ό,τι οι αποφάσεις επιλεξιμότητας, οι οδηγίες ασφάλειας ή η ιατρική διαλογή. Ένα σοβαρό σύστημα τεχνητής νοημοσύνης υιοθετεί τη συνήθεια ασφάλειας να προσαρμόζει τη συμπεριφορά ασφαλούς αποτυχίας στις συνέπειες. Ένα σύστημα που σταματά τα πάντα γίνεται άχρηστο. Ένα σύστημα που δεν σταματά τίποτα γίνεται μια υποχρέωση με εξαιρετικό χρόνο λειτουργίας.
Οι υποθέσεις ασφάλειας είναι επιχειρήματα με αποδεικτικά στοιχεία
Μια υπόθεση ασφάλειας δεν είναι ένας φάκελος που αποδεικνύει ότι όλοι ήταν απασχολημένοι. Είναι ένα επιχείρημα, υποστηριζόμενο από αποδεικτικά στοιχεία, ότι ένα σύστημα είναι αποδεκτά ασφαλές για μια καθορισμένη χρήση σε ένα καθορισμένο πλαίσιο. Οι λέξεις καθορισμένη χρήση έχουν σημασία. Ένα μοντέλο μπορεί να είναι αποδεκτό για τη σύνοψη εσωτερικών σημειώσεων και μη αποδεκτό για τη λήψη αυτόματων αποφάσεων. Ένα σύστημα δρομολόγησης μπορεί να είναι ασφαλές υπό κανονικό φορτίο και επικίνδυνο κατά τη διάρκεια έκτακτης αιχμής. Ένας ταξινομητής μπορεί να είναι έγκυρος για έναν πληθυσμό και μη δοκιμασμένος για έναν άλλο. Η ασφάλεια εξαρτάται από το πλαίσιο, δεν είναι διακοσμητικό στοιχείο.
Η τεχνητή νοημοσύνη χρειάζεται τεκμηρίωση ασφάλειας, επειδή μόνη της η απόδοση του μοντέλου είναι πολύ στενή έννοια. Ένα σημείο αναφοράς μπορεί να δείξει ότι ένα στοιχείο αποδίδει καλά σε ένα σύνολο δεδομένων. Δεν αποδεικνύει ότι η διοχέτευση δεδομένων είναι πρόσφατη, ότι η διεπαφή υποστηρίζει την κρίση, ότι η ροή εργασίας διαθέτει ανάκαμψη, ότι οι χειριστές έχουν εκπαιδευτεί, ότι η πολιτική είναι επίκαιρη, ότι η εξάρτηση από τον προμηθευτή είναι περιορισμένη ή ότι ο οργανισμός μπορεί να διορθώσει τη ζημία. Η σοβαρή διασφάλιση συνδέει τα τεκμήρια των στοιχείων με τα λειτουργικά τεκμήρια.
Τα τεκμήρια μπορεί να ποικίλλουν: αποτελέσματα αξιολόγησης, πορίσματα ομάδων κόκκινης ομάδας, έλεγχοι βαθμονόμησης, δοκιμές ποιότητας δεδομένων, αρχεία κινδύνων, μελέτες χρηστικότητας, ασκήσεις αντιμετώπισης περιστατικών, δοκιμές ανάκαμψης, έλεγχοι πρόσβασης, πίνακες παρακολούθησης, ανάλυση ενστάσεων και αρχεία ελέγχου. Κανένα από αυτά δεν είναι από μόνο του μαγικό. Μαζί υποστηρίζουν τον ισχυρισμό ότι το σύστημα είναι κατάλληλο για μια συγκεκριμένη εργασία. Αν αλλάξει η εργασία, πρέπει να αλλάξει και η τεκμηρίωση ασφάλειας. Αν αλλάξει το πλαίσιο, πρέπει να επανεξεταστεί. Αν κανείς δεν την έχει στην ευθύνη του, είναι ένα τεχνούργημα, όχι διασφάλιση.
Εδώ η μηχανική ασφάλειας φέρνει μια ευπρόσδεκτη πειθαρχία. Ζητά από τις ομάδες να συνδέουν τους ισχυρισμούς με τους ελέγχους και τους ελέγχους με τα τεκμήρια. Ο ισχυρισμός λέει ότι οι αποφάσεις υψηλού αντικτύπου λαμβάνουν ουσιαστική επανεξέταση. Ο έλεγχος λέει ότι η διεπαφή απαιτεί τεκμήρια από την πηγή και λόγους παράκαμψης. Το τεκμήριο λέει ότι η δειγματοληψία δείχνει ότι οι αξιολογητές χρησιμοποιούν τα τεκμήρια και ότι τα πρότυπα παράκαμψης επανεξετάζονται μηνιαίως. Αυτή η αλυσίδα είναι λιγότερο εντυπωσιακή από το να λέμε υπεύθυνη τεχνητή νοημοσύνη. Είναι όμως πολύ πιο δύσκολο να πλαστογραφηθεί.
Ο έλεγχος αλλαγών είναι έργο ασφάλειας
Τα συστήματα τεχνητής νοημοσύνης αλλάζουν με τρόπους που μπορεί να υποτιμηθούν πολύ εύκολα. Αλλάζει μια έκδοση μοντέλου. Ανανεώνεται ένα ευρετήριο ανάκτησης. Επεξεργάζεται ένα πρότυπο προτροπής. Μετακινείται ένα όριο. Ένας προμηθευτής αλλάζει μια ανάντη ταξινόμηση. Μια ομάδα προσθέτει μια νέα πηγή εγγράφων. Ένας διευθυντής επεκτείνει τη ροή εργασίας από σύσταση σε απόφαση επειδή η πιλοτική φάση πήγε καλά και τα ημερολόγια ήταν γεμάτα. Κάθε αλλαγή μπορεί να φαίνεται μικρή. Μαζί μπορούν να μετακινήσουν το σύστημα εκτός της τεκμηρίωσης ασφάλειάς του.
Η μηχανική ασφάλειας αντιμετωπίζει την αλλαγή ως στιγμή κινδύνου. Όχι επειδή η αλλαγή είναι κακή, αλλά επειδή η αλλαγή ανατρέπει υποθέσεις. Η σοβαρή τεχνητή νοημοσύνη χρειάζεται την ίδια συνήθεια. Ποιον ισχυρισμό επηρεάζει αυτή η αλλαγή. Ποιοι κίνδυνοι γίνονται πιθανότεροι. Ποιες δοκιμές πρέπει να επαναληφθούν. Ποιοι χρήστες χρειάζονται ενημέρωση. Ποια αρχεία διατηρούν την προηγούμενη κατάσταση. Ποια διαδρομή επαναφοράς υπάρχει. Ποιες μετρήσεις πρέπει να παρακολουθούνται μετά την κυκλοφορία. Αν η απάντηση είναι ότι κανείς δεν ξέρει, η αλλαγή δεν είναι μικρή. Είναι απλώς ατεκμηρίωτη.
Η διαχείριση εκδόσεων είναι μέρος αυτής της πειθαρχίας. Οι αποφάσεις θα πρέπει να γνωρίζουν ποια έκδοση μοντέλου, προτροπής, πηγής δεδομένων, πολιτικής, ορίου και διεπαφής ήταν ενεργή. Χωρίς αρχεία εκδόσεων, οι οργανισμοί κρίνουν τη χθεσινή ενέργεια με το σημερινό αόρατο πλαίσιο. Αυτό δεν είναι λογοδοσία. Αυτό είναι ταξίδι στον χρόνο με ένα υπολογιστικό φύλλο, και τα υπολογιστικά φύλλα έχουν ήδη αρκετά βάρη.
Ο έλεγχος αλλαγών προστατεύει επίσης την καινοτομία. Οι ομάδες μπορούν να βελτιώνονται ταχύτερα όταν γνωρίζουν πώς να περιορίζουν τη βελτίωση. Οι δοκιμαστικές εκτελέσεις, η σταδιακή κυκλοφορία, οι ομάδες canary, τα κριτήρια επαναφοράς και η μετέπειτα ανασκόπηση των αλλαγών επιτρέπουν στον οργανισμό να μαθαίνει χωρίς να διακυβεύει ολόκληρη τη ροή εργασίας σε μια αισιόδοξη επεξεργασία. Η μηχανική ασφάλειας δεν είναι εχθρός της επανάληψης. Είναι ο λόγος για τον οποίο η επανάληψη μπορεί να γίνεται γύρω από πραγματικούς ανθρώπους χωρίς να τους αντιμετωπίζει ως δοκιμαστικά υποκείμενα.
Τα σχεδόν ατυχήματα είναι δώρα αν δεν τιμωρούνται
Στις κουλτούρες ασφάλειας, ένα σχεδόν ατύχημα είναι πολύτιμο. Είναι ένα γεγονός που θα μπορούσε να προκαλέσει βλάβη αλλά δεν το έκανε, συχνά επειδή παρενέβη η τύχη, η ανθρώπινη κρίση ή ένας έλεγχος. Και οι λειτουργίες τεχνητής νοημοσύνης έχουν σχεδόν ατυχήματα. Ένας αναθεωρητής εντοπίζει μια λανθασμένη σύσταση. Ένας χρήστης παρατηρεί μια πηγή που λείπει. Ένα μοντέλο αρνείται μια εργασία που κάποτε θα μπορούσε να είχε απαντήσει. Μια έφεση αποκαλύπτει ότι ένα όριο εμπιστοσύνης συμπεριφέρθηκε άσχημα για έναν τύπο περίπτωσης. Αυτά δεν είναι ενοχλήσεις που πρέπει να κρύβονται. Είναι τα φθηνότερα μαθήματα που θα προσφέρει το σύστημα.
Οι οργανισμοί συχνά σπαταλούν τα σχεδόν ατυχήματα επειδή τα αντιμετωπίζουν ως μεμονωμένες αποκλίσεις. Ο εργαζόμενος ήταν προσεκτικός. Ο χρήστης ήταν μπερδεμένος. Το μοντέλο είχε μια περίεργη μέρα. Η ουρά ήταν ασυνήθιστα γεμάτη. Ίσως. Αλλά το καλύτερο ερώτημα είναι τι αποκαλύπτει το σχεδόν ατύχημα για τον σχεδιασμό του συστήματος. Ήταν ο πίνακας αποδεικτικών στοιχείων πολύ αδύναμος. Ήταν η πηγή ξεπερασμένη. Ήταν η διαδρομή παράκαμψης ασαφής. Ήταν το όριο ρυθμισμένο σε λάθος πληθυσμό. Ήταν ο αναθεωρητής υπό χρονική πίεση. Χρησιμοποιούνταν το μοντέλο εκτός πεδίου εφαρμογής.
Η αναφορά πρέπει να είναι εύκολη και ασφαλής. Αν η αναφορά ενός σχεδόν ατυχήματος δημιουργεί επαγγελματικό κίνδυνο ή διοικητική ταλαιπωρία, οι άνθρωποι θα κρατήσουν το μάθημα για τον εαυτό τους. Αυτό δεν συμβαίνει επειδή οι άνθρωποι είναι ανεύθυνοι. Συμβαίνει επειδή είναι λογικοί και έχουν email. Μια καλή διαδρομή αναφοράς είναι κοντά στην εργασία, γρήγορη στη χρήση, σαφής ως προς την ιδιοκτησία και συνδεδεμένη με ορατές αλλαγές. Οι άνθρωποι αναφέρουν περισσότερο όταν οι αναφορές έχουν σημασία.
Τα σχεδόν ατυχήματα χρειάζονται επίσης ανάλυση πέρα από τους μέσους όρους. Μερικά σοβαρά σχεδόν ατυχήματα σε μια υποομάδα μπορεί να εξαφανιστούν μέσα στη συνολική απόδοση. Μια σπάνια ακραία περίπτωση μπορεί να έχει υψηλές συνέπειες. Μια επαναλαμβανόμενη μικρή αποτυχία μπορεί να σηματοδοτεί σταδιακή απόκλιση. Η μηχανική ασφάλειας διδάσκει ότι τα δεδομένα συμβάντων δεν είναι μόνο ένας αριθμός. Είναι ένας χάρτης του πού συναντούν οι υποθέσεις την πραγματικότητα και διαμαρτύρονται.
Οι ανθρώπινοι παράγοντες δεν είναι αδυναμία
Η μηχανική ασφάλειας λαμβάνει σοβαρά υπόψη τους ανθρώπινους παράγοντες επειδή οι άνθρωποι δεν συμπεριφέρονται όπως τα έγγραφα πολιτικής. Κουράζονται. Προσαρμόζονται. Βιάζονται. Παραλείπουν βήματα που φαίνονται άχρηστα. Ακολουθούν τις προεπιλογές. Εμπιστεύονται τα καλοφτιαγμένα περιβάλλοντα διεπαφής. Αποφεύγουν να αναφέρουν όταν η αναφορά τους τιμωρεί. Δημιουργούν εναλλακτικές λύσεις όταν η επίσημη διαδρομή είναι αδύνατη. Αυτό δεν είναι κυνισμός. Είναι επιχειρησιακή παιδεία.
Τα συστήματα τεχνητής νοημοσύνης ενισχύουν τους ανθρώπινους παράγοντες, επειδή η μηχανή συχνά ακούγεται σίγουρη για τον εαυτό της. Μια σύσταση με πράσινο σήμα, μια παραγόμενη εξήγηση και ένα προεπιλεγμένο κουμπί αποδοχής μπορούν να δημιουργήσουν κύρος προτού καν κάποιος άνθρωπος σχηματίσει πραγματική κρίση. Αν ο οργανισμός μετράει με αυστηρότητα την απόδοση, ο άνθρωπος μέσα στον κύκλο θα μάθει γρήγορα τι θέλει πραγματικά ο κύκλος. Οι άνθρωποι διαβάζουν άριστα τα κίνητρα. Δεν χρειάζονται καμία υπόμνηση.
Ο σχεδιασμός πρέπει επομένως να περιλαμβάνει υγιή τριβή. Τα τεκμήρια θα πρέπει να είναι ορατά εκεί όπου λαμβάνεται η κρίση. Η αβεβαιότητα θα πρέπει να είναι συγκεκριμένη, όχι αόριστη. Η παράκαμψη θα πρέπει να είναι δυνατή και φυσιολογική. Οι ενέργειες υψηλού αντικτύπου θα πρέπει να απαιτούν ρητή ενέργεια. Οι ουρές ελέγχου θα πρέπει να έχουν μέγεθος ανάλογο με την πραγματική δουλειά, όχι με τη φαντασίωση ότι η προσοχή είναι απεριόριστη. Η εκπαίδευση θα πρέπει να χρησιμοποιεί πραγματικά περιστατικά, συμπεριλαμβανομένων δύσκολων οριακών περιπτώσεων, αντί για τα ανέμελα παραδείγματα που κάνουν τους πάντες να νιώθουν ικανοί για είκοσι λεπτά.
Οι ανθρώπινοι παράγοντες σημαίνουν επίσης να γίνεται η ασφαλής συμπεριφορά ευκολότερη από την επισφαλή. Αν ο σωστός δρόμος είναι αργός, κρυφός ή κοινωνικά τιμωρημένος, ο οργανισμός έχει σχεδιάσει εναντίον της ασφάλειας ενώ μιλάει γι' αυτήν. Η μηχανική ασφάλειας έχει ένα ξεκάθαρο μάθημα εδώ: τα συστήματα διδάσκουν συμπεριφορά. Οι διεπαφές, οι μετρικές, οι ουρές και τα κίνητρα διδάσκουν πιο αξιόπιστα από ό,τι οι αφίσες.
Η ανεξαρτησία έχει σημασία
Οι βιομηχανίες όπου η ασφάλεια είναι κρίσιμη συχνά διαχωρίζουν τους ρόλους. Το άτομο που κατασκευάζει το σύστημα δεν είναι το μόνο που αποδέχεται τον κίνδυνο. Η ομάδα που λειτουργεί το σύστημα δεν είναι η μόνη που διερευνά σοβαρά περιστατικά. Ο ισχυρισμός του προμηθευτή δεν είναι το ίδιο με τα ανεξάρτητα τεκμήρια. Η τεχνητή νοημοσύνη χρειάζεται και αυτόν τον διαχωρισμό, ανάλογα με τον αντίκτυπο. Η ανεξαρτησία δεν είναι καχυποψία. Είναι ένας έλεγχος απέναντι στην περίπτωση που όλοι θέλουν τόσο πολύ να πετύχει η κυκλοφορία, ώστε τα αδύναμα τεκμήρια να αρχίζουν να φαίνονται επαρκή.
Η ανεξάρτητη αναθεώρηση μπορεί να πάρει πολλές μορφές. Μια δεύτερη ομάδα εξετάζει την ανάλυση επικινδυνότητας. Ένας κάτοχος του τομέα εγκρίνει την επιτρεπόμενη χρήση. Μια ομάδα ασφάλειας δοκιμάζει τα μονοπάτια πρόσβασης. Ένας κάτοχος δεδομένων επαληθεύει την ποιότητα της πηγής. Μια ομάδα συμμόρφωσης ελέγχει τα αρχεία τεκμηρίων. Ένας εξωτερικός ελεγκτής δειγματοληπτεί τις αποφάσεις. Οι χρήστες συμμετέχουν σε δοκιμές χρηστικότητας. Το ζητούμενο δεν είναι να προστεθεί θέατρο. Το ζητούμενο είναι να δοθούν στην υπόθεση ασφάλειας άνθρωποι που επιτρέπεται να είναι άβολοι.
Η ανεξαρτησία ισχύει και για την παρακολούθηση. Ένας πίνακας ελέγχου του προμηθευτή μπορεί να είναι χρήσιμος, αλλά τα κρίσιμα τεκμήρια δεν θα πρέπει να εξαρτώνται εξ ολοκλήρου από τον προμηθευτή που αξιολογείται. Τα αρχεία καταγραφής, τα αρχεία αποφάσεων, τα αποτελέσματα αξιολόγησης και οι αναφορές περιστατικών θα πρέπει να βρίσκονται υπό τον έλεγχο του οργανισμού όπου το απαιτεί το καθήκον. Αν η μόνη απόδειξη ασφάλειας είναι ένας πίνακας ελέγχου που δεν μπορεί να αναπαραχθεί ανεξάρτητα, το σύστημα ζητά εμπιστοσύνη εκεί ακριβώς όπου θα έπρεπε να παρέχει τεκμήρια.
Το σωστό επίπεδο ανεξαρτησίας εξαρτάται από τον κίνδυνο. Ένας βοηθός σύνταξης δεν χρειάζεται τον μηχανισμό ενός πυρηνικού σταθμού, μια φράση που θα έπρεπε να καθησυχάζει τους πάντες, συμπεριλαμβανομένων των πυρηνικών σταθμών. Αλλά η τεχνητή νοημοσύνη υψηλού αντικτύπου δεν θα πρέπει να χαρακτηρίζεται ασφαλής από τον ίδιο ενθουσιασμό που την κυκλοφόρησε. Η μηχανική ασφάλειας το γνωρίζει αυτό. Η διακυβέρνηση της τεχνητής νοημοσύνης εξακολουθεί να μαθαίνει, μερικές φορές με πολύ σίγουρες παρουσιάσεις.
Τι παίρνει μαζί της η σοβαρή τεχνητή νοημοσύνη
Η σοβαρή τεχνητή νοημοσύνη δανείζεται τη συνήθεια της μηχανικής ασφάλειας να κάνει την αποτυχία συγκεκριμένη. Ονομάστε τον κίνδυνο. Τοποθετήστε ελέγχους σε περισσότερα από ένα επίπεδα. Σχεδιάστε καταστάσεις ασφαλούς αστοχίας. Χτίστε μια υπόθεση ασφάλειας με τεκμήρια. Αντιμετωπίστε την αλλαγή ως στιγμή κινδύνου. Μάθετε από τα παραλίγο ατυχήματα. Σεβαστείτε τους ανθρώπινους παράγοντες. Διατηρήστε ανεξάρτητα αρχεία. Δώστε στους ανθρώπους την εξουσία να σταματούν, να διορθώνουν και να βελτιώνουν το σύστημα.
Τίποτα από αυτά δεν κάνει τον κίνδυνο της τεχνητής νοημοσύνης να εξαφανιστεί. Η μηχανική ασφάλειας δεν υπόσχεται έναν κόσμο χωρίς αποτυχίες. Υπόσχεται έναν κόσμο όπου η προβλέψιμη αποτυχία λαμβάνεται σοβαρά υπόψη προτού γίνει πρωτοσέλιδο, όπου οι έλεγχοι δοκιμάζονται, όπου τα τεκμήρια επιβιώνουν και όπου ο οργανισμός μαθαίνει αντί να απολογείται απλώς με καλύτερη τυπογραφία.
Η κίτρινη γραμμή στο πάτωμα του εργοστασίου δεν ήταν κάτι περίπλοκο. Αυτό ήταν το νόημά της. Έκανε ορατό ένα όριο, το συνέδεσε με έναν έλεγχο και έδωσε στη μηχανή μια ασφαλέστερη αντίδραση από το να ελπίζει κανείς ότι ο επισκέπτης θυμήθηκε την ενημέρωση. Η τεχνητή νοημοσύνη χρειάζεται περισσότερη από αυτή την απλή πειθαρχία. Όχι λιγότερη φιλοδοξία. Καλύτερα όρια για τη φιλοδοξία.
Πάντα θα υπάρχουν συστήματα που ακούγονται ασφαλή επειδή μπορούν να εξηγηθούν ευγενικά. Τα σοβαρά συστήματα είναι ασφαλέστερα επειδή ξέρουν πότε η ευγένεια δεν αρκεί. Σταματούν, δρομολογούν, καταγράφουν, ανακάμπτουν και μαθαίνουν. Αυτό δεν είναι σύνθημα. Είναι η μηχανική ασφάλεια που προσφέρει η μηχανική των συστημάτων εδώ και καιρό.