Η ασφάλεια της τεχνητής νοημοσύνης είναι κυρίως σχεδιασμός συστημάτων
Η συνάντηση ασφαλείας μετά την επίδειξη
Η επίδειξη είχε πάει καλά, όπως συνήθως. Το μοντέλο διάβασε έναν σωρό εσωτερικών εγγράφων, απάντησε σε μια ερώτηση πολιτικής, πρότεινε ένα επόμενο βήμα και παρήγαγε μια τακτοποιημένη σύνοψη για τον φάκελο της υπόθεσης. Η αίθουσα κουνούσε το κεφάλι. Κάποιος ρώτησε αν μπορούσε να συνδεθεί με το σύστημα ροής εργασιών. Κάποιος άλλος ρώτησε πόσο σύντομα. Τότε ο υπεύθυνος ασφαλείας ρώτησε τι θα γινόταν αν το μοντέλο έκανε λάθος αλλά ήταν πειστικό. Η αίθουσα άρχισε να ενδιαφέρεται πολύ για τα μπισκότα.
Αυτή η ερώτηση είναι το σημείο όπου ξεκινά η πρακτική ασφάλεια της τεχνητής νοημοσύνης. Όχι στην αφαίρεση και όχι σε ένα σύνθημα. Στη διαμόρφωση του συστήματος γύρω από ένα μοντέλο που άλλοτε θα κάνει λάθος, άλλοτε θα είναι ξεπερασμένο, άλλοτε υπερβολικά σίγουρο, άλλοτε ανεπαρκώς σίγουρο και άλλοτε σωστό για λάθος λόγο. Το ζήτημα ασφαλείας δεν είναι μόνο η συμπεριφορά του μοντέλου. Είναι το τι επιτρέπει το σύστημα να κάνει αυτή η συμπεριφορά.
Ένα μοντέλο που συντάσσει μια πρόταση είναι ένας κίνδυνος. Ένα μοντέλο που ενημερώνει μια απόφαση παροχής είναι άλλος. Ένα μοντέλο που καλεί ένα εργαλείο με δικαίωμα εγγραφής είναι άλλος. Ένα μοντέλο που δρομολογεί έναν ασθενή, απορρίπτει μια απαίτηση, αλλάζει ένα πιστωτικό όριο ή ελέγχει εξοπλισμό βρίσκεται σε εντελώς διαφορετική κατηγορία κινδύνου. Το ίδιο υποκείμενο μοντέλο μπορεί να είναι ακίνδυνο, χρήσιμο, επικίνδυνο ή απαράδεκτο ανάλογα με τα όρια, την κατάσταση, τα αποδεικτικά στοιχεία, την εξουσιοδότηση, την παρακολούθηση και την ανάκαμψη. Γι' αυτό η ασφάλεια της τεχνητής νοημοσύνης είναι κυρίως σχεδιασμός συστημάτων.
Το «κυρίως» σε αυτή την πρόταση έχει σημασία. Η έρευνα για τα μοντέλα έχει σημασία. Η ποιότητα των δεδομένων έχει σημασία. Οι μέθοδοι ευθυγράμμισης έχουν σημασία. Η επιστήμη της αξιολόγησης έχει σημασία. Αλλά όταν ένας οργανισμός αναπτύσσει τεχνητή νοημοσύνη, η ασφάλεια γίνεται επιχειρησιακή. Ποιος μπορεί να ζητήσει. Τι μπορεί να δει το μοντέλο. Τι μπορεί να αλλάξει. Ποια απόδειξη απαιτείται. Ποια κατάσταση διατηρείται. Τι συμβαίνει όταν οι πηγές διαφωνούν. Πότε πρέπει να εγκρίνει άνθρωπος. Πώς ανιχνεύεται η απόκλιση. Πώς ανακαλείται μια κακή έκδοση. Αυτά είναι ερωτήματα σχεδιασμού πριν γίνουν διακηρύξεις δεοντολογίας. Η διακήρυξη δεοντολογίας μπορεί να είναι ειλικρινής. Το σύστημα δεν εκτελεί την ειλικρίνεια.
Η ασφάλεια είναι πρόβλημα ελέγχου
Όταν οι άνθρωποι ακούν τη λέξη ασφάλεια, συχνά σκέφτονται αξίες, δεδομένα εκπαίδευσης, πολιτικές άρνησης και ευθυγράμμιση μοντέλων. Αυτά είναι μέρος της εικόνας, αλλά ένα αναπτυγμένο σύστημα χρειάζεται επίσης ελέγχους. Ένας έλεγχος είναι κάτι που αλλάζει το τι μπορεί να συμβεί: ένας έλεγχος πρόσβασης, ένα σχήμα, ένα χρονικό όριο, ένα κατώφλι, μια έγκριση από άνθρωπο, ένα περιβάλλον απομόνωσης, ένα όριο ρυθμού, ένας επαληθευτής, μια ανάκληση, ένας διακόπτης διακοπής, ένα αρχείο που δεν μπορεί να επεξεργαστεί η διαδρομή εξυπηρέτησης. Οι έλεγχοι είναι βαρετοί μέχρι να λείψουν. Τότε γίνονται ολόκληρη η συνάντηση.
Ένα ασφαλές σύστημα τεχνητής νοημοσύνης προϋποθέτει ότι το μοντέλο μπορεί να αποτύχει και σχεδιάζει τον περιβάλλοντα μηχανισμό αναλόγως. Διαχωρίζει την πρόταση από την πράξη. Περιορίζει την εξουσία των εργαλείων. Ελέγχει τα στοιχεία πριν από κάθε αλλαγή κατάστασης. Καθιστά την αβεβαιότητα ορατή. Καταγράφει την έκδοση του μοντέλου και το εύρος των πηγών. Αρνείται όταν λείπουν υποχρεωτικά πεδία. Δίνει στους χειριστές τη δυνατότητα να θέτουν σε παύση την αυτοματοποίηση. Αντιμετωπίζει την έξοδο του μοντέλου ως υποψήφια επιλογή και όχι ως διαταγή από ένα πολύ εύγλωττο υπολογιστικό φύλλο.
Αυτό είναι συνηθισμένη μηχανική ασφάλειας με ένα γλωσσικό μοντέλο στο επίκεντρο. Η αεροπορία, η ιατρική, οι σιδηρόδρομοι, ο βιομηχανικός έλεγχος και τα οικονομικά έχουν διδαχθεί ότι τα σημαντικά συστήματα χρειάζονται πολυεπίπεδους ελέγχους, επειδή κανένα εξάρτημα δεν είναι τέλειο. Η εκδοχή της τεχνητής νοημοσύνης μοιάζει νέα επειδή το εξάρτημα μιλάει. Η ομιλία καθιστά την αποτυχία κοινωνικά πειστική. Μια λανθασμένη απάντηση που ακούγεται ήρεμη μπορεί να περάσει απαρατήρητη από έναν κουρασμένο χειριστή πιο εύκολα από ένα κόκκινο σφάλμα που αναβοσβήνει. Ο σχεδιασμός ελέγχου πρέπει επομένως να είναι πιο επίμονος από τον πεζό λόγο.
Ο σχεδιασμός ελέγχου ξεκινά ρωτώντας τι επιτρέπεται να επηρεάσει το σύστημα. Αν η τεχνητή νοημοσύνη μπορεί μόνο να συντάσσει, η ασφάλεια εστιάζει στην ποιότητα των πηγών, στους ελέγχους παραισθήσεων, στη σαφήνεια της διεπαφής χρήστη και στην αναθεώρηση. Αν μπορεί να δρομολογεί εργασίες, η ασφάλεια προσθέτει παρακολούθηση κατάστασης, ακεραιότητα ουράς, επίπεδα εξυπηρέτησης και διαδρομές ένστασης. Αν μπορεί να καλεί εργαλεία, η ασφάλεια προσθέτει εύρη αδειών, επικύρωση ορισμάτων, αρχεία καταγραφής συναλλαγών και αντισταθμιστικές ενέργειες. Αν μπορεί να επηρεάσει δικαιώματα ή φυσικά συστήματα, η ασφάλεια απαιτεί αποδείξεις, επίσημη αναθεώρηση, περιορισμένη αυτονομία και σοβαρό σχεδιασμό για περιστατικά. Το μοντέλο είναι το ένα μέρος. Το πεδίο εξουσίας είναι το άλλο.
Το όριο είναι το προϊόν
Η πιο σημαντική γραμμή σε ένα σύστημα τεχνητής νοημοσύνης συχνά δεν είναι ορατή στη διεπαφή. Είναι το όριο μεταξύ ανάγνωσης και εγγραφής, πρότασης και απόφασης, σύνοψης και καταγραφής, υποβοήθησης και δράσης. Τα αδύναμα όρια είναι ο τρόπος με τον οποίο τα αβλαβή πρωτότυπα γίνονται επισφαλείς υπηρεσίες. Ένα μοντέλο που ξεκινά ως βοήθημα σύνταξης αποκτά ένα κουμπί για την εφαρμογή του σχεδίου. Έπειτα αποκτά ένα εργαλείο για την ενημέρωση της υπόθεσης. Έπειτα αποκτά έναν κανόνα δρομολόγησης επειδή η ομάδα είναι απασχολημένη. Έξι μήνες αργότερα κανείς δεν μπορεί να εξηγήσει ποιες αποφάσεις είναι αυτοματοποιημένες και ποιες απλώς υποβοηθούμενες. Αυτό δεν είναι κακοβουλία. Είναι διεύρυνση του πεδίου εφαρμογής με άνετα παπούτσια.
Τα καλά όρια είναι ρητά και ελέγξιμα. Το μοντέλο μπορεί να διαβάζει αυτές τις πηγές, όχι εκείνες. Μπορεί να προτείνει αυτά τα πεδία, όχι να τα δεσμεύει. Μπορεί να καλεί αυτό το εργαλείο με αυτά τα ορίσματα, όχι με αυθαίρετο κείμενο. Μπορεί να δρομολογεί υποθέσεις χαμηλού κινδύνου, όχι αμφισβητούμενες υποθέσεις. Μπορεί να απαντά μόνο όταν τα στοιχεία είναι επίκαιρα. Δεν μπορεί να χρησιμοποιεί ιδιωτικές σημειώσεις για δημόσιες εξηγήσεις. Δεν μπορεί να περάσει από έναν μισθωτή, μια περιοχή, έναν λογαριασμό ή μια νομική βάση σε μια άλλη επειδή η επόμενη παράγραφος φάνηκε χρήσιμη.
Τα όρια πρέπει επίσης να επιβάλλονται εκτός του μοντέλου. Μια προτροπή που λέει να μην γράφετε στη βάση δεδομένων πελατών δεν είναι όριο αν το εργαλείο έχει δικαίωμα εγγραφής και δεν υπάρχει πύλη. Ένα μήνυμα συστήματος που λέει να αναφέρετε τις πηγές δεν είναι όριο αν οι απαντήσεις μπορούν να αποθηκεύονται χωρίς παραπομπές. Μια παράγραφος πολιτικής που λέει ότι απαιτείται ανθρώπινη έγκριση δεν είναι όριο αν η ροή εργασίας επιτρέπει στην αυτοματοποίηση να επισημαίνει την έγκριση. Οι οδηγίες ασφάλειας μέσα στο μοντέλο είναι χρήσιμες, αλλά δεν αρκούν. Το σύστημα πρέπει να καθιστά τις επισφαλείς διαδρομές δύσκολες ή αδύνατες.
Αυτή είναι η άκομψη εργασία που πραγματικά προστατεύει τους ανθρώπους. Τυποποιημένες κλήσεις εργαλείων. Στενά πεδία εφαρμογής. Προεπιλογές μόνο για ανάγνωση. Ξεχωριστές υπηρεσίες έγκρισης. Πράξεις με ιδιότητα επαναληψιμότητας. Αρχεία καταγραφής ελέγχου. Πολιτικές με εκδόσεις. Καταστάσεις ουράς. Ρητές καταστάσεις άρνησης. Το λεξιλόγιο ακούγεται σαν ένας μηχανικός υποδομών να πέρασε ένα ήσυχο σαββατοκύριακο με ένα κλιπ. Καλά. Η ασφάλεια στην παραγωγή συνήθως μοιάζει έτσι. Δεν προσπαθεί να κερδίσει διαγωνισμό συνθημάτων.
Η κατάσταση είναι εκεί που η ασφάλεια γίνεται πραγματική
Οι συνομιλίες με AI μπορούν να κάνουν τα συστήματα να φαίνονται χωρίς κατάσταση. Ο χρήστης ρωτά, το μοντέλο απαντά, η οθόνη αλλάζει. Η παραγωγή δεν είναι χωρίς κατάσταση. Τα περιστατικά προχωρούν. Τα αιτήματα γερνούν. Οι άδειες λήγουν. Τα έγγραφα διορθώνονται. Μια έκδοση μοντέλου αλλάζει. Ένας άνθρωπος παρακάμπτει μια σύσταση. Φτάνει μια έφεση. Ένας χρήστης ρωτά γιατί συνέβη κάτι τον προηγούμενο μήνα. Η ασφάλεια εξαρτάται από το αν το σύστημα διατήρησε την κατάσταση που χρειαζόταν για να απαντήσει.
Η κατάσταση λέει στο σύστημα τι έχει ήδη συμβεί και τι μπορεί να συμβεί στη συνέχεια. Χωρίς αυτήν, το μοντέλο βλέπει ένα απόσπασμα και μαντεύει το υπόλοιπο. Έτσι συμβαίνουν οι διπλές ενέργειες, εξαφανίζονται οι προθεσμίες, υποτίθενται οι εγκρίσεις και παλιά στοιχεία επανεισέρχονται σε μια νέα απόφαση. Μια ασφαλής ροή εργασίας καταγράφει ρητές καταστάσεις: προσχέδιο, λείπουν στοιχεία, πολιτική αποκλεισμού, απαιτείται έλεγχος, εγκρίθηκε, εκτελέστηκε, αμφισβητήθηκε, διορθώθηκε, ανακλήθηκε. Αυτές οι καταστάσεις δεν είναι διακοσμητικές. Εμποδίζουν το μοντέλο να αντιμετωπίζει μια διαδικασία με συνέπειες σαν ένα αρχείο συνομιλίας με φιλοδοξίες.
Η κατάσταση δίνει επίσης στους ανθρώπους ισχύ. Ένας χειριστής μπορεί να εξετάσει γιατί ένα περιστατικό βρίσκεται σε έλεγχο. Ένας διευθυντής μπορεί να δει αν ο αυτοματισμός δημιουργεί ουρά αναμονής. Ένας ελεγκτής μπορεί να αναπαράγει ποιες εκδόσεις πηγών ήταν ενεργές. Ένας χρήστης μπορεί να αμφισβητήσει ένα αποτέλεσμα με κάτι πιο στέρεο από ένα στιγμιότυπο οθόνης. Ένας προγραμματιστής μπορεί να μετρήσει αν ένα νέο μοντέλο αυξάνει τις αρνήσεις, την κλιμάκωση ή την επανάληψη εργασίας. Χωρίς κατάσταση, κάθε συζήτηση για την ασφάλεια γίνεται θέατρο. Οι άνθρωποι μιλούν για ευθύνη, αλλά το σύστημα έχει χάσει τα ουσιαστικά.
Για το AI, η κατάσταση θα πρέπει να περιλαμβάνει την έκδοση μοντέλου και πολιτικής, το αναγνωριστικό προτροπής ή προτύπου, το σύνολο πηγών, τη χρονική σήμανση ανάκτησης, τις κλήσεις εργαλείων, την εμπιστοσύνη ή την αβεβαιότητα, τον λόγο άρνησης, την ανθρώπινη ενέργεια και το επακόλουθο αποτέλεσμα. Δεν ανήκουν όλα αυτά σε μία γραμμή καταγραφής, και δεν θα πρέπει όλα να είναι ορατά σε όλους. Το απόρρητο και η ασφάλεια έχουν σημασία. Αλλά οι πληροφορίες πρέπει να υπάρχουν με ελεγχόμενη πρόσβαση. Διαφορετικά, η ασφάλεια εξαρτάται από τη μνήμη, και η μνήμη είναι μια διαβόητα κακή βάση δεδομένων με εξαιρετικές δικαιολογίες.
Τα στοιχεία είναι η ράγα ασφαλείας
Μια απάντηση μοντέλου είναι ασφαλέστερη όταν συνδέεται με στοιχεία. Αυτό ακούγεται προφανές μέχρι το σύστημα να βρεθεί υπό πίεση. Τα στοιχεία παραλείπονται επειδή προσθέτουν καθυστέρηση. Οι παραπομπές αποθηκεύονται ως κείμενο αντί για αναγνωριστικά. Οι βαθμολογίες ανάκτησης δεν διατηρούνται. Οι εκδόσεις πηγών αντικαθίστανται. Το μοντέλο γράφει μια σίγουρη εξήγηση από ένα έγγραφο που έκτοτε έχει διορθωθεί. Αργότερα, όλοι ρωτούν γιατί η απάντηση ήταν λάθος. Η απάντηση είναι ότι η ράγα ήταν διακοσμητική.
Τα χρήσιμα στοιχεία δεν είναι υποσημείωση. Είναι αλυσίδα. Το αίτημα εισήλθε με ταυτότητα και σκοπό. Οι πηγές επιλέχθηκαν με άδεια. Η ανάκτηση βρήκε συγκεκριμένα τμήματα ή εγγραφές. Το μοντέλο παρήγαγε έξοδο με συγκεκριμένη έκδοση. Ένας επαληθευτής έλεγξε ισχυρισμούς ή όρια. Ένας άνθρωπος αποδέχθηκε, επεξεργάστηκε ή απέρριψε. Η ενέργεια άλλαξε κατάσταση. Το σύστημα αποθήκευσε αρκετά από αυτή την αλυσίδα ώστε να μπορεί να την αναπαράγει ή να την αμφισβητήσει. Αυτό δεν είναι γραφειοκρατία για χάρη της γραφειοκρατίας. Έτσι επιβιώνει η ασφάλεια στον χρόνο.
Τα στοιχεία προστατεύουν επίσης το μοντέλο από το να του ζητείται αδύνατη δουλειά. Αν το σύστημα απαιτεί τρέχουσες πηγές, το μοντέλο μπορεί να αρνηθεί παρωχημένα δεδομένα. Αν το σύστημα απαιτεί δύο ταιριαστές εγγραφές, μπορεί να επισημάνει τη διαφωνία. Αν το σύστημα απαιτεί αναγνωριστικά πηγών, μπορεί να σταματήσει ισχυρισμούς χωρίς στήριξη. Το μοντέλο δεν χρειάζεται πλέον να μετατρέπει την έλλειψη αποδείξεων σε άνετη διαχείριση της αβεβαιότητας. Μπορεί να επιστρέψει σε ασφαλή κατάσταση. Αυτό είναι πιο δίκαιο για το μοντέλο και πολύ πιο δίκαιο για τον άνθρωπο που επηρεάζεται από την έξοδο.
Υπάρχει μια ισορροπία. Η καταγραφή στοιχείων δεν πρέπει να γίνεται παρακολούθηση. Το ευαίσθητο περιεχόμενο μπορεί να κατακερματιστεί, να αποκρυφθεί, να διαχωριστεί ή να διατηρηθεί για περιορισμένο διάστημα. Το ζητούμενο δεν είναι να καταγράφονται τα πάντα για πάντα. Το ζητούμενο είναι να διατηρούνται τα δεδομένα που χρειάζονται για να ελεγχθεί σημαντική συμπεριφορά. Η ασφάλεια χωρίς στοιχεία είναι απλώς εμπιστοσύνη με ωραιότερο σακάκι. Μπορεί να φαίνεται καλή στο λόμπι. Δεν αντέχει σε ένα περιστατικό.
Οι άνθρωποι χρειάζονται σχεδιασμένη εξουσία
Ο άνθρωπος στη διαδικασία χρησιμοποιείται συχνά ως μαγική φράση. Δεν είναι μαγικό. Ένας κουρασμένος αξιολογητής με αδύναμα στοιχεία, ασαφή πολιτική και ουρά διακοσίων υποθέσεων δεν είναι σύστημα ασφάλειας. Είναι ένα άτομο τοποθετημένο στο τέλος μιας γραμμής μεταφοράς στο οποίο ζητείται να κάνει διακυβέρνηση. Μπορεί να λειτουργήσει για λίγο, ειδικά αν το άτομο είναι έμπειρο και επίμονο. Δεν είναι σχεδιασμός.
Η ανθρώπινη εξουσία πρέπει να είναι συγκεκριμένη. Ποιες υποθέσεις απαιτούν έλεγχο. Ποια στοιχεία βλέπει ο αξιολογητής. Μπορεί ο αξιολογητής να αλλάξει δομημένα πεδία ή μόνο να εγκρίνει κείμενο. Γνωρίζει ο αξιολογητής αν το μοντέλο ήταν αβέβαιο ή αν η πολιτική απαιτούσε κλιμάκωση. Τροφοδοτούνται οι διαφωνίες πίσω στην αξιολόγηση. Προστατεύονται οι αξιολογητές από μεροληψία αυτοματισμού. Μπορούν να θέσουν σε παύση μια ροή εργασίας. Μπορούν να κλιμακώσουν σε ειδικό. Μπορούν να δουν παρόμοιες προηγούμενες υποθέσεις. Μπορούν να εξηγήσουν μια απόφαση στο επηρεαζόμενο άτομο. Αυτές οι λεπτομέρειες καθορίζουν αν η ανθρώπινη εποπτεία είναι πραγματική ή διακοσμητική.
Η καλή εποπτεία διαχωρίζει επίσης την κρίση από τη διοικητική διεκπεραίωση. Οι άνθρωποι δεν θα έπρεπε να ξοδεύουν τον χρόνο τους ψάχνοντας αναγνωριστικά πηγών που λείπουν, αφαιρώντας διπλότυπα από τις επαναλήψεις, μεταφράζοντας την παραγωγή του μοντέλου σε καταστάσεις ροής εργασίας ή μαντεύοντας ποια έκδοση πολιτικής εφαρμόστηκε. Το σύστημα θα έπρεπε να συσκευάζει την υπόθεση. Ο άνθρωπος θα έπρεπε να ασκεί κρίση εκεί όπου χρειάζεται κρίση: σε αμφισβητούμενο νόημα, εξαιρέσεις, αναλογικότητα, πλαίσιο, ενσυναίσθηση και ευθύνη. Αν ο άνθρωπος κυρίως επιδιορθώνει κενά υποδομής, τότε ο οργανισμός έχει μπερδέψει τη στελέχωση με την ασφάλεια.
Ο σχεδιασμός πρέπει επίσης να επιτρέπει στους ανθρώπους να διαφωνούν με την αυτοματοποίηση χωρίς η τριβή να μετατρέπεται σε τιμωρία. Αν η παράκαμψη του μοντέλου απαιτεί οκτώ κλικ και η αποδοχή μόνο ένα, η διεπαφή έχει ήδη πολιτική. Αν η κλιμάκωση κάνει μια ομάδα να φαίνεται αργή, οι άνθρωποι θα αποφεύγουν την κλιμάκωση. Αν οι μετρήσεις επιβραβεύουν μόνο την απόδοση, οι έλεγχοι ασφάλειας θα γίνουν τυπικοί. Ο σχεδιασμός συστημάτων περιλαμβάνει κίνητρα, οθόνες, ουρές και προεπιλογές. Το μοντέλο μπορεί να μην γνωρίζει τη μετρική, αλλά οι άνθρωποι σίγουρα θα τη γνωρίζουν.
Η τοπικότητα αλλάζει τον κίνδυνο
Το πού γίνεται η εργασία τεχνητής νοημοσύνης έχει σημασία. Ένα σύστημα που στέλνει κάθε έγγραφο σε ένα απομακρυσμένο μοντέλο έχει διαφορετικούς κινδύνους από ένα που εκτελεί εξαγωγή κοντά στα δεδομένα και στέλνει μόνο ένα παράγωγο πεδίο. Ένα σύστημα που αποθηκεύει ίχνη στην υπηρεσία εξυπηρέτησης έχει διαφορετικούς κινδύνους από ένα που διατηρεί ανεξάρτητα αρχεία ελέγχου. Ένα σύστημα που βασίζεται σε έναν μόνο εξωτερικό δρομολογητή έχει διαφορετικές επιλογές ανάκαμψης από ένα που μπορεί να υποβαθμιστεί τοπικά. Η τοπικότητα δεν είναι εθνικισμός με διάγραμμα δικτύου. Είναι το πρακτικό ερώτημα ποιοι κίνδυνοι μετακινούνται όταν μετακινούνται δεδομένα, υπολογιστική ισχύς, πολιτική και αποδεικτικά στοιχεία.
Κάποιες εργασίες θα έπρεπε να γίνονται κοντά σε ευαίσθητα δεδομένα επειδή η μετακίνηση των δεδομένων δημιουργεί έκθεση. Κάποιες εργασίες θα έπρεπε να γίνονται κοντά στους χρήστες επειδή η καθυστέρηση επηρεάζει την ασφάλεια. Κάποιες εργασίες θα έπρεπε να γίνονται σε μια κεντρική υπηρεσία επειδή απαιτείται εξειδικευμένη αναθεώρηση ή υλικό. Κάποια αποδεικτικά στοιχεία θα έπρεπε να αποθηκεύονται μακριά από τη διαδρομή εξυπηρέτησης του μοντέλου επειδή η διαδρομή εξυπηρέτησης μπορεί να είναι το αντικείμενο της έρευνας. Ο ασφαλής σχεδιασμός σπάνια είναι όλα τοπικά ή όλα απομακρυσμένα. Είναι σκόπιμη τοποθέτηση.
Η τοπικότητα επηρεάζει επίσης τη νομική και οργανωτική λογοδοσία. Αν μια κλήση μοντέλου διασχίζει περιοχές, ποιος νόμος διέπει τα δεδομένα. Αν ένα ευρετήριο δημιουργείται εκτός του συστήματος πηγής, πώς διαδίδονται οι διαγραφές. Αν ένας προμηθευτής αλλάξει ένα μοντέλο, πώς λαμβάνεται η ειδοποίηση και πώς εκτελούνται οι δοκιμές. Αν τα αρχεία καταγραφής βρίσκονται σε μια πύλη προμηθευτή, μπορεί ο οργανισμός να τα εξάγει κατά τη διάρκεια ενός περιστατικού. Αυτά δεν είναι αφηρημένα ζητήματα κυριαρχίας. Είναι ζητήματα ασφάλειας επειδή καθορίζουν αν ο οργανισμός μπορεί να ελέγξει και να εξηγήσει το σύστημα υπό πίεση.
Η λάθος τοποθέτηση μπορεί να κάνει την ασφαλή συμπεριφορά ακριβή. Αν κάθε βήμα επαλήθευσης απαιτεί μια απομακρυσμένη μετάβαση μετ' επιστροφής, οι ομάδες μπορεί να δειγματοληπτούν αντί να ελέγχουν κάθε περίπτωση. Αν τα δεδομένα ελέγχου είναι δύσκολο να συνδυαστούν, οι έρευνες γίνονται αργές. Αν τα ιδιωτικά δεδομένα πρέπει να ταξιδεύουν για απλή ταξινόμηση, ο κίνδυνος αυξάνεται χωρίς όφελος. Ένας καλός σχεδιασμός τοπικότητας μειώνει το κόστος του να κάνεις το ασφαλές πράγμα. Αυτό έχει σημασία επειδή οι έλεγχοι που είναι πολύ ακριβοί θα περιγραφούν τελικά ως προαιρετικοί, και έτσι ξεκινούν πολλές κακές ιστορίες.
Η αξιολόγηση πρέπει να ακολουθεί το σύστημα
Πολλές ομάδες αξιολογούν το μοντέλο και ξεχνούν να αξιολογήσουν το σύστημα. Δοκιμάζουν αν οι απαντήσεις είναι σωστές σε ένα σύνολο ερωτημάτων και στη συνέχεια αναπτύσσουν σε μια ροή εργασίας με δικαιώματα, φρεσκάδα πηγών, ουρές, κλήσεις εργαλείων, ανθρώπινη αναθεώρηση, επαναλήψεις και μεταβαλλόμενες πολιτικές. Το σημείο αναφοράς του μοντέλου μπορεί να παραμένει χρήσιμο, αλλά δεν περιγράφει πλέον ολόκληρο τον κίνδυνο. Οι αποτυχίες ασφάλειας συχνά βρίσκονται στις ενώσεις.
Η αξιολόγηση συστήματος δοκιμάζει τη συμπεριφορά από άκρο σε άκρο. Ρωτά αν ανακτάται η σωστή πηγή για τον σωστό χρήστη. Ελέγχει αν τα παρωχημένα δεδομένα απορρίπτονται. Επαληθεύει ότι οι κλήσεις εργαλείων αποκλείονται χωρίς άδεια. Μετρά αν οι περιπτώσεις υψηλού κινδύνου φτάνουν σε ανθρώπους. Δοκιμάζει την επαναφορά. Δοκιμάζει την καθυστέρηση ουράς. Δοκιμάζει τις διαδρομές αναβάθμισης μοντέλου. Δοκιμάζει περίεργες αλλά συνηθισμένες περιπτώσεις: λείπει ημερομηνία, διπλός πελάτης, εξαίρεση περιοχής, ένσταση μετά από διόρθωση, διαγραφή πηγής, μερική διακοπή, υπερφορτωμένος αναθεωρητής. Η παραγωγή έχει μια προτίμηση για περιπτώσεις που κανείς δεν θεώρησε αρκετά δραματικές.
Η αξιολόγηση πρέπει να περιλαμβάνει αρνητική ικανότητα. Το σύστημα πρέπει να είναι καλό στο να μην κάνει πράγματα. Να μην απαντά χωρίς αποδείξεις. Να μην υπερβαίνει τα όρια δικαιωμάτων. Να μην προχωρά σε δράση όταν επιτρέπεται μόνο η σύνταξη. Να μην κρύβει την αβεβαιότητα. Να μην χρησιμοποιεί μια πηγή μετά τη διαγραφή της. Να μην συνεχίζει όταν ένα εργαλείο επιστρέφει ασυνεπή κατάσταση. Η ασφάλεια εξαρτάται τόσο από την άρνηση και την παύση όσο και από την ακρίβεια. Η πιο σημαντική έξοδος ενός ασφαλούς συστήματος AI μπορεί να είναι όχι αρκετές αποδείξεις, μια φράση που καμία ομάδα επίδειξης δεν βάζει ποτέ σε πανό.
Η αξιολόγηση συστήματος αλλάζει επίσης τη διαχείριση εκδόσεων. Μια αλλαγή προτροπής, αλλαγή μοντέλου, ανακατασκευή ευρετηρίου, ενημέρωση πολιτικής, αλλαγή δικαιωμάτων εργαλείων ή αλλαγή διεπαφής αναθεωρητή μπορεί να μεταβάλει την ασφάλεια. Κάθε μία χρειάζεται πεδίο δοκιμών και σχέδιο επαναφοράς. Η ομάδα πρέπει να γνωρίζει ποιες συμπεριφορές άλλαξαν και ποιοι κίνδυνοι αυξήθηκαν. Αυτό είναι κουραστικό με τον τρόπο που είναι κουραστικές οι ζώνες ασφαλείας. Γίνεται ενδιαφέρον μόνο όταν λείπει, που είναι πολύ αργά για άνεση.
Το μάθημα
Η ασφάλεια AI είναι κυρίως σχεδιασμός συστημάτων επειδή η βλάβη συνήθως ταξιδεύει μέσω συστημάτων. Μια έξοδος μοντέλου γίνεται επικίνδυνη όταν μια ροή εργασίας την εμπιστεύεται υπερβολικά, μια πύλη εργαλείων είναι πολύ ευρεία, λείπουν αποδείξεις, η κατάσταση είναι ασαφής, η αναθεώρηση είναι υπερφορτωμένη, τα αρχεία καταγραφής είναι αδύναμα ή η επαναφορά είναι φανταστική. Το μοντέλο μπορεί να είναι η ορατή πηγή της πρότασης, αλλά το σύστημα αποφασίζει αν η πρόταση γίνεται δράση.
Αυτή η οπτική είναι λιγότερο εντυπωσιακή από πολλές συζητήσεις για την ασφάλεια της τεχνητής νοημοσύνης, και πιο χρήσιμη για οργανισμούς που αναπτύσσουν συστήματα τώρα. Ζητά από τις ομάδες να χαράξουν όρια, να ονομάσουν την εξουσία, να διατηρήσουν αποδεικτικά στοιχεία, να σχεδιάσουν καταστάσεις, να τοποθετήσουν τη δουλειά σκόπιμα, να αξιολογήσουν από άκρο σε άκρο, και να δώσουν στους ανθρώπους πραγματική δύναμη. Αντιμετωπίζει το μοντέλο ως ένα ισχυρό στοιχείο σε μια υπόθεση ασφάλειας, όχι ως ολόκληρη την υπόθεση ασφάλειας. Αυτή είναι η ώριμη θέση. Δίνει επίσης στους μηχανικούς κάτι να φτιάξουν πέρα από άλλο ένα PDF πολιτικής, κάτι που είναι ευγενικό προς όλους.
Η ερώτηση του υπεύθυνου ασφάλειας μετά την επίδειξη ήταν ακριβώς σωστή. Τι συμβαίνει αν το μοντέλο κάνει λάθος αλλά είναι πειστικό. Ένα ασφαλές σύστημα θα πρέπει να έχει μια απάντηση: εδώ μπορεί μόνο να συντάξει, εκεί πρέπει να αναφέρει τρέχουσες πηγές, δεν μπορεί να καλέσει αυτό το εργαλείο, αυτή η υπόθεση πηγαίνει σε έλεγχο, αυτή η ενέργεια αφήνει απόδειξη, αυτή η ροή εργασίας μπορεί να τεθεί σε παύση, αυτή η έκδοση μπορεί να ανακληθεί, αυτή η απόφαση μπορεί να αμφισβητηθεί. Αυτές οι απαντήσεις δεν είναι εντυπώσεις. Είναι σχεδιασμός.
Θα υπάρχει πάντα αβεβαιότητα στην τεχνητή νοημοσύνη. Το πρακτικό καθήκον είναι να σταματήσει η αβεβαιότητα από το να γίνει απεριόριστη εξουσία. Αυτό γίνεται με διεπαφές, καταστάσεις, ελέγχους, αποδεικτικά στοιχεία, τοπικότητα, αξιολόγηση, ανάκαμψη, και ανθρώπινη κρίση που έχει εξοπλιστεί κατάλληλα. Με άλλα λόγια, σχεδιασμός συστημάτων. Όχι επειδή οι αξίες δεν έχουν σημασία, αλλά επειδή οι αξίες πρέπει να γίνουν εκτελέσιμες προτού μπορέσουν να προστατεύσουν οποιονδήποτε.