Η διακυβέρνηση της τεχνητής νοημοσύνης έχει πρόγραμμα συντήρησης

Η διακυβέρνηση δεν είναι η έγκριση που δίνεται πριν τεθεί σε λειτουργία ένα σύστημα τεχνητής νοημοσύνης. Είναι η καθημερινή εργασία της παρατήρησης, της...

Η διακυβέρνηση της τεχνητής νοημοσύνης έχει πρόγραμμα συντήρησης

Το χρονοδιάγραμμα πίσω από την πολιτική

Τα περισσότερα έγγραφα διακυβέρνησης είναι γραμμένα σαν η ενδιαφέρουσα δουλειά να γίνεται πριν χρησιμοποιηθεί το σύστημα. Κάποιος προσδιορίζει έναν σκοπό. Μια ομάδα αξιολογεί έναν κίνδυνο. Ένας διευθυντής υπογράφει μια γραμμή. Ένας προμηθευτής παρέχει ένα PDF του οποίου το όνομα αρχείου περιλαμβάνει τη λέξη final, που συνήθως αποτελεί μια μικρή προειδοποίηση. Έπειτα το σύστημα εισέρχεται στην καθημερινή ζωή, όπου μια πηγή δεδομένων αντικαθίσταται, ένα άτομο μαθαίνει μια λύση ανάγκης, μια πολιτική αλλάζει, ένας πάροχος ενημερώνει ένα στοιχείο ή μια προηγουμένως ασυνήθιστη περίπτωση γίνεται συνηθισμένη. Η έγκριση παραμένει στον φάκελό της. Ο κόσμος όχι.

Γι' αυτό η διακυβέρνηση της τεχνητής νοημοσύνης χρειάζεται ένα χρονοδιάγραμμα συντήρησης. Όχι μια εθιμοτυπική ετήσια συνάντηση με μια διαφάνεια που δείχνει επτά πράσινες κουκκίδες. Ένα χρονοδιάγραμμα συνηθισμένων πράξεων φροντίδας: να ελέγχεται αν ο δηλωμένος σκοπός εξακολουθεί να ισχύει, να διαβάζονται σήματα που μπορεί να αλλάξουν την κρίση κινδύνου, να αποφασίζεται ποιος μπορεί να τροποποιήσει το σύστημα, να εξασκείται το τι συμβαίνει όταν πρέπει να σταματήσει, να καταγράφεται γιατί έγινε μια αλλαγή και να αποσύρονται αποδεικτικά στοιχεία όταν έχουν λήξει οι προϋποθέσεις τους. Αυτό είναι λιγότερο εντυπωσιακό από μια ανακοίνωση κυκλοφορίας. Είναι επίσης εκεί όπου η λογοδοσία είτε γίνεται πραγματική είτε εξατμίζεται αθόρυβα.

Η διάκριση έχει σημασία επειδή τα συστήματα τεχνητής νοημοσύνης δεν παραμένουν εκεί που τα τοποθέτησε η αρχική τους αξιολόγηση. Ένα μοντέλο μπορεί να παραμένει αμετάβλητο ενώ αλλάζουν οι είσοδοί του, οι χρήστες, η διεπαφή, η διαδρομή ανάπτυξης, τα συνδεδεμένα εργαλεία, η επιχειρηματική διαδικασία ή το νομικό πλαίσιο. Ένα μοντέλο μπορεί να αλλάξει ενώ η χρήση φαίνεται σταθερή. Ένα σύστημα μπορεί να παραμένει τεχνικά διαθέσιμο αλλά να καθίσταται επιχειρησιακά ακατάλληλο επειδή οι άνθρωποι που θα μπορούσαν να το αμφισβητήσουν έχουν αλλάξει θέση εργασίας, επειδή η ουρά αναθεώρησης έχει γεμίσει, επειδή μια νέα κατάντη χρήση έχει δώσει στο αποτέλεσμά του διαφορετική συνέπεια. Η διακυβέρνηση που αντιμετωπίζει την ημερομηνία κυκλοφορίας ως γραμμή τερματισμού διακυβερνά μια φωτογραφία.

Οι ευρωπαϊκοί κανόνες περιέχουν ήδη μια πιο απαιτητική ιδέα. Για συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου, το άρθρο 9 του Κανονισμού για την Τεχνητή Νοημοσύνη αποκαλεί τη διαχείριση κινδύνου συνεχή επαναληπτική διαδικασία, σχεδιασμένη και εκτελούμενη σε όλο τον κύκλο ζωής, με τακτική συστηματική αναθεώρηση και ενημέρωση. Το άρθρο 72 απαιτεί ένα αναλογικό, τεκμηριωμένο σύστημα παρακολούθησης μετά τη διάθεση στην αγορά που συλλέγει, τεκμηριώνει και αναλύει ενεργά και συστηματικά σχετικές πληροφορίες επιδόσεων καθ' όλη τη διάρκεια ζωής ενός συστήματος. Το ζητούμενο δεν είναι ότι κάθε μικρό κομμάτι λογισμικού χρειάζεται τον ίδιο μηχανισμό. Είναι ότι η τεχνολογία με σημαντικές συνέπειες χρειάζεται έναν ρυθμό λειτουργίας, όχι απλώς ένα αρχικό αρχείο.

Το χρήσιμο ερώτημα επομένως δεν είναι: «Έχουμε πλαίσιο διακυβέρνησης τεχνητής νοημοσύνης;» Αλλά: «Τι συμβαίνει την επόμενη Τρίτη όταν τα αποδεικτικά στοιχεία δεν ταιριάζουν πλέον με την υπηρεσία;» Ποιος το βλέπει πρώτος. Τι πληροφορίες έχει. Ποιος μπορεί να αποφασίσει αν πρόκειται για συνηθισμένη διόρθωση, ουσιώδη αλλαγή, περιστατικό ή λόγο διακοπής. Πώς διατηρείται η αρχική απόφαση χωρίς να μετατραπεί σε δικαιολογία. Και όταν το σύστημα εξακολουθεί να λειτουργεί τεχνικά, αλλά ο οργανισμός έχει σταματήσει να κατανοεί τις συνθήκες χρήσης του, ποιος επιτρέπεται να πει ότι το να λειτουργεί δεν είναι πλέον αρκετό;

Ένα χρονοδιάγραμμα συντήρησης δεν απαντά σε αυτά τα ερωτήματα με έναν γενικό πίνακα ελέγχου. Τα αναθέτει σε ανθρώπους και στιγμές. Δίνει σε κάθε αρχείο έναν λόγο να επανεξεταστεί. Καθιστά τη συνεχή χρήση ενός συστήματος εξαρτημένη από μια ζωντανή σχέση μεταξύ αποδεικτικών στοιχείων, εξουσίας και της πραγματικής εργασίας γύρω από αυτό.

Τι φθείρεται μετά την κυκλοφορία

Το λογισμικό δεν χρειάζεται να αποτύχει για να γίνει λιγότερο διακυβερνήσιμο. Η πιο συνηθισμένη φθορά είναι πιο ήσυχη. Μια ομάδα έχει μια καλή περιγραφή της προβλεπόμενης χρήσης, αλλά η υπηρεσία αναπτύσσεται πλάγια. Ένας βοηθός που φτιάχτηκε για εσωτερική σύνταξη αντιγράφεται σε μια διαδρομή εξυπηρέτησης πελατών. Ένας ταξινομητής που κατασκευάστηκε για να ταξινομεί ένα σταθερό σύνολο εγγράφων δέχεται ένα νέο είδος υποβολής. Ένα σύστημα που αρχικά αναθεωρήθηκε από μια μικρή ομάδα γίνεται μέρος μιας ευρύτερης διαδικασίας όπου κανείς δεν γνωρίζει το όριο που είχε σημασία στην αρχή. Τίποτα σε αυτή την περιγραφή δεν απαιτεί μια επινοημένη καταστροφή. Είναι απλώς αυτό που συμβαίνει όταν ένας οργανισμός αλλάζει ταχύτερα από τα αρχεία του.

Ο σκοπός φθείρεται πρώτος, επειδή συχνά διατυπώνεται ως ουσιαστικό, ενώ στην πραγματικότητα είναι ένα όριο. Η «υποστήριξη αποφάσεων» δεν αποτελεί επαρκή σκοπό, αν το αρχείο δεν μπορεί να προσδιορίσει ποια απόφαση, για ποιον, με ποια δεδομένα εισόδου, με ποια εξουσιοδότηση, και τι απαγορεύεται να ενεργοποιήσει το αποτέλεσμα. Μια δήλωση σκοπού θα πρέπει να επανεξετάζεται όταν μια νέα ομάδα αρχίζει να χρησιμοποιεί το σύστημα, όταν ένα αποτέλεσμα αρχίζει να ανοίγει ή να κλείνει μια κρίσιμη διαδρομή, όταν επηρεάζεται ένας νέος πληθυσμός ή όταν η ανθρώπινη παράδοση καθίσταται λιγότερο ουσιαστική. Οι λέξεις μπορεί να παραμένουν οι ίδιες, ενώ οι πρακτικές συνέπειες αυξάνονται σημαντικά.

Τα αποδεικτικά στοιχεία φθείρονται στη συνέχεια. Ένα αποτέλεσμα αξιολόγησης είναι μια παρατήρηση υπό συγκεκριμένες συνθήκες. Μπορεί να είναι χρήσιμο για μεγάλο χρονικό διάστημα, αλλά δεν είναι αθάνατο. Η μετρηθείσα κατάσταση του μοντέλου μπορεί να έχει αλλάξει. Η κατανομή των δεδομένων μπορεί να έχει μετατοπιστεί. Οι άνθρωποι που χρησιμοποιούν το σύστημα μπορεί τώρα να ερμηνεύουν διαφορετικά το αποτέλεσμά του. Ένα σημείο αναφοράς μπορεί να καλύπτει ένα υποσύνολο που ήταν αρχικά αντιπροσωπευτικό και δεν είναι πλέον. Το ίδιο το τεστ μπορεί να εξακολουθεί να είναι αναπαράξιμο, ενώ το επιχείρημα για την εμπιστοσύνη σε αυτό έχει γίνει αδύναμο. Η διατήρηση της αναφοράς είναι καλή τήρηση αρχείων. Το να τη θεωρεί κανείς τρέχον αποδεικτικό στοιχείο χωρίς να ελέγχει τις συνθήκες της είναι κάτι άλλο.

Οι διεπαφές φθείρονται επίσης. Αυτό συχνά παραβλέπεται, επειδή μια αλλαγή στη διεπαφή μπορεί να φαίνεται ακίνδυνη. Μια νέα προεπιλογή, ένα πιο εμφανές κουμπί, μια συντομευμένη εξήγηση, μια πρόσθετη κλήση εργαλείου ή μια τροποποιημένη διαδρομή κλιμάκωσης μπορούν να αλλάξουν τι κάνουν πραγματικά οι χρήστες. Το μοντέλο είναι το ίδιο, οπότε η ομάδα λέει ότι δεν υπήρξε αλλαγή μοντέλου. Αυτό μπορεί να είναι τεχνικά ακριβές και επιχειρησιακά άσχετο. Αν η διεπαφή κάνει μια σύσταση να φαίνεται υποχρεωτική, αν αφαιρεί το πλαίσιο που χρειάζεται για να αμφισβητηθεί ένα αποτέλεσμα ή αν επιτρέπει σε ένα αποτέλεσμα να ταξιδέψει πιο μακριά από πριν, το ζήτημα διακυβέρνησης έχει αλλάξει, ακόμη και όταν τα βάρη δεν έχουν αλλάξει.

Η εξουσιοδότηση φθείρεται όταν η ευθύνη υπάρχει στα χαρτιά αλλά όχι πλέον στην πράξη. Ένας κατονομαζόμενος ιδιοκτήτης μπορεί να έχει αποχωρήσει. Ένας ρόλος αναθεώρησης μπορεί να παραμένει σε ένα οργανόγραμμα, ενώ το άτομο που τον καλύπτει δεν έχει ούτε τον χρόνο ούτε την πληροφόρηση για να ασκήσει κρίση. Μια εξουσία διακοπής μπορεί να έχει ανατεθεί σε μια ανώτερη ομάδα που δεν γνωρίζει ότι της έχει ανατεθεί. Μια σύμβαση προμηθευτή μπορεί να παραπέμπει σε μια επαφή κλιμάκωσης που μπορεί να λάβει μια ειδοποίηση αλλά δεν μπορεί να κάνει μια αλλαγή. Η διακυβέρνηση έχει γίνει τότε ένας παλιός τηλεφωνικός κατάλογος με ελαφρώς πιο σίγουρη τυπογραφία.

Οι εξαρτήσεις φθείρονται με τη συσσώρευση. Μια υπηρεσία μπορεί να προσθέσει μια πηγή ανάκτησης, έναν πάροχο ταυτότητας, ένα προϊόν παρακολούθησης, μια διαδρομή συμπερασμάτων, μια ουρά, ένα επίπεδο αποθήκευσης ή ένα άλλο μοντέλο. Κάθε προσθήκη μπορεί να είναι λογική. Μαζί, αλλάζουν το σύστημα που πραγματικά λειτουργεί. Η DORA επισημαίνει αυτό το σημείο σε ένα χρηματοοικονομικό πλαίσιο, απαιτώντας από τις οντότητες να προσδιορίζουν, να ταξινομούν και να τεκμηριώνουν τις επιχειρηματικές λειτουργίες που υποστηρίζονται από ΤΠΕ, τα περιουσιακά στοιχεία, τους ρόλους, τις ευθύνες και τις εξαρτήσεις, και να επανεξετάζουν τη σχετική τεκμηρίωση τουλάχιστον ετησίως και όταν επέρχεται σημαντική αλλαγή. Δεν είναι κανόνας τεχνητής νοημοσύνης. Είναι μια χρήσιμη υπενθύμιση ότι το αντικείμενο που χρειάζεται συντήρηση είναι το σύστημα στο περιβάλλον εργασίας του, όχι το στοιχείο με το πιο μοδάτο όνομα.

Τέλος, η μνήμη φθείρεται. Ένας οργανισμός μπορεί να διατηρεί χιλιάδες γραμμές καταγραφής και παρόλα αυτά να χάνει τον λόγο για μια απόφαση. Τα αρχεία καταγραφής μπορούν να πουν ότι συνέβη ένα συμβάν. Δεν λένε αυτόματα γιατί ορίστηκε ένα όριο, ποιος αποδέχτηκε έναν περιορισμό, ποιες περιπτώσεις εξαιρέθηκαν από μια δοκιμή ή τι σκόπευε να επαληθεύσει μια ομάδα μετά από μια κυκλοφορία. Αυτές οι πληροφορίες τείνουν να φεύγουν με τους ανθρώπους, εκτός αν μετατραπούν σε αρχείο με ιδιοκτήτη και σημείο αναθεώρησης. Ένα ίχνος ελέγχου που δεν μπορεί να εξηγήσει την κρίση γύρω από το συμβάν είναι χρήσιμο, αλλά ελλιπές.

Τίποτα από αυτά δεν αποτελεί επιχείρημα υπέρ της μόνιμης καχυποψίας ή μιας συνεδρίασης επιτροπής κάθε φορά που αλλάζει ένα μενού. Η αναλογικότητα έχει σημασία. Η ίδια η Πράξη για την Τεχνητή Νοημοσύνη περιγράφει την παρακολούθηση μετά τη διάθεση στην αγορά ως ανάλογη προς τη φύση της τεχνολογίας και τον κίνδυνο του συστήματος υψηλού κινδύνου. Σκοπός της συντήρησης δεν είναι να καταστεί αδύνατη η συνήθης βελτίωση. Είναι να γίνει ο οργανισμός ικανός να αντιλαμβάνεται ποιες βελτιώσεις δεν είναι συνήθεις.

Ο νόμος ήδη σκέφτεται σε κύκλους

Οι ευρωπαϊκοί κανόνες για την τεχνολογία περιγράφονται συχνά ως υποχρεώσεις συμμόρφωσης, σαν η εργασία να ήταν μία μόνο υποβολή και μετά μια σφραγίδα. Αν διαβάσει κανείς προσεκτικότερα, η επιχειρησιακή τους λογική είναι κυκλική. Ζητούν από τους οργανισμούς να εντοπίζουν, να παρακολουθούν, να τεκμηριώνουν, να αναφέρουν, να επανεξετάζουν, να δοκιμάζουν και να βελτιώνουν. Το λεξιλόγιο διαφέρει ανά τομέα επειδή διαφέρουν οι κίνδυνοι. Το ένστικτο της συντήρησης είναι αξιοσημείωτα σταθερό.

Για τα συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου, η Πράξη για την Τεχνητή Νοημοσύνη τοποθετεί τη σκέψη περί κύκλου ζωής κοντά στην αρχή των απαιτήσεων. Το άρθρο 9 απαιτεί να καθιερωθεί, να εφαρμοστεί, να τεκμηριωθεί και να διατηρηθεί ένα σύστημα διαχείρισης κινδύνου. Το περιγράφει ως συνεχές και επαναληπτικό, σχεδιασμένο και εκτελούμενο σε όλο τον κύκλο ζωής, με τακτική συστηματική επανεξέταση και επικαιροποίηση. Το σύστημα πρέπει να εντοπίζει και να αναλύει γνωστούς και ευλόγως προβλέψιμους κινδύνους, συμπεριλαμβανομένων των κινδύνων που συνδέονται με την προβλεπόμενη χρήση και την ευλόγως προβλέψιμη κακή χρήση. Πρέπει επίσης να χρησιμοποιεί πληροφορίες που συγκεντρώνονται από την παρακολούθηση μετά τη διάθεση στην αγορά. Αυτή είναι μια οδηγία να καταστεί η αρχική αξιολόγηση αναθεωρήσιμη. Δεν επιτρέπει στην αρχική αξιολόγηση να γίνει έκθεμα μουσείου.

Το άρθρο 72 είναι πιο συγκεκριμένο σχετικά με το τι έπεται της θέσης ενός συστήματος υψηλού κινδύνου σε λειτουργία. Οι πάροχοι πρέπει να καθιερώνουν και να τεκμηριώνουν ένα σύστημα παρακολούθησης ανάλογο προς την τεχνολογία και τον κίνδυνο. Πρέπει να συλλέγει ενεργά και συστηματικά, να τεκμηριώνει και να αναλύει σχετικά δεδομένα για τις επιδόσεις καθ' όλη τη διάρκεια ζωής του συστήματος, ώστε να μπορεί να αξιολογείται η συνεχής συμμόρφωση με τις σχετικές απαιτήσεις. Όπου συντρέχει λόγος, περιλαμβάνει ανάλυση της αλληλεπίδρασης με άλλα συστήματα τεχνητής νοημοσύνης. Αυτό έχει σημασία για πραγματικές αναπτύξεις, επειδή η ουσιαστική συμπεριφορά ενός συστήματος μπορεί να προκύψει στα όρια: μια έξοδος εισέρχεται σε άλλο εργαλείο, μια μηχανή πολιτικής μετατρέπει μια βαθμολογία σε ενέργεια, ένας άνθρωπος βλέπει μια διεπαφή που αλλάζει τη βαρύτητα μιας σύστασης ή μια κατάντη ροή εργασίας δημιουργεί μια νέα συνέπεια.

Η Πράξη δεν ζητά από την παρακολούθηση να μετατραπεί σε παθητική επιτήρηση όλων όσοι χρησιμοποιούν μια υπηρεσία. Ζητά σχετικές πληροφορίες, και το ευρύτερο νομικό περιβάλλον εξακολουθεί να ισχύει. Ένας σχεδιασμός συντήρησης θα πρέπει επομένως να ξεκινά με έναν σκοπό για κάθε σήμα. Ποια ερώτηση απαντά το σήμα. Αρκούν τα συγκεντρωτικά δεδομένα. Χρειάζεται η επανεξέταση περιεχόμενο, ταυτότητα ή μόνο ένα τεκμηριωμένο επιχειρησιακό γεγονός με έκδοση. Ποιος μπορεί να έχει πρόσβαση. Πόσο διάστημα διατηρείται. Πώς μπορεί να αμφισβητηθεί. Η συλλογή περισσότερων δεδομένων επειδή ένας πίνακας ελέγχου δέχεται περισσότερα πεδία δεν είναι στρατηγική συντήρησης. Είναι αποθήκευση με φιλοδοξίες.

Το ίδιο κεφάλαιο συνδέει την παρακολούθηση με τον χειρισμό σοβαρών περιστατικών. Το άρθρο 73 απαιτεί από τους παρόχους συστημάτων υψηλού κινδύνου που διατίθενται στην αγορά της Ένωσης να αναφέρουν σοβαρά περιστατικά στις αρμόδιες αρχές εποπτείας της αγοράς, αφού διαπιστωθεί αιτιώδης σύνδεσμος ή εύλογη πιθανότητα τέτοιου συνδέσμου. Ορίζει προθεσμίες που ποικίλλουν ανάλογα με τη σοβαρότητα, συμπεριλαμβανομένων δύο ημερών για εκτεταμένη παραβίαση ή σοβαρό περιστατικό του καθορισμένου είδους. Απαιτεί διερεύνηση, εκτίμηση κινδύνου και διορθωτικά μέτρα μετά την αναφορά. Η σημαντική επιχειρησιακή διαπίστωση δεν είναι ο αριθμός των ημερών. Είναι ότι η αντιμετώπιση περιστατικών δεν είναι μια ξεχωριστή διαδικασία δημοσίων σχέσεων. Είναι μέρος του βρόχου αποδεικτικών στοιχείων που θα πρέπει να αλλάζει τη διαχείριση κινδύνου, την τεκμηρίωση και τη μελλοντική λειτουργία.

Η NIS2 καθιστά σαφές το ζήτημα της ιδιοκτησίας στον τομέα της κυβερνοασφάλειας. Το άρθρο 20 ορίζει ότι τα διοικητικά όργανα των ουσιωδών και σημαντικών φορέων εγκρίνουν τα μέτρα διαχείρισης κινδύνων κυβερνοασφάλειας, εποπτεύουν την εφαρμογή τους και μπορούν να θεωρηθούν υπεύθυνα για παραβάσεις. Το άρθρο 21 απαιτεί στη συνέχεια κατάλληλα και αναλογικά τεχνικά, επιχειρησιακά και οργανωτικά μέτρα, συμπεριλαμβανομένης της διαχείρισης περιστατικών, της επιχειρησιακής συνέχειας, της ασφάλειας της εφοδιαστικής αλυσίδας και της ασφάλειας στην απόκτηση, ανάπτυξη και συντήρηση. Αυτό είναι χρήσιμο πολύ πέρα από τους φορείς στους οποίους εφαρμόζεται η NIS2. Η διακυβέρνηση δεν είναι μια εντολή που εκπέμπεται προς τα κάτω από ένα ενημερωτικό σημείωμα του διοικητικού συμβουλίου. Αν οι άνθρωποι με την τυπική εξουσία ούτε εξετάζουν τα μέτρα ούτε κατανοούν τις συνέπειες των επιλογών τους, ο οργανισμός έχει δημιουργήσει έναν τίτλο χωρίς έλεγχο.

Η NIS2 αντιμετωπίζει επίσης την αναφορά περιστατικών ως υποχρέωση παροχής υπηρεσιών. Τα σημαντικά περιστατικά πρέπει να κοινοποιούνται χωρίς αδικαιολόγητη καθυστέρηση και, όπου ενδείκνυται, οι αποδέκτες των υπηρεσιών πρέπει να ενημερώνονται όταν ένα σημαντικό περιστατικό είναι πιθανό να επηρεάσει δυσμενώς την παροχή. Ένα περιστατικό είναι σημαντικό όχι μόνο όταν διαταράσσει τον ίδιο τον οργανισμό, αλλά και όταν επηρεάζει άλλους ανθρώπους με σημαντική υλική ή μη υλική ζημία. Αυτό το όριο είναι χρήσιμο για τη διακυβέρνηση της τεχνητής νοημοσύνης. Μια ομάδα δεν πρέπει να εξετάζει μόνο αν το γράφημα διαθεσιμότητας του συστήματος παραμένει πράσινο. Ένα σύστημα μπορεί να είναι διαθέσιμο και παρόλα αυτά να δημιουργεί ένα σημαντικό επιχειρησιακό πρόβλημα ή πρόβλημα που σχετίζεται με δικαιώματα.

Ο κανονισμός DORA παρέχει ένα άλλο πρακτικό πρότυπο. Οι χρηματοοικονομικοί φορείς πρέπει να προσδιορίζουν και να τεκμηριώνουν τις επιχειρησιακές λειτουργίες που υποστηρίζονται από ΤΠΕ, τους ρόλους, τις αρμοδιότητες, τις πληροφορίες και τα περιουσιακά στοιχεία ΤΠΕ, καθώς και τις εξαρτήσεις τους. Εξετάζουν την επάρκεια των ταξινομήσεων και της τεκμηρίωσης όπως απαιτείται και τουλάχιστον ετησίως, και διενεργούν εκτίμηση κινδύνου μετά από κάθε σημαντική αλλαγή στις υποδομές, τις διαδικασίες ή τα πρωτόκολλα που επηρεάζουν τις υποστηριζόμενες λειτουργίες ή τα περιουσιακά στοιχεία. Και πάλι, αυτό δεν αποτελεί επιχείρημα ότι κάθε οργανισμός είναι χρηματοοικονομικός φορέας. Είναι ένα παράδειγμα ενός ώριμου κανόνα που αντιμετωπίζει την καταγραφή, την αλλαγή και την επανεξέταση ως συνδεδεμένες εργασίες. Ένα ζωντανό σύστημα χρειάζεται έναν χάρτη, και ένας χάρτης χρειάζεται μια ημερομηνία.

Η γλώσσα του κανονισμού DORA σχετικά με τη διαχείριση αλλαγών είναι ιδιαίτερα νηφάλια. Απαιτεί τεκμηριωμένες πολιτικές, διαδικασίες και ελέγχους για αλλαγές σε λογισμικό, υλικό, υλικολογισμικό, συστήματα και παραμέτρους ασφάλειας. Οι αλλαγές πρέπει να καταγράφονται, να δοκιμάζονται, να αξιολογούνται, να εγκρίνονται, να εφαρμόζονται και να επαληθεύονται με ελεγχόμενο τρόπο. Αυτή η ακολουθία δεν αποτελεί ισχυρισμό ότι ένα μοντέλο τεχνητής νοημοσύνης μπορεί πάντα να δοκιμαστεί μέχρι να καταστεί ασφαλές. Είναι ένας τρόπος να απορρίπτεται η ιδέα ότι μια ενημέρωση παραγωγής δικαιολογείται από μόνη της. Μια αλλαγή πρέπει να έχει έναν λόγο, μια αξιολόγηση, μια διαδρομή έγκρισης, ένα αρχείο εφαρμογής και έναν έλεγχο του αποτελέσματος.

Το πρότυπο ISO/IEC 42001 δεν είναι νομοθεσία και μια δημόσια σελίδα προϊόντος δεν υποκαθιστά το ίδιο το πρότυπο. Ωστόσο, ο ISO περιγράφει το πρότυπο ως σύστημα διαχείρισης τεχνητής νοημοσύνης που βασίζεται στον κύκλο Plan-Do-Check-Act, με σκοπό να βοηθήσει έναν οργανισμό να διαχειρίζεται τους κινδύνους και τις ευκαιρίες που σχετίζονται με την τεχνητή νοημοσύνη σε ολόκληρο τον οργανισμό και όχι απλώς να εξετάζει μεμονωμένες εφαρμογές. Ο κύκλος είναι η χρήσιμη ιδέα. Το Plan καθιερώνει μια οριοθετημένη πρόθεση. Το Do τη θέτει σε λειτουργία. Το Check διερωτάται αν τα στοιχεία υποστηρίζουν τη συνεχιζόμενη εμπιστοσύνη. Το Act αλλάζει το σύστημα εργασίας. Η επανάληψη αυτού του κύκλου δεν είναι γραφειοκρατία για χάρη της γραφειοκρατίας. Είναι η ελάχιστη αναγνώριση ότι τα συστήματα και οι θεσμοί δεν μένουν ακίνητοι.

Ένας κύκλος διακυβέρνησης πρέπει να επιστρέφει στοιχεία σε μια απόφαση. Διαφορετικά είναι μόνο ένα αρχείο πραγμάτων που παρατηρήθηκαν.

Η παρακολούθηση πρέπει να επιτρέπεται να έχει σημασία

Η παρακολούθηση συχνά συζητείται ως τεχνική δραστηριότητα, κάτι που είναι κατανοητό. Τα συστήματα παράγουν τηλεμετρία. Οι ομάδες επιλέγουν μετρικές. Οι πίνακες ελέγχου δείχνουν γραμμές που ανεβαίνουν, πέφτουν και περιστασιακά προκαλούν ανησυχητικές συναντήσεις. Αλλά το δύσκολο μέρος δεν είναι η συλλογή ενός σήματος. Το δύσκολο μέρος είναι να συμφωνήσουμε τι επιτρέπεται να αλλάξει στο σήμα.

Ένα σχέδιο παρακολούθησης ξεκινά με μια ερώτηση απόφασης. Ένα παράπονο μπορεί να υποδεικνύει ότι μια εξήγηση είναι ασαφής, ότι μια είσοδος είναι λανθασμένη, ότι ένας χρήστης έχει βρει έναν περιορισμό ή ότι ο οργανισμός έχει σχεδιάσει άσχημα μια διαδρομή ένστασης. Μια αύξηση στις παρακάμψεις από ανθρώπους μπορεί να υποδεικνύει μειούμενη προσαρμογή του μοντέλου, βελτιωμένη εμπιστοσύνη του προσωπικού, αλλαγμένη πολιτική, παρωχημένα δεδομένα πηγής, μια νέα κατηγορία υπόθεσης ή μια διεπαφή που παραπλανά τους αναθεωρητές. Μια αύξηση στις αρνήσεις μπορεί να υποδεικνύει ότι ένα μέτρο ασφαλείας λειτουργεί, ότι μια εξάρτηση έχει γίνει αναξιόπιστη ή ότι ένα προϊόν χρησιμοποιείται εκτός του δηλωμένου σκοπού του. Ο ακατέργαστος αριθμός δεν είναι το συμπέρασμα. Είναι μια πρόσκληση για διερεύνηση μιας σχέσης.

Γι' αυτό ένα χρήσιμο σχέδιο διαχωρίζει την παρατήρηση από την ερμηνεία. Η παρατήρηση λέει τι καταγράφηκε, με ποια έκδοση, διαδρομή, χρόνο, πλαίσιο και βεβαιότητα. Η ερμηνεία λέει τι πιστεύει ο οργανισμός ότι μπορεί να σημαίνει το σήμα και ποιες εναλλακτικές εξηγήσεις παραμένουν. Η απόφαση λέει ποιος μπορεί να επιλέξει μια απάντηση. Η καταγραφή λέει τι άλλαξε και γιατί. Αυτό είναι πιο αργό από το να αντιμετωπίζεις κάθε ειδοποίηση ως απόδειξη αποτυχίας του μοντέλου. Είναι πιο γρήγορο από το να στέλνεις ένα κακώς κατανοητό πρόβλημα σε έναν κύκλο επανεκπαίδευσης και να ανακαλύπτεις ότι το πραγματικό σφάλμα ήταν η πολιτική, η ποιότητα της πηγής, τα δικαιώματα πρόσβασης ή η στελέχωση.

Οι μετρικές θα πρέπει επίσης να αντιστοιχούν στις συνέπειες του συστήματος. Μια βαθμολογία ποιότητας του μοντέλου μπορεί να είναι σχετική, αλλά σπάνια θα είναι αρκετή. Αν μια έξοδος επηρεάζει μια ουρά αναμονής, μια ομάδα μπορεί να χρειαστεί να γνωρίζει καθυστερήσεις, μη διαχειριζόμενες εξαιρέσεις, αντιστροφές και ποιες υποθέσεις αποστέλλονται για χειροκίνητη αναθεώρηση. Αν ένας βοηθός προτείνει πηγές, μια ομάδα μπορεί να χρειαστεί να γνωρίζει τη διαθεσιμότητα των πηγών, τις διορθώσεις παραπομπών, τις αμφισβητούμενες απαντήσεις και αν οι χρήστες ενεργούν βάσει υλικού εκτός του δηλωμένου πεδίου. Αν ένα σύστημα φιλτράρει περιεχόμενο, η αναθεώρηση μπορεί να χρειαστεί μοτίβα παραπόνων, αποτελέσματα ενστάσεων, κάλυψη γλωσσών και λόγους παρακάμψεων. Η παρακολούθηση θα πρέπει να ακολουθεί τη διαδρομή όπου το σύστημα έχει επιπτώσεις, όχι να σταματά στο σημείο όπου το μοντέλο παρήγαγε ένα διακριτικό ή μια βαθμολογία.

Η διαδρομή προς έναν άνθρωπο χρειάζεται επίσης παρακολούθηση. Είναι εύκολο να γράψεις «ανθρώπινη εποπτεία» σε μια πολιτική και δύσκολο να δείξεις αν το άτομο μπορεί πραγματικά να την ασκήσει. Πόσο συχνά παρακάμπτουν οι άνθρωποι. Έχουν πρόσβαση στις εισόδους και τους λόγους που χρειάζονται για να το κάνουν. Μια παράκαμψη φτάνει στη διαδικασία που παρήγαγε το αποτέλεσμα ή απλώς προσθέτει μια σημείωση στο τέλος. Πόσο χρόνο χρειάζεται μια κλιμάκωση. Ορισμένες υποθέσεις δεν φτάνουν ποτέ στη διαδρομή αναθεώρησης επειδή η διεπαφή κρύβει τη δυνατότητα. Αυτές είναι λειτουργικές ερωτήσεις. Είναι επίσης ερωτήσεις διακυβέρνησης, επειδή η απάντηση καθορίζει αν η ανθρώπινη εποπτεία είναι πραγματική ή διακοσμητική.

Δεν χρειάζεται να είναι δημόσιο κάθε σήμα. Κάποια θα είναι εμπορικά ευαίσθητα. Κάποια θα αφορούν την ασφάλεια. Κάποια μπορεί να περιέχουν προσωπικά δεδομένα και δεν θα έπρεπε να έχουν συλλεχθεί εξαρχής. Η πειθαρχία της συντήρησης είναι να καθιστά αυτά τα όρια σαφή. Μια αναθεώρηση μπορεί να χρειάζεται συγκεντρωτικά μοτίβα αντί για ένα πλήρες αρχείο περιεχομένου. Μπορεί να χρειάζεται μια καταγεγραμμένη κατάσταση αντί για ένα αρχείο κάθε αλληλεπίδρασης. Μπορεί να χρειάζεται προστατευμένη πρόσβαση για έναν ερευνητή περιστατικού και μια ξεχωριστή δημόσια εξήγηση της μεθόδου. Η διαφάνεια δεν σημαίνει δημοσίευση ακατέργαστου επιχειρησιακού υλικού. Σημαίνει να καθιστά κατανοητή την ύπαρξη, τον σκοπό, το όριο και την ιδιοκτησία ενός μέτρου ελέγχου.

Υπάρχει μια μικρή αλλά σημαντική διαφορά ανάμεσα σε ένα σχέδιο παρακολούθησης και σε μια λίστα ευχών. Ένα σχέδιο αναφέρει ποια σήματα συλλέγονται, πώς προστατεύονται, τι ενεργοποιεί την επανεξέταση, ποιος είναι υπεύθυνος για την επανεξέταση, ποια είναι τα πιθανά αποτελέσματα και πώς η απόφαση καταγράφεται στο αρχείο αλλαγών. Μια λίστα ευχών αναφέρει ότι ο οργανισμός θα παρακολουθεί την ποιότητα, την ασφάλεια, τη δικαιοσύνη και την ικανοποίηση των χρηστών. Το πρώτο μπορεί να ελεγχθεί. Το δεύτερο ταιριάζει πολύ καλά σε μια παρουσίαση στρατηγικής και πουθενά αλλού.

Η καλή παρακολούθηση καθιστά επίσης ορατά τα μη συμβάντα. Αν δεν φτάνουν αναφορές, αυτό συμβαίνει επειδή το σύστημα δεν έχει προκαλέσει κανένα πρόβλημα, επειδή η οδός αναφοράς είναι απροσπέλαστη, επειδή οι άνθρωποι δεν γνωρίζουν ότι υπάρχει ή επειδή η διαδικασία δεν διατηρεί τις αναφορές; Αν δεν ξεπεραστεί ένα όριο συμβάντος, αυτό συμβαίνει επειδή το σύστημα είναι σταθερό ή επειδή το όριο δεν σχετίζεται με την πραγματική βλάβη; Η απουσία ενός σήματος μπορεί να αποτελεί ένδειξη, αλλά μόνο αφού εξεταστεί η διαδρομή συλλογής. Η σιωπή δεν αποτελεί αυτόματα καθησυχασμό. Μερικές φορές είναι απλώς μια φόρμα με κακή σήμανση.

Η αντιμετώπιση περιστατικών είναι μια μορφή θεσμικής μνήμης

Μια διαδικασία περιστατικών θα πρέπει να ξεκινά πριν από το περιστατικό, επειδή τα πρώτα λεπτά ενός ασυνήθιστου συμβάντος είναι κακή στιγμή για να επινοηθεί εξουσία. Η διαδικασία χρειάζεται έναν τρόπο να λαμβάνει μια ανησυχία, να διατηρεί αρκετά στοιχεία για να την κατανοήσει, να προστατεύει τους ανθρώπους από τη συνεχή έκθεση, να αποφασίζει αν το συμβάν πληροί ένα καθορισμένο όριο και να επικοινωνεί με τους ανθρώπους που πρέπει να δράσουν. Χρειάζεται επίσης μια διαδρομή επιστροφής στο σύστημα διακυβέρνησης. Χωρίς αυτή την τελική διαδρομή, ο οργανισμός διαχειρίζεται το επεισόδιο και στη συνέχεια αναδημιουργεί τις προϋποθέσεις του με αξιοθαύμαστη αποτελεσματικότητα.

Η DORA το εκφράζει αυτό με σαφήνεια για περιστατικά που σχετίζονται με τις ΤΠΕ. Απαιτεί από τους χρηματοπιστωτικούς φορείς να καθορίζουν, να θεσπίζουν και να εφαρμόζουν μια διαδικασία διαχείρισης περιστατικών για τον εντοπισμό, τη διαχείριση και την κοινοποίηση περιστατικών. Καταγράφουν περιστατικά και σημαντικές κυβερνοαπειλές και διατηρούν διαδικασίες για συνεπή, ολοκληρωμένη παρακολούθηση, χειρισμό και συνέχεια, ώστε να εντοπίζονται, να τεκμηριώνονται και να αντιμετωπίζονται τα βασικά αίτια. Η διαδικασία πρέπει να θεσπίζει δείκτες έγκαιρης προειδοποίησης, να αναθέτει ρόλους και αρμοδιότητες για διαφορετικά σενάρια και να καθορίζει ρυθμίσεις επικοινωνίας και κλιμάκωσης. Αυτές είναι συγκεκριμένες απαιτήσεις του χρηματοπιστωτικού τομέα. Η βασική τους λογική είναι ευρέως χρήσιμη: ένα περιστατικό θα πρέπει να αφήνει τον οργανισμό με καλύτερη γνώση από ό,τι είχε πριν.

Για την τεχνητή νοημοσύνη, το ζήτημα των αποδεικτικών στοιχείων απαιτεί ιδιαίτερη προσοχή. Μια ομάδα μπορεί να θέλει να αλλάξει ένα μοντέλο ή μια υπηρεσία αμέσως μόλις πληροφορηθεί ένα επιβλαβές αποτέλεσμα. Μερικές φορές ο επείγων περιορισμός είναι απολύτως σωστός. Αλλά μια ανεξέλεγκτη αλλαγή μπορεί επίσης να καταστρέψει την ικανότητα κατανόησης του τι συνέβη. Η Πράξη για την ΤΝ αναφέρει ότι ένας πάροχος που διερευνά ένα σοβαρό περιστατικό δεν θα πρέπει να τροποποιεί το σύστημα ΤΝ με τρόπο που θα μπορούσε να επηρεάσει τη μεταγενέστερη αξιολόγηση των αιτιών πριν ενημερώσει τις αρμόδιες αρχές για αυτή την ενέργεια. Αυτό δεν δημιουργεί άδεια να αφήνονται οι άνθρωποι εκτεθειμένοι ενώ διατηρείται ένα παρθένο πείραμα. Καθιστά ορατό τον συμβιβασμό. Περιορίστε τον κίνδυνο, διατηρήστε τη σχετική κατάσταση, καταγράψτε την παρέμβαση και αποφύγετε να μετατραπεί η διερεύνηση σε ανακατασκευή που γίνεται από μνήμης.

Ένα χρήσιμο αρχείο περιστατικού έχει πολλά επίπεδα. Υπάρχει η αναφερθείσα παρατήρηση, η οποία μπορεί να είναι ελλιπής ή αμφισβητούμενη. Υπάρχει το τεχνικό και επιχειρησιακό πλαίσιο, συμπεριλαμβανομένης της έκδοσης, της διαδρομής, της κατάστασης και των συνδεδεμένων συστημάτων που είναι σχετικά. Υπάρχει η εκτίμηση των επιπτώσεων και της αβεβαιότητας. Υπάρχουν τα βήματα περιορισμού, συμπεριλαμβανομένου του ποιος τα έκανε και τι άλλαξαν. Υπάρχει η διερεύνηση, η οποία θα πρέπει να διακρίνει τα αποδεικτικά στοιχεία από τις υποθέσεις. Στη συνέχεια, υπάρχει η απόφαση για διορθωτική ενέργεια και η παρακολούθηση που ελέγχει αν λειτούργησε. Η συγχώνευση όλων αυτών των επιπέδων κάνει μια πρώιμη αναφορά να μοιάζει με τελικό συμπέρασμα ή ένα μεταγενέστερο συμπέρασμα να μοιάζει τόσο βέβαιο όσο η πρώτη ειδοποίηση.

Η επικοινωνία είναι μέρος της συντήρησης, όχι διακοσμητικός επίλογος. Όσοι επηρεάζονται από μια διακοπή ή μια σημαντική απειλή μπορεί να χρειαστούν μια πρακτική λύση. Οι χειριστές πρέπει να γνωρίζουν αν πρέπει να σταματήσουν, να συνεχίσουν με περιορισμούς ή να χρησιμοποιήσουν μια εναλλακτική. Η διοίκηση χρειάζεται σαφή εικόνα των επιπτώσεων, της αβεβαιότητας και των δικαιωμάτων λήψης αποφάσεων. Μια ρυθμιστική αρχή μπορεί να χρειαστεί μια καθορισμένη αναφορά. Οι προμηθευτές μπορεί να χρειαστεί να διερευνήσουν μια διεπαφή ή μια εξάρτηση. Τα μηνύματα δεν χρειάζεται να είναι πανομοιότυπα, αλλά πρέπει να μοιράζονται τον ίδιο πυρήνα γεγονότων. Ένας οργανισμός που δίνει στις ομάδες του ασυνεπείς αναφορές δεν είναι προσεκτικός. Κατασκευάζει το επόμενο περιστατικό.

Δεν χρειάζεται να επινοήσουμε μια δραματική διακοπή για να το κατανοήσουμε. Ας εξετάσουμε ένα σαφώς επισημασμένο υποθετικό σενάριο: μια ομάδα αναθεώρησης βλέπει ένα σύνολο απροσδόκητων διορθώσεων αφού μια νέα μορφή πηγής εισέρχεται σε μια κατά τα άλλα γνωστή ροή εργασίας. Το πρώτο ερώτημα δεν είναι αν το μοντέλο έχει «ξεφύγει», μια φράση που καλύτερα να μείνει στον κάδο με πολλές άλλες. Το ερώτημα είναι τι άλλαξε. Αλλάζει η μορφή πηγής τα δεδομένα εισόδου. Εκθέτει η διαδρομή ανάκτησης ακατάλληλο υλικό. Έχει μετακινηθεί κάποια προϋπόθεση πολιτικής. Κάνει η διεπαφή τους αναθεωρητές να χάνουν το πλαίσιο. Διορθώνονται οι επηρεαζόμενες περιπτώσεις αρκετά γρήγορα. Η απάντηση μπορεί να είναι να σταματήσει μια διαδρομή, να επαναφερθεί μια διαμόρφωση, να προστεθεί επικύρωση, να αναθεωρηθούν οι οδηγίες ή να διαπιστωθεί ότι η πηγή δεν έπρεπε ποτέ να γίνει δεκτή. Το νόημα του υποθετικού σεναρίου δεν είναι η πλοκή. Είναι ότι μια προετοιμασμένη διαδικασία εμποδίζει τον οργανισμό να αυτοσχεδιάζει την πρώτη ώρα.

Μετά από ένα περιστατικό, το πρόγραμμα συντήρησης θα πρέπει να ρωτά κάτι περισσότερο από το αν το ορατό σφάλμα διορθώθηκε. Λειτούργησε το σήμα ανίχνευσης. Το έλαβε το σωστό άτομο. Είχε την εξουσιοδότηση. Διατήρησε το αρχείο καταγραφής το σχετικό πλαίσιο. Ήταν χρησιμοποιήσιμη η διαδρομή κλιμάκωσης. Ταίριαζε το μήνυμα προς το κοινό ή τους πελάτες με όσα ήταν γνωστά. Δημιούργησε μια απόφαση νέα απαίτηση παρακολούθησης. Έκανε ένα κενό εκπαίδευσης ή τεκμηρίωσης το συμβάν χειρότερο. Οι απαντήσεις μετατρέπουν ένα περιστατικό από μια μεμονωμένη διακοπή σε μια αλλαγή στο λειτουργικό μοντέλο.

Η αλλαγή χρειάζεται ένα δεύτερο ρολόι

Κάθε σύστημα έχει ένα τεχνικό ρολόι. Οι εκδόσεις δημιουργούνται, αναπτύσσονται, επαναφέρονται και αντικαθίστανται. Η διακυβέρνηση χρειάζεται ένα δεύτερο ρολόι: το χρονοδιάγραμμα για την επανεξέταση του αν τα στοιχεία, ο σκοπός και η εξουσιοδότηση εξακολουθούν να είναι επαρκή. Αυτά τα ρολόγια μερικές φορές κινούνται μαζί και μερικές φορές όχι. Το να τα αντιμετωπίζουμε ως ένα είναι ένας αξιόπιστος τρόπος να χάσουμε σημαντικές αλλαγές.

Μια τεχνική αλλαγή μπορεί να είναι μικρή και παρόλα αυτά να έχει σημασία. Μια νέα συλλογή ανάκτησης μπορεί να αλλάξει τις πηγές που χρησιμοποιούνται στις απαντήσεις. Μια αλλαγμένη προτροπή ή κανόνας πολιτικής μπορεί να αλλάξει το σύνολο των περιπτώσεων που αρνείται ένα σύστημα. Μια ενημέρωση διαμόρφωσης μπορεί να αλλάξει πού ταξιδεύουν τα δεδομένα. Μια νέα έκδοση μιας εξάρτησης μπορεί να αλλάξει την καθυστέρηση, την καταγραφή ή τους διαθέσιμους ελέγχους ασφαλείας. Η σωστή απάντηση εξαρτάται από το σύστημα και τις συνέπειές του. Το πρόγραμμα συντήρησης δεν θα πρέπει να κηρύσσει κάθε αλλαγή σημαντική εκ των προτέρων. Θα πρέπει να παρέχει έναν τρόπο να αποφασίζεται τι χρειάζεται δοκιμή, εκ νέου έγκριση, δημόσια ειδοποίηση, επανεκτίμηση κινδύνου, νέα καταγεγραμμένη κατάσταση ή απλώς μια καταγραφή.

Αντίστροφα, μια αλλαγή διακυβέρνησης μπορεί να συμβεί χωρίς καμία ανάπτυξη κώδικα. Μια υπηρεσία μπορεί να χρησιμοποιηθεί από ένα νέο τμήμα. Μια σύμβαση προμήθειας μπορεί να προσθέσει έναν επεξεργαστή. Μια νομική ερμηνεία μπορεί να αλλάξει τις προϋποθέσεις μιας ροής εργασίας. Μια διαδρομή μπορεί να περάσει από εσωτερικό πειραματισμό σε εξωτερική πρόσβαση. Μια υπάρχουσα έξοδος μπορεί να αρχίσει να επηρεάζει μια απόφαση πιο κάτω στην αλυσίδα. Η τεχνική ομάδα μπορεί να μην δει καμία έκδοση. Οι επηρεαζόμενοι μπορεί να δουν ένα πολύ διαφορετικό σύστημα. Ένα πρόγραμμα συντήρησης πρέπει να παρατηρεί και τα δύο ρολόγια.

Η DORA εφαρμόζει έναν πρακτικό κανόνα ταξινόμησης: διενεργείται εκτίμηση κινδύνου για κάθε σημαντική αλλαγή στην υποδομή δικτύου και συστημάτων πληροφοριών, καθώς και στις διαδικασίες ή τις πρακτικές που επηρεάζουν υποστηριζόμενες λειτουργίες ή περιουσιακά στοιχεία. Απαιτεί επίσης την περιοδική ενημέρωση των καταγραφών απογραφής, καθώς και την ενημέρωσή τους μετά από κάθε σημαντική αλλαγή. Στο πλαίσιο της τεχνητής νοημοσύνης, ο όρος «σημαντική αλλαγή» δεν θα πρέπει να θεωρείται αυτονόητος. Οι ομάδες θα πρέπει να καταγράφουν εκ των προτέρων τα κριτήριά τους. Περιλαμβάνει αλλαγή του επιδιωκόμενου σκοπού, νέα πηγή δεδομένων, νέα κατάσταση μοντέλου, νέα άδεια εργαλείου, νέο πληθυσμό, τροποποιημένη διαδρομή ανθρώπινης παρέμβασης, τροποποιημένη επεξήγηση ή νέα εξωτερική εξάρτηση; Η απάντηση θα διαφέρει. Η απουσία απάντησης αποτελεί από μόνη της κίνδυνο.

Το αρχείο καταγραφής αλλαγών δεν είναι ένα ημερολόγιο αλλαγών που γράφεται για δημόσιο έπαινο. Είναι ένα επιχείρημα που συνδέει μια προηγούμενη κατάσταση, έναν λόγο, μια εκτίμηση, μια απόφαση, μια υλοποίηση και μια επαλήθευση. Για ορισμένες αλλαγές, η δημόσια έκδοση μπορεί να είναι σύντομη: έχει αλλάξει μια σχετική πολιτική ή ένα όριο που ισχύει για τους χρήστες, με ισχύ από συγκεκριμένη ημερομηνία, με σύνδεσμο προς το τι διαφέρει. Για τα εσωτερικά αποδεικτικά στοιχεία, το αρχείο μπορεί να περιλαμβάνει περισσότερες λεπτομέρειες σχετικά με την αξιολόγηση, τους ελέγχους πρόσβασης, το πλαίσιο ενός περιστατικού ή πληροφορίες προμηθευτή. Το σημαντικό είναι και τα δύο επίπεδα να παραπέμπουν στην ίδια απόφαση και να μην εξελίσσονται σε ξεχωριστές αφηγήσεις.

Η ταυτότητα έκδοσης είναι ιδιαίτερα σημαντική όταν ένα σύστημα προσαρμόζεται με την πάροδο του χρόνου. Ένα σταθερό όνομα προϊόντος δεν μπορεί πάντα να προσδιορίσει την κατάσταση που παρήγαγε ένα συγκεκριμένο αποτέλεσμα. Αλλά η προσπάθεια απόδοσης ενός μόνιμου αριθμού έκδοσης σε κάθε παροδική κατάσταση μπορεί να δημιουργήσει ένα διαφορετικό είδος πλασματικής εικόνας. Μια καλύτερη προσέγγιση είναι να διακρίνεται η διαρκής ταυτότητα του μοντέλου ή της υπηρεσίας από την καταγεγραμμένη κατάσταση, τη διαμόρφωση και τα αποδεικτικά στοιχεία που απαιτούνται για μια καθορισμένη αναθεώρηση ή αναπαραγωγή. Το αρχείο αναφέρει τότε τι εξετάστηκε, χωρίς να προσποιείται ότι όλα παρέμειναν παγωμένα για πάντα.

Η επαλήθευση των αλλαγών είναι το σημείο όπου πολλά αρχεία γίνονται αισιόδοξα. Ένας οργανισμός έχει εγκρίνει μια διόρθωση, οπότε το περιστατικό θεωρείται λήξαν. Αλλά η υλοποίηση δεν αποτελεί επαλήθευση. Λειτούργησε ο νέος έλεγχος υπό ρεαλιστικές συνθήκες; Δημιούργησε ένα διαφορετικό πρόβλημα; Λειτούργησε ο εναλλακτικός μηχανισμός; Έλαβαν οι ανθρώπινοι αναθεωρητές τις τροποποιημένες οδηγίες; Κινήθηκε η σχετική μετρική προς την επιδιωκόμενη κατεύθυνση; Εξακολουθεί η επεξήγηση να αντιστοιχεί στην υπηρεσία; Η επαλήθευση μπορεί να δείξει ότι μια αλλαγή θα πρέπει να αντιστραφεί, να βελτιωθεί ή να διατηρηθεί με έναν νέο περιορισμό. Επιτρέπεται να είναι άβολη. Αυτό αποτελεί μέρος της δουλειάς της.

Ένα χρονοδιάγραμμα δίνει σε αυτή την εργασία έναν συνηθισμένο ρυθμό. Ορισμένα αρχεία αναθεωρούνται μετά από ένα εναρκτήριο γεγονός. Άλλα χρειάζονται μια σταθερή ημερομηνία, επειδή η αναμονή για ένα εναρκτήριο γεγονός προϋποθέτει ότι ο οργανισμός θα το αναγνωρίζει πάντα. Μια δήλωση σκοπού μπορεί να χρειάζεται αναθεώρηση όταν αλλάζει η χρήση και σε προγραμματισμένο διάστημα. Μια αξιολόγηση μπορεί να λήξει μετά από αλλαγή έκδοσης, διαδρομής δεδομένων ή πλαισίου. Ένα σχέδιο διαχείρισης περιστατικών μπορεί να χρειάζεται μια ημερομηνία δοκιμής, επειδή ένα σχέδιο που δεν έχει χρησιμοποιηθεί ποτέ μπορεί να είναι άψογα γραμμένο και πρακτικά ανύπαρκτο. Μια διαδρομή εξόδου μπορεί να χρειάζεται δοκιμή πριν καταστεί επειγόντως απαραίτητη. Η ημερομηνία δεν εγγυάται την επιμέλεια. Κάνει την αμέλεια πιο εύκολα ορατή.

Τα αρχεία μπορούν να παραμένουν σε ένα αρχειοφυλάκιο ενώ χάνουν την εξουσία τους να υποστηρίξουν μια τρέχουσα απόφαση. Η ημερομηνία αναθεώρησης καθιστά αυτή τη διάκριση ορατή.

Η λήξη δεν αποτελεί αποτυχία

Οι ομάδες συχνά αντιστέκονται στις ημερομηνίες λήξης, επειδή η λήξη ακούγεται σαν κατηγορία. Δεν είναι. Είναι μια δήλωση για το πεδίο εφαρμογής. Ένα αποτέλεσμα βαθμονόμησης μπορεί να είναι έγκυρο για την κατάσταση του μοντέλου και τις συνθήκες εισόδου που δοκιμάστηκαν. Μια εκτίμηση προστασίας δεδομένων μπορεί να είναι προσεκτική για τη διαδρομή επεξεργασίας που περιγράφει. Μια διασφάλιση προμηθευτή μπορεί να είναι ουσιαστική για μια συγκεκριμένη έκδοση υπηρεσίας και σύμβαση. Ένα πρόγραμμα εκπαίδευσης μπορεί να είναι κατάλληλο για την εργασία που έκαναν οι άνθρωποι όταν το παρακολούθησαν. Κανένα από αυτά τα αρχεία δεν γίνεται κακό όταν αλλάζουν οι συνθήκες του. Γίνεται ελλιπές για μια νέα απόφαση.

Αυτός είναι ένας λόγος για τον οποίο η ετήσια αναθεώρηση είναι ταυτόχρονα χρήσιμη και ανεπαρκής. Μια ετήσια ημερομηνία καθιερώνει έναν ελάχιστο ρυθμό και αποτρέπει τα αρχεία από το να εξαφανίζονται επ' αόριστον σε έναν κοινόχρηστο δίσκο. Αλλά μια μεγάλη αλλαγή μπορεί να συμβεί αύριο. Η DORA συνδυάζει και τις δύο ιδέες απαιτώντας τακτική αναθεώρηση τουλάχιστον ετησίως και εκτίμηση κινδύνου σε κάθε μεγάλη αλλαγή. Τα δύο ρολόγια λειτουργούν μαζί: η περιοδική αναθεώρηση εντοπίζει τη σταδιακή απόκλιση· η ενεργοποιημένη αναθεώρηση εντοπίζει μια συνθήκη που έχει ήδη αλλάξει την απόφαση.

Η λήξη θα πρέπει να συνδέεται με ισχυρισμούς, όχι μόνο με έγγραφα. Ένα έγγραφο μπορεί να περιέχει αρκετούς ισχυρισμούς με διαφορετική διάρκεια ζωής. Ένα διάγραμμα αρχιτεκτονικής μπορεί να παραμένει σε μεγάλο βαθμό ακριβές, ενώ μια περιγραφή ελέγχου ασφαλείας έχει αλλάξει. Μια αξιολόγηση μπορεί να εξακολουθεί να τεκμηριώνει μια περιορισμένη ικανότητα, ενώ δεν υποστηρίζει πλέον μια ευρύτερη δήλωση απόδοσης. Μια πολιτική μπορεί να είναι επίκαιρη, ενώ ένας κατονομαζόμενος υπεύθυνος δεν είναι. Όταν μια ομάδα χαρακτηρίζει ολόκληρο το αρχείο ως τρέχον ή ξεπερασμένο, χάνει αυτές τις διακρίσεις. Η συντήρηση σε επίπεδο ισχυρισμού είναι περισσότερη δουλειά. Δίνει επίσης στους αναθεωρητές την ευκαιρία να ενημερώσουν ό,τι άλλαξε χωρίς να ξαναγράψουν την ιστορία.

Υπάρχει ένα ανθρώπινο όφελος εδώ. Οι άνθρωποι που κληρονομούν ένα σύστημα πρέπει να γνωρίζουν σε τι μπορούν να βασιστούν. Ένα αρχείο που λέει «τρέχον» χωρίς ημερομηνία, πεδίο εφαρμογής ή υπεύθυνο τους παραδίδει ένα πρόβλημα εμπιστοσύνης μεταμφιεσμένο σε τεκμηρίωση. Ένα αρχείο που λέει «αξιολογήθηκε για αυτόν τον σκοπό, με αυτή την καταγεγραμμένη κατάσταση, υπό αυτές τις συνθήκες, αναθεωρήθηκε αυτή την ημερομηνία, επόμενη αναθεώρηση εδώ» τους δίνει κάτι που μπορούν να εξετάσουν και να αμφισβητήσουν. Δεν καθιστά το σύστημα ασφαλές με δήλωση. Καθιστά ορατό το όριο της υπάρχουσας γνώσης.

Η λήξη κάνει επίσης την απόσυρση λιγότερο δραματική. Ένα σύστημα δεν χρειάζεται να αποτελεί σκάνδαλο για να αποσυρθεί ή να αντικατασταθεί. Ένας προμηθευτής μπορεί να τερματίσει την υποστήριξη. Ένα μοντέλο μπορεί να μην ταιριάζει πλέον σε ένα νέο γλωσσικό ή πολιτικό πλαίσιο. Το βάρος των αποδεικτικών στοιχείων μπορεί να υπερβαίνει την αξία της διατήρησης μιας παλιάς διαδρομής. Μπορεί να υπάρχει μια ασφαλέστερη εναλλακτική. Ο οργανισμός μπορεί να αποφασίσει ότι η εργασία πρέπει να επιστρέψει σε ένα άτομο ή σε έναν απλούστερο μηχανισμό χωρίς AI. Ένα χρονοδιάγραμμα συντήρησης θα πρέπει να περιλαμβάνει μια διαδρομή εξόδου πριν η υπηρεσία γίνει δύσκολη στην αφαίρεση. Η απόσυρση είναι μια ενέργεια διακυβέρνησης, όχι απόδειξη ότι η διακυβέρνηση απέτυχε.

Αυτό που δεν πρέπει να λήξει είναι η ιστορία. Ο οργανισμός θα πρέπει να διατηρεί ό,τι αξιολογήθηκε, αποφασίστηκε, άλλαξε και παρατηρήθηκε, με την επιφύλαξη των ισχυόντων κανόνων διατήρησης, εμπιστευτικότητας και προστασίας δεδομένων. Η διατήρηση της ιστορίας είναι διαφορετική από το να αντιμετωπίζεις παλιά αποδεικτικά στοιχεία ως τρέχοντα. Το ένα υποστηρίζει τη μάθηση και τη λογοδοσία. Το άλλο μπορεί να μετατρέψει ένα αρχείο κληρονομιάς σε ψευδή διαβεβαίωση. Τα καλά αρχεία θυμούνται τη διαφορά.

Ένα χρονοδιάγραμμα είναι κατανομή εξουσίας

Το πιο χρήσιμο τεχνούργημα διακυβέρνησης μπορεί να είναι λιγότερο εντυπωσιακό από έναν πίνακα κινδύνου: ένα ημερολόγιο με ονόματα δίπλα του. Ποιος αναθεωρεί τον σκοπό. Ποιος διαβάζει το σήμα παρακολούθησης. Ποιος μπορεί να δηλώσει ότι επιτεύχθηκε ένα όριο. Ποιος μπορεί να θέσει σε παύση μια διαδρομή. Ποιος εγκρίνει μια ουσιαστική αλλαγή. Ποιος ελέγχει τα αποδεικτικά στοιχεία επαλήθευσης. Ποιος επικοινωνεί με έναν προμηθευτή. Ποιος αποφασίζει ότι μια παλιά αξιολόγηση δεν υποστηρίζει πλέον τη συνεχιζόμενη χρήση. Αν η απάντηση σε όλα αυτά είναι «η ομάδα AI», ο οργανισμός δεν έχει κατανείμει εξουσία. Έχει ονομάσει ένα δωμάτιο.

Η αρχή χρειάζεται αρκετή ανεξαρτησία για να είναι ουσιαστική και αρκετή εγγύτητα για να δρα. Ένα διοικητικό συμβούλιο ή ένα διαχειριστικό όργανο μπορεί να έχει την εποπτεία και τους πόρους. Ένας επιχειρησιακός υπεύθυνος μπορεί να κατανοεί την πραγματική εργασία. Ένας τεχνικός υπεύθυνος μπορεί να γνωρίζει τα όρια του συστήματος. Ένας ειδικός σε θέματα ασφάλειας ή προστασίας προσωπικών δεδομένων μπορεί να εντοπίσει ένα όριο που οι άλλοι δεν βλέπουν. Μια ομάδα που έρχεται σε επαφή με πελάτες ή παρέχει δημόσιες υπηρεσίες μπορεί να δει τη ζημιά πριν τη δει ένας πίνακας ελέγχου. Αυτοί οι ρόλοι δεν χρειάζεται να συγχωνευθούν σε έναν μόνο υπεύθυνο. Χρειάζονται σαφείς διαδικασίες παράδοσης και έναν τρόπο επίλυσης διαφωνιών. Η έμφαση του NIS2 στην έγκριση και την εποπτεία από τη διοίκηση είναι χρήσιμη εδώ, επειδή απορρίπτει τη βολική μυθοπλασία ότι η διακυβέρνηση μπορεί να ανατεθεί εξ ολοκλήρου, ενώ η ευθύνη παραμένει στην κορυφή.

Το όριο κλιμάκωσης θα πρέπει να διατυπωθεί σε γλώσσα που αντιστοιχεί σε μια απόφαση. Το «Κλιμάκωση αν ο δείκτης ανωμαλίας υπερβαίνει το 0,8» μπορεί να είναι τεχνικά αναγκαίο, αλλά δεν λέει σε έναν οργανισμό τι διακυβεύεται. Ένα καλύτερο όριο μπορεί να συνδυάζει το σήμα με τη συνέπεια: κλιμάκωση όταν το σύστημα αρχίζει να επηρεάζει μια χρήση εκτός του δηλωμένου πεδίου εφαρμογής· όταν μια αποτυχία ελέγχου θα μπορούσε να αφήσει ένα επηρεαζόμενο άτομο χωρίς επανεξέταση· όταν αλλάζει μια ουσιώδης πηγή ή εξάρτηση· όταν οι διορθώσεις δείχνουν ένα μοτίβο που δεν κάλυπτε η υπάρχουσα αξιολόγηση· όταν αναφέρεται ένα σοβαρό ζήτημα ασφάλειας, προστασίας ή δικαιωμάτων· όταν ένας απαιτούμενος υπεύθυνος ή εναλλακτικός μηχανισμός δεν είναι πλέον διαθέσιμος. Τα ακριβή όρια θα διαφέρουν. Η γλώσσα της απόφασης δεν θα πρέπει να διαφέρει.

Η συντήρηση χρειάζεται επίσης προϋπολογισμό. Αυτό είναι κοινότοπο και καθοριστικό. Η παρακολούθηση καταναλώνει χρόνο. Η επανεξέταση μιας αλλαγής καταναλώνει τεχνική, νομική και επιχειρησιακή ικανότητα. Η δοκιμή ενός σχεδίου διαχείρισης περιστατικών διακόπτει την κανονική εργασία. Η ενημέρωση μιας επεξήγησης, ενός αρχείου ή ενός προγράμματος εκπαίδευσης είναι εργασία. Όταν η διακυβέρνηση δεν έχει στελεχωμένο επιχειρησιακό μοντέλο, μετατρέπεται σε φόρο έκτακτης ανάγκης που επιβαρύνει όποιον παρατηρήσει πρώτος το πρόβλημα. Αυτή η ρύθμιση φαίνεται οικονομική μέχρι το πρώτο δύσκολο περιστατικό, όταν ο οργανισμός ανακαλύπτει ότι εξοικονόμησε το κόστος της προετοιμασίας και αγόρασε το κόστος του αυτοσχεδιασμού.

Υπάρχει περιθώριο για αναλογικότητα. Ένα στενό εσωτερικό εργαλείο με σαφή χρήση χωρίς σημαντικές συνέπειες μπορεί να χρειάζεται ελαφρύτερο πρόγραμμα από ένα σύστημα που επηρεάζει την πρόσβαση στην εργασία, τις υπηρεσίες, τα δικαιώματα ή την ασφάλεια. Αλλά το ελαφρύτερο δεν σημαίνει ανύπαρκτο. Μπορεί να χρειάζεται ακόμα έναν υπεύθυνο, ένα όριο σκοπού, ένα αρχείο αλλαγών, μια βασική διαδρομή περιστατικών και μια προϋπόθεση εξόδου. Η πολυπλοκότητα θα πρέπει να ακολουθεί τις συνέπειες και την αβεβαιότητα, όχι τον ενθουσιασμό που υπάρχει κατά την έναρξη του έργου.

Ένα χρήσιμο πρόγραμμα συντήρησης μπορεί να διατυπωθεί σε απλή γλώσσα. Επανεξετάστε τον σκοπό όταν αλλάζει η χρήση, οι χρήστες ή οι συνέπειες. Επανεξετάστε τις εξαρτήσεις όταν αλλάζει ένας προμηθευτής, μια διαδρομή δεδομένων ή μια συνδεδεμένη υπηρεσία. Επανεξετάστε τα στοιχεία αξιολόγησης όταν αλλάζουν το μοντέλο, η διαμόρφωση ή οι σχετικές συνθήκες λειτουργίας. Δοκιμάστε τη διαδρομή περιστατικών και διακοπής σε τακτά διαστήματα. Επανεξετάστε τις αναθέσεις ρόλων όταν αλλάζει ο οργανισμός. Δημοσιεύστε ή διατηρήστε αρχείο αλλαγών όταν μια απόφαση έχει ουσιώδη επίδραση. Δοκιμάστε τη διαδρομή εξόδου πριν η υπηρεσία εξαρτηθεί από αυτήν. Τίποτα από αυτά δεν υπόσχεται ότι δεν θα γίνουν λάθη. Υπόσχεται ότι ο οργανισμός έχει έναν τρόπο να τα παρατηρήσει, να αποφασίσει και να μάθει όταν συμβούν.

Ένα σύντομο σημείωμα από εμάς

Στη Dweve, το Trust Centre περιγράφει την παρακολούθηση ως ξεχωριστό δημόσιο αρχείο και όχι ως υπόσχεση ότι ένα προϊόν έχει φτάσει σε μόνιμη κατάσταση ολοκλήρωσης. Το δημοσιευμένο υλικό παρακολούθησης αναφέρει ότι τα σήματα συνδέονται με δηλωμένα όρια συλλογής, ότι οι επανεξετάσεις εντοπίζουν το σχετικό μοντέλο, τη διαδρομή, την κατάσταση και τα στοιχεία, και ότι οι ουσιώδεις αλλαγές μπορούν να ενεργοποιήσουν επανεξέταση αξιολόγησης, κινδύνου, περιστατικού ή έκδοσης. Το δημόσιο αρχείο αλλαγών διακρίνει επίσης τα τρέχοντα γεγονότα από τους προετοιμασμένους ελέγχους και τα μελλοντικά συμβάντα. Αυτές είναι περιγραφές του δηλωμένου επιχειρησιακού μας σχεδιασμού, όχι ανεξάρτητη διασφάλιση, αποτέλεσμα για πελάτη ή ισχυρισμός ότι μια δημόσια σελίδα επιλύει κάθε ζήτημα διακυβέρνησης.

Αυτό το όριο είναι σκόπιμο. Θεωρούμε ότι ένα αρχείο παρακολούθησης είναι χρήσιμο όταν λέει στους αναγνώστες τι μπορεί να παρατηρηθεί, τι παραμένει προστατευμένο, τι μπορεί να ενεργοποιήσει μια ενέργεια και πού θα καταγραφεί μια ουσιαστική απόφαση. Το αρχείο δεν μπορεί να κρίνει εκ μέρους των ανθρώπων που λειτουργούν ένα σύστημα. Μπορεί να κάνει την κρίση ευκολότερη στον έλεγχο όταν αυτή διατυπωθεί.

Η συντήρηση είναι το τίμιο κομμάτι

Η έναρξη είναι μια χρήσιμη στιγμή. Δημιουργεί έναν λόγο για να οριστεί ο σκοπός, να αξιολογηθούν οι κίνδυνοι και να αναληφθούν δεσμεύσεις. Δεν είναι η στιγμή που η τεχνολογία σταματά να συναντά τον κόσμο. Η αξιοπιστία της διακυβέρνησης αποδεικνύεται στη συνέχεια, στην επαναλαμβανόμενη εργασία του να διαπιστώνεται αν η παλιά απόφαση εξακολουθεί να αξίζει να ισχύει.

Αυτή η εργασία χρειάζεται ένα ημερολόγιο, επειδή οι καλές προθέσεις έχουν μικρό χρόνο ζωής όταν δεν έχουν ημερομηνία, υπεύθυνο και δρόμο προς την υλοποίηση. Χρειάζεται αποδεικτικά στοιχεία, επειδή ένα χρώμα σε έναν πίνακα ελέγχου δεν είναι εξήγηση. Χρειάζεται εξουσία, επειδή η παρακολούθηση χωρίς το δικαίωμα να αλλάξει κάτι είναι παρατήρηση με καλό μάρκετινγκ. Χρειάζεται ιστορικό, επειδή μια διόρθωση που δεν μπορεί να εντοπιστεί δεν μπορεί να βελτιώσει αξιόπιστα την επόμενη απόφαση. Και χρειάζεται μια διέξοδο, επειδή η συνέχιση της λειτουργίας θα πρέπει να παραμένει επιλογή και όχι κληρονομημένο γεγονός.

Το ώριμο ερώτημα δεν είναι αν ένας οργανισμός μπορεί να παράγει ένα πλαίσιο διακυβέρνησης. Πολλοί μπορούν. Το ερώτημα είναι αν, μήνες μετά την έγκριση του εγγράφου, ο οργανισμός μπορεί ακόμα να πει ποιος είναι ο σκοπός του συστήματος, τι άλλαξε, ποια στοιχεία το υποστηρίζουν τώρα, ποιος μπορεί να το σταματήσει και τι συμβαίνει όταν η απάντηση δεν είναι πλέον σαφής. Αν μπορεί, η διακυβέρνηση συντηρείται. Αν δεν μπορεί, ο οργανισμός μπορεί να έχει ακόμα μια πολιτική. Απλώς έχει σταματήσει να έχει μια ζωντανή.

Πηγές