Ένας δρόμος, ένα νοσοκομείο και ένα μοντέλο μοιράζονται το ίδιο πρόβλημα: τα στοιχεία
Τα στοιχεία πρέπει να επιβιώσουν από την παράδοση
Ένας σχεδιαστής δρόμων, μια ομάδα νοσοκομείου και ένας πάροχος μοντέλων μπορούν όλοι να παρουσιάσουν μια πειστική επίδειξη. Η διασταύρωση μπορεί να φαίνεται οργανωμένη στο σχέδιο. Η κλινική οθόνη μπορεί να φαίνεται ήρεμη σε ένα εργαστήριο. Το μοντέλο μπορεί να δώσει μια λογική απάντηση σε ένα προσεκτικά επιλεγμένο σύνολο παραδειγμάτων. Τίποτα από αυτά δεν απαντά στο ερώτημα που έχει σημασία όταν το σύστημα μπαίνει στην καθημερινή ζωή: ποια στοιχεία υποστηρίζουν αυτή τη συγκεκριμένη ενέργεια, για αυτούς τους ανθρώπους, υπό αυτές τις συνθήκες, και ποιος έχει το δικαίωμα να αλλάξει πορεία όταν τα στοιχεία δεν ισχύουν πλέον;
Αυτό το ερώτημα είναι πιο χρήσιμο από μια συζήτηση για το αν ένας δρόμος, ένα νοσοκομείο ή ένα σύστημα τεχνητής νοημοσύνης είναι «ασφαλές». Η ασφάλεια δεν είναι μια ιδιότητα που έρχεται σε ένα χάρτινο κουτί μαζί με τη συσκευή. Είναι μια συνεχής σχέση ανάμεσα σε έναν σκοπό, ένα περιβάλλον, ένα σύνολο ανθρώπων, τα όρια ενός συστήματος και τη δουλειά που γίνεται όταν φτάνουμε σε ένα όριο. Ένας δρόμος πρέπει να εξυπηρετεί ανθρώπους που κάνουν λάθη και συνθήκες που αλλάζουν. Μια κλινική υπηρεσία πρέπει να διατηρεί την κρίση της όταν οι πληροφορίες είναι ελλιπείς, επείγουσες ή αμφισβητούμενες. Ένα σύστημα τεχνητής νοημοσύνης πρέπει να παραμένει αρκετά κατανοητό ώστε ένας άνθρωπος να μπορεί να δει πότε η έξοδός του έχει πάψει να αποτελεί χρήσιμη συμβολή σε μια απόφαση.
Η Ευρώπη έχει ήδη κομμάτια αυτής της πειθαρχίας σε διαφορετικά σημεία. Οι κανόνες για τις υποδομές οδικών μεταφορών απαιτούν διαδικασίες όπως εκτίμηση επιπτώσεων, έλεγχοι, επιθεωρήσεις ασφάλειας και αξιολόγηση σε επίπεδο δικτύου. Η Πράξη για την Τεχνητή Νοημοσύνη ζητά από τα συστήματα υψηλού κινδύνου να λειτουργούν με διαχείριση κινδύνου καθ' όλη τη διάρκεια του κύκλου ζωής, τεχνική τεκμηρίωση, αρχεία καταγραφής, ανθρώπινη εποπτεία, κατάλληλη ακρίβεια, ευρωστία και κυβερνοασφάλεια. Τα ευρωπαϊκά ιδρύματα υγείας συζητούν την ασφάλεια, την ισότητα, τη διακυβέρνηση, την ετοιμότητα του εργατικού δυναμικού και τη λογοδοσία μαζί, αντί να αντιμετωπίζουν ένα κλινικό μοντέλο ως ένα λογισμικό που γίνεται ακίνδυνο επειδή η διεπαφή του έχει ένα στηθοσκόπιο.
Το κοινό νήμα είναι τα στοιχεία. Όχι στοιχεία ως ένας χοντρός φάκελος που συγκεντρώνεται μία φορά, και όχι στοιχεία ως ένας πίνακας αποτελεσμάτων με έναν κολακευτικό μέσο όρο. Στοιχεία ως κάτι που συνδέεται με έναν ισχυρισμό, ένα πλαίσιο και μια απόφαση. Ένα χρήσιμο αρχείο στοιχείων λέει τι έπρεπε να κάνει το σύστημα, πού ισχύει ο ισχυρισμός, ποιες παρατηρήσεις τον υποστηρίζουν, ποιες υποθέσεις βρίσκονται από κάτω, τι παραμένει αβέβαιο, ποιος μπορεί να παρέμβει και ποια αλλαγή σημαίνει ότι το επιχείρημα πρέπει να επανεξεταστεί.
Αυτή είναι μια λιγότερο εντυπωσιακή ιδέα από την αυτονομία. Είναι όμως και πιο ανθεκτική. Δίνει στους μηχανικούς έναν τρόπο να δηλώσουν τα όριά τους χωρίς να προσποιούνται ότι ένα σύνολο δοκιμών είναι ένας πλήρης κόσμος. Δίνει στους διαχειριστές έναν τρόπο να ρωτήσουν τι πραγματικά αποδέχονται. Δίνει στους χειριστές κάτι καλύτερο από έναν πίνακα ελέγχου που ανάβει αφού η απόφαση έχει ήδη γίνει δύσκολη. Το πιο σημαντικό, δίνει στους ανθρώπους που επηρεάζονται από ένα σύστημα μια διαδρομή από ένα αποτέλεσμα πίσω στους λόγους και τις συνθήκες που το παρήγαγαν.
Τρεις τομείς, μία άβολη ερώτηση
Ο δρόμος, το νοσοκομείο και το μοντέλο δεν είναι το ίδιο σύστημα. Οι βλάβες τους, οι νομικές υποχρεώσεις, οι βάσεις στοιχείων και οι επαγγελματικές κουλτούρες διαφέρουν. Κανείς δεν πρέπει να αντιγράψει έναν έλεγχο οδικής ασφάλειας σε μια κλινική ροή εργασίας, ή να επικολλήσει μια λίστα ελέγχου ιατρικών συσκευών σε ένα γλωσσικό μοντέλο και να θεωρήσει τη δουλειά τελειωμένη. Το ζητούμενο δεν είναι να εξαλειφθούν οι διαφορές. Το ζητούμενο είναι να εντοπιστεί ένα κοινό μηχανικό πρόβλημα: ένα αυτοματοποιημένο ή ημι-αυτοματοποιημένο σύστημα ενεργεί μέσα από μια ευρύτερη διάταξη ανθρώπων, διαδικασιών, διεπαφών, περιβαλλόντων και υποθέσεων.
Ένας δρόμος είναι μια ιδιαίτερα σαφής υπενθύμιση, επειδή δεν παίρνει αποφάσεις με την ανθρώπινη έννοια. Τις διαμορφώνει. Η γεωμετρία, οι οπτικές γραμμές, ο διαχωρισμός, οι διαβάσεις, οι σημάνσεις, η διαχείριση της ταχύτητας, η συντήρηση και το ευρύτερο οδικό δίκτυο επηρεάζουν τι μπορούν να δουν οι άνθρωποι, από τι μπορούν να ανακάμψουν και πόσο σοβαρό γίνεται ένα λάθος. Η ορθή πρακτική οδικής ασφάλειας δεν βασίζεται στη φαντασίωση ενός μόνιμα σε εγρήγορση και απόλυτα ενημερωμένου χρήστη του δρόμου. Επιδιώκει να κάνει τα προβλέψιμα λάθη λιγότερο πιθανά και λιγότερο επώδυνα. Το ευρωπαϊκό πλαίσιο για τη διαχείριση της ασφάλειας των οδικών υποδομών αντανακλά αυτή τη συστημική θεώρηση μέσω επαναλαμβανόμενων διαδικασιών αξιολόγησης και επιθεώρησης, και όχι μέσω μιας μεμονωμένης δήλωσης ότι μια διαδρομή έχει εγκριθεί.
Ένα νοσοκομείο είναι διαφορετικό, αλλά και αυτό ζει με το χάσμα ανάμεσα σε μια καθαρή περιγραφή και μια μεταβαλλόμενη πραγματικότητα. Μια κλινική πορεία περιλαμβάνει ρόλους προσωπικού, παραδόσεις βάρδιας, αρχεία, εξοπλισμό, προτεραιότητες, διακοπές και ένα άτομο του οποίου η κατάσταση μπορεί να μην μοιάζει με τη μέση περίπτωση που διαμόρφωσε ένα πρωτόκολλο. Μια σύσταση μπορεί να είναι χρήσιμη και παρόλα αυτά ανεπαρκής. Μια προειδοποίηση μπορεί να είναι τεχνικά ορθή και παρόλα αυτά να φτάσει σε μια στιγμή που δεν μπορεί να εφαρμοστεί με ασφάλεια. Ένα σύστημα μπορεί να βελτιώσει ένα μέρος μιας ροής εργασίας ενώ δημιουργεί ένα νέο βάρος κάπου αλλού. Γι' αυτό η συζήτηση για την τεχνητή νοημοσύνη στην υγεία δεν μπορεί να σταματήσει στη φαινομενική απόδοση ενός μοντέλου. Πρέπει να περιλάβει τη διακυβέρνηση, την κλινική ευθύνη, την ποιότητα των δεδομένων, την εκπαίδευση, την εμπιστοσύνη του κοινού και τα μέσα για τον εντοπισμό και τη διόρθωση της βλάβης.
Ένα μοντέλο βρίσκεται μέσα στην ίδια λογική διάταξη. Εκπαιδεύεται ή διαμορφώνεται κάπου, συνδέεται με δεδομένα κάπου αλλού, λαμβάνει μια προτροπή ή μια εργασία από ένα άτομο, τοποθετείται πίσω από μια διεπαφή, παρακολουθείται από κάποιους ανθρώπους και όχι από άλλους. Παράγει ένα αποτέλεσμα, αλλά το αποτέλεσμα αποκτά συνέπειες μόνο όταν κάποιος το αντιμετωπίσει ως λόγο για δράση. Μεταξύ αποτελέσματος και δράσης παρεμβάλλονται κατώφλια, εξουσία, χρονική πίεση, πρόσβαση στο πρωτογενές υλικό, εκπαίδευση, κίνητρα και η δυνατότητα διαφωνίας. Αυτά δεν είναι διακοσμητικές λειτουργικές λεπτομέρειες. Καθορίζουν αν ένα τεχνικά ικανό στοιχείο παραμένει ένα ασφαλές στοιχείο του ευρύτερου συστήματος.
Θεωρήστε το παρακάτω ως ένα ρητά υποθετικό σύνθετο παράδειγμα, όχι ως περιγραφή ενός πραγματικού δρόμου, νοσοκομείου, ασθενούς, εργαζόμενου ή περιστατικού. Μια τοπική αρχή εξετάζει ένα σύστημα που επισημαίνει τοποθεσίες για επανεξέταση της οδικής ασφάλειας. Ένα νοσοκομείο εξετάζει ένα εργαλείο που βοηθά στη ταξινόμηση διοικητικών εγγράφων πριν τα δει το κλινικό προσωπικό. Ένας τρίτος οργανισμός εξετάζει ένα μοντέλο που συντάσσει μια σύνοψη κινδύνου για έναν διαχειριστή υποδομών. Σε κάθε περίπτωση, μια πρώιμη επίδειξη δείχνει ότι το σύστημα μπορεί να εντοπίσει μοτίβα σε υπάρχοντα αρχεία. Η επίδειξη δεν απαντά ακόμη αν τα αρχεία αντιπροσωπεύουν τις συνθήκες που θα αντιμετωπίσει η υπηρεσία τον επόμενο μήνα, αν μια ασυνήθιστη περίπτωση μπορεί να αναγνωριστεί, αν οι άνθρωποι που λαμβάνουν μια σύσταση έχουν αρκετό χρόνο και εξουσία να την αμφισβητήσουν, ή αν ο οργανισμός θα παρατηρήσει ένα επιβλαβές μοτίβο πριν γίνει συνήθης εργασία. Το πρόβλημα των αποδεικτικών στοιχείων ξεκινά ακριβώς εκεί.
Το εύκολο λάθος είναι να ζητήσει κανείς έναν μόνο αριθμό. Ποια είναι η ακρίβεια; Πόσο χρόνο θα εξοικονομήσει; Πόσους κινδύνους θα εντοπίσει; Αυτές οι ερωτήσεις είναι θεμιτές αλλά ελλιπείς. Ένας αριθμός χρειάζεται έναν παρονομαστή, ένα δείγμα, έναν ορισμό, μια ημερομηνία, μια προβλεπόμενη χρήση και μια δήλωση για το τι εξαιρέθηκε. Χρειάζεται επίσης μια σχέση με την επόμενη απόφαση. Μια υψηλή βαθμολογία σε μια στενή, σταθερή εργασία μπορεί να υποστηρίξει έναν στενό, σταθερό ισχυρισμό. Δεν μπορεί να εξουσιοδοτήσει σιωπηρά μια διαφορετική ροή εργασίας, έναν διαφορετικό πληθυσμό ή μια απόφαση με διαφορετικές συνέπειες.
Τα αποδεικτικά στοιχεία δεν είναι διακοσμητικό εξάρτημα
Τα στοιχεία αποκτούν χρησιμότητα όταν μπορούν να αλλάξουν τη γνώμη κάποιου. Αυτό ακούγεται προφανές, αλλά πολλά πακέτα στοιχείων φτιάχνονται για να δείχνουν πλήρη, παρά για να καθιστούν μια απόφαση αμφισβητήσιμη. Περιέχουν στιγμιότυπα οθόνης, δηλώσεις πολιτικής, περιλήψεις δοκιμών και υπογραφές, αλλά δεν δείχνουν ποιον ισχυρισμό υποστηρίζει κάθε στοιχείο, ποια προϋπόθεση περιορίζει τον ισχυρισμό ή τι θα πρέπει να συμβεί αν αλλάξει η προϋπόθεση. Το αποτέλεσμα είναι γραφειοκρατία με τελετουργικό ρόλο. Μπορεί να αποδείξει ότι πραγματοποιήθηκε μια συνάντηση. Δεν μπορεί απαραίτητα να πει σε έναν χειριστή τι να κάνει στις 07:40 όταν η υπηρεσία έχει φόρτο, τα δεδομένα καθυστερούν και μια σύσταση δεν ταιριάζει στην περίπτωση που έχει μπροστά του.
Καλύτερο σημείο εκκίνησης είναι μια ονομασμένη απόφαση. Όχι «ανάπτυξη τεχνητής νοημοσύνης με υπευθυνότητα» και όχι «βελτίωση της οδικής ασφάλειας», αλλά μια πρόταση με όριο. Για παράδειγμα: αυτό το σύστημα μπορεί να δώσει προτεραιότητα σε μια συγκεκριμένη κατηγορία εργασιών αναθεώρησης, σε ένα καθορισμένο επιχειρησιακό πλαίσιο, ενώ ένας ονομασμένος ρόλος παραμένει υπεύθυνος για την αποδοχή ή την απόρριψη της σύστασης. Ή: αυτός ο σχεδιασμός μπορεί να ανοίξει στην κυκλοφορία αφού οι εντοπισμένοι κίνδυνοι έχουν αξιολογηθεί μέσω της απαιτούμενης διαδικασίας και τα εντοπισμένα μέτρα ελέγχου έχουν τεθεί σε εφαρμογή. Η διατύπωση είναι σκόπιμα λιγότερο συναρπαστική από μια ανακοίνωση προϊόντος. Είναι ένα συμβόλαιο με την πραγματικότητα.
Μόλις ονομαστεί η απόφαση, το υπόλοιπο αρχείο έχει κάπου να προσδεθεί. Ο επιδιωκόμενος σκοπός λέει στον αναγνώστη τι να μην συνάγει. Το πλαίσιο του λέει ποια τοποθεσία, ροή εργασίας, χρήστες, δεδομένα, εξοπλισμός και περιβάλλουσα διαδικασία έχουν σημασία. Τα στοιχεία καταγράφουν δοκιμές, παρατηρήσεις, πηγαίο υλικό, αναθεωρήσεις και ασκήσεις. Οι παραδοχές καθιστούν ορατές τις εξαρτήσεις: ίσως ένας χειριστής έχει εκπαίδευση, ίσως ένα μητρώο πηγών είναι ενημερωμένο, ίσως μια συγκεκριμένη ειδοποίηση φτάνει σε έναν συγκεκριμένο ρόλο εγκαίρως. Ο ιδιοκτήτης προσδιορίζει ποιος μπορεί να ερμηνεύσει το υλικό και να παρέμβει. Τα ερεθίσματα αναθεώρησης αναφέρουν ποιο σήμα, ποια αλλαγή ή ποια αποτυχία μιας παραδοχής απαιτεί νέα εξέταση.
Αυτή η δομή έχει μια σημαντική συνέπεια. Εμποδίζει τα στοιχεία να απομακρύνονται από τη χρήση τους. Μια δοκιμή δεν αρχειοθετείται απλώς στην κατηγορία «επικύρωση». Συνδέεται με έναν ισχυρισμό για μια συγκεκριμένη συμπεριφορά υπό δηλωμένες προϋποθέσεις. Ένας έλεγχος δεν είναι απλώς απόδειξη ότι ένας ελεγκτής επισκέφθηκε τον οργανισμό. Γίνεται αρχείο του τι εξετάστηκε, τι βρέθηκε, τι παρέμεινε αβέβαιο και ποια εξουσία αποφάσισε τι θα γινόταν στη συνέχεια. Μια αξιολόγηση μοντέλου δεν είναι ένα γενικό σήμα ποιότητας. Είναι μια οριοθετημένη παρατήρηση της οποίας η συνάφεια εξαρτάται από την έκδοση του μοντέλου, την εργασία, τα δεδομένα, τη διαμόρφωση και τις συνθήκες ανάπτυξης.
Το ίδιο αρχείο θα πρέπει να καθιστά ορατή την απουσία. Αν κανείς δεν έχει δοκιμάσει ένα σύστημα με μια ασυνήθιστη αλλά σημαντική είσοδο, αυτό δεν είναι μια μικρή αμηχανία που πρέπει να κρυφτεί κάτω από έναν μέσο όρο. Είναι ένα όριο αποδεικτικών στοιχείων. Αν ένας άνθρωπος μπορεί τεχνικά να παρακάμψει μια σύσταση, αλλά δεν έχει τον χρόνο, την πρόσβαση ή την εξουσία να το κάνει στην πραγματική ροή εργασίας, αυτό δεν είναι ουσιαστική εποπτεία. Είναι ένα κενό σχεδιασμού. Αν μια επιθεώρηση οδικής ασφάλειας εντοπίσει μια επαναλαμβανόμενη κατάσταση, αλλά κανένας οργανισμός δεν έχει την ευθύνη για τις διορθωτικές εργασίες, η παρατήρηση δεν έχει γίνει ακόμη έλεγχος. Σε σοβαρά συστήματα, τα ελλιπή αποδεικτικά στοιχεία είναι ένα αποτέλεσμα. Λένε στον οργανισμό πού δεν μπορεί ακόμη να διατυπώσει έναν ισχυρισμό.
Η οδική ασφάλεια προσφέρει ένα πρακτικό μάθημα ταπεινότητας
Η οδική ασφάλεια έχει περάσει δεκαετίες μαθαίνοντας ότι η βλάβη σπάνια εξηγείται από έναν μόνο κακό παράγοντα ή ένα μόνο κακό εξάρτημα. Ο οδηγός που τρέχει πολύ γρήγορα, η διάβαση που είναι δύσκολο να διαβαστεί, το όχημα, ο καιρός, ο φωτισμός, η κατάσταση συντήρησης, η σύνθεση της κυκλοφορίας και η ανταπόκριση έκτακτης ανάγκης μπορεί να έχουν σημασία. Αυτό δεν διαλύει την ατομική ευθύνη. Αποτρέπει το επιφανειακό συμπέρασμα ότι κάθε αποτυχία μπορεί να διορθωθεί λέγοντας στους ανθρώπους να δίνουν περισσότερη προσοχή. Ένα σύστημα που λειτουργεί μόνο όταν κανείς δεν κάνει ένα προβλέψιμο λάθος δεν είναι ένα εντυπωσιακά αυστηρό σύστημα. Είναι ένα εύθραυστο.
Οι κανόνες διαχείρισης της ασφάλειας των οδικών υποδομών της ΕΕ προσφέρουν ένα χρήσιμο αντίβαρο στην ιδέα ότι η έγκριση είναι ένα μεμονωμένο γεγονός. Οργανώνουν τις εργασίες ασφάλειας γύρω από διαδικασίες που εξετάζουν τις μελλοντικές συνέπειες, τον σχεδιασμό, τη λειτουργία και το υπάρχον δίκτυο. Το ακριβές νομικό πεδίο έχει σημασία και οι κανόνες θα πρέπει να διαβάζονται ως νόμος για τις οδικές υποδομές και όχι ως γενικό πρότυπο για κάθε τεχνολογία. Ωστόσο, η υποκείμενη συνήθειά τους είναι γενικά πολύτιμη: επιθεωρήστε το σύστημα υπό τις συνθήκες στις οποίες θα λειτουργήσει, αναζητήστε μοτίβα αντί να περιμένετε ένα δραματικό γεγονός και αντιμετωπίστε τη γνώση ως λόγο για να προσαρμόσετε τη διάταξη.
Αυτή η συνήθεια δεν είναι απλώς «συλλέξτε περισσότερα δεδομένα». Τα δεδομένα χωρίς ερώτημα είναι ένας πολύ αποτελεσματικός τρόπος αποθήκευσης σύγχυσης. Το ερώτημα της οδικής ασφάλειας μπορεί να αφορά το πού μια διάβαση δημιουργεί σύγκρουση, ποιοι άνθρωποι εκτίθενται σε αυτήν, πόσο συχνά συμβαίνουν οι συνθήκες, τι είδους λάθος είναι προβλέψιμο, ποια φυσικά ή λειτουργικά μέτρα μειώνουν τον κίνδυνο και πώς θα γνωρίζει ο οργανισμός αν το μέτρο έχει αλλάξει την κατάσταση. Τα αποδεικτικά στοιχεία που έχουν σημασία είναι επομένως ανάμεικτα. Περιλαμβάνουν τις κυκλοφοριακές συνθήκες, τα αρχεία σχεδιασμού, τις παρατηρήσεις επιθεώρησης, τις πληροφορίες συντήρησης, τις αναφορές βλάβης και την επαγγελματική κρίση. Ένας χάρτης από μόνος του δεν μπορεί να στηρίξει τον ισχυρισμό. Ούτε ένα μόνο στατιστικό στοιχείο σύγκρουσης.
Υπάρχει ένα χρήσιμο σημείο ανθρώπινου παράγοντα εδώ. Το σύστημα πρέπει να σχεδιαστεί για τους ανθρώπους όπως είναι, όχι για έναν φανταστικό χρήστη που διαβάζει κάθε πινακίδα, κρίνει κάθε ταχύτητα τέλεια και δεν φτάνει ποτέ αποσπασμένος, κουρασμένος, άπειρος, βιαστικός, άρρωστος ή απλώς έκπληκτος. Αυτό δεν αποτελεί δικαιολογία για απρόσεκτη συμπεριφορά. Είναι μια αναγνώριση ότι η μηχανική ασφάλειας πρέπει να λειτουργεί στον χώρο μεταξύ πρόθεσης και πραγματικής ανθρώπινης ικανότητας. Όταν ένα σύστημα βασίζεται σε ένα άτομο για να παρατηρήσει, να κατανοήσει και να ενεργήσει, αυτά τα τρία βήματα χρειάζονται τα δικά τους αποδεικτικά στοιχεία. Μπορεί να φανεί το σήμα; Μπορεί να γίνει κατανοητό το νόημά του; Μπορεί το άτομο να ενεργήσει έγκαιρα και με επαρκή εξουσία;
Οι ομάδες τεχνητής νοημοσύνης συχνά το χάνουν αυτό επειδή ο άνθρωπος αναπαρίσταται ως ένα πλαίσιο στο τέλος ενός διαγράμματος ροής. Το πλαίσιο λέει «αξιολογητής», «χειριστής» ή «άνθρωπος στον βρόχο» και επομένως φαίνεται να λύνει το πρόβλημα. Αλλά ένας ρόλος δεν περιγράφει μια αλληλεπίδραση. Ένας χρήσιμος σχεδιασμός αξιολόγησης πρέπει να αναφέρει τι βλέπει το άτομο, τι δεν βλέπει, ποια αποδεικτικά στοιχεία μπορεί να εξετάσει, αν μπορεί να ζητήσει άλλη διαδρομή, πότε αναμένεται να διαφωνήσει, τι συμβαίνει μετά τη διαφωνία και πώς μαθαίνει ο οργανισμός από αυτήν. Αυτές οι ερωτήσεις είναι τόσο συνηθισμένες όσο ο έλεγχος του αν μια διάβαση μπορεί να χρησιμοποιηθεί με ασφάλεια στη βροχή ή στο σκοτάδι. Είναι επίσης πολύ πιο κατατοπιστικές από μια υπόσχεση ότι ένα άτομο παραμένει εμπλεκόμενο.
Ένα νοσοκομείο δεν μπορεί να εξαφανίσει την αβεβαιότητα
Η υγειονομική περίθαλψη καθιστά το πρόβλημα των αποδεικτικών στοιχείων ιδιαίτερα ορατό, επειδή οι συνέπειες είναι προσωπικές και το περιβάλλον είναι πολύπλοκο. Ένα χρήσιμο κλινικό ή διοικητικό σύστημα μπορεί να βοηθήσει το προσωπικό να βρει πληροφορίες, να μειώσει την επαναλαμβανόμενη εργασία, να παρατηρήσει ένα πιθανό μοτίβο ή να προετοιμάσει υλικό για ανασκόπηση. Αυτό δεν το μετατρέπει σε κλινική αυθεντία. Η μετάβαση από την πληροφορία στη θεραπεία, την προτεραιοποίηση ή την άρνηση περίθαλψης φέρει υποχρεώσεις που δεν μπορούν να ανατεθούν σε μια διεπαφή. Το άτομο που είναι υπεύθυνο για τη φροντίδα πρέπει να γνωρίζει τι έκανε το σύστημα, τι δεν έκανε και πώς να ανταποκριθεί όταν το αποτέλεσμα έρχεται σε σύγκρουση με τα διαθέσιμα στοιχεία της υπόθεσης.
Το έργο του ΠΟΥ/Ευρώπης για την τεχνητή νοημοσύνη στην υγεία πλαισιώνει το ζήτημα με το λεξιλόγιο που του αξίζει: ασφάλεια, αποτελεσματικότητα, ισότητα, ανθρώπινα δικαιώματα, διαφάνεια, λογοδοσία, διακυβέρνηση και ετοιμότητα του εργατικού δυναμικού. Το ζητούμενο δεν είναι να γίνει κάθε κλινικός εργαζόμενος ειδικός στη μηχανική μάθηση. Το ζητούμενο είναι ότι ένα σύστημα δεν μπορεί να χρησιμοποιηθεί υπεύθυνα αν οι άνθρωποι που αναμένεται να το εμπιστευτούν, να το εποπτεύσουν ή να το αμφισβητήσουν δεν έχουν μια χρησιμοποιήσιμη εικόνα των ορίων του. Η εκπαίδευση αποτελεί μέρος του περιβάλλοντος ελέγχου. Το ίδιο ισχύει για τις οδούς κλιμάκωσης, τις ρυθμίσεις ευθύνης, τα στοιχεία πραγματικής απόδοσης και έναν τρόπο για τους ασθενείς και τους επαγγελματίες να εκφράζουν ανησυχίες χωρίς να γίνουν πρώτα ειδικοί στην τεχνολογία.
Η Ευρωπαϊκή Επιτροπή εντάσσει επίσης την τεχνητή νοημοσύνη στην υγεία σε ένα ευρύτερο ρυθμιστικό και επιχειρησιακό πλαίσιο. Το υλικό της για τη δημόσια υγεία σημειώνει ότι το λογισμικό τεχνητής νοημοσύνης για ιατρικούς σκοπούς μπορεί να εμπίπτει στις απαιτήσεις υψηλού κινδύνου του AI Act, συμπεριλαμβανομένων του μετριασμού κινδύνου, της ποιότητας δεδομένων, της ενημέρωσης των χρηστών και της ανθρώπινης εποπτείας. Αυτό δεν αποτελεί ισχυρισμό ότι κάθε εργαλείο που χρησιμοποιείται σε ένα νοσοκομείο λαμβάνει την ίδια νομική ταξινόμηση. Είναι μια υπενθύμιση ότι η λέξη «υγεία» δεν απαλύνει την ανάγκη για προσεκτική ανάλυση του επιδιωκόμενου σκοπού. Όσο πιο σημαντική είναι η χρήση, τόσο λιγότερο αξιόπιστη είναι η εξάρτηση από γενικές διαβεβαιώσεις.
Η κλινική πρακτική δείχνει επίσης γιατί τα όρια παρέμβασης θα πρέπει να είναι σαφή. Ένα σύστημα μπορεί να επιτρέπεται να ανακτά μια πηγή, να προετοιμάζει μια σύνοψη, να επισημαίνει ένα πεδίο που λείπει ή να προτείνει ότι μια υπόθεση αξίζει προσοχή. Αυτές είναι διαφορετικές ενέργειες. Κάθε μία προχωρά λίγο πιο μακριά από την πληροφορία προς την επιρροή. Σε κάποιο σημείο, ένα σύστημα μπορεί να επιτραπεί να κάνει ένα περιορισμένο επιχειρησιακό βήμα, ίσως με κανόνες που περιορίζουν το εύρος και ένα αρχείο που καθιστά το βήμα αναστρέψιμο. Πέρα από αυτό το σημείο, μπορεί να του ζητηθεί να ενεργήσει χωρίς ταυτόχρονη ανθρώπινη απόφαση. Τα αποδεικτικά στοιχεία, η αυθεντία και ο σχεδιασμός ανάκαμψης που απαιτούνται σε αυτά τα επίπεδα δεν είναι εναλλάξιμα.
Αυτό δεν καθιστά τον αυτοματισμό αδύνατο. Καθιστά τους ισχυρισμούς αναλογικούς. Ένας οργανισμός μπορεί να επιλέξει ένα μέτριο, καλά οριοθετημένο έργο και να το καταστήσει αξιόπιστο πριν φανταστεί ένα ευρύτερο. Μπορεί να διατηρεί διαθέσιμο το υλικό της πηγής αντί να μετατρέπει μια σύνοψη στο μοναδικό αρχείο. Μπορεί να δώσει σε έναν κλινικό ή άλλο υπεύθυνο εργαζόμενο ένα πραγματικό μέσο να σταματήσει το σύστημα, όχι ένα θεωρητικό κουμπί κρυμμένο σε ένα εγχειρίδιο πολιτικής. Μπορεί να παρακολουθεί τι συμβαίνει μετά την ανάπτυξη και να αντιμετωπίζει την απροσδόκητη συμπεριφορά ως απόδειξη ότι το αρχικό επιχείρημα χρειάζεται αναθεώρηση. Αυτό είναι πιο αργό από το να δηλώσει κανείς ότι το μοντέλο έχει αναλάβει τον έλεγχο. Είναι γενικά πιο γρήγορο από το να προσπαθεί να ανασυνθέσει μια απόφαση αφού η εμπιστοσύνη έχει ήδη χαθεί.
Το μοντέλο δεν είναι ολόκληρο το σύστημα
Ο AI Act έχει εδώ μεγάλη αξία, επειδή στις διατάξεις του για τον υψηλό κίνδυνο αρνείται να αντιμετωπίσει το μοντέλο ως το μόνο σχετικό αντικείμενο. Το άρθρο 9 ορίζει μια τεκμηριωμένη, διατηρούμενη και συνεχή επαναληπτική διαδικασία διαχείρισης κινδύνου. Το άρθρο 10 αφορά τα δεδομένα και τη διακυβέρνηση δεδομένων. Το άρθρο 11 και το παράρτημα IV αφορούν την τεχνική τεκμηρίωση. Το άρθρο 12 αφορά την αυτόματη καταγραφή σχετικών συμβάντων. Το άρθρο 14 αφορά την αποτελεσματική ανθρώπινη εποπτεία, συμπεριλαμβανομένης της ικανότητας κατανόησης των σχετικών ορίων, της αντικατάστασης ή αντιστροφής της εξόδου όπου ενδείκνυται και της ασφαλούς διακοπής του συστήματος. Το άρθρο 15 αφορά την ακρίβεια, την ευρωστία και την κυβερνοασφάλεια. Αυτές δεν είναι εναλλάξιμες κατηγορίες γραφειοκρατίας. Μαζί υποδεικνύουν ένα σύστημα που πρέπει να γίνει κατανοητό σε όλο τον κύκλο ζωής του.
Ο νόμος δεν διατυπώνει τεχνική κρίση για κάθε οργανισμό. Δεν ανακοινώνει ότι ένα συγκεκριμένο μέτρο απόδοσης αρκεί, ούτε καθιστά έναν χειριστή ικανό με το να τον αναφέρει σε ένα έγγραφο. Κάνει κάτι πιο απαιτητικό. Απαιτεί έναν τρόπο σύνδεσης του επιδιωκόμενου σκοπού, του κινδύνου, της τεκμηρίωσης, των αρχείων, της ανθρώπινης εποπτείας και της συνεχούς παρακολούθησης. Αυτή η σύνδεση είναι ακριβώς ό,τι χάνεται όταν ένα έργο τεχνητής νοημοσύνης περιγράφεται ως απόκτηση μοντέλου και όχι ως λειτουργική αλλαγή.
Πάρτε τον κοινό ισχυρισμό ότι ένας άνθρωπος μπορεί να αντικαταστήσει το μοντέλο. Να αντικαταστήσει τι, ακριβώς; Μια πιθανότητα, μια κατάταξη, μια παραγόμενη παράγραφο, μια απόφαση δρομολόγησης, μια αυτόματη ειδοποίηση, μια κατανομή πόρων ή μια φυσική ενέργεια; Πριν ή αφού τεθεί σε ισχύ; Με ποιες πληροφορίες; Υπό ποιο χρονικό περιορισμό; Βλέπει ο άνθρωπος γιατί το σύστημα κατέληξε σε αυτή την έξοδο ή απλώς ότι κατέληξε; Υπάρχουν συνέπειες για τη διαφωνία; Καταγράφεται η διαφωνία; Εξετάζεται ως πιθανό πρόβλημα μοντέλου, δεδομένων ή ροής εργασίας; Μια ειλικρινής απάντηση σε αυτές τις ερωτήσεις είναι πιο καθησυχαστική από μια λαμπερή διαβεβαίωση, επειδή περιγράφει έναν έλεγχο που μπορεί πραγματικά να ασκηθεί.
Η ανθρώπινη εποπτεία αντιμετωπίζεται μερικές φορές ως ηθικό εξάρτημα: προσθέστε ένα άτομο στη διαδικασία και το σύστημα γίνεται ανθρώπινο. Είναι καλύτερο να την κατανοήσουμε ως σχέση μηχανικής. Το άτομο χρειάζεται μια ουσιαστική ευκαιρία να εντοπίσει έναν περιορισμό, την εξουσία να παρέμβει, μια ενέργεια που αλλάζει το αποτέλεσμα και μια κατάσταση συστήματος που παραμένει ασφαλής όταν συμβεί η παρέμβαση. Ένας αναθεωρητής χωρίς εξουσία είναι μάρτυρας. Ένας αναθεωρητής που βλέπει μια έξοδο μόνο αφού έχει καταστεί μη αναστρέψιμη είναι ελεγκτής μιας απόφασης που έχει ήδη ληφθεί. Καμία από τις δύο ρυθμίσεις δεν ισοδυναμεί με εποπτεία.
Τα αποδεικτικά στοιχεία θα πρέπει επομένως να αυξάνονται όσο αυξάνονται η διακριτική ευχέρεια και η μη αναστρεψιμότητα. Ένα εργαλείο ανάκτησης που βοηθά έναν επαγγελματία να βρει πηγαίο υλικό έχει ένα είδος βάρους αποδεικτικών στοιχείων. Ένα σύστημα που κατατάσσει εργασία για προσοχή έχει άλλο, επειδή η κατάταξη διαμορφώνει τι μπορεί να ιδωθεί αργά ή και καθόλου. Ένα περιορισμένο σύστημα που εκτελεί αυτόματα μια λειτουργική εργασία χρειάζεται σαφή όρια, παρακολούθηση και διαδρομή ανάκαμψης. Ένα σύστημα που ενεργεί χωρίς ζωντανή απόφαση χρειάζεται την αυστηρότερη περίπτωση: στενό σκοπό, αποδεικτικά στοιχεία για το πλαίσιο λειτουργίας, συμπεριφορά ασφαλούς αστοχίας, ανεξάρτητη αμφισβήτηση όπου ενδείκνυται, σαφή ιδιοκτησία και συνεχή επανεξέταση. Ο χαρακτηρισμός είναι λιγότερο σημαντικός από την αρχή. Περισσότερη αυτονομία είναι ένας μεγαλύτερος ισχυρισμός, όχι μια αναβάθμιση μάρκετινγκ.
Τα όρια παρέμβασης εμποδίζουν ένα χρήσιμο εργαλείο να γίνει μια απόφαση χωρίς ιδιοκτήτη
Ένα όριο παρέμβασης είναι μια πρακτική απάντηση σε ένα πρακτικό ερώτημα: πότε επιτρέπεται στο σύστημα να αναλάβει δράση και πότε πρέπει να επιστρέψει το θέμα στον άνθρωπο; Θα πρέπει να είναι ορατό πριν από την ανάπτυξη, όχι να ανακαλύπτεται μέσω ενός παραπόνου. Ένα όριο μπορεί να εξαρτάται από τη βεβαιότητα, αλλά η βεβαιότητα από μόνη της δεν αρκεί. Μπορεί να εξαρτάται από το είδος της απόφασης, τις συνέπειες ενός σφάλματος, την ποιότητα και την επικαιρότητα των δεδομένων, την ύπαρξη αντικρουόμενων τεκμηρίων, τη διαθεσιμότητα ενός αρμόδιου ατόμου, τη δυνατότητα επαναφοράς και τον βαθμό στον οποίο η υπόθεση εμπίπτει στον δηλωμένο σκοπό.
Τα όρια δεν αποτελούν απόδειξη ότι ένα σύστημα είναι ασφαλές. Είναι ένας τρόπος να αποτραπεί το σύστημα από το να διεκδικεί μεγαλύτερη εξουσία από όση μπορούν να υποστηρίξουν τα τεκμήριά του. Ένα μοντέλο μπορεί να συνοψίσει ένα αρχείο αλλά όχι να αξιολογήσει την πληρότητά του. Μπορεί να αναγνωρίσει έναν όρο αλλά όχι να προσδιορίσει τη νομική του σημασία. Μπορεί να παράγει μια εύλογη εξήγηση αλλά όχι να αποδείξει την αλήθεια της εξήγησης. Μπορεί να αναγνωρίσει ένα συνήθη τύπο και να είναι ωστόσο ακατάλληλο για ασυνήθιστες περιπτώσεις, αντικρουόμενες πηγές ή καταστάσεις όπου ένα μικρό σφάλμα θα ήταν δύσκολο να αναστραφεί. Το όριο είναι το σημείο όπου ο οργανισμός μετατρέπει αυτές τις διακρίσεις σε συμπεριφορά.
Για μια οδική αρχή, ένα όριο μπορεί να ορίζει ότι ένας συνδυασμός πορισμάτων επιθεώρησης και καθορισμένων δεικτών κινδύνου οδηγεί σε επίσημη επανεξέταση, ενώ ένας διαφορετικός συνδυασμός απαιτεί επείγον προσωρινό μέτρο. Τα ακριβή κριτήρια ανήκουν στο σχετικό νομικό και επαγγελματικό πλαίσιο. Η μεταφερόμενη ιδέα είναι ότι η διαδρομή από την παρατήρηση στην παρέμβαση δεν θα πρέπει να εξαρτάται αποκλειστικά από το ποιος τυχαίνει να είναι σε υπηρεσία ή ποια ανησυχία είναι πιο έντονα χαραγμένη στη μνήμη στη σύσκεψη. Τα τεκμήρια δεν αντικαθιστούν την επαγγελματική κρίση. Δίνουν στην κρίση ένα κοινό αρχείο και μια επαναλήψιμη διαδρομή.
Για ένα νοσοκομείο, ένα όριο μπορεί να διακρίνει μεταξύ ενός εργαλείου που προετοιμάζει υλικό για επανεξέταση και ενός συστήματος που μπορεί να εκτελέσει μια περιορισμένη διοικητική ενέργεια. Το δεύτερο χρειάζεται σαφές αρχείο του πεδίου εφαρμογής του, τρόπο ανίχνευσης μιας εξαίρεσης, καθορισμένο υπεύθυνο για την εξαίρεση και τρόπο επαναφοράς της προηγούμενης κατάστασης αν η ενέργεια ήταν λανθασμένη. Αν το σύστημα αγγίζει μια κλινικά ουσιώδη απόφαση, το όριο πρέπει να λαμβάνει υπόψη τις σχετικές κλινικές, νομικές και επαγγελματικές υποχρεώσεις. Το υπεύθυνο άτομο δεν πρέπει να καλείται να επιδιορθώσει ένα αδιαφανές αποτέλεσμα αυτοματοποίησης χωρίς ίχνος πηγής και χωρίς χρόνο να το εξετάσει.
Σε ένα σύστημα τεχνητής νοημοσύνης για υποδομές, ένα κατώφλι μπορεί να διαχωρίζει μια πρόβλεψη από μια ενέργεια ελέγχου. Μια πρόβλεψη μπορεί να ειδοποιήσει έναν χειριστή για μια κατάσταση που αξίζει να ελεγχθεί. Μια ενέργεια ελέγχου μπορεί να μεταβάλει μια φυσική ή λειτουργική κατάσταση. Ο δεύτερος ισχυρισμός απαιτεί πολύ ισχυρότερη τεκμηρίωση για την ποιότητα των δεδομένων εισόδου, τα όρια του συστήματος, τις περιβαλλοντικές συνθήκες, την παρακολούθηση, την εξουσιοδότηση, την επαναφορά και την ανάκαμψη. Αυτό δεν είναι γραφειοκρατία που επιβλήθηκε για να απογοητεύσει τους μηχανικούς. Είναι η μηχανική περιγραφή του τι συμβαίνει όταν το κόστος ενός λάθους δεν είναι μια απογοητευτική απάντηση σε ένα παράθυρο συνομιλίας.
Το πιο χρήσιμο κατώφλι είναι συχνά το κατώφλι άρνησης. Τι θα πρέπει να κάνει το σύστημα να αρνηθεί να ενεργήσει; Ποιο στοιχείο που λείπει, ποια σύγκρουση, ποια καθυστερημένη εγγραφή, ποια συνθήκη εκτός κατανομής, ποιος μη διαθέσιμος αξιολογητής ή ποια μη δοκιμασμένη αλλαγή θα πρέπει να ενεργοποιήσει μια ασφαλή παύση; Οι οργανισμοί τείνουν να περιγράφουν τι ελπίζουν ότι θα κάνει το σύστημά τους. Είναι λιγότερο πρόθυμοι να καταγράψουν πότε πρέπει να σταματήσει. Ωστόσο, η συμπεριφορά διακοπής ενός συστήματος αποκαλύπτει συχνά περισσότερα για την ωριμότητά του από ό,τι η συμπεριφορά επίδειξης. Η ικανότητα να πει κανείς «αυτή η περίπτωση είναι εκτός των αποδεικτικών στοιχείων» δεν είναι ελάττωμα. Είναι απόδειξη ότι το όριο υπάρχει.
Οι ανθρώπινοι παράγοντες αποτελούν μέρος των αποδεικτικών στοιχείων, όχι υποσημείωση
Οι ανθρώπινοι παράγοντες μερικές φορές περιορίζονται στην παρατήρηση ότι οι άνθρωποι είναι επιρρεπείς σε λάθη. Αυτό είναι αλήθεια, αλλά δεν είναι πολύ χρήσιμο από μόνο του. Το μηχανικό ζήτημα είναι πώς οργανώνεται η εργασία γύρω από την πραγματική ανθρώπινη προσοχή, μνήμη, αντίληψη, φόρτο εργασίας, επικοινωνία και εξουσιοδότηση. Μια προειδοποίηση που δεν μπορεί να γίνει αντιληπτή δεν είναι προειδοποίηση. Μια περίπλοκη εξήγηση που δεν μπορεί να γίνει κατανοητή υπό πίεση χρόνου δεν είναι ουσιαστική διαφάνεια. Ένα χειριστήριο διακοπής που χρειάζεται έγκριση από κάποιον που δεν είναι διαθέσιμος δεν είναι χειριστήριο διακοπής. Μια οθόνη αναθεώρησης που κρύβει το υποκείμενο αρχείο δεν είναι επιφάνεια αποδεικτικών στοιχείων.
Ο σχεδιασμός δρόμων το καθιστά συγκεκριμένο. Οι άνθρωποι κινούνται σε ένα φυσικό περιβάλλον με περιορισμένο χρόνο για να δουν, να ερμηνεύσουν και να ενεργήσουν. Το σύστημα δεν μπορεί να αξιολογηθεί μόνο περιγράφοντας τα προβλεπόμενα σήματά του. Πρέπει να αξιολογηθεί εξετάζοντας αν οι σχετικοί άνθρωποι μπορούν να τα χρησιμοποιήσουν στο πραγματικό περιβάλλον. Η υγειονομική περίθαλψη κάνει το ίδιο σημείο με διαφορετικό τρόπο. Ο αναγνώστης μιας ειδοποίησης ή σύστασης μπορεί να διακοπεί, να διαχειρίζεται ανταγωνιστικές προτεραιότητες, να καλύπτει έναν συνάδελφο ή να αντιμετωπίζει μια περίπτωση που δεν ταιριάζει απόλυτα στη διαδικασία. Η τεχνητή νοημοσύνη προσθέτει άλλο ένα επίπεδο, επειδή μια άνετη έξοδος μπορεί να δημιουργήσει μια ψευδή εντύπωση ότι το σύστημα έχει σταθμίσει αποδεικτικά στοιχεία που απλώς επανέλαβε.
Η απάντηση δεν είναι να απαιτηθεί υπεράνθρωπη συγκέντρωση. Είναι να σχεδιαστεί και να δοκιμαστεί η παράδοση. Τι δείχνει πρώτα το σύστημα; Ποια πηγή μπορεί να επιθεωρήσει το άτομο; Πώς εκφράζει την αβεβαιότητα; Μπορεί το άτομο να ζητήσει διαφορετική διαδρομή; Η διεπαφή διακρίνει ένα επιβεβαιωμένο αρχείο από ένα συμπέρασμα; Μπορούν να καταλάβουν αν άλλαξε το μοντέλο, η πηγή δεδομένων, ο κανόνας ή η διαμόρφωση; Τι συμβαίνει με τα σχόλια; Αυτά είναι εμπειρικά και οργανωτικά ερωτήματα. Αξίζουν ασκήσεις, παρατήρηση, έρευνα χρηστών και αναθεώρηση μετά την ανάπτυξη, όχι μόνο μια δήλωση ότι η διεπαφή σχεδιάστηκε με γνώμονα τον χρήστη.
Ένα υπεύθυνο αρχείο αποδεικτικών στοιχείων θα πρέπει να αποτυπώνει την ανθρώπινη διευθέτηση χωρίς να μετατρέπεται σε φάκελο για μεμονωμένους εργαζόμενους. Μπορεί να καταγράφει ρόλο, εξουσιοδότηση, απαίτηση εκπαίδευσης, αναμενόμενη παρέμβαση, διαθέσιμο χρόνο, επιφάνεια πληροφοριών, διαδρομή κλιμάκωσης και αποτέλεσμα άσκησης. Μπορεί να καταγράφει ότι μια διαδικασία δοκιμάστηκε υπό ένα δηλωμένο σενάριο χωρίς να προσποιείται ότι το σενάριο αποδεικνύει κάθε μελλοντική συνθήκη. Μπορεί να διατηρήσει ένα ίχνος αποφάσεων χωρίς να χρησιμοποιεί την παρακολούθηση ως δικαιολογία για περιττή επιτήρηση. Αυτές οι ισορροπίες είναι δύσκολες. Εξακολουθούν να αντιμετωπίζονται καλύτερα ανοιχτά παρά να αφήνονται σε μια αόριστη οδηγία ότι οι άνθρωποι θα πρέπει να «χρησιμοποιούν την κρίση τους».
Το ολλανδικό ένστικτο να καθιστούν τα περίπλοκα συστήματα ευανάγνωστα έχει χρήσιμη θέση εδώ. Ένας κόμβος ποδηλατόδρομων, ένα δημόσιο μητρώο ή μια καλά επισημασμένη διαδικασία δεν γίνεται καλό μόνο επειδή είναι σαφές, αλλά η σαφήνεια επιτρέπει στους ανθρώπους να δουν πού βρίσκεται η ευθύνη. Η χρηστή διακυβέρνηση έχει παρόμοια σεμνότητα. Δεν υπόσχεται ότι δεν θα προκύψει καμία δύσκολη κρίση. Καθιστά ορατή τη διαδρομή για τη δύσκολη κρίση πριν από την ημέρα που θα χρειαστεί. Δεν υπάρχει τελετή κοπής κορδέλας για μια καλά καθορισμένη διαδρομή κλιμάκωσης, και ίσως γι' αυτό συχνά αφήνεται για αργότερα.
Τα αποδεικτικά στοιχεία έχουν ημερομηνία λήξης
Το πιο δύσκολο μέρος της εργασίας που βασίζεται σε αποδεικτικά στοιχεία είναι να αποδεχθεί κανείς ότι τα χθεσινά αποδεικτικά στοιχεία μπορεί να είναι ακριβή και παρόλα αυτά να μην επαρκούν πλέον. Ένα μοντέλο αλλάζει. Μια πηγή δεδομένων αλλάζει. Ένας προμηθευτής αλλάζει ένα εξάρτημα. Μια ροή εργασίας αναδιοργανώνεται. Μια νέα ομάδα ανθρώπων χρησιμοποιεί την υπηρεσία. Ένας δρόμος τροποποιείται, συντηρείται διαφορετικά ή εκτίθεται σε διαφορετικό μοτίβο κυκλοφορίας. Ένα νοσοκομείο αλλάζει προσωπικό, λογισμικό, διαδικασίες διαλογής ή αρχεία. Η αρχική δοκιμή μπορεί να παραμείνει έγκυρη ως ιστορική παρατήρηση, αλλά ο ισχυρισμός που βασίστηκε σε αυτήν μπορεί να χρειάζεται διαφορετικό όριο.
Γι' αυτό το ιστορικό εκδόσεων δεν είναι διοικητική λεπτομέρεια. Ένας αναγνώστης που δεν μπορεί να προσδιορίσει ποια έκδοση ενός μοντέλου, μιας διαμόρφωσης, μιας πηγής δεδομένων, μιας πολιτικής ή μιας διεπαφής παρήγαγε ένα αποτέλεσμα, δεν μπορεί να ανασυνθέσει τις συνθήκες της απόφασης. Μια ομάδα που δεν καταγράφει τις ουσιώδεις αλλαγές δεν μπορεί να διακρίνει ένα νέο πρόβλημα από ένα παλιό. Ένας οργανισμός που αντιμετωπίζει την κυκλοφορία ως το τέλος της διασφάλισης θα πρέπει τελικά να ανακαλύψει εκ νέου γιατί η εμπιστοσύνη του ήταν δικαιολογημένη, ακριβώς τη στιγμή που η απάντηση έχει τη μεγαλύτερη σημασία.
Η παρακολούθηση μετά τη διάθεση στην αγορά βάσει του AI Act αναγνωρίζει αυτή την πραγματικότητα του κύκλου ζωής για συστήματα υψηλού κινδύνου. Η απαίτηση δεν είναι υπόσχεση ότι η παρακολούθηση εξαλείφει την αβεβαιότητα. Είναι μια αναγνώριση ότι οι πληροφορίες φτάνουν μετά την ανάπτυξη και πρέπει να έχουν μια διαδρομή επιστροφής στη διαχείριση κινδύνου. Το αντίστοιχο μάθημα στην οδική ασφάλεια είναι γνωστό: τα συστήματα θα πρέπει να επιθεωρούνται και να αξιολογούνται καθώς λειτουργούν, αντί να θεωρείται ότι παραμένουν ασφαλή επειδή κάποτε πληρούσαν μια απαίτηση σχεδιασμού. Στην υγεία, η χρήση στον πραγματικό κόσμο, η εμπειρία του προσωπικού, ο αντίκτυπος στους ασθενείς και οι ρυθμίσεις διακυβέρνησης έχουν σημασία παράλληλα με οποιαδήποτε αξιολόγηση πριν από την ανάπτυξη.
Ένα έναυσμα επανεξέτασης θα πρέπει να είναι αρκετά συγκεκριμένο για να χρησιμοποιηθεί. Το «επανεξέταση περιοδικά» είναι ένας ευγενικός τρόπος να ζητάμε από τους μελλοντικούς συναδέλφους να μαντέψουν. Ένα καλύτερο έναυσμα κατονομάζει το ουσιώδες γεγονός: μια νέα έκδοση μοντέλου, μια αλλαγή σε μια πηγή εισόδου, μια νέα τοποθεσία ανάπτυξης, μια αλλαγμένη ομάδα χρηστών, μια ανεπίλυτη απόκλιση, ένα μοτίβο παραπόνων, ένα σήμα ασφάλειας, μια αδυναμία εκτέλεσης ενός βήματος εποπτείας ή μια αλλαγή στην αρχή που κατέχει την απόφαση. Η λίστα θα είναι διαφορετική για κάθε σύστημα. Αυτό που έχει σημασία είναι ότι το αρχικό επιχείρημα κατονομάζει τις συνθήκες που θα μπορούσαν να το καταστήσουν ξεπερασμένο.
Αυτό αλλάζει επίσης τη σημασία του αρχείου καταγραφής ελέγχου. Ένα αρχείο καταγραφής ελέγχου δεν θα πρέπει να είναι μια αποθήκη γεμάτη συμβάντα που κανείς δεν μπορεί να ερμηνεύσει. Θα πρέπει να είναι μια διαδρομή μέσα από την ιστορία του συστήματος. Ποιος ισχυρισμός ίσχυε; Ποια αποδεικτικά στοιχεία τον υποστήριζαν εκείνη τη στιγμή; Ποια έκδοση παρήγαγε το αποτέλεσμα; Ποιο άτομο ή ρόλος προέβη στην κρίσιμη ενέργεια; Τι συνέβη όταν το σύστημα αμφισβητήθηκε; Ποιο ζήτημα επιλύθηκε και ποιο παρέμεινε ανοιχτό; Το αρχείο θα πρέπει να είναι αναλογικό. Θα πρέπει επίσης να μπορεί να απαντήσει σε ένα πραγματικό ερώτημα χωρίς να απαιτεί μια ηρωική αρχαιολογική αποστολή μέσα από αρχεία καταγραφής εφαρμογών.
Πώς ακούγεται ένα σοβαρό ερώτημα αποδεικτικών στοιχείων
Όταν ένας οργανισμός αξιολογεί ένα σύστημα κρίσιμο για την ασφάλεια, το χρήσιμο ερώτημα σπάνια είναι «λειτουργεί;». Λειτουργεί για ποιον, με ποιο σκοπό, υπό ποιες συνθήκες, σε σύγκριση με τι, και με ποια συνέπεια αν αποτύχει; Αυτά τα ερωτήματα μπορεί να φαίνονται αργά επειδή αποτρέπουν ένα εύκολο ναι. Είναι επίσης τα ερωτήματα που κάνουν ένα μεταγενέστερο ναι να αξίζει κάτι.
Μια καλή αξιολόγηση ζητά λοιπόν μια αλυσίδα και όχι μια συλλογή. Ζητά από την ομάδα να κατονομάσει τον επιδιωκόμενο σκοπό και την απόφαση που έπεται. Ζητά να προσδιοριστούν οι σχετικές βλάβες και οι τρόποι αστοχίας. Ζητά ποια στοιχεία στηρίζουν κάθε ουσιώδη ισχυρισμό και τι δεν δείχνουν αυτά τα στοιχεία. Ζητά ποιες παραδοχές πρέπει να παραμείνουν αληθείς. Ζητά ποιος έχει την εξουσία να εποπτεύει, να παρακάμπτει, να διακόπτει και να επισκευάζει. Ζητά πώς συμπεριφέρεται το σύστημα όταν λείπουν στοιχεία ή όταν η περίπτωση είναι εκτός πεδίου εφαρμογής. Ζητά τι θα παρακολουθείται μετά τη διάθεση και ποια αλλαγή ενεργοποιεί την επαναξιολόγηση.
Δεν υπάρχει μια καθολική βαθμολογία που ολοκληρώνει αυτή την άσκηση. Ο δρόμος έχει το ένα πλαίσιο, το νοσοκομείο το άλλο, το μοντέλο ένα τρίτο. Ένα καλά σχεδιασμένο μικρό σύστημα μπορεί να έχει ισχυρότερη τεκμηρίωση από ένα ευρύ σύστημα που έχει περιγραφεί με μεγαλύτερη βεβαιότητα. Ένας στενός ισχυρισμός με σαφή όρια δεν είναι αδύναμος ισχυρισμός. Είναι η αρχή ενός έντιμου ισχυρισμού.
Γι' αυτό και οι σελίδες έρευνάς μας περιγράφουν ρητές ερωτήσεις, όρια τεκμηρίωσης και κατάσταση πρόσβασης, αντί να παρουσιάζουν το ερευνητικό υλικό ως ολοκληρωμένη δυνατότητα εξ ορισμού. Η μέθοδος είναι μετρημένη: να εντοπίζεται η ερώτηση, να γίνεται ορατό το όριο της τεκμηρίωσης και να παραμένει ευανάγνωστη η κατάσταση δημοσίευσης. Δεν αποδεικνύει ότι ένα προϊόν είναι κατάλληλο για μια συγκεκριμένη ανάπτυξη και δεν υποκαθιστά τη διασφάλιση που αφορά συγκεκριμένο τομέα. Παραμένει ωστόσο μια χρήσιμη συνήθεια. Αν ένας οργανισμός δεν μπορεί να πει τι στηρίζουν τα στοιχεία του, τι δεν στηρίζουν και ποιος μπορεί να τα αμφισβητήσει, δεν έχει κερδίσει ακόμη έναν ισχυρότερο ισχυρισμό.
Ένας δρόμος, ένα νοσοκομείο και ένα μοντέλο μοιράζονται πάντως ένα πρόβλημα. Το καθένα χρειάζεται έναν τρόπο να μετατρέπει τη γνώση σε δράση χωρίς να αποκρύπτει τις συνθήκες υπό τις οποίες η δράση αυτή δικαιολογείται. Η απάντηση δεν είναι ένα τελετουργικό αρχείο, μια μέση βαθμολογία ή ένα κουμπί με την ένδειξη ανθρώπινη εποπτεία. Είναι μια πρακτική τεκμηρίωσης που παραμένει συνδεδεμένη με τον σκοπό, τους ανθρώπους, την εξουσία και την αλλαγή. Αυτή η δουλειά δεν είναι εντυπωσιακή. Είναι ο τρόπος με τον οποίο ένα σύστημα καθίσταται υπόλογο προτού χρειαστεί να γίνει εξηγήσιμο.
Πηγές
- Κανονισμός (ΕΕ) 2024/1689, ο νόμος για την τεχνητή νοημοσύνη, EUR-Lex
- Οδηγία 2008/96/ΕΚ για τη διαχείριση της ασφάλειας των οδικών υποδομών, EUR-Lex
- Πολιτική οδικής ασφάλειας, Ευρωπαϊκή Επιτροπή
- Η τεχνητή νοημοσύνη αναδιαμορφώνει τα συστήματα υγείας: κατάσταση ετοιμότητας στην Ευρωπαϊκή Περιφέρεια του ΠΟΥ, ΠΟΥ/Ευρώπη
- Τεχνητή νοημοσύνη στην υγειονομική περίθαλψη, Ευρωπαϊκή Επιτροπή
- Ερευνητικό πρόγραμμα Dweve