Τι θεωρείται αποδεικτικό στοιχείο όταν η μηχανή είναι πιθανοτική;
Η πιθανότητα δεν είναι ετυμηγορία
Όταν μια μηχανή επιστρέφει 0,87, η πρώτη ερώτηση είναι συνήθως πολύ μικρή. Οι άνθρωποι ρωτούν αν το 0,87 είναι υψηλό. Υψηλό σε σύγκριση με τι, για ποιο αποτέλεσμα, σε ποιες περιπτώσεις και για ποια απόφαση; Ένας αριθμός που τυπώνεται δίπλα σε ένα αποτέλεσμα μοιάζει με ιδιότητα αυτού του αποτελέσματος. Συχνά δεν είναι. Είναι μια προσπάθεια να περιγραφεί μια σχέση ανάμεσα σε ένα μοντέλο, έναν καθορισμένο πληθυσμό περιπτώσεων και ένα αποτέλεσμα που παρατηρείται με την πάροδο του χρόνου. Αυτή η σχέση μπορεί να είναι χρήσιμη. Μπορεί να καθοδηγήσει μια ουρά ελέγχου, να θέσει ένα όριο ή να πει σε έναν χειριστή πότε ένα αποτέλεσμα αξίζει μια δεύτερη ματιά. Αλλά δεν μετατρέπει μια μεμονωμένη πρόβλεψη σε γεγονός με δεκαδικό ψηφίο.
Αυτό είναι το δύσκολο σημείο στο κέντρο των πιθανοτικών συστημάτων. Τα αποτελέσματά τους είναι συχνά πιο κατατοπιστικά από μια απλή ετικέτα, επειδή μπορούν να εκφράσουν βαθμούς υποστήριξης ή αβεβαιότητας. Είναι επίσης πιο εύκολο να υπερερμηνευτούν. Μια βαθμολογία μπορεί να αντιμετωπιστεί ως κατάθεση μάρτυρα, νομικό συμπέρασμα, διάγνωση ή άδεια. Δεν είναι κανένα από αυτά από προεπιλογή. Τα στοιχεία αρχίζουν όταν ο οργανισμός μπορεί να πει τι αντιπροσωπεύει ο αριθμός, πώς ελέγχθηκε, πού ισχύει αυτός ο έλεγχος και ποια ενέργεια επιτρέπεται να αλλάξει ο αριθμός.
Αυτή η διάκριση έχει σημασία πολύ πριν ένα σύστημα συναντήσει μια ρυθμιστική αρχή. Μια ομάδα μπορεί να αποφασίζει αν ένα προτεινόμενο έγγραφο χρειάζεται ανθρώπινο έλεγχο. Ένας αγοραστής μπορεί να συγκρίνει δύο προμηθευτές που διαφημίζουν και οι δύο μέτρα εμπιστοσύνης. Ένας χειριστής μπορεί να ορίζει έναν κανόνα κλιμάκωσης. Ένας δημόσιος φορέας μπορεί να αναρωτιέται αν μια λίστα κατάταξης είναι αρκετά καλή για να επηρεάσει πού πηγαίνει πρώτα η προσοχή. Σε κάθε περίπτωση, μια επιτυχημένη εκτέλεση αποτελεί ένδειξη ενός πράγματος: ότι μια εκτέλεση παρήγαγε ένα αποτέλεσμα. Δεν αποτελεί ακόμη ένδειξη ότι το σύστημα αξίζει την εξουσία που του αποδίδεται.
Η λογική απάντηση δεν είναι να απαγορευτούν οι πιθανότητες από εργασίες με σημαντικές συνέπειες. Είναι να τους δοθεί μια σωστή περιγραφή καθηκόντων. Μια πιθανότητα μπορεί να υποστηρίξει μια απόφαση όταν συνδέεται με ένα καθορισμένο γεγονός, έναν σχετικό πληθυσμό, μια μέθοδο παρατήρησης, ένα όριο αβεβαιότητας και έναν κανόνα για το τι συμβαίνει όταν τα στοιχεία είναι αδύναμα. Αυτό είναι πιο αργό από το να θαυμάζει κανείς έναν μόνο αριθμό και πολύ πιο γρήγορο από το να ανακαλύψει αργότερα ότι κανείς δεν μπορεί να εξηγήσει τι έπρεπε να κάνει ο αριθμός.
Τα στοιχεία πρέπει να κατονομάζουν το ερώτημά τους
Τα στοιχεία δεν είναι ποτέ απλώς παρόντα. Είναι στοιχεία υπέρ μιας πρότασης. Ένα αποτέλεσμα δοκιμής μπορεί να υποστηρίζει την πρόταση ότι ένα εξάρτημα παράγει συγκεκριμένη έξοδο για συγκεκριμένη είσοδο υπό συγκεκριμένη διαμόρφωση. Μπορεί να υποστηρίζει την πρόταση ότι ένα μοντέλο κατατάσσει σωστά τα παραδείγματα σε ένα σύνολο δεδομένων που έχει κρατηθεί στην άκρη. Μπορεί να υποστηρίζει την πρόταση ότι μια εκτίμηση πιθανότητας αντιστοιχεί αρκετά κοντά στις παρατηρούμενες συχνότητες σε ένα καθορισμένο σύνολο αξιολόγησης. Αυτές οι προτάσεις είναι διαφορετικές. Η πειθαρχία ξεκινά με τη διατύπωση της πρότασης πριν από την επιλογή της μετρικής.
Σκεφτείτε τον φαινομενικά απλό ισχυρισμό ότι ένα σύστημα είναι ακριβές. Ακριβές σε τι; Μια ακρίβεια ταξινόμησης μπορεί να περιγράφει πόσο συχνά η κλάση με την υψηλότερη βαθμολογία ταίριαξε με μια ετικέτα. Δεν λέει αν η δηλωμένη πιθανότητα ήταν καλά βαθμονομημένη. Μια μετρική κατάταξης μπορεί να περιγράφει τη σειρά, όχι την ποιότητα της κλίμακας βαθμολογίας. Ένα χαμηλό μέσο σφάλμα μπορεί να συνυπάρχει με ένα επιβλαβές μοτίβο σφαλμάτων σε μια υποομάδα ή σε ένα όριο που ενεργοποιεί δράση. Η μετρική δεν είναι λάθος. Το άλμα από τη μετρική στο επιχειρησιακό συμπέρασμα είναι εκεί που συνήθως αρχίζει το πρόβλημα.
Η εργασία του ΟΟΣΑ για τα μέσα αξιολόγησης είναι χρήσιμη ακριβώς επειδή εγκαταλείπει τη φαντασίωση ότι ένας βαθμός μπορεί να φέρει ολόκληρη την εξήγηση. Το πλαίσιό του διακρίνει πτυχές όπως η κάλυψη, ο σκοπός, ο ρεαλισμός, η αξιοπιστία, η αναπαραγωγιμότητα, η αντικειμενικότητα και η μεροληψία. Αυτά δεν είναι γραφειοκρατικά στολίδια γύρω από ένα σημείο αναφοράς. Περιγράφουν αν το αποτέλεσμα έχει τη σωστή σχέση με το ερώτημα που τίθεται. Μια ερευνητική σύγκριση, μια αξιολόγηση συμμόρφωσης και μια απόφαση επιχειρησιακής κυκλοφορίας μπορεί να χρησιμοποιούν όλα δοκιμές. Δεν ζητούν το ίδιο πράγμα από αυτές τις δοκιμές.
Ξεκινήστε, λοιπόν, με μια πρόταση που μπορεί να αμφισβητηθεί. Για παράδειγμα: αυτό το σύστημα μπορεί να δρομολογεί περιπτώσεις για ανθρώπινη αναθεώρηση όταν η τεκμηριωμένη εκτίμηση πιθανότητάς του για ένα καθορισμένο αποτέλεσμα υπερβαίνει ένα συγκεκριμένο όριο, υπό την προϋπόθεση ότι η είσοδος ταιριάζει με το επικυρωμένο πεδίο εφαρμογής και ο αναθεωρητής διατηρεί την εξουσία να απορρίψει την πρόταση. Αυτή είναι μια επιχειρηματολογήσιμη επιχειρησιακή πρόταση. Ονομάζει τη δράση, την προϋπόθεση και το όριο. Δεν προσποιείται ότι ένας βαθμός έχει επιλέξει ανεξάρτητα τον ρόλο του στον κόσμο.
Η αντίθετη πρόταση είναι οικεία επειδή είναι βολική: το μοντέλο είναι κατά 87 τοις εκατό σίγουρο. Ακόμη και όταν ένα μοντέλο εκπέμπει πραγματικά μια πιθανότητα, η πρόταση αφήνει έξω το γεγονός, τα στοιχεία βαθμονόμησης, τον πληθυσμό, την περίοδο και την απόφαση. Μετατρέπει μια σχέση σε χαρακτηριστικό προσωπικότητας. Οι μηχανές δεν χρειάζεται να περιγράφονται ως ντροπαλές ή σίγουρες. Χρειάζεται να περιγράφονται ως συστήματα των οποίων οι έξοδοι έχουν καθορισμένες σημασίες και καθορισμένα όρια.
Η σιγουριά δεν είναι το ίδιο με την ορθότητα
Ένα σύστημα μπορεί να είναι σίγουρο και λάθος. Μπορεί επίσης να είναι ορθό ενώ εκφράζει χαμηλή σιγουριά. Αυτά τα δύο γεγονότα δεν προκαλούν έκπληξη μόλις διατηρηθούν οι όροι ξεχωριστοί. Η ορθότητα ρωτά αν ένα αποτέλεσμα ταίριαξε με την επιλεγμένη αναφορά για μία περίπτωση. Η σιγουριά είναι μια δήλωση που προσαρτάται σε μια έξοδο, συχνά προερχόμενη από μια βαθμολογία μοντέλου ή από μετασχηματισμό μιας τέτοιας βαθμολογίας. Η βαθμονόμηση θέτει ένα περαιτέρω ερώτημα σε πολλές περιπτώσεις: όταν το σύστημα αποδίδει παρόμοιες πιθανότητες, συμβαίνουν τα αποτελέσματα περίπου με τον δηλωμένο ρυθμό; Αυτά είναι συναφή ερωτήματα, αλλά μια καλή απάντηση δεν παρέχει τις άλλες.
Φανταστείτε ένα σύνολο περιπτώσεων για τις οποίες ένας ταξινομητής αναφέρει πιθανότητα 0,80 για ένα καθορισμένο γεγονός. Αν, σε ένα επαρκώς περιγραφόμενο και αρκετά μεγάλο σύνολο συγκρίσιμων περιπτώσεων, το γεγονός συμβαίνει περίπου οκτώ φορές στις δέκα, η εκτίμηση μπορεί να χαρακτηριστεί καλά βαθμονομημένη για αυτόν τον πληθυσμό και αυτή την προϋπόθεση. Αυτό δεν σημαίνει ότι η επόμενη περίπτωση με 0,80 έχει μοίρα ογδόντα τοις εκατό. Σημαίνει ότι ο βαθμός έχει δείξει μια σχέση με τα παρατηρούμενα αποτελέσματα σε ολόκληρη τη δηλωμένη συλλογή. Η φράση σε ολόκληρη τη δηλωμένη συλλογή κάνει το μεγαλύτερο μέρος της διανοητικής δουλειάς.
Η βαθμονόμηση δεν είναι επίσης ένα καθολικό σήμα ποιότητας. Μια βαθμολογία μπορεί να είναι καλά βαθμονομημένη σε ένα ιστορικό σύνολο δεδομένων και κακώς βαθμονομημένη όταν αλλάξουν η πηγή εισόδου, ο πληθυσμός χρηστών, η ροή εργασίας, η διαδικασία επισήμανσης ή οι συνθήκες ανάπτυξης. Μπορεί να είναι καλά βαθμονομημένη συνολικά, ενώ να συμπεριφέρεται διαφορετικά σε ένα τμήμα του πληθυσμού που έχει σημασία για την υπηρεσία. Μπορεί να φαίνεται καλή σε μια ευρεία κατηγορία, ενώ να αποκρύπτει μια απότομη διαφορά κοντά στο όριο απόφασης. Το διάγραμμα βαθμονόμησης δεν είναι ένα δίπλωμα κορνιζαρισμένο πάνω από το σύστημα παραγωγής. Είναι μια χρονολογημένη παρατήρηση με συγκεκριμένο πεδίο εφαρμογής.
Η βιβλιογραφία για τη βαθμονόμηση μοντέλων κάνει τον διαχωρισμό συγκεκριμένο. Ο Guo και οι συνεργάτες του μελέτησαν τη βαθμονόμηση εμπιστοσύνης σε σύγχρονα νευρωνικά δίκτυα και έδειξαν ότι η ακρίβεια από μόνη της δεν καθορίζει αν οι εκτιμήσεις εμπιστοσύνης αντιπροσωπεύουν τις παρατηρούμενες πιθανότητες ορθότητας. Η εργασία τους αξιολογεί επίσης μεθόδους βαθμονόμησης μετά την επεξεργασία. Το σημαντικό λειτουργικό δίδαγμα είναι πιο περιορισμένο από μια συνταγή: η βαθμολογία ενός μοντέλου δεν θα πρέπει να θεωρείται ότι έχει κατάλληλη πιθανοτική σημασία απλώς επειδή παρέχεται σε ένα βολικό εύρος μεταξύ μηδέν και ένα.
Ένας προσεκτικός οργανισμός καταγράφει επομένως τρία διαφορετικά πράγματα. Καταγράφει την απόδοση στην εργασία, ώστε να μπορεί να ρωτήσει αν τα αποτελέσματα πληρούν την καθορισμένη εργασία. Καταγράφει τη βαθμονόμηση ή μια άλλη ρητή ιδιότητα αβεβαιότητας, ώστε να μπορεί να ρωτήσει τι σημαίνει στην πράξη η βαθμολογία. Και καταγράφει τη συνέπεια της δράσης σε ένα δεδομένο όριο, ώστε να μπορεί να ρωτήσει αν ο κανόνας απόφασης είναι κατάλληλος. Ο συνδυασμός των τριών σε έναν ενιαίο πράσινο δείκτη μπορεί να απλοποιήσει έναν πίνακα ελέγχου. Δεν απλοποιεί τον κόσμο.
Η βαθμονόμηση έχει παρονομαστή
Κάθε ισχυρισμός για τη βαθμονόμηση έχει παρονομαστή. Ο παρονομαστής δεν είναι απλώς ο αριθμός των εγγραφών σε ένα αρχείο. Είναι το σύνολο των περιπτώσεων που ήταν επιλέξιμες να μετρηθούν, ο τρόπος ομαδοποίησής τους, ο ορισμός του αποτελέσματος, η χρονική περίοδος, οι εξαιρέσεις και η διαδικασία που παρήγαγε τις ετικέτες αναφοράς. Αφαιρέστε αυτές τις συνθήκες και ένα διάγραμμα αξιοπιστίας γίνεται μια ευχάριστη καμπύλη χωρίς αρμοδιότητα πάνω σε μια απόφαση.
Ας υποθέσουμε ότι μια αξιολόγηση ομαδοποιεί τις προβλέψεις ανά δηλωμένη εμπιστοσύνη. Το παρατηρούμενο ποσοστό σε κάθε ομάδα εξαρτάται από τις περιπτώσεις που έγιναν δεκτές στην ομάδα και από τον ορισμό του αποτελέσματος. Εξαιρέθηκαν οι διφορούμενες περιπτώσεις; Οι αποχές αντιμετωπίστηκαν ως σφάλματα, ως ασφαλείς αρνήσεις ή ως κάτι άλλο; Η ετικέτα αντιπροσώπευε ένα άμεσο γεγονός, μια μεταγενέστερη αναθεώρηση ή μια τελική έφεση; Διατηρήθηκαν τα διπλότυπα; Η αξιολόγηση περιελάμβανε μόνο εγγραφές που πέρασαν από ένα προηγούμενο βήμα επικύρωσης; Κάθε απάντηση μπορεί να είναι εύλογη. Κάθε απάντηση αλλάζει το νόημα της προκύπτουσας δήλωσης βαθμονόμησης.
Γι' αυτό ένα μοντέλο μπορεί να έχει ένα αξιοσέβαστο συνολικό αποτέλεσμα βαθμονόμησης και παρόλα αυτά να είναι ακατάλληλο για μια συγκεκριμένη χρήση. Το συνολικό αποτέλεσμα μπορεί να συνενώνει γλώσσες, μήκη εισόδου, περιοχές, τύπους συσκευών, διαδρομές πελατών ή τρόπους λειτουργίας που δεν μοιράζονται την ίδια δομή σφαλμάτων. Ένα συγκεντρωτικό νούμερο μπορεί να είναι μια ειλικρινής σύνοψη και παρόλα αυτά να αποτελεί ανεπαρκή απόδειξη για μια τοπική απόφαση. Η σωστή απάντηση δεν είναι να απαιτήσουμε ξεχωριστό μοντέλο για κάθε άτομο. Είναι να ελέγξουμε τις υποθέσεις ομαδοποίησης που η ίδια η απόφαση καθιστά ουσιώδεις.
Το πλαίσιο αξιολόγησης του ΟΟΣΑ ονομάζει αυτό κάλυψη. Το πλαίσιο ρωτά αν ένα όργανο αξιολόγησης καλύπτει μια μεροληπτική ή αντιπροσωπευτική κατανομή αυτού που προορίζεται να μετρήσει, και διακρίνει την απόδοση στην εργασία από έναν ευρύτερο ισχυρισμό ικανότητας. Αυτές οι διακρίσεις είναι χρήσιμες για τα πιθανοτικά στοιχεία. Μια βαθμολογία μπορεί να αποτελεί απόδειξη για την απόδοση σε μια κατανομή εργασιών. Δεν θα πρέπει σιωπηρά να μετατρέπεται σε απόδειξη για μια ικανότητα, έναν πληγέντα πληθυσμό ή ένα μελλοντικό πλαίσιο που η αξιολόγηση δεν κάλυψε.
Ο παρονομαστής έχει και κοινωνική πλευρά. Όταν ένας οργανισμός αποφασίζει ποιες περιπτώσεις είναι αρκετά εύκολες για αυτοματοποίηση και ποιες πρέπει να περιμένουν έναν άνθρωπο, οι ορισμοί καθορίζουν ποιος επωμίζεται την εναπομένουσα αβεβαιότητα. Μια συγκεντρωτική βαθμολογία μπορεί να κρύψει το γεγονός ότι μια μικρότερη ομάδα έχει λιγότερα παραδείγματα, λιγότερο σταθερές ετικέτες ή διαφορετικό πλαίσιο λειτουργίας. Αυτό δεν αποτελεί λόγο να υποσχεθεί κανείς ίσα στατιστικά στοιχεία όπου τα τεκμήρια είναι αδύναμα. Είναι λόγος να παρουσιάσει τα αδύναμα τεκμήρια με σαφήνεια και να διαμορφώσει έναν προσεκτικό κανόνα απόφασης γύρω από αυτά.
Μια επιτυχημένη εκτέλεση είναι δείγμα, όχι συμπέρασμα
Τα πιθανοτικά συστήματα προσκαλούν μια συγκεκριμένη μορφή υπερβολικής αυτοπεποίθησης επειδή είναι τόσο εύκολο να τα επιδείξει κανείς. Εισάγετε μια είσοδο, λαμβάνετε ένα εντυπωσιακό αποτέλεσμα, επαναλαμβάνετε με μια παρόμοια είσοδο, λαμβάνετε άλλο ένα. Η επίδειξη μπορεί να δείξει ότι το σύστημα μπορεί να εκτελέσει την εργασία. Μπορεί ακόμη και να δείξει κάτι που αξίζει να διερευνηθεί. Δεν μπορεί να δείξει την κατανομή των αποτελεσμάτων, τη σταθερότητα της βαθμολογίας, την απόκριση σε οριακές περιπτώσεις, την ποιότητα των ετικετών αναφοράς ή την επίδραση μιας αλλαγμένης συνθήκης ανάπτυξης. Ένα δείγμα μπορεί να ξεκινήσει μια διερεύνηση. Δεν μπορεί να την ολοκληρώσει.
Το ίδιο ισχύει και για μια μεμονωμένη εκτέλεση σημείου αναφοράς. Ένα αποτέλεσμα μπορεί να έχει συλλεχθεί σωστά, σε ένα καλά περιγραφόμενο σύστημα, με μια θεμιτή μετρική. Αν εκτελέστηκε μία φορά, αποτελεί τεκμήριο της τιμής που παρατηρήθηκε μία φορά υπό αυτές τις συνθήκες. Δεν αποτελεί αυτόματα τεκμήριο μιας σταθερής ιδιότητας του συστήματος. Η επανάληψη βοηθά να αποκαλυφθεί η διακύμανση. Δεν αφαιρεί την ανάγκη να εξεταστεί αν το τεστ αντιπροσωπεύει την προβλεπόμενη χρήση. Η αναπαραγωγιμότητα και η εγκυρότητα επιλύουν διαφορετικά προβλήματα, και και τα δύο αξίζουν θέση στο αρχείο.
Το πλαίσιο του ΟΟΣΑ καθιστά αυτόν τον διαχωρισμό ρητό. Η αξιοπιστία αφορά το αν μια αξιολόγηση παρουσιάζει επαρκείς επαναλήψεις, διάρκεια επεισοδίων ή περιπτώσεις ώστε να παρέχει χαμηλή διακύμανση όταν εφαρμόζεται ξανά. Η αναπαραγωγιμότητα αφορά το αν το ίδιο τεστ μπορεί να δημιουργηθεί ξανά, συμπεριλαμβανομένου του αν τα στοχαστικά στοιχεία μεταβάλλουν τις αλληλεπιδράσεις. Ένα τεστ μπορεί να είναι απόλυτα αναπαραγώγιμο και παρόλα αυτά να απαντά σε μια άχρηστη ερώτηση. Μπορεί να είναι ρεαλιστικό και δύσκολο να αναπαραχθεί επακριβώς επειδή το περιβάλλον έχει αλλάξει. Καμία από τις δύο συνθήκες δεν αποτελεί από μόνη της ελάττωμα. Το αρχείο πρέπει να αναφέρει ποια συνθήκη ισχύει και τι επιτρέπει στον αναγνώστη να συμπεράνει.
Υπάρχει μια μετρημένη αλλά πολύτιμη επιχειρησιακή συνήθεια εδώ: κρατήστε την επιτυχημένη εκτέλεση, αλλά μην την αφήσετε να σηκώσει περισσότερο βάρος από όσο μπορεί. Διατηρήστε την είσοδο, τη διαμόρφωση, την έκδοση, τη σπορά όπου ισχύει, τις εξαρτήσεις, την έξοδο και την απόφαση αξιολόγησης. Στη συνέχεια, τοποθετήστε την δίπλα σε επαναλαμβανόμενες μετρήσεις, αντιπαραδείγματα, αποχές και αλλαγμένες συνθήκες. Ένα αποτέλεσμα που παραμένει χρήσιμο αφού συναντήσει τους δύσκολους γείτονές του είναι πιο πολύτιμο από ένα αποτέλεσμα που έπρεπε να προστατευτεί από αυτούς.
Για τα γενετικά συστήματα, μια επιτυχημένη απάντηση αποτελεί ιδιαίτερα αδύναμο τεκμήριο επαναληψιμότητας, εκτός αν καταγράφεται η σύμβαση αλληλεπίδρασης. Οι ρυθμίσεις δειγματοληψίας, τα προτροπές, το ανακτημένο υλικό, η διαθεσιμότητα εργαλείων, η έκδοση μοντέλου, η πολιτική ασφάλειας και η ευρύτερη ροή εργασίας μπορούν όλα να διαμορφώσουν το αποτέλεσμα. Η αναπαραγωγή μιας σειράς λέξεων χωρίς τη σχετική κατάσταση μπορεί να αναπαράγει την εμφάνιση ενός τεστ ενώ χάνει τη συνθήκη που το έκανε ουσιαστικό. Στην εργασία με τεκμήρια, η ομοιότητα δεν είναι αναπαραγωγή.
Η επαναληψιμότητα δεν είναι συνώνυμο της εμπιστοσύνης
Μια ντετερμινιστική αναπαραγωγή μπορεί να αποτελέσει εξαιρετικό τεκμήριο για μια στενή πρόταση: δεδομένων των ίδιων καταγεγραμμένων εισόδων, διαμόρφωσης και συνθηκών υλοποίησης, το σύστημα παρήγαγε το ίδιο αποτέλεσμα. Αυτό καθιστά τις διερευνήσεις, τις δοκιμές παλινδρόμησης και τις συγκρίσεις εκδόσεων πιο εύκολες. Δεν αποδεικνύει ότι το αποτέλεσμα ήταν σωστό, ότι η είσοδος ήταν κατάλληλη, ότι το σύστημα θα έπρεπε να είχε χρησιμοποιηθεί για την απόφαση ή ότι το αποτέλεσμα θα γενικευτεί πέρα από τα καταγεγραμμένα όριά του. Η επαναληψιμότητα είναι ιδιότητα του πειράματος. Η εμπιστοσύνη είναι κρίση για μια ευρύτερη διευθέτηση.
Η στοχαστική συμπεριφορά μεταβάλλει το αρχείο καταγραφής αντί να δικαιολογεί την απουσία του. Εάν μια έξοδος παρουσιάζει διακυμάνσεις, η αξιολόγηση πρέπει να καταγράφει ποια μέρη μεταβάλλονται, πόσο συχνά, εντός ποιου εύρους και πώς επηρεάζει αυτή η μεταβολή την απόφαση. Ένα σύστημα που προτείνει εναλλακτικές διατυπώσεις μπορεί να ανέχεται μεγαλύτερο εύρος από ένα σύστημα που κατατάσσει περιστατικά για επισήμανση. Ένα σύστημα που συμβουλεύει έναν άνθρωπο μπορεί να απαιτεί διαφορετικά αποδεικτικά στοιχεία από εκείνο που καθιστά διαθέσιμη μια μη αναστρέψιμη ενέργεια. Η πιθανότητα δεν αποτελεί από μόνη της επιχειρησιακή κατηγορία. Οι συνέπειες καθορίζουν πόση αβεβαιότητα μπορεί να φέρει με ασφάλεια μια διαδικασία.
Υπάρχει ένα εύκολο λάθος και στις δύο πλευρές. Η μία ομάδα απαιτεί σταθερή έξοδο από ένα εργαλείο του οποίου ο δηλωμένος σκοπός περιλαμβάνει τη διερεύνηση και στη συνέχεια εκλαμβάνει τον προκύπτοντα ντετερμινισμό ως ποιότητα. Η άλλη ομάδα αποδέχεται μεταβλητή έξοδο από ένα σύστημα υποστήριξης αποφάσεων και στη συνέχεια αποκαλεί τη μεταβλητότητα δημιουργικότητα όταν γίνεται δύσκολο να αξιολογηθεί. Καμία θέση δεν είναι σοβαρή. Το ζήτημα είναι αν η μεταβολή είναι αναμενόμενη, οριοθετημένη, παρατηρήσιμη και συμβατή με την εξουσία που έχει ανατεθεί στο σύστημα.
Η ευρωπαϊκή νομοθεσία δεν ανάγει αυτό το ζήτημα σε ένα καθολικό σκορ. Για τα συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου, το άρθρο 15 του Κανονισμού για την Τεχνητή Νοημοσύνη απαιτεί κατάλληλο επίπεδο ακρίβειας, ευρωστίας και κυβερνοασφάλειας, καθώς και συνεπή απόδοση ως προς αυτά τα χαρακτηριστικά καθ' όλη τη διάρκεια του κύκλου ζωής. Αναφέρει επίσης ότι τα επίπεδα ακρίβειας και οι σχετικές μετρήσεις ακρίβειας πρέπει να αναφέρονται στις οδηγίες χρήσης και ενθαρρύνει τα σημεία αναφοράς και τις μεθόδους μέτρησης για τις τεχνικές πτυχές της μέτρησης της απόδοσης. Η διάταξη δεν αναφέρει ότι μία επαναλαμβανόμενη δοκιμή επιλύει το ζήτημα. Ζητά να προσδιορίζεται και να διατηρείται η απόδοση εντός του εκάστοτε πλαισίου.
Αυτή είναι η συνετή στάση για κάθε σοβαρή αξιολόγηση. Μια επαναλήψιμη δοκιμή αποτελεί ένα κομμάτι της αλυσίδας αποδεικτικών στοιχείων. Χρειάζεται έναν υπεύθυνο, ένα όριο έκδοσης, ένα έναυσμα αλλαγής και μια σύνδεση με την επιχειρησιακή απόφαση την οποία υποστηρίζει. Χωρίς αυτά, η αναπαραγωγιμότητα μπορεί να γίνει μια ακόμη ελκυστική λέξη που ταξιδεύει πιο μακριά από το ίδιο το πείραμα.
Η αβεβαιότητα χρειάζεται επιχειρησιακή διαδρομή
Ο πρακτικός σκοπός της αβεβαιότητας δεν είναι να κάνει έναν πίνακα ελέγχου να φαίνεται εξελιγμένος. Είναι να αλλάξει τι επιτρέπεται να κάνει το σύστημα. Εάν ένα σκορ δεν έχει καμία επίδραση στη δρομολόγηση, στην επανεξέταση, στην εξήγηση, στην παρακολούθηση ή στη διακοπή, μπορεί να αποτελεί τεχνική περιέργεια και όχι επιχειρησιακό σήμα. Εάν μεταβάλλει μια ενέργεια, ο οργανισμός πρέπει να δηλώσει τη διαδρομή από το σκορ στην εξουσία.
Ένα όριο είναι μια τέτοια διαδρομή, αλλά δεν είναι μια μαγική γραμμή. Ο καθορισμός ενός ορίου επιλέγει έναν συμβιβασμό μεταξύ ειδών σφαλμάτων, φόρτου εργασίας, καθυστέρησης και πιθανής βλάβης. Ένα όριο μπορεί να είναι κατάλληλο για την ιεράρχηση μιας ουράς επανεξέτασης χαμηλών συνεπειών και ακατάλληλο για την άρνηση πρόσβασης ενός ατόμου σε μια υπηρεσία. Το ίδιο αριθμητικό όριο μπορεί να σημαίνει διαφορετικά πράγματα όταν μεταβάλλονται το ποσοστό βάσης, το κόστος σφάλματος, η διαθέσιμη επανόρθωση και η ποιότητα της επακόλουθης επανεξέτασης. Δεν υπάρχει ένα καθολικό συνετό νούμερο που περιμένει σε ένα εγχειρίδιο προμηθευτή.
Για τον λόγο αυτό, ένας κανόνας απόφασης θα πρέπει να περιγράφει κάτι περισσότερο από ένα όριο. Θα πρέπει να αναφέρει το αποτέλεσμα που εκτιμάται, τα αποδεικτικά στοιχεία που υποστηρίζουν το σκορ, τις περιπτώσεις εκτός πεδίου εφαρμογής, τις συνθήκες που επιβάλλουν αποχή, την ανθρώπινη εξουσία που παραμένει, το αρχείο που θα τηρείται και τις προϋποθέσεις για την επανεξέταση του κανόνα. Ένα όριο χωρίς αυτούς τους συνοδούς είναι μια απόφαση μεταμφιεσμένη σε διαμόρφωση.
Ένα χρήσιμο υποθετικό σενάριο επεξηγεί το ζήτημα χωρίς να επινοεί ένα δημόσιο περιστατικό. Σκεφτείτε μια υπηρεσία που χρησιμοποιεί ένα σκορ μοντέλου για να ταξινομήσει τα εισερχόμενα αιτήματα για έναν εκπαιδευμένο αξιολογητή. Τα αποδεικτικά στοιχεία μπορεί να υποστηρίζουν έναν περιορισμένο ισχυρισμό: το σκορ μπορεί να βοηθήσει στη σειρά συγκρίσιμων αιτημάτων εντός μιας δηλωμένης κατηγορίας εισόδου, ενώ όλη η τελική ιεράρχηση παραμένει στον αξιολογητή. Τα ίδια αποδεικτικά στοιχεία δεν υποστηρίζουν την αυτόματη απόρριψη αιτημάτων με χαμηλό σκορ, επειδή πρόκειται για διαφορετική ενέργεια με διαφορετικές συνέπειες και διαφορετικές ανάγκες αποδεικτικών στοιχείων. Η έξοδος δεν άλλαξε. Η εξουσία της άλλαξε.
Η αποχή αξίζει την ίδια σοβαρότητα. Ένα σύστημα που μπορεί να πει ότι τα στοιχεία του δεν επαρκούν μπορεί να δημιουργήσει περισσότερη δουλειά βραχυπρόθεσμα και να μειώσει το μη παρατηρήσιμο σφάλμα μακροπρόθεσμα. Αλλά η αποχή είναι χρήσιμη μόνο όταν έχει κάπου υπεύθυνα να κατευθυνθεί. Αν οι αβέβαιες περιπτώσεις εξαφανίζονται σε μια ουρά χωρίς ιδιοκτήτη, το σύστημα απλώς μετατρέπει την αβεβαιότητα σε καθυστέρηση. Μια καλή διαδρομή καθορίζει ποιος παραλαμβάνει την υπόθεση, τι μπορεί να δει, πώς τη διορθώνει και πώς αυτή η διόρθωση ενημερώνει τη μετέπειτα αξιολόγηση.
Οι αιτιώδεις ισχυρισμοί χρειάζονται κάτι περισσότερο από ένα γράφημα πριν και μετά
Οι εκτιμήσεις πιθανοτήτων χρησιμοποιούνται συχνά για να υποστηρίξουν ισχυρισμούς σχετικά με το τι θα συμβεί αν ένας οργανισμός αναλάβει δράση. Αυτό είναι ένα διαφορετικό αποδεικτικό έργο από το να προβλέψει κανείς τι συνέβη σε ιστορικά δεδομένα. Ένα μοντέλο μπορεί να εκτιμήσει ότι μια υπόθεση μοιάζει με άλλες υποθέσεις με συγκεκριμένη έκβαση. Δεν αποδεικνύει όμως ότι η αλλαγή της υπόθεσης, η αλλαγή μιας πολιτικής ή η εφαρμογή μιας σύστασης θα προκαλέσει την αλλαγή της έκβασης. Η πρόβλεψη και η παρέμβαση δεν πρέπει να συγχωνεύονται επειδή το γράφημα φαίνεται τακτοποιημένο.
Τα γραφήματα πριν και μετά είναι ιδιαίτερα δελεαστικά. Μια ομάδα εισάγει ένα εργαλείο, μια έκβαση αλλάζει και το εργαλείο παίρνει τα εύσημα ή την ευθύνη. Πολλά άλλα πράγματα μπορεί να έχουν αλλάξει: ο πληθυσμός που εισέρχεται στην υπηρεσία, η τεκμηρίωση, η στελέχωση, η πολιτική, οι εποχικές συνθήκες, τα ανάντη φίλτρα ή η ίδια η μέτρηση. Η παρατήρηση μπορεί να αξίζει προσοχή. Δεν αποτελεί αιτιώδες συμπέρασμα έως ότου αντιμετωπιστούν η σύγκριση, οι εναλλακτικές εξηγήσεις και η εναπομένουσα αβεβαιότητα.
Αυτό έχει σημασία για τη διακυβέρνηση της τεχνητής νοημοσύνης, επειδή ένα σύστημα μπορεί να έχει επιχειρησιακή επιρροή πολύ πριν γίνει τυπικά αποφασιστικό. Μια κατάταξη μπορεί να αλλάξει ποια εγγραφή ανοίγει πρώτος ένας άνθρωπος. Ένας δείκτης εμπιστοσύνης μπορεί να ωθήσει έναν αξιολογητή να αποδεχθεί μια έξοδο. Μια προτεινόμενη ενέργεια μπορεί να γίνει ρουτίνα επειδή η ουρά είναι γεμάτη. Η αιτιώδης διαδρομή περιλαμβάνει την ανθρώπινη ερμηνεία, τον σχεδιασμό της διεπαφής, τα κίνητρα, τη χρονική πίεση και τη διαθέσιμη διαδρομή διόρθωσης. Η αξιολόγηση μόνο του μοντέλου δεν μπορεί να αποτυπώσει την πλήρη εικόνα.
Όταν ένας αιτιώδης ισχυρισμός έχει σημασία, το σχέδιο τεκμηρίωσης θα πρέπει να αναφέρει ποια σύγκριση θα καθιστούσε τον ισχυρισμό πιο αξιόπιστο και τι εξακολουθεί να μην μπορεί να αποκλείσει. Αυτό μπορεί να περιλαμβάνει μια ελεγχόμενη δοκιμή, μια σταδιακή ανάπτυξη, μια ανεξάρτητη αναθεώρηση, έναν προσεκτικά σχεδιασμένο παρατηρησιακό σχεδιασμό ή μια απόφαση να αποφευχθεί εντελώς ένας αιτιώδης ισχυρισμός. Το ζητούμενο δεν είναι να απαιτείται ακαδημαϊκή τελειότητα από κάθε επιχειρησιακή αλλαγή. Είναι να αντιστοιχίζεται η βεβαιότητα του ισχυρισμού με τα στοιχεία που είναι πραγματικά διαθέσιμα.
Υπάρχει ένα είδος ολλανδικής κοινής λογικής σε αυτό, αν και ταξιδεύει καλά: αν έχεις μετρήσει μόνο ότι άλλαξε ο άνεμος, μην ανακοινώσεις ότι επανασχεδίασες τον καιρό. Μια πρόβλεψη μπορεί να είναι πολύτιμη χωρίς να γίνει μια ιστορία αιτιότητας. Η ειλικρίνεια δεν αποτελεί υποχώρηση. Είναι αυτό που καθιστά το αποτέλεσμα χρήσιμο για κάποιον που πρέπει να αποφασίσει τι να κάνει στη συνέχεια.
Η ακρίβεια μπορεί να κρύβει έναν κακό κανόνα απόφασης
Η ακρίβεια είναι συχνά χρήσιμη και συχνά ανεπαρκής. Ένα σύστημα μπορεί να επιτύχει υψηλή ακρίβεια όπου μια έκβαση είναι συχνή, ενώ προσφέρει ελάχιστη βοήθεια στις περιπτώσεις που έχουν τη μεγαλύτερη σημασία. Μπορεί να έχει ισχυρό μέσο όρο ενώ αποδίδει άσχημα κοντά στο όριο δράσης. Μπορεί να κάνει σωστές προβλέψεις χωρίς να προσφέρει εκτιμήσεις πιθανοτήτων που να υποστηρίζουν λογικά κατώφλια. Μπορεί να φαίνεται επιτυχημένο επειδή η ετικέτα αναφοράς είναι εύκολο να προβλεφθεί, ακόμη κι αν η ίδια η ετικέτα είναι ένα αδύναμο υποκατάστατο για την απόφαση που πρέπει να λάβει η υπηρεσία.
Τίποτα από αυτά δεν σημαίνει ότι η ακρίβεια είναι χωρίς νόημα. Σημαίνει ότι ο αναγνώστης θα πρέπει να αναρωτηθεί τι μετρά και τι αφήνει εκτός πλαισίου. Ο AI Act αναγνωρίζει αυτή την ανάγκη για πλαίσιο στις απαιτήσεις του για τις οδηγίες χρήσης: η τεκμηρίωση των συστημάτων υψηλού κινδύνου πρέπει να περιλαμβάνει τα χαρακτηριστικά και τους περιορισμούς απόδοσης, τον επιδιωκόμενο σκοπό, τις σχετικές μετρήσεις ακρίβειας που χρησιμοποιούνται για τη δοκιμή και την επικύρωση του συστήματος, καθώς και τις γνωστές ή εύλογα προβλέψιμες περιστάσεις που ενδέχεται να επηρεάσουν την αναμενόμενη απόδοση. Ένα ποσοστό ακρίβειας γίνεται πιο χρήσιμο όταν παραμένουν συνδεδεμένες οι συνθήκες που το περιβάλλουν.
Μια καλή επιχειρησιακή ανασκόπηση, επομένως, εξετάζει τα μοτίβα σφαλμάτων και όχι μόνο τα σύνολα. Ποια είδη περιπτώσεων ταξινομήθηκαν λανθασμένα; Ποιες ήταν αβέβαιες; Ποιες περιπτώσεις εξαιρέθηκαν ή στάλθηκαν για αναθεώρηση; Τι συμβαίνει με ένα ψευδώς θετικό, ένα ψευδώς αρνητικό, μια καθυστερημένη απάντηση ή μια αδικαιολόγητη αποχή; Ποιος μπορεί να εντοπίσει το αποτέλεσμα, να το αμφισβητήσει και να διορθώσει το αρχείο; Αυτές οι ερωτήσεις επιστρέφουν την αξιολόγηση στην υπηρεσία αντί να την αφήνουν στο μοντέλο.
Μπορεί επίσης να είναι χρήσιμο να διακρίνουμε τα τεκμήρια για ένα στοιχείο από τα τεκμήρια για μια ροή εργασίας. Μια δοκιμή στοιχείου μπορεί να τεκμηριώσει ιδιότητες ενός μοντέλου υπό καθορισμένες εισόδους. Μια αξιολόγηση ροής εργασίας μπορεί να τεκμηριώσει πώς αλληλεπιδρούν το μοντέλο, η διεπαφή, τα δεδομένα, οι άνθρωποι και η πολιτική. Ένα στοιχείο μπορεί να έχει ισχυρή βαθμονόμηση βαθμολογιών, ενώ η ροή εργασίας να παράγει μεροληψία αυτοματισμού επειδή η διεπαφή αποκρύπτει την αβεβαιότητα. Μια ροή εργασίας μπορεί να έχει μια άριστη διαδικασία αναθεώρησης, ενώ να βασίζεται σε ένα στοιχείο του οποίου τα δεδομένα πηγής δεν ανταποκρίνονται πλέον στο δηλωμένο πεδίο εφαρμογής. Οι δοκιμές πρέπει να συναντηθούν κάπου.
Τα προκύπτοντα τεκμήρια δεν είναι απαραιτήτως μια μεγάλη έκθεση. Μπορεί να είναι ένα συνοπτικό, καταγεγραμμένο αρχείο με έκδοση, αν η απόφαση είναι περιορισμένη. Αυτό που έχει σημασία είναι ότι ένα άλλο άτομο μπορεί να εξετάσει την πρόταση, τον πληθυσμό, τη μέθοδο, το αποτέλεσμα, το όριο και την απόφαση. Το μέγεθος του αρχείου δεν καθορίζει την ποιότητα του συλλογισμού. Ένα σύντομο αρχείο μπορεί να είναι αυστηρό. Μια μεγάλη παρουσίαση μπορεί να είναι ως επί το πλείστον αέρας.
Η αλλαγή μετατρέπει τα χθεσινά τεκμήρια σε ερώτηση
Κάθε αποτέλεσμα αξιολόγησης έχει μια ημερομηνία, ακόμη και όταν η ημερομηνία είναι κρυφή. Τα μοντέλα αλλάζουν. Τα προτροπές αλλάζουν. Οι πηγές δεδομένων αλλάζουν. Μια ανάντη φόρμα αποκτά ένα πεδίο. Ένας προμηθευτής τροποποιεί μια πολιτική. Μια ομάδα μεταφέρει μια υπηρεσία σε άλλο περιβάλλον. Μια νέα ομάδα αρχίζει να χρησιμοποιεί το σύστημα. Μια μετρική υπολογίζεται μετά από μια αλλαγμένη διαδικασία αναθεώρησης. Κάθε αλλαγή μπορεί να μεταβάλει την πρόταση που υποστήριζαν τα προηγούμενα τεκμήρια.
Η σωστή απάντηση δεν είναι να επαναληφθούν όλες οι δοκιμές μετά από κάθε επεξεργασία. Είναι να καθοριστεί ποιες αλλαγές είναι ουσιώδεις για ποιους ισχυρισμούς. Μια αλλαγή χρώματος μπορεί να μην επηρεάσει τη βαθμονόμηση πιθανοτήτων. Ένα νέο κανάλι εισόδου μπορεί να την επηρεάσει. Μια αναθεωρημένη πολιτική ετικετών μπορεί να αλλάξει τον ορισμό του αποτελέσματος. Μια νέα έκδοση μοντέλου μπορεί να αλλάξει τόσο την απόδοση όσο και την ερμηνεία των βαθμολογιών του. Μια αλλαγή στην εξουσία που δίνεται στο σύστημα μπορεί να ακυρώσει έναν κανόνα απόφασης, ακόμη και αν το μοντέλο παραμένει ακριβώς το ίδιο byte προς byte. Το σχέδιο δοκιμών θα πρέπει να καθιστά αυτές τις σχέσεις ορατές πριν μια κυκλοφορία γίνει βολική.
Το άρθρο 9 του AI Act περιγράφει μια συνεχή, επαναληπτική διαδικασία διαχείρισης κινδύνου για συστήματα υψηλού κινδύνου σε όλο τον κύκλο ζωής τους. Η διαδικασία περιλαμβάνει τον εντοπισμό και την ανάλυση γνωστών και εύλογα προβλέψιμων κινδύνων, την εκτίμηση και την αξιολόγηση των κινδύνων όταν το σύστημα χρησιμοποιείται όπως προορίζεται και υπό εύλογα προβλέψιμη κακή χρήση, και την υιοθέτηση μέτρων διαχείρισης κινδύνου. Το σημείο για την αξιολόγηση είναι άμεσο: τα τεκμήρια δεν είναι μια εφάπαξ τελετή κατά την κυκλοφορία. Ανήκουν σε ένα λειτουργικό σύστημα ανασκόπησης, αλλαγής και ανταπόκρισης.
Η παρακολούθηση δεν σημαίνει συλλογή κάθε διαθέσιμου σήματος και ελπίδα ότι θα εμφανιστεί κάποιο μοτίβο από μόνο του. Σημαίνει να αποφασίζουμε ποια παρατήρηση θα μπορούσε να επαναφέρει έναν ισχυρισμό. Ένας έλεγχος βαθμονόμησης μπορεί να προγραμματιστεί ανά περίοδο, όγκο ή αλλαγή στη σύνθεση των εισροών. Ένα όριο μπορεί να επανεξεταστεί όταν η πίεση στην ουρά αλλοιώνει την ποιότητα της ανθρώπινης εποπτείας. Μια αλλαγή στην πηγή μπορεί να αναστείλει μια χρήση έως ότου επαναληφθεί η σχετική δοκιμή. Ένα σοβαρό σχέδιο παρακολούθησης αναφέρει τι παρακολουθείται, από ποιον, σε σχέση με ποιο σημείο αναφοράς και ποια ενέργεια ακολουθεί.
Αυτό είναι πιο απαιτητικό από μια καρτέλα μοντέλου που αρχειοθετήθηκε την ημέρα της προμήθειας, αλλά είναι και πιο χρήσιμο. Ένα στατικό έγγραφο μπορεί να διατηρήσει όσα υποστηρίχθηκαν. Ένα ζωντανό αρχείο αποδεικτικών στοιχείων μπορεί να δείξει αν ο ισχυρισμός εξακολουθεί να έχει θέση. Για ένα πιθανοκρατικό σύστημα, αυτή η διαφορά είναι η διαφορά ανάμεσα στο να γνωρίζουμε ότι η βαθμολογία υπήρχε και στο να γνωρίζουμε αν εξακολουθεί να σημαίνει ό,τι πιστεύει η υπηρεσία ότι σημαίνει.
Τα αρχεία επιτρέπουν σε έναν μεταγενέστερο αναγνώστη να διαφωνήσει σωστά
Τα αποδεικτικά στοιχεία χρειάζονται μνήμη. Ένας μεταγενέστερος αναθεωρητής δεν μπορεί να αξιολογήσει έναν ισχυρισμό από ένα στιγμιότυπο οθόνης μιας βαθμολογίας και μια ανάμνηση της συνάντησης. Χρειάζεται το αντικείμενο με έκδοση: την ερώτηση, τις συνθήκες εισροής, τη μέθοδο δοκιμής ή παρατήρησης, το αποτέλεσμα, τις εξαιρέσεις, την αβεβαιότητα, την απόφαση και τον υπεύθυνο. Μπορεί επίσης να χρειαστεί να γνωρίζει τι δεν καταγράφηκε. Ένα αρχείο που καθιστά ορατά τα τυφλά του σημεία είναι πιο χρήσιμο από ένα αρχείο που δείχνει τέλειο αλλά αφήνει την κατάσταση του συστήματος στην εικασία.
Για συστήματα τεχνητής νοημοσύνης υψηλού κινδύνου, ο κανονισμός για την τεχνητή νοημοσύνη απαιτεί αυτόματη καταγραφή συμβάντων καθ' όλη τη διάρκεια ζωής του συστήματος, με δυνατότητες καταγραφής κατάλληλες για τον επιδιωκόμενο σκοπό και χρήσιμες για τον εντοπισμό κινδύνων, την υποστήριξη της παρακολούθησης μετά τη διάθεση στην αγορά και την παρακολούθηση της λειτουργίας. Απαιτεί επίσης την κατάρτιση τεχνικής τεκμηρίωσης πριν από τη διάθεση του συστήματος στην αγορά και την επικαιροποίησή της. Αυτές οι απαιτήσεις δεν αποτελούν απλώς πρόσκληση για τήρηση περισσότερων αρχείων καταγραφής. Αποτελούν πρόσκληση να γίνουν τα αρχεία καταγραφής κατανοητά σε σχέση με ένα σύστημα, έναν σκοπό και μια απόφαση.
Η ιχνηλασιμότητα είναι ιδιαίτερα σημαντική όταν η πιθανότητα ερμηνεύεται από ένα άτομο. Αν ένας αναθεωρητής δει μια βαθμολογία, το αρχείο αποδεικτικών στοιχείων θα πρέπει να καθιστά δυνατή την ανασύνθεση του σε τι συνδεόταν η βαθμολογία, πώς παρουσιάστηκε, ποια δεδομένα ή πηγές ήταν εντός πεδίου, τι αποφάσισε ο αναθεωρητής και αν έγινε μεταγενέστερη διόρθωση. Χωρίς αυτή την αλυσίδα, μια ομάδα μπορεί να μάθει ότι ένα αποτέλεσμα ήταν λάθος, αλλά όχι αν το πρόβλημα βρισκόταν στην εισροή, στο μοντέλο, στη διεπαφή, στον κανόνα απόφασης ή στην ανθρώπινη διαδικασία γύρω από αυτό.
Στη Dweve, το AION είναι ένα μικρό, σχετικό παράδειγμα της ευρύτερης αρχής, όχι ένας ισχυρισμός ότι τα αποδεικτικά στοιχεία μπορούν να αναχθούν στην κρυπτογραφία. Η δημόσια περιγραφή του αναφέρει ότι ένας παραγωγός μπορεί να εκδώσει ένα πιστοποιητικό με τύπο μαζί με ένα αποτέλεσμα και ότι το AION ελέγχει το πιστοποιητικό ανεξάρτητα σε σχέση με τις αρχικές προϋποθέσεις. Ένα τέτοιο επαληθεύσιμο αρχείο μπορεί να ενισχύσει μια στενή πρόταση σχετικά με το αν ένα αποτέλεσμα προκύπτει από καταγεγραμμένες προϋποθέσεις. Δεν αποδεικνύει ότι οι προϋποθέσεις ήταν κατάλληλες, ότι το έργο ήταν δίκαιο ή ότι η χρήση ήταν ενδεδειγμένη. Τα αποδεικτικά στοιχεία χρειάζονται τόσο επαλήθευση όσο και κρίση.
Αυτός ο περιορισμός αξίζει να διατηρηθεί, διότι αποτρέπει ένα συνηθισμένο σφάλμα κατηγορίας. Ένα τέλεια διατηρημένο ίχνος μπορεί να δείξει τι συνέβη. Δεν μπορεί να κάνει καλή μια κακώς διατυπωμένη ερώτηση. Μια αναπαράξιμη απόφαση μπορεί να εξακολουθεί να είναι μια απόφαση που δεν θα έπρεπε ποτέ να έχει αυτοματοποιηθεί. Το αρχείο θα πρέπει να βοηθά έναν μεταγενέστερο αναγνώστη να θέσει και τις δύο ερωτήσεις, όχι να απαντά πρόωρα στη δεύτερη.
Η εμπιστοσύνη μπορεί να είναι ειλικρινής χωρίς να είναι χρήσιμη
Μια καλά βαθμονομημένη πιθανότητα μπορεί και πάλι να μην είναι χρήσιμη. Μπορεί να είναι πολύ γενική για να διαχωρίσει τις περιπτώσεις που χρειάζονται διαφορετική μεταχείριση. Μπορεί να φτάσει πολύ αργά για να επηρεάσει την απόφαση. Μπορεί να συνδέεται με ένα αποτέλεσμα που δεν είναι αξιοποιήσιμο. Μπορεί να είναι τόσο αβέβαιη ώστε κάθε περίπτωση να απαιτεί τον ίδιο έλεγχο. Αυτά δεν είναι αποτυχίες ειλικρίνειας. Είναι όρια στη χρησιμότητα και θα πρέπει να αναγνωρίζονται νωρίς και όχι να ανακαλύπτονται αφού έχει χτιστεί μια ροή εργασίας γύρω από τη βαθμολογία.
Αντίστροφα, ένα χρήσιμο σύστημα δεν χρειάζεται να προσποιείται ότι είναι βέβαιο. Ένα μέτριο σήμα μπορεί να βελτιώσει τον τρόπο οργάνωσης της εργασίας αν έχει στενό σκοπό και σαφή διαδρομή ελέγχου. Μπορεί να βοηθήσει έναν χειριστή να δει ποιες περιπτώσεις αξίζουν άλλον έλεγχο πηγής. Μπορεί να επιλέξει ένα μικρό σύνολο για διασφάλιση ποιότητας. Μπορεί να αναδείξει μια σύγκρουση μεταξύ εγγραφών. Σε αυτές τις χρήσεις, η απαίτηση τεκμηρίων αφορά το αν το σήμα βελτιώνει τη συγκεκριμένη διαδικασία απόφασης χωρίς να εισάγει απαράδεκτα νέα σφάλματα ή εξάρτηση. Το σήμα δεν χρειάζεται να γίνει μαντείο για να κερδίσει τη θέση του.
Γι' αυτό ο επιδιωκόμενος σκοπός πρέπει να καθορίζει την αξιολόγηση. Οι αρχές τεχνητής νοημοσύνης του ΟΟΣΑ ζητούν ουσιαστική ενημέρωση σχετικά με τις δυνατότητες και τους περιορισμούς των συστημάτων και ιχνηλασιμότητα σε σχέση με σύνολα δεδομένων, διαδικασίες και αποφάσεις, ώστε τα αποτελέσματα να μπορούν να αναλυθούν και τα ερωτήματα να απαντώνται. Οι αρχές ζητούν επίσης κατάλληλη ανθρώπινη παρέμβαση και εποπτεία. Η πρακτική συνέπεια δεν είναι ότι κάθε διεπαφή χρειάζεται μια ένδειξη πιθανότητας. Είναι ότι τα τεκμήρια και η εξήγηση ενός συστήματος θα πρέπει να ταιριάζουν στο άτομο και στην απόφαση που επηρεάζονται από αυτό.
Δεν υπάρχει βραβείο για την έκθεση μιας τιμής αβεβαιότητας που ο χρήστης δεν μπορεί να ερμηνεύσει ή να αξιοποιήσει. Ένας αριθμός χωρίς διαδρομή απόφασης μπορεί να δημιουργήσει το θέατρο της διαφάνειας. Δίνει στους ανθρώπους κάτι στο οποίο να δείχνουν και κανέναν τρόπο να το αμφισβητήσουν. Καλύτερα να εμφανίζεται το σχετικό όριο σε απλή γλώσσα, όπως αυτή η πρόταση είναι εκτός της επικυρωμένης κατηγορίας ή αυτό το αποτέλεσμα απαιτεί έλεγχο επειδή τα διαθέσιμα τεκμήρια είναι ελλιπή. Η κατάλληλη παρουσίαση ακολουθεί τον λειτουργικό έλεγχο, όχι το αντίστροφο.
Για τον ίδιο λόγο, μια βαθμολογία εμπιστοσύνης δεν θα πρέπει να αντιμετωπίζεται ως μέτρο ηθικής αξίας, αξιοπιστίας ή δικαιώματος. Είναι μια τεχνική δήλωση με περιορισμένη συμβατική εμβέλεια τεκμηρίων. Μπορεί να βοηθήσει μια διαδικασία. Δεν θα πρέπει να γίνεται μια ασαφής κοινωνική κατάταξη επειδή η αριθμητική της μορφή την κάνει να φαίνεται αποφασιστική.
Ο οργανισμός κατέχει το συμπέρασμα
Οι προμηθευτές μπορούν να παρέχουν μοντέλα, τεκμηρίωση, βαθμολογίες και αποτελέσματα δοκιμών. Δεν μπορούν να οικειοποιούνται σιωπηλά το νόημα μιας απόφασης που λαμβάνεται στο πλαίσιο μιας υπηρεσίας κάποιου άλλου. Ο οργανισμός που συνδέει ένα πιθανοτικό αποτέλεσμα με μια ενέργεια πρέπει να αποφασίσει σε ποια πρόταση βασίζεται, ποιος πληθυσμός έχει σημασία, ποιο όριο είναι αποδεκτό, ποιος εξετάζει τις εξαιρέσεις, ποια αρχεία διατηρούνται και πότε έχουν λήξει τα αποδεικτικά στοιχεία. Οι συμβάσεις μπορούν να κατανέμουν καθήκοντα. Δεν αναιρούν την ανάγκη για κρίση.
Αυτό γίνεται ορατό στις διαδικασίες προμήθειας. Ένας αγοραστής θα πρέπει να ζητά από έναν υποψήφιο προμηθευτή όχι μόνο μια βασική μετρική, αλλά και το ερώτημα αξιολόγησης, τον πληθυσμό, τις ετικέτες, τις εξαιρέσεις, τις εκδόσεις, τη διακύμανση, τη μέθοδο βαθμονόμησης εάν διατυπώνεται ισχυρισμός πιθανοτήτων, τα γνωστά όρια και την πολιτική αλλαγών. Το ζητούμενο δεν είναι να απαιτηθεί γνωστοποίηση που ο προμηθευτής δεν μπορεί νόμιμα να παράσχει. Είναι να διαπιστωθεί αν ο αγοραστής μπορεί να κατανοήσει αρκετά καλά τα όρια του ισχυρισμού ώστε να τον χρησιμοποιήσει υπεύθυνα σε ένα ευρωπαϊκό επιχειρησιακό πλαίσιο.
Η απάντηση μπορεί μερικές φορές να είναι ότι τα αποδεικτικά στοιχεία δεν επαρκούν για την προβλεπόμενη χρήση. Αυτό δεν αποτελεί αποτυχημένη διαδικασία προμήθειας. Είναι η διαδικασία προμήθειας να επιτελεί την πραγματική της λειτουργία προτού ο οργανισμός εξαρτηθεί από μια ανεξήγητη βαθμολογία. Μια μικρότερη, ελέγξιμη χρήση μπορεί να εξακολουθεί να είναι εφικτή. Ένας διαφορετικός προμηθευτής μπορεί να είναι κατάλληλος. Ή η απόφαση μπορεί να παραμείνει ανθρώπινη, επειδή τα αποδεικτικά στοιχεία και η οδός διόρθωσης δεν είναι αρκετά ισχυρά για να δικαιολογήσουν την αυτοματοποίηση. Το να λες όχι αποτελεί μέρος της πειθαρχίας των αποδεικτικών στοιχείων.
Τα αποδεικτικά στοιχεία χρειάζονται επίσης έναν επώνυμο υπεύθυνο μετά την έναρξη λειτουργίας. Κάποιος πρέπει να είναι υπεύθυνος για τον έλεγχο του αν έχει μεταβληθεί ο πληθυσμός, αν οι ανασκοπήσεις αποκαλύπτουν ένα νέο πρότυπο σφαλμάτων, αν ένα όριο εξακολουθεί να ταιριάζει με τον φόρτο εργασίας, αν τα αρχεία μπορούν να ερμηνευτούν και αν μια αλλαγή ενεργοποιεί επαναξιολόγηση. Ο υπεύθυνος δεν χρειάζεται να εκτελεί προσωπικά κάθε δοκιμή. Αλλά αν κανένας ρόλος δεν κατέχει το συμπέρασμα, το σύστημα θα αποκτήσει σταδιακά εξουσία μέσω της συνήθειας. Η συνήθεια είναι φτωχό υποκατάστατο ενός αρχείου αποφάσεων.
Το δυσκολότερο μέρος είναι συχνά πολιτισμικό. Οι ομάδες έχουν συνηθίσει να παρουσιάζουν τα επιτυχημένα μοντέλα ως προϊόντα και τα αποτυχημένα ως έρευνα. Τα πιθανοτικά αποδεικτικά στοιχεία τους ζητούν να διατηρήσουν την ασάφεια που βρίσκεται ενδιάμεσα: χρήσιμο, οριοθετημένο, υπό παρακολούθηση και όχι ακόμη εξουσιοδοτημένο να γίνει κάτι περισσότερο από όσα υποστηρίζουν τα αποδεικτικά στοιχεία. Αυτό μπορεί να ακούγεται λιγότερο συναρπαστικό. Είναι πιο διαρκές.
Τι περιέχει ένα αναλογικό αρχείο αποδεικτικών στοιχείων
Το κατάλληλο αρχείο εξαρτάται από τη χρήση. Ένα βοήθημα σύνταξης που χρησιμοποιεί ένας συγγραφέας έχει διαφορετικές συνέπειες από ένα σύστημα που επηρεάζει την πρόσβαση σε μια δημόσια υπηρεσία. Ωστόσο, ένα αναλογικό αρχείο έχει αναγνωρίσιμη μορφή. Προσδιορίζει τον ισχυρισμό και τον επιδιωκόμενο σκοπό. Προσδιορίζει το μοντέλο, τη διαμόρφωση και τη γύρω ροή εργασίας. Καθορίζει το αποτέλεσμα και τον πληθυσμό που χρησιμοποιήθηκαν για την αξιολόγηση του ισχυρισμού. Διατηρεί τη μέθοδο, το αποτέλεσμα και τα ουσιώδη όρια. Προσδιορίζει τον κανόνα απόφασης, τον υπεύθυνο, την οδό ανασκόπησης και τα εναύσματα αλλαγής. Κάθε πεδίο δίνει σε έναν μεταγενέστερο αναγνώστη ένα σημείο εκκίνησης.
Το αρχείο θα πρέπει να διακρίνει τη μέτρηση από την ερμηνεία. Μια μετρηθείσα παρατήρηση θα μπορούσε να αναφέρει ότι, σε ένα συγκεκριμένο σύνολο δεδομένων και χρονική περίοδο, ένα δηλωμένο σύνολο βαθμολογιών αντιστοιχούσε σε παρατηρηθέντα αποτελέσματα εντός ενός περιγραφόμενου εύρους. Μια ερμηνεία θα μπορούσε να αναφέρει ότι αυτό υποστηρίζει τη χρήση ως σήμα σειράς προτεραιότητας για ανασκόπηση υπό καθορισμένους ελέγχους. Μια απόφαση θα μπορούσε να αναφέρει ότι το σύστημα μπορεί να χρησιμοποιηθεί για αυτόν τον σκοπό έως ότου επέλθει ένα δηλωμένο έναυσμα αλλαγής. Το να τοποθετούνται και οι τρεις προτάσεις κάτω από μια επικεφαλίδα που ονομάζεται απόδοση είναι αποδοτικό μόνο αν κανείς δεν χρειαστεί ποτέ να αμφισβητήσει τον συλλογισμό.
Θα πρέπει επίσης να καθιστά τα άγνωστα χρησιμοποιήσιμα. Ίσως οι ετικέτες καθυστερούν. Ίσως μια μικρή γλωσσική ομάδα δεν έχει αρκετές περιπτώσεις για μια σταθερή αξιολόγηση βαθμονόμησης. Ίσως η ανάπτυξη είναι νέα και δεν υπάρχουν ακόμη επιχειρησιακά στοιχεία. Το αρχείο μπορεί να το αναφέρει, να θέσει προσωρινό όριο στη χρήση, να κανονίσει περισσότερη παρατήρηση ή να διατηρήσει μια ανθρώπινη οδό. Το να προσποιείται κανείς ότι το άγνωστο έχει λυθεί επειδή ένα μοντέλο παρήγαγε έναν αριθμό, απλώς μετατρέπει την αβεβαιότητα σε μια μη τεκμηριωμένη υποχρέωση.
Η οπτική πειθαρχία είναι χρήσιμη εδώ. Σχεδιάστε την αλυσίδα από την είσοδο έως τη βαθμολογία, από τη βαθμολογία έως την εμφανιζόμενη εξήγηση, από την εξήγηση έως την ανθρώπινη ενέργεια και από την ενέργεια έως το παρατηρούμενο αποτέλεσμα και τη διόρθωση. Σχεδιάστε πού καταγράφεται η κατάσταση, πού χάνεται και πού ένα άτομο μπορεί να σταματήσει ή να αντιστρέψει τη διαδρομή. Εάν η ομάδα δεν μπορεί να σχεδιάσει τη διαδρομή, είναι απίθανο να μπορέσει να την αξιολογήσει. Τα διαγράμματα δεν αντικαθιστούν τα στοιχεία. Αποτρέπουν την απόδοση των στοιχείων σε λάθος μέρος του συστήματος.
Πάνω απ' όλα, καταγράψτε τι δεν αποδεικνύει το αρχείο. Μπορεί να μην αποδεικνύει αιτιότητα. Μπορεί να μην αποδεικνύει δικαιοσύνη σε κάθε ομάδα. Μπορεί να μην αποδεικνύει τη συμπεριφορά μετά από αλλαγή προμηθευτή. Μπορεί να μην αποδεικνύει την καταλληλότητα για μια πιο σημαντική ενέργεια. Αυτές οι μη διατυπώσεις δεν είναι απολογία. Είναι αυτό που εμποδίζει μια περιορισμένη αξιολόγηση να χρησιμοποιηθεί ως γενική εξουσιοδότηση.
Τα στοιχεία κερδίζουν το δικαίωμα να παραμένουν αβέβαια
Υπάρχει ο πειρασμός να πιστεύει κανείς ότι ο στόχος της αξιολόγησης είναι να εξαλείψει την αβεβαιότητα. Συχνά ο καλύτερος στόχος είναι να την εντοπίσει. Ένα πιθανολογικό σύστημα δεν είναι ελαττωματικό επειδή δεν μπορεί να μετατρέψει κάθε περίπτωση σε βεβαιότητα. Γίνεται επικίνδυνο όταν ο οργανισμός αντιμετωπίζει την αβεβαιότητα ως ιδιωτική τεχνική λεπτομέρεια, ενώ παρέχει στο αποτέλεσμα δημόσια εξουσία. Το έργο είναι να αποφασιστεί ποια αβεβαιότητα είναι ανεκτή, ορατή και ανακτήσιμη για τον εκάστοτε σκοπό.
Αυτή η απόφαση θα πρέπει να γίνεται πιο απαιτητική όσο αυξάνονται οι συνέπειες. Μια πρόταση χαμηλών συνεπειών μπορεί να χρειάζεται σαφές πεδίο εφαρμογής, ορατό περιορισμό και εύκολη διόρθωση. Ένα σύστημα που επηρεάζει δικαιώματα, ασφάλεια, πρόσβαση ή υλικές ευκαιρίες χρειάζεται ισχυρότερα στοιχεία για την πλήρη διαδικασία, προσεκτικότερη παρακολούθηση, ουσιαστική ανθρώπινη εξουσία και οδό αμφισβήτησης και αποκατάστασης. Η βαθμολογία του μοντέλου δεν καθορίζει από μόνη της αυτό το πρότυπο. Το αποτέλεσμα της ενέργειας βάσει αυτής το καθορίζει.
Μια μεμονωμένη επιτυχημένη εκτέλεση μπορεί να αξίζει να διατηρηθεί. Μπορεί να είναι το πρώτο δείγμα σε ένα χρήσιμο αρχείο. Μπορεί να αποκαλύψει μια δυνατότητα, έναν τρόπο αποτυχίας ή ένα ερώτημα που αξίζει μια σωστή αξιολόγηση. Αλλά θα πρέπει να παραμείνει δείγμα έως ότου ο οργανισμός δοκιμάσει την πρόταση στην οποία θέλει να βασιστεί. Η απόσταση μεταξύ αυτών των δύο πραγμάτων είναι εκεί όπου ζει η υπεύθυνη μηχανική.
Έτσι, η απάντηση στο τι συνιστά στοιχείο όταν η μηχανή είναι πιθανολογική δεν είναι μια βαθμολογία, ένα διάγραμμα ή μια ετικέτα συμμόρφωσης. Είναι ένα περιορισμένο επιχείρημα: αυτό το αποτέλεσμα, για αυτό το ερώτημα, σε αυτόν τον πληθυσμό και την περίοδο, υπό αυτές τις συνθήκες, έχει παρατηρηθεί με αυτόν τον τρόπο· αυτό μπορούμε να συμπεράνουμε· αυτό δεν μπορούμε να συμπεράνουμε· και αυτή είναι η ενέργεια που είμαστε ή δεν είμαστε διατεθειμένοι να αφήσουμε να αλλάξει. Αυτό το επιχείρημα δεν είναι εντυπωσιακό. Είναι επιθεωρήσιμο, το οποίο είναι καλύτερο.