Ταχύτερη εικασία χωρίς προέλευση
Η απάντηση χωρίς λαβή
Η συνάντηση έγινε ήσυχη όταν ο βοηθός παρήγαγε την απάντηση. Αυτό ήταν το πρώτο προειδοποιητικό σημάδι. Οι άνθρωποι συνήθως κάνουν θόρυβο όταν το λογισμικό αποτυγχάνει με προφανή τρόπο. Γέρνουν πίσω, αναστενάζουν, ρωτούν ποιος είναι ο ιδιοκτήτης του πράγματος και αναπτύσσουν ξαφνικές απόψεις για τις προμήθειες. Αυτή η απάντηση δεν απέτυχε με προφανή τρόπο. Ήταν άνετη, τακτοποιημένη και ακριβώς το είδος της παραγράφου που κάνει μια ομάδα έργου να κάτσει πιο ίσια. Έλεγε ότι η πολιτική επέτρεπε την εξαίρεση. Έδινε τρεις λόγους. Χρησιμοποιούσε το ίδιο λεξιλόγιο με το γραφείο πολιτικής. Ακουγόταν μάλιστα ελαφρώς βαριεστημένη, που είναι ο τρόπος με τον οποίο η θεσμική αλήθεια συχνά ντύνεται για τη δουλειά.
Τότε κάποιος ρώτησε από πού προήλθε η απάντηση. Η οθόνη πρόσφερε μια ετικέτα πηγής που έλεγε εσωτερική καθοδήγηση. Αυτό δεν ήταν πηγή. Αυτό ήταν μια διάθεση με ένα αρχειοθήκη. Ποια καθοδήγηση. Ποια έκδοση. Ποια παράγραφος. Ήταν το έγγραφο ακόμη ενεργό. Είχε ο ερωτών άδεια να το δει. Είχε αντιγραφεί το κείμενο από ένα προσχέδιο, μια τρέχουσα πολιτική, μια σημείωση συνάντησης ή ένα εκπαιδευτικό παράδειγμα που παρήχθη από άλλο σύστημα. Ο βοηθός δεν μπορούσε να πει. Είχε ανακτήσει κάτι, ή ισχυριζόταν ότι το είχε κάνει. Η ομάδα είχε μια απάντηση χωρίς λαβή. Μπορούσε να τη θαυμάσει, αλλά δεν μπορούσε να τη σηκώσει.
Αυτή είναι η ήσυχη παγίδα στην τεχνητή νοημοσύνη με ενισχυμένη ανάκτηση. Η ανάκτηση κάνει ένα μοντέλο να φαίνεται σταθερό επειδή η απάντηση δεν προέρχεται πλέον μόνο από το μοντέλο. Ένα επίπεδο αναζήτησης βρίσκει έγγραφα, τμήματα, εγγραφές ή γεγονότα, τα περνά στο πλαίσιο και το μοντέλο γράφει από εκεί. Αυτό είναι χρήσιμο. Είναι επίσης επικίνδυνα εύκολο να το υπερεκτιμήσεις. Αν το σύστημα δεν μπορεί να δείξει τι ανέκτησε, γιατί του επιτράπηκε να το ανακτήσει, πόσο φρέσκο ήταν, ποιοι μετασχηματισμοί το άγγιξαν και πώς εξαρτάται η τελική απάντηση από αυτό, η ανάκτηση δεν έχει λύσει την εικασία. Έχει βάλει την εικασία σε μια ταχύτερη διαδρομή.
Το παλιό μοντέλο εικαζόταν από τη μνήμη. Το νέο σύστημα μπορεί να εικάζει από ένα σωρό θραυσμάτων. Αυτό είναι βελτίωση μόνο όταν το σωρό διέπεται από κανόνες. Διαφορετικά, ο οργανισμός έχει χτίσει έναν σίγουρο βιβλιοθηκάριο που τρέχει πολύ γρήγορα μέσα στο αρχείο ενώ αρνείται να κρατά αριθμούς ραφιών. Εντυπωσιακό καρδιοαναπνευστικό. Φτωχό ίχνος ελέγχου.
Η ανάκτηση είναι επίπεδο μεταφοράς, όχι επίπεδο αλήθειας
Ο απλούστερος τρόπος να παρεξηγήσεις την ανάκτηση είναι να αντιμετωπίσεις τα αποτελέσματα αναζήτησης ως αλήθεια. Η αναζήτηση δεν γνωρίζει την αλήθεια. Η αναζήτηση γνωρίζει την αντιστοίχιση. Η διανυσματική αναζήτηση γνωρίζει την ομοιότητα. Η αναζήτηση λέξεων-κλειδιών γνωρίζει τους όρους. Η υβριδική αναζήτηση γνωρίζει μια διαπραγματευμένη εκεχειρία μεταξύ των δύο. Ένας αναταξινομητής μπορεί να βελτιώσει τη σειρά. Τα φίλτρα μεταδεδομένων μπορούν να αφαιρέσουν προφανή λάθη. Κανένα από αυτά τα βήματα δεν γνωρίζει αυτόματα αν μια παράγραφος είναι τρέχουσα, εξουσιοδοτημένη, πλήρης, αντιφατική, αντικατασταθείσα, εμπιστευτική ή γραμμένη από κάποιον που προσπαθούσε να φτάσει σπίτι πριν από την απεργία των τρένων.
Αυτό δεν καθιστά την ανάκτηση αδύναμη. Την καθιστά εξειδικευμένη. Είναι ένα επίπεδο μεταφοράς που φέρνει υποψήφια αποδεικτικά στοιχεία σε μια επιφάνεια συλλογισμού. Η δουλειά της είναι να βρίσκει πιθανώς σχετικό υλικό υπό περιορισμούς. Η πραγματική εργασία της αλήθειας ξεκινά όταν το σύστημα μπορεί να εντοπίσει το υλικό, να διατηρήσει το πλαίσιό του, να το συγκρίνει με άλλο υλικό, να απορρίψει παρωχημένες ή μη εξουσιοδοτημένες πηγές, να εκθέσει την αβεβαιότητα και να κρατήσει αρχείο του τι συνέβη. Χωρίς αυτά τα κομμάτια, η ανάκτηση είναι μόνο ταχύτερη επιλογή. Η ταχύτερη επιλογή δεν είναι το ίδιο με την καλύτερη κρίση. Ένα νόμισμα που ρίχνεται από μια μηχανή εξακολουθεί να είναι ρίψη νομίσματος, ακόμη κι αν χρησιμοποιεί πιστώσεις cloud.
Στα πρακτικά συστήματα, το κενό εμφανίζεται σε μικρά σημεία. Ένα έγγραφο πηγής χωρίζεται σε τεμάχια, αλλά το τεμάχιο χάνει την επικεφαλίδα που το έκανε ουσιαστικό. Ένα διάνυσμα ευρετηρίου περιέχει τόσο τρέχουσες όσο και αποσυρμένες πολιτικές, επειδή η διαγραφή έγινε με ενθουσιασμό και όχι με διαδικασία. Ένα PDF αναλύθηκε χωρίς υποσημειώσεις. Ένας πίνακας έγινε μια σειρά από μοναχικούς αριθμούς. Ένας κανόνας ελέγχου πρόσβασης εφαρμόστηκε στο έγγραφο αλλά όχι στην ενσωμάτωση. Η απάντηση παραθέτει μια παράγραφο που ήταν σχετική σε μια περιοχή και παράνομη σε μια άλλη. Κανείς δεν σχεδίασε μια αποτυχία. Απλώς επέτρεψαν στα αποδεικτικά στοιχεία να αποβάλουν τις ετικέτες τους καθώς μετακινούνταν.
Η θεραπεία δεν είναι να δυσπιστούμε στην ανάκτηση. Η θεραπεία είναι να σταματήσουμε να της ζητάμε να εκτελεί εργασίες για τις οποίες δεν κατασκευάστηκε ποτέ. Η ανάκτηση θα πρέπει να φέρνει υποψηφίους. Η προέλευση θα πρέπει να αφηγείται την ιστορία αυτών των υποψηφίων. Η διακυβέρνηση θα πρέπει να αποφασίζει ποιοι υποψήφιοι μπορούν να χρησιμοποιηθούν. Η απάντηση θα πρέπει να φέρει αρκετά αποδεικτικά στοιχεία ώστε οι άνθρωποι να μπορούν να τα εξετάσουν χωρίς να γίνονται ερασιτέχνες αρχαιολόγοι σε έναν φάκελο που ονομάζεται archive final old.
Ο αριθμός ραφιού που λείπει
Οι βιβλιοθήκες κατανοούσαν την προέλευση προτού η τεχνητή νοημοσύνη την ανακαλύψει ξανά με ακριβότερη ορολογία. Μια χρήσιμη παραπομπή επιτρέπει στον αναγνώστη να βρει το έργο, την έκδοση, τη σελίδα και μερικές φορές ακόμη και την παράγραφο. Δεν λέει απλώς βιβλίο ιστορίας. Μια ετικέτα αποθήκης σάς λέει ποια παρτίδα, προμηθευτής, λοτί και ημερομηνία λήξης έχουν σημασία. Ένα εργαστηριακό δείγμα φέρει αλυσίδα επιμέλειας επειδή κανείς δεν θέλει φάρμακα βασισμένα σε διαισθήσεις. Σε κάθε περίπτωση, το σημείο είναι κοινότοπο: όταν υπάρχουν συνέπειες, τα αντικείμενα χρειάζονται ταυτότητα κατά τη μετακίνηση.
Τα δεδομένα που κινούνται μέσω συστημάτων ανάκτησης χρειάζονται την ίδια πειθαρχία. Ένα έγγραφο δεν είναι ένα σύνολο κειμένου. Έχει προέλευση, κάτοχο, νομική βάση, πεδίο εφαρμογής, κοινό, έκδοση, περίοδο ισχύος, μορφή, αναλυτή, πολιτική τεμαχισμού, μοντέλο ενσωμάτωσης, χρόνο ευρετηρίασης, πολιτική πρόσβασης και διαδρομή απόσυρσης. Αυτό ακούγεται πολύ επειδή είναι. Εξακολουθεί να είναι λιγότερο από το κόστος εξήγησης σε έναν ρυθμιστή, ασθενή, πελάτη ή διοικητικό συμβούλιο ότι το σύστημα πιθανώς διάβασε κάτι χρήσιμο, αλλά το συγκεκριμένο κάτι έχει επιτύχει πνευματική ανεξαρτησία.
Ο αριθμός ραφιού προστατεύει επίσης τις ομάδες μηχανικών. Όταν μια απάντηση είναι λανθασμένη, η ομάδα πρέπει να γνωρίζει αν η ανάκτηση έχασε τη σωστή πηγή, κατέταξε τη λάθος πηγή, συμπεριέλαβε παρωχημένο υλικό, έχασε πλαίσιο κατά τον τεμαχισμό, επέτρεψε διαρροή δικαιωμάτων ή άφησε το μοντέλο να αγνοήσει τα καλύτερα αποδεικτικά στοιχεία. Αυτά είναι διαφορετικά σφάλματα. Χωρίς προέλευση, καταρρέουν σε μία άχρηστη κατηγορία: η τεχνητή νοημοσύνη ήταν περίεργη. Αυτή η κατηγορία είναι δημοφιλής στις συναντήσεις και σχεδόν εντελώς άχρηστη στην ανασκόπηση περιστατικών.
Η καλή προέλευση δίνει σχήμα στην αποτυχία. Επιτρέπει στις ομάδες να επιθεωρούν τη διαδρομή του εγγράφου, το όριο τεμαχίου, την έκδοση ενσωμάτωσης, την επανεγγραφή ερωτήματος, το αποτέλεσμα ανακατάταξης, τη συναρμολόγηση προτροπής και την τελική δημιουργία. Δεν καθιστά το σύστημα τέλειο. Καθιστά τα λάθη εντοπίσιμα. Τα εντοπίσιμα λάθη μπορούν να επιδιορθωθούν. Τα μη εντοπίσιμα λάθη γίνονται λαογραφία, και η λαογραφία έχει τρομερή διαθεσιμότητα.
Ο τεμαχισμός είναι μια συντακτική πράξη
Οι άνθρωποι συχνά περιγράφουν το τεμαχισμό ως ένα τεχνικό βήμα προεπεξεργασίας. Είναι κάτι περισσότερο από αυτό. Ο τεμαχισμός καθορίζει ποιο πλαίσιο ταξιδεύει μαζί. Μια παράγραφος που αποκόπτεται από τη σημείωση εξαίρεσής της μπορεί να αλλάξει νόημα. Μια ρήτρα εγγύησης που χωρίζεται από την επικεφαλίδα δικαιοδοσίας της μετατρέπεται σε παγίδα. Μια κλινική σύσταση χωρίς την ομάδα ασθενών που την περιορίζει δεν είναι πλέον η ίδια σύσταση. Ένα δείγμα κώδικα χωρίς την προειδοποίησή του είναι μια ενέδρα με μονοτονική γραμματοσειρά.
Κάθε στρατηγική τεμαχισμού είναι μια συντακτική πολιτική. Τα σταθερά παράθυρα διακριτικών είναι απλά και γρήγορα, αλλά μπορούν να κόψουν μέσα από το νόημα. Ο σημασιολογικός τεμαχισμός σέβεται τις αλλαγές θέματος, αλλά μπορεί να χάσει πίνακες, λίστες, λεζάντες και νομική δομή. Ο τεμαχισμός βάσει ενοτήτων διατηρεί την ιεραρχία, αλλά μόνο αν ο αναλυτής αναγνωρίζει πραγματικά την ιεραρχία. Η ανάκτηση γονέα-παιδιού μπορεί να φέρει ένα μικρό ταίριασμα και ένα μεγαλύτερο περιβάλλον απόσπασμα, αλλά τότε το σύστημα πρέπει να καταγράψει και τα δύο. Τίποτα από αυτά δεν είναι μυστικιστικό. Είναι δουλειά εγγράφων. Η δουλειά εγγράφων είναι εκεί όπου πολλά συστήματα τεχνητής νοημοσύνης ανακαλύπτουν ότι το βαρετό γραφείο προστάτευε το νόημα όλο αυτό το διάστημα.
Η προέλευση μετατρέπει τον τεμαχισμό από σιωπηλή ζημιά σε ορατή επιλογή. Το σύστημα θα πρέπει να γνωρίζει ποιο έγγραφο παρήγαγε ένα τεμάχιο, ποιος αναλυτής το διάβασε, ποιες επικεφαλίδες το περιέκλειαν, ποια γειτονικά τεμάχια ήταν κοντά, από ποια σελίδα ή σειρά προήλθε και ποια μεγαλύτερη ενότητα μπορεί να εμφανιστεί όταν ένας άνθρωπος αμφισβητήσει την απάντηση. Η απάντηση δεν χρειάζεται να εμφανίζει όλα αυτά κάθε φορά. Πρέπει να τα διατηρεί. Η διαφορά μεταξύ κρυφού πλαισίου και απόντος πλαισίου γίνεται σημαντική ακριβώς τη στιγμή που όλοι είναι ήδη κουρασμένοι.
Ο τεμαχισμός επηρεάζει επίσης τη δικαιοσύνη μεταξύ των πηγών. Μια καθαρή σελίδα HTML μπορεί να παράγει όμορφα τεμάχια. Ένα σαρωμένο PDF μπορεί να παράγει σπασμένα αποσπάσματα. Ένα υπολογιστικό φύλλο μπορεί να χάσει τη δομή του. Αν το σύστημα ανάκτησης ευνοεί σιωπηλά τις πηγές που αναλύονται καθαρά, μπορεί επίσης να ευνοεί τμήματα, προμηθευτές ή γλώσσες με καλύτερη υγιεινή εγγράφων. Αυτό δεν είναι μεροληψία μοντέλου με τη δραματική έννοια. Είναι μεροληψία γραφείου, η οποία είναι λιγότερο κινηματογραφική και εκπληκτικά ισχυρή.
Οι παραπομπές δεν αρκούν
Μια παραπομπή μπορεί να είναι μια χρήσιμη διεπαφή χρήστη για την προέλευση, αλλά δεν είναι ολόκληρος ο μηχανισμός. Πολλά συστήματα εμφανίζουν μικρά εικονίδια πηγής δίπλα σε μια απάντηση. Αυτό είναι καλύτερο από το τίποτα. Είναι επίσης εύκολο να εξαπατηθεί κατά λάθος. Η απάντηση μπορεί να παραπέμπει σε ένα έγγραφο που ανακτήθηκε αλλά δεν χρησιμοποιήθηκε πραγματικά. Μπορεί να παραπέμπει σε μια σελίδα που περιέχει παρόμοιες λέξεις αλλά όχι τον ισχυρισμό. Μπορεί να παραπέμπει σε μια πηγή που ήταν διαθέσιμη στο σύστημα αλλά όχι στον χρήστη. Μπορεί να παραπέμπει σε μια παλιά έκδοση επειδή το ευρετήριο υστερεί σε σχέση με το αποθετήριο. Μια διακοσμητική παραπομπή εξακολουθεί να είναι διακόσμηση, μόνο με στολή υποσημείωσης.
Η σοβαρή τεκμηρίωση προέλευσης απαιτεί πειθαρχία σε επίπεδο αποσπάσματος. Αν η απάντηση λέει ότι μια πολιτική επιτρέπει μια εξαίρεση, το σύστημα θα πρέπει να γνωρίζει ποιο απόσπασμα υποστηρίζει αυτόν τον ισχυρισμό. Αν λέει ότι η εξαίρεση ισχύει μόνο κάτω από ένα όριο, θα πρέπει να εντοπίζει την πηγή του ορίου. Αν συνδυάζει δύο πηγές, θα πρέπει να διατηρεί ορατή τη σύνδεση. Αν τα στοιχεία συγκρούονται, δεν θα πρέπει να εξομαλύνει τη σύγκρουση σε μια ευχάριστη παράγραφο. Το μοντέλο μπορεί να συνοψίζει, αλλά το σύστημα δεν θα πρέπει να αφήνει τη σύνοψη να σβήνει τη δομή της απόδειξης.
Αυτό δεν σημαίνει ότι κάθε απάντηση πρέπει να συνοδεύεται από έναν νομικό φάκελο δεμένο με σπάγκο. Διαφορετικά πλαίσια χρειάζονται διαφορετικά επίπεδα επιφανειακής λεπτομέρειας. Μια απάντηση σε helpdesk μπορεί να δείχνει δύο συνδέσμους πηγών και μια σημείωση εμπιστοσύνης. Μια ιατρική, χρηματοοικονομική, νομική ή υπηρεσία δημοσίου συμφέροντος μπορεί να χρειάζεται αναφορές αποσπασμάτων, αναγνωριστικά εκδόσεων και κατάσταση ανθρώπινης αναθεώρησης. Η βασική απαίτηση είναι ότι η επιφάνεια μπορεί να επεκταθεί όταν αυξάνονται οι συνέπειες. Ένα σύστημα που δεν μπορεί να περάσει από μια απλή απάντηση σε ελέγξιμα στοιχεία είναι ένα chatbot που φοράει σοβαρό πουκάμισο.
Οι παραπομπές χρειάζονται επίσης αρνητικό χώρο. Το σύστημα θα πρέπει να μπορεί να πει ότι δεν βρήκε αρκετά στοιχεία, ή ότι οι ανακτηθείσες πηγές διαφωνούν, ή ότι οι πηγές είναι παρωχημένες, ή ότι ο χρήστης δεν έχει πρόσβαση στο απαραίτητο υλικό. Μια άρνηση με τεκμηρίωση προέλευσης είναι συχνά πιο χρήσιμη από μια απάντηση με πλαστή παραπομπή. Ο οργανισμός μπορεί να μην ευχαριστιέται να ακούει όχι. Οι οργανισμοί σπάνια το ευχαριστιούνται. Γι' αυτό υπάρχει η διακυβέρνηση, και περιστασιακά ο καφές.
Η επικαιρότητα είναι μέρος της αλήθειας
Η τεκμηρίωση προέλευσης χωρίς χρόνο είναι ελλιπής. Πολλά λάθη στις επιχειρήσεις προέρχονται από παλιό υλικό που παραμένει αναζητήσιμο επειδή κανείς δεν ήθελε να διαγράψει κάτι με τίτλο που ακουγόταν σημαντικός. Οι πολιτικές λήγουν. Οι τιμές αλλάζουν. Τα εγχειρίδια προϊόντων αντικαθίστανται. Οι ρυθμιστικές κατευθύνσεις μετακινούνται. Τα λεξικά δεδομένων αποκλίνουν. Ένα σύστημα ανάκτησης που αντιμετωπίζει το παλιό και το τρέχον υλικό ως ίσα δεν είναι ουδέτερο. Αναθέτει τη διαχείριση του χρόνου στην ομοιότητα συνημιτόνου, που είναι μια τολμηρή επιλογή τρόπου ζωής.
Κάθε πηγή σε ένα σύστημα ανάκτησης θα πρέπει να φέρει χρονική σημασία. Πότε δημιουργήθηκε. Πότε τέθηκε σε ισχύ. Πότε αναθεωρήθηκε τελευταία φορά. Πότε ευρετηριάστηκε. Πότε λήγει. Ποια έκδοση την αντικατέστησε. Ήταν σχέδιο, αντίγραφο έγκρισης, αρχειοθετημένο αντίγραφο ή τρέχον αντίγραφο. Αυτά δεν είναι γραφειοκρατικά στολίδια. Είναι μέρος του αν η απάντηση είναι αρκετά αληθής για να χρησιμοποιηθεί. Μια παράγραφος από τη διαδικασία του περασμένου έτους μπορεί να είναι άψογα γραμμένη και απόλυτα λανθασμένη.
Η επικαιρότητα έχει επίσης λειτουργικές συνέπειες. Οι καθυστερήσεις ευρετηρίασης θα πρέπει να είναι ορατές. Αν ένα αποθετήριο άλλαξε στις 09:00 και το ευρετήριο διανυσμάτων ενημερώνεται κατά τη διάρκεια της νύχτας, το σύστημα πρέπει να γνωρίζει αυτό το κενό. Αν επείγον υλικό παρακάμπτει την κανονική ροή εργασιών, η παράκαμψη θα πρέπει να καταγράφεται. Αν μια πηγή αποσύρεται, τα embeddings και τα παραγόμενα αποσπάσματα θα πρέπει να αποσύρονται μαζί της ή να παραμένουν ρητά χαρακτηρισμένα ως ιστορικά. Διαφορετικά, το σύστημα γίνεται ένα μουσείο που μερικές φορές δίνει επιχειρησιακές συμβουλές.
Η τεκμηρίωση προέλευσης με επίγνωση του χρόνου βοηθά τους χρήστες να εμπιστεύονται τα σωστά πράγματα. Επιτρέπει σε έναν βοηθό να πει ότι αυτή η απάντηση βασίζεται στην πολιτική που ισχύει από τις 5 Μαρτίου 2026, ευρετηριάστηκε στις 11:20 και δεν βρέθηκε νεότερο αντικαταστάτη αρχείο. Αυτή η πρόταση δεν είναι εντυπωσιακή. Είναι χρήσιμη. Το χρήσιμο υπερτερεί του εντυπωσιακού σε κάθε περιστατικό που έχω συναντήσει.
Τα δικαιώματα πρόσβασης ταξιδεύουν επίσης
Ο έλεγχος πρόσβασης συχνά εφαρμόζεται στην εξώπορτα και ξεχνιέται στον διάδρομο. Ένας χρήστης μπορεί να μην έχει δικαίωμα να ανοίξει ένα έγγραφο πηγής, αλλά το embedding του εγγράφου μπορεί να βρίσκεται σε ένα κοινό ευρετήριο. Ένα απόσπασμα μπορεί να περιλαμβάνεται σε ένα prompt επειδή η υπηρεσία ανάκτησης λειτουργεί με έναν ευρύ λογαριασμό υπηρεσίας. Μια παραγόμενη απάντηση μπορεί να αποκαλύψει την ύπαρξη μιας εμπιστευτικής υπόθεσης ακόμη και χωρίς να την παραθέτει. Το σύστημα δεν διέρρευσε το αρχείο, λένε κάποιοι. Απλώς διέρρευσε το συμπέρασμα. Αυτή είναι μια διάκριση που είναι καλύτερο να διατυπώνεται από ασφαλή απόσταση.
Η προέλευση πρέπει να περιλαμβάνει δικαιώματα πρόσβασης, επειδή τα αποδεικτικά στοιχεία χωρίς εξουσιοδότηση δεν είναι αξιοποιήσιμα. Το σύστημα θα πρέπει να γνωρίζει ποιος χρήστης, ποιος ρόλος, ποιος σκοπός και ποιο πλαίσιο επέτρεψε σε κάθε ανακτημένο στοιχείο να συμπεριληφθεί στην απάντηση. Θα πρέπει να διακρίνει την πρόσβαση στην πηγή από την πρόσβαση σε παράγωγο περιεχόμενο. Θα πρέπει να διαχειρίζεται τη διαγραφή ευαίσθητων δεδομένων πριν από τη δημιουργία απάντησης, όπου χρειάζεται. Θα πρέπει να καταγράφει πότε μια απάντηση περιορίστηκε λόγω δικαιωμάτων και όχι λόγω έλλειψης αποδεικτικών στοιχείων. Διαφορετικά, οι χρήστες θα παρερμηνεύσουν τη σιωπή ως απουσία πληροφορίας ή, χειρότερα, θα λάβουν πληροφορίες που δεν προορίζονταν ποτέ να δουν.
Η ανάκτηση με επίγνωση των δικαιωμάτων είναι δυσκολότερη από τη συνηθισμένη ανάκτηση, επειδή αλλάζει την κατάταξη, την προσωρινή αποθήκευση, την αξιολόγηση και τις δοκιμές. Δύο χρήστες μπορούν να κάνουν την ίδια ερώτηση και να λάβουν θεμιτά διαφορετικά αποδεικτικά στοιχεία. Αυτό δεν είναι ασυνέπεια. Αυτό είναι διακυβέρνηση. Το δύσκολο μέρος είναι να γίνει η διαφορά εξηγήσιμη χωρίς να αποκαλυφθεί ό,τι πρέπει να παραμείνει κρυφό. Το σύστημα μπορεί να χρειαστεί να πει ότι ενδέχεται να υπάρχουν περιορισμένα αρχεία εκτός του πεδίου πρόσβασής σας, αντί να προσποιείται ότι ο κόσμος περιέχει μόνο ό,τι μπορεί να διαβάσει ο χρήστης.
Εδώ είναι επίσης που πολλά πιλοτικά έργα καταρρέουν όταν συναντούν την πραγματικότητα. Ένα πρωτότυπο που βασίζεται σε έναν κοινόχρηστο φάκελο μπορεί να εντυπωσιάσει τους πάντες για μια εβδομάδα. Στη συνέχεια, κάποιος ρωτά για αρχεία ανθρώπινου δυναμικού, έγγραφα εξαγοράς, ιατρικές σημειώσεις, νομικό απόρρητο, υλικό συμβουλίου εργαζομένων ή έρευνα που υπόκειται σε περιορισμούς εξαγωγών. Το σύστημα ανάκτησης ξαφνικά χρειάζεται ώριμη εποπτεία. Η διασκεδαστική επίδειξη γίνεται έργο διαχείρισης δεδομένων, που ήταν εξαρχής.
Η αντίφαση δεν είναι σφάλμα που πρέπει να κρύβεται
Τα πραγματικά αρχεία αντιφάσκουν μεταξύ τους. Η ομάδα πολιτικής ενημέρωσε τη διαδικασία αλλά όχι τις συχνές ερωτήσεις. Οι συχνές ερωτήσεις ενημέρωσαν το παράδειγμα αλλά όχι τον πίνακα. Το περιφερειακό γραφείο διατήρησε μια τοπική εξαίρεση. Η σύμβαση λέει ένα πράγμα, ο οδηγός υλοποίησης λέει άλλο, και το υπολογιστικό φύλλο που έφτιαξε ένα πολύ πρακτικό άτομο λέει τι κάνουν στην πραγματικότητα όλοι. Η ανάκτηση θα τα βρει όλα αν το ερώτημα είναι άτυχο ή ειλικρινές.
Ένα σύστημα με επίγνωση της προέλευσης θα πρέπει να αντιμετωπίζει την αντίφαση ως αποτέλεσμα πρώτης κατηγορίας. Θα πρέπει να δείχνει ότι πολλές πηγές διαφωνούν, να προσδιορίζει την εξουσία και την επικαιρότητά τους και να αποφεύγει να παρουσιάζει μια ενιαία συγχωνευμένη απάντηση σαν να έχει μιλήσει ο οργανισμός με μία φωνή. Μερικές φορές η σωστή απάντηση δεν είναι ότι επιτρέπεται η εξαίρεση. Μερικές φορές είναι ότι η τρέχουσα πολιτική φαίνεται να την επιτρέπει, οι συχνές ερωτήσεις φαίνονται ξεπερασμένες και ο υπεύθυνος της σύμβασης θα πρέπει να επιλύσει τη σύγκρουση πριν από οποιαδήποτε ενέργεια. Αυτή η απάντηση είναι λιγότερο βολική. Είναι επίσης λιγότερο πιθανό να δημιουργήσει ένα μικρό νομικό μετεωρολογικό σύστημα.
Ο χειρισμός αντιφάσεων απαιτεί ιεράρχηση των πηγών κατά κύρος, όχι μόνο κατά συνάφεια. Μια πολιτική εγκεκριμένη από το διοικητικό συμβούλιο μπορεί να υπερισχύει ενός άρθρου βοήθειας. Μια υπογεγραμμένη σύμβαση μπορεί να υπερισχύει μιας παρουσίασης πωλήσεων. Μια τοπική διαδικασία μπορεί να υπερισχύει ενός γενικού εγχειριδίου εντός του τοπικού πεδίου εφαρμογής της. Ένα προσχέδιο δεν θα πρέπει να υπερισχύει μιας έγκυρης έκδοσης, εκτός αν ο χρήστης ρωτά ρητά για προσχέδια. Αυτοί οι κανόνες είναι βαρετοί. Είναι όμως και το σημείο όπου η ιεραρχία αλήθειας του οργανισμού γίνεται τεχνική.
Αν κανείς δεν θέλει να ορίσει αυτή την ιεραρχία, το σύστημα ανάκτησης θα την ορίσει κατά λάθος. Θα χρησιμοποιήσει ομοιότητα κειμένου, πρόσφατη ημερομηνία, ποιότητα μορφοποίησης, μήκος τμημάτων ή όποιο άλλο σήμα προσφέρει η διαδικασία. Η τυχαία εξουσία εξακολουθεί να είναι εξουσία. Απλώς έρχεται χωρίς πρακτικά.
Η αξιολόγηση χρειάζεται αποτυχία πηγής, όχι μόνο αποτυχία απάντησης
Πολλές ομάδες αξιολογούν τα συστήματα ανάκτησης ελέγχοντας αν η τελική απάντηση ακούγεται σωστή. Αυτό είναι χρήσιμο αλλά ανεπαρκές. Μια σωστή απάντηση από λάθος πηγή είναι ένα μελλοντικό περιστατικό που προθερμαίνεται. Το σύστημα μπορεί να πέτυχε μόνο επειδή το μοντέλο γνώριζε ήδη την απάντηση, ή επειδή ένα παρωχημένο έγγραφο έτυχε να ταιριάζει με τον ισχύοντα κανόνα, ή επειδή ο αξιολογητής δέχθηκε μια παραπομπή που δεν υποστήριζε τον ισχυρισμό. Η ποιότητα της απάντησης και η ποιότητα των αποδεικτικών στοιχείων πρέπει να ελέγχονται ξεχωριστά.
Ένα σύνολο αξιολόγησης ανάκτησης θα πρέπει να περιλαμβάνει προσδοκίες για τις πηγές. Για κάθε ερώτηση δοκιμής, ποια έγγραφα είναι αποδεκτά. Ποια είναι μη αποδεκτά. Ποιες εκδόσεις έχουν σημασία. Ποιες άδειες ισχύουν. Ποιες συγκρούσεις πρέπει να αναδεικνύονται. Ποια απάντηση πρέπει να απορρίπτεται επειδή λείπουν αποδεικτικά στοιχεία. Αυτό είναι πιο αργό στην κατασκευή από ένα σωρό ζευγών ερώτησης-απάντησης. Είναι όμως και πιο κοντά στη δουλειά που πρέπει να κάνει το σύστημα. Ένα σύστημα ανάκτησης χωρίς αξιολόγηση πηγών είναι σαν ένα χρηματοοικονομικό σύστημα που δοκιμάζεται μόνο ρωτώντας αν ο τελικός αριθμός φαίνεται εύλογος. Μπορεί να περάσει μέχρι και τον έλεγχο.
Η επιχειρησιακή παρακολούθηση θα πρέπει να εξετάζει και τη συμπεριφορά των πηγών. Ποιες πηγές υπερεκπροσωπούνται. Ποιες πηγές ανακτώνται σπάνια αλλά χρειάζονται συχνά. Ποια τμήματα παρατίθενται συχνά. Ποιες απαντήσεις διορθώνονται αργότερα. Ποια παρωχημένα έγγραφα συνεχίζουν να εμφανίζονται. Ποιες ομάδες χρηστών λαμβάνουν περισσότερες απορρίψεις επειδή τα όρια αδειών είναι κακώς μοντελοποιημένα. Αυτά τα σήματα δεν είναι απλώς τεχνικές μετρήσεις. Είναι αποδεικτικά στοιχεία για την υγεία του συνόλου της γνώσης.
Όταν υπάρχει προέλευση, η αξιολόγηση γίνεται πιο ακριβής. Μια αποτυχημένη απάντηση μπορεί να εντοπιστεί στην ανάκτηση, στην κατάταξη, στην ποιότητα της πηγής, στην πολιτική πρόσβασης, στη σύνθεση του προτροπή ή στη δημιουργία. Κάθε κατηγορία αποτυχίας έχει διαφορετικό υπεύθυνο. Αυτό είναι άβολο γιατί εμποδίζει την παρηγορητική φράση το AI το έκανε λάθος να καταπιεί κάθε πρόβλημα. Καλά κάνει. Η άνεση είναι υπερεκτιμημένη όταν το σύστημα παίρνει αποφάσεις.
Ο βρόχος απόφασης
Η προέλευση δεν θα πρέπει να είναι ένα χαρακτηριστικό αρχειοθέτησης που προστίθεται στο τέλος. Ανήκει στον βρόχο απόφασης. Ένας χρήστης ρωτά. Το σύστημα ανακτά σύμφωνα με την πολιτική. Η απάντηση φέρει αποδεικτικά στοιχεία. Ο χρήστης αποδέχεται, αμφισβητεί ή διορθώνει. Η διόρθωση ενημερώνει την ποιότητα της πηγής, τους κανόνες κατάταξης, τα μεταδεδομένα, τους ελέγχους πρόσβασης ή τα παραδείγματα εκπαίδευσης. Η επόμενη απάντηση δεν δημιουργείται απλώς ξανά. Διέπεται από όσα έμαθε ο οργανισμός.
Αυτός ο βρόχος είναι ο τρόπος με τον οποίο η ανάκτηση γίνεται θεσμική μνήμη και όχι ένα έξυπνο συμπλήρωση κειμένου για έγγραφα. Χωρίς τον βρόχο, κάθε απάντηση είναι ένα μεμονωμένο γεγονός. Με τον βρόχο, οι απαντήσεις γίνονται σήματα για την κατάσταση του συστήματος γνώσης. Μια κακή απάντηση μπορεί να αποκαλύψει μια παρωχημένη πολιτική. Μια απόρριψη μπορεί να αποκαλύψει ελλιπή τεκμηρίωση. Μια αντίφαση μπορεί να αποκαλύψει μη διευθετημένη ιδιοκτησία. Μια συχνή ερώτηση μπορεί να αποκαλύψει ότι μια διαδικασία είναι δυσανάγνωστη. Το επίπεδο ανάκτησης γίνεται διαγνωστικό όργανο, όχι μόνο μηχανή απαντήσεων.
Ο βρόχος δίνει και στους ανθρώπους έναν λογικό ρόλο. Δεν θα έπρεπε να ζητείται από τους ανθρώπους να ελέγχουν κάθε διακριτικό στοιχείο. Θα έπρεπε να τους ζητείται να επιλύουν τις ουσιώδεις αποτυχίες που αποκαλύπτει η προέλευση. Είναι έγκυρη αυτή η πηγή. Ισχύει αυτή η εξαίρεση. Είναι σωστό αυτό το όριο πρόσβασης. Είναι πραγματική αυτή η σύγκρουση. Αυτά είναι ανθρώπινα ζητήματα διακυβέρνησης. Το σύστημα μπορεί να τα δρομολογεί, να τα καταγράφει και να μαθαίνει από τις απαντήσεις τους. Δεν θα έπρεπε να τα θάβει κάτω από άνετο κείμενο.
Τελικά, η προέλευση δεν είναι μια ακαδημαϊκή λεπτομέρεια. Είναι η διαφορά ανάμεσα σε ένα σύστημα τεχνητής νοημοσύνης που μπορεί να συμμετέχει σε υπεύθυνη εργασία και σε ένα που μπορεί απλώς να ακούγεται χρήσιμο μέχρι να αμφισβητηθεί. Η ανάκτηση φέρνει το υλικό στο τραπέζι. Η προέλευση λέει ποιος το έφερε, από πού, με ποια εξουσιοδότηση και αν πρέπει να το εμπιστευτεί κανείς αρκετά ώστε να ενεργήσει βάσει αυτού.
Το δίδαγμα
Η ανάκτηση είναι ένα από τα πιο χρήσιμα μοτίβα στην εφαρμοσμένη τεχνητή νοημοσύνη, επειδή συνδέει τα μοντέλα με τη ζωντανή γνώση. Αυτή ακριβώς η χρησιμότητα είναι ο λόγος που χρειάζεται προέλευση. Όσο περισσότερο βασίζονται οι άνθρωποι σε ανακτημένες απαντήσεις, τόσο λιγότερο αποδεκτό γίνεται να λέμε ότι η πηγή ήταν κάπου στο ευρετήριο. Το «κάπου» δεν είναι έλεγχος. Το «κάπου» είναι εκεί που αρχίζουν οι κακές συναντήσεις.
Ένα σοβαρό σύστημα ανάκτησης διατηρεί την ταυτότητα κατά τη μετακίνηση. Διατηρεί την πηγή, την έκδοση, την άδεια, τον χρόνο, το πλαίσιο τμημάτων, την εξουσιοδότηση, την αντίφαση και τη χρήση. Αξιολογεί αν τα αποδεικτικά στοιχεία υποστηρίζουν τους ισχυρισμούς, όχι μόνο αν οι απαντήσεις ακούγονται καλές. Καθιστά δυνατή την άρνηση όταν τα αποδεικτικά στοιχεία είναι λίγα. Επιτρέπει στους ανθρώπους να αμφισβητούν και να επισκευάζουν το σύστημα γνώσης. Αυτό δεν είναι γραφειοκρατία γύρω από την τεχνητή νοημοσύνη. Είναι το κομμάτι που μετατρέπει την ανάκτηση από γρήγορη εικασία σε υπεύθυνη υποστήριξη.
Το μοντέλο μπορεί να γράφει την απάντηση. Το επίπεδο ανάκτησης μπορεί να βρίσκει τις λέξεις. Η προέλευση είναι αυτή που επιτρέπει στον οργανισμό να οικειοποιηθεί τον ισχυρισμό. Χωρίς αυτήν, όλη αυτή η ταχύτητα απλώς φέρνει την αβεβαιότητα στον χρήστη νωρίτερα.