Τα αρχεία καταγραφής δεν αποτελούν αποδεικτικό στοιχείο

Μια ιστορία για την άβολη αίθουσα ελέγχου, όπου μια ομάδα ανακαλύπτει ότι τα αναζητήσιμα αρχεία καταγραφής, τα όμορφα ταμπλό και ένα γενναίο πρόσωπο δεν...

Τα αρχεία καταγραφής δεν αποτελούν αποδεικτικό στοιχείο

Το άβολο σημείο μετά τον πίνακα ελέγχου

Η πρώτη συνάντηση ελέγχου συνήθως ξεκινά με αυτοπεποίθηση. Η ομάδα έχει πίνακες ελέγχου. Η ομάδα έχει καταγραφή συμβάντων. Η ομάδα έχει πολιτική διατήρησης, ενσωμάτωση SIEM, μερικά στιγμιότυπα οθόνης και κάποιον που ξέρει πού κρύβεται το κουμπί εξαγωγής στην κονσόλα του cloud. Όλοι έχουν κάνει τα συνηθισμένα. Αυτός είναι ακριβώς ο λόγος που η συνάντηση γίνεται άβολη.

Ο ελεγκτής δεν ρωτά αν υπάρχουν αρχεία καταγραφής. Φυσικά και υπάρχουν. Κάθε σύγχρονο σύστημα τα γράφει με το κιλό. Το ερώτημα είναι αν το αρχείο μπορεί να απαντήσει σε μια συγκεκριμένη ερώτηση ελέγχου χωρίς η ομάδα να ανασυνθέσει την ιστορία χειροκίνητα. Ποιος ενέκρινε την κλήση εργαλείου; Ποια έκδοση της ροής εργασίας εκτελέστηκε; Ποιο δικαίωμα δεδομένων ασκήθηκε; Πότε έγινε γνωστό το περιστατικό τεχνητής νοημοσύνης; Τι ακριβώς κυκλοφόρησε; Μπορεί η αλυσίδα να ελεγχθεί αφού το σύστημα έχει μετακινηθεί, αφού ένα αρχείο έχει περιστραφεί, αφού η αρχική υπηρεσία έχει αντικατασταθεί;

Εδώ αρχίζει να κλονίζεται η συνηθισμένη καταγραφή. Μια γραμμή καταγραφής είναι μια χρήσιμη λειτουργική ένδειξη. Λέει στον προγραμματιστή από πού προήλθε ο καπνός. Δεν είναι αυτόματα αποδεικτικό στοιχείο. Μπορεί να είναι ελεύθερο κείμενο. Μπορεί να αναδιαταχθεί από ρολόγια, προσωρινή αποθήκευση, εργασίες, επαναλήψεις και περιστροφή αρχείων. Μπορεί να έχει ασυνεπή πεδία επειδή η μία ομάδα έγραψε δομημένο JSON και η άλλη έγραψε ό,τι φαινόταν χρήσιμο στις 23:41. Μια ολλανδική ιδιαιτερότητα, παρεμπιπτόντως: γράψε ένα όμορφο έγγραφο διαδικασίας και μετά αποθήκευσε το μόνο χρήσιμο γεγονός σε ένα μήνυμα καταγραφής που ονομάζεται misc. Πολύ αποτελεσματικό, αν ο στόχος είναι η μετέπειτα μεταμέλεια.

Το Ledger υπάρχει για το σημείο όπου η μεταμέλεια γίνεται ακριβή. Είναι μια ροή μόνο προσθήκης από τυποποιημένα συμβάντα, ομαδοποιημένα σε συνεδρίες, συνδεδεμένα με κατακερματισμούς, αποθηκευμένα μέσω υποδομών αποθήκευσης και αναπαράξιμα ως ιστορικό συστήματος. Δεν επιχειρεί να αντικαταστήσει κάθε βάση δεδομένων. Δεν επιχειρεί να γίνει AION. Δεν είναι η απόδειξη ενός συμπεράσματος μέσα σε μια μεμονωμένη απόφαση. Είναι το σφραγισμένο λειτουργικό αρχείο του τι συνέβη γύρω από το σύστημα.

Το αναζητήσιμο κείμενο είναι χρήσιμο. Ένα τυποποιημένο συμβάν με σύνδεση κατακερματισμού είναι διαφορετικό αντικείμενο.

Η διαφορά φαίνεται μικρή μέχρι τον πρώτο σοβαρό έλεγχο. Τα αρχεία καταγραφής ζητούν από τον ελεγκτή να πιστέψει ότι ένα σύνολο γραμμών είναι αρκετά πλήρες, αρκετά ταξινομημένο και αρκετά αναλλοίωτο. Το Ledger αλλάζει τη μορφή της απάντησης. Λέει: εδώ είναι το συμβάν, εδώ είναι ο προηγούμενος κατακερματισμός, εδώ είναι η συνεδρία, εδώ είναι το τυποποιημένο ωφέλιμο φορτίο, εδώ είναι πώς να διασχίσετε την αλυσίδα. Λιγότερο θέατρο. Περισσότερο αντικείμενο.

Η ερώτηση ελέγχου έχει σχήμα

Οι καλές ερωτήσεις ελέγχου είναι ενοχλητικά συγκεκριμένες. Δεν εντυπωσιάζονται από το γεγονός ότι το σύστημα ήταν πολύπλοκο. Δεν τους ενδιαφέρει ότι η ανάπτυξη είχε δέκα υπηρεσίες και ένα δίαυλο μηνυμάτων με απόψεις. Ζητούν ένα χρονικό σημείο, μια υπεύθυνη ενέργεια, ένα αρχείο και έναν τρόπο να επαληθεύσουν ότι το αρχείο σημαίνει ακόμα ό,τι σήμαινε όταν γράφτηκε.

Γι' αυτό το Ledger ξεκινά με τυποποιημένα συμβάντα. Μια κλήση εργαλείου δεν είναι απλώς μια συμβολοσειρά που περιέχει το κλήθηκε εργαλείο. Ένα αποτέλεσμα εργαλείου δεν είναι απλώς μια πρόταση. Μια έγκριση δεν είναι ένα ανασήκωμα των ώμων σε ένα εισιτήριο. Συναίνεση, δραστηριότητα ΕΠΔ, δικαιώματα υποκειμένων δεδομένων, αιτήματα διαγραφής, περιστατικά τεχνητής νοημοσύνης, δημιουργία SBOM, διαπιστεύσεις, τεχνουργήματα, συνεδρίες, σημεία ελέγχου, αποτελέσματα αναπαραγωγής: αυτά ανήκουν σε σχήματα συμβάντων. Ο ιστότοπος περιγράφει εννέα κατηγορίες και είκοσι τρεις παραλλαγές· το τοπικό σχήμα συμβάντων υποστηρίζει αυτή τη δομή. Ο ακριβής αριθμός έχει μικρότερη σημασία από τη σχεδιαστική συνήθεια πίσω από αυτόν. Η ερώτηση ελέγχου θα πρέπει να καταλήγει σε έναν τύπο, όχι σε μια παράγραφο.

Η πληκτρολόγηση δεν είναι γραφειοκρατία για την ίδια τη γραφειοκρατία. Είναι αυτό που εμποδίζει κάθε έρευνα να μετατραπεί σε ένα μικρό αρχαιολογικό πρότζεκτ. Αν το συμβάν έχει κατηγορία, ωφέλιμο φορτίο, χρονική σήμανση, συνεδρία, σχέση γονέα όπου χρειάζεται, μεταδεδομένα, κατακερματισμό περιεχομένου, προηγούμενο κατακερματισμό, προαιρετική υπογραφή και μεταδεδομένα συμμόρφωσης, ο αναθεωρητής έχει ένα αρχείο να εξετάσει. Αν το συμβάν είναι μια μορφοποιημένη συμβολοσειρά, ο αναθεωρητής έχει μια διάθεση.

Αυτό δεν είναι πόλεμος κατά των αρχείων καταγραφής. Τα αρχεία καταγραφής παραμένουν χρήσιμα για συστήματα σε λειτουργία. Είναι η περιφερειακή όραση του μηχανικού. Το Ledger αφορά τις στιγμές όπου η περιφερειακή όραση δεν αρκεί. Μια αναθεώρηση ρωτά αν διατηρήθηκε το ιστορικό, αν ένα αρχείο μπορεί να αναπαραχθεί, αν μια κατάσταση μπορεί να ανακατασκευαστεί και αν οι σιωπηλές επεξεργασίες γίνονται ορατές. Αυτές οι ερωτήσεις χρειάζονται μια δομή που σχεδιάστηκε πριν από το περιστατικό, όχι μια δομή που συναρμολογήθηκε μετά από αυτό.

Το append-only είναι μια υπόσχεση που μπορείτε να ελέγξετε

Το append-only ακούγεται σαν μια απλή υπόσχεση. Γράψε μία φορά. Πρόσθεσε στην ουρά. Μην ξαναγράφεις το ιστορικό. Στην πράξη, αυτή η υπόσχεση έχει σημασία μόνο αν το αρχείο μπορεί να αποκαλύψει παραποίηση, περικοπή, χαμένους συνδέσμους και διακοπή της συνέχειας. Ένα αρχείο κειμένου μπορεί να χαρακτηριστεί append-only σε ένα έγγραφο πολιτικής, αλλά αν μια γραμμή εξαφανιστεί και κανείς δεν διαμαρτυρηθεί, η πολιτική ήταν κυρίως εσωτερική διακόσμηση.

Το Ledger μοντελοποιεί την ακεραιότητα σε επίπεδο συμβάντος. Κάθε συμβάν έχει περιεχόμενο που συμβάλλει σε έναν κατακερματισμό περιεχομένου. Το συμβάν δείχνει επίσης στον προηγούμενο κατακερματισμό της αλυσίδας. Η συντήρηση αποθήκευσης μπορεί να επαληθεύσει τη συνέχεια. Η αναπαραγωγή μπορεί να διατρέξει τα συμβάντα με τη σειρά. Οι άγκυρες εμπιστοσύνης μπορούν να σφραγίσουν τμήματα. Η σημαντική ιδέα είναι ότι η ακεραιότητα δεν ανατίθεται σε ένα σύστημα αποθήκευσης που λέει ότι η εγγραφή πέτυχε. Το ίδιο το συμβάν φέρει τον σύνδεσμο που επιτρέπει τον έλεγχο της αλυσίδας.

Το Ledger μετατρέπει το ιστορικό λειτουργίας σε μια αλυσίδα που μπορεί να διατρεχθεί, όχι σε έναν φάκελο γραμμών για τον οποίο μπορεί κανείς να διαφωνήσει.

Η διοχέτευση είναι σκόπιμα συνηθισμένη: προσθήκη, κατακερματισμός, άγκυρα, διατήρηση, αναπαραγωγή. Το συνηθισμένο είναι καλό εδώ. Η υποδομή ελέγχου δεν πρέπει να εξαρτάται από ηρωικές ενέργειες. Αν ένα σύστημα χρειάζεται έναν γενναίο μηχανικό με ένα υπολογιστικό φύλλο κάθε φορά που ένας αναθεωρητής κάνει μια βασική ερώτηση, το σύστημα δεν έχει καταστεί υπόλογο. Απλώς έχει προσλάβει κάποιον υπομονετικό.

Το υλικό πηγής αποτελεί επίσης ένα χρήσιμο σημείο ανάπτυξης. Το Ledger μπορεί να βρίσκεται κοντά στο σύστημα: ως ενσωματωμένο Rust API, C ABI, sidecar ή επιφάνεια υπηρεσίας. Αυτό έχει σημασία γιατί η προέλευση που καταγράφεται μακριά συχνά φτάνει αργά, χάνει το πλαίσιο ή φιλτράρεται μέσα από την ευκολία του μέσου που κάνει τη μεταφορά. Όσο πιο κοντά είναι το συμβάν σε αυτό που συνέβη, τόσο λιγότερες ερμηνευτικές ακροβασίες χρειάζονται αργότερα.

Το Ledger δεν είναι AION, και αυτό είναι καλό

Μια συνηθισμένη αποτυχία στη διακυβέρνηση της τεχνητής νοημοσύνης είναι να χρησιμοποιείται μία λέξη για πέντε διαφορετικά είδη αποδεικτικών στοιχείων. Όλα γίνονται ιχνηλασιμότητα, ή προέλευση, ή επεξηγησιμότητα, ή διαφάνεια. Οι λέξεις γίνονται ζεστή σούπα. Όλοι κουνάνε το κεφάλι, κανείς δεν μπορεί να αναπαράγει τίποτα, και μετά ο ρυθμιστής κάνει μια συγκεκριμένη ερώτηση. Αυτό δεν είναι στρατηγική. Είναι ομίχλη με τιμολόγια.

Το Ledger και το AION απαντούν σε διαφορετικές ερωτήσεις. Το Ledger καταγράφει τι συνέβη σε ολόκληρο το σύστημα: κλήσεις εργαλείων, αποτελέσματα, εγκρίσεις, τεχνουργήματα, συνεδρίες, συμβάντα συμμόρφωσης, περιστατικά, βεβαιώσεις. Το AION πιστοποιεί τα βήματα συλλογισμού μέσα σε μια απόφαση: δεδομένων των προϋποθέσεων και των κανόνων, ακολούθησε αυτό το συμπέρασμα μέσω της καταγεγραμμένης απόδειξης; Το Trace στη συνέχεια μεταφέρει γραφήματα λειτουργίας, πύλες πολιτικής, κατακερματισμούς, ρίζες και διαδρομές αναπαραγωγής για υπολογισμούς. Το Selvedge καταγράφει μεταγραφές εκτέλεσης σε ένα sandbox. Το Lattice αξιολογεί τις πύλες πολιτικής. Αυτά είναι γείτονες, όχι συνώνυμα.

Αυτός ο διαχωρισμός δεν είναι σχολαστικότητα. Εμποδίζει τις ομάδες να υπερβάλλουν στους ισχυρισμούς τους. Ένα πολύ καλό αρχείο Ledger μπορεί να δείξει ότι κλήθηκε ένα μοντέλο, ότι χορηγήθηκε μια έγκριση, ότι παρήχθη ένα τεχνούργημα και ότι καταγράφηκε ένα περιστατικό. Από μόνο του, όμως, δεν αποδεικνύει ότι προέκυψε ένα λογικό συμπέρασμα. Αυτός είναι ο τομέας του AION. Ένα καλό πιστοποιητικό AION μπορεί να αποδείξει μια διαδρομή συλλογισμού, αλλά από μόνο του δεν καταγράφει κάθε περιβάλλον λειτουργικό γεγονός σε μια ροή εργασίας. Αυτός είναι ο τομέας του Ledger.

Όταν τα όρια είναι καθαρά, η στοίβα γίνεται πιο εύκολο να υπερασπιστεί κανείς. Το λειτουργικό χρονοδιάγραμμα ζει στο Ledger. Η απόδειξη απόφασης ζει στο AION. Το ίχνος υπολογισμού ζει στο Trace. Η απόφαση πολιτικής μπορεί να επαναξιολογηθεί μέσω του Lattice. Η εκτέλεση σε περιβάλλον προσομοίωσης μπορεί να αναπαραχθεί μέσω του Selvedge. Ένας αξιολογητής μπορεί να θέσει μια ακριβή ερώτηση και να λάβει το σωστό είδος αντικειμένου, όχι ένα φυλλάδιο για τη διαφάνεια.

Η αποθήκευση δεν πρέπει να αλλάζει το νόημα

Ένας από τους ευκολότερους τρόπους να καταστραφεί ένα ίχνος ελέγχου είναι να αφήσουμε την επιλογή αποθήκευσης να αλλάξει το νόημα του αρχείου. Ένα backend μνήμης για δοκιμές, ένα αρχείο JSONL για φορητότητα, μια τοπική βάση δεδομένων για ενσωματωμένη εργασία, μια βάση δεδομένων διακομιστή για παραγωγή με ευρετηρίαση, ένα bucket αρχειοθέτησης για μακροχρόνια διατήρηση: αυτές είναι αποφάσεις στάσης. Δεν θα πρέπει να δημιουργούν πέντε διαφορετικές αλήθειες.

Τόσο η πηγή του Ledger όσο και ο ιστότοπος τονίζουν την εναλλάξιμη αποθήκευση και ένα σταθερό μοντέλο συμβάντων. Η ακριβής λίστα backend παρουσιάζει κάποιες αποκλίσεις μεταξύ των πηγών, οπότε το δημόσιο μάθημα είναι απλούστερο και ισχυρότερο: η αποθήκευση είναι ένα επίπεδο, όχι το σχήμα. Η μορφή του αρχείου θα πρέπει να επιβιώνει της μετακίνησης. Η μετεγκατάσταση δεν θα πρέπει να μετατρέπει ένα συμβάν σε μια νέα ερμηνεία του εαυτού του. Αν ο οργανισμός αλλάξει τη στάση ανάπτυξης, η αλυσίδα θα πρέπει να παραμείνει η αλυσίδα.

Αυτό ακούγεται προφανές μέχρι να δεις πραγματικά συστήματα να αποτυγχάνουν σε αυτό. Μια ομάδα καταγράφει πλήρη πεδία στην ανάπτυξη, αφαιρεί πεδία στην παραγωγή για λόγους κόστους, εξάγει διαφορετική μορφή στα αναλυτικά στοιχεία, αποθηκεύει ένα υποσύνολο στη λίμνη δεδομένων και στη συνέχεια ελπίζει ότι μια μεταγενέστερη αναθεώρηση θα δεχτεί το σύνθετο αποτέλεσμα. Αυτό δεν είναι αλυσίδα. Αυτό είναι ένα λεύκωμα. Περιστασιακά χρήσιμο λεύκωμα, αλλά πάντως λεύκωμα.

Η πρακτική αξία του Ledger είναι ότι δίνει στις ομάδες μια ενιαία μορφή συμβάντος γύρω από την οποία μπορούν να σχεδιάσουν. Το επίπεδο αποθήκευσης μπορεί να επιλεγεί για κλίμακα, κόστος, διατήρηση, ισχύ ερωτημάτων ή απομόνωση. Το αντικείμενο αναθεώρησης παραμένει η ροή συμβάντων. Ο ελεγκτής δεν χρειάζεται να μάθει την προσωπικότητα κάθε backend προτού ρωτήσει αν διατηρήθηκε το ιστορικό.

Τι ρωτά μια αναθεώρηση

Η στιγμή της αναθεώρησης είναι πάντα λιγότερο αφηρημένη από ό,τι υπονοούν τα διαγράμματα αρχιτεκτονικής. Κάποιος ρωτά ποιος ενέκρινε μια ενέργεια. Κάποιος ρωτά αν υπήρξε συγκατάθεση. Κάποιος ρωτά πότε ο οργανισμός έμαθε για ένα περιστατικό τεχνητής νοημοσύνης. Κάποιος ρωτά τι λίστα υλικού λογισμικού ή βεβαίωση υπήρχε όταν αποστάλθηκε το προϊόν. Αν αυτά τα γεγονότα δεν είναι ήδη αρχεία, η ομάδα αρχίζει να τα ανασυνθέτει από δελτία, συνομιλίες, αρχεία καταγραφής ανάπτυξης, email και ελπίδα. Η ελπίδα δεν είναι μοντέλο δεδομένων. Κρίμα, γιατί έχει εξαιρετική υιοθέτηση.

Η χρήσιμη επιφάνεια ελέγχου αντιστοιχίζει τις ανθρώπινες ερωτήσεις σε τυποποιημένα συμβάντα που καταγράφηκαν όταν έγινε η εργασία.

Εδώ είναι που η ταξινόμηση συμβάντων του Ledger αποδεικνύει την αξία της. ApprovalRequested, ApprovalGranted, ApprovalDenied. ConsentRecorded. DataSubjectRightExercised. DpiaCompleted. RightToErasureRequested. AiIncidentDetected. SbomGenerated. AttestationCompleted. Αυτά τα ονόματα δεν είναι εντυπωσιακά. Καλά κάνουν. Το εντυπωσιακό μέρος της συμμόρφωσης είναι συνήθως εκεί που αρχίζουν τα προβλήματα. Το χρήσιμο μέρος είναι ένα βαρετό αρχείο που υπάρχει προτού αρχίσει να ανησυχεί κανείς.

Για τα συστήματα τεχνητής νοημοσύνης, αυτό έχει σημασία επειδή τα περιβάλλοντα λειτουργικά δεδομένα είναι συχνά εξίσου σημαντικά με την έξοδο του μοντέλου. Μια απόφαση μπορεί να είναι τεχνικά σωστή αλλά λειτουργικά αδικαιολόγητη αν εκτελέστηκε λάθος έκδοση, χρησιμοποιήθηκε λάθος εύρος δεδομένων, παρακάμφθηκε η σωστή διαδικασία έγκρισης ή το αρχείο συμβάντος δημιουργήθηκε τρεις ημέρες αφότου όλοι γνώριζαν ήδη. Το μοντέλο δεν είναι ολόκληρο το σύστημα. Πολύ ενοχλητικό για τους λάτρεις των μοντέλων, πολύ χρήσιμο για τους ενήλικες.

Τα τυποποιημένα συμβάντα κάνουν επίσης την ευθύνη λιγότερο ολισθηρή. Μια ερώτηση αναθεώρησης μπορεί να δείξει στο συμβάν που θα έπρεπε να υπάρχει. Αν υπάρχει, επιθεωρήστε το. Αν δεν υπάρχει, αυτή η απουσία είναι από μόνη της ένα γεγονός. Αυτό είναι καλύτερο από το να προσποιείστε ότι η απάντηση βρίσκεται κάπου στα αρχεία καταγραφής αν κάποιος έχει αρκετή αντοχή για regex.

Η αναπαραγωγή είναι εκεί που το αρχείο γίνεται χρήσιμο

Ένα αρχείο που δεν μπορεί να αναπαραχθεί είναι συχνά μόνο ένα βοήθημα μνήμης. Μπορεί να βοηθήσει τους ανθρώπους να εξηγήσουν τι πιθανώς συνέβη. Η αναπαραγωγή αλλάζει αυτό. Επιτρέπει σε μια ομάδα να διατρέξει τα διατεταγμένα συμβάντα και να ανακατασκευάσει την κατάσταση σε ένα σημείο στον χρόνο. Αυτό διαφέρει από το να διαβάζεις ένα χρονοδιάγραμμα. Είναι πιο κοντά στο να ζητάς από την ιστορία του συστήματος να υπολογίσει το δικό της παρελθόν.

Το Ledger ομαδοποιεί τα συμβάντα σε συνεδρίες. Μια συνεδρία μπορεί να αντιπροσωπεύει μια συνομιλία, μια ροή εργασίας, μια εκτέλεση ή ένα διάστημα εκτέλεσης. Τα συμβάντα μπορούν να ερωτηθούν μαζί και να αναπαραχθούν μαζί. Τα σημεία ελέγχου κάνουν τις μεγάλες ιστορίες λιγότερο επώδυνες. Οι έλεγχοι ακεραιότητας κάνουν τις σπασμένες αλυσίδες ορατές. Αυτό έχει σημασία επειδή τα πραγματικά περιστατικά σπάνια είναι μεμονωμένα συμβάντα. Είναι ακολουθίες. Η σειρά, το πλαίσιο και οι σχέσεις γονέα-παιδιού γίνονται μέρος της απάντησης.

Η αναπαραγωγή μετακινεί την ερώτηση από το τι έλεγε το αρχείο καταγραφής στο ποια κατάσταση ανακατασκευάζει η διατεταγμένη ιστορία.

Η αναπαραγωγή αλλάζει επίσης τα οικονομικά των αποδεικτικών στοιχείων. Χωρίς αναπαραγωγή, κάθε σοβαρή ερώτηση γίνεται χειρωνακτική εργασία. Με την αναπαραγωγή, ο οργανισμός μπορεί να δειγματίζει αρχεία, να ελέγχει τη συνέχεια, να επιθεωρεί συνεδρίες και να ανακατασκευάζει κατάσταση ως μέρος των κανονικών λειτουργιών. Αυτό δεν αφαιρεί την κρίση. Αφαιρεί μια κατηγορία αποφεύξιμου χάους.

Η καλύτερη εκδοχή αυτού είναι ήσυχη. Κανείς δεν πανηγυρίζει επειδή μια ερώτηση αναθεώρησης απαντήθηκε από το αρχείο. Θα έπρεπε να φαίνεται φυσιολογικό. Το συμβάν γράφτηκε όταν συνέβη η ενέργεια. Η αλυσίδα εξακολουθεί να επαληθεύεται. Η συνεδρία ανακατασκευάζεται. Η κατάσταση στο επιλεγμένο σημείο είναι ορατή. Είναι το λογισμικό ισοδύναμο του να κρατάς αποδείξεις, εκτός από το ότι η απόδειξη μπορεί να διαμαρτυρηθεί αν κάποιος κόψει ένα κομμάτι από αυτήν.

Γιατί αυτό ανήκει κοντά στην εργασία με τεχνητή νοημοσύνη

Η εργασία με τεχνητή νοημοσύνη έχει τη συνήθεια να παράγει εντυπωσιακές απαντήσεις και αδύναμη λειτουργική μνήμη. Οι ομάδες θυμούνται το demo, το prompt, το όνομα του μοντέλου, ίσως ένα στιγμιότυπο οθόνης, ίσως το νήμα στο Slack όπου κάποιος είπε «σπρώξτε το». Στη συνέχεια, το σύστημα μπαίνει σε παραγωγή και αρχίζει να λαμβάνει αποφάσεις, να καλεί εργαλεία, να χρησιμοποιεί δεδομένα, να μετακινεί αντικείμενα, να ζητά εγκρίσεις και να δημιουργεί εξαιρέσεις. Σε αυτό το σημείο, η έξοδος δεν είναι πλέον η μόνη ιστορία.

Τα συστήματα πρακτόρων κάνουν αυτό πιο έντονο. Ένας πράκτορας δεν απαντά απλώς. Αντιλαμβάνεται, ανακτά, αιτιολογεί, ενεργεί και παραδίδει εργασία σε άλλα συστήματα. Κάθε κλήση εργαλείου και αποτέλεσμα μπορεί να έχει σημασία. Κάθε έγκριση μπορεί να έχει σημασία. Κάθε αντικείμενο μπορεί να έχει σημασία. Κάθε πύλη πολιτικής μπορεί να έχει σημασία. Αν το μόνο διαρκές αρχείο είναι ένα ανάμεικτο σωρό από αρχεία καταγραφής, ο οργανισμός έχει χτίσει ένα πολυάσχολο σύστημα με κακή μνήμη.

Το Ledger δίνει σε αυτή τη μνήμη μια μορφή. Δεν καθιστά τον πράκτορα ασφαλή από μόνο του. Δεν ευλογεί μια κακή ροή εργασίας. Δεν αποδεικνύει ένα μαθηματικό συμπέρασμα. Καταγράφει το λειτουργικό ίχνος με τρόπο που μπορεί να επαληθευτεί και να αναπαραχθεί. Αυτό είναι ήδη ένα σοβαρό βήμα μπροστά από τα στιγμιότυπα οθόνης, τις εξαγωγές κονσόλας και το ιερό υπολογιστικό φύλλο της αναδρομικής αλήθειας.

Αυτό βελτιώνει και τη μηχανική συμπεριφορά. Όταν τα συμβάντα είναι τυποποιημένα, οι ομάδες πρέπει να αποφασίζουν τι έχει σημασία. Όταν τα συμβάντα συνδέονται με κατακερματισμό, οι ομάδες πρέπει να αντιμετωπίζουν το ιστορικό ως αλυσίδα. Όταν τα συμβάντα μπορούν να αναπαραχθούν, οι ομάδες μπορούν να ελέγξουν αν η επιχειρησιακή τους αφήγηση όντως ανακατασκευάζεται. Η λογοδοσία παύει να είναι μια παράγραφος στο τμήμα κινδύνων και γίνεται μέρος της σύμβασης εκτέλεσης.

Το δίδαγμα

Το δίδαγμα δεν είναι ότι τα αρχεία καταγραφής είναι κακά. Τα αρχεία καταγραφής είναι χρήσιμα. Βοηθούν τους ανθρώπους να λειτουργούν συστήματα, να εντοπίζουν βλάβες, να κατανοούν την απόδοση και να αποτρέπουν τους προγραμματιστές από το να μαντεύουν τη συμπεριφορά παραγωγής από εντυπώσεις. Αλλά τα αρχεία καταγραφής δεν είναι αυτόματα αποδεικτικά στοιχεία. Μια γραμμή κειμένου δεν γίνεται αξιόπιστη επειδή τη συνέγραψε ένας διακομιστής με σοβαρό όνομα.

Τα αποδεικτικά στοιχεία χρειάζονται δομή. Χρειάζονται συνέχεια. Χρειάζονται ιδιοκτησία. Χρειάζονται έναν τρόπο να εντοπίζονται επεξεργασίες και κενά. Χρειάζονται να επιβιώνουν από μεταφορές αποθήκευσης, αλλαγές αναπτύξεων, αλλαγές προμηθευτών και την πολύ ανθρώπινη επιθυμία να τακτοποιείται το ιστορικό πριν από μια αναθεώρηση. Το Ledger είναι το ανοιχτό επιχειρησιακό αρχείο για αυτή τη δουλειά: τυποποιημένα συμβάντα, αλυσίδες κατακερματισμού, συνεδρίες, αναπαραγωγή, έλεγχοι ακεραιότητας και επιφάνειες ανάπτυξης αρκετά κοντά στο σύστημα ώστε να είναι χρήσιμες.

Υπάρχει ξερή κωμωδία στο γεγονός ότι το μέλλον της υπεύθυνης τεχνητής νοημοσύνης εξαρτάται από τη δημιουργία καλύτερων αρχείων για βαρετά συμβάντα. Αλλά έτσι λειτουργούν τα σοβαρά συστήματα. Η εντυπωσιακή απάντηση τραβά την προσοχή. Το αρχείο αποφασίζει αν κάποιος πρέπει να εξακολουθεί να πιστεύει το σύστημα έξι μήνες αργότερα.

Οπότε κρατήστε τα αρχεία καταγραφής. Διαβάστε τα, αναζητήστε τα, δημιουργήστε γραφήματα από αυτά, βρίστε τα όταν αλλάζει η μορφή της χρονικής σήμανσης. Απλώς μην τα μπερδεύετε με αποδεικτικά στοιχεία. Αποδεικτικά στοιχεία είναι το αρχείο που μπορείτε να διατρέξετε προς τα πίσω, η αλυσίδα που διαμαρτύρεται όταν σπάσει και η κατάσταση που μπορείτε να ανακατασκευάσετε όταν το δωμάτιο ησυχάσει και κάποιος ρωτήσει τι πραγματικά συνέβη.