Δομημένα δεδομένα HEDL χωρίς φόρτο JSON
Ο λογαριασμός που κρύβεται στα άγκιστρά σας
Το JSON επικράτησε επειδή είναι βαρετό με τον σωστό ακριβώς τρόπο. Οι άνθρωποι μπορούν να το διαβάσουν. Οι μηχανές μπορούν να το αναλύσουν. Κάθε γλώσσα έχει μια βιβλιοθήκη για αυτό. Αν δύο συστήματα πρέπει να ανταλλάξουν ένα αντικείμενο και κανείς δεν θέλει μια σύσκεψη για πρότυπα, το JSON είναι συνήθως εκεί που καταλήγει η συζήτηση. Εντάξει. Υπάρχουν χειρότεροι συμβιβασμοί. Πολλοί από αυτούς έχουν το «enterprise» στο όνομά τους.
Το πρόβλημα δεν είναι το JSON ως μορφή για τον ιστό. Το πρόβλημα είναι τι συμβαίνει όταν ωθούμε το JSON σε ροές εργασίας γλωσσικών μοντέλων και προσποιούμαστε ότι το κόστος είναι μηδενικό. Ένα μοντέλο δεν βλέπει ένα τακτοποιημένο αντικείμενο με τον τρόπο που το βλέπει ένας αναλυτής εφαρμογών. Βλέπει διακριτικά. Διαβάζει τα ίδια κλειδιά ξανά και ξανά. Ξοδεύει περιβάλλον σε σημεία στίξης, επαναλαμβανόμενα ονόματα πεδίων, περιτυλίγματα, ένθετα σκαλωσιές και υπενθυμίσεις σχήματος που ήταν ήδη γνωστές πριν φτάσει η πρώτη εγγραφή.
Αυτή η σπατάλη ήταν κάποτε ήπια ενοχλητική. Με τα συστήματα τεχνητής νοημοσύνης, γίνεται πρόβλημα προϊόντος. Κάθε επαναλαμβανόμενο κλειδί ανταγωνίζεται τα αποδεικτικά στοιχεία, τις οδηγίες, τα παραδείγματα, τις παραπομπές και το πραγματικό περιεχόμενο των χρηστών. Κάθε περιττό δομικό διακριτικό είναι ένας μικρός φόρος στη χρήσιμη εργασία. Ο λογαριασμός δεν λέει «περιττά άγκιστρα», επειδή οι λογαριασμοί δεν έχουν ποίηση. Λέει «διακριτικά».
Το HEDL ξεκινά από μια απλή παρατήρηση: όταν το σχήμα είναι γνωστό, το να επαναλαμβάνεις το σχήμα μέσα σε κάθε εγγραφή είναι ανόητο. Δήλωσε τη δομή μία φορά. Κωδικοποίησε τις εγγραφές θέσεις. Κράτησε τη σημασιολογία ακριβή. Μετέτρεψε ξανά σε μορφές που τα υπάρχοντα συστήματα ήδη περιμένουν. Αυτό δεν είναι ιδεολογία κατά του JSON. Είναι άρνηση να πληρώνεις το μοντέλο για να ξαναδιαβάζει την ίδια πινακίδα κάθε δέκα μέτρα.
Αυτό έχει σημασία επειδή η δομημένη εργασία τεχνητής νοημοσύνης δεν είναι απλώς συνομιλία. Είναι εξαγωγή, ταξινόμηση, κλήσεις εργαλείων, μετασχηματισμός δεδομένων, πακέτα αναθεώρησης, δέσμες αποδεικτικών στοιχείων, κλήσεις MCP, ροές εργασίας και πράκτορες που περνούν αντικείμενα ο ένας στον άλλο όλη μέρα. Όσο πιο σοβαρό γίνεται το σύστημα, τόσο περισσότερη δομή χρειάζεται. Αν η δομή εκφράζεται με τον πιο φλύαρο δυνατό τρόπο, το σύστημα πληρώνει για τη δική του πειθαρχία.
Το JSON δεν είναι ο κακός
Θα ήταν εύκολο, και τεμπέλικο, να το γράψεις ως παράπονο για το JSON. Το JSON έχει πραγματικά πλεονεκτήματα. Είναι πανταχού παρόν, εύκολο στον εντοπισμό σφαλμάτων, εύκολο να διοχετευθεί μέσω υπαρχόντων εργαλείων και αρκετά καλό για τεράστιο όγκο εργασιών εφαρμογών. Το θέμα δεν είναι ότι το JSON είναι κακό. Το θέμα είναι ότι το JSON χρησιμοποιείται συχνά σε μέρη όπου η πλευρά που λαμβάνει ήδη γνωρίζει το σχήμα, και εκεί η επανάληψη παύει να είναι σαφήνεια και αρχίζει να είναι περιττό φορτίο.
Σκεφτείτε μια δομημένη εργασία εξαγωγής. Το σχήμα λέει ότι κάθε απάντηση έχει όνομα, πηγή, τιμή, βεβαιότητα και αιτιολογία. Τώρα φανταστείτε να στέλνετε εκατοντάδες σειρές σε ένα μοντέλο ή να λαμβάνετε εκατοντάδες σειρές πίσω από ένα. Το JSON επαναλαμβάνει αυτά τα ονόματα πεδίων για κάθε αντικείμενο. Ο αναλυτής εφαρμογών δεν ενοχλείται. Το περιβάλλον του μοντέλου ενοχλείται. Το παράθυρο περιβάλλοντος γίνεται ένα φορτηγό παράδοσης γεμάτο ετικέτες αντί για εμπορεύματα.
Το HEDL αντιμετωπίζει το σχήμα ως συμβόλαιο. Ονομάζει τα πεδία και τους τύπους μία φορά. Οι εγγραφές στη συνέχεια μεταφέρουν τιμές με τη σειρά. Αυτό ακούγεται προφανές επειδή είναι. Πολλές αποδοτικές μορφές έχουν κάνει παρόμοιους συμβιβασμούς για δεκαετίες. Η διαφορά είναι ότι το HEDL στοχεύει σε δομημένες ροές εργασίας που αντιμετωπίζουν τα γλωσσικά μοντέλα, όπου η δυνατότητα εντοπισμού σφαλμάτων από ανθρώπους, η μετατροπή και η συμβατότητα με εργαλεία εξακολουθούν να έχουν σημασία. Δεν είναι ένα δυαδικό μπλοκ που πετιέται πάνω από έναν τοίχο με ένα σημείωμα που λέει «καλή τύχη».
Η υλοποίηση HEDL περιλαμβάνει υποστήριξη βιβλιοθήκης Rust, χρήση CLI, διακομιστή MCP και επιφάνειες διαμεσολάβησης, WASM, FFI και δεσμεύσεις, καθώς και μετατροπή από και προς κοινές μορφές. Αυτός ο συνδυασμός είναι σημαντικός. Μια μορφή για ροές εργασίας τεχνητής νοημοσύνης δεν μπορεί να είναι μόνο συμπαγής. Πρέπει να μπαίνει και να βγαίνει από τον πραγματικό κόσμο χωρίς να γίνεται ιδιωτική λατρεία. Τα υπάρχοντα API εξακολουθούν να θέλουν JSON. Οι άνθρωποι εξακολουθούν να επιθεωρούν δεδομένα. Τα εργαλεία εξακολουθούν να χρειάζονται πλήρεις διαδρομές. Η μορφή πρέπει να είναι πυκνή χωρίς να γίνεται αντικοινωνική.
Η δομή ως συμβόλαιο
Οι περισσότερες αποτυχίες της τεχνητής νοημοσύνης με δομημένα δεδομένα δεν είναι δραματικές. Είναι μικροπρεπείς, γεγονός που τις κάνει πιο δύσκολο να τις σεβαστεί κανείς μέχρι να κοστίσουν πραγματικά χρήματα. Ένα πεδίο αποκλίνει. Μια τιμή τοποθετείται κάτω από το λάθος κλειδί. Ένα μοντέλο εκπέμπει ένα εύλογο αντικείμενο με ένα πεδίο που λείπει προαιρετικά. Ένας αναλυτής δέχεται ένα σχήμα που θα έπρεπε να είχε απορρίψει. Ένα εργαλείο παρακάτω λαμβάνει σχεδόν το σωστό πράγμα, το πιο επικίνδυνο είδος πράγματος στο λογισμικό.
Η προσέγγιση του HEDL που δίνει προτεραιότητα στο σχήμα είναι χρήσιμη επειδή καθιστά τη δομή ρητή πριν αρχίσουν να κινούνται οι εγγραφές. Το σχήμα δεν είναι μια χαλαρή υπόδειξη προτροπής. Είναι αυτό που λέει στον αναγνώστη πώς να ερμηνεύσει τις τιμές. Η εγγραφή είναι συμπαγής επειδή δεν χρειάζεται να αφηγείται τον εαυτό της επανειλημμένα. Τα περιβάλλοντα εργαλεία μπορούν ακόμα να επικυρώνουν, να μετατρέπουν και να παραδίδουν δεδομένα σε συστήματα που προτιμούν JSON, YAML, XML, CSV ή άλλες συμβατικές μορφές.
Οι πλήρεις διαδρομές είναι το τεστ για το αν μια μορφή είναι χρήσιμη ή απλώς έξυπνη. Αν μπει JSON, το HEDL κινείται μέσω της ροής εργασίας και βγαίνει JSON με την ίδια σημασιολογία, το σύστημα αποκτά πυκνότητα χωρίς να χάνει συμβατότητα. Αν το νόημα χαθεί σιωπηλά, η μορφή έχει αποτύχει. Η σωστή συμπεριφορά υπό πίεση δεν είναι να σηκώσει κανείς τους ώμους και να περάσει το αντικείμενο παρακάτω. Είναι να μπλοκάρει, να αναφέρει και να φέρει την ασάφεια στο φως.
Εδώ το HEDL κάθεται όμορφα δίπλα στην υπόλοιπη στοίβα Dweve. Το Ledger νοιάζεται ότι τα λειτουργικά συμβάντα παραμένουν επιθεωρήσιμα. Το AION νοιάζεται ότι οι αποδείξεις αποφάσεων μπορούν να ελεγχθούν. Το Trace νοιάζεται ότι ο υπολογισμός μπορεί να αναπαραχθεί. Το HEDL νοιάζεται ότι τα δομημένα δεδομένα μπορούν να αναπαρασταθούν πυκνά και να αποκατασταθούν ακριβώς. Αυτές οι δουλειές αγγίζουν η μία την άλλη, αλλά δεν είναι η ίδια δουλειά. Και πάλι: λιγότερες ζεστές λέξεις σούπας, περισσότερα χρήσιμα όρια.
Το σημείο αναφοράς δεν είναι διακόσμηση
Οι ισχυρισμοί απόδοσης γύρω από την υποδομή τεχνητής νοημοσύνης γράφονται συχνά σαν ιστορίες ψαρέματος. Ο αριθμός μεγαλώνει κάθε φορά που επαναλαμβάνεται. Το HEDL έχει ένα συγκεκριμένο ισχυρισμό σημείου αναφοράς: 571 εργασίες δομημένης εξαγωγής σε επτά σύνολα δεδομένων, 56 τοις εκατό λιγότερα διακριτικά από το JSON και βελτίωση ακρίβειας 10,3 ποσοστιαίων μονάδων έναντι του JSON.
Αυτοί οι αριθμοί πρέπει να διαβαστούν ως ισχυρισμός σημείου αναφοράς, όχι ως παγκόσμιος νόμος της φυσικής. Περιγράφουν μια ρύθμιση σημείου αναφοράς. Δεν σημαίνουν ότι κάθε ροή εργασίας παίρνει μαγικά το ίδιο αποτέλεσμα. Αλλά εξηγούν γιατί υπάρχει η μορφή. Ο αριθμός διακριτικών δεν είναι υποσημείωση υλοποίησης στα συστήματα LLM. Είναι μέρος της διεπαφής. Αν δύο αναπαραστάσεις φέρουν το ίδιο νόημα και η μία καίει πολύ περισσότερο περιβάλλον, η βαρύτερη δεν είναι ουδέτερη.
Το κέρδος σε ακρίβεια είναι ιδιαίτερα ενδιαφέρον. Υποδηλώνει ότι το όφελος δεν είναι μόνο τα φθηνότερα prompts. Μια πιο καθαρή αναπαράσταση μπορεί επίσης να κάνει την εργασία ευκολότερη για το μοντέλο. Αυτό δεν θα έπρεπε να προκαλεί έκπληξη. Αν το μοντέλο ξοδεύει λιγότερη προσοχή σε επαναλαμβανόμενη συντακτική φλυαρία, έχει περισσότερο χώρο για τιμές και σχέσεις. Αυτός είναι ο ίδιος λόγος για τον οποίο τα καλά φόρμα υπερτερούν των ακατάστατων στην ανθρώπινη εργασία. Ο άνθρωπος μπορεί να είναι έξυπνος, αλλά μην του δώσετε μια φορολογική δήλωση γραμμένη από έναν εκτυπωτή που είχε δύσκολα παιδικά χρόνια.
Υπάρχει ένα ευρύτερο σχεδιαστικό μάθημα εδώ. Οι διεπαφές τεχνητής νοημοσύνης δεν θα έπρεπε να κρίνονται μόνο από το αν το μοντέλο μπορεί να αντεπεξέλθει. Τα μοντέλα μπορούν να αντεπεξέλθουν σε πολλές κακές διεπαφές. Οι άνθρωποι μπορούν επίσης να κουβαλήσουν έπιπλα στις σκάλες με κακή λαβή και χωρίς σχέδιο. Αυτό δεν το καθιστά αρχιτεκτονική. Μια καλή διεπαφή τεχνητής νοημοσύνης μειώνει την περιττή εργασία, αποκαλύπτει τη δομή, διατηρεί το νόημα και αποτυγχάνει με σαφήνεια όταν η δομή είναι λανθασμένη.
Γιατί έχουν σημασία οι επιφάνειες διαμεσολάβησης
Μια μορφή σπάνια κερδίζει επειδή είναι αγνή. Κερδίζει επειδή ταιριάζει στην άσχημη μέση. Οι επιφάνειες διαμεσολάβησης MCP και proxy του HEDL έχουν σημασία επειδή οι περισσότεροι οργανισμοί δεν μπορούν απλώς να ανακοινώσουν ότι όλα πλέον μιλούν μια νέα αναπαράσταση. Έχουν υπάρχοντα API, αποθήκες δεδομένων, κανόνες επικύρωσης, πίνακες ελέγχου, σημειωματάρια και μορφές εξαγωγής. Η αντικατάσταση όλων αυτών για να εξοικονομηθούν tokens θα ήταν ένας ηρωικός τρόπος να χάσεις φίλους.
Το μοτίβο proxy είναι πιο πρακτικό. Αφήστε τα μοντέλα και τα εργαλεία να επωφεληθούν από την πυκνή δομημένη αναπαράσταση όπου έχει σημασία. Μετατρέψτε στο όριο. Επικυρώστε πριν τα δεδομένα φύγουν από την ελεγχόμενη διαδρομή. Διατηρήστε τη συμβατότητα JSON κατάντη. Αφήστε τα συστήματα που περιμένουν JSON να λαμβάνουν JSON, αλλά σταματήστε να αναγκάζετε το μοντέλο να κουβαλάει ολόκληρη τη μορφή JSON σε κάθε εσωτερικό βήμα.
Εδώ μπαίνει και η διακυβέρνηση, ήσυχα και χρήσιμα. Αν το proxy επικυρώνει τη δομή, μπορεί να απορρίψει κακοσχηματισμένα αντικείμενα πριν γίνουν επιχειρηματικά γεγονότα. Αν διατηρεί μια απώλειας-ελεύθερη διαδρομή μετ' επιστροφής, μπορεί να αποδείξει ότι η μετατροπή δεν άλλαξε το νόημα. Αν διατηρεί συμβατότητα με τα υπάρχοντα συστήματα, μπορεί να υιοθετηθεί χωρίς να μετατραπεί κάθε ενοποίηση σε πρόγραμμα μετανάστευσης. Είμαστε Ευρωπαίοι. Έχουμε αρκετά προγράμματα μετανάστευσης. Μερικά από αυτά έχουν ακόμη επιτροπές καθοδήγησης από το 2014.
Για τα συστήματα πρακτόρων, το proxy είναι ακόμη πιο σημαντικό. Οι πράκτορες περνούν δομημένες κλήσεις και αποτελέσματα μέσω ορίων. Καλούν εργαλεία, λαμβάνουν εξόδους, ενημερώνουν τη μνήμη, παράγουν τεχνουργήματα και παραδίδουν κατάσταση σε άλλους πράκτορες. Μια πυκνή αναπαράσταση με επικύρωση κάνει αυτές τις παραδόσεις λιγότερο σπάταλες και λιγότερο διφορούμενες. Δεν κάνει τον πράκτορα σοφό. Κάνει τον φάκελο λιγότερο ανόητο. Αυτό είναι ένα αξιοσέβαστο αποτέλεσμα μηχανικής.
Πού δεν θα έπρεπε να χρησιμοποιείται το HEDL
Κάθε χρήσιμο εργαλείο έχει ένα μέρος όπου δεν θα έπρεπε να χρησιμοποιείται. Το HEDL δεν είναι αντικατάσταση για κάθε αρχείο JSON στον κόσμο. Αν ένα μικρό αρχείο διαμόρφωσης διαβάζεται μία φορά από έναν άνθρωπο και επεξεργάζεται δύο φορές τον χρόνο, το JSON ή το TOML θα επιβιώσουν την τραγωδία. Αν ένα δημόσιο API χρειάζεται μέγιστη εξοικείωση και τα ωφέλιμα φορτία είναι μικρά, το JSON είναι εντάξει. Αν το σχήμα είναι πραγματικά άγνωστο και ad hoc, η κωδικοποίηση schema-once δεν είναι η σωστή αρχική υπόθεση.
Το HEDL γίνεται ενδιαφέρον όταν η δομή επαναλαμβάνεται, οι όγκοι είναι σημαντικοί, το πλαίσιο του μοντέλου είναι ακριβό, οι διαδρομές μετ' επιστροφής έχουν σημασία και τα εργαλεία χρειάζονται συμβατότητα στα άκρα. Γι' αυτό οι ροές εργασίας LLM ταιριάζουν τόσο καλά. Βρίσκονται ακριβώς στη διασταύρωση της δομημένης πρόθεσης και των οικονομικών των tokens. Τείνουν επίσης να εξελίσσονται από πρωτότυπο σε παραγωγή πιο γρήγορα από ό,τι είχε προγραμματίσει κανείς, επειδή προφανώς κανείς δεν έχει μάθει αυτό το μάθημα παρά το γεγονός ότι ολόκληρη η ιστορία του λογισμικού φαίνεται ήπια προσβεβλημένη στη γωνία.
Η πρακτική πορεία υιοθέτησης θα πρέπει επομένως να είναι στενή. Μην αναδιαμορφώσετε τον οργανισμό. Επιλέξτε μια δομημένη ροή εξαγωγής. Επιλέξτε μια διαδρομή κλήσεων εργαλείων για τον πράκτορα. Επιλέξτε ένα όριο διακομιστή μεσολάβησης MCP. Μετρήστε τη χρήση διακριτικών, το ποσοστό αποτυχίας, τα αποτελέσματα επικύρωσης και την πιστότητα στρογγυλής διαδρομής. Εάν οι αριθμοί αντέχουν, επεκταθείτε. Εάν δεν αντέχουν, κρατήστε το βαρετό πράγμα. Ο στόχος δεν είναι να λατρεύουμε μια μορφή. Ο στόχος είναι να σταματήσουμε να πληρώνουμε για αποφεύξιμη δομή.
Το μάθημα
Το μάθημα του HEDL είναι ότι η δομή δεν είναι δωρεάν απλώς και μόνο επειδή είναι χρήσιμη. Στο συνηθισμένο λογισμικό, τα επαναλαμβανόμενα κλειδιά είναι ως επί το πλείστον μια ενόχληση. Στις ροές εργασίας τεχνητής νοημοσύνης, είναι περιβάλλον, χρήματα, προσοχή και επιφάνεια αποτυχίας. Εάν το σχήμα είναι γνωστό, το να το επαναλαμβάνετε σε κάθε εγγραφή είναι συχνά η λιγότερο ευφάνταστη διαθέσιμη επιλογή.
Το HEDL κάνει έναν απλό συμβιβασμό: δηλώστε τη δομή μία φορά, κωδικοποιήστε τις εγγραφές πυκνά, διατηρήστε τη σημασιολογία, μετατρέψτε ξανά όταν χρειαστεί και επικυρώστε στο όριο του διακομιστή μεσολάβησης. Δεν αντικαθιστά το JSON ως την κοινή γλώσσα του ιστού. Είναι ένα καλύτερο εσωτερικό περίβλημα για δομημένη εργασία τεχνητής νοημοσύνης, όπου το μοντέλο θα πρέπει να ξοδεύει το περιβάλλον του στο νόημα και όχι στο να διαβάζει τα ίδια ονόματα πεδίων μέχρι τον θερμικό θάνατο του προϋπολογισμού.
Αυτό είναι το χρήσιμο πρότυπο για την υποδομή τεχνητής νοημοσύνης. Όχι ευφυΐα για χάρη της ίδιας. Όχι φόρος καινοτομίας. Όχι μια μορφή που απαιτεί να υποφέρουν όλοι οι άλλοι. Ένα καλό επίπεδο αφαιρεί τη σπατάλη, διατηρεί τη σύμβαση ρητή και αφήνει το υπόλοιπο σύστημα να συνεχίσει να λειτουργεί. Το HEDL κερδίζει τη θέση του όταν το αντικείμενο γίνεται μικρότερο χωρίς το νόημα να γίνεται πιο ασαφές.
Το JSON μπορεί να παραμείνει. Δεν έχει κάνει τίποτα κακό. Μπορεί ακόμη και να πιει έναν καφέ. Απλώς δεν χρειάζεται να κάθεται μέσα σε κάθε κλήση μοντέλου κουβαλώντας το ίδιο σύνολο κλειδιών, σαν ένας άνθρωπος που μετακομίζει σπίτι κουβαλώντας ένα κουτάλι τη φορά.