Token Efficient Data Format for LLMs | Dweve HEDL

Πολυπρακτορική ενορχήστρωση με HEDL σε όλη τη διαδικασία.

Ανάκτηση κάτω από ένα χιλιοστό του δευτερολέπτου για πλουσιότερα prompts.

Αγωγός ανάλυσης με διευθυνσιοδότηση περιεχομένου.

Εγκαταστήστε το HEDL, τρέξτε τον διακομιστή MCP μπροστά από τα εργαλεία σας και δείτε τη χρήση tokens να πέφτει. Το σώμα benchmark βρίσκεται στο αποθετήριο.

ΑΝΑΛΥΣΗ ΜΕ ΔΙΕΥΘΥΝΣΙΟΔΟΤΗΣΗ ΠΕΡΙΕΧΟΜΕΝΟΥ

Ίδια σημασιολογία, πυκνότερη κωδικοποίηση, πλήρης επαναφορά.

Αφαιρέστε τον διακομιστή μεσολάβησης και επιστρέφετε σε JSON.

Πυρήνας Rust με μηδενικές εξαρτήσεις και χωρίς μη ασφαλή κώδικα.

Κανένας προμηθευτής στη διαδρομή. Η μετατροπή εκτελείται τοπικά.

Το HEDL διατίθεται ως βιβλιοθήκη Rust, διακομιστής MCP και στοιχείο WASM. Ο βασικός αναλυτής έχει μηδενικές εξαρτήσεις και χωρίς μη ασφαλή κώδικα· η μετατροπή είναι τοπική, αμφίδρομη και χωρίς απώλειες στις υποστηριζόμενες μορφές.

Η βιβλιοθήκη, ο διακομιστής MCP και το WASM εκθέτουν την ίδια διαδρομή μετατροπής χωρίς απώλειες.

Διακομιστής άμεσης αντικατάστασης, μηδενική αλλαγή στην εφαρμογή.

Μέσος όρος σε 7 σύνολα δεδομένων benchmark.

Αγωγοί πρακτόρων, ανάκτηση, μαζική εξαγωγή, οπουδήποτε τα tokens LLM χρεώνονται ανά όγκο. Οι εξοικονομήσεις αυξάνονται όσο μεγαλώνουν οι αλυσίδες κλήσεων εργαλείων. Τα ίδια δεδομένα εισέρχονται, οι ίδιες απαντήσεις εξέρχονται, το μόνο που αλλάζει είναι ο αριθμός στον λογαριασμό.

Κυκλική διαδρομή χωρίς απώλειες και προς τις δύο κατευθύνσεις

Αναλυτής σχήματος, κωδικοποιητής θέσης, προσαρμογέας MCP

Μετατροπή, επικύρωση, έλεγχος, μορφοποίηση

Μπροστά από οποιοδήποτε εργαλείο, μηδενική αλλαγή στην εφαρμογή

Προσθέστε τον διακομιστή MCP και η στοίβα των πρακτόρων σας μιλάει HEDL ανάντη και JSON κατάντη χωρίς καμία αλλαγή στον κώδικα της εφαρμογής. Ο διακομιστής μεσολάβησης καταγράφει τους μετρητές διακριτικών πριν και μετά σε κάθε αίτημα. Ένα crate Rust, ένα CLI και μια έκδοση WASM καλύπτουν την ενσωματωμένη χρήση και τη χρήση σε πρόγραμμα περιήγησης.

Μετρήθηκε σε 571 εργασίες εξαγωγής σε 7 σύνολα δεδομένων, με τα Mistral Large, DeepSeek Chat και NVIDIA GLM-4.7.

Οι τιμές που θέλατε να στείλετε. Στο HEDL, σχεδόν όλα αυτά παραμένουν.

Ένα ζεύγος εισαγωγικών γύρω από κάθε συμβολοσειρά, ακόμα και για τις μη διφορούμενες.

Άγκιστρα και αγκύλες που σηματοδοτούν δομή που το σχήμα ήδη γνωρίζει.

Τα ίδια ονόματα πεδίων, πληρωμένα ξανά σε κάθε εγγραφή.

Το JSON είναι το καθολικό πρότυπο ανταλλαγής, αλλά ως είσοδος σε LLM είναι σπάταλο. Τα επαναλαμβανόμενα ονόματα πεδίων, οι δομικές αγκύλες και τα εισαγωγικά γύρω από κάθε συμβολοσειρά είναι byte που πληρώνετε χωρίς να μεταφέρουν νόημα. Απομονώστε κάθε μέρος παρακάτω για να δείτε ακριβώς τι αγοράζει ο προϋπολογισμός διακριτικών σας.

Μέσος όρος στα 7 σύνολα δεδομένων του συγκριτικού ελέγχου.

Μέσος όρος σε 3 μοντέλα και 7 σύνολα δεδομένων

Δεν υποθέσαμε ότι τα LLM θα κατανοούσαν μια πιο πυκνή μορφή. Το δοκιμάσαμε. Σε μια μετρημένη εκτέλεση σε 571 ερωτήσεις δομημένης εξαγωγής σε 7 πραγματικά σύνολα δεδομένων, το HEDL χρησιμοποίησε 56 τοις εκατό λιγότερα διακριτικά από το JSON και κατέγραψε την υψηλότερη ακρίβεια μεταξύ των μορφών σε αυτή την εκτέλεση. Το αποτέλεσμα ανήκει σε αυτό το μοντέλο, το σώμα κειμένων και τη ρύθμιση δοκιμής.

Ίδιες εγγραφές, σχήμα που δηλώνεται μία φορά.

Tokens ανά ερώτηση, πραγματικά σύνολα δεδομένων

Το HEDL δηλώνει ένα schema μία φορά και στη συνέχεια κωδικοποιεί τις εγγραφές θεσικά. Χωρίς επαναλαμβανόμενα ονόματα πεδίων. Χωρίς αγκύλες για ένθεση. Οι συμβολοσειρές χωρίς εισαγωγικά από προεπιλογή. Διάλεξε ένα σύνολο δεδομένων και δες τον αριθμό των tokens να πέφτει ενώ τα δεδομένα παραμένουν ίδια. Η μετάβαση είναι χωρίς απώλειες.

Σχεδιασμένο και συντηρημένο στην Ευρώπη, με τη μετατροπή να τρέχει όπου το αναπτύσσεις.

Ο πυρήνας Rust έχει μηδενικές εξαρτήσεις και κανένα μη ασφαλή κώδικα.

Δεν επικοινωνεί με το σπίτι. Τίποτα δεν διασχίζει σύνορα που δεν ενέκρινες.

Κανένας πάροχος στη διαδρομή. Η μετατροπή τρέχει τοπικά στις δικές σου μηχανές.

Η μετατροπή τρέχει στις δικές σου μηχανές, σε περιοχή της ΕΕ ή εντελώς εκτός σύνδεσης. Το HEDL δεν επικοινωνεί με το σπίτι και δεν χρειάζεται εξωτερική υπηρεσία, έτσι οι δομημένες εγγραφές παραμένουν εντός των συνόρων που ήδη διαχειρίζεσαι.

Αφαίρεσε τον διακομιστή μεσολάβησης και κάθε επόμενο σύστημα συνεχίζει με απλό JSON.

Πραγματικοί αριθμοί tokens, καταγεγραμμένοι ανά αίτημα.

Ένα AI workflow, τίποτα άλλο δεν αλλάζει.

Δεν υπάρχει καμία μετάβαση big-bang να προγραμματίσεις. Βάλε τον μετατροπέα μπροστά από ένα AI workflow, σύγκρινε τους καταγεγραμμένους αριθμούς tokens και μετά επέκτεινε μόνο εκεί που ισχύει η εξοικονόμηση. Η διαδρομή είναι αντιστρέψιμη: αφαίρεσε τον διακομιστή μεσολάβησης και κάθε επόμενο σύστημα συνεχίζει με απλό JSON.

Αφαίρεσε τον μετατροπέα· οι βάσεις δεδομένων και οι αναφορές συνεχίζουν να λαμβάνουν συνηθισμένο JSON.

Μετατρέπει στην άκρη, έτσι οι βάσεις δεδομένων και οι αναφορές σου δεν αλλάζουν ποτέ.

Parquet για data lakes και Neo4j Cypher για γράφους βάσεων δεδομένων, και στις δύο κατευθύνσεις.

JSON, YAML, XML και CSV, τα σχήματα που οι περισσότερες ομάδες ήδη ανταλλάσσουν καθημερινά.

Και στις δύο κατευθύνσεις, προς και από το HEDL

Κανείς δεν χρειάζεται να βγάλει τίποτα. Το HEDL μετατρέπει από και προς τις μορφές που ήδη χρησιμοποιούν τα συστήματά σου, και στις δύο κατευθύνσεις, και στέκεται μπροστά από τα AI εργαλεία σου ως ένα ενιαίο drop-in. Η πυκνή έκδοση υπάρχει μόνο στο ταξίδι προς το μοντέλο. Όλα τα επόμενα βλέπουν τα σχήματα που έβλεπαν πάντα.

Ο μετρητής κλιμακώνεται με τον ίδιο ρυθμό πάνω και κάτω, ώστε να μπορείτε να διαβάσετε ένα νούμερο κοντά στην πραγματική σας χρήση.

Η εξοικονόμηση είναι απλώς τα tokens που αφαιρεί το HEDL. Λιγότερα προς αποστολή σημαίνει λιγότερα προς πληρωμή, με τα ίδια δεδομένα.

Το δημοσιευμένο σημείο αναφοράς: μια υπηρεσία με ένα δισεκατομμύριο tokens το μήνα εξοικονομεί 1.680 δολάρια το μήνα μεταβαίνοντας από JSON.

Τα tokens χρεώνονται ανά όγκο, και το HEDL στέλνει 56 τοις εκατό λιγότερα για τα ίδια δεδομένα. Επιλέξτε το μέγεθος που μοιάζει με τη χρήση σας και δείτε τα μηνιαία και ετήσια ποσά να αλλάζουν. Το δημοσιευμένο σημείο αναφοράς είναι μια υπηρεσία με ένα δισεκατομμύριο tokens το μήνα, που εξοικονομεί 1.680 δολάρια το μήνα.

Κάθε κλήση AI χρεώνεται ανά token, και μεγάλο μέρος αυτού του προϋπολογισμού είναι σύνταξη και όχι δεδομένα. Το HEDL έστειλε το ίδιο αίτημα με 56 τοις εκατό λιγότερα tokens στη μετρημένη δοκιμή και έδειξε διαφορά ακρίβειας +10,3 ποσοστιαίες μονάδες από το JSON εκεί. Αυτό είναι στοιχείο από αυτή τη ρύθμιση, μαζί με χαμηλότερο λογαριασμό, χωρίς αλλαγή στα κατάντη συστήματα.

Τι εξοικονομεί, τι απομειώνει τον κίνδυνο

Το σώμα αναφοράς και οι έλεγχοι πλήρους κύκλου κάνουν το αποτέλεσμα ορατό πριν από την παραγωγή.

Μιλάει απλό JSON στο υπόλοιπο σύστημά σας. Αφαιρέστε το και επιστρέφετε στο JSON, byte προς byte.

Ένα συμπαγές επίπεδο βρίσκεται μπροστά από το μοντέλο· τα υπόλοιπα συστήματά σας συνεχίζουν να μιλούν JSON.

Το HEDL προσθέτει ένα συμπαγές επίπεδο ανταλλαγής μπροστά από το μοντέλο, ενώ κάθε βάση δεδομένων, αναφορά και εφαρμογή συνεχίζει να μιλάει JSON. Εκτελέστε τη μετατροπή τοπικά, μετρήστε την σε έναν φόρτο εργασίας και αφαιρέστε την χωρίς μετεγκατάσταση δεδομένων αν οι αριθμοί δεν ισχύουν.

Λιγότερες λέξεις να πληρώσετε, με την ίδια απάντηση στο τέλος.

Κάθε συμπαγές μήνυμα αποκαθίσταται και ελέγχεται πριν φτάσει η απάντηση σε εσάς.

Αλλάζει μόνο τον τρόπο που διπλώνεται το μήνυμα για αποστολή.

Δεν βλέπετε ποτέ το HEDL ούτε το αγγίζετε. Βρίσκεται πίσω από τον βοηθό.

Το HEDL είναι ένα μικρό κομμάτι που κάνει τους βοηθούς AI φθηνότερους στη λειτουργία, χωρίς να αλλάζει τι σας λένε πίσω. Δεν το εγκαθιστάτε, δεν το ρυθμίζετε και δεν χρειάζεται να το καταλάβετε. Ορίστε όλη η υπόσχεση, σε τέσσερις σύντομες γραμμές.

Όχι. Το πλήρες μήνυμα επαναφέρεται πριν χρησιμοποιηθεί.

Η πλήρης έκδοση επιστρέφει λέξη προς λέξη.

Δεν το εγκαθιστάς ποτέ ούτε το ενεργοποιείς.

Είναι φυσιολογικό να έχεις ερωτήσεις, και δεν υπάρχουν ανόητες. Εδώ είναι οι πέντε που κάνουν οι άνθρωποι πιο συχνά, με μια ξεκάθαρη απάντηση και τίποτα κρυφό από πίσω. Πάτησε μια ερώτηση για να διαβάσεις την απάντηση.

Οι ετικέτες γράφονται μία φορά, όχι σε κάθε γραμμή.

Ο βοηθός διαβάζει λιγότερα για να σου απαντήσει.

Δεν θα ξεκινήσεις ποτέ το HEDL ούτε θα το δεις. Αλλά κάθε φορά που ένας από αυτούς τους βοηθούς τεχνητής νοημοσύνης κάνει μια δουλειά για σένα, είναι εκεί αθόρυβα, κάνοντας τον βοηθό φθηνότερο στη λειτουργία. Διάλεξε μια στιγμή και δες τι κάνει πίσω από την κουρτίνα.

Το συμπαγές μήνυμα μετατρέπεται ξανά στην πλήρη έκδοση και ελέγχεται πριν χρησιμοποιηθεί.

Ναι. Ο σύντομος τρόπος διπλώνει πίσω στον μακρύ, λέξη προς λέξη.

Όχι. Το νόημα παραμένει ακριβώς το ίδιο, κάθε φορά.

Όχι. Δεν το βλέπεις ποτέ ούτε το ρυθμίζεις. Κάνει τη δουλειά του μόνο του.

Σκέψου να γράφεις την ίδια διεύθυνση σε εκατό φακέλους. Θα μπορούσες να τη γράφεις ολόκληρη κάθε φορά, ή να τη γράψεις μία φορά και να την κρατήσεις σύντομη στους υπόλοιπους. Τα γράμματα εξακολουθούν να φτάνουν. Το HEDL κάνει τον σύντομο τρόπο για σένα, και ορίστε τι σημαίνει αυτό για τη δική σου πλευρά.

Τίποτα δεν παραλείπεται, τίποτα δεν αλλάζει.

Λιγότερες λέξεις σημαίνουν λιγότερα έξοδα.