Token Efficient Data Format for LLMs | Dweve HEDL
HEDL names a table columns once and writes each record behind a pipe, so a table sent to a language model carries under half the bytes it does as JSON.
Multi-Agent-Orchestrierung mit HEDL durchgängig.
Sub-Millisekunden-Retrieval für reichhaltigere Prompts.
HEDL installieren, den MCP-Server vor Ihre Tools setzen und beobachten, wie der Token-Verbrauch sinkt. Benchmark-Korpus im Repository.
Gleiche Semantik, dichtere Kodierung, exakt wiederhergestellt.
Proxy entfernen und Sie sind wieder bei JSON.
Rust-Kern mit null Abhängigkeiten und ohne unsicheren Code.
Kein Anbieter im Pfad. Konvertierung läuft lokal.
HEDL wird als Rust-Bibliothek, MCP-Server und WASM-Komponente ausgeliefert. Der Kern-Parser hat null Abhängigkeiten und keinen unsicheren Code; die Konvertierung ist lokal, bidirektional und verlustfrei über die unterstützten Formate.
Bibliothek, MCP-Server und WASM bieten denselben verlustfreien Konvertierungspfad.
Durchschnitt über 7 Benchmark-Datensätze.
Agent-Pipelines, Retrieval, Batch-Extraktion, überall wo LLM-Tokens nach Volumen abgerechnet werden. Die Einsparungen summieren sich, je länger Tool-Call-Ketten werden. Gleiche Daten gehen rein, gleiche Antworten kommen raus, das Einzige, was sich ändert, ist die Zahl auf der Rechnung.
Verlustfreier Round-Trip in beide Richtungen
Schema-Parser, Positions-Encoder, MCP-Adapter
Konvertieren, validieren, linten, formatieren
MCP-Server einbinden und Ihr Agent-Stack spricht HEDL vorgelagert und JSON nachgelagert, ohne Änderung am Anwendungscode. Der Proxy protokolliert die Token-Anzahl vor und nach jeder Anfrage. Eine Rust-Crate, ein CLI und ein WASM-Build decken eingebettete und Browser-Nutzung ab.
Gemessen an 571 Extraktionsaufgaben über 7 Datensätze, ausgeführt mit Mistral Large, DeepSeek Chat und NVIDIA GLM-4.7.
Die Werte, die Sie senden wollten. In HEDL bleibt fast nur das übrig.
Ein Anführungszeichenpaar um jeden String, auch um die eindeutigen.
Geschweifte Klammern und eckige Klammern, die Struktur markieren, die das Schema bereits kennt.
Dieselben Feldnamen, bei jedem Datensatz erneut bezahlt.
Die vier Arten von Bytes in einem Datensatz
JSON ist das universelle Austauschformat, aber als LLM-Eingabe ist es verschwenderisch. Wiederholte Feldnamen, strukturelle Klammern und Anführungszeichen um jeden String sind Bytes, für die Sie zahlen, die keine Bedeutung tragen. Isolieren Sie jeden Teil unten, um genau zu sehen, was Ihr Token-Budget kauft.
Hin- und Rückkonvertierung von JSON zu HEDL und zurück.
Durchschnitt über die 7 Benchmark-Datensätze.
Durchschnitt über 3 Modelle und 7 Datensätze
Wir haben nicht angenommen, dass LLMs ein dichteres Format verstehen würden. Wir haben es getestet. In einem gemessenen Durchlauf über 571 strukturierte Extraktionsfragen aus 7 realen Datensätzen verwendete HEDL 56 Prozent weniger Tokens als JSON und erzielte in diesem Durchlauf die höchste Genauigkeit unter den Formaten. Das Ergebnis gehört zu diesem Modell, Korpus und Testaufbau.
Gleiche Datensätze, Schema einmal deklariert.
HEDL deklariert ein Schema einmal und codiert Datensätze dann positional. Keine wiederholten Feldnamen. Keine Klammern für Verschachtelung. Zeichenketten standardmäßig ohne Anführungszeichen. Wählen Sie einen Datensatz und beobachten Sie, wie die Token-Anzahl sinkt, während die Daten identisch bleiben. Der Round-Trip ist verlustfrei.
Entworfen und gepflegt in Europa, mit Konvertierung, die überall dort läuft, wo Sie sie bereitstellen.
Der Rust-Kern hat null Abhängigkeiten und keinen unsicheren Code.
Es telefoniert nicht nach Hause. Nichts überquert eine Grenze, die Sie nicht genehmigt haben.
Kein Anbieter im Pfad. Die Konvertierung läuft lokal auf Ihren eigenen Maschinen.
Die Konvertierung läuft auf Ihren eigenen Maschinen, in einer EU-Region oder vollständig offline. HEDL telefoniert nicht nach Hause und benötigt keinen externen Dienst, sodass strukturierte Datensätze innerhalb der Grenze bleiben, die Sie bereits betreiben.
Entfernen Sie den Proxy, und alle nachgelagerten Systeme arbeiten weiterhin mit einfachem JSON.
Derselbe Drop-in, wo immer es sich lohnt.
Echte Token-Anzahlen, protokolliert pro Anfrage.
Ein KI-Workflow, sonst nichts angefasst.
Es gibt keine Big-Bang-Migration zu planen. Stellen Sie den Konverter vor einen KI-Workflow, vergleichen Sie die protokollierten Token-Anzahlen und erweitern Sie nur dort, wo die Einsparung hält. Der Weg ist umkehrbar: Entfernen Sie den Proxy, und alle nachgelagerten Systeme arbeiten weiterhin mit einfachem JSON.
Entfernen Sie den Konverter; Datenbanken und Berichte empfangen weiterhin gewöhnliches JSON.
Es konvertiert an der Kante, sodass sich Ihre Datenbanken und Berichte nie ändern.
Parquet für Data Lakes und Neo4j Cypher für Graphdatenbanken, in beide Richtungen.
JSON, YAML, XML und CSV, die Formen, die die meisten Teams bereits täglich austauschen.
Beide Richtungen, in HEDL hinein und aus HEDL heraus
Niemand muss etwas herausreißen. HEDL konvertiert zu und von den Formaten, die Ihre Systeme bereits verwenden, in beide Richtungen, und sitzt als einzelner Drop-in vor Ihren KI-Tools. Die dichte Version existiert nur auf dem Weg zum Modell. Alles nachgelagerte sieht die Formen, die es immer sah.
Der Zähler skaliert in beide Richtungen gleich, sodass Sie einen Wert ablesen können, der nahe an Ihrem tatsächlichen Verbrauch liegt.
Die Ersparnis sind einfach die Tokens, die HEDL entfernt. Weniger zu senden bedeutet weniger zu zahlen, bei denselben Daten.
Der veröffentlichte Referenzwert: Ein Dienst mit einer Milliarde Tokens pro Monat spart 1.680 Dollar pro Monat durch den Wechsel von JSON.
Tokens werden nach Volumen abgerechnet, und HEDL sendet 56 Prozent weniger davon für dieselben Daten. Wählen Sie die Größe, die Ihrem Verbrauch entspricht, und beobachten Sie, wie sich die monatlichen und jährlichen Zahlen ändern. Der veröffentlichte Referenzpunkt ist ein Dienst mit einer Milliarde Tokens pro Monat, der 1.680 Dollar pro Monat spart.
Jeder KI-Aufruf wird pro Token abgerechnet, und ein großer Teil dieses Budgets ist Syntax statt Daten. HEDL hat dieselbe Anfrage im gemessenen Durchlauf mit 56 Prozent weniger Tokens gesendet und dort einen Genauigkeitsunterschied von +10,3 pp gegenüber JSON gezeigt. Das ist ein Beleg aus diesem Setup, zusammen mit einer niedrigeren Rechnung, ohne Änderungen an nachgelagerten Systemen.
Benchmark-Korpus und Round-Trip-Prüfungen machen den Effekt vor der Produktion sichtbar.
Es spricht einfaches JSON mit dem Rest Ihres Stacks. Entfernen Sie es, und Sie sind wieder bei JSON, Byte für Byte.
Eine kompakte Schicht sitzt vor dem Modell; der Rest Ihrer Systeme spricht weiterhin JSON.
HEDL fügt eine kompakte Austauschschicht vor dem Modell hinzu, während jede Datenbank, jeder Bericht und jede Anwendung weiterhin JSON spricht. Führen Sie die Konvertierung lokal aus, messen Sie sie an einem Workflow, und entfernen Sie sie ohne Datenmigration, wenn die Zahlen nicht halten.
Weniger Wörter zu bezahlen, mit derselben Antwort am Ende.
Jede kompakte Nachricht wird wiederhergestellt und geprüft, bevor die Antwort Sie erreicht.
Es ändert nur, wie die Nachricht zum Senden gefaltet wird.
Sie sehen HEDL nie und berühren es nicht. Es sitzt hinter dem Helfer.
HEDL ist ein kleines Stück, das KI-Helfer günstiger im Betrieb macht, ohne zu ändern, was sie Ihnen zurücksagen. Sie installieren es nicht, Sie richten es nicht ein, und Sie müssen es nicht verstehen. Hier ist das ganze Versprechen in vier kurzen Zeilen.
Nein. Die vollständige Nachricht wird wiederhergestellt, bevor sie verwendet wird.
Die vollständige Version kommt Wort für Wort zurück.
Du installierst es nie und schaltest es nie ein.
Es ist normal, Fragen zu haben, und es gibt keine dummen Fragen. Hier sind die fünf, die am häufigsten gestellt werden, jeweils mit einer klaren Antwort und nichts dahinter versteckt. Tippe auf eine Frage, um die Antwort zu lesen.
Es kommt genau so zurück, wie es begonnen hat.
Die Beschriftungen werden einmal geschrieben, nicht in jeder Zeile.
Es passt doppelt so viel auf einmal hinein.
Der Helfer liest weniger, um dir zu antworten.
Du wirst HEDL nie starten oder auch nur sehen. Aber jedes Mal, wenn einer dieser KI-Helfer eine Aufgabe für dich erledigt, ist es leise dabei und macht den Helfer günstiger im Betrieb. Wähle einen Moment und sieh, was es hinter dem Vorhang tut.
Die kompakte Nachricht wird wieder in die vollständige Version umgewandelt und überprüft, bevor sie verwendet wird.
Ja. Der kurze Weg faltet sich Wort für Wort in den langen Weg zurück.
Kann ich die vollständige Version zurückbekommen
Nein. Die Bedeutung bleibt jedes Mal exakt dieselbe.
Nein. Du siehst es nie und richtest es nie ein. Es erledigt seine Arbeit von selbst.
Stell dir vor, du schreibst dieselbe Adresse auf hundert Umschläge. Du könntest sie jedes Mal vollständig schreiben oder einmal schreiben und sie auf den restlichen kurz halten. Die Briefe kommen trotzdem an. HEDL macht den kurzen Weg für dich, und hier ist, was das für deine Seite bedeutet.
Nichts wird ausgelassen, nichts ändert sich.
Weniger Wörter bedeutet weniger zu zahlen.
Dieselbe Nachricht, mit weniger Wörtern gesagt.
Keine Fachwörter, keine Diagramme. Nur die Idee, so wie du sie einem Freund erklären würdest. HEDL ist eine kürzere Art für Computer, einem KI-Assistenten dasselbe zu sagen, sodass dieselbe Antwort weniger kostet.