Tokenarmes Datenformat für LLMs | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) ist ein quelloffenes, tokeneffizientes Textdatenformat unter Apache 2.0 für LLMs und strukturierte Datensätze. Sein Rust-Reader, -Writer, Validatoren und Server halten das Format überprüfbar und reversibel.

HEDL (Hierarchical Entity Data Language) ist ein quelloffenes, tokeneffizientes Tabellenformat unter Apache 2.0 für LLM-Anfragen. Starten Sie lokal mit cargo add hedl; wiederholte Bezeichnungen verschwinden, während die Konvertierung lokal und reversibel bleibt. In einer gemessenen Ausführung waren 500 flache Datensätze 48,7 % kleiner als minifiziertes JSON.

HEDL (Hierarchical Entity Data Language) ist ein quelloffenes Textformat unter Apache 2.0 für Listen, die an LLMs gesendet werden. Es schreibt die Spaltenbezeichnungen einmal oben und behält dann dieselben Fakten in jeder Zeile.

Fügen Sie die Rust-Bibliothek mit cargo add hedl hinzu oder installieren Sie die CLI mit cargo install hedl-cli. Führen Sie den Reader lokal aus und prüfen Sie die Bytes selbst.

Eine Pipeline zum Parsen mit Inhaltsadressierung.

Abruf in unter einer Millisekunde für reichhaltigere Prompts.

Multi-Agent-Orchestrierung mit HEDL durchgängig.

Benchmark-Korpus und Methodik sind im Repository enthalten.

mehr richtige Antworten pro Token als JSON

Höher ist besser. HEDL liefert 2,4x mehr richtige Antworten pro Token als JSON.

Höher ist besser. HEDL extrahiert 80,4 %, 10,3 Punkte über JSON.

Kürzer ist besser. HEDL überträgt dieselben Antworten mit 56 Prozent weniger Tokens als JSON.

JSON · YAML · XML · CSV · Parquet · TOON

48,7 % kleiner als minifiziertes JSON in diesem Lauf

Bidirektional, verlustfreie Konvertierung. Dieselbe Datensemantik, dichter kodiert, exakt wiederhergestellt.

Ein Drop-in-Proxy. Entfernen Sie ihn und Ihr Stack läuft wieder mit einfachem JSON, ohne Migration, die rückgängig zu machen wäre.

Der Rust-Kern hat null Abhängigkeiten und keinen unsicheren Code; ausgelieferte Werkzeuge halten ihre Laufzeitabhängigkeiten explizit.

Kein Anbieter sitzt im Pfad. Die Konvertierung läuft lokal, sodass Datensätze Ihre eigene Infrastruktur nie verlassen.

Eine Handvoll KI-Funktionen, die stetig genutzt werden.

gleiche Daten, 56 Prozent weniger Tokens

Die Zahlen folgen der veröffentlichten Referenz: Ein Dienst mit 1B Tokens pro Monat spart 1.680 $ pro Monat.

Sie starten nichts davon. Es geschieht von selbst, jedes Mal, wenn ein Helfer arbeitet, egal, was Sie gerade tun.

HEDL ändert nur die Form der Nachricht für den Hin- und Rückweg. Was Sie gestartet haben, kommt genau gleich zurück, ohne dass etwas hinzugefügt oder verloren geht.

Sie bitten den Helfer, etwas in einer Form zu nehmen und es in einer anderen zurückzugeben, ordentlich und einsatzbereit.

Eine einfache Liste wiederholt dieselben kleinen Labels in jeder einzelnen Zeile. HEDL schreibt die Labels einmal oben, dann nur die Einträge, sodass die Liste weit weniger Wörter zum Senden benötigt.

Sie bitten den Helfer, eine lange Liste durchzugehen, eine Liste mit Namen, Bestellungen oder Terminen, und sie aufzuräumen.

Ein langes Dokument ist eine Menge Wörter zum Senden. Auf HEDL-Art gefaltet passt doppelt so viel davon auf einmal, sodass der Helfer mehr von der Seite auf einmal sieht.

Sie geben dem Helfer einen langen Brief oder Bericht und bitten ihn, die Teile herauszuziehen, die Ihnen wichtig sind.

Hinter dem Vorhang musste der Helfer zuerst viel Hintergrund lesen. HEDL faltet diesen Hintergrund klein zusammen, sodass er dasselbe mit viel weniger zu verarbeiten liest.

Sie tippen eine Frage in einen dieser KI-Helfer und er schreibt in einem Moment eine Antwort zurück.

Dieselbe Antwort, in weniger Worten gesagt. Das ist alles, was sich ändert.

Du kannst den kurzen Weg jederzeit Wort für Wort wieder in den langen Weg zurückverwandeln.

Du fragst dich, ob du die vollständige Version je wiederbekommst, falls du sie brauchst.

Es wird nichts weggelassen. Der kürzere Weg trägt exakt dieselbe Bedeutung wie der lange Weg.

Du machst dir Sorgen, dass das Kürzen etwas weglassen oder die Bedeutung verändern könnte.

Dieselbe Botschaft, mit weit weniger Worten gesagt, sodass die Rechnung am Ende kleiner ausfällt.

Jedes Wort, das der Helfer liest, wird bezahlt, auch die Wörter, die er immer wieder wiederholt.

Gemessene Dateigröße · 500 flache Datensätze

Es sitzt vor Ihren KI-Tools und konvertiert am Rand. Ihre bestehenden Systeme senden und empfangen weiterhin die Formate, die sie bereits verwenden.

Ihre Datenbanken, Berichte und Tabellenkalkulationen sehen dieselben Strukturen wie zuvor. Das dichtere Format existiert nur auf dem Weg zum und vom Modell.

Sieben Formate gehen durch dieselbe verlustfreie Brücke ein und aus; die kompakte Darstellung existiert nur rund um den Modellaufruf.

Das Modell empfängt die dichte Version. Ihr Stack spricht weiterhin die Formate, die er immer gesprochen hat.

Ein Drop-in-Konverter sitzt zwischen Ihren Systemen und dem Modell.

pro Monat gespart bei einer Milliarde Tokens durch Umstellung von JSON auf HEDL.

pro API-Aufruf verschwendet für wiederholte Schlüssel bei einem Datensatz mit 10.000 Benutzern.

Schema einmal. Dann nur noch die Daten, durch Kommas getrennt.

Multiplizieren Sie nun die strukturellen Bytes mit zehntausend Datensätzen.

Fahren Sie über einen Teil, um ihn zu isolieren

Die Werte, die Sie tatsächlich senden wollten. In HEDL bleibt fast nur das übrig.

Ein Anführungszeichenpaar um jeden String, auch um die eindeutigen.

Objektklammern und Array-Klammern, die Struktur markieren, die das Schema bereits kennt.

Dieselben Feldnamen, "id", "name", "role", bei jedem einzelnen Datensatz erneut bezahlt.

Eine kompakte Schicht sitzt vor dem Modell, während der Rest Ihres Stacks weiterhin JSON spricht.

Es spricht HEDL mit dem Modell und einfaches JSON zurück an Ihre eigenen Systeme, sodass sich der Rest Ihres Stacks nicht ändert. Entfernen Sie es und Sie sind genau dort, wo Sie begonnen haben.

Die Konvertierung kann auf Ihren eigenen Maschinen, in einer EU-Region oder vollständig offline ohne externen Dienst im Pfad ausgeführt werden.

Token-Reduktion, Antwortgenauigkeit und verlustfreie Roundtrips werden vor dem Rollout anhand realer Datensätze gemessen.

Fügen Sie es vor einem Workflow ein, vergleichen Sie das Ergebnis und erweitern Sie es nur dort, wo es sich lohnt.

HEDL ist ein kleines Bauteil, das KI-Helfer günstiger im Betrieb macht, ohne zu ändern, was sie dir zurück sagen. Du installierst es nicht, du richtest es nicht ein, und du musst es nicht verstehen. Hier ist die Kurzfassung dessen, was es verspricht.

Du kannst aufhören, dir darüber Sorgen zu machen.

Weil es dasselbe mit weniger Worten sagt, kosten die Helfer, die es nutzen, weniger im Betrieb.

Jede kompakte Nachricht wird wiederhergestellt und geprüft, bevor der Helfer sie verwendet, damit unterwegs nichts verloren geht.

Es ändert nur, wie die Nachricht zum Senden gefaltet wird. Die Bedeutung bleibt exakt dieselbe.

Du siehst HEDL nie und berührst es nicht. Es sitzt hinter dem KI-Helfer und erledigt seine Arbeit von selbst.

Wenn Sie sich immer noch unsicher sind, ist das in Ordnung. Sie müssen HEDL nie berühren, damit es seine Arbeit erledigt.

Tippen Sie auf eine Frage, um die einfache Antwort zu lesen. Es gibt keine falschen Fragen.

Die Helfer, die Sie nutzen, kosten Geld im Betrieb, ähnlich wie eine Telefonrechnung, gezählt nach Wörtern. Dasselbe mit weniger Wörtern zu sagen bedeutet eine kleinere Rechnung, was diese Helfer günstiger anbieten lässt.

Jede kompakte Nachricht wird wiederhergestellt und geprüft, bevor sie verwendet wird. Wenn die vollständige Version nicht genau zurückkommt, schlägt die Konvertierung fehl, anstatt stillschweigend einen Teil davon zu verlieren.

Woher weiß ich, dass nichts verloren geht?

Ja. Die kurze Form faltet sich immer wieder in die lange Form zurück, Wort für Wort, ohne Hinzufügen und ohne Verlust. Es ist wie das Falten eines Briefes zum Versenden und das Entfalten zum Lesen.

Kann die vollständige Version immer wiederhergestellt werden?

Nein. Es ändert nur, wie die Nachricht für den Weg zum Helfer und zurück gefaltet wird. Die Bedeutung bleibt genau gleich, sodass die Antwort, die Sie lesen, die Antwort ist, die Sie ohnehin erhalten hätten.

Könnte es die Antwort ändern, die ich zurückbekomme?

Nein. Es gibt nichts zum Herunterladen, Einschalten oder Lernen. HEDL sitzt hinter den KI-Helfern, die andere bauen, und es erledigt seine Arbeit von selbst. Sie werden es nie sehen.

Muss ich etwas installieren oder einrichten?

Sie müssen nichts installieren oder verstehen. Es funktioniert leise im Hintergrund, sodass die Helfer, die Sie nutzen, weniger kosten und genauso klar bleiben.

Stellen Sie sich vor, Sie schreiben dieselbe Adresse auf hundert Umschläge. Sie könnten jedes Mal die vollständige Adresse schreiben. Oder Sie schreiben sie einmal und dann nur noch die Hausnummer auf den Rest. Die Briefe kommen trotzdem an. Sie haben einfach weniger geschrieben. Genau das ist die Idee hinter HEDL.

Sie können die Kurzform jederzeit wieder in die Langform umwandeln, Wort für Wort, ohne dass sich etwas ändert. Wie wenn Sie einen Brief falten, damit er in den Umschlag passt, und ihn später wieder entfalten, um ihn zu lesen.