Tokenefficiënt dataformaat voor LLM's | Dweve HEDL

Kies de doelgroep die bij je vraag past

De pagina bevat drie selecteerbare lezingen van hetzelfde onderwerp.

HEDL (Hierarchical Entity Data Language) is een open-source, tokenefficiënt tekstformaat onder de Apache 2.0-licentie voor LLM's en gestructureerde records. De Rust-reader, writer, validators en servers houden het formaat controleerbaar en omkeerbaar.

HEDL (Hierarchical Entity Data Language) is een open-source, tokenefficiënt tabelformaat onder de Apache 2.0-licentie voor LLM-verzoeken. Begin lokaal met cargo add hedl; herhaalde labels verdwijnen terwijl conversie lokaal en omkeerbaar blijft. In één gemeten run waren 500 platte records 48,7% kleiner dan minified JSON.

HEDL (Hierarchical Entity Data Language) is een open-source tekstformaat onder de Apache 2.0-licentie voor lijsten die je naar LLM's stuurt. De kolomlabels staan één keer bovenaan; in elke rij blijven dezelfde feiten staan.

Voeg de Rust-bibliotheek toe met cargo add hedl of installeer de CLI met cargo install hedl-cli. Draai de reader lokaal en bekijk zelf de bytes.

Een op inhoud geadresseerde parseerpijplijn.

Ophalen in minder dan een milliseconde voor rijkere prompts.

Orchestratie van meerdere agents met HEDL erdoorheen.

Benchmarkcorpus en methodologie zijn opgenomen in de repository.

meer correcte antwoorden per token dan JSON

Hoger is beter. HEDL geeft 2,4x meer correcte antwoorden per token dan JSON.

Hoger is beter. HEDL extraheert 80,4%, 10,3 procentpunt hoger dan JSON.

Korter is beter. HEDL bevat dezelfde antwoorden in 56 procent minder tokens dan JSON.

JSON · YAML · XML · CSV · Parquet · TOON

48,7% kleiner dan geminifieerde JSON in deze run

Bidirectionele, verliesvrije conversie. Dezelfde datasemantiek, dichter gecodeerd en exact hersteld.

Een direct inzetbare proxy. Verwijder die en je stack gebruikt weer gewone JSON, zonder migratie die je moet terugdraaien.

De Rust-core heeft geen dependencies en geen unsafe code; de meegeleverde tools maken hun runtime-dependencies expliciet.

Geen leverancier zit in het pad. Conversie draait lokaal, dus records verlaten nooit je eigen infrastructuur.

Beide brieven komen op dezelfde plaats aan

Een handvol AI-functies die voortdurend worden gebruikt.

Cijfers volgen de gepubliceerde referentie: een dienst met 1B tokens per maand bespaart $1.680 per maand.

Je start dit nooit zelf. Het gebeurt vanzelf, telkens wanneer een helper aan het werk is, wat je hier ook doet.

HEDL verandert alleen de vorm van het bericht voor de heen- en terugreis. Wat je verstuurde komt exact hetzelfde terug, zonder toevoegingen of verlies.

Je vraagt de helper om iets in de ene vorm aan te nemen en het netjes en klaar voor gebruik in een andere vorm terug te geven.

Een gewone lijst herhaalt dezelfde kleine labels op elke regel. HEDL schrijft de labels één keer bovenaan en daarna alleen de items, waardoor de lijst veel minder woorden kost om te versturen.

Je vraagt de helper om een lange lijst met namen, bestellingen of afspraken door te nemen en op te schonen.

Een lang document is veel woorden om te versturen. Op de HEDL-manier gevouwen past er twee keer zoveel in één keer, zodat de helper meer van de pagina tegelijk ziet.

Je geeft de helper een lange brief of rapport en vraagt om de delen eruit te halen die voor jou belangrijk zijn.

Achter de schermen moest de helper eerst veel achtergrond lezen. HEDL vouwt die achtergrond compact op, zodat hij hetzelfde kan lezen zonder zoveel tekst door te nemen.

Je typt een vraag in een van die AI-helpers en die schrijft meteen een antwoord terug.

Hetzelfde antwoord, met minder woorden. Dat is het enige wat verandert.

Je kunt de korte vorm op elk moment woord voor woord terugzetten naar de lange vorm.

Je vraagt je af of je de volledige versie kunt terugkrijgen wanneer je die nodig hebt.

Niets wordt weggelaten. De korte vorm heeft precies dezelfde betekenis als de lange vorm.

Je maakt je zorgen dat een kortere formulering iets kan weglaten of de betekenis kan veranderen.

Hetzelfde bericht, met veel minder woorden, zodat de rekening aan het eind lager uitvalt.

Voor elk woord dat de helper leest, betaal je, zelfs voor woorden die hij steeds herhaalt.

Gemeten bestandsgrootte · 500 platte records

Het staat vóór je AI-tools en converteert aan de edge. Je bestaande systemen blijven de formaten versturen en ontvangen die ze al gebruiken.

Je databases, rapporten en spreadsheets zien dezelfde formaten als voorheen. Het dichtere formaat bestaat alleen tijdens de reis naar en van het model.

Zeven formaten gaan via dezelfde verliesvrije brug heen en terug; de compacte vorm bestaat alleen rond de modelaanroep.

Het model ontvangt de dichte versie. Je stack blijft de formaten spreken die het altijd deed.

Eén direct inzetbare converter staat tussen je systemen en het model.

bespaard per maand bij één miljard tokens door over te schakelen van JSON naar HEDL.

per API-aanroep besteed aan herhaalde sleutels voor een dataset van 10.000 gebruikers.

Schema eenmalig. Daarna alleen de data, komma gescheiden.

Vermenigvuldig de structurele bytes nu met tienduizend records.

Beweeg over een onderdeel om het te isoleren

De waarden die je echt wilde versturen. In HEDL blijft bijna alleen dat over.

Een paar aanhalingstekens rond elke string, ook als die ondubbelzinnig is.

Accolades en vierkante haken die structuur markeren die het schema al kent.

Dezelfde veldnamen, "id", "name", "role", opnieuw betaald voor elk record.

Eén compacte laag staat vóór het model, terwijl de rest van je stack JSON blijft spreken.

Het spreekt HEDL naar het model en gewoon JSON terug naar je eigen systemen, dus de rest van je stack verandert niet. Haal het eruit en alles is precies zoals het begon.

Conversie kan op je eigen machines, in een EU-regio of volledig offline draaien, zonder externe dienst in het pad.

Tokenreductie, antwoordnauwkeurigheid en verliesvrije round-trips worden vóór het uitrollen op echte datasets gemeten.

Plaats het voor één workflow, vergelijk het resultaat en breid alleen uit waar het loont.

HEDL is een klein onderdeel dat AI-helpers goedkoper maakt om te draaien, zonder te veranderen wat ze terugzeggen. Je installeert het niet, je stelt het niet in en je hoeft het niet te begrijpen. Hier is de korte versie van wat het belooft.

Je hoeft je hierover geen zorgen meer te maken.

Omdat het hetzelfde zegt in minder woorden, kosten de helpers die het gebruiken minder om te draaien.

Ieder compact bericht wordt hersteld en gecontroleerd voordat de helper het gebruikt, zodat onderweg niets verdwijnt.

Het verandert alleen hoe het bericht wordt gevouwen voor verzending. De betekenis blijft precies hetzelfde.

Je ziet HEDL nooit en raakt het niet aan. Het zit achter de AI-helper en doet zijn werk zelfstandig.

Als je nog twijfelt, is dat prima. Je hoeft HEDL nooit aan te raken om zijn werk te doen.

Tik op een vraag om het antwoord in gewone taal te lezen. Geen enkele vraag is verkeerd.

De helpers die je gebruikt kosten geld om te draaien, ongeveer zoals een telefoonrekening per woord. Hetzelfde zeggen met minder woorden betekent een kleinere rekening, waardoor die helpers goedkoper aangeboden kunnen worden.

Ieder compact bericht wordt hersteld en gecontroleerd voordat het wordt gebruikt. Komt de volledige versie niet exact terug, dan faalt de conversie in plaats van stilletjes iets weg te laten.

Ja. De korte vorm wordt zo nodig woord voor woord teruggezet naar de lange vorm, zonder iets toe te voegen of weg te laten. Net als een brief die je opvouwt om te versturen en daarna weer uitvouwt om te lezen.

Kan de volledige versie altijd worden teruggehaald?

Nee. Het verandert alleen hoe het bericht wordt opgevouwen voor de heen- en terugreis naar de helper. De betekenis blijft precies hetzelfde, dus het antwoord dat je leest is ook het antwoord dat je anders zou hebben gekregen.

Zou het het antwoord dat ik terugkrijg kunnen veranderen?

Nee. Je hoeft niets te downloaden, aan te zetten of te leren. HEDL zit achter de AI-helpers die anderen bouwen en doet zijn werk zelfstandig. Je zult het nooit zien.

Je hoeft niets te installeren of te begrijpen. Het werkt rustig op de achtergrond, zodat de helpers die je gebruikt minder kosten en even duidelijk blijven.

Stel je voor dat je hetzelfde adres op honderd enveloppen schrijft. Je kunt het adres telkens volledig uitschrijven, of het één keer opschrijven en daarna alleen het huisnummer op de rest zetten. De brieven komen nog steeds aan. Je hebt gewoon minder geschreven. Dat is het hele idee achter HEDL.

Je kunt de korte vorm altijd woord voor woord terugzetten naar de lange vorm, zonder dat er iets verandert. Net als een brief die je opvouwt om in een envelop te passen en later weer uitvouwt om te lezen.

Voor elk woord dat naar een AI-helper wordt gestuurd, betaal je, ongeveer zoals bij een telefoonrekening per woord. Hetzelfde zeggen met minder woorden betekent een kleinere rekening, met hetzelfde antwoord aan het eind.

Wanneer een computer met een van deze AI-helpers praat, stuurt hij veel woorden. HEDL is een manier om precies hetzelfde te zeggen met veel minder woorden. Er wordt niets weggelaten, het wordt alleen eenvoudiger gezegd.

Een kortere manier om hetzelfde te zeggen

Je team plaatst de converter voor één AI-workflow. Niets anders in de stack wordt aangeraakt en de rest van het bedrijf gaat precies door zoals voorheen.