Token Efficient Data Format for LLMs | Dweve HEDL

Orchestrácia viacerých agentov s HEDL v celom procese.

Vyhľadávanie pod milisekundu pre bohatšie výzvy.

Nainštalujte HEDL, spustite MCP server pred svojimi nástrojmi a sledujte pokles spotreby tokenov. Benchmark korpus je v repozitári.

Rovnaká sémantika, hustejšie kódovanie, presná obnova.

Rust jadro s nulovými závislosťami a bez unsafe kódu.

Žiadny dodávateľ v ceste. Konverzia prebieha lokálne.

HEDL sa dodáva ako Rust knižnica, MCP server a WASM komponent. Základný analyzátor má nulové závislosti a žiadny unsafe kód; konverzia je lokálna, obojsmerná a bezstratová naprieč podporovanými formátmi.

Knižnica, MCP server a WASM poskytujú rovnakú bezstratovú konverznú cestu.

Server na priame použitie, nulová zmena aplikácie.

Priemer naprieč 7 benchmarkovými dátovými sadami.

Agentové pipeline, vyhľadávanie, dávková extrakcia, kdekoľvek sa tokeny LLM účtujú podľa objemu. Úspory sa znásobujú, keď sa reťazce volaní nástrojov predlžujú. Rovnaké dáta vstupujú, rovnaké odpovede vychádzajú, jediné, čo sa mení, je číslo na faktúre.

Schéma parser, pozičný enkóder, MCP adaptér

Konvertovať, validovať, lintovať, formátovať

Pred akýkoľvek nástroj, bez zmeny aplikácie

Nasaďte MCP server a váš agent stack hovorí HEDL upstream a JSON downstream bez zmeny kódu aplikácie. Proxy loguje počty tokenov pred a po každej požiadavke. Rust crate, CLI a WASM build pokrývajú vložené a prehliadačové použitie.

Merané na 571 extrakčných úlohách naprieč 7 datasetmi, spustené na Mistral Large, DeepSeek Chat a NVIDIA GLM-4.7.

Hodnoty, ktoré ste chceli poslať. V HEDL zostáva takmer všetko.

Pár úvodzoviek okolo každého reťazca, aj tých jednoznačných.

Zátvorky a hranaté zátvorky označujúce štruktúru, ktorú schéma už pozná.

Rovnaké názvy polí, platené znova pri každom zázname.

JSON je univerzálny výmenný formát, ale ako vstup pre LLM je plytvavý. Opakované názvy polí, štrukturálne zátvorky a úvodzovky okolo každého reťazca sú bajty, za ktoré platíte a ktoré nenesú žiadny význam. Izolujte každú časť nižšie, aby ste videli, čo presne váš tokenový rozpočet kupuje.

Nepredpokladali sme, že LLM pochopia hustejší formát. Otestovali sme to. V jednom meranom behu naprieč 571 štruktúrovanými extrakčnými otázkami na 7 reálnych datasetoch použil HEDL o 56 percent menej tokenov ako JSON a zaznamenal najvyššiu presnosť medzi formátmi v tomto behu. Výsledok patrí tomuto modelu, korpusu a testovaciemu nastaveniu.

Rovnaké záznamy, schéma deklarovaná raz.

Ploché používateľské záznamy, na otázku.

HEDL deklaruje schému raz a potom kóduje záznamy pozične. Žiadne opakované názvy polí. Žiadne zátvorky pre vnorenie. Reťazce sú štandardne bez úvodzoviek. Vyberte si dataset a sledujte, ako počet tokenov klesá, zatiaľ čo dáta zostávajú identické. Spätný prevod je bezstratový.

Navrhnutý a udržiavaný v Európe, s konverziou bežiacou kdekoľvek ju nasadíte.

Rustové jadro má nulové závislosti a žiadny unsafe kód.

Nevolá domov. Nič neprekračuje hranicu, ktorú ste neschválili.

Žiadny dodávateľ v ceste. Konverzia beží lokálne na vašich vlastných strojoch.

Konverzia beží na vašich vlastných strojoch, v regióne EÚ alebo úplne offline. HEDL nevolá domov a nepotrebuje žiadnu externú službu, takže štruktúrované záznamy zostávajú v rámci hranice, ktorú už prevádzkujete.

Odstráňte proxy a každý downstream systém bude pokračovať s obyčajným JSON.

Rovnaká náhrada, kdekoľvek sa to oplatí.

Reálne počty tokenov, zaznamenané na každú požiadavku.

Jeden AI pracovný postup, nič iné sa nedotkne.

Neexistuje žiadna migrácia veľkého tresku, ktorú by ste museli plánovať. Umiestnite konvertor pred jeden AI pracovný postup, porovnajte zaznamenané počty tokenov a potom rozšírte len tam, kde sa úspora drží. Cesta je vrátiťeľná: odstráňte proxy a každý downstream systém bude pokračovať s obyčajným JSON.

Odstráňte konvertor; databázy a reporty budú naďalej dostávať obyčajný JSON.

Konvertuje na okraji, takže vaše databázy a reporty sa nikdy nemenia.

Parquet pre dátové jazerá a Neo4j Cypher pre grafové databázy, v oboch smeroch.

JSON, YAML, XML a CSV, tvary, ktoré väčšina tímov už vymieňa každý deň.

Nikto nemusí nič vytrhávať. HEDL konvertuje do formátov, ktoré vaše systémy už používajú, a z nich, v oboch smeroch, a sedí pred vašimi AI nástrojmi ako jedna náhrada. Hustá verzia existuje len na ceste k modelu. Všetko downstream vidí tvary, ktoré vždy videlo.

Meter stupňuje rovnakým tempom hore aj dole, takže si môžete odčítať hodnotu blízku vašej skutočnej spotrebe.

Úspora je jednoducho počet tokenov, ktoré HEDL odstráni. Menej údajov na odoslanie znamená menej na zaplatenie, pri rovnakých dátach.

Publikovaný referenčný bod: služba s jednou miliardou tokenov mesačne ušetrí 1 680 dolárov mesačne prechodom z JSON.

Tokeny sa fakturujú podľa objemu a HEDL ich pri rovnakých dátach odošle o 56 percent menej. Vyberte si veľkosť, ktorá zodpovedá vašej spotrebe, a sledujte, ako sa menia mesačné a ročné sumy. Publikovaný referenčný bod je služba s jednou miliardou tokenov mesačne, ktorá ušetrí 1 680 dolárov mesačne.

Každé volanie AI sa oceňuje podľa tokenov a veľká časť tohto rozpočtu je syntax, nie dáta. HEDL odoslal rovnakú požiadavku s o 56 percent menším počtom tokenov v meranom behu a ukázal rozdiel v presnosti +10,3 pp oproti JSON. Toto je dôkaz z tohto nastavenia, spolu s nižším účtom, bez zmeny downstream systémov.

Benchmark korpus a round-trip kontroly zviditeľnia efekt ešte pred produkciou.

So zvyškom vášho stacku hovorí čistým JSON. Odstráňte ho a ste späť na JSON, bajt po bajte.

Jedna kompaktná vrstva stojí pred modelom; zvyšok vašich systémov naďalej hovorí JSON.

HEDL pridáva jednu kompaktnú výmennú vrstvu pred model, zatiaľ čo každá databáza, správa a aplikácia naďalej hovorí JSON. Spustite konverziu lokálne, zmerajte ju na jednom pracovnom postupe a odstráňte ju bez migrácie dát, ak čísla neobstoja.

Menej slov na zaplatenie, s rovnakou odpoveďou na konci.

Každá kompaktná správa sa obnoví a skontroluje, kým sa k vám dostane odpoveď.

Mení len to, ako sa správa poskladá na odoslanie.

HEDL nikdy nevidíte ani sa ho nedotknete. Je za pomocníkom.

HEDL je jeden malý kúsok, ktorý robí AI pomocníkov lacnejšími na prevádzku, bez zmeny toho, čo vám hovoria. Neinštalujete ho, nenastavujete ho a nemusíte mu rozumieť. Tu je celý prísľub v štyroch krátkych riadkoch.

Nie. Celá správa sa pred použitím obnoví.

Je normálne mať otázky a žiadna nie je hlúpa. Tu je päť najčastejších otázok, každá s jasnou odpoveďou a ničím skrytým. Klepnutím na otázku si prečítate odpoveď.

Vráti sa presne také, aké bolo na začiatku.

Štítky sú napísané raz, nie na každom riadku.

HEDL nikdy nespustíte ani neuvidíte. Ale vždy, keď niektorý z týchto AI pomocníkov robí prácu za vás, je tam potichu a robí pomocníka lacnejším na prevádzku. Vyberte si okamih a pozrite sa, čo robí v zákulisí.

Kompaktná správa sa premení späť na plnú verziu a pred použitím sa skontroluje.

Áno. Krátka cesta sa zloží späť do dlhej, slovo za slovom.

Nie. Význam zostáva presne rovnaký, vždy.

Nie. Nikdy ho nevidíte ani nenastavujete. Svoju prácu robí sám.

Predstavte si, že píšete rovnakú adresu na sto obálok. Mohli by ste ju zakaždým napísať celú, alebo ju napísať raz a na zvyšku ju skrátiť. Listy stále dôjdu. HEDL za vás urobí krátku cestu, a tu je to, čo to znamená pre vašu stranu.

Rovnaká správa, povedaná menším počtom slov.

Žiadne technické slová, žiadne grafy. Len myšlienka, tak, ako by ste ju vysvetlili priateľovi. HEDL je kratší spôsob, ako počítače povedia to isté AI asistentovi, takže rovnaká odpoveď stojí menej.

HEDL stojí pred vašimi AI nástrojmi a posiela rovnaké požiadavky s o 56 percent menším počtom tokenov, pričom so zvyškom vášho systému hovorí obyčajným JSON. Nič sa downstream nemení: výsledkom je nižší účet za tokeny, rozdiel v presnosti nameraný v jednom benchmarku a konverzia, ktorá môže bežať na vašich vlastných strojoch bez presunu dát do inej služby.

Na pochopenie tohto nepotrebujete poznať žiadne technické slová. Keď počítač hovorí s niektorým z tých AI asistentov, posiela veľa slov a každé slovo sa platí, trochu ako telefónny účet počítaný podľa slov. HEDL je spôsob, ako povedať presne to isté s oveľa menším počtom slov. Nič sa nevynechá, význam zostáva rovnaký a odpoveď, ktorú dostanete, sa nemení. Len to stojí menej a nikdy sa toho nemusíte dotýkať.

Každé volanie API na veľký jazykový model je spoplatnené podľa tokenov. Väčšina tohto tokenového rozpočtu nie sú dáta; je to réžia: opakované názvy polí, vnorené zátvorky, úvodzovky okolo každého reťazca. HEDL poslal presne rovnaké informácie s o 56 percent menším počtom tokenov v jednom benchmarkovom behu naprieč 571 extrakčnými úlohami a 7 datovými sadami, s rozdielom presnosti +10,3 percentuálneho bodu oproti JSON v tomto behu. Nasaďte MCP server a váš existujúci JSON pipeline bude fungovať presne ako predtým.

HEDL (Hierarchical Entity Data Language) je open-source, tokenovo efektívny textový dátový formát pod licenciou Apache 2.0 pre LLM a štruktúrované záznamy. Jeho Rust čítačka, zapisovač, validátory a servery udržiavajú formát kontrolovateľný a reverzibilný.

HEDL (Hierarchical Entity Data Language) je open-source, tokenovo efektívny tabuľkový formát pod licenciou Apache 2.0 pre LLM požiadavky. Začnite lokálne s cargo add hedl; opakované štítky zmiznú, zatiaľ čo konverzia zostáva lokálna a reverzibilná. V jednom meranom behu bolo 500 plochých záznamov o 48,7 % menších ako minifikovaný JSON.