Token Efficient Data Format for LLMs | Dweve HEDL

Skupine algoritmov glede na vrsto podatkov

Večagentna orkestracija s HEDL vseskozi.

Pridobivanje v podmilisekundnem času za bogatejše pozive.

Razčlenjevalna cevovod z naslavljanjem vsebine.

Namesti HEDL, zaženi MCP strežnik pred svojimi orodji in opazuj padec porabe žetonov. Primerjalni korpus je v repozitoriju.

Ista semantika, gostejše kodiranje, natančno obnovljeno.

Jedro v Rustu z nič odvisnostmi in brez varne kode.

Brez prodajalca v poti. Pretvorba poteka lokalno.

HEDL je na voljo kot knjižnica v Rustu, MCP strežnik in komponenta WASM. Osrednji razčlenjevalnik ima nič odvisnosti in brez varne kode; pretvorba je lokalna, dvosmerna in brez izgub pri podprtih formatih.

Knjižnica, MCP strežnik in WASM izpostavljajo isto pot pretvorbe brez izgub.

Strežnik za takojšnjo uporabo, nič sprememb v aplikaciji.

Povprečje 7 primerjalnih naborov podatkov.

Agentski cevovodi, pridobivanje, paketna ekstrakcija, povsod, kjer se žetoni LLM zaračunavajo po obsegu. Prihranki se kopičijo, ko so verige klicov orodij daljše. Noter gredo isti podatki, ven pridejo isti odgovori, spremeni se le številka na računu.

Razčlenjevalnik sheme, pozicijski kodirnik, MCP adapter

Pred katerim koli orodjem, brez sprememb aplikacije

Vstavite MCP strežnik in vaš agentni sklad govori HEDL navzgor ter JSON navzdol brez spremembe kode aplikacije. Proxy beleži število žetonov pred in po vsaki zahtevi. Crate za Rust, CLI in WASM gradnja pokrivajo vgrajeno in brskalniško uporabo.

Izmerjeno na 571 nalogah ekstrakcije na 7 naborih podatkov, izvedeno na Mistral Large, DeepSeek Chat in NVIDIA GLM-4.7.

Vrednosti, ki ste jih nameravali poslati. V HEDL ostane skoraj vse to.

Par narekovajev okoli vsakega niza, tudi nedvoumnih.

Zaviti in oglati oklepaji, ki označujejo strukturo, ki jo shema že pozna.

Ista imena polj, plačana znova pri vsakem zapisu.

JSON je univerzalni izmenjalni format, a kot vhod za LLM je potraten. Ponovljena imena polj, strukturni oklepaji in narekovaji okoli vsakega niza so bajti, za katere plačate, a ne nosijo pomena. Izolirajte vsak del spodaj, da vidite, kaj točno kupuje vaš žetonski proračun.

Povratna pretvorba JSON v HEDL in nazaj.

Povprečje na 7 naborih podatkov za primerjavo.

Povprečje na 3 modelih in 7 naborih podatkov

Nismo predpostavili, da bi LLM razumeli gostejši format. Preizkusili smo ga. V enem izmerjenem zagonu na 571 vprašanjih strukturirane ekstrakcije na 7 resničnih naborih podatkov je HEDL porabil 56 odstotkov manj žetonov kot JSON in zabeležil najvišjo natančnost med formati v tem zagonu. Rezultat pripada temu modelu, korpusu in testni postavitvi.

Žetoni na vprašanje, resnični nabori podatkov

HEDL enkrat deklarira shemo, nato pa zapise kodira pozicijsko. Brez ponavljajočih se imen polj. Brez oklepajev za gnezdenje. Nizi privzeto brez narekovajev. Izberite nabor podatkov in opazujte, kako število žetonov pade, medtem ko podatki ostanejo enaki. Povratna pretvorba je brez izgub.

Oblikovano in vzdrževano v Evropi, s pretvorbo, ki deluje kjerkoli jo namestite.

Jedro v Rustu ima nič odvisnosti in nobene nevarne kode.

Ne pošilja podatkov domov. Nič ne prečka meje, ki je niste odobrili.

Brez posrednika na poti. Pretvorba deluje lokalno na vaših napravah.

Pretvorba deluje na vaših napravah, v regiji EU ali popolnoma brez povezave. HEDL ne pošilja podatkov domov in ne potrebuje zunanje storitve, zato strukturirani zapisi ostanejo znotraj meja, ki jih že upravljate.

Odstranite posrednika in vsi nadaljnji sistemi še naprej delujejo z navadnim JSON.

Isti zamenljivi del, kjerkoli se izplača.

Resnično število žetonov, zabeleženo za vsako zahtevo.

En AI potek dela, nič drugega ni spremenjeno.

Ni velikega preskoka za načrtovanje. Postavite pretvornik pred en AI potek dela, primerjajte zabeleženo število žetonov in nato razširite samo tam, kjer se prihranek obdrži. Pot je povratna: odstranite posrednika in vsi nadaljnji sistemi še naprej delujejo z navadnim JSON.

Odstranite pretvornik; podatkovne zbirke in poročila še naprej prejemajo navaden JSON.

Pretvarja na robu, zato se vaše podatkovne zbirke in poročila nikoli ne spremenijo.

Parquet za podatkovna jezera in Neo4j Cypher za grafične podatkovne zbirke, v obe smeri.

JSON, YAML, XML in CSV, oblike, ki jih večina ekip že izmenjuje vsak dan.

Nihče ničesar ne sme odstraniti. HEDL pretvarja v oblike, ki jih vaši sistemi že uporabljajo, in iz njih, v obe smeri, ter stoji pred vašimi AI orodji kot en sam zamenljivi del. Gosta različica obstaja samo na poti do modela. Vse v nadaljevanju vidi oblike, kot jih je vedno.

Merilo se enako povečuje in zmanjšuje, tako da lahko odčitate vrednost, ki je blizu vaši dejanski porabi.

Prihranek so preprosto žetoni, ki jih HEDL odstrani. Manj za poslati pomeni manj za plačati, ob enakih podatkih.

Objavljena referenca: storitev z milijardo žetonov na mesec prihrani 1.680 dolarjev na mesec s prehodom z JSON.

Žetoni se zaračunavajo po količini, HEDL pa jih za enake podatke pošlje 56 odstotkov manj. Izberite velikost, ki ustreza vaši porabi, in opazujte, kako se mesečne in letne številke spreminjajo. Objavljena referenčna točka je storitev z milijardo žetonov na mesec, ki prihrani 1.680 dolarjev na mesec.

Več uporabnih odgovorov za vsak porabljeni denar.

Vsak klic AI se zaračuna po žetonu, velik del tega proračuna pa je sintaksa in ne podatki. HEDL je v izmerjenem zagonu poslal isto zahtevo s 56 odstotki manj žetoni in pokazal +10,3 odstotne točke razlike v natančnosti od JSON. To so dokazi iz te nastavitve, poleg nižjega računa, brez spreminjanja sistemov v ozadju.

Referenčni korpus in preverjanja povratne poti naredijo učinek vidnega pred produkcijo.

Preostalemu delu vašega sklada govori navaden JSON. Če ga odstranite, ste nazaj na JSON, bajt za bajtom.

Ena kompaktna plast je pred modelom; preostali sistemi še naprej govorijo JSON.

HEDL doda eno kompaktno izmenjalno plast pred model, medtem ko vsaka baza podatkov, poročilo in aplikacija še naprej govorijo JSON. Pretvorbo izvajajte lokalno, izmerite jo na enem delovnem toku in jo odstranite brez selitve podatkov, če številke ne držijo.

Manj besed za plačati, z istim odgovorom na koncu.

Vsako kompaktno sporočilo se obnovi in preveri, preden odgovor doseže vas.

Spremeni samo, kako je sporočilo zloženo za pošiljanje.

HEDL nikoli ne vidite in se ga ne dotikate. Je za pomočnikom.

HEDL je en majhen del, zaradi katerega so AI pomočniki cenejši za delovanje, ne da bi spremenil, kaj vam povedo nazaj. Ne namestite ga, ne nastavite ga in ni vam ga treba razumeti. Tukaj je celotna obljuba v štirih kratkih vrsticah.

Ne. Celotno sporočilo se obnovi, preden se uporabi.

Normalno je, da imate vprašanja, in nobeno ni neumno. Tukaj je pet najpogostejših, vsako s preprostim odgovorom in nič skritega za njim. Dotaknite se vprašanja, da preberete odgovor.

Oznake so zapisane enkrat, ne v vsaki vrstici.

HEDL nikoli ne boste zagnali ali ga sploh videli. Toda vsakič, ko eden od teh AI pomočnikov opravlja delo za vas, je tiho tam in naredi pomočnika cenejšega za delovanje. Izberite trenutek in poglejte, kaj počne v ozadju.

Kompaktno sporočilo se pretvori nazaj v celotno različico in preveri, preden se uporabi.

Da. Kratka pot se zloži nazaj v dolgo, dobesedno.

Ne. Pomen ostane popolnoma enak, vsakič.

Ne. Nikoli ga ne vidite ali nastavite. Svoje delo opravi sam.

Pomislite na pisanje istega naslova na sto ovojnic. Lahko bi ga vsakič napisali v celoti ali pa ga napišete enkrat in ga na ostalih skrajšate. Pisma še vedno prispejo. HEDL naredi kratko pot za vas, in tukaj je, kaj to pomeni za vašo stran.

Isto sporočilo, povedano z manj besedami.

Brez tehničnih besed, brez grafov. Samo ideja, tako kot bi jo razložili prijatelju. HEDL je krajši način, da računalniki povedo isto stvar AI pomočniku, zato isti odgovor stane manj.

+10,3 odstotne točke v primerjavi z JSON

HEDL stoji pred vašimi AI orodji in pošilja iste zahteve s 56 odstotki manj žetoni, medtem ko preostalemu delu sistema govori v navadnem JSON. Nič se v nadaljevanju ne spremeni: rezultat je nižji račun za žetone, razlika v natančnosti, izmerjena v enem zagonu primerjalnega testa, in pretvorba, ki lahko teče na vaših lastnih računalnikih brez prenosa podatkov v drugo storitev.

Za razumevanje vam ni treba poznati nobene tehnične besede. Ko računalnik govori z enim od teh AI pomočnikov, pošlje veliko besed in vsaka beseda se plača, podobno kot telefonski račun, ki se šteje po besedah. HEDL je način, kako povedati popolnoma isto stvar z veliko manj besedami. Nič ni izpuščeno, pomen ostane enak in odgovor, ki ga dobite, se ne spremeni. Samo stane manj in nikoli se vam ni treba ukvarjati z njim.

Vsak klic API-ja do velikega jezikovnega modela je zaračunan po žetonih. Večina tega proračuna žetonov ni podatek; je režija: ponavljajoča se imena polj, ugnezdeni oklepaji, narekovaji okoli vsakega niza. HEDL je v enem merilnem zagonu posredoval popolnoma enake informacije z 56 odstotki manj žetoni, in to v 571 nalogah ekstrakcije ter 7 naborih podatkov, z razliko v natančnosti +10,3 odstotne točke v primerjavi z JSON v tem zagonu. Namestite strežnik MCP in vaš obstoječi cevovod JSON deluje naprej popolnoma enako kot prej.