Token Efficient Data Format for LLMs | Dweve HEDL

Višeagentska orkestracija s HEDL-om u cijelom tijeku.

Dohvat ispod milisekunde za bogatije upite.

Parsing cjevovod s adresiranjem sadržaja.

Instalirajte HEDL, pokrenite MCP poslužitelj ispred svojih alata i gledajte kako potrošnja tokena pada. Benchmark korpus u repozitoriju.

Ista semantika, gušće kodiranje, točno obnovljeno.

Rust jezgra s nula ovisnosti i bez nesigurnog koda.

Bez dobavljača u putanji. Konverzija se izvodi lokalno.

HEDL se isporučuje kao Rust biblioteka, MCP poslužitelj i WASM komponenta. Jezgra parsera ima nula ovisnosti i bez nesigurnog koda; konverzija je lokalna, dvosmjerna i bez gubitaka među podržanim formatima.

Biblioteka, MCP poslužitelj i WASM izlažu isti put konverzije bez gubitaka.

Drop-in poslužitelj, nula promjena aplikacije.

Prosjek na 7 benchmark skupova podataka.

Agentski cjevovodi, dohvat, skupno izdvajanje, bilo gdje gdje se LLM tokeni naplaćuju po volumenu. Uštede se povećavaju kako lanci poziva alata rastu. Isti podaci ulaze, isti odgovori izlaze, jedino što se mijenja je broj na računu.

Povratno putovanje bez gubitaka u oba smjera

Schema parser, pozicijski enkoder, MCP adapter

Ispred bilo kojeg alata, bez izmjene aplikacije

Ubacite MCP poslužitelj i vaš agentski stog govori HEDL uzvodno i JSON nizvodno bez izmjene koda aplikacije. Proxy bilježi broj tokena prije i poslije na svakom zahtjevu. Rust crate, CLI i WASM izgradnja pokrivaju ugrađenu i pregledničku upotrebu.

Izmjereno na 571 zadatku izdvajanja na 7 skupova podataka, pokrenuto na Mistral Large, DeepSeek Chat i NVIDIA GLM-4.7.

Vrijednosti koje ste htjeli poslati. U HEDL-u, gotovo sve što ostaje.

Par navodnika oko svakog niza, čak i onih nedvosmislenih.

Vitičaste i uglate zagrade koje označavaju strukturu koju shema već zna.

Ista imena polja, ponovno plaćena na svakom zapisu.

JSON je univerzalni format razmjene, ali kao LLM ulaz je rasipan. Ponovljena imena polja, strukturne zagrade i navodnici oko svakog niza bajtovi su za koje plaćate, a ne nose značenje. Izdvojite svaki dio ispod da biste točno vidjeli što vaš token proračun kupuje.

Prosjek na 3 modela i 7 skupova podataka

Nismo pretpostavili da će LLM-ovi razumjeti gušći format. Testirali smo to. U jednom izmjerenom pokretanju na 571 strukturiranom pitanju izdvajanja na 7 stvarnih skupova podataka, HEDL je koristio 56 posto manje tokena od JSON-a i zabilježio najveću točnost među formatima u tom pokretanju. Rezultat pripada tom modelu, korpusu i testnoj postavci.

Tokena po pitanju, stvarni skupovi podataka

HEDL jednom deklarira shemu, a zatim pozicijski kodira zapise. Nema ponavljanja naziva polja. Nema zagrada za ugniježđivanje. Nizovi su prema zadanim postavkama bez navodnika. Odaberite skup podataka i gledajte kako broj tokena pada dok podaci ostaju identični. Povratna konverzija je bez gubitaka.

Dizajniran i održavan u Europi, s konverzijom koja radi gdje god ga implementirate.

Rust jezgra ima nula ovisnosti i nema nesigurnog koda.

Ne šalje podatke kući. Ništa ne prelazi granicu koju niste odobrili.

Nema posrednika u putu. Konverzija se izvodi lokalno na vašim strojevima.

Konverzija se izvodi na vašim strojevima, u EU regiji ili potpuno izvan mreže. HEDL ne šalje podatke kući i ne treba vanjsku uslugu, pa strukturirani zapisi ostaju unutar granice kojom već upravljate.

Uklonite posrednika i svaki nizvodni sustav nastavlja raditi s običnim JSON-om.

Stvarni brojevi tokena, zabilježeni po zahtjevu.

Jedan AI tijek rada, ništa drugo nije dirano.

Nema velikog praska migracije za planiranje. Stavite pretvarač ispred jednog AI tijeka rada, usporedite zabilježene brojeve tokena, zatim proširite samo tamo gdje ušteda vrijedi. Put je reverzibilan: uklonite posrednika i svaki nizvodni sustav nastavlja raditi s običnim JSON-om.

Uklonite pretvarač; baze podataka i izvješća nastavljaju primati običan JSON.

Pretvara na rubu, pa se vaše baze podataka i izvješća nikada ne mijenjaju.

Parquet za podatkovna jezera i Neo4j Cypher za graf baze podataka, u oba smjera.

JSON, YAML, XML i CSV, oblici koje većina timova već svakodnevno razmjenjuje.

Nitko ne mora ništa izbacivati. HEDL pretvara u i iz formata koje vaši sustavi već koriste, u oba smjera, i stoji ispred vaših AI alata kao jedna zamjena. Gusta verzija postoji samo na putu do modela. Sve nizvodno vidi oblike koje je uvijek vidjelo.

Mjerač skalira istom stopom gore i dolje, tako da možete očitati brojku blizu stvarne potrošnje.

Ušteda je jednostavno broj tokena koje HEDL uklanja. Manje za slanje znači manje za plaćanje, uz iste podatke.

Objavljena referenca: usluga s milijardu tokena mjesečno štedi 1.680 dolara mjesečno prelaskom s JSON-a.

Tokeni se naplaćuju po volumenu, a HEDL šalje 56 posto manje njih za iste podatke. Odaberite veličinu koja odgovara vašoj potrošnji i gledajte kako se mjesečne i godišnje brojke mijenjaju. Objavljena referentna točka je usluga s milijardu tokena mjesečno, koja štedi 1.680 dolara mjesečno.

Više upotrebljivih odgovora po potrošnji.

Svaki AI poziv naplaćuje se po tokenu, a velik dio tog proračuna čini sintaksa, a ne podaci. HEDL je poslao isti zahtjev u 56 posto manje tokena u izmjerenoj izvedbi i pokazao razliku od +10,3 pp u točnosti u odnosu na JSON. To je dokaz iz ove postavke, uz niži račun, bez mijenjanja nizvodnih sustava.

Benchmark korpus i provjere povratnog puta čine učinak vidljivim prije produkcije.

Govori obični JSON ostatku vašeg sustava. Uklonite ga i vraćate se na JSON, bajt po bajt.

Jedan kompaktni sloj stoji ispred modela; ostatak vaših sustava nastavlja govoriti JSON.

HEDL dodaje jedan kompaktni sloj razmjene ispred modela dok svaka baza podataka, izvješće i aplikacija nastavljaju govoriti JSON. Pokrenite konverziju lokalno, izmjerite je na jednom tijeku rada i uklonite je bez migracije podataka ako se brojke ne održe.

Manje riječi za plaćanje, s istim odgovorom na kraju.

Svaka kompaktna poruka obnavlja se i provjerava prije nego što odgovor stigne do vas.

Mijenja samo način na koji se poruka savija za slanje.

Nikada ne vidite HEDL niti ga dodirujete. Stoji iza pomoćnika.

HEDL je jedan mali dio koji čini AI pomoćnike jeftinijima za pokretanje, bez mijenjanja onoga što vam govore. Ne instalirate ga, ne postavljate ga i ne morate ga razumjeti. Evo cijelog obećanja, u četiri kratke linije.

Ne. Cijela poruka se vraća prije nego što se upotrijebi.

Nikada ga ne instalirate niti uključujete.

Normalno je imati pitanja, i nema glupih pitanja. Ovo su pet koja ljudi najčešće postavljaju, svako s jasnim odgovorom i ničim skrivenim iza njega. Dodirnite pitanje da pročitate odgovor.

Oznake su napisane jednom, ne na svakom retku.

Pomoćnik čita manje da bi vam odgovorio.

Nikada nećete pokrenuti HEDL niti ga vidjeti. Ali svaki put kada jedan od onih AI pomoćnika radi posao za vas, on je tiho tu, čineći pomoćnika jeftinijim za rad. Odaberite trenutak i pogledajte što radi iza zavjese.

Sažeta poruka pretvara se natrag u punu verziju i provjerava prije upotrebe.

Da. Kratki način savija se natrag u dugi način, riječ po riječ.

Ne. Značenje ostaje potpuno isto, svaki put.

Ne. Nikada ga ne vidite niti ga postavljate. On obavlja svoj posao sam.

Zamislite pisanje iste adrese na sto omotnica. Mogli biste je napisati u cijelosti svaki put, ili je napisati jednom i zadržati je kratkom na ostalima. Pisma i dalje stižu. HEDL radi kratki način za vas, i evo što to znači za vašu stranu.

Ništa se ne izostavlja, ništa se ne mijenja.

Bez tehničkih riječi, bez grafikona. Samo ideja, onako kako biste je objasnili prijatelju. HEDL je kraći način da računala kažu istu stvar AI pomoćniku, pa isti odgovor košta manje.

+10,3 postotnih bodova u odnosu na JSON prosjek

HEDL stoji ispred vaših AI alata i šalje iste zahtjeve s 56 posto manje tokena, dok ostatku vašeg sustava govori običnim JSON-om. Ništa se nizvodno ne mijenja: rezultat je manji račun za tokene, razlika u točnosti izmjerena u jednom pokretanju benchmarka i pretvorba koja može raditi na vašim vlastitim strojevima bez premještanja podataka na drugu uslugu.

Ne morate znati nijednu tehničku riječ da biste ovo pratili. Kad računalo razgovara s jednim od tih AI pomoćnika, šalje puno riječi, a svaka se riječ plaća, pomalo poput telefonskog računa koji se naplaćuje po riječi. HEDL je način da se kaže potpuno ista stvar s mnogo manje riječi. Ništa se ne izostavlja, značenje ostaje isto, a odgovor koji dobijete ne mijenja se. Samo košta manje i nikada se ne morate time baviti.

Svaki API poziv modelu velikog jezika naplaćuje se po tokenu. Veći dio tog token budžeta nije podatak; to je režijski trošak: ponovljena imena polja, ugniježđene zagrade, navodnici oko svakog niza. HEDL je poslao potpuno istu informaciju koristeći 56 posto manje tokena u jednoj benchmark izvedbi na 571 zadatku ekstrakcije i 7 skupova podataka, s razlikom u točnosti od +10,3 postotnih bodova u odnosu na JSON u toj izvedbi. Ubacite MCP poslužitelj i vaš postojeći JSON pipeline nastavlja raditi potpuno isto kao i prije.

HEDL (Hierarchical Entity Data Language) je otvoreni, token-efficientan tekstualni format podataka pod Apache 2.0 licencom za LLM-ove i strukturirane zapise. Njegov Rust čitač, pisac, validator i poslužitelji održavaju format preglednim i reverzibilnim.