Token Efficient Data Format for LLMs | Dweve HEDL

Multi-ágens vezénylés HEDL-lel az egész folyamatban.

Ezredmásodperc alatti lekérés a gazdagabb promptokhoz.

Telepítsd a HEDL-t, futtasd az MCP szervert az eszközeid előtt, és figyeld, ahogy a tokenhasználat csökken. A benchmark korpusz a repóban található.

Ugyanaz a szemantika, sűrűbb kódolás, pontosan visszaállítva.

Távolítsd el a proxyt, és visszatérsz a JSON-hoz.

Rust mag, nulla függőséggel és unsafe kód nélkül.

Nincs szállító az útvonalban. A konverzió helyben fut.

A HEDL Rust könyvtárként, MCP szerverként és WASM komponensként érhető el. A magfeldolgozó nulla függőséggel és unsafe kód nélkül működik; a konverzió helyi, kétirányú és veszteségmentes a támogatott formátumok között.

A könyvtár, az MCP szerver és a WASM ugyanazt a veszteségmentes konverziós útvonalat kínálja.

Beépíthető szerver, nulla alkalmazásváltoztatás.

Ágens folyamatok, lekérés, kötegelt kinyerés, bárhol, ahol az LLM tokeneket mennyiség alapján számlázzák. A megtakarítás nő, ahogy az eszközhívási láncok hosszabbak lesznek. Ugyanaz az adat megy be, ugyanazok a válaszok jönnek ki, csak a számlán szereplő szám változik.

Veszteségmentes oda-vissza konverzió mindkét irányban

Sémaelemző, pozíciós kódoló, MCP adapter

Konvertálás, ellenőrzés, lintelés, formázás

Bármely eszköz elé, nulla alkalmazásváltoztatás

Dobd be az MCP szervert, és az ügynökverem HEDL-t beszél felfelé, JSON-t pedig lefelé, alkalmazáskód-változtatás nélkül. A proxy minden kérésnél naplózza a tokenek számát előtte és utána. Egy Rust crate, egy CLI és egy WASM build fedi le a beágyazott és böngészős használatot.

Mérve 571 kinyerési feladaton, 7 adatkészleten, Mistral Large, DeepSeek Chat és NVIDIA GLM-4.7 modelleken futtatva.

Az értékek, amelyeket küldeni akartál. HEDL-ben szinte csak ezek maradnak.

Idézőjelpár minden sztring körül, még a egyértelműeknél is.

Kapcsos és szögletes zárójelek, amelyek a sémában már ismert struktúrát jelölik.

Ugyanazok a mezőnevek, minden rekordnál újra kifizetve.

A JSON az univerzális csereformátum, de LLM-bemenetként pazarló. Az ismétlődő mezőnevek, a szerkezeti zárójelek és a minden sztring körüli idézőjelek olyan bájtok, amelyekért fizetsz, de nem hordoznak jelentést. Izoláld az alábbi részeket, hogy pontosan lásd, mit vesz a tokengazdálkodásod.

Nem feltételeztük, hogy az LLM-ek megértenek egy sűrűbb formátumot. Teszteltük. Egy mért futtatásban, 571 strukturált kinyerési kérdésen, 7 valós adatkészleten a HEDL 56 százalékkal kevesebb tokent használt, mint a JSON, és a legmagasabb pontosságot érte el a formátumok között abban a futtatásban. Az eredmény ahhoz a modellhez, korpuszhoz és tesztsetup-hoz tartozik.

JSON-ból HEDL-be és vissza, bájtról bájtra.

Ugyanazok a rekordok, séma egyszer deklarálva.

Lapos felhasználói rekordok, kérdésenként.

Tokenek kérdésenként, valós adathalmazok

A HEDL egyszer deklarálja a sémát, majd pozicionálisan kódolja a rekordokat. Nincs ismételt mezőnév. Nincs zárójel a beágyazáshoz. A sztringek alapértelmezés szerint idézőjelek nélkül szerepelnek. Válassz egy adathalmazt, és nézd meg, ahogy a tokenek száma csökken, miközben az adat változatlan marad. A körkörös átalakítás veszteségmentes.

Európában tervezték és tartják karban, az átalakítás pedig ott fut, ahol telepíted.

A Rust mag nulla függőséggel és biztonságos kóddal rendelkezik.

Nem telefonál haza. Semmi nem lépi át azt a határt, amit nem hagytál jóvá.

Nincs közvetítő az úton. Az átalakítás a saját gépeiden fut helyben.

Az átalakítás a saját gépeiden fut, egy EU-régióban, vagy teljesen offline. A HEDL nem telefonál haza, és nincs szüksége külső szolgáltatásra, így a strukturált rekordok a saját határaidon belül maradnak.

Távolítsd el a proxyt, és minden downstream rendszer sima JSON-ban folytatja.

Valós token számok, kérésenként naplózva.

Egy AI munkafolyamat, semmi máshoz nem nyúlsz.

Nincs nagy durranás migráció, amit tervezni kell. Tedd az átalakítót egy AI munkafolyamat elé, hasonlítsd össze a naplózott token számokat, majd bővítsd csak ott, ahol a megtakarítás megmarad. Az út visszafordítható: távolítsd el a proxyt, és minden downstream rendszer sima JSON-ban folytatja.

Távolítsd el az átalakítót; az adatbázisok és jelentések továbbra is sima JSON-t kapnak.

A szélén konvertál, így az adatbázisok és jelentések soha nem változnak.

Parquet az adattavakhoz és Neo4j Cypher a gráfadatbázisokhoz, mindkét irányban.

JSON, YAML, XML és CSV, azok a formák, amelyeket a legtöbb csapat már naponta cserél.

Senkinek nem kell semmit kitépni. A HEDL oda-vissza konvertál azokból a formátumokból, amelyeket a rendszereid már használnak, és egyetlen drop-in-ként ül az AI eszközeid előtt. A sűrű változat csak a modellhez vezető úton létezik. Minden downstream ugyanazokat a formákat látja, mint mindig.

A mérő ugyanolyan arányban skálázódik felfelé és lefelé, így a valós használatodhoz közeli értéket olvashatsz le.

A megtakarítás egyszerűen az a token, amit a HEDL eltávolít. Kevesebb küldeni való kevesebb fizetnivalót jelent, ugyanazért az adatmennyiségért.

A közzétett referencia: egy havi egymilliárd tokenes szolgáltatás havi 1680 dollárt takarít meg a JSON-ról való átállással.

A tokeneket mennyiség alapján számlázzuk, és a HEDL 56 százalékkal kevesebbet küld belőlük ugyanazért az adatért. Válaszd ki a használatodhoz hasonló méretet, és figyeld, ahogy a havi és éves számok változnak. A közzétett referenciapont egy havi egymilliárd tokenes szolgáltatás, amely havi 1680 dollárt takarít meg.

Ugyanaz az adat jön vissza, bájtra pontosan.

Több használható válasz ugyanannyi költésre.

Minden AI-hívás tokennel van árazva, és a költségvetés nagy része szintaxis, nem pedig adat. A HEDL ugyanazt a kérést 56 százalékkal kevesebb tokenben küldte el a mért futásban, és ott +10,3 pp pontosságkülönbséget mutatott a JSON-hoz képest. Ez bizonyíték ebből a beállításból, alacsonyabb számla mellett, anélkül, hogy a downstream rendszereket megváltoztatnánk.

Mit takarít meg, mit tesz kockázatmentesebbé

A benchmark korpusz és a körkörös ellenőrzések láthatóvá teszik a hatást a gyártás előtt.

Simulékony JSON-t beszél a stack többi részének. Távolítsd el, és visszatérsz a JSON-hoz, bájtra pontosan.

Egy kompakt réteg ül a modell előtt; a rendszereid többi része továbbra is JSON-t beszél.

A HEDL egy kompakt csere-réteget ad a modell elé, miközben minden adatbázis, jelentés és alkalmazás továbbra is JSON-t beszél. Futtasd a konverziót helyben, mérd meg egy munkafolyamaton, és távolítsd el adatmigráció nélkül, ha a számok nem állják meg a helyüket.

Kevesebb szó, amiért fizetni kell, ugyanazzal a válasszal a végén.

Minden kompakt üzenet visszaállításra és ellenőrzésre kerül, mielőtt a válasz elér hozzád.

Csak azt változtatja meg, hogyan van az üzenet összehajtva küldésre.

Soha nem látod a HEDL-t, és nem is érinted. A segítő mögött ül.

A HEDL egy kis darab, ami olcsóbbá teszi az AI-segítők futtatását, anélkül, hogy megváltoztatná, mit mondanak vissza neked. Nem telepíted, nem állítod be, és nem kell megértened. Itt az egész ígéret, négy rövid sorban.

Nem. A teljes üzenet visszaállításra kerül, mielőtt felhasználnák.

Sosem telepíted, és nem is kapcsolod be.

Természetes, hogy kérdéseid vannak, és nincsenek ostoba kérdések. Íme az öt leggyakrabban feltett kérdés, mindegyikre egyszerű válasszal, és semmi nincs mögöttük elrejtve. Koppints egy kérdésre a válasz megtekintéséhez.

Pontosan úgy tér vissza, ahogy elindult.

A címkék egyszer vannak megírva, nem minden sorban.

A segítő kevesebbet olvas, hogy válaszoljon neked.

Sosem indítod el a HEDL-t, sőt, nem is látod. De valahányszor az egyik ilyen AI segítő dolgozik neked, csendben ott van, olcsóbbá téve a segítő működését. Válassz egy pillanatot, és nézd meg, mit csinál a kulisszák mögött.

A tömör üzenet visszaalakul a teljes verzióvá, és ellenőrzésre kerül, mielőtt felhasználnák.

Igen. A rövid út visszahajtogat a hosszú útra, szóról szóra.

Nem. A jelentés pontosan ugyanaz marad, minden alkalommal.

Nem. Sosem látod, és nem is állítod be. Magától végzi a munkáját.

Gondolj arra, hogy ugyanazt a címet írod száz borítékra. Írhatod teljes egészében minden alkalommal, vagy megírod egyszer, és a többi borítékon röviden tartod. A levelek akkor is megérkeznek. A HEDL elvégzi helyetted a rövid utat, és íme, mit jelent ez a te oldaladról.

Kevesebb szó kevesebb fizetnivalót jelent.

Nincs műszaki szó, nincs diagram. Csak az ötlet, ahogy egy barátnak elmagyaráznád. A HEDL egy rövidebb módja annak, hogy a számítógépek ugyanazt mondják egy AI asszisztensnek, így ugyanazért a válaszért kevesebbet kell fizetni.

+10,3 százalékpont a JSON átlagához képest

56 százalékkal kevesebb a JSON-hoz képest

Távolítsd el a proxyt; a JSON tovább működik

A HEDL az AI eszközeid elé kerül, és ugyanazokat a kéréseket 56 százalékkal kevesebb tokennel küldi, miközben a rendszer többi részével sima JSON-ban kommunikál. Semmi sem változik a downstream oldalon: az eredmény alacsonyabb token számla, egy benchmark futtatásban mért pontosságkülönbség, és olyan konverzió, amely a saját gépeiden futhat anélkül, hogy adatokat küldenél másik szolgáltatásnak.

Nem kell ismerned a műszaki szavakat ahhoz, hogy kövesd. Amikor egy számítógép beszél az egyik ilyen AI asszisztenssel, sok szót küld, és minden szóért fizetni kell, kicsit olyan, mint egy szavakkal számlázott telefonszámla. A HEDL egy módja annak, hogy pontosan ugyanazt mondd el sokkal kevesebb szóval. Semmi nem marad ki, a jelentés ugyanaz marad, és a kapott válasz sem változik. Csak kevesebbe kerül, és soha nem kell hozzányúlnod.