Token Efficient Data Format for LLMs | Dweve HEDL

Orchestrare multi-agent cu HEDL pe tot parcursul.

Recuperare sub-milisecundă pentru prompturi mai bogate.

Pipeline de parsare cu adresare pe conținut.

Instalează HEDL, rulează serverul MCP în fața uneltelor tale și urmărește cum scade consumul de tokenuri. Corpusul de benchmark este în repository.

Aceleași semantici, codificare mai densă, restaurate exact.

Nucleu Rust cu zero dependențe și fără cod nesigur.

Fără furnizor în cale. Conversia rulează local.

HEDL este livrat ca bibliotecă Rust, server MCP și componentă WASM. Parserul de bază are zero dependențe și fără cod nesigur; conversia este locală, bidirecțională și fără pierderi în formatele acceptate.

Biblioteca, serverul MCP și WASM expun aceeași cale de conversie fără pierderi.

Server drop-in, zero modificări ale aplicației.

Statisticile proiectului dintr-o privire

Pipeline-uri de agenți, recuperare, extracție în loturi, oriunde tokenurile LLM sunt facturate pe volum. Economiile se acumulează pe măsură ce lanțurile de apeluri de unelte devin mai lungi. Aceleași date intră, aceleași răspunsuri ies, singurul lucru care se schimbă este numărul de pe factură.

Călătorie dus-întors fără pierderi în ambele direcții

Parser de schemă, codificator pozițional, adaptor MCP

În fața oricărui instrument, zero modificări ale aplicației

Introduceți serverul MCP și stiva voastră de agenți vorbește HEDL în amonte și JSON în aval, fără nicio modificare a codului aplicației. Proxy-ul înregistrează numărul de tokenuri înainte și după fiecare cerere. O crate Rust, un CLI și o versiune WASM acoperă utilizarea încorporată și în browser.

Măsurat pe 571 de sarcini de extracție din 7 seturi de date, rulat pe Mistral Large, DeepSeek Chat și NVIDIA GLM-4.7.

Valorile pe care voiai să le trimiți. În HEDL, aproape tot ce rămâne.

O pereche de ghilimele în jurul fiecărui șir, chiar și pentru cele fără ambiguitate.

Acolade și paranteze care marchează structura pe care schema o știe deja.

Aceleași nume de câmpuri, plătite din nou la fiecare înregistrare.

Cele patru tipuri de octeți dintr-o înregistrare

JSON este formatul universal de schimb, dar ca intrare pentru LLM este risipitor. Numele de câmpuri repetate, parantezele structurale și ghilimelele din jurul fiecărui șir sunt octeți pentru care plătești și care nu poartă niciun sens. Izolați fiecare parte de mai jos pentru a vedea exact ce cumpără bugetul tău de tokenuri.

Medie pe cele 7 seturi de date de referință.

Nu am presupus că LLM-urile ar înțelege un format mai dens. Am testat. Într-o singură rulare măsurată pe 571 de întrebări structurate de extracție din 7 seturi de date reale, HEDL a folosit cu 56 la sută mai puține tokenuri decât JSON și a înregistrat cea mai mare acuratețe dintre formatele din acea rulare. Rezultatul aparține acelui model, corpus și configurație de test.

JSON către HEDL și înapoi, byte cu byte.

Aceleași înregistrări, schema declarată o singură dată.

Înregistrări de utilizatori plate, per întrebare.

Tokeni per întrebare, seturi de date reale

HEDL declară schema o singură dată, apoi codifică înregistrările pozițional. Fără nume de câmpuri repetate. Fără paranteze pentru imbricare. Șirurile nu sunt citate implicit. Alege un set de date și vezi cum scade numărul de tokeni, în timp ce datele rămân identice. Călătoria dus-întors este fără pierderi.

Proiectat și întreținut în Europa, cu conversia rulând oriunde îl implementezi.

Nucleul Rust are zero dependențe și niciun cod nesigur.

Nu contactează serverul de acasă. Nimic nu traversează o graniță pe care nu ai aprobat-o.

Niciun furnizor în cale. Conversia rulează local pe propriile mașini.

Conversia rulează pe propriile mașini, într-o regiune UE sau complet offline. HEDL nu contactează serverul de acasă și nu are nevoie de niciun serviciu extern, astfel încât înregistrările structurate rămân în interiorul graniței pe care o operezi deja.

Elimină proxy-ul și fiecare sistem din aval continuă cu JSON simplu.

Aceeași integrare simplă, oriunde merită.

Numărări reale de tokeni, înregistrate per cerere.

Nu există nicio migrare big-bang de planificat. Pune convertorul în fața unui singur flux AI, compară numărările de tokeni înregistrate, apoi extinde doar acolo unde economia se menține. Calea este reversibilă: elimină proxy-ul și fiecare sistem din aval continuă cu JSON simplu.

Elimină convertorul; bazele de date și rapoartele continuă să primească JSON obișnuit.

Convertește la margine, astfel încât bazele tale de date și rapoartele nu se schimbă niciodată.

Parquet pentru lacuri de date și Neo4j Cypher pentru baze de date grafice, în ambele direcții.

JSON, YAML, XML și CSV, formele pe care majoritatea echipelor le schimbă deja în fiecare zi.

Nimeni nu trebuie să scoată nimic. HEDL convertește în și din formatele pe care sistemele tale le folosesc deja, în ambele direcții, și stă în fața instrumentelor tale AI ca o singură integrare simplă. Versiunea densă există doar pe drumul către model. Tot ce este în aval vede formele pe care le-a văzut întotdeauna.

Contorul scalează aceeași rată în sus și în jos, astfel încât poți citi o valoare apropiată de consumul tău real.

Economia este pur și simplu tokenii pe care HEDL îi elimină. Mai puțin de trimis înseamnă mai puțin de plătit, la aceleași date.

Referința publicată: un serviciu cu un miliard de tokeni pe lună economisește 1.680 de dolari pe lună prin trecerea de la JSON.

Tokenii sunt facturați în funcție de volum, iar HEDL trimite cu 56 la sută mai puțini dintre ei pentru aceleași date. Alege dimensiunea care seamănă cu consumul tău și urmărește cum se schimbă cifrele lunare și anuale. Punctul de referință publicat este un serviciu cu un miliard de tokeni pe lună, care economisește 1.680 de dolari pe lună.

Mai multe răspunsuri utile per cheltuială.

Fiecare apel AI este prețuit în funcție de token, iar o mare parte din acest buget este sintaxă, nu date. HEDL a trimis aceeași cerere cu 56 la sută mai puțini tokeni în rularea măsurată și a arătat o diferență de precizie de +10,3 pp față de JSON acolo. Aceasta este dovada din această configurație, alături de o factură mai mică, fără a schimba sistemele din aval.

cu mai puține lucruri care pot merge prost

Corpusul de referință și verificările de round-trip fac efectul vizibil înainte de producție.

Vorbește JSON simplu cu restul stivei tale. Îl scoți și ești înapoi pe JSON, byte cu byte.

Un strat compact stă înaintea modelului; restul sistemelor tale continuă să vorbească JSON.

HEDL adaugă un strat compact de schimb înaintea modelului, în timp ce fiecare bază de date, raport și aplicație continuă să vorbească JSON. Rulează conversia local, măsoară-o pe un singur flux de lucru și scoate-o fără o migrare de date dacă cifrele nu se susțin.

Mai puține cuvinte de plătit, cu același răspuns la final.

Fiecare mesaj compact este restaurat și verificat înainte ca răspunsul să ajungă la tine.

Schimbă doar modul în care mesajul este pliat pentru trimitere.

Nu vezi niciodată HEDL și nu îl atingi. Stă în spatele asistentului.

HEDL este o piesă mică care face asistenții AI mai ieftini de rulat, fără să schimbe ce îți spun înapoi. Nu îl instalezi, nu îl configurezi și nu trebuie să îl înțelegi. Iată întreaga promisiune, în patru rânduri scurte.

Nu. Mesajul complet este restaurat înainte de a fi folosit.

Versiunea completă revine cuvânt cu cuvânt.

Nu îl instalați niciodată și nu îl activați.

Este normal să aveți întrebări și nu există întrebări prostești. Iată cele cinci pe care le pun oamenii cel mai des, fiecare cu un răspuns simplu și nimic ascuns în spate. Atingeți o întrebare pentru a citi răspunsul.

Etichetele sunt scrise o dată, nu pe fiecare linie.

Încape de două ori mai mult dintr-o dată.

Asistentul citește mai puțin pentru a vă răspunde.

Nu veți porni niciodată HEDL și nici măcar nu îl veți vedea. Dar de fiecare dată când unul dintre acei asistenți AI face o treabă pentru dumneavoastră, el este acolo, în liniște, făcând asistentul mai ieftin de rulat. Alegeți un moment și vedeți ce face în spatele cortinei.

Mesajul compact este transformat înapoi în versiunea completă și verificat înainte de a fi folosit.

Da. Calea scurtă se pliază înapoi în calea lungă, cuvânt cu cuvânt.

Nu. Sensul rămâne exact același, de fiecare dată.

Nu. Nu îl vedeți niciodată și nu îl configurați. Își face treaba singur.

Gândiți-vă că scrieți aceeași adresă pe o sută de plicuri. Ați putea să o scrieți integral de fiecare dată sau să o scrieți o dată și să o păstrați scurtă pe restul. Scrisorile tot ajung. HEDL face calea scurtă pentru dumneavoastră, iar iată ce înseamnă asta pentru partea dumneavoastră.

Mai puține cuvinte înseamnă mai puțin de plătit.

Același mesaj, spus în mai puține cuvinte.

Fără cuvinte tehnice, fără grafice. Doar ideea, așa cum i-ai explica unui prieten. HEDL este o modalitate mai scurtă prin care computerele spun același lucru unui asistent AI, astfel încât același răspuns costă mai puțin de obținut.

HEDL se află în fața instrumentelor tale AI și trimite aceleași cereri cu 56 la sută mai puțini tokeni, vorbind JSON simplu cu restul stivei tale. Nimic nu se schimbă mai departe: rezultatul este o factură mai mică la tokeni, o diferență de precizie măsurată într-o singură rulare de benchmark și o conversie care poate rula pe propriile mașini, fără a muta datele către alt serviciu.