Token Efficient Data Format for LLMs | Dweve HEDL

Daugelio agentų orkestravimas su HEDL visame kame.

Sub-milisekundės gavimas turtingesniems užklausų raginimams.

Įdiekite HEDL, paleiskite MCP serverį priešais savo įrankius ir stebėkite, kaip mažėja žetonų naudojimas. Etaloninis tekstynas yra saugykloje.

Ta pati semantika, tankesnis kodavimas, atkuriama tiksliai.

Pašalinkite tarpinį serverį ir grįšite prie JSON.

Rust branduolys be jokių priklausomybių ir be nesaugaus kodo.

Jokio tiekėjo kelyje. Konversija vyksta vietoje.

Kaip jis įsiterpia į jūsų technologijų krūvą

HEDL tiekiamas kaip Rust biblioteka, MCP serveris ir WASM komponentas. Pagrindinis analizatorius neturi jokių priklausomybių ir nesaugaus kodo; konversija yra vietinė, dvikryptė ir nenuostolinga visais palaikomais formatais.

Biblioteka, MCP serveris ir WASM atskleidžia tą patį nenuostolingą konversijos kelią.

Paruoštas serveris, nulis programos pakeitimų.

Vidurkis per 7 etaloninius duomenų rinkinius.

Agentų eigos, gavimas, paketinis ištraukimas, bet kur, kur LLM žetonai apmokestinami pagal kiekį. Sutaupymai kaupiasi, kai įrankių iškvietimų grandinės ilgėja. Tie patys duomenys įeina, tie patys atsakymai išeina, keičiasi tik sąskaitos skaičius.

Schemos analizatorius, pozicinis kodavimas, MCP adapteris

Konvertuoti, patikrinti, lintinti, formatuoti

Bet kurio įrankio priekyje, nulis programos pakeitimų

Vienas variklis, keturi priekiniai galai

Įdėkite MCP serverį ir jūsų agentų krūva kalba HEDL aukštyn ir JSON žemyn be jokių programos kodo pakeitimų. Tarpinis serveris registruoja žetonų skaičius prieš ir po kiekvienos užklausos. Rust krepšelis, CLI ir WASM versija apima įterptąjį ir naršyklės naudojimą.

Išmatuota atliekant 571 ištraukimo užduotį per 7 duomenų rinkinius, paleista Mistral Large, DeepSeek Chat ir NVIDIA GLM-4.7.

Vertės, kurias norėjote siųsti. HEDL beveik viskas, kas lieka.

Kabučių pora aplink kiekvieną eilutę, net ir tas, kuriose nėra dviprasmybių.

Griežtieji skliaustai ir laužtiniai skliaustai, žymintys struktūrą, kurią schema jau žino.

Tie patys laukų pavadinimai, mokami vėl už kiekvieną įrašą.

JSON yra universalus mainų formatas, tačiau kaip LLM įvestis jis yra švaistus. Pasikartojantys laukų pavadinimai, struktūriniai skliausteliai ir kabutės aplink kiekvieną eilutę yra baitai, už kuriuos mokate, bet kurie neneša prasmės. Atskirkite kiekvieną dalį žemiau, kad tiksliai pamatytumėte, ką perka jūsų žymenų biudžetas.

Vidurkis per 3 modelius ir 7 duomenų rinkinius

Mes nepriėmėme prielaidos, kad LLM supras tankesnį formatą. Mes tai išbandėme. Viename išmatuotame vykdyme, apimančiame 571 struktūrizuoto ištraukimo klausimus iš 7 realių duomenų rinkinių, HEDL sunaudojo 56 procentais mažiau žetonų nei JSON ir pasiekė didžiausią tikslumą tarp formatų tame vykdyme. Rezultatas priklauso tam modeliui, tekstynui ir testavimo sąrankai.

Tie patys įrašai, schema deklaruota vieną kartą.

Plokšti vartotojų įrašai, pagal klausimą.

Žetonai vienam klausimui, tikri duomenų rinkiniai

HEDL deklaruoja schemą vieną kartą, tada įrašus koduoją poziciškai. Jokių pasikartojančių laukų pavadinimų. Jokių skliaustų lizdams. Eilutės pagal nutylėjimą be kabučių. Pasirinkite duomenų rinkinį ir stebėkite, kaip krinta žetonų skaičius, o duomenys lieka identiški. Kelionė pirmyn ir atgal yra be nuostolių.

Sukurta ir prižiūrima Europoje, konversija veikia ten, kur ją diegiate.

Rust branduolys neturi jokių priklausomybių ir nesaugaus kodo.

Jis nesiunčia duomenų į namus. Niekas nekerta sienos, kurios nepatvirtinote.

Jokio tarpininko kelyje. Konversija veikia lokaliai jūsų pačių įrenginiuose.

Konversija veikia jūsų pačių įrenginiuose, ES regione arba visiškai neprisijungus. HEDL nesiunčia duomenų į namus ir nereikalauja išorinės paslaugos, todėl struktūrizuoti įrašai lieka jūsų jau valdomoje riboje.

Pašalinkite tarpinį serverį ir visos vėlesnės sistemos toliau veiks su paprastu JSON.

Tikri žetonų skaičiai, užregistruoti kiekvienai užklausai.

Vienas AI darbo srautas, nieko kito neliečiama.

Nereikia planuoti didelio perversmo migracijos. Įdėkite keitiklį prieš vieną AI darbo srautą, palyginkite užregistruotus žetonų skaičius, tada plėskite tik ten, kur sutaupymas pasitvirtina. Kelias yra grįžtamas: pašalinkite tarpinį serverį ir visos vėlesnės sistemos toliau veiks su paprastu JSON.

Pašalinkite keitiklį; duomenų bazės ir ataskaitos ir toliau gaus įprastą JSON.

Jis konvertuoja krašte, todėl jūsų duomenų bazės ir ataskaitos niekada nesikeičia.

Parquet duomenų ežerams ir Neo4j Cypher grafų duomenų bazėms, abiem kryptimis.

JSON, YAML, XML ir CSV, formatai, kuriuos dauguma komandų jau keičiasi kasdien.

Niekam nereikia nieko išmesti. HEDL konvertuoja į formatus, kuriuos jūsų sistemos jau naudoja, ir iš jų, abiem kryptimis, ir stovi priešais jūsų AI įrankius kaip vienas įskiepis. Tanki versija egzistuoja tik kelionėje į modelį. Viskas vėliau mato tas pačias formas, kaip visada.

Skalė didėja ir mažėja tuo pačiu tempu, todėl galite perskaityti skaičių, artimą jūsų realiam naudojimui.

Sutaupymas yra tiesiog tokenai, kuriuos HEDL pašalina. Mažiau siunčiama reiškia mažiau mokama už tuos pačius duomenis.

Paskelbta nuoroda: paslauga, naudojanti milijardą tokenų per mėnesį, sutaupo 1 680 dolerių per mėnesį perėjusi nuo JSON.

Tokenai apmokestinami pagal apimtį, o HEDL siunčia 56 procentais mažiau jų už tuos pačius duomenis. Pasirinkite dydį, atitinkantį jūsų naudojimą, ir stebėkite, kaip keičiasi mėnesiniai ir metiniai skaičiai. Paskelbtas atskaitos taškas yra paslauga, naudojanti milijardą tokenų per mėnesį, kuri sutaupo 1 680 dolerių per mėnesį.

Tie patys duomenys grįžta, baitas į baitą.

Daugiau naudingų atsakymų už kiekvieną išleistą sumą.

HEDL palyginti su JSON atliekant išgavimą.

Kiekvienas AI skambutis kainuojamas pagal tokeną, ir didelė šio biudžeto dalis yra sintaksė, o ne duomenys. HEDL išsiuntė tą patį užklausą 56 procentais mažiau tokenų išmatuotame bandyme ir parodė +10,3 pp tikslumo skirtumą nuo JSON. Tai įrodymas iš šios sąrankos, kartu su mažesne sąskaita, nekeičiant vėlesnių sistemų.

Etaloninis korpusas ir apvalaus perdavimo patikros leidžia pamatyti poveikį prieš gamybą.

Jis kalba paprastu JSON su likusia jūsų sistemos dalimi. Pašalinkite jį ir grįšite prie JSON, baitas į baitą.

Vienas kompaktiškas sluoksnis yra prieš modelį; likusios jūsų sistemos ir toliau kalba JSON.

HEDL prideda vieną kompaktišką mainų sluoksnį prieš modelį, o kiekviena duomenų bazė, ataskaita ir programa ir toliau kalba JSON. Vykdykite konversiją vietoje, išmatuokite ją viename darbo sraute ir pašalinkite ją be duomenų migracijos, jei skaičiai nepasitvirtina.

Mažiau žodžių, už kuriuos reikia mokėti, su tuo pačiu atsakymu pabaigoje.

Kiekvienas kompaktiškas pranešimas atkuriamas ir patikrinamas prieš atsakymui pasiekiant jus.

Tai tik pakeičia, kaip pranešimas sulankstomas siuntimui.

Jūs niekada nematote HEDL ir jo neliečiate. Jis yra už pagalbininko.

HEDL yra viena maža dalis, dėl kurios AI pagalbininkai tampa pigesni, nekeičiant to, ką jie jums atsako. Jūs jo neįdiegiate, nesukonfigūruojate ir neturite jo suprasti. Štai visas pažadas keturiose trumpose eilutėse.

Ne. Pilnas pranešimas atkuriamas prieš jį naudojant.

Jūs niekada jo neįdiegiate ir neįjungiate.

Normalu turėti klausimų, ir nėra kvailų klausimų. Štai penki dažniausiai užduodami klausimai, kiekvienas su aiškiu atsakymu ir nieko neslepiant. Bakstelėkite klausimą, kad perskaitytumėte atsakymą.

Etiketės užrašomos vieną kartą, ne kiekvienoje eilutėje.

Pagalbininkas skaito mažiau, kad jums atsakytų.

Jūs niekada nepaleisite HEDL ar net jo nepamatysite. Bet kiekvieną kartą, kai vienas iš tų AI pagalbininkų atlieka jums darbą, jis tyliai ten yra, padarydamas pagalbininką pigesnį. Pasirinkite akimirką ir pažiūrėkite, ką jis veikia užkulisiuose.

Kompaktiškas pranešimas paverčiamas atgal į pilną versiją ir patikrinamas prieš jį naudojant.

Taip. Trumpas būdas susilanksto atgal į ilgą, žodis į žodį.

Ne. Reikšmė išlieka lygiai tokia pati kiekvieną kartą.

Ne. Jūs niekada jo nematote ir nesukonfigūruojate. Jis atlieka savo darbą pats.

Pagalvokite apie tą patį adresą ant šimto vokų. Galėtumėte jį užrašyti pilnai kiekvieną kartą arba užrašyti vieną kartą ir ant likusių laikyti trumpai. Laiškai vis tiek pasiekia adresatą. HEDL atlieka trumpą būdą už jus, ir štai ką tai reiškia jūsų pusei.

Nieko nepraleidžiama, niekas nesikeičia.

Jokių techninių žodžių, jokių diagramų. Tik idėja, kaip paaiškintumėte draugui. HEDL yra trumpesnis būdas kompiuteriams pasakyti tą patį AI padėjėjui, todėl tas pats atsakymas kainuoja mažiau.

Pašalinkite tarpinį serverį; JSON veikia toliau

HEDL veikia priešais jūsų AI įrankius ir siunčia tuos pačius užklausas 56 procentais mažiau žetonų, o likusiai jūsų sistemai kalba paprastu JSON. Niekas toliau nesikeičia: rezultatas yra mažesnė žetonų sąskaita, tikslumo skirtumas, išmatuotas vienu etaloniniu paleidimu, ir konversija, kuri gali veikti jūsų pačių įrenginiuose neperkeliant duomenų į kitą paslaugą.

Jums nereikia žinoti jokių techninių žodžių, kad tai suprastumėte. Kai kompiuteris kalba su vienu iš tų AI padėjėjų, jis siunčia daug žodžių, ir už kiekvieną žodį mokama, šiek tiek kaip telefono sąskaita, skaičiuojama pagal žodžius. HEDL yra būdas pasakyti lygiai tą patį su daug mažiau žodžių. Nieko nepraleidžiama, prasmė išlieka ta pati, o gautas atsakymas nesikeičia. Tai tiesiog kainuoja mažiau, ir jums niekada nereikia jo liesti.