Token Efficient Data Format for LLMs | Dweve HEDL

Visa procesa multi-aģentu orķestrācija ar HEDL.

Sub-milisekundes izguve bagātākiem vaicājumiem.

Instalējiet HEDL, palaidiet MCP serveri savu rīku priekšā un vērojiet, kā samazinās tokenu patēriņš. Etalona korpuss atrodas repozitorijā.

Tā pati semantika, blīvāks kodējums, precīzi atjaunots.

Noņemiet starpnieku un esat atpakaļ pie JSON.

Rust kodols ar nulles atkarībām un bez nedroša koda.

Nav piegādātāja ceļā. Konversija notiek lokāli.

HEDL tiek piegādāts kā Rust bibliotēka, MCP serveris un WASM komponents. Pamata parsētājam ir nulles atkarības un nav nedroša koda; konversija ir lokāla, divvirzienu un bez zudumiem visos atbalstītajos formātos.

Bibliotēka, MCP serveris un WASM nodrošina to pašu bezzudumu konversijas ceļu.

Ievietojams serveris, nulles izmaiņas lietotnē.

Aģentu cauruļvadi, izguve, pakešu iegūšana, visur, kur LLM tokeni tiek rēķināti pēc apjoma. Ietaupījumi pieaug, jo garākas kļūst rīku izsaukumu ķēdes. Iekšā nonāk tie paši dati, ārā nāk tās pašas atbildes, vienīgais, kas mainās, ir skaitlis rēķinā.

Shēmas parsētājs, pozicionālais kodētājs, MCP adapteris

Jebkura rīka priekšā, nulles izmaiņas lietotnē

Ievietojiet MCP serveri, un jūsu aģentu kaudze runā HEDL augšupstraumē un JSON lejupstraumē bez jebkādām lietotnes koda izmaiņām. Starpniekserveris reģistrē tokenu skaitu pirms un pēc katram pieprasījumam. Rust crate, CLI un WASM būvējums aptver iegulto un pārlūkprogrammas lietošanu.

Izmērīts 571 ekstrakcijas uzdevumā 7 datu kopās, izpildīts ar Mistral Large, DeepSeek Chat un NVIDIA GLM-4.7.

Vērtības, kuras jūs gribējāt nosūtīt. HEDL gandrīz viss, kas paliek.

Pēdiņu pāris ap katru virkni, pat ap tām, kas nav neskaidras.

Figūriekavas un kvadrātiekavas, kas iezīmē struktūru, kuru shēma jau zina.

Tie paši lauku nosaukumi, par kuriem jāmaksā atkal par katru ierakstu.

JSON ir universālais apmaiņas formāts, bet kā LLM ievade tas ir izšķērdīgs. Atkārtoti lauku nosaukumi, strukturālās iekavas un pēdiņas ap katru virkni ir baiti, par kuriem jūs maksājat, bet kas nenes nozīmi. Izolējiet katru daļu zemāk, lai redzētu, ko tieši jūsu tokenu budžets pērk.

Mēs nepieņēmām, ka LLM sapratīs blīvāku formātu. Mēs to pārbaudījām. Vienā izmērītā izpildē 571 strukturētas ekstrakcijas jautājumos 7 reālās pasaules datu kopās HEDL izmantoja 56 procentus mazāk tokenu nekā JSON un uzrādīja augstāko precizitāti starp formātiem šajā izpildē. Rezultāts pieder šim modelim, korpusam un testa iestatījumam.

JSON uz HEDL un atpakaļ, baits pret bitu.

Tie paši ieraksti, shēma deklarēta vienreiz.

Plakani lietotāju ieraksti, katram jautājumam.

Marķieri uz jautājumu, reālas datu kopas

HEDL deklarē shēmu vienreiz, pēc tam ierakstus kodē pozicionāli. Nav atkārtotu lauku nosaukumu. Nav iekavu ligzdošanai. Virknes pēc noklusējuma bez pēdiņām. Izvēlieties datu kopu un vērojiet, kā marķieru skaits samazinās, kamēr dati paliek identiski. Pārveide turp un atpakaļ ir bez zaudējumiem.

Izstrādāts un uzturēts Eiropā, ar konversiju, kas darbojas jebkur, kur to izvietojat.

Rust kodolam nav atkarību un nav nedroša koda.

Tas nesazinās ar mājām. Nekas nešķērso robežu, kuru neesat apstiprinājis.

Nav starpnieka ceļā. Konversija darbojas lokāli jūsu pašu iekārtās.

Konversija darbojas jūsu pašu iekārtās, ES reģionā vai pilnībā bezsaistē. HEDL nesazinās ar mājām un neprasa ārēju pakalpojumu, tāpēc strukturētie ieraksti paliek robežās, kuras jūs jau pārvaldāt.

Noņemiet starpnieku, un visas lejupējās sistēmas turpina darboties ar parasto JSON.

Tas pats aizstājējs, kur vien tas atmaksājas.

Reāli marķieru skaitļi, reģistrēti katram pieprasījumam.

Viena AI darbplūsma, nekas cits nav aiztikts.

Nav jāplāno lielā sprādziena migrācija. Novietojiet pārveidotāju vienas AI darbplūsmas priekšā, salīdziniet reģistrētos marķieru skaitļus, pēc tam paplašiniet tikai tur, kur ietaupījums saglabājas. Ceļš ir atgriezenisks: noņemiet starpnieku, un visas lejupējās sistēmas turpina darboties ar parasto JSON.

Noņemiet pārveidotāju; datu bāzes un atskaites turpina saņemt parasto JSON.

Tas pārveido malā, tāpēc jūsu datu bāzes un atskaites nekad nemainās.

Parquet datu ezeriem un Neo4j Cypher grafiku datu bāzēm, abos virzienos.

JSON, YAML, XML un CSV, formas, kuras lielākā daļa komandu jau apmainās katru dienu.

Nevienam nekas nav jāizrauj. HEDL pārveido no un uz formātiem, kurus jūsu sistēmas jau izmanto, abos virzienos, un atrodas jūsu AI rīku priekšā kā viens aizstājējs. Blīvā versija pastāv tikai ceļā uz modeli. Viss, kas notiek lejup, redz tās formas, kādas vienmēr.

Skaitītājs mērogojas vienādi uz augšu un uz leju, tāpēc varat nolasīt skaitli, kas ir tuvu jūsu faktiskajam patēriņam.

Ietaupījums ir vienkārši tie tokeni, ko HEDL noņem. Mazāk jāsūta nozīmē mazāk jāmaksā par tiem pašiem datiem.

Publicētā atsauce: pakalpojums ar vienu miljardu tokenu mēnesī ietaupa 1680 dolāru mēnesī, pārejot no JSON.

Tokeni tiek rēķināti pēc apjoma, un HEDL nosūta 56 procentus mazāk no tiem par tiem pašiem datiem. Izvēlieties izmēru, kas atbilst jūsu patēriņam, un vērojiet, kā mainās mēneša un gada skaitļi. Publicētais atskaites punkts ir pakalpojums ar vienu miljardu tokenu mēnesī, kas ietaupa 1680 dolāru mēnesī.

Tie paši dati atpakaļ, baits pret baitu.

Vairāk noderīgu atbilžu par katru iztērēto.

Katra AI pieprasījuma cena ir atkarīga no tokeniem, un liela daļa šī budžeta ir sintakse, nevis dati. HEDL nosūtīja to pašu pieprasījumu ar 56 procentiem mazāk tokenu izmērītajā testā un uzrādīja +10,3 pp precizitātes atšķirību salīdzinājumā ar JSON. Tas ir pierādījums no šīs iestatīšanas, kopā ar zemāku rēķinu, nemainot pakārtotās sistēmas.

Salīdzināšanas korpuss un aprites pārbaudes padara efektu redzamu pirms ražošanas.

Tas runā vienkāršā JSON ar pārējo jūsu sistēmu. Noņemiet to, un jūs atgriežaties pie JSON, baitu pret baitu.

Viens kompakts slānis atrodas pirms modeļa; pārējās sistēmas turpina runāt JSON.

HEDL pievieno vienu kompaktu apmaiņas slāni pirms modeļa, kamēr katra datubāze, pārskats un lietotne turpina runāt JSON. Palaidiet konversiju lokāli, izmēriet to vienā darbplūsmā un noņemiet to bez datu migrācijas, ja skaitļi neapstiprinās.

Mazāk vārdu, par kuriem maksāt, ar to pašu atbildi beigās.

Katrs kompaktais ziņojums tiek atjaunots un pārbaudīts, pirms atbilde sasniedz jūs.

Tas maina tikai to, kā ziņojums tiek salocīts nosūtīšanai.

Jūs nekad neredzat HEDL un nepieskaraties tam. Tas atrodas aiz palīga.

HEDL ir viens mazs gabals, kas padara AI palīgus lētākus darbināt, nemainot to, ko tie jums atbild. Jums tas nav jāinstalē, nav jāiestata un nav jāsaprot. Lūk, viss solījums četrās īsās rindiņās.

Nē. Pilnais ziņojums tiek atjaunots pirms tā izmantošanas.

Jūs to nekad neinstalējat un neieslēdzat.

Ir normāli, ka rodas jautājumi, un nav muļķīgu jautājumu. Šeit ir pieci, ko cilvēki uzdod visbiežāk, katrs ar vienkāršu atbildi un neko neslēpjot. Pieskarieties jautājumam, lai lasītu atbildi.

Etiķetes ir uzrakstītas vienreiz, nevis katrā rindā.

Divreiz vairāk no tā ietilpst vienā reizē.

Jūs nekad nesāksiet HEDL vai pat to neredzēsiet. Bet katru reizi, kad kāds no tiem AI palīgiem veic darbu jūsu labā, tas klusi ir tur, padarot palīgu lētāku darbināt. Izvēlieties mirkli un skatieties, ko tas dara aiz priekškara.

Kompaktais ziņojums tiek pārvērsts atpakaļ pilnajā versijā un pārbaudīts pirms izmantošanas.

Jā. Īsais ceļš salokās atpakaļ garajā ceļā, vārds vārdā.

Nē. Nozīme paliek tieši tāda pati, katru reizi.

Nē. Jūs to nekad neredzat un neiestatāt. Tas dara savu darbu pats.

Iedomājieties, ka rakstāt to pašu adresi uz simts aploksnēm. Jūs varētu to rakstīt pilnībā katru reizi, vai uzrakstīt vienreiz un turēt īsu uz pārējām. Vēstules joprojām nonāk. HEDL dara īso ceļu jūsu vietā, un lūk, ko tas nozīmē jūsu pusē.

Tas pats vēstījums, pateikts ar mazāk vārdiem.

Nav tehnisku vārdu, nav diagrammu. Tikai ideja, tā, kā tu to izskaidrotu draugam. HEDL ir īsāks veids, kā datori pasaka to pašu AI palīgam, tāpēc tā pati atbilde maksā mazāk.

Noņem starpnieku; JSON turpina darboties

HEDL atrodas jūsu AI rīku priekšā un nosūta tos pašus pieprasījumus ar 56 procentiem mazāk tokenu, vienlaikus runājot vienkāršā JSON formātā ar pārējo jūsu sistēmu. Nekas lejupstraumē nemainās: rezultāts ir mazāks tokenu rēķins, precizitātes atšķirība, kas izmērīta vienā etalona testā, un konversija, kas var darboties jūsu pašu iekārtās, nepārvietojot datus uz citu pakalpojumu.

Lai to saprastu, tev nav jāzina neviens tehnisks vārds. Kad dators runā ar kādu no šiem AI palīgiem, tas nosūta daudz vārdu, un par katru vārdu ir jāmaksā, mazliet kā telefona rēķins, ko skaita pēc vārdiem. HEDL ir veids, kā pateikt tieši to pašu ar daudz mazāk vārdiem. Nekas netiek izlaists, nozīme paliek tā pati, un atbilde, ko saņem, nemainās. Tas vienkārši maksā mazāk, un tev nekad tas nav jāaiztiek.

Katrs lielo valodas modeļu API izsaukums tiek cenu noteikts pēc tokeniem. Lielākā daļa šī tokenu budžeta nav dati; tā ir papildu slodze: atkārtoti lauku nosaukumi, ligzdotas iekavas, pēdiņas ap katru virkni. HEDL nosūtīja tieši to pašu informāciju, izmantojot par 56 procentiem mazāk tokenu vienā etalonpārbaudē, kas aptvēra 571 ekstrakcijas uzdevumu un 7 datu kopas, ar +10.3 procentpunktu precizitātes atšķirību no JSON šajā pārbaudē. Ievietojiet MCP serveri, un jūsu esošais JSON cauruļvads turpina darboties tieši tāpat kā iepriekš.