Tokenima štedljiv format podataka za LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) je otvoreni, token-efficientan tekstualni format podataka pod Apache 2.0 licencom za LLM-ove i strukturirane zapise. Njegov Rust čitač, pisac, validator i poslužitelji održavaju format preglednim i reverzibilnim.

HEDL (Hierarchical Entity Data Language) je otvoreni, token-efficientan tablični format pod Apache 2.0 licencom za LLM zahtjeve. Započnite lokalno s cargo add hedl; ponovljene oznake nestaju dok konverzija ostaje lokalna i reverzibilna. U jednom mjerenom pokretanju, 500 ravnih zapisa bilo je 48,7% manje od minificiranog JSON-a.

HEDL (Hierarchical Entity Data Language) je otvoreni tekstualni format pod Apache 2.0 licencom za popise poslane LLM-ovima. Zapisuje oznake stupaca jednom na vrhu, a zatim zadržava iste činjenice u svakom retku.

Dodajte Rust biblioteku s cargo add hedl ili instalirajte CLI s cargo install hedl-cli. Pokrenite čitač lokalno i sami pregledajte bajtove.

Cjevovod za parsiranje temeljen na sadržaju.

Dohvat ispod milisekunde za bogatije upite.

Orkestracija više agenata s HEDL-om u cijelosti.

Benchmark korpus i metodologija isporučuju se u repozitoriju.

više točnih odgovora po tokenu od JSON-a

Više je bolje. HEDL vraća 2,4x više točnih odgovora po tokenu od JSON-a.

Više je bolje. HEDL izdvaja 80,4%, 10,3 postotna boda više od JSON-a.

Kraće je bolje. HEDL prenosi iste odgovore u 56 posto manje tokena od JSON-a.

571 pitanje, 7 skupova podataka, 6 formata

JSON · YAML · XML · CSV · Parquet · TOON

48,7% manje u usporedbi s minificiranim JSON-om u ovom pokretanju

Dvosmjerna, bezgubitna pretvorba. Ista semantika podataka, gušće kodirana, točno vraćena.

Zamjena koja se umeće bez izmjena. Uklonite je i vaš sustav se vraća na obični JSON, bez migracije koju treba poništiti.

Rust jezgra ima nula ovisnosti i nema nesigurnog koda; isporučeni alati zadržavaju svoje ovisnosti o izvođenju eksplicitnima.

Nijedan dobavljač nije u putu. Pretvorba se izvodi lokalno, tako da zapisi nikada ne napuštaju vašu vlastitu infrastrukturu.

Skupna ekstrakcija koja se naplaćuje prema volumenu.

Brojke slijede objavljenu referencu: usluga s 1B tokena mjesečno štedi 1.680 USD mjesečno.

Ništa od ovoga ne pokrećete vi. Događa se samo od sebe, svaki put kad je pomoćnik na poslu, bez obzira što od ovoga radite.

HEDL mijenja samo oblik poruke za put tamo i natrag. Ono s čime ste krenuli vraća se potpuno isto, bez ičega dodanog i bez ičega izgubljenog.

Tražite od pomoćnika da uzme nešto u jednom obliku i vrati vam u drugom, uredno i spremno za upotrebu.

Običan popis ponavlja iste male oznake u svakom retku. HEDL upisuje oznake jednom na vrhu, a zatim samo unose, pa popis treba mnogo manje riječi za slanje.

Tražite od pomoćnika da prođe kroz dugačak popis, popis imena, narudžbi ili termina, i da ga sredi.

Dugačak dokument puno je riječi za slanje. Presavijen na HEDL način, dvostruko više stane odjednom, pa pomoćnik vidi više stranice odjednom.

Dajete pomoćniku dugačko pismo ili izvješće i tražite da izvuče dijelove koji vas zanimaju.

Iza kulisa, pomoćnik je prvo morao pročitati puno pozadine. HEDL tu pozadinu sažme, pa čita isto uz mnogo manje posla.

Upisujete pitanje u jedan od onih AI pomoćnika i on vam u trenutku napiše odgovor.

Isti odgovor, rečeno s manje riječi. To je sve što se mijenja.

Kratki način možete u bilo kojem trenutku pretvoriti natrag u dugi, riječ po riječ.

Pitate se možete li ikada vratiti punu verziju ako vam zatreba.

Ništa nije izostavljeno. Kraći način nosi potpuno isto značenje kao i dugi.

Brinete da bi kraće rečeno moglo nešto izostaviti ili promijeniti značenje.

Ista poruka, rečena s mnogo manje riječi, pa je račun na kraju manji.

Svaka riječ koju pomoćnik pročita se plaća, čak i riječi koje ponavlja iznova i iznova.

Izmjerena veličina datoteke · 500 ravnih zapisa

Nalazi se ispred vaših AI alata i pretvara na rubu. Vaši postojeći sustavi nastavljaju slati i primati formate koje već koriste.

Vaše baze podataka, izvješća i proračunske tablice vide iste oblike kao i prije. Gušći format postoji samo na putu do i od modela.

Sedam formata ulazi i izlazi kroz isti most bez gubitaka; kompaktna reprezentacija postoji samo oko poziva modela.

Model prima gustu verziju. Vaš sustav nastavlja govoriti formatima koje je uvijek koristio.

Jedan drop-in pretvarač nalazi se između vaših sustava i modela.

ušteđeno mjesečno na milijardu tokena prebacivanjem JSON-a na HEDL.

potrošeno po API pozivu na ponovljene ključeve za skup podataka od 10.000 korisnika.

Shema jednom. Zatim samo podaci, odvojeni zarezom.

Sada pomnožite strukturne bajtove s deset tisuća zapisa.

prijeđite mišem preko dijela da ga izolirate

Vrijednosti koje ste zapravo htjeli poslati. U HEDL-u, to je gotovo sve što ostaje.

Par navodnika oko svakog niza, čak i onih nedvosmislenih.

Vitičaste zagrade objekata i uglate zagrade polja koje označavaju strukturu koju shema već poznaje.

Ista imena polja, "id", "name", "role", plaćena ponovno na svakom pojedinom zapisu.

Jedan kompaktni sloj nalazi se prije modela dok ostatak vašeg stoga nastavlja komunicirati JSON-om.

Govori HEDL modelu, a obični JSON natrag vašim sustavima, tako da se ostatak vašeg stoga ne mijenja. Izvadite ga i točno ste tamo gdje ste počeli.

Pretvorba može raditi na vašim vlastitim strojevima, u EU regiji ili potpuno izvan mreže bez vanjske usluge u putanji.

Smanjenje tokena, točnost odgovora i povratni prijenosi bez gubitaka mjere se na stvarnim skupovima podataka prije uvođenja.

Umetnite ga prije jednog tijeka rada, usporedite rezultat, zatim proširite samo tamo gdje se isplati.

HEDL je jedan mali dio koji čini AI pomoćnike jeftinijima za pokretanje, bez da mijenja ono što vam govore. Ne instalirate ga, ne postavljate ga i ne morate ga razumjeti. Evo kratke verzije onoga što obećava.

Budući da kaže istu stvar u manje riječi, pomoćnici koji ga koriste koštaju manje za pokretanje.

Svaka sažeta poruka vraća se i provjerava prije nego je pomoćnik upotrijebi, tako da ništa ne nestane na putu.

Mijenja samo način na koji se poruka sažima za slanje. Značenje ostaje potpuno isto.

HEDL nikada ne vidite niti ga dodirujete. Nalazi se iza AI pomoćnika i obavlja svoj posao samostalno.

Ako i dalje niste sigurni, to je u redu. Nikada ne morate dirati HEDL da bi on obavio svoj posao.

Dodirnite pitanje da pročitate jednostavan odgovor. Nema pogrešnih pitanja.

Pomagači koje koristite koštaju novca za rad, računaju se pomalo poput telefonskog računa po riječi. Reći istu stvar s manje riječi znači manji račun, što te pomagače čini jeftinijima za ponudu.

Svaka sažeta poruka vraća se i provjerava prije upotrebe. Ako se puna verzija ne vrati točno, pretvorba ne uspije umjesto da tiho ispusti dio.

Da. Kratki se način vraća u dugi kad god je potrebno, riječ po riječ, bez dodavanja i bez gubitka. To je poput presavijanja pisma za slanje, a zatim njegovog razvijanja za čitanje.

Ne. On samo mijenja način na koji se poruka presavija za put do pomagača i natrag. Značenje ostaje potpuno isto, pa je odgovor koji pročitate odgovor koji biste ionako dobili.

Može li to promijeniti odgovor koji dobijem?

Ne. Ne morate ništa preuzimati, uključivati niti učiti. HEDL stoji iza AI pomagača koje drugi ljudi grade i svoj posao obavlja sam. Nikada ga nećete vidjeti.

Moram li išta instalirati ili postaviti?

Ne morate ništa instalirati niti išta od ovoga razumjeti. Sve radi tiho u pozadini, tako da pomagala koja koristite koštaju manje i ostaju jednako jasna.

Zamislite da napišete istu adresu na stotinu omotnica. Mogli biste svaki put napisati punu adresu. Ili biste je mogli napisati jednom, a na ostale samo kućni broj. Pisma i dalje stignu. Jednostavno ste manje pisali. To je cijela ideja iza HEDL-a.

Kratki način možete u bilo kojem trenutku pretvoriti natrag u dugi, riječ po riječ, bez ikakvih promjena. Kao kad presavijete pismo da stane u omotnicu, a kasnije ga razvijete da ga pročitate.

Svaka riječ poslana AI pomagalu se plaća, pomalo poput telefonskog računa koji se obračunava po riječi. Reći istu stvar s manje riječi znači manji račun, s istim odgovorom na kraju.

Kada računalo razgovara s jednim od tih AI pomagala, šalje mnogo riječi. HEDL je način da se kaže potpuno ista stvar s mnogo manje riječi. Ništa se ne izostavlja, samo se kaže jednostavnije.

Vaš tim postavlja pretvarač ispred jednog AI tijeka rada. Ništa drugo u sustavu se ne dira, a ostatak poslovanja nastavlja točno kao i prije.

Jedan tijek rada uživo, ostatak netaknut.

Pretvarač bilježi broj tokena prije i poslije na svakom zahtjevu, tako da dobivate jasan usporedni prikaz onoga što ste slali i onoga što šaljete sada.

Kada se ušteda dokaže na pilotu, isti drop-in stoji ispred ostalih vaših AI tijekova rada. Ušteda se ponavlja gdje god se tokeni naplaćuju po volumenu.

Ako se ikada prestane isplaćivati, uklonite ga i vraćate se na obični JSON.

Bez zaključavanja, čist izlaz bilo koji dan.

Krenite s jednim tijekom rada, dokažite to, pa odlučite. Bez velike migracije odjednom.

Isti podaci unutra, isti odgovori van. Jedina stvar koja se mijenja je broj na računu.

Prijenos je bez gubitaka, pa se isti podaci vraćaju točno onako kako su ušli.