Žetonovno varčen zapis podatkov za LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

Skupine algoritmov glede na vrsto podatkov

HEDL. Podatkovni format, učinkovit s tokeni

HEDL (Hierarchical Entity Data Language) je odprtokodni, s tokeni učinkovit besedilni podatkovni format pod licenco Apache 2.0 za LLM in strukturirane zapise. Njegov bralnik, pisalnik, preverjevalniki in strežniki, napisani v Rustu, ohranjajo format pregleden in povraten.

HEDL (Hierarchical Entity Data Language) je odprtokodni, s tokeni učinkovit tabelarični format pod licenco Apache 2.0 za zahteve LLM. Začni lokalno z ukazom cargo add hedl; ponavljajoče se oznake izginejo, pretvorba pa ostane lokalna in povratna. V enem izmerjenem zagonu je bilo 500 ravnih zapisov za 48,7 % manjših od minificiranega JSON-a.

HEDL (Hierarchical Entity Data Language) je odprtokodni besedilni format pod licenco Apache 2.0 za sezname, poslane LLM. Oznake stolpcev zapiše enkrat na vrhu, nato pa v vsaki vrstici ohrani ista dejstva.

Dodaj knjižnico Rust z ukazom cargo add hedl ali namesti CLI z ukazom cargo install hedl-cli. Zaženi bralnik lokalno in sam preglej bajte.

Pridobivanje v manj kot milisekundi za bogatejše pozive.

Orkestracija več agentov s HEDL v celotnem procesu.

Korpus in metodologija primerjalne analize sta priložena v repozitoriju.

več pravilnih odgovorov na žeton kot JSON

Višje je bolje. HEDL vrne 2,4-krat več pravilnih odgovorov na žeton kot JSON.

Višje je bolje. HEDL izlušči 80,4 %, kar je 10,3 odstotne točke več kot JSON.

Nižje je bolje. HEDL prenese enake odgovore s 56 odstotki manj žetonov kot JSON.

571 vprašanj, 7 naborov podatkov, 6 formatov

JSON · YAML · XML · CSV · Parquet · TOON

48,7 % manjši v primerjavi z minificiranim JSON v tem zagonu

Dvosmerna, brezizgubna pretvorba. Iste pomenske podatke, gosteje kodirane, natančno obnovljene.

Zamenljiv posrednik. Odstranite ga in vaš sklad je spet na navadnem JSON, brez migracije, ki bi jo bilo treba razveljaviti.

Jedro v Rustu ima nič odvisnosti in nič nevarne kode; dobavljena orodja ohranjajo svoje odvisnosti ob izvajanju izrecne.

Noben ponudnik ni v poti. Pretvorba poteka lokalno, zato zapisi nikoli ne zapustijo vaše lastne infrastrukture.

Peščica funkcij umetne inteligence v stalni uporabi.

Množično izvlečenje, zaračunano po obsegu.

enaki podatki, 56 odstotkov manj žetonov

Številke sledijo objavljeni referenci: storitev z 1B žetoni na mesec prihrani 1.680 $ na mesec.

Tega nikoli ne začnete vi. Zgodi se samo od sebe, vsakič, ko je pomočnik pri delu, ne glede na to, katero od teh stvari počnete.

HEDL spremeni samo obliko sporočila za pot tja in nazaj. Kar ste poslali, se vrne popolnoma enako, brez dodanega in brez izgubljenega.

Pomočnika prosite, naj nekaj v eni obliki vzame in vrne v drugi, urejeno in pripravljeno za uporabo.

Navaden seznam ponavlja iste majhne oznake v vsaki vrstici. HEDL oznake zapiše enkrat na vrhu, nato samo vnose, tako da seznam potrebuje veliko manj besed za pošiljanje.

Pomočnika prosite, naj gre skozi dolg seznam, seznam imen, naročil ali terminov, in ga uredi.

Dolg dokument je veliko besed za pošiljanje. Zložen na HEDL način, gre vanj naenkrat dvakrat več, tako da pomočnik vidi več strani hkrati.

Pomočniku izročite dolgo pismo ali poročilo in ga prosite, naj izvleče dele, ki vas zanimajo.

Za zaveso je moral pomočnik najprej prebrati veliko ozadja. HEDL to ozadje zloži na majhno, tako da prebere isto stvar z veliko manj za prebiranje.

V enega od tistih AI pomočnikov vtipkate vprašanje in v trenutku napiše odgovor.

Isti odgovor, povedan z manj besedami. To je vse, kar se spremeni.

Kratko različico lahko kadar koli spremenite nazaj v dolgo, dobesedno.

Sprašujete se, ali lahko kadar koli dobite nazaj celotno različico, če jo potrebujete.

Nič ni izpuščeno. Krajša različica nosi popolnoma enak pomen kot dolga.

Skrbi vas, da bi krajše povedano morda kaj izpustilo ali spremenilo pomen.

Isto sporočilo, povedano z veliko manj besedami, tako da je račun na koncu manjši.

Vsaka beseda, ki jo pomočnik prebere, je plačana, tudi besede, ki jih ponavlja znova in znova.

Izmerjena velikost datoteke · 500 ravnih zapisov

Postavi se pred vaša orodja AI in pretvarja na robu. Vaši obstoječi sistemi še naprej pošiljajo in sprejemajo formate, ki jih že uporabljajo.

Vaše podatkovne baze, poročila in preglednice vidijo enake oblike kot prej. Gostejši format obstaja samo na poti do modela in nazaj.

Sedem formatov vstopa in izstopa skozi isti most brez izgub; kompaktna predstavitev obstaja samo okoli klica modela.

Model prejme gosto različico. Vaš sklad še naprej govori formate, ki jih je vedno.

En sam vstavitveni pretvornik stoji med vašimi sistemi in modelom.

prihranjeno na mesec pri eni milijardi žetonov s preklopom JSON v HEDL.

zapravljeno na klic API-ja za ponavljajoče se ključe pri naboru 10.000 uporabnikov.

Shema enkrat. Nato samo podatki, ločeni z vejicami.

Zdaj pomnožite strukturne bajte z deset tisoč zapisi.

premaknite miško nad del, da ga izolirate

Vrednosti, ki ste jih dejansko želeli poslati. V HEDL-u ostane skoraj samo to.

Par narekovajev, ovit okoli vsakega niza, tudi okoli nedvoumnih.

Zaviti oklepaji in oglati oklepaji, ki označujejo strukturo, ki jo shema že pozna.

Ista imena polj, "id", "name", "role", plačana znova pri vsakem posameznem zapisu.

Ena kompaktna plast je pred modelom, medtem ko preostali del vašega sklada še naprej govori JSON.

Modelu govori HEDL, vašim sistemom pa navaden JSON, zato se preostali del vašega sklada ne spremeni. Odstranite ga in ste točno tam, kjer ste začeli.

Pretvorba lahko teče na vaših lastnih napravah, v regiji EU ali popolnoma brez povezave, brez zunanje storitve na poti.

Zmanjšanje žetonov, točnost odgovorov in brezizgubni povratni prehodi se merijo na resničnih naborih podatkov pred uvedbo.

Vstavite ga pred en potek dela, primerjajte rezultat in ga nato razširite le tam, kjer se izplača.

HEDL je en majhen delček, zaradi katerega je delovanje AI pomočnikov cenejše, ne da bi spremenil to, kar ti povedo nazaj. Ničesar ne namestiš, ničesar ne nastaviš in ničesar ti ni treba razumeti. Tukaj je kratka različica tega, kar obljublja.

Ker pove isto z manj besedami, pomočniki, ki ga uporabljajo, stanejo manj za delovanje.

Vsako strnjeno sporočilo se pred uporabo obnovi in preveri, tako da na poti nič ne izgine.

Spremeni samo način, kako je sporočilo zloženo za pošiljanje. Pomen ostane popolnoma enak.

HEDL nikoli ne vidiš in se ga ne dotikaš. Deluje v ozadju AI pomočnika in svoje delo opravlja sam.

Če še vedno niste prepričani, je to v redu. HEDL vam nikoli ni treba prijeti, da bi opravil svoje delo.

Dotaknite se vprašanja in preberite preprost odgovor. Nobeno vprašanje ni napačno.

Vprašanja, ki jih ljudje najprej zastavijo

Pomočniki, ki jih uporabljate, stanejo denar za delovanje, kar se šteje malo kot telefon račun po besedah. Reči isto z manj besedami pomeni manjši račun, kar pomaga, da so ti pomočniki cenejši za ponudbo.

Vsako strnjeno sporočilo se obnovi in preveri, preden se uporabi. Če se polna različica ne vrne natanko tako, pretvorba spodleti, namesto da bi tiho izpustila del.

Da. Kratka pot se kadar koli razgrne nazaj v dolgo, besedo za besedo, brez dodanega in brez izgubljenega. To je kot zložiti pismo za pošiljanje in ga nato razgrniti za branje.

Ali je polno različico vedno mogoče dobiti nazaj?

Ne. Spremeni samo, kako je sporočilo zloženo za pot do pomočnika in nazaj. Pomen ostane popolnoma enak, zato je odgovor, ki ga preberete, odgovor, ki bi ga tako ali tako dobili.

Ali bi to lahko spremenilo odgovor, ki ga dobim nazaj?

Ne. Ničesar vam ni treba prenesti, vklopiti ali se naučiti. HEDL je v ozadju pomočnikov, ki jih gradijo drugi, in svoje delo opravlja sam. Nikoli ga ne boste videli.

Ničesar vam ni treba namestiti ali razumeti. Deluje tiho v ozadju, zato so pomočniki, ki jih uporabljate, cenejši in ostanejo prav tako jasni.

Predstavljajte si, da napišete isti naslov na sto ovojnic. Vsakič bi lahko napisali celoten naslov. Lahko pa ga napišete enkrat, nato pa na ostale samo še hišno številko. Pisma še vedno prispejo. Samo manj ste pisali. To je vsa ideja za HEDL.

Kratko obliko lahko kadar koli spremenite nazaj v dolgo, besedo za besedo, brez kakršnih koli sprememb. Kot da bi pismo zložili, da bi ga spravili v ovojnico, in ga pozneje spet razgrnili za branje.

Vsaka beseda, poslana pomočniku z umetno inteligenco, je plačana, podobno kot telefonski račun, ki se šteje po besedah. Če isto stvar poveste z manj besedami, to pomeni manjši račun, na koncu pa enak odgovor.

Ko računalnik govori s temi pomočniki z umetno inteligenco, pošlje veliko besed. HEDL je način, kako povedati popolnoma isto stvar z veliko manj besedami. Nič ni izpuščeno, le povedano je bolj preprosto.

Vaša ekipa postavi pretvornik pred en sam potek dela z umetno inteligenco. Nič drugega v sklopu se ne spremeni, preostalo podjetje pa deluje natanko tako kot prej.

En potek dela deluje, ostalo ostane nespremenjeno.

Pretvornik pri vsaki zahtevi zabeleži število žetonov pred in po, tako da dobite jasno primerjavo med tem, kaj ste pošiljali prej in kaj pošiljate zdaj.

Ko je prihranek dokazan na pilotnem projektu, se isti vstavek postavi pred preostale poteke dela z umetno inteligenco. Prihranek se ponovi povsod, kjer se žetoni zaračunavajo po obsegu.