Format de date econom de tokeni | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL. Un format de date eficient din punct de vedere al tokenurilor

HEDL (Hierarchical Entity Data Language) este un format de date text open-source, eficient din punct de vedere al tokenurilor, sub licența Apache 2.0, pentru LLM-uri și înregistrări structurate. Cititorul, scriitorul, validatoarele și serverele sale Rust mențin formatul inspectabil și reversibil.

HEDL (Hierarchical Entity Data Language) este un format de tabel open-source, eficient din punct de vedere al tokenurilor, sub licența Apache 2.0, pentru cereri LLM. Începeți local cu cargo add hedl; etichetele repetate dispar, în timp ce conversia rămâne locală și reversibilă. Într-o rulare măsurată, 500 de înregistrări plate au fost cu 48,7% mai mici decât JSON-ul minificat.

HEDL (Hierarchical Entity Data Language) este un format text open-source sub licența Apache 2.0 pentru liste trimise către LLM-uri. Scrie etichetele coloanelor o singură dată în partea de sus, apoi păstrează aceleași fapte în fiecare rând.

Adăugați biblioteca Rust cu cargo add hedl sau instalați CLI-ul cu cargo install hedl-cli. Rulați cititorul local și inspectați singuri octeții.

O conductă de analiză adresabilă prin conținut.

Recuperare sub milisecundă pentru prompturi mai bogate.

Orchestrare multi-agent cu HEDL peste tot.

Corpusul de referință și metodologia sunt incluse în depozit.

mai multe răspunsuri corecte per token decât JSON

Mai mare este mai bine. HEDL oferă de 2,4 ori mai multe răspunsuri corecte per token decât JSON.

Mai mare este mai bine. HEDL extrage 80,4%, cu 10,3 puncte peste JSON.

Mai scurt este mai bine. HEDL transmite aceleași răspunsuri cu 56% mai puține tokenuri decât JSON.

571 de întrebări, 7 seturi de date, 6 formate

JSON · YAML · XML · CSV · Parquet · TOON

Cu 48,7% mai mic față de JSON minificat în această rulare

Conversie bidirecțională, fără pierderi. Aceleași semantici de date, codificate mai dens, restaurate exact.

Un proxy de tip drop-in. Elimină-l și stiva ta revine la JSON simplu, fără nicio migrare de anulat.

Nucleul Rust are zero dependențe și niciun cod nesigur; instrumentele livrate își păstrează dependențele de rulare explicite.

Niciun furnizor nu se află în cale. Conversia rulează local, astfel încât înregistrările nu părăsesc niciodată infrastructura ta.

Același lucru, spus în mai puține cuvinte

aceleași date, cu 56% mai puține tokenuri

Cifrele urmează referința publicată: un serviciu cu 1 miliard de tokenuri pe lună economisește 1.680 USD pe lună.

Nu începi tu nimic din toate astea. Se întâmplă de la sine, de fiecare dată când un asistent este la lucru, indiferent care dintre acestea le faci.

HEDL schimbă doar forma mesajului pentru drumul dus și întors. Ceea ce ai trimis revine exact la fel, fără nimic adăugat și fără nimic pierdut.

Îi ceri asistentului să ia ceva într-o formă și să ți-l înapoieze în alta, ordonat și gata de folosit.

O listă simplă repetă aceleași mici etichete pe fiecare rând. HEDL scrie etichetele o dată sus, apoi doar intrările, astfel încât lista are nevoie de mult mai puține cuvinte pentru a fi trimisă.

Îi ceri asistentului să parcurgă o listă lungă, o listă de nume, comenzi sau programări, și să o pună în ordine.

Un document lung înseamnă multe cuvinte de trimis. Îndoit în felul HEDL, încape de două ori mai mult dintr-o dată, astfel încât asistentul vede mai mult din pagină simultan.

Îi dai asistentului o scrisoare sau un raport lung și îi ceri să scoată părțile care te interesează.

În spatele cortinei, asistentul a trebuit să citească mult context înainte. HEDL pliază acel context într-un spațiu mic, astfel încât citește același lucru cu mult mai puțin de procesat.

Scrii o întrebare într-unul dintre acei asistenți AI și îți scrie un răspuns într-o clipă.

Același răspuns, spus în mai puține cuvinte. Doar asta se schimbă.

Poți transforma varianta scurtă înapoi în varianta lungă oricând, cuvânt cu cuvânt.

Te întrebi dacă poți recupera vreodată versiunea completă dacă ai nevoie de ea.

Nu lipsește nimic. Varianta scurtă are exact același sens ca varianta lungă.

Îți faci griji că spus mai scurt ar putea lăsa ceva deoparte sau ar schimba sensul.

Același mesaj, spus cu mult mai puține cuvinte, astfel încât nota de plată de la final să fie mai mică.

Fiecare cuvânt pe care îl citește asistentul este plătit, chiar și cuvintele pe care le repetă iar și iar.

Dimensiune măsurată a fișierului · 500 de înregistrări plate

Se plasează în fața instrumentelor tale AI și convertește la margine. Sistemele tale existente continuă să trimită și să primească formatele pe care le folosesc deja.

Bazele tale de date, rapoartele și foile de calcul văd aceleași forme ca înainte. Formatul mai dens există doar pe drumul către și de la model.

Șapte formate intră și ies prin aceeași punte fără pierderi; reprezentarea compactă există doar în jurul apelului către model.

Modelul primește versiunea densă. Stack-ul tău continuă să vorbească formatele pe care le-a folosit dintotdeauna.

Un singur convertor plug-and-play se află între sistemele tale și model.

economisite pe lună la un miliard de tokenuri prin trecerea JSON la HEDL.

irosite per apel API pe chei repetate pentru un set de date de 10.000 de utilizatori.

Schema o dată. Apoi doar datele, separate prin virgulă.

Acum înmulțește octeții structurali cu zece mii de înregistrări.

plasează cursorul peste o parte pentru a o izola

Valorile pe care chiar voiai să le trimiți. În HEDL, aproape doar acestea rămân.

O pereche de ghilimele în jurul fiecărui șir, chiar și pentru cele fără ambiguitate.

Acoladele obiectelor și parantezele array-urilor care marchează structura pe care schema o știe deja.

Aceleași nume de câmpuri, "id", "nume", "rol", plătite din nou pentru fiecare înregistrare.

Un singur strat compact se află înaintea modelului, în timp ce restul stivei tale continuă să vorbească JSON.

Vorbește HEDL cu modelul și JSON simplu înapoi către sistemele tale, astfel încât restul stivei tale nu se schimbă. Îl scoți și ești exact acolo de unde ai pornit.

Conversia poate rula pe propriile mașini, într-o regiune UE sau complet offline, fără un serviciu extern în cale.

Reducerea tokenurilor, acuratețea răspunsurilor și rundele fără pierderi sunt măsurate pe seturi de date reale înainte de lansare.

Inserează-l înaintea unui flux de lucru, compară rezultatul, apoi extinde-te doar acolo unde merită.

HEDL este o piesă mică care face ca asistenții AI să fie mai ieftini de rulat, fără să schimbe ceea ce îți spun ei înapoi. Nu îl instalezi, nu îl configurezi și nu trebuie să îl înțelegi. Iată versiunea scurtă a ceea ce promite.

Poți să nu te mai îngrijorezi de această parte.

Pentru că spune același lucru în mai puține cuvinte, asistenții care îl folosesc costă mai puțin de rulat.

Fiecare mesaj compact este restaurat și verificat înainte ca asistentul să îl folosească, astfel încât nimic nu dispare pe drum.

Schimbă doar modul în care mesajul este pliat pentru trimitere. Sensul rămâne exact același.

Nu vezi niciodată HEDL și nu îl atingi. Stă în spatele asistentului AI și își face treaba singur.

Dacă încă nu ești sigur, este în regulă. Nu trebuie să atingi niciodată HEDL pentru ca acesta să își facă treaba.

Atinge o întrebare pentru a citi răspunsul simplu. Nu există întrebări greșite.

Întrebările pe care le pun oamenii prima dată

Ajutoarele pe care le folosești costă bani să funcționeze, fiind calculate un pic ca o factură de telefon, pe cuvinte. Spunând același lucru în mai puține cuvinte înseamnă o factură mai mică, ceea ce menține aceste ajutoare mai ieftine de oferit.

Fiecare mesaj compact este restaurat și verificat înainte de a fi folosit. Dacă versiunea completă nu revine exact, conversia eșuează în loc să piardă tăcut o parte din ea.

Da. Forma scurtă se desface în forma lungă ori de câte ori este nevoie, cuvânt cu cuvânt, fără nimic adăugat și fără nimic pierdut. Este ca și cum ai împături o scrisoare pentru a o trimite, apoi o desfaci pentru a o citi.

Poate fi adusă întotdeauna înapoi versiunea completă?

Nu. Schimbă doar modul în care mesajul este împăturit pentru călătoria către ajutor și înapoi. Sensul este păstrat exact același, astfel încât răspunsul pe care îl citești este răspunsul pe care l-ai fi primit oricum.

Ar putea schimba răspunsul pe care îl primesc?

Nu. Nu trebuie să descarci, să activezi sau să înveți nimic. HEDL se află în spatele ajutoarelor AI pe care le construiesc alții și își face treaba singur. Nu îl vei vedea niciodată.

Trebuie să instalez sau să configurez ceva?

Nu trebuie să instalați nimic și nu trebuie să înțelegeți nimic din toate acestea. Funcționează liniștit în fundal, astfel încât ajutoarele pe care le folosiți costă mai puțin și rămân la fel de clare.

Imaginați-vă că scrieți aceeași adresă pe o sută de plicuri. Ați putea scrie adresa completă de fiecare dată. Sau ați putea să o scrieți o singură dată, iar apoi doar numărul casei pe restul. Scrisorile ajung oricum. Pur și simplu ați scris mai puțin. Aceasta este întreaga idee din spatele HEDL.

Puteți transforma forma scurtă înapoi în forma lungă oricând doriți, cuvânt cu cuvânt, fără ca nimic să se schimbe. Ca atunci când împăturiți o scrisoare ca să încapă într-un plic, apoi o desfaceți mai târziu ca s-o citiți.