Žetonams taupus duomenų formatas LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) yra atvirojo kodo, tokenų efektyvus teksto duomenų formatas pagal Apache 2.0 licenciją, skirtas LLM modeliams ir struktūrizuotiems įrašams. Jo Rust skaitytuvas, rašytuvas, validatoriali ir serveriai užtikrina, kad formatas išliktų patikrinamas ir grįžtamasis.

HEDL (Hierarchical Entity Data Language) yra atvirojo kodo, tokenų efektyvus lentelių formatas pagal Apache 2.0 licenciją, skirtas LLM užklausoms. Pradėkite vietoje su cargo add hedl; pasikartojantys pavadinimai išnyksta, o konversija lieka vietinė ir grįžtamoji. Viename išmatuotame paleidime 500 plokščių įrašų buvo 48,7% mažesni nei minifikuotas JSON.

HEDL (Hierarchical Entity Data Language) yra atvirojo kodo teksto formatas pagal Apache 2.0 licenciją, skirtas sąrašams, siunčiamiems LLM modeliams. Jis užrašo stulpelių pavadinimus vieną kartą viršuje, o tada išlaiko tuos pačius faktus kiekvienoje eilutėje.

Pridėkite Rust biblioteką su cargo add hedl arba įdiekite CLI su cargo install hedl-cli. Paleiskite skaitytuvą vietoje ir patys apžiūrėkite baitus.

Turinio adresuojamas parsingo vamzdynas.

Sub-milisekundės paieška turtingesniems raginimams.

Benchmarko tekstynas ir metodika yra pateikti saugykloje.

daugiau teisingų atsakymų už tokeną nei JSON

Didesnis yra geriau. HEDL grąžina 2,4 karto daugiau teisingų atsakymų už tokeną nei JSON.

Didesnis yra geriau. HEDL ištraukia 80,4%, 10,3 punkto daugiau nei JSON.

Trumpesnis yra geriau. HEDL perteikia tuos pačius atsakymus 56 procentais mažiau tokenų nei JSON.

571 klausimas, 7 duomenų rinkiniai, 6 formatai

JSON · YAML · XML · CSV · Parquet · TOON

Tie patys užklausos, tie patys atsakymai

48,7% mažiau nei minifikuotas JSON šiame paleidime

Dvikryptė, nenuostolinga konversija. Tos pačios duomenų semantikos, užkoduotos tankiau, atkurtos tiksliai.

Pakeičiamas tarpinis serveris. Pašalinkite jį ir jūsų sistema grįžta prie paprasto JSON be jokios migracijos, kurios reikėtų atšaukti.

Rust branduolys neturi priklausomybių ir nesaugaus kodo; pristatyti įrankiai aiškiai nurodo savo vykdymo laiko priklausomybes.

Joks tiekėjas nėra kelyje. Konversija vyksta vietoje, todėl įrašai niekada nepalieka jūsų infrastruktūros.

Tas pats dalykas, pasakytas mažiau žodžių

Masinis ištraukimas, apmokestinamas pagal apimtį.

tie patys duomenys, 56 procentais mažiau žetonų

Skaičiai atitinka paskelbtą nuorodą: paslauga, naudojanti 1B žetonų per mėnesį, sutaupo 1 680 USD per mėnesį.

Jūs niekada to nepradedate. Tai vyksta savaime, kiekvieną kartą, kai dirba pagalbininkas, kad ir ką iš šių darytumėte.

HEDL keičia tik pranešimo formą kelionei pirmyn ir atgal. Tai, ką pradėjote, grįžta lygiai toks pat, nieko nepridėta ir nieko neprarasta.

Paprašote pagalbininko paimti kažką viena forma ir grąžinti kita, tvarkingą ir paruoštą naudoti.

Paprastas sąrašas kartoja tas pačias mažas etiketes kiekvienoje eilutėje. HEDL užrašo etiketes vieną kartą viršuje, o tada tik įrašus, todėl sąrašui išsiųsti reikia gerokai mažiau žodžių.

Paprašote pagalbininko peržiūrėti ilgą sąrašą, pavyzdžiui, vardų, užsakymų ar susitikimų, ir jį sutvarkyti.

Ilgas dokumentas yra daug žodžių, kuriuos reikia išsiųsti. Sulankstytas HEDL būdu, jo vienu kartu telpa dvigubai daugiau, todėl pagalbininkas vienu metu mato didesnę puslapio dalį.

Įteikiate pagalbininkui ilgą laišką ar ataskaitą ir paprašote ištraukti dalis, kurios jums rūpi.

Užkulisiuose pagalbininkas pirmiausia turėjo perskaityti daug fono. HEDL tą foną suskleidžia mažai, todėl jis skaito tą patį su gerokai mažiau, ką reikia įveikti.

Įvedate klausimą į vieną iš tų AI pagalbininkų, ir jis akimirksniu atsako.

Tas pats atsakymas, pasakytas mažiau žodžių. Tik tiek ir pasikeičia.

Trumpą būdą bet kada galite paversti atgal į ilgą, žodis į žodį.

Jums kyla klausimas, ar kada nors galėsite susigrąžinti pilną versiją, jei jos prireiks.

Niekas nepraleidžiama. Trumpesnis būdas reiškia lygiai tą patį, ką ir ilgas.

Jūs nerimaujate, kad pasakius trumpiau gali kažko trūkti arba pasikeisti prasmė.

Ta pati žinutė, pasakyta gerokai mažiau žodžių, todėl sąskaita pabaigoje mažesnė.

Už kiekvieną žodį, kurį perskaito pagalbininkas, mokama, net už tuos, kuriuos jis kartoja vėl ir vėl.

Išmatuotas failo dydis · 500 plokščių įrašų

Jis veikia prieš jūsų AI įrankius ir konvertuoja krašte. Jūsų esamos sistemos ir toliau siunčia ir gauna jau naudojamus formatus.

Jūsų duomenų bazės, ataskaitos ir skaičiuoklės mato tas pačias formas kaip anksčiau. Didesnis tankis egzistuoja tik kelionėje į modelį ir iš jo.

Septyni formatai įeina ir išeina per tą patį neprarandantį tiltą; kompaktiškas vaizdas egzistuoja tik aplink modelio iškvietimą.

Modelis gauna tankią versiją. Jūsų sistema ir toliau kalba formatais, kuriais visada kalbėjo.

Vienas įdiegiamas keitiklis veikia tarp jūsų sistemų ir modelio.

sutaupoma per mėnesį prie vieno milijardo žetonų, perjungus JSON į HEDL.

iššvaistoma per API iškvietimą dėl pasikartojančių raktų 10 000 vartotojų duomenų rinkinyje.

Schema kartą. Tada tik duomenys, atskirti kableliais.

Dabar padauginkite struktūrinius baitus iš dešimties tūkstančių įrašų.

Vienas įrašas, kiekvienas baitas pažymėtas

užveskite pelę ant dalies, kad ją izoliuotumėte

Reikšmės, kurias iš tikrųjų norėjote siųsti. HEDL formatu tai beveik viskas, kas lieka.

Kabučių pora, apgaubianti kiekvieną eilutę, net ir tas, kurios yra vienareikšmiškos.

Objekto skliaustai ir masyvo laužtiniai skliaustai, žymintys struktūrą, kurią schema jau žino.

Tie patys laukų pavadinimai, "id", "vardas", "vaidmuo", mokami iš naujo kiekviename įraše.

Vienas kompaktiškas sluoksnis yra prieš modelį, o likusi jūsų sistema ir toliau kalba JSON.

Modeliui jis kalba HEDL, o jūsų sistemoms grąžina paprastą JSON, todėl likusi sistema nesikeičia. Išimkite jį ir būsite tiksliai ten, kur pradėjote.

Konversija gali vykti jūsų pačių įrenginiuose, ES regione arba visiškai neprisijungus, be išorinės paslaugos kelyje.

Simbolių mažinimas, atsakymų tikslumas ir neprarandami ciklai matuojami naudojant realius duomenų rinkinius prieš diegiant.

Įterpkite jį prieš vieną darbo eigą, palyginkite rezultatą, tada plėskite tik ten, kur tai apsimoka.

HEDL yra viena maža dalis, dėl kurios AI pagalbininkų veikimas kainuoja mažiau, nekeičiant to, ką jie jums atsako. Jūs jo neįdiegiate, jo nesukonfigūruojate ir jums nereikia jo suprasti. Štai trumpa versija to, ką jis žada.

Dėl šios dalies galite nustoti nerimauti.

Kadangi tas pats pasakoma mažiau žodžių, pagalbininkai, kurie jį naudoja, kainuoja mažiau.

Kiekviena glaustai užrašyta žinutė atkuriama ir patikrinama prieš pagalbininkui ją naudojant, todėl niekas nepranyksta kelyje.

Jis keičia tik tai, kaip žinutė sulankstoma siuntimui. Reikšmė išlieka lygiai tokia pati.

Jūs niekada nematote HEDL ir jo neliečiate. Jis veikia už AI pagalbininko ir savo darbą atlieka pats.

Jei vis dar abejojate, tai gerai. Jums niekada nereikės liesti HEDL, kad jis atliktų savo darbą.

Bakstelėkite klausimą, kad perskaitytumėte aiškų atsakymą. Nėra netinkamų klausimų.

Klausimai, kuriuos žmonės užduoda pirmiausia

Pagalbininkai, kuriuos naudojate, kainuoja pinigus, skaičiuojami šiek tiek kaip telefono sąskaita pagal žodžius. Pasakius tą patį mažiau žodžių, sąskaita mažėja, todėl šiuos pagalbininkus galima siūlyti pigiau.

Kiekvienas sutrumpintas pranešimas atkuriamas ir patikrinamas prieš naudojant. Jei pilna versija negrąžinama tiksliai, konversija nepavyksta, o ne tyliai praranda dalį.

Taip. Trumpas būdas visada grįžta į ilgąjį, kai reikia, žodis į žodį, nieko nepridedant ir nieko neprarandant. Tai kaip sulankstyti laišką, kad jį išsiųstumėte, o paskui išlankstyti, kad perskaitytumėte.

Ne. Tai tik pakeičia, kaip pranešimas sulankstomas kelionei pas pagalbininką ir atgal. Reikšmė išlieka lygiai tokia pati, todėl atsakymas, kurį skaitote, yra tas, kurį būtumėte gavę bet kokiu atveju.

Ar tai gali pakeisti atsakymą, kurį gaunu?

Ne. Jums nereikia nieko atsisiųsti, įjungti ar mokytis. HEDL veikia už AI pagalbininkų, kuriuos kuria kiti, ir savo darbą atlieka pats. Jūs jo niekada nepamatysite.

Ar man reikia ką nors įdiegti ar nustatyti?

Jums nereikia nieko įdiegti ar viso to suprasti. Tai veikia tyliai fone, todėl jūsų naudojami pagalbininkai kainuoja mažiau ir išlieka tokie pat aiškūs.

Įsivaizduokite, kad rašote tą patį adresą ant šimto vokų. Galėtumėte kiekvieną kartą rašyti visą adresą. O galėtumėte parašyti jį vieną kartą, o likusiuose – tik namo numerį. Laiškai vis tiek pasiekia adresatą. Tiesiog rašėte mažiau. Būtent tokia yra visa HEDL idėja.

Kai tik norite, galite trumpąjį būdą vėl paversti ilguoju, žodis į žodį, nieko nepakeisdami. Kaip sulankstyti laišką, kad tilptų į voką, o vėliau jį išlankstyti, kad perskaitytumėte.

Už kiekvieną žodį, siunčiamą AI pagalbininkui, mokama – šiek tiek panašiai kaip už telefono sąskaitą, skaičiuojamą pagal žodžius. Pasakius tą patį mažiau žodžių, sąskaita mažesnė, o atsakymas galiausiai lieka toks pat.

Kai kompiuteris kalbasi su vienu iš šių AI pagalbininkų, jis siunčia daug žodžių. HEDL yra būdas pasakyti lygiai tą patį gerokai mažiau žodžių. Niekas nepraleidžiama, tiesiog pasakoma paprasčiau.