Tokenefektīvs datu formāts LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL. Datu formāts ar efektīvu tokenu izmantošanu

HEDL (Hierarchical Entity Data Language) ir atvērtā pirmkoda, tokenu efektīvs teksta datu formāts saskaņā ar Apache 2.0 licenci, paredzēts LLM modeļiem un strukturētiem ierakstiem. Tā Rust lasītājs, rakstītājs, validatori un serveri nodrošina formāta pārskatāmību un atgriezeniskumu.

HEDL (Hierarchical Entity Data Language) ir atvērtā pirmkoda, tokenu efektīvs tabulu formāts saskaņā ar Apache 2.0 licenci, paredzēts LLM pieprasījumiem. Sāciet lokāli ar cargo add hedl; atkārtoti apzīmējumi pazūd, kamēr konversija paliek lokāla un atgriezeniska. Vienā mērītā testā 500 plakani ieraksti bija par 48,7% mazāki nekā minificēts JSON.

HEDL (Hierarchical Entity Data Language) ir atvērtā pirmkoda teksta formāts saskaņā ar Apache 2.0 licenci, paredzēts sarakstiem, ko nosūta LLM modeļiem. Tas ieraksta kolonnu apzīmējumus vienreiz augšpusē, pēc tam saglabā tos pašus faktus katrā rindā.

Pievienojiet Rust bibliotēku ar cargo add hedl vai instalējiet CLI ar cargo install hedl-cli. Palaidiet lasītāju lokāli un pārbaudiet baitus pats.

Sub-milisekundes izguve bagātākiem uzvedņiem.

Daudzaģentu orķestrēšana ar HEDL visā sistēmā.

Salīdzinošās novērtēšanas korpuss un metodika ir iekļauti repozitorijā.

vairāk pareizu atbilžu uz vienu tokenu nekā JSON

Augstāks ir labāks. HEDL sniedz 2,4 reizes vairāk pareizu atbilžu uz vienu tokenu nekā JSON.

Augstāks ir labāks. HEDL iegūst 80,4%, kas ir 10,3 punktus vairāk nekā JSON.

Īsāks ir labāks. HEDL satur tās pašas atbildes par 56 procentiem mazāk tokenu nekā JSON.

JSON · YAML · XML · CSV · Parquet · TOON

Tie paši pieprasījumi, tās pašas atbildes

Par 48,7% mazāks nekā minificēts JSON šajā izpildījumā

Divvirzienu, bez zudumiem veikta konvertēšana. Tā pati datu semantika, blīvāk kodēta, precīzi atjaunota.

Nomaināms starpnieks. Noņemiet to, un jūsu sistēma atkal darbojas ar parasto JSON, bez jebkādas migrācijas, kas būtu jāatsauc.

Rust kodolam nav atkarību un nav nedroša koda; piegādātie rīki skaidri norāda savas izpildlaika atkarības.

Neviens piegādātājs nav iesaistīts ceļā. Konvertēšana notiek lokāli, tāpēc ieraksti nekad neatstāj jūsu pašu infrastruktūru.

Saujiņa AI funkciju, ko lieto pastāvīgi.

Lielapjoma izvilkšana, ko rēķina pēc apjoma.

tie paši dati, par 56 procentiem mazāk marķieru

Skaitļi atbilst publicētajai atsaucei: pakalpojums ar 1B marķieriem mēnesī ietaupa 1 680 USD mēnesī.

Jūs nekad neko no tā nesākat. Tas notiek pats no sevis, katru reizi, kad palīgs strādā, neatkarīgi no tā, ko jūs darāt.

HEDL maina tikai ziņojuma formu ceļojumam turp un atpakaļ. Tas, ar ko sākāt, atgriežas tieši tāds pats, nekas nav pievienots un nekas nav zaudēts.

Jūs lūdzat palīgu paņemt kaut ko vienā formā un atdot citā, kārtīgu un gatavu lietošanai.

Vienkāršs saraksts atkārto tās pašas mazās etiķetes katrā rindā. HEDL raksta etiķetes vienreiz augšpusē, tad tikai ierakstus, tāpēc saraksta nosūtīšanai vajag daudz mazāk vārdu.

Jūs lūdzat palīgu iziet cauri garam sarakstam, sarakstam ar vārdiem, pasūtījumiem vai tikšanās reizēm, un to sakārtot.

Gars dokuments ir daudz vārdu, ko nosūtīt. Salocīts HEDL veidā, divreiz vairāk no tā ietilpst vienā reizē, tāpēc palīgs vienlaikus redz vairāk lapas.

Jūs iedodat palīgam garu vēstuli vai ziņojumu un lūdzat izvilkt daļas, kas jums rūp.

Aiz priekškara palīgam vispirms bija jāizlasa daudz fona informācijas. HEDL to fona informāciju saloka mazu, tāpēc tas lasa to pašu ar daudz mazāk košļājamo.

Jūs ierakstāt jautājumu kādā no tiem AI palīgiem, un tas uzreiz uzraksta atbildi.

Tā pati atbilde, pateikta mazāk vārdos. Tas ir vienīgais, kas mainās.

Īso veidu jebkurā brīdī varat pārvērst atpakaļ garajā veidā, vārds vārdā.

Jūs domājat, vai varat kādreiz atgūt pilno versiju, ja tā būs nepieciešama.

Nekas netiek izlaists. Īsākais veids satur tieši tādu pašu nozīmi kā garais veids.

Jūs uztraucaties, ka, sakot īsāk, varētu kaut ko izlaist vai mainīt nozīmi.

Tas pats ziņojums, pateikts ar ievērojami mazāk vārdiem, lai beigās rēķins būtu mazāks.

Katrs vārds, ko palīgs izlasa, tiek apmaksāts, pat vārdi, ko tas atkārto atkal un atkal.

Lietotājs:[id, nosaukums, e-pasts, loma]

Izmērīts faila lielums · 500 plakani ieraksti

Tas atrodas jūsu AI rīku priekšā un konvertē malā. Jūsu esošās sistēmas turpina sūtīt un saņemt formātus, ko tās jau izmanto.

Jūsu datubāzes, atskaites un izklājlapas redz tās pašas struktūras kā iepriekš. Blīvākais formāts pastāv tikai ceļā uz modeli un no tā.

Septiņi formāti ieiet un iziet caur vienu un to pašu bezzudumu tiltu; kompaktā reprezentācija pastāv tikai ap modeļa izsaukumu.

Modelis saņem blīvo versiju. Jūsu tehnoloģiju kaudze turpina runāt formātos, kādos tā vienmēr runājusi.

Viens iebūvējams konvertētājs atrodas starp jūsu sistēmām un modeli.

ietaupīts mēnesī pie viena miljarda marķieru, pārejot no JSON uz HEDL.

izšķiests katrā API izsaukumā uz atkārtotām atslēgām 10 000 lietotāju datu kopai.

Shēma vienreiz. Tad tikai dati, atdalīti ar komatiem.

Tagad reiziniet strukturālos baitus ar desmit tūkstošiem ierakstu.

uzvediet peles kursoru virs daļas, lai to izolētu

Vērtības, kuras jūs patiešām gribējāt nosūtīt. HEDL tas ir gandrīz viss, kas paliek.

Pēdiņu pāris ap katru virkni, pat ap tām, kas ir nepārprotamas.

Objekta figūriekavas un masīva kvadrātiekavas, kas iezīmē struktūru, kuru shēma jau zina.

Tie paši lauku nosaukumi, "id", "name", "role", jāmaksā atkal par katru atsevišķu ierakstu.

Viens kompakts slānis atrodas pirms modeļa, kamēr pārējā jūsu sistēma turpina runāt JSON.

Tas runā HEDL ar modeli un parasto JSON atpakaļ uz jūsu sistēmām, tāpēc pārējā sistēma nemainās. Izņemiet to, un esat tieši tur, kur sākāt.

Konversija var darboties uz jūsu pašu iekārtām, ES reģionā vai pilnīgi bezsaistē, bez ārēja pakalpojuma ceļā.

Tokenu samazinājums, atbilžu precizitāte un bezzudumu aprites tiek mērīti uz reāliem datu kopumiem pirms ieviešanas.

Ievietojiet to pirms viena darbplūsmas, salīdziniet rezultātu, tad paplašiniet tikai tur, kur tas atmaksājas.

HEDL ir viens mazs elements, kas palīdz padarīt AI palīgu darbību lētāku, nemainot to, ko tie jums atbild. Jūs to neinstalējat, nesagatavojat un jums tas nav jāsaprot. Šeit ir īsā versija par to, ko tas sola.

Par šo daļu varat pārtraukt uztraukties.

Tā kā tas saka to pašu ar mazāk vārdiem, palīgi, kas to izmanto, maksā mazāk ekspluatācijā.

Katrs kompaktais ziņojums tiek atjaunots un pārbaudīts, pirms palīgs to izmanto, tāpēc nekas nepazūd ceļā.

Tas tikai maina to, kā ziņojums tiek salocīts nosūtīšanai. Nozīme paliek tieši tā pati.

Jūs nekad neredzat HEDL un tam nepieskaraties. Tas atrodas aiz AI palīga un veic savu darbu pats.

Ja joprojām neesat pārliecināts, tas ir labi. Jums nekad nav jāpieskaras HEDL, lai tas pildītu savu darbu.

Pieskarieties jautājumam, lai izlasītu vienkāršu atbildi. Nav nepareizu jautājumu.

Palīgi, kurus izmantojat, maksā naudu, lai tie darbotos, un to aprēķina nedaudz kā telefona rēķinu pēc vārdiem. Sakot to pašu ar mazāk vārdiem, rēķins ir mazāks, kas ļauj šos palīgus piedāvāt lētāk.

Katrs kompakts ziņojums tiek atjaunots un pārbaudīts, pirms to izmanto. Ja pilnā versija neatgriežas precīzi, konvertēšana neizdodas, nevis klusi pazaudē daļu no tā.

Jā. Īsais veids salokās atpakaļ garajā veidā, kad vien tas nepieciešams, vārds vārdā, neko nepievienojot un neko nezaudējot. Tas ir kā vēstules salocīšana, lai to nosūtītu, un pēc tam atlocīšana, lai to izlasītu.

Nē. Tas tikai maina to, kā ziņojums tiek salocīts ceļojumam uz palīgu un atpakaļ. Nozīme paliek tieši tāda pati, tāpēc atbilde, ko izlasāt, ir tā, ko jūs būtu saņēmuši tik un tā.

Nē. Jums nekas nav jālejupielādē, jāieslēdz vai jāapgūst. HEDL atrodas aiz AI palīgiem, ko veido citi cilvēki, un tas savu darbu veic pats. Jūs to nekad neredzēsiet.

Vai man kaut kas jāinstalē vai jāiestata?

Jums nekas nav jāinstalē un nekas no tā nav jāsaprot. Tas klusi strādā fonā, tāpēc jūsu izmantotie palīgi maksā mazāk un paliek tikpat skaidri.

Iedomājieties, ka uz simts aploksnēm rakstāt vienu un to pašu adresi. Jūs varētu katru reizi rakstīt pilnu adresi. Vai arī varētu to uzrakstīt vienreiz, bet uz pārējām aploksnēm tikai mājas numuru. Vēstules joprojām nonāk galamērķī. Jūs vienkārši mazāk rakstījāt. Tā ir visa HEDL ideja.

Īso formu varat jebkurā brīdī pārveidot atpakaļ garajā, vārds vārdā, neko nemainot. Tas ir kā vēstules salocīšana, lai tā ietilptu aploksnē, un vēlāka atlocīšana, lai to izlasītu.

Katrs vārds, kas tiek nosūtīts AI palīgam, ir jāapmaksā, līdzīgi kā telefona rēķins, ko skaita pēc vārdiem. Sakot vienu un to pašu ar mazāk vārdiem, rēķins ir mazāks, bet atbilde beigās tā pati.

Kad dators sazinās ar kādu no šiem AI palīgiem, tas nosūta daudz vārdu. HEDL ir veids, kā pateikt tieši to pašu ar ievērojami mazāk vārdu. Nekas netiek izlaists, tas vienkārši tiek pateikts vienkāršāk.

Jūsu komanda novieto pārveidotāju viena AI darbplūsmas priekšā. Nekas cits sistēmā netiek aiztikts, un pārējais uzņēmums turpina darboties tieši tāpat kā iepriekš.

Viena darbplūsma darbojas, pārējais paliek neskarts.

Pārveidotājs katrā pieprasījumā reģistrē tokenu skaitu pirms un pēc, tāpēc jūs iegūstat skaidru salīdzinājumu starp to, ko sūtījāt iepriekš, un to, ko sūtāt tagad.