Token-effektivt dataformat til LLM'er | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) er et open source, token-effektivt tekstdataformat under Apache 2.0 til LLM'er og strukturerede poster. Dets Rust-læser, -skriver, -validatorer og -servere holder formatet inspekterbart og reversibelt.

HEDL (Hierarchical Entity Data Language) er et open source, token-effektivt tabelformat under Apache 2.0 til LLM-anmodninger. Start lokalt med cargo add hedl; gentagne etiketter forsvinder, mens konverteringen forbliver lokal og reversibel. I en målt kørsel var 500 flade poster 48,7 % mindre end minificeret JSON.

HEDL (Hierarchical Entity Data Language) er et open source-tekstformat under Apache 2.0 til lister sendt til LLM'er. Det skriver kolonneetiketterne én gang øverst og bevarer derefter de samme fakta i hver række.

Tilføj Rust-biblioteket med cargo add hedl, eller installer CLI'en med cargo install hedl-cli. Kør læseren lokalt, og inspicér bytes selv.

Sub-millisekund retrieval til rigere prompter.

Multi-agent-orchestrering med HEDL i hele løsningen.

Benchmark-korpus og metode følger med i repository'et.

Højere er bedre. HEDL giver 2,4 gange flere korrekte svar pr. token end JSON.

Højere er bedre. HEDL udtrækker 80,4 %, 10,3 procentpoint over JSON.

Kortere er bedre. HEDL bærer de samme svar i 56 procent færre tokens end JSON.

JSON · YAML · XML · CSV · Parquet · TOON

48,7% mindre vs. minificeret JSON i denne kørsel

Tovejs, tabsfri konvertering. De samme datasemantikker, kodet mere kompakt, gendannet nøjagtigt.

En drop-in-proxy. Fjern den, og din stack er tilbage på almindelig JSON uden nogen migration at fortryde.

Rust-kernen har nul afhængigheder og ingen usikker kode; medfølgende værktøjer holder deres runtime-afhængigheder eksplicitte.

Ingen leverandør sidder i stien. Konvertering kører lokalt, så poster forlader aldrig din egen infrastruktur.

Bulk-ekstraktion faktureret efter volumen.

Tallene følger den offentliggjorte reference: en tjeneste med 1 mia. tokens om måneden sparer 1.680 $ om måneden.

Du starter aldrig på noget af dette. Det sker af sig selv, hver gang en hjælper er i gang, uanset hvilken af disse ting du laver.

HEDL ændrer kun beskedens form på turen frem og tilbage. Det, du startede med, kommer tilbage præcis det samme, uden at noget er tilføjet eller gået tabt.

Du beder hjælperen om at tage noget i én form og give det tilbage i en anden, pænt og klar til brug.

En almindelig liste gentager de samme små etiketter på hver eneste linje. HEDL skriver etiketterne én gang øverst, og derefter kun posterne, så listen kræver langt færre ord at sende.

Du beder hjælperen om at gå gennem en lang liste, en liste over navne, ordrer eller aftaler, og rydde op i den.

Et langt dokument er mange ord at sende. Foldet på HEDL-måden passer dobbelt så meget af det på én gang, så hjælperen ser mere af siden på én gang.

Du giver hjælperen et langt brev eller en rapport og beder det om at trække de dele ud, du bekymrer dig om.

Bag kulissen skulle hjælperen først læse en masse baggrund. HEDL folder den baggrund sammen, så det læser det samme med langt mindre at tygge sig igennem.

Du skriver et spørgsmål ind i en af de AI-hjælpere, og det skriver et svar tilbage på et øjeblik.

Det samme svar, sagt med færre ord. Det er det eneste, der ændrer sig.

Du kan når som helst gøre den korte måde om til den lange måde igen, ord for ord.

Du spekulerer på, om du nogensinde kan få den fulde version tilbage, hvis du får brug for den.

Intet er udeladt. Den kortere måde har præcis samme betydning som den lange måde.

Du bekymrer dig om, at det at sige det kortere kan udelade noget eller ændre betydningen.

Den samme besked, sagt med langt færre ord, så regningen til sidst er mindre.

Hvert ord, hjælperen læser, er betalt for, også de ord, den gentager igen og igen.

Den sidder foran dine AI-værktøjer og konverterer ved kanten. Dine eksisterende systemer bliver ved med at sende og modtage de formater, de allerede bruger.

Dine databaser, rapporter og regneark ser de samme strukturer som før. Det tættere format findes kun på turen til og fra modellen.

Syv formater går ind og ud gennem den samme tabsfri bro; den kompakte repræsentation findes kun omkring modelkaldet.

Modellen modtager den tætte version. Din stack bliver ved med at tale de formater, den altid har.

Én drop-in-konverter sidder mellem dine systemer og modellen.

sparet om måneden ved en milliard tokens ved at skifte JSON til HEDL.

spildt pr. API-kald på gentagne nøgler for et datasæt med 10.000 brugere.

Skema én gang. Derefter kun dataene, kommasepareret.

Gang nu de strukturelle bytes med ti tusinde poster.

hold markøren over en del for at isolere den

De værdier, du faktisk mente at sende. I HEDL er det næsten alt, hvad der er tilbage.

Et par anførselstegn omkring hver streng, selv de entydige.

Objektdjævler og array-parenteser, der markerer struktur, som skemaet allerede kender.

De samme feltnavne, "id", "name", "role", betalt igen for hver enkelt post.

Et kompakt lag placeres foran modellen, mens resten af din stack fortsætter med at tale JSON.

Det taler HEDL til modellen og almindelig JSON tilbage til dine egne systemer, så resten af din stack ikke ændres. Tag det ud, og du er præcis, hvor du startede.

Konvertering kan køre på dine egne maskiner, i en EU-region eller helt offline uden en ekstern tjeneste i stien.

Tokenreduktion, svarnøjagtighed og tabsfri rundture måles på rigtige datasæt, før udrulning.

Indsæt det foran én arbejdsgang, sammenlign resultatet, og udvid derefter kun, hvor det betaler sig.

HEDL er en lille brik, der gør AI-hjælpere billigere at køre, uden at ændre på, hvad de siger tilbage til dig. Du installerer det ikke, du sætter det ikke op, og du behøver ikke forstå det. Her er den korte version af, hvad det lover.

Du kan holde op med at bekymre dig om denne del.

Fordi det siger det samme med færre ord, koster hjælperne, der bruger det, mindre at køre.

Hver kompakt besked bliver gendannet og kontrolleret, før hjælperen bruger den, så intet forsvinder undervejs.

Det ændrer kun på, hvordan beskeden foldes sammen til afsendelse. Betydningen bevares præcis.

Du ser aldrig HEDL eller rører ved det. Det sidder bag AI-hjælperen og udfører sit arbejde på egen hånd.

Hvis du stadig er i tvivl, er det helt i orden. Du behøver aldrig røre HEDL for, at det virker.

Tryk på et spørgsmål for at læse det klare svar. Der er ingen forkerte spørgsmål at stille.

De hjælpere, du bruger, koster penge at køre, talt lidt som en telefonregning pr. ord. At sige det samme med færre ord betyder en mindre regning, hvilket gør det billigere at tilbyde disse hjælpere.

Hver kompakt besked bliver gendannet og kontrolleret, før den bruges. Hvis den fulde version ikke kommer tilbage præcist, mislykkes konverteringen i stedet for stille og roligt at droppe en del af den.

Ja. Den korte måde folder tilbage til den lange måde, når det er nødvendigt, ord for ord, uden at noget tilføjes eller går tabt. Det er som at folde et brev for at sende det og derefter folde det ud for at læse det.

Kan den fulde version altid bringes tilbage?

Nej. Det ændrer kun, hvordan beskeden foldes sammen på turen til hjælperen og tilbage. Betydningen bevares nøjagtig den samme, så det svar, du læser, er det svar, du ville have fået alligevel.

Kan det ændre det svar, jeg får tilbage?

Nej. Der er intet for dig at downloade, slå til eller lære. HEDL ligger bag de AI-hjælpere, som andre bygger, og det gør sit arbejde på egen hånd. Du vil aldrig se det.

Skal jeg installere eller konfigurere noget?

Du behøver ikke installere noget eller forstå noget af dette. Det arbejder stille og roligt i baggrunden, så de hjælpere, du bruger, koster mindre og forbliver lige så klare.

Forestil dig, at du skriver den samme adresse på hundrede konvolutter. Du kunne skrive hele adressen hver gang. Eller du kunne skrive den én gang og derefter kun husnummeret på resten. Brevene ankommer stadig. Du har blot skrevet mindre. Det er hele idéen bag HEDL.

Du kan når som helst ændre den korte måde tilbage til den lange måde, ord for ord, uden at noget ændres. Ligesom at folde et brev for at passe i en konvolut og derefter folde det ud igen for at læse det.

Hvert ord, der sendes til en AI-hjælper, betales for, lidt som en telefonregning, der tælles per ord. At sige det samme med færre ord betyder en mindre regning, med det samme svar til sidst.

Når en computer taler med en af disse AI-hjælpere, sender den mange ord. HEDL er en måde at sige præcis det samme med langt færre ord. Intet udelades, det siges blot mere enkelt.

Dit team placerer konverteren foran en enkelt AI-arbejdsgang. Intet andet i stakken røres, og resten af virksomheden fortsætter præcis som før.

Konverteren registrerer tokenantallet før og efter på hver anmodning, så du får en klar side-by-side af, hvad du plejede at sende, og hvad du sender nu.

Når besparelsen er bevist i piloten, placeres den samme drop-in foran resten af dine AI-arbejdsgange. Besparelsen gentages, hvor end tokens faktureres efter volumen.

Lavere regning på tværs af alle arbejdsgange.

Hvis det nogensinde holder op med at betale sig, fjerner du det, og du er tilbage på almindelig JSON.