Tokeneffektivt dataformat för LLM:er | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) är ett öppen källkod-baserat, tokeneffektivt textdataformat under Apache 2.0 för LLM:er och strukturerade poster. Dess Rust-läsare, skrivare, validerare och servrar håller formatet inspekterbart och reversibelt.

HEDL (Hierarchical Entity Data Language) är ett öppen källkod-baserat, tokeneffektivt tabellformat under Apache 2.0 för LLM-förfrågningar. Börja lokalt med cargo add hedl; upprepade etiketter försvinner medan konverteringen förblir lokal och reversibel. I en uppmätt körning var 500 platta poster 48,7 % mindre än minifierad JSON.

HEDL (Hierarchical Entity Data Language) är ett öppen källkod-baserat textformat under Apache 2.0 för listor som skickas till LLM:er. Det skriver kolumnetiketterna en gång överst och behåller sedan samma fakta i varje rad.

Lägg till Rust-biblioteket med cargo add hedl eller installera CLI:n med cargo install hedl-cli. Kör läsaren lokalt och inspektera byten själv.

En innehållsadresserad parsningspipeline.

Hämtning på under millisekund för rikare uppmaningar.

Multi-agentorkestrering med HEDL genomgående.

Benchmark-korpus och metodik levereras i arkivet.

Högre är bättre. HEDL ger 2,4 gånger fler korrekta svar per token än JSON.

Högre är bättre. HEDL extraherar 80,4 %, 10,3 procentenheter över JSON.

Kortare är bättre. HEDL bär samma svar i 56 procent färre token än JSON.

JSON · YAML · XML · CSV · Parquet · TOON

48,7% mindre jämfört med minifierad JSON i denna körning

Bidirektionell, förlustfri konvertering. Samma datasemantik, tätare kodad, återställd exakt.

En drop-in-proxy. Ta bort den och din stack är tillbaka på vanlig JSON, utan migration att ångra.

Rust-kärnan har noll beroenden och ingen osäker kod; levererade verktyg håller sina runtime-beroenden explicita.

Ingen leverantör sitter i vägen. Konvertering sker lokalt, så poster lämnar aldrig din egen infrastruktur.

En handfull AI-funktioner i stadig användning.

Siffrorna följer den publicerade referensen: en tjänst på 1B tokens i månaden sparar 1 680 USD i månaden.

Du startar aldrig något av detta. Det sker av sig självt, varje gång en hjälpare är i arbete, oavsett vilket av dessa du gör.

HEDL ändrar bara meddelandets form på vägen dit och tillbaka. Det du började med kommer tillbaka exakt likadant, utan att något läggs till eller går förlorat.

Du ber hjälparen ta emot något i en form och lämna tillbaka det i en annan, prydligt och redo att användas.

En vanlig lista upprepar samma små etiketter på varje rad. HEDL skriver etiketterna en gång överst, sedan bara posterna, så listan kräver betydligt färre ord att skicka.

Du ber hjälparen gå igenom en lång lista, en lista med namn, ordrar eller bokningar, och städa upp den.

Ett långt dokument är många ord att skicka. Vikta på HEDL-sättet får dubbelt så mycket plats på en gång, så hjälparen ser mer av sidan samtidigt.

Du ger hjälparen ett långt brev eller en rapport och ber det plocka ut de delar du bryr dig om.

Bakom kulisserna behövde hjälparen läsa mycket bakgrund först. HEDL viker ihop den bakgrunden så att den är liten, så att den läser samma sak med betydligt mindre att tugga igenom.

Du skriver en fråga till en av dessa AI-hjälpare och den skriver tillbaka ett svar på ett ögonblick.

Samma svar, sagt med färre ord. Det är allt som ändras.

Du kan när som helst göra om det korta sättet till det långa, ord för ord.

Du undrar om du någonsin kan få tillbaka den fullständiga versionen om du behöver den.

Ingenting utelämnas. Det kortare sättet förmedlar exakt samma innebörd som det långa sättet.

Du oroar dig för att det kortare sättet kan utelämna något eller ändra innebörden.

Samma meddelande, sagt med betydligt färre ord, så att räkningen i slutändan blir mindre.

Varje ord som hjälpen läser betalas för, även de ord som upprepas om och om igen.

Den placeras framför dina AI-verktyg och konverterar vid kanten. Dina befintliga system fortsätter att skicka och ta emot de format de redan använder.

Dina databaser, rapporter och kalkylblad ser samma former som tidigare. Det tätare formatet finns bara på vägen till och från modellen.

Sju format går in och ut genom samma förlustfria brygga; den kompakta representationen finns bara runt modellanropet.

Modellen tar emot den täta versionen. Din stack fortsätter att tala de format den alltid har gjort.

En färdig konverterare placeras mellan dina system och modellen.

sparade per månad vid en miljard tokens genom att byta JSON till HEDL.

slösat per API-anrop på upprepade nycklar för en datauppsättning med 10 000 användare.

Schema en gång. Sedan bara datan, kommaseparerad.

Multiplicera nu de strukturella byten med tio tusen poster.

håll muspekaren över en del för att isolera den

De värden du faktiskt ville skicka. I HEDL är detta nästan allt som återstår.

Ett citatteckenpar runt varje sträng, även de entydiga.

Objekthakparenteser och arrayklamrar som markerar struktur som schemat redan känner till.

Samma fältnamn, "id", "name", "role", betalas igen för varje enskild post.

Ett kompakt lager ligger före modellen medan resten av din stack fortsätter att prata JSON.

Den pratar HEDL med modellen och vanlig JSON tillbaka till dina egna system, så resten av din stack ändras inte. Ta bort den och du är exakt där du började.

Konvertering kan köras på dina egna maskiner, i en EU-region, eller helt offline utan en extern tjänst i kedjan.

Tokenreducering, svarsnoggrannhet och förlustfria rundresor mäts över verkliga dataset innan utrullning.

Sätt in den före ett arbetsflöde, jämför resultatet, expandera sedan bara där det lönar sig.

HEDL är en liten del som gör AI-assistenter billigare att köra, utan att ändra vad de säger tillbaka till dig. Du installerar det inte, du konfigurerar det inte, och du behöver inte förstå det. Här är den korta versionen av vad det lovar.

Du kan sluta oroa dig för den här delen.

Eftersom det säger samma sak med färre ord kostar assistenterna som använder det mindre att köra.

Varje kompakt meddelande återställs och kontrolleras innan assistenten använder det, så ingenting försvinner på vägen.

Det ändrar bara hur meddelandet viks för sändning. Betydelsen förblir exakt densamma.

Du ser aldrig HEDL eller rör det. Det ligger bakom AI-assistenten och gör sitt arbete på egen hand.

Om du fortfarande är osäker är det okej. Du behöver aldrig röra HEDL för att det ska göra sitt jobb.

Tryck på en fråga för att läsa det raka svaret. Det finns inga fel frågor att ställa.

Hjälparna du använder kostar pengar att driva, räknat lite som en telefonräkning per ord. Att säga samma sak med färre ord innebär en mindre räkning, vilket gör hjälparna billigare att erbjuda.

Varje kompakt meddelande återställs och kontrolleras innan det används. Om den fullständiga versionen inte kommer tillbaka exakt, misslyckas konverteringen istället för att tyst tappa en del av den.

Ja. Den korta vägen viker tillbaka till den långa vägen när det behövs, ord för ord, utan att något läggs till eller går förlorat. Det är som att vika ett brev för att posta det, och sedan vika upp det för att läsa.

Kan den fullständiga versionen alltid återställas?

Nej. Det ändrar bara hur meddelandet viks för resan till hjälparen och tillbaka. Betydelsen förblir exakt densamma, så svaret du läser är svaret du skulle ha fått ändå.

Nej. Det finns inget för dig att ladda ner, aktivera eller lära dig. HEDL ligger bakom AI-hjälparna som andra bygger, och det gör sitt arbete på egen hand. Du kommer aldrig att se det.

Måste jag installera eller konfigurera något?

Du behöver inte installera något eller förstå något av detta. Det fungerar tyst i bakgrunden, så hjälpmedlen du använder kostar mindre och förblir lika tydliga.

Tänk dig att du skriver samma adress på hundra kuvert. Du kan skriva hela adressen varje gång. Eller så kan du skriva den en gång, och sedan bara husnumret på resten. Breven kommer ändå fram. Du har helt enkelt skrivit mindre. Det är hela idén bakom HEDL.

Du kan när som helst ändra tillbaka det korta sättet till det långa, ord för ord, utan att något ändras. Som att vika ett brev för att få plats i ett kuvert, och sedan vika upp det senare för att läsa.

Varje ord som skickas till en AI-hjälpare betalas för, lite som en telefonräkning räknad per ord. Att säga samma sak med färre ord innebär en mindre räkning, med samma svar i slutändan.

När en dator pratar med en av dessa AI-hjälpare skickar den många ord. HEDL är ett sätt att säga exakt samma sak med betydligt färre ord. Ingenting utelämnas, det sägs bara mer rakt på sak.

Ditt team placerar omvandlaren framför ett enda AI-arbetsflöde. Inget annat i stacken rörs, och resten av verksamheten fortsätter precis som förut.

Omvandlaren registrerar tokenantalet före och efter varje begäran, så du får en tydlig jämförelse sida vid sida av vad du brukade skicka och vad du skickar nu.

Verkliga tokensiffror, inte uppskattningar.

När besparingen är bevisad i piloten sitter samma drop-in framför resten av dina AI-arbetsflöden. Besparingen upprepas där tokens faktureras per volym.

Om det någonsin slutar löna sig tar du bort det och är tillbaka på vanlig JSON.