Tokenovo úsporný dátový formát pre LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) je open-source, tokenovo efektívny textový dátový formát pod licenciou Apache 2.0 pre LLM a štruktúrované záznamy. Jeho Rust čítačka, zapisovač, validátory a servery udržiavajú formát kontrolovateľný a reverzibilný.

HEDL (Hierarchical Entity Data Language) je open-source, tokenovo efektívny tabuľkový formát pod licenciou Apache 2.0 pre LLM požiadavky. Začnite lokálne s cargo add hedl; opakované štítky zmiznú, zatiaľ čo konverzia zostáva lokálna a reverzibilná. V jednom meranom behu bolo 500 plochých záznamov o 48,7 % menších ako minifikovaný JSON.

HEDL (Hierarchical Entity Data Language) je open-source textový formát pod licenciou Apache 2.0 pre zoznamy posielané do LLM. Štítky stĺpcov zapíše raz na začiatok a potom zachováva rovnaké fakty v každom riadku.

Pridajte Rust knižnicu pomocou cargo add hedl alebo nainštalujte CLI pomocou cargo install hedl-cli. Spustite čítačku lokálne a preskúmajte bajty sami.

Parsovacia pipeline s adresovateľným obsahom.

Vyhľadávanie pod milisekundu pre bohatšie výzvy.

Multi-agentová orchestrácia s HEDL všade.

Korpus benchmarku a metodika sú súčasťou repozitára.

viac správnych odpovedí na token ako JSON

Vyššie je lepšie. HEDL vracia 2,4-krát viac správnych odpovedí na token ako JSON.

Vyššie je lepšie. HEDL extrahuje 80,4 %, čo je o 10,3 percentuálneho bodu viac ako JSON.

Kratšie je lepšie. HEDL nesie rovnaké odpovede v 56 percentách menej tokenov ako JSON.

JSON · YAML · XML · CSV · Parquet · TOON

O 48,7 % menší ako minifikovaný JSON v tomto behu

Obojsmerná, bezstratová konverzia. Rovnaká sémantika dát, hustejšie zakódovaná, presne obnovená.

Zásuvný proxy. Odstráňte ho a váš stack sa vráti k obyčajnému JSON-u bez akejkoľvek migrácie.

Rustové jadro má nulové závislosti a žiadny nebezpečný kód; dodávané nástroje majú explicitné runtime závislosti.

Žiadny predajca nestojí v ceste. Konverzia prebieha lokálne, takže záznamy nikdy neopustia vašu infraštruktúru.

Obe písmená sa dostanú na rovnaké miesto

Niekoľko AI funkcií v stabilnom používaní.

Hromadná extrakcia fakturovaná podľa objemu.

rovnaké dáta, o 56 percent menej tokenov

Čísla vychádzajú z publikovanej referencie: služba s 1B tokenov mesačne ušetrí 1 680 USD mesačne.

Nikdy nič z tohto nezačínaš. Deje sa to samo, vždy, keď je pomocník v práci, nech už robíš ktorúkoľvek z týchto vecí.

HEDL mení iba tvar správy na cestu tam a späť. To, s čím si začal, sa vráti úplne rovnaké, bez toho, aby sa čokoľvek pridalo alebo stratilo.

Požiadaš pomocníka, aby vzal niečo v jednom tvare a vrátil to v inom, upratané a pripravené na použitie.

Obyčajný zoznam opakuje tie isté malé popisky na každom riadku. HEDL napíše popisky raz hore a potom iba položky, takže zoznam zaberie oveľa menej slov na odoslanie.

Požiadaš pomocníka, aby prešiel dlhý zoznam, zoznam mien, objednávok alebo stretnutí, a upratal ho.

Dlhý dokument je veľa slov na odoslanie. Zložený spôsobom HEDL sa do jedného poslania zmestí dvakrát toľko, takže pomocník vidí naraz viac stránky.

Podáš pomocníkovi dlhý list alebo správu a požiadaš ho, aby vytiahol časti, ktoré ťa zaujímajú.

V zákulisí musel pomocník najprv prečítať veľa pozadia. HEDL to pozadie zloží na malé, takže prečíta to isté s oveľa menším množstvom na spracovanie.

Napíšeš otázku do jedného z tých AI pomocníkov a on v okamihu odpovie.

Rovnaká odpoveď, povedaná menším počtom slov. To je všetko, čo sa mení.

Krátku cestu môžete kedykoľvek zmeniť späť na dlhú, slovo za slovom.

Zaujíma vás, či môžete kedykoľvek získať plnú verziu, ak ju budete potrebovať.

Nič nie je vynechané. Kratšia cesta nesie presne rovnaký význam ako dlhá.

Obávate sa, že kratšie povedanie by mohlo niečo vynechať alebo zmeniť význam.

Rovnaká správa, povedaná s oveľa menším počtom slov, takže účet na konci je menší.

Každé slovo, ktoré pomocník prečíta, je zaplatené, aj slová, ktoré opakuje dookola.

Nameraná veľkosť súboru · 500 plochých záznamov

Nachádza sa pred vašimi nástrojmi AI a konvertuje na okraji. Vaše existujúce systémy naďalej odosielajú a prijímajú formáty, ktoré už používajú.

Vaše databázy, reporty a tabuľky vidia rovnaké štruktúry ako predtým. Hustejší formát existuje len na ceste k modelu a späť.

Sedem formátov vstupuje a vystupuje cez rovnaký stratový most; kompaktná reprezentácia existuje len okolo volania modelu.

Model prijíma hustú verziu. Vaša infraštruktúra naďalej hovorí formátmi, ktoré vždy používala.

Jeden drop-in konvertor sa nachádza medzi vašimi systémami a modelom.

ušetrené za mesiac pri jednej miliarde tokenov prechodom z JSON na HEDL.

premrhané na každé volanie API kvôli opakovaným kľúčom pre dátový súbor s 10 000 používateľmi.

Schéma raz. Potom už len dáta oddelené čiarkami.

Teraz vynásobte štrukturálne bajty desiatimi tisíckami záznamov.

prejdite myšou na časť, aby ste ju izolovali

Hodnoty, ktoré ste naozaj chceli poslať. V HEDL to je takmer všetko, čo zostáva.

Pár úvodzoviek okolo každého reťazca, aj tých jednoznačných.

Zložené zátvorky objektov a hranaté zátvorky polí, ktoré označujú štruktúru, ktorú schéma už pozná.

Rovnaké názvy polí, "id", "name", "role", platené znova pri každom zázname.

Jedna kompaktná vrstva sedí pred modelom, zatiaľ čo zvyšok vášho stacku naďalej hovorí JSON.

S modelom hovorí HEDL a vašim vlastným systémom vracia obyčajný JSON, takže zvyšok vášho stacku sa nemení. Vytiahnete ho a ste presne tam, kde ste začali.

Konverzia môže bežať na vašich vlastných strojoch, v regióne EÚ alebo úplne offline bez externej služby v ceste.

Redukcia tokenov, presnosť odpovedí a bezstratové round tripy sa merajú na reálnych dátach pred nasadením.

Vložte ho pred jeden workflow, porovnajte výsledok a potom rozšírte len tam, kde sa to oplatí.

HEDL je jeden malý dielik, vďaka ktorému je prevádzka AI pomocníkov lacnejšia, bez toho, aby sa zmenilo to, čo vám hovoria. Neinštalujete ho, nenastavujete ho a nemusíte mu rozumieť. Tu je krátka verzia toho, čo sľubuje.

Pretože hovorí to isté menším počtom slov, pomocníci, ktorí ho používajú, stoja menej na prevádzku.

Každá kompaktná správa sa pred použitím pomocníkom obnoví a skontroluje, takže nič sa po ceste nestratí.

Zmení sa len spôsob, akým sa správa poskladá na odoslanie. Význam zostáva presne rovnaký.

HEDL nikdy nevidíte ani sa ho nedotknete. Je za AI pomocníkom a svoju prácu robí sám.

Ak si stále nie ste istí, je to v poriadku. HEDL sa nikdy nemusíte dotknúť, aby fungoval.

Klepnutím na otázku si prečítate priamu odpoveď. Žiadna otázka nie je zlá.

Pomocníci, ktorých používate, stoja peniaze na prevádzku, počítané trochu ako telefónny účet podľa slov. Povedať to isté menším počtom slov znamená menší účet, čo pomáha udržať týchto pomocníkov lacnejšími.

Každá kompaktná správa sa pred použitím obnoví a skontroluje. Ak sa plná verzia nevráti presne, konverzia zlyhá namiesto toho, aby ticho vypustila jej časť.

Áno. Krátka forma sa vždy, keď je to potrebné, rozloží späť na dlhú, slovo za slovom, bez toho, aby sa čokoľvek pridalo alebo stratilo. Je to ako zložiť list na odoslanie a potom ho rozložiť na čítanie.

Nie. Zmení sa len to, ako je správa zložená na cestu k pomocníkovi a späť. Význam zostáva presne rovnaký, takže odpoveď, ktorú čítate, je odpoveď, ktorú by ste dostali aj tak.

Mohlo by to zmeniť odpoveď, ktorú dostanem?

Nie. Nemusíte nič sťahovať, zapínať ani sa učiť. HEDL je za AI pomocníkmi, ktoré vytvárajú iní, a svoju prácu robí sám. Nikdy ho neuvidíte.

Musím si niečo nainštalovať alebo nastaviť?

Nemusíte nič inštalovať ani ničomu z toho rozumieť. Funguje to ticho na pozadí, takže pomocníci, ktorých používate, stoja menej a zostávajú rovnako prehľadní.

Predstavte si, že píšete rovnakú adresu na sto obálok. Mohli by ste zakaždým napísať celú adresu. Alebo by ste ju mohli napísať raz a na ostatné len číslo domu. Listy stále dorazia. Jednoducho ste napísali menej. To je celá myšlienka HEDL.

Krátky spôsob môžete kedykoľvek zmeniť späť na dlhý, slovo za slovom, bez akejkoľvek zmeny. Ako keď zložíte list, aby sa zmestil do obálky, a neskôr ho rozložíte, aby ste si ho prečítali.

Každé slovo odoslané AI pomocníkovi sa platí, trochu ako telefónny účet počítaný podľa slov. Povedať to isté menším počtom slov znamená menší účet, s rovnakou odpoveďou na konci.

Keď počítač hovorí s jedným z týchto AI pomocníkov, posiela veľa slov. HEDL je spôsob, ako povedať presne to isté s oveľa menším počtom slov. Nič sa nevynechá, len sa to povie jednoduchšie.

Váš tím umiestni konvertor pred jeden AI pracovný tok. Nič iné v zásobníku sa nedotkne a zvyšok firmy pokračuje presne ako doteraz.

Jeden pracovný tok v prevádzke, zvyšok nedotknutý.

Konvertor zaznamenáva počet tokenov pred a po na každej požiadavke, takže získate jasné porovnanie vedľa seba toho, čo ste posielali predtým a čo posielate teraz.

Keď sa úspora preukáže v pilotnej prevádzke, rovnaký drop-in sa umiestni pred zvyšok vašich AI pracovných tokov. Úspora sa opakuje všade tam, kde sa tokeny fakturujú podľa objemu.

Ak to prestane byť výhodné, odstráňte to a ste späť na obyčajnom JSON.

Žiadne viazanie, čistý odchod kedykoľvek.

Začnite na jednom pracovnom toku, dokážte to a potom sa rozhodnite. Žiadna veľká migrácia naraz.