Tokenově úsporný datový formát pro LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) je open-source textový datový formát šetrný k tokenům pod licencí Apache 2.0 pro LLM a strukturované záznamy. Jeho čtečka, zapisovač, validátory a servery v jazyce Rust udržují formát kontrolovatelný a reverzibilní.

HEDL (Hierarchical Entity Data Language) je open-source tabulkový formát šetrný k tokenům pod licencí Apache 2.0 pro požadavky LLM. Začněte lokálně pomocí cargo add hedl; opakované popisky zmizí, zatímco konverze zůstává lokální a reverzibilní. V jednom měřeném běhu bylo 500 plochých záznamů o 48,7 % menších než minifikovaný JSON.

HEDL (Hierarchical Entity Data Language) je open-source textový formát pod licencí Apache 2.0 pro seznamy zasílané LLM. Popisky sloupců zapíše jednou nahoře a poté v každém řádku uchovává stejná fakta.

Přidejte knihovnu Rust pomocí cargo add hedl nebo nainstalujte CLI pomocí cargo install hedl-cli. Spusťte čtečku lokálně a prohlédněte si bajty sami.

Vyhledávání pod milisekundu pro bohatší výzvy.

Orchestrace více agentů s HEDL v celém rozsahu.

Korpus benchmarku a metodika jsou součástí repozitáře.

více správných odpovědí na token než JSON

Vyšší je lepší. HEDL vrací 2,4krát více správných odpovědí na token než JSON.

Vyšší je lepší. HEDL extrahuje 80,4 %, což je o 10,3 bodu více než JSON.

Nižší je lepší. HEDL nese stejné odpovědi v 56 procentech méně tokenů než JSON.

JSON · YAML · XML · CSV · Parquet · TOON

O 48,7 % menší než minifikovaný JSON v tomto běhu

Obousměrná bezztrátová konverze. Stejná sémantika dat, hustěji zakódovaná, přesně obnovená.

Náhradní proxy. Odstraňte ji a váš stack se vrátí k běžnému JSON bez nutnosti migrace.

Rustové jádro má nulové závislosti a žádný bezpečný kód; dodávané nástroje mají explicitní běhové závislosti.

Žádný dodavatel nestojí v cestě. Konverze probíhá lokálně, takže záznamy nikdy neopustí vaši infrastrukturu.

Hromadná extrakce účtovaná podle objemu.

Čísla odpovídají zveřejněné referenci: služba s 1B tokenů měsíčně ušetří 1 680 USD měsíčně.

Nikdy nic z toho nezačínáte. Děje se to samo, pokaždé, když pracuje pomocník, ať už děláte cokoli z toho.

HEDL mění jen tvar zprávy na cestě tam a zpět. To, s čím jste začali, se vrací přesně stejné, nic se nepřidává a nic se neztrácí.

Požádáte pomocníka, aby vzal něco v jednom tvaru a vrátil to v jiném, úhledném a připraveném k použití.

Obyčejný seznam opakuje stejné malé štítky na každém řádku. HEDL napíše štítky jednou nahoře a pak jen položky, takže seznam potřebuje k odeslání mnohem méně slov.

Požádáte pomocníka, aby prošel dlouhý seznam, seznam jmen, objednávek nebo schůzek, a uklidil ho.

Dlouhý dokument je mnoho slov k odeslání. Složený způsobem HEDL se najednou vejde dvakrát tolik, takže pomocník vidí více stránky najednou.

Předáte pomocníkovi dlouhý dopis nebo zprávu a požádáte ho, aby vytáhl části, které vás zajímají.

Za oponou si pomocník musel nejdřív přečíst hodně souvislostí. HEDL tyto souvislosti složí na malý rozměr, takže čte totéž s mnohem menším množstvím k prokousání.

Napíšete otázku do některého z těch AI pomocníků a on v mžiku napíše odpověď.

Stejná odpověď, řečeno méně slovy. To je vše, co se mění.

Krátkou cestu můžete kdykoli převést zpět na dlouhou, slovo od slova.

Ptáte se, zda můžete plnou verzi získat zpět, pokud ji budete potřebovat.

Nic není vynecháno. Kratší cesta nese přesně stejný význam jako dlouhá.

Obáváte se, že kratší vyjádření může něco vynechat nebo změnit význam.

Stejná zpráva, řečeno s mnohem méně slovy, takže účet na konci je menší.

Každé slovo, které pomocník přečte, je placené, i slova, která opakuje stále dokola.

Naměřená velikost souboru · 500 plochých záznamů

Stojí před vašimi AI nástroji a konvertuje na hranici. Vaše stávající systémy nadále odesílají a přijímají formáty, které už používají.

Vaše databáze, reporty a tabulky vidí stejné struktury jako dřív. Hustší formát existuje pouze na cestě k modelu a zpět.

Sedm formátů vstupuje a vystupuje přes stejný bezztrátový most; kompaktní reprezentace existuje pouze kolem volání modelu.

Model obdrží hustou verzi. Váš stack nadále mluví formáty, kterými vždy mluvil.

Jeden konvertor typu drop-in stojí mezi vašimi systémy a modelem.

ušetřeno měsíčně při jedné miliardě tokenů přechodem z JSON na HEDL.

promarněno na jeden API hovor kvůli opakovaným klíčům u datové sady s 10 000 uživateli.

Schéma jednou. Pak už jen data oddělená čárkami.

Nyní vynásobte strukturální bajty deseti tisíci záznamy.

Hodnoty, které jste skutečně chtěli poslat. V HEDL to je téměř vše, co zůstává.

Dvojice uvozovek obklopující každý řetězec, i ty jednoznačné.

Složené závorky objektů a hranaté závorky polí, které označují strukturu, kterou schéma už zná.

Stejné názvy polí, "id", "name", "role", placené znovu u každého jednotlivého záznamu.

Jedna kompaktní vrstva leží před modelem, zatímco zbytek vašeho stacku nadále mluví JSON.

Nic, co byste museli později odstraňovat

S modelem mluví HEDL a vašim systémům vrací čistý JSON, takže zbytek vašeho stacku se nemění. Odeberte ji a jste přesně tam, kde jste začali.

Konverze může běžet na vašich vlastních strojích, v regionu EU nebo zcela offline bez externí služby v cestě.

Redukce tokenů, přesnost odpovědí a bezztrátové round trips jsou měřeny na reálných datových sadách před nasazením.

Vložte ji před jeden workflow, porovnejte výsledek a poté ji rozšiřte jen tam, kde se to vyplatí.

HEDL je jedna malá součást, díky které jsou AI pomocníci levnější na provoz, aniž by se změnilo to, co vám odpovídají. Neinstalujete ho, nenastavujete ho a nemusíte mu rozumět. Tady je krátká verze toho, co slibuje.

Protože říká totéž méně slovy, pomocníci, kteří ho používají, stojí méně na provoz.

Každá kompaktní zpráva je před použitím pomocníkem obnovena a zkontrolována, takže nic se cestou neztratí.

Mění se pouze způsob, jakým je zpráva složena pro odeslání. Význam zůstává přesně stejný.

HEDL nikdy nevidíte ani se ho nedotýkáte. Je za AI pomocníkem a dělá svou práci sám.

Pokud si stále nejste jistí, nevadí. HEDL se nikdy nemusíte dotknout, aby fungoval.

Klepnutím na otázku si přečtete jasnou odpověď. Žádná otázka není špatná.

Pomocníci, které používáte, stojí peníze na provoz, počítá se to trochu jako účet za telefon podle slov. Říct totéž méně slovy znamená menší účet, což pomáhá nabízet tyto pomocníky levněji.

Každá zhuštěná zpráva je před použitím obnovena a zkontrolována. Pokud se plná verze nevrátí přesně, konverze selže, místo aby tiše vypustila část obsahu.

Ano. Krátká forma se kdykoli rozloží zpět do dlouhé, slovo od slova, bez přidání a bez ztráty. Je to jako složit dopis k odeslání a pak ho rozložit ke čtení.

Ne. Mění se pouze to, jak je zpráva složena pro cestu k pomocníkovi a zpět. Význam zůstává přesně stejný, takže odpověď, kterou si přečtete, je odpověď, kterou byste dostali tak jako tak.

Mohlo by to změnit odpověď, kterou dostanu?

Ne. Nemusíte nic stahovat, zapínat ani se nic učit. HEDL stojí za AI pomocníky, které staví ostatní, a svou práci dělá sám. Nikdy ho neuvidíte.

Nemusíte nic instalovat ani ničemu z toho rozumět. Funguje tiše na pozadí, takže pomocníci, které používáte, stojí méně a zůstávají stejně srozumitelní.

Představte si, že píšete stejnou adresu na sto obálek. Mohli byste pokaždé napsat celou adresu. Nebo ji napsat jednou a na zbytek jen číslo domu. Dopisy stejně dorazí. Prostě jste napsali méně. To je celá myšlenka za HEDL.

Krátkou verzi můžete kdykoli změnit zpět na dlouhou, slovo od slova, beze změny. Jako když složíte dopis, aby se vešel do obálky, a později ho zase rozložíte, abyste si ho přečetli.

Každé slovo odeslané AI pomocníkovi se platí, trochu jako účet za telefon počítaný za slova. Říct totéž méně slovy znamená menší účet, se stejnou odpovědí na konci.

Když počítač mluví s jedním z těchto AI pomocníků, posílá mnoho slov. HEDL je způsob, jak říct přesně totéž s mnohem méně slovy. Nic se nevynechá, jen se to řekne jednodušeji.

Vyzkoušejte to na jednom pracovním postupu

Váš tým umístí převodník před jeden jediný pracovní postup AI. Nic jiného v zásobníku se nedotkne a zbytek firmy funguje přesně jako dřív.

Jeden pracovní postup běží, zbytek se nemění.

Převodník zaznamenává počet tokenů před a po každém požadavku, takže máte jasné srovnání toho, co jste posílali dříve a co posíláte nyní.

Jakmile se úspora prokáže v pilotním provozu, stejný drop-in se umístí před další pracovní postupy AI. Úspora se opakuje všude, kde se tokeny účtují podle objemu.

Nižší účet u každého pracovního postupu.

Pokud se to přestane vyplácet, odeberte to a jste zpět u obyčejného JSON.

Začněte s jedním pracovním postupem, prokažte to a pak se rozhodněte. Žádná velká migrace najednou.

Stejná data, stejné odpovědi. Jediné, co se mění, je číslo na faktuře.

Celý proces je bezztrátový, takže stejná data se vrátí přesně tak, jak přišla.

Odstraňte proxy a jste zpět na čistém JSON, byte po bytu, bez nutnosti migrace dat.

Sedí před vašimi nástroji a se zbytkem vašeho stacku komunikuje přes čistý JSON. Nic níže v řetězci se nemění.

Za každých tisíc tokenů, které zaplatíte, dostanete více použitelných odpovědí než s JSON.