Token Efficient Data Format for LLMs | Dweve HEDL
HEDL names a table columns once and writes each record behind a pipe, so a table sent to a language model carries under half the bytes it does as JSON.
Мултиагентна оркестрация с HEDL навсякъде.
Извличане под милисекунда за по-богати подсказки.
Конвейер за парсинг с адресируемо съдържание.
Инсталирайте HEDL, пуснете MCP сървъра пред вашите инструменти и наблюдавайте как спада използването на токени. Корпусът за бенчмарка е в хранилището.
Същата семантика, по-плътно кодиране, възстановява се точно.
Rust ядро с нулеви зависимости и без unsafe код.
Без доставчик в пътя. Конвертирането се изпълнява локално.
HEDL се доставя като Rust библиотека, MCP сървър и WASM компонент. Основният парсер има нулеви зависимости и без unsafe код; конвертирането е локално, двупосочно и без загуби за поддържаните формати.
Библиотеката, MCP сървърът и WASM излагат същия път за конвертиране без загуби.
Сървър за включване, нулева промяна в приложението.
Средно за 7 набора от данни за бенчмарк.
Агентни конвейери, извличане, пакетна обработка, навсякъде, където LLM токените се таксуват по обем. Икономиите се натрупват, колкото по-дълги стават веригите от извиквания на инструменти. Същите данни влизат, същите отговори излизат, единственото, което се променя, е числото в сметката.
Парсер на схеми, позиционен енкодер, MCP адаптер
Конвертиране, валидиране, проверка, форматиране
Пред всяка програма, без промяна на приложението
Включете MCP сървъра и вашият агентски стек говори HEDL нагоре по веригата и JSON надолу, без промяна в кода на приложението. Проксито записва броя на токените преди и след всяка заявка. Rust crate, CLI и WASM компилация покриват вградена и браузърна употреба.
Измерено върху 571 задачи за извличане от 7 набора от данни, изпълнени с Mistral Large, DeepSeek Chat и NVIDIA GLM-4.7.
Стойностите, които искате да изпратите. В HEDL почти всичко това остава.
Двойка кавички около всеки низ, дори около недвусмислените.
Скоби и средни скоби, отбелязващи структура, която схемата вече знае.
Същите имена на полета, платени отново за всеки запис.
JSON е универсалният формат за обмен, но като вход за LLM е разточителен. Повтарящи се имена на полета, структурни скоби и кавички около всеки низ са байтове, за които плащате, без да носят смисъл. Изолирайте всяка част по-долу, за да видите точно за какво харчите бюджета си от токени.
Средно за 7-те бенчмарк набора от данни.
Не предположихме, че LLM ще разберат по-плътен формат. Тествахме го. В един измерен прогон с 571 въпроса за структурирано извличане от 7 реални набора от данни, HEDL използва 56 процента по-малко токени от JSON и постигна най-висока точност сред форматите в този прогон. Резултатът принадлежи на този модел, корпус и тестова конфигурация.
Същите записи, схемата е декларирана веднъж.
HEDL декларира схема веднъж и след това кодира записите позиционно. Без повтарящи се имена на полета. Без скоби за влагане. Низовете са без кавички по подразбиране. Изберете набор от данни и гледайте как броят на токените пада, докато данните остават идентични. Обратното преобразуване е без загуба.
Проектиран и поддържан в Европа, с преобразуване, което работи където и да го разположите.
Rust ядрото има нулеви зависимости и никакъв unsafe код.
Не се свързва навън. Нищо не пресича граница, която не сте одобрили.
Без доставчик по пътя. Преобразуването работи локално на вашите собствени машини.
Преобразуването работи на вашите собствени машини, в регион на ЕС или напълно офлайн. HEDL не се свързва навън и не се нуждае от външна услуга, така че структурираните записи остават в границите, които вече управлявате.
Премахнете проксито и всяка downstream система продължава с обикновен JSON.
Реални броячи на токени, записвани за всяка заявка.
Един AI работен процес, нищо друго не е пипнато.
Няма голям взрив за планиране. Поставете конвертора пред един AI работен процес, сравнете записаните броячи на токени и след това разширете само там, където икономията се запазва. Пътят е обратим: премахнете проксито и всяка downstream система продължава с обикновен JSON.
Премахнете конвертора; базите данни и отчетите продължават да получават обикновен JSON.
Той преобразува на ръба, така че вашите бази данни и отчети никога не се променят.
Parquet за езера от данни и Neo4j Cypher за графични бази данни, в двете посоки.
JSON, YAML, XML и CSV, формите, които повечето екипи вече обменят всеки ден.
Никой не трябва да изтръгва нищо. HEDL преобразува към и от форматите, които вашите системи вече използват, в двете посоки, и стои пред вашите AI инструменти като единен drop-in. Плътната версия съществува само по пътя към модела. Всичко надолу по веригата вижда формите, които винаги е виждало.
Скалата на измервателния уред се увеличава и намалява с еднакъв темп, така че можете да отчетете стойност, близка до реалното си потребление.
Икономията е просто токените, които HEDL премахва. По-малко за изпращане означава по-малко за плащане, при същите данни.
Публикуваният референтен показател: услуга с един милиард токена на месец спестява 1680 долара на месец, като премине от JSON.
Токените се таксуват по обем, а HEDL изпраща 56 процента по-малко от тях за същите данни. Изберете размер, който прилича на вашето потребление, и наблюдавайте как месечните и годишните стойности се променят. Публикуваният референтен показател е услуга с един милиард токена на месец, която спестява 1680 долара на месец.
Повече полезни отговори за всяко похарчено.
Всяко AI извикване се таксува на токен, а голяма част от този бюджет е синтаксис, а не данни. HEDL изпрати същата заявка с 56 процента по-малко токени в измерения тест и показа разлика от +10.3 пр.п. в точността спрямо JSON там. Това е доказателство от тази настройка, заедно с по-ниска сметка, без промяна на системите надолу по веригата.
с по-малко неща, които могат да се объркат
Какво спестява, какво намалява като риск
Референтен корпус и проверки на пълния цикъл правят ефекта видим преди продукция.
Той говори обикновен JSON на останалата част от вашия стек. Премахнете го и се връщате на JSON, байт за байт.
Един компактен слой стои пред модела; останалите ви системи продължават да говорят JSON.
HEDL добавя един компактен обменен слой пред модела, докато всяка база данни, отчет и приложение продължават да говорят JSON. Изпълнете конвертирането локално, измерете го на един работен процес и го премахнете без миграция на данни, ако числата не издържат.
Изпращайте по-малко допълнителни разходи
По-малко думи за плащане, със същия отговор накрая.
Всяко компактно съобщение се възстановява и проверява, преди отговорът да стигне до вас.
Той променя само как съобщението се сгъва за изпращане.
Никога не виждате HEDL и не го докосвате. Той стои зад помощника.
HEDL е едно малко парче, което прави AI помощниците по-евтини за работа, без да променя това, което ви казват в отговор. Не го инсталирате, не го настройвате и не е нужно да го разбирате. Ето цялото обещание, в четири кратки реда.
Не. Пълното съобщение се възстановява, преди да се използва.
Нормално е да имате въпроси и няма глупави въпроси. Ето петте, които хората задават най-често, всеки с ясен отговор и нищо скрито зад него. Докоснете въпрос, за да прочетете отговора.
Етикетите се записват веднъж, не на всеки ред.
Два пъти повече от него се побира наведнъж.
Помощникът чете по-малко, за да ви отговори.
Никога няма да стартирате HEDL или дори да го видите. Но всеки път, когато някой от тези AI помощници върши работа за вас, той тихо е там, правейки помощника по-евтин за работа. Изберете момент и вижте какво прави зад кулисите.
Компактното съобщение се превръща обратно в пълната версия и се проверява, преди да се използва.
Да. Краткият начин се сгъва обратно в дългия, дума по дума.
Мога ли да получа пълната версия обратно
Не. Смисълът остава точно същият, всеки път.
Не. Никога не го виждате или настройвате. То върши работата си само.
Представете си, че пишете един и същ адрес на сто плика. Можете да го пишете изцяло всеки път или да го напишете веднъж и да го запазите кратък на останалите. Писмата пак пристигат. HEDL прави краткия начин за вас и ето какво означава това за вашата страна.
Нищо не се пропуска, нищо не се променя.
По-малко думи означава по-малко за плащане.
Същото съобщение, казано с по-малко думи.
Без технически думи, без графики. Само идеята, както бихте я обяснили на приятел. HEDL е по-кратък начин компютрите да кажат същото нещо на AI помощник, така че същият отговор струва по-малко.
HEDL стои пред вашите AI инструменти и изпраща същите заявки с 56 процента по-малко токени, докато говори обикновен JSON на останалата част от вашия стек. Нищо надолу по веригата не се променя: резултатът е по-ниска сметка за токени, разлика в точността, измерена в едно изпълнение на бенчмарк, и конверсия, която може да работи на вашите собствени машини, без да премества данни към друга услуга.
Не е нужно да знаете нито една от техническите думи, за да следвате това. Когато компютър говори с един от тези AI помощници, той изпраща много думи и всяка дума се заплаща, малко като телефонна сметка, изчислявана на дума. HEDL е начин да кажете точно същото нещо с много по-малко думи. Нищо не се пропуска, значението остава същото и отговорът, който получавате, не се променя. Просто струва по-малко и никога не се налага да го пипате.