Пестелив към токени формат за данни за LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL. Ефективен по токени формат за данни

HEDL (Hierarchical Entity Data Language) е текстов формат за данни с отворен код, ефективен по токени, под Apache 2.0, за LLM и структурирани записи. Неговите четец, записвач, валидатори и сървъри на Rust поддържат формата инспектируем и обратим.

HEDL (Hierarchical Entity Data Language) е табличен формат с отворен код, ефективен по токени, под Apache 2.0, за LLM заявки. Започнете локално с cargo add hedl; повтарящите се етикети изчезват, докато преобразуването остава локално и обратимо. При едно измерено изпълнение 500 плоски записа бяха с 48,7% по-малки от минифициран JSON.

HEDL (Hierarchical Entity Data Language) е текстов формат с отворен код под Apache 2.0 за списъци, изпращани към LLM. Той записва етикетите на колоните веднъж в началото, след което запазва същите факти във всеки ред.

Добавете библиотеката на Rust с cargo add hedl или инсталирайте CLI с cargo install hedl-cli. Пуснете четеца локално и проверете байтовете сами.

Извличане за под-милисекунди за по-богати подкани.

Оркестрация на множество агенти с HEDL навсякъде.

Корпусът и методологията на бенчмарка се доставят в хранилището.

повече верни отговори на токен отколкото JSON

По-високо е по-добре. HEDL връща 2.4 пъти повече верни отговори на токен отколкото JSON.

По-високо е по-добре. HEDL извлича 80.4%, 10.3 пункта над JSON.

По-кратко е по-добре. HEDL носи същите отговори в 56 процента по-малко токени отколкото JSON.

571 въпроса, 7 набора от данни, 6 формата

JSON · YAML · XML · CSV · Parquet · TOON

С 48.7% по-малък спрямо минифициран JSON в това изпълнение

Двупосочно, без загуби конвертиране. Същата семантика на данните, кодирана по-плътно, възстановена точно.

Плъгин заместител. Премахнете го и стекът ви се връща към обикновен JSON, без миграция за отмяна.

Rust ядрото има нулеви зависимости и никакъв небезопасен код; доставяните инструменти запазват изрични зависимости по време на изпълнение.

Никой доставчик не стои в пътя. Конвертирането се изпълнява локално, така че записите никога не напускат вашата инфраструктура.

И двете писма стигат до едно и също място

Няколко AI функции в постоянна употреба.

същите данни, 56 процента по-малко токени

Цифрите следват публикувания референтен пример: услуга с 1 млрд. токени на месец спестява 1 680 USD на месец.

Никога не започвате нищо от това. То се случва от само себе си, всеки път, когато помощникът работи, каквото и от тези да правите.

HEDL променя само формата на съобщението за пътуването дотам и обратно. Това, с което сте започнали, се връща точно същото, без нищо добавено и без нищо загубено.

Искате от помощника да вземе нещо в една форма и да го върне в друга, подредено и готово за употреба.

Обикновен списък повтаря едни и същи малки етикети на всеки ред. HEDL записва етикетите веднъж в началото, а след това само записите, така че списъкът изисква много по-малко думи за изпращане.

Искате от помощника да премине през дълъг списък, списък с имена, поръчки или срещи, и да го подреди.

Дълъг документ е много думи за изпращане. Сгънат по начина на HEDL, два пъти повече от него се побира наведнъж, така че помощникът вижда повече от страницата наведнъж.

Давате на помощника дълго писмо или доклад и го молите да извади частите, които ви интересуват.

Зад кулисите помощникът е трябвало да прочете много предистория първо. HEDL сгъва тази предистория в малък обем, така че той чете същото нещо с много по-малко за преглъщане.

Пишете въпрос в един от тези AI помощници и той ви отговаря за миг.

Същият отговор, казано с по-малко думи. Ето какво се променя.

По всяко време можете да превърнете краткия начин обратно в дългия, дума по дума.

Чудите се дали можете да получите пълната версия обратно, ако ви трябва.

Нищо не е пропуснато. Краткият начин носи точно същото значение като дългия.

Притеснявате се, че като го кажете по-кратко, може да пропуснете нещо или да промените значението.

Същото съобщение, казано с много по-малко думи, така че сметката накрая да е по-малка.

Всяка дума, която помощникът прочете, се заплаща, дори думите, които повтаря отново и отново.

Измерен размер на файла · 500 плоски записа

Той стои пред вашите AI инструменти и преобразува в периферията. Съществуващите ви системи продължават да изпращат и получават форматите, които вече използват.

Вашите бази данни, отчети и електронни таблици виждат същите структури като преди. По-плътният формат съществува само по пътя до и от модела.

Седем формата влизат и излизат през един и същ мост без загуби; компактното представяне съществува само около извикването на модела.

Моделът получава плътната версия. Вашият стек продължава да говори форматите, които винаги е говорил.

Един конвертор тип drop-in стои между вашите системи и модела.

спестени на месец при един милиард токена чрез преминаване от JSON към HEDL.

пропиляни за API повикване за повтарящи се ключове при набор от 10 000 потребители.

Схема веднъж. След това само данните, разделени със запетая.

Сега умножете структурните байтове по десет хиляди записа.

задръжте курсора върху част, за да я изолирате

Стойностите, които всъщност искате да изпратите. В HEDL това е почти всичко, което остава.

Двойка кавички, обгръщаща всеки низ, дори недвусмислените.

Големи скоби за обекти и квадратни скоби за масиви, които отбелязват структура, която схемата вече знае.

Същите имена на полета, "id", "name", "role", платени отново за всеки отделен запис.

Един компактен слой стои преди модела, докато останалата част от вашия стек продължава да говори на JSON.

Той говори HEDL на модела и връща обикновен JSON към вашите собствени системи, така че останалата част от стека ви не се променя. Махнете го и сте точно там, откъдето сте започнали.

Конвертирането може да се изпълнява на вашите собствени машини, в регион на ЕС или напълно офлайн, без външна услуга в пътя.

Намаляването на токените, точността на отговорите и загубата при обратни преобразувания се измерват върху реални набори от данни преди внедряване.

Вмъкнете го преди един работен процес, сравнете резултата и след това разширете само там, където си струва.

HEDL е една малка част, която прави AI помощниците по-евтини за работа, без да променя това, което ви казват. Не го инсталирате, не го настройвате и не е нужно да го разбирате. Ето кратката версия на това, което обещава.

Можете да спрете да се притеснявате за тази част.

Защото казва същото нещо с по-малко думи, помощниците, които го използват, струват по-малко за работа.

Всяко компактно съобщение се възстановява и проверява, преди помощникът да го използва, така че нищо не изчезва по пътя.

То променя само начина, по който съобщението се сгъва за изпращане. Значението остава точно същото.

Никога не виждате HEDL и не го докосвате. То стои зад AI помощника и върши работата си самостоятелно.

Ако все още не сте сигурни, това е напълно нормално. Никога не е нужно да докосвате HEDL, за да си свърши работата.

Докоснете въпрос, за да прочетете ясния отговор. Няма грешни въпроси.

Помощниците, които използвате, струват пари, за да работят, изчислявани малко като телефонна сметка на дума. Кажете същото с по-малко думи, това означава по-малка сметка, което прави тези помощници по-евтини за предлагане.

Всяко кратко съобщение се възстановява и проверява, преди да се използва. Ако пълната версия не се върне точно, преобразуването се проваля, вместо тихо да изпусне част от нея.

Да. Краткият начин се сгъва обратно в дългия, когато е необходимо, дума по дума, без нищо добавено и без нищо загубено. Това е като да сгънете писмо, за да го изпратите, после да го разгънете, за да го прочетете.

Винаги ли може да се върне пълната версия?

Не. Той само променя начина, по който съобщението се сгъва за пътуването до помощника и обратно. Значението остава точно същото, така че отговорът, който четете, е отговорът, който бихте получили така или иначе.

Може ли да промени отговора, който получавам?

Не. Няма нищо за изтегляне, включване или научаване. HEDL стои зад AI помощниците, които други хора създават, и върши работата си сам. Никога няма да го видите.

Трябва ли да инсталирам или настроя нещо?

Не е нужно да инсталирате нищо или да разбирате нищо от това. То работи тихо във фонов режим, така че помощниците, които използвате, струват по-малко и остават също толкова ясни.

Представете си, че пишете един и същ адрес върху сто плика. Можете да напишете пълния адрес всеки път. Или можете да го напишете веднъж, а после само номера на къщата върху останалите. Писмата пак пристигат. Просто сте написали по-малко. Точно това е идеята зад HEDL.

Можете да превърнете краткия начин обратно в дългия, когато пожелаете, дума по дума, без нищо да се промени. Като сгъване на писмо, за да влезе в плик, а после разгъване, за да се прочете.

Всяка дума, изпратена до AI помощник, се заплаща, малко като телефонна сметка, изчислявана на дума. Да кажете същото нещо с по-малко думи означава по-малка сметка, със същия отговор накрая.

Когато компютърът говори с някой от тези AI помощници, той изпраща много думи. HEDL е начин да кажете точно същото нещо с много по-малко думи. Нищо не е пропуснато, просто е казано по-просто.