Token Efficient Data Format for LLMs | Dweve HEDL

Orkiestracja wieloagentowa z HEDL w całym procesie.

Pobieranie w czasie poniżej milisekundy dla bogatszych podpowiedzi.

Zainstaluj HEDL, uruchom serwer MCP przed swoimi narzędziami i obserwuj spadek zużycia tokenów. Korpus benchmarku znajduje się w repozytorium.

Ta sama semantyka, gęstsze kodowanie, dokładne przywrócenie.

Rdzeń w Ruście z zerową liczbą zależności i bez niebezpiecznego kodu.

Brak dostawcy na ścieżce. Konwersja działa lokalnie.

HEDL jest dostępny jako biblioteka w Ruście, serwer MCP i komponent WASM. Podstawowy analizator ma zerową liczbę zależności i nie zawiera niebezpiecznego kodu; konwersja jest lokalna, dwukierunkowa i bezstratna w obsługiwanych formatach.

Biblioteka, serwer MCP i WASM udostępniają tę samą bezstratną ścieżkę konwersji.

Serwer typu drop-in, zero zmian w aplikacji.

Przy ekstrakcji: HEDL w porównaniu z JSON.

Potoki agentów, pobieranie, ekstrakcja wsadowa, wszędzie tam, gdzie tokeny LLM są rozliczane według objętości. Oszczędności rosną wraz z wydłużaniem się łańcuchów wywołań narzędzi. Te same dane na wejściu, te same odpowiedzi na wyjściu, zmienia się tylko liczba na fakturze.

Analizator schematu, enkoder pozycyjny, adapter MCP

Przód dowolnego narzędzia, zero zmian w aplikacji

Wrzuć serwer MCP, a Twój stos agentów mówi HEDL w górę i JSON w dół bez żadnych zmian w kodzie aplikacji. Proxy loguje liczbę tokenów przed i po każdym żądaniu. Crate w Ruście, CLI i kompilacja WASM pokrywają użycie w osadzeniu i przeglądarce.

Zmierzono na 571 zadaniach ekstrakcji z 7 zbiorów danych, uruchomionych na Mistral Large, DeepSeek Chat i NVIDIA GLM-4.7.

Wartości, które chciałeś wysłać. W HEDL prawie wszystko to zostaje.

Para cudzysłowów wokół każdego ciągu, nawet tych jednoznacznych.

Nawiasy klamrowe i kwadratowe oznaczające strukturę, którą schemat już zna.

Te same nazwy pól, płacone ponownie przy każdym rekordzie.

JSON to uniwersalny format wymiany, ale jako wejście dla LLM jest marnotrawny. Powtarzane nazwy pól, nawiasy strukturalne i cudzysłowy wokół każdego ciągu to bajty, za które płacisz, a które nie niosą znaczenia. Wyizoluj każdą część poniżej, aby zobaczyć dokładnie, co kupuje Twój budżet tokenów.

Nie założyliśmy, że LLM zrozumieją gęstszy format. Przetestowaliśmy to. W jednym zmierzonym przebiegu na 571 pytaniach o ekstrakcję strukturalną z 7 rzeczywistych zbiorów danych HEDL użył o 56 procent mniej tokenów niż JSON i osiągnął najwyższą dokładność wśród formatów w tym przebiegu. Wynik należy do tego modelu, korpusu i konfiguracji testu.

JSON do HEDL i z powrotem, bajt po bajcie.

Te same rekordy, schemat zadeklarowany raz.

Płaskie rekordy użytkowników, na pytanie.

Tokeny na pytanie, rzeczywiste zbiory danych

HEDL deklaruje schemat raz, a następnie koduje rekordy pozycyjnie. Bez powtarzanych nazw pól. Bez nawiasów dla zagnieżdżeń. Ciągi znaków domyślnie bez cudzysłowów. Wybierz zbiór danych i obserwuj, jak liczba tokenów spada, podczas gdy dane pozostają identyczne. Konwersja w obie strony jest bezstratna.

Zaprojektowany i utrzymywany w Europie, z konwersją działającą tam, gdzie go wdrożysz.

Rdzeń w Ruście ma zero zależności i żadnego niebezpiecznego kodu.

Nie łączy się z domem. Nic nie przekracza granicy, której nie zatwierdziłeś.

Żaden dostawca na ścieżce. Konwersja działa lokalnie na Twoich maszynach.

Konwersja działa na Twoich maszynach, w regionie UE lub całkowicie offline. HEDL nie łączy się z domem i nie potrzebuje zewnętrznej usługi, więc rekordy strukturalne pozostają w granicach, które już obsługujesz.

Usuń proxy, a każdy system niższego poziomu nadal będzie działać na zwykłym JSON.

Ten sam zamiennik, wszędzie tam, gdzie się opłaca.

Rzeczywiste liczby tokenów, rejestrowane dla każdego żądania.

Jeden przepływ AI, nic więcej niezmienione.

Nie ma do zaplanowania migracji typu wielki wybuch. Umieść konwerter przed jednym przepływem AI, porównaj zarejestrowane liczby tokenów, a następnie rozszerzaj tylko tam, gdzie oszczędność się utrzymuje. Ścieżka jest odwracalna: usuń proxy, a każdy system niższego poziomu nadal będzie działać na zwykłym JSON.

Usuń konwerter; bazy danych i raporty nadal będą otrzymywać zwykły JSON.

Konwertuje na brzegu, więc Twoje bazy danych i raporty nigdy się nie zmieniają.

Parquet dla jezior danych i Neo4j Cypher dla baz grafowych, w obu kierunkach.

JSON, YAML, XML i CSV, kształty, które większość zespołów już wymienia codziennie.

Nikt nie musi niczego wyrywać. HEDL konwertuje do i z formatów, których Twoje systemy już używają, w obu kierunkach, i stoi przed Twoimi narzędziami AI jako pojedynczy zamiennik. Gęsta wersja istnieje tylko podczas podróży do modelu. Wszystko poniżej widzi kształty, które zawsze widziało.

Licznik skaluje się w tym samym tempie w górę i w dół, więc możesz odczytać wartość zbliżoną do rzeczywistego zużycia.

Oszczędność to po prostu tokeny, które HEDL usuwa. Mniej do wysłania oznacza mniej do zapłacenia, przy tych samych danych.

Opublikowany punkt odniesienia: usługa z miliardem tokenów miesięcznie oszczędza 1680 dolarów miesięcznie po przejściu z JSON.

Tokeny są rozliczane według wolumenu, a HEDL wysyła ich 56 procent mniej dla tych samych danych. Wybierz rozmiar odpowiadający Twojemu zużyciu i obserwuj, jak zmieniają się wartości miesięczne i roczne. Opublikowany punkt odniesienia to usługa z miliardem tokenów miesięcznie, która oszczędza 1680 dolarów miesięcznie.

Te same dane z powrotem, bajt po bajcie.

Więcej użytecznych odpowiedzi za wydane pieniądze.

HEDL w porównaniu z JSON przy ekstrakcji.

Każde wywołanie AI jest wyceniane za token, a duża część tego budżetu to składnia, a nie dane. W zmierzonym przebiegu HEDL wysłał to samo żądanie w 56 procentach mniejszej liczbie tokenów i wykazał różnicę dokładności +10,3 pp w porównaniu z JSON. To dowód z tego ustawienia, wraz z niższym rachunkiem, bez zmiany systemów niższego poziomu.

z mniejszą liczbą rzeczy, które mogą się zepsuć

Korpus benchmarkowy i testy pełnego obiegu sprawiają, że efekt jest widoczny przed produkcją.

Mówi zwykłym JSON do reszty Twojego stosu. Usuń go, a wrócisz do JSON, bajt po bajcie.

Jedna kompaktowa warstwa znajduje się przed modelem; reszta Twoich systemów nadal mówi JSON.

HEDL dodaje jedną kompaktową warstwę wymiany przed modelem, podczas gdy każda baza danych, raport i aplikacja nadal mówi JSON. Uruchom konwersję lokalnie, zmierz ją na jednym przepływie pracy i usuń ją bez migracji danych, jeśli liczby się nie utrzymają.

Mniej słów do opłacenia, z tą samą odpowiedzią na końcu.

Każda kompaktowa wiadomość jest przywracana i sprawdzana, zanim odpowiedź do Ciebie dotrze.

Zmienia tylko sposób składania wiadomości do wysyłki.

Nigdy nie widzisz HEDL ani go nie dotykasz. Siedzi za pomocnikiem.

HEDL to jeden mały element, który sprawia, że pomocnicy AI są tańsi w obsłudze, bez zmiany tego, co mówią Ci z powrotem. Nie instalujesz go, nie konfigurujesz go i nie musisz go rozumieć. Oto cała obietnica w czterech krótkich liniach.

Nie. Pełna wiadomość jest przywracana, zanim zostanie użyta.

Znaczenie pozostaje dokładnie takie samo.

Nigdy go nie instalujesz ani nie włączasz.

To normalne, że masz pytania, i nie ma głupich pytań. Oto pięć najczęściej zadawanych, każde z prostą odpowiedzią i niczym ukrytym. Dotknij pytania, aby przeczytać odpowiedź.

Etykiety są zapisywane raz, nie w każdym wierszu.

Za jednym razem mieści się dwa razy więcej.

Pomocnik czyta mniej, aby ci odpowiedzieć.

Nigdy nie uruchomisz HEDL ani nawet go nie zobaczysz. Ale za każdym razem, gdy jeden z tych asystentów AI wykonuje dla ciebie zadanie, on jest tam po cichu, sprawiając, że asystent jest tańszy w utrzymaniu. Wybierz chwilę i zobacz, co robi za kulisami.

Kompaktowa wiadomość jest zamieniana z powrotem na pełną wersję i sprawdzana przed użyciem.

Tak. Krótka droga składa się z powrotem w długą, słowo w słowo.

Nie. Znaczenie pozostaje dokładnie takie samo, za każdym razem.

Nie. Nigdy tego nie widzisz ani nie konfigurujesz. Działa samo.

Pomyśl o pisaniu tego samego adresu na stu kopertach. Możesz pisać go w całości za każdym razem albo napisać raz i skracać na pozostałych. Listy i tak dotrą. HEDL robi to za ciebie w skrócie, a oto, co to oznacza dla ciebie.

Nic nie jest pomijane, nic się nie zmienia.

Ta sama wiadomość, wyrażona w mniejszej liczbie słów.

Bez technicznych słów, bez wykresów. Tylko idea, tak jak wyjaśniłbyś ją znajomemu. HEDL to krótszy sposób, w jaki komputery mówią to samo do asystenta AI, więc ta sama odpowiedź kosztuje mniej.

HEDL działa przed Twoimi narzędziami AI i wysyła te same żądania z 56 procentami mniejszą liczbą tokenów, mówiąc czystym JSON do reszty Twojego stosu. Nic w dalszej części się nie zmienia: efekt to niższy rachunek za tokeny, różnica w dokładności zmierzona w jednym przebiegu benchmarku oraz konwersja, która może działać na Twoich własnych maszynach bez przenoszenia danych do innej usługi.

Krótszy sposób na powiedzenie tego samego

Nie musisz znać żadnych technicznych słów, aby to zrozumieć. Kiedy komputer rozmawia z jednym z tych asystentów AI, wysyła wiele słów, a każde słowo jest płatne, trochę jak rachunek telefoniczny liczony od słowa. HEDL to sposób na powiedzenie dokładnie tego samego z o wiele mniejszą liczbą słów. Nic nie jest pomijane, znaczenie pozostaje takie samo, a odpowiedź, którą otrzymujesz, się nie zmienia. Po prostu kosztuje mniej i nigdy nie musisz się tym zajmować.