Oszczędny tokenowo format danych dla LLM | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL (Hierarchical Entity Data Language) to open-source'owy, tokenowo wydajny tekstowy format danych na licencji Apache 2.0 dla modeli LLM i rekordów strukturalnych. Jego czytnik, zapisywacz, walidatory i serwery napisane w Rust sprawiają, że format pozostaje czytelny i odwracalny.

HEDL (Hierarchical Entity Data Language) to open-source'owy, tokenowo wydajny format tabelaryczny na licencji Apache 2.0 dla zapytań do modeli LLM. Zacznij lokalnie od cargo add hedl; powtarzające się etykiety znikają, a konwersja pozostaje lokalna i odwracalna. W jednym zmierzonym przebiegu 500 płaskich rekordów było o 48,7% mniejszych niż zminifikowany JSON.

HEDL (Hierarchical Entity Data Language) to open-source'owy format tekstowy na licencji Apache 2.0 dla list wysyłanych do modeli LLM. Zapisuje etykiety kolumn raz na górze, a następnie przechowuje te same fakty w każdym wierszu.

Dodaj bibliotekę Rust za pomocą cargo add hedl lub zainstaluj CLI przez cargo install hedl-cli. Uruchom czytnik lokalnie i sam sprawdź bajty.

Pobieranie w czasie poniżej milisekundy dla bogatszych promptów.

Orchestracja wielu agentów z HEDL w całym procesie.

Korpus benchmarku i metodologia są dostarczane w repozytorium.

więcej poprawnych odpowiedzi na token niż JSON

Wyższe jest lepsze. HEDL zwraca 2,4 razy więcej poprawnych odpowiedzi na token niż JSON.

Wyższe jest lepsze. HEDL ekstrahuje 80,4%, czyli 10,3 punktu procentowego więcej niż JSON.

Krótsze jest lepsze. HEDL przenosi te same odpowiedzi w 56 procentach mniejszej liczby tokenów niż JSON.

JSON · YAML · XML · CSV · Parquet · TOON

48,7% mniej w porównaniu z zminifikowanym JSON w tym przebiegu

Dwukierunkowa, bezstratna konwersja. Te same semantyki danych, zakodowane gęściej, przywrócone dokładnie.

Wtyczka zastępcza. Usuń ją, a Twój stos wróci do zwykłego JSON, bez migracji do cofania.

Rdzeń Rusta ma zero zależności i żadnego niebezpiecznego kodu; dostarczane narzędzia jawnie określają swoje zależności wykonawcze.

Żaden dostawca nie znajduje się na ścieżce. Konwersja działa lokalnie, więc rekordy nigdy nie opuszczają Twojej infrastruktury.

To samo, powiedziane w mniejszej liczbie słów

Ekstrakcja zbiorcza rozliczana za wolumen.

te same dane, o 56 procent mniej tokenów

Liczby odpowiadają opublikowanemu odniesieniu: usługa przy 1 mld tokenów miesięcznie oszczędza 1680 USD miesięcznie.

Nigdy niczego z tego nie zaczynasz. To dzieje się samo, za każdym razem, gdy pomocnik pracuje, niezależnie od tego, co robisz.

HEDL zmienia tylko kształt wiadomości na czas podróży tam i z powrotem. To, od czego zacząłeś, wraca dokładnie takie samo, nic nie dodane i nic nie utracone.

Prosisz pomocnika, aby wziął coś w jednym kształcie i oddał w innym, schludnym i gotowym do użycia.

Zwykła lista powtarza te same małe etykiety w każdym wierszu. HEDL zapisuje etykiety raz na górze, a potem tylko wpisy, dzięki czemu lista zajmuje znacznie mniej słów do wysłania.

Prosisz pomocnika, aby przeszedł przez długą listę, listę nazwisk, zamówień lub spotkań, i uporządkował ją.

Długi dokument to wiele słów do wysłania. Złożony w sposób HEDL, mieści się w jednym razie dwa razy więcej, więc pomocnik widzi więcej strony naraz.

Podajesz pomocnikowi długi list lub raport i prosisz, aby wyciągnął części, które Cię interesują.

Za kulisami pomocnik musiał najpierw przeczytać dużo tła. HEDL składa to tło w małym rozmiarze, więc czyta to samo, mając znacznie mniej do przetworzenia.

Wpisujesz pytanie do jednego z tych pomocników AI, a on w mgnieniu oka pisze odpowiedź.

Ta sama odpowiedź, powiedziana w mniejszej liczbie słów. Tylko to się zmienia.

Krótką drogę możesz w każdej chwili zamienić z powrotem na długą, słowo w słowo.

Zastanawiasz się, czy kiedykolwiek uda ci się odzyskać pełną wersję, jeśli będzie potrzebna.

Nic nie jest pominięte. Krótsza droga niesie dokładnie to samo znaczenie co długa.

Martwisz się, że powiedzenie tego krócej może coś pominąć lub zmienić znaczenie.

Ta sama wiadomość, powiedziana znacznie mniejszą liczbą słów, więc rachunek na końcu jest mniejszy.

Każde słowo, które przeczyta pomocnik, jest płatne, nawet te, które powtarza w kółko.

Zmierzony rozmiar pliku · 500 płaskich rekordów

Działa przed Twoimi narzędziami AI i konwertuje na brzegu. Twoje istniejące systemy nadal wysyłają i odbierają formaty, których już używają.

Twoje bazy danych, raporty i arkusze kalkulacyjne widzą te same struktury co wcześniej. Gęstszy format istnieje tylko w podróży do i od modelu.

Siedem formatów wchodzi i wychodzi przez ten sam bezstratny most; kompaktowa reprezentacja istnieje tylko wokół wywołania modelu.

Model otrzymuje gęstą wersję. Twój stos nadal mówi językami, którymi zawsze mówił.

Jeden konwerter typu drop-in znajduje się między Twoimi systemami a modelem.

oszczędzane miesięcznie przy miliardzie tokenów po przejściu z JSON na HEDL.

marnowane na każde wywołanie API na powtarzanych kluczach dla zbioru 10 000 użytkowników.

Schemat raz. Potem tylko dane, oddzielone przecinkami.

Teraz pomnóż bajty strukturalne przez dziesięć tysięcy rekordów.

Wartości, które faktycznie chciałeś wysłać. W HEDL to prawie wszystko, co pozostaje.

Para cudzysłowów otaczająca każdy ciąg znaków, nawet te jednoznaczne.

Nawiasy klamrowe obiektów i nawiasy kwadratowe tablic, które oznaczają strukturę, którą schemat już zna.

Te same nazwy pól, "id", "name", "role", płacone ponownie przy każdym rekordzie.

Jedna zwarta warstwa znajduje się przed modelem, podczas gdy reszta Twojego stosu nadal mówi JSON-em.

Mówi do modelu w HEDL, a do Twoich systemów zwykłym JSON-em, więc reszta stosu się nie zmienia. Wyjmij ją i jesteś dokładnie tam, gdzie zaczynałeś.

Konwersja może działać na Twoich maszynach, w regionie UE lub w pełni offline, bez zewnętrznej usługi na ścieżce.

Redukcja tokenów, dokładność odpowiedzi i bezstratne rundy są mierzone na rzeczywistych zbiorach danych przed wdrożeniem.

Wstaw ją przed jeden przepływ pracy, porównaj wynik, a następnie rozszerz tylko tam, gdzie się to opłaca.

HEDL to jeden mały element, który sprawia, że pomocnicy AI są tańsi w utrzymaniu, bez zmiany tego, co Ci odpowiadają. Nie instalujesz go, nie konfigurujesz go i nie musisz go rozumieć. Oto krótka wersja tego, co obiecuje.

Ponieważ mówi to samo w mniejszej liczbie słów, pomocnicy, którzy go używają, kosztują mniej w utrzymaniu.

Każda zwięzła wiadomość jest przywracana i sprawdzana, zanim pomocnik jej użyje, więc nic nie znika po drodze.

Zmienia tylko sposób, w jaki wiadomość jest składana do wysyłki. Znaczenie pozostaje dokładnie takie samo.

Nigdy nie widzisz HEDL ani go nie dotykasz. Działa za pomocnikiem AI i wykonuje swoją pracę samodzielnie.

Jeśli nadal nie masz pewności, to w porządku. Nie musisz nigdy dotykać HEDL, aby działał.

Dotknij pytania, aby przeczytać prostą odpowiedź. Nie ma złych pytań.

Pytania, które ludzie zadają najczęściej

Pomocnicy, z których korzystasz, kosztują pieniądze na działanie, liczone trochę jak rachunek telefoniczny za słowa. Powiedzenie tego samego w mniejszej liczbie słów oznacza mniejszy rachunek, co pozwala oferować tych pomocników taniej.

Każda zwarta wiadomość jest przywracana i sprawdzana przed użyciem. Jeśli pełna wersja nie wróci dokładnie, konwersja kończy się niepowodzeniem zamiast po cichu pomijać jej część.

Tak. Krótka forma rozwija się z powrotem w długą, gdy tylko jest to potrzebne, słowo w słowo, bez niczego dodanego i bez niczego utraconego. To jak składanie listu, aby go wysłać, a potem rozkładanie go, aby przeczytać.

Czy pełna wersja zawsze może zostać przywrócona?

Nie. Zmienia to tylko sposób, w jaki wiadomość jest składana na czas podróży do pomocnika i z powrotem. Znaczenie pozostaje dokładnie takie samo, więc odpowiedź, którą czytasz, jest odpowiedzią, którą i tak byś otrzymał.

Czy to może zmienić odpowiedź, którą otrzymam?

Nie. Nie musisz niczego pobierać, włączać ani się uczyć. HEDL znajduje się za pomocnikami AI, które budują inni, i wykonuje swoją pracę samodzielnie. Nigdy go nie zobaczysz.

Czy muszę coś instalować lub konfigurować?

Nie musisz niczego instalować ani nic z tego rozumieć. Działa cicho w tle, dzięki czemu używane przez Ciebie narzędzia kosztują mniej i pozostają równie przejrzyste.

Wyobraź sobie, że piszesz ten sam adres na stu kopertach. Możesz za każdym razem napisać pełny adres. Albo możesz napisać go raz, a na pozostałych tylko numer domu. Listy i tak dotrą. Po prostu mniej piszesz. To cała idea stojąca za HEDL.

Krótką formę możesz w każdej chwili zamienić z powrotem na długą, słowo w słowo, bez żadnych zmian. Jak złożenie listu, żeby zmieścił się w kopercie, a potem jego rozwinięcie, żeby go przeczytać.

Każde słowo wysłane do asystenta AI jest płatne, trochę jak rachunek telefoniczny liczony od słowa. Powiedzenie tego samego w mniejszej liczbie słów oznacza mniejszy rachunek, a na końcu tę samą odpowiedź.

Gdy komputer rozmawia z takim asystentem AI, wysyła wiele słów. HEDL to sposób na powiedzenie dokładnie tego samego przy użyciu znacznie mniejszej liczby słów. Nic nie jest pomijane, po prostu jest powiedziane prościej.

Krótszy sposób na powiedzenie tego samego

Twój zespół umieszcza konwerter przed jednym przepływem pracy AI. Nic innego w stosie technologicznym nie jest zmieniane, a reszta firmy działa dokładnie tak jak wcześniej.