Format de données économe en tokens | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

Groupes d'algorithmes par type de données

HEDL. Un format de données économe en jetons

HEDL (Hierarchical Entity Data Language) est un format de données texte open source, économe en jetons, sous licence Apache 2.0, destiné aux LLM et aux enregistrements structurés. Son lecteur, son écrivain, ses validateurs et ses serveurs en Rust maintiennent le format inspectable et réversible.

HEDL (Hierarchical Entity Data Language) est un format de table open source, économe en jetons, sous licence Apache 2.0, pour les requêtes LLM. Commencez localement avec cargo add hedl ; les étiquettes répétées disparaissent tandis que la conversion reste locale et réversible. Dans une mesure effectuée, 500 enregistrements plats étaient 48,7 % plus petits que du JSON minifié.

HEDL (Hierarchical Entity Data Language) est un format texte open source sous licence Apache 2.0 pour les listes envoyées aux LLM. Il écrit les étiquettes de colonnes une fois en haut, puis conserve les mêmes faits dans chaque ligne.

Ajoutez la bibliothèque Rust avec cargo add hedl ou installez la CLI avec cargo install hedl-cli. Exécutez le lecteur localement et inspectez les octets vous-même.

Un pipeline d'analyse par adresse de contenu.

Récupération en moins d'une milliseconde pour des invites plus riches.

Orchestration multi-agents avec HEDL partout.

Le corpus et la méthodologie du benchmark sont fournis dans le dépôt.

plus de réponses correctes par jeton que JSON

Plus c'est élevé, mieux c'est. HEDL renvoie 2,4 fois plus de réponses correctes par jeton que JSON.

Plus c'est élevé, mieux c'est. HEDL extrait 80,4 %, soit 10,3 points de plus que JSON.

Plus c'est court, mieux c'est. HEDL transporte les mêmes réponses avec 56 % de jetons en moins que JSON.

571 questions, 7 jeux de données, 6 formats

JSON · YAML · XML · CSV · Parquet · TOON

48,7 % plus petit que le JSON minifié dans cette exécution

Conversion bidirectionnelle et sans perte. Les mêmes données sémantiques, encodées de manière plus dense, restaurées à l'identique.

Un proxy transparent. Retirez-le et votre pile revient au JSON classique, sans migration à annuler.

Le cœur Rust n'a aucune dépendance et aucun code non sûr ; les outils fournis gardent leurs dépendances d'exécution explicites.

Aucun fournisseur ne s'interpose. La conversion s'exécute localement, les enregistrements ne quittent donc jamais votre propre infrastructure.

Il fonctionne discrètement en arrière-plan

Les deux lettres arrivent au même endroit

Quelques fonctionnalités d'IA utilisées régulièrement.

Les chiffres suivent la référence publiée : un service à 1 milliard de jetons par mois économise 1 680 $ par mois.

Vous ne démarrez jamais rien de tout cela. Cela se produit tout seul, à chaque fois qu'un assistant est à l'œuvre, quelle que soit l'action que vous effectuez.

HEDL ne modifie que la forme du message pour l'aller-retour. Ce que vous avez envoyé revient exactement identique, sans rien ajouter ni rien perdre.

Vous demandez à l'assistant de prendre quelque chose sous une forme et de vous le rendre sous une autre, propre et prêt à l'emploi.

Une liste simple répète les mêmes petites étiquettes sur chaque ligne. HEDL écrit les étiquettes une fois en haut, puis seulement les entrées, ce qui réduit considérablement le nombre de mots à envoyer.

Vous demandez à l'assistant de parcourir une longue liste, une liste de noms, de commandes ou de rendez-vous, et de la mettre en ordre.

Un long document représente beaucoup de mots à envoyer. Plié à la manière de HEDL, deux fois plus de contenu tient en une seule fois, ce qui permet à l'assistant de voir davantage de la page d'un coup.

Vous remettez à l'assistant une longue lettre ou un rapport et lui demandez d'en extraire les parties qui vous intéressent.

En coulisses, l'assistant a dû lire beaucoup de contexte au préalable. HEDL replie ce contexte pour le réduire, afin qu'il lise la même chose avec beaucoup moins à traiter.

Vous tapez une question dans l'un de ces assistants IA et il vous répond en un instant.

Même réponse, en moins de mots. C'est tout ce qui change.

Vous pouvez à tout moment retransformer le chemin court en chemin long, mot pour mot.

Vous vous demandez si vous pourrez un jour récupérer la version complète si vous en avez besoin.

Rien n'est omis. Le chemin plus court porte exactement le même sens que le chemin long.

Vous craignez qu'en raccourcissant, on omette quelque chose ou qu'on change le sens.

Le même message, dit avec beaucoup moins de mots, pour que la facture à la fin soit plus petite.

Chaque mot que l'assistant lit est payé, même les mots qu'il répète encore et encore.

Taille mesurée · 500 enregistrements plats

Il se place devant vos outils d'IA et convertit en périphérie. Vos systèmes existants continuent d'envoyer et de recevoir les formats qu'ils utilisent déjà.

Vos bases de données, rapports et tableurs voient les mêmes structures qu'auparavant. Le format plus dense n'existe que lors du trajet vers et depuis le modèle.

Sept formats entrent et sortent par le même pont sans perte ; la représentation compacte n'existe qu'autour de l'appel au modèle.

Le modèle reçoit la version dense. Votre pile continue de parler les formats qu'elle a toujours utilisés.

Un convertisseur unique se place entre vos systèmes et le modèle.

économisé par mois à un milliard de jetons en passant de JSON à HEDL.

gaspillé par appel API sur des clés répétées pour un ensemble de 10 000 utilisateurs.

Schéma une fois. Ensuite, seulement les données, séparées par des virgules.

Multipliez maintenant les octets structurels par dix mille enregistrements.

Un enregistrement, chaque octet étiqueté

Les valeurs que vous vouliez réellement envoyer. Dans HEDL, c'est presque tout ce qui reste.

Une paire de guillemets autour de chaque chaîne, même celles sans ambiguïté.

Accolades d'objet et crochets de tableau qui marquent une structure que le schéma connaît déjà.

Les mêmes noms de champs, "id", "name", "role", payés à nouveau sur chaque enregistrement.

Une couche compacte se place devant le modèle tandis que le reste de votre pile continue de parler JSON.

Il parle HEDL au modèle et renvoie du JSON simple à vos propres systèmes, donc le reste de votre pile ne change pas. Retirez-le et vous êtes exactement là où vous avez commencé.

La conversion peut s'exécuter sur vos propres machines, dans une région de l'UE, ou entièrement hors ligne sans service externe dans le chemin.

La réduction de jetons, la précision des réponses et les allers-retours sans perte sont mesurés sur des ensembles de données réels avant le déploiement.

Insérez-le devant un flux de travail, comparez le résultat, puis étendez-le uniquement là où cela en vaut la peine.

HEDL est une petite pièce qui rend les assistants IA moins chers à faire fonctionner, sans changer ce qu'ils vous répondent. Vous ne l'installez pas, vous ne le configurez pas, et vous n'avez pas à le comprendre. Voici la version courte de ce qu'il promet.

Vous pouvez arrêter de vous inquiéter à ce sujet.

Parce qu'il dit la même chose en moins de mots, les assistants qui l'utilisent coûtent moins cher à faire fonctionner.

Chaque message compact est restauré et vérifié avant que l'assistant ne l'utilise, donc rien ne disparaît en cours de route.

Il ne change que la façon dont le message est plié pour l'envoi. Le sens reste exactement le même.

Vous ne voyez jamais HEDL et ne le touchez pas. Il se place derrière l'assistant IA et fait son travail tout seul.

Si vous hésitez encore, ce n'est pas grave. Vous n'avez jamais à toucher à HEDL pour qu'il fasse son travail.

Touchez une question pour lire la réponse simple. Il n'y a pas de mauvaise question à poser.

Les questions que les gens posent en premier

Les assistants que vous utilisez coûtent de l'argent à faire fonctionner, compté un peu comme une facture de téléphone au mot. Dire la même chose en moins de mots signifie une facture plus petite, ce qui permet de proposer ces assistants à moindre coût.

Chaque message compact est restauré et vérifié avant d'être utilisé. Si la version complète ne revient pas exactement, la conversion échoue au lieu de perdre silencieusement une partie.

Oui. La version courte se replie en version longue chaque fois que nécessaire, mot pour mot, sans rien ajouter ni rien perdre. C'est comme plier une lettre pour l'envoyer, puis la déplier pour la lire.

Peut-on toujours récupérer la version complète ?

Non. Cela change seulement la façon dont le message est plié pour le voyage vers l'assistant et retour. Le sens est conservé exactement, donc la réponse que vous lisez est celle que vous auriez obtenue de toute façon.

Cela pourrait-il changer la réponse que je reçois ?

Non. Vous n'avez rien à télécharger, activer ou apprendre. HEDL se trouve derrière les assistants IA que d'autres personnes créent, et il fait son travail tout seul. Vous ne le verrez jamais.

Dois-je installer ou configurer quelque chose ?

Vous n'avez rien à installer ni à comprendre. Cela fonctionne discrètement en arrière-plan, pour que les assistants que vous utilisez coûtent moins cher et restent tout aussi clairs.