Token Efficient Data Format for LLMs | Dweve HEDL
HEDL names a table columns once and writes each record behind a pipe, so a table sent to a language model carries under half the bytes it does as JSON.
Groupes d'algorithmes par type de données
Orchestration multi-agents avec HEDL de bout en bout.
Récupération en moins d'une milliseconde pour des invites plus riches.
Pipeline d'analyse à adressage par contenu.
Installez HEDL, lancez le serveur MCP devant vos outils et observez la baisse de consommation de tokens. Le corpus de benchmark est dans le dépôt.
Même sémantique, encodage plus dense, restauré à l'identique.
Retirez le proxy et vous revenez au JSON.
Noyau Rust avec zéro dépendance et aucun code non sûr.
Aucun fournisseur dans le chemin. La conversion s'exécute localement.
HEDL est fourni sous forme de bibliothèque Rust, de serveur MCP et de composant WASM. Le parseur principal a zéro dépendance et aucun code non sûr ; la conversion est locale, bidirectionnelle et sans perte sur les formats pris en charge.
La bibliothèque, le serveur MCP et WASM exposent le même chemin de conversion sans perte.
Serveur prêt à l'emploi, aucune modification d'application.
Lors de l'extraction, HEDL par rapport au JSON.
Moyenne sur 7 jeux de données de benchmark.
Pipelines d'agents, récupération, extraction par lots, partout où les tokens LLM sont facturés au volume. Les économies se cumulent à mesure que les chaînes d'appels d'outils s'allongent. Les mêmes données entrent, les mêmes réponses sortent, la seule chose qui change est le montant sur la facture.
Aller-retour sans perte dans les deux sens
Parseur de schéma, encodeur positionnel, adaptateur MCP
Devant n'importe quel outil, sans modification de l'application
Intégrez le serveur MCP et votre pile d'agents parle HEDL en amont et JSON en aval, sans modification du code applicatif. Le proxy journalise les compteurs de jetons avant et après chaque requête. Une crate Rust, un CLI et une compilation WASM couvrent les usages embarqués et navigateur.
Mesuré sur 571 tâches d'extraction réparties sur 7 jeux de données, exécutées sur Mistral Large, DeepSeek Chat et NVIDIA GLM-4.7.
Les valeurs que vous vouliez envoyer. En HEDL, presque tout ce qui reste.
Une paire de guillemets autour de chaque chaîne, même les plus évidentes.
Accolades et crochets qui marquent une structure déjà connue du schéma.
Les mêmes noms de champs, payés à nouveau sur chaque enregistrement.
Les quatre types d'octets dans un enregistrement
JSON est le format d'échange universel, mais en entrée de LLM, il est gaspilleur. Les noms de champs répétés, les crochets structurels et les guillemets autour de chaque chaîne sont des octets que vous payez sans qu'ils portent de sens. Isolez chaque partie ci-dessous pour voir exactement ce que votre budget de jetons achète.
Moyenne sur les 7 jeux de données de référence.
Moyenne sur 3 modèles et 7 jeux de données
Nous n'avons pas supposé que les LLM comprendraient un format plus dense. Nous l'avons testé. Lors d'une exécution mesurée sur 571 questions d'extraction structurée portant sur 7 jeux de données réels, HEDL a utilisé 56 % de jetons en moins que JSON et a enregistré la précision la plus élevée parmi les formats de cette exécution. Le résultat appartient à ce modèle, à ce corpus et à cette configuration de test.
JSON vers HEDL et retour, octet pour octet.
Mêmes enregistrements, schéma déclaré une seule fois.
Enregistrements utilisateur plats, par question.
Jetons par question, jeux de données réels
HEDL déclare un schéma une seule fois, puis encode les enregistrements de manière positionnelle. Pas de noms de champs répétés. Pas de crochets pour l'imbrication. Les chaînes ne sont pas entre guillemets par défaut. Choisissez un jeu de données et regardez le nombre de jetons chuter tandis que les données restent identiques. L'aller-retour est sans perte.
Conçu et maintenu en Europe, avec une conversion qui s'exécute où que vous le déployiez.
Le noyau Rust a zéro dépendance et aucun code non sûr.
Il ne téléphone pas à la maison. Rien ne franchit une frontière que vous n'avez pas approuvée.
Aucun fournisseur dans le chemin. La conversion s'exécute localement sur vos propres machines.
La conversion s'exécute sur vos propres machines, dans une région UE, ou entièrement hors ligne. HEDL ne téléphone pas à la maison et n'a besoin d'aucun service externe, donc les enregistrements structurés restent à l'intérieur de la frontière que vous opérez déjà.
Retirez le proxy et chaque système en aval continue sur du JSON simple.
De vrais nombres de jetons, enregistrés par requête.
Un flux de travail IA, rien d'autre touché.
Il n'y a pas de migration de grand boum à planifier. Placez le convertisseur devant un flux de travail IA, comparez les nombres de jetons enregistrés, puis étendez uniquement là où l'économie tient. Le chemin est réversible : retirez le proxy et chaque système en aval continue sur du JSON simple.
Retirez le convertisseur ; les bases de données et les rapports continuent de recevoir du JSON ordinaire.
Il convertit à la périphérie, donc vos bases de données et rapports ne changent jamais.
Parquet pour les lacs de données et Neo4j Cypher pour les bases de données graphes, dans les deux sens.
JSON, YAML, XML et CSV, les formes que la plupart des équipes échangent déjà chaque jour.
Personne n'a à tout arracher. HEDL convertit vers et depuis les formats que vos systèmes utilisent déjà, dans les deux sens, et se place devant vos outils IA comme un plug-in unique. La version dense n'existe que sur le trajet vers le modèle. Tout ce qui est en aval voit les formes qu'il a toujours vues.
Le compteur évolue au même rythme à la hausse comme à la baisse, vous pouvez donc lire un chiffre proche de votre consommation réelle.
L'économie correspond simplement aux tokens que HEDL supprime. Moins de données à envoyer signifie moins à payer, pour les mêmes données.
La référence publiée : un service à un milliard de tokens par mois économise 1 680 dollars par mois en passant de JSON.
Les tokens sont facturés au volume, et HEDL en envoie 56 pour cent de moins pour les mêmes données. Choisissez la taille qui correspond à votre consommation et observez les chiffres mensuels et annuels évoluer. Le point de référence publié est un service à un milliard de tokens par mois, qui économise 1 680 dollars par mois.
Les mêmes données en retour, octet pour octet.
Plus de réponses exploitables par dépense.
Chaque appel IA est facturé au token, et une grande partie de ce budget est du syntaxe plutôt que des données. HEDL a envoyé la même requête avec 56 pour cent de tokens en moins lors de l'exécution mesurée et a montré une différence de précision de +10,3 pp par rapport à JSON. C'est une preuve issue de cette configuration, accompagnée d'une facture plus basse, sans modifier les systèmes en aval.
Ce qu'il économise, ce qu'il réduit en risques
Le corpus de référence et les vérifications aller-retour rendent l'effet visible avant la production.
Il parle en JSON simple au reste de votre pile. Retirez-le et vous revenez à JSON, octet pour octet.
Une couche compacte se place devant le modèle ; le reste de vos systèmes continue de parler JSON.
HEDL ajoute une couche d'échange compacte devant le modèle tandis que chaque base de données, rapport et application continue de parler JSON. Exécutez la conversion localement, mesurez-la sur un flux de travail, et retirez-la sans migration de données si les chiffres ne tiennent pas.
Moins de mots à payer, avec la même réponse au final.
Chaque message compact est restauré et vérifié avant que la réponse ne vous parvienne.
Cela ne change que la façon dont le message est plié pour l'envoi.
Vous ne voyez jamais HEDL et ne le touchez pas. Il se trouve derrière l'assistant.
HEDL est un petit élément qui rend les assistants IA moins chers à exécuter, sans changer ce qu'ils vous répondent. Vous ne l'installez pas, vous ne le configurez pas, et vous n'avez pas à le comprendre. Voici toute la promesse, en quatre lignes courtes.
Non. Le message complet est restauré avant d'être utilisé.
La version complète revient mot pour mot.
Vous ne l'installez jamais et ne l'activez jamais.
Il est normal d'avoir des questions, et il n'y en a pas de stupides. Voici les cinq questions les plus fréquentes, chacune avec une réponse claire et rien de caché derrière. Touchez une question pour lire la réponse.
Il revient exactement comme il a commencé.
Les étiquettes sont écrites une fois, pas sur chaque ligne.
Deux fois plus de contenu tient en une seule fois.
L'assistant lit moins pour vous répondre.
Vous ne lancerez jamais HEDL et ne le verrez même pas. Mais à chaque fois qu'un de ces assistants IA fait un travail pour vous, il est discrètement là, rendant l'assistant moins cher à exécuter. Choisissez un moment et voyez ce qu'il fait dans les coulisses.
Le message compact est retransformé en version complète et vérifié avant d'être utilisé.
Oui. Le chemin court se replie dans le chemin long, mot pour mot.
Non. Le sens reste exactement le même, à chaque fois.
Non. Vous ne le voyez jamais et ne le configurez jamais. Il fait son travail tout seul.
Pensez à écrire la même adresse sur cent enveloppes. Vous pourriez l'écrire en entier à chaque fois, ou l'écrire une fois et la garder courte sur le reste. Les lettres arrivent quand même. HEDL fait le chemin court pour vous, et voici ce que cela signifie pour vous.