Token Efficient Data Format for LLMs | Dweve HEDL

Orquestación multiagente con HEDL en todo el proceso.

Recuperación en menos de un milisegundo para prompts más ricos.

Canal de análisis con direccionamiento por contenido.

Instala HEDL, ejecuta el servidor MCP frente a tus herramientas y observa cómo baja el uso de tokens. El corpus de referencia está en el repositorio.

La mitad de los tokens. Los mismos datos

ANÁLISIS CON DIRECCIONAMIENTO POR CONTENIDO

Misma semántica, codificación más densa, restauración exacta.

Núcleo en Rust con cero dependencias y sin código inseguro.

Sin proveedor en el camino. La conversión se ejecuta localmente.

HEDL se distribuye como biblioteca de Rust, servidor MCP y componente WASM. El analizador principal tiene cero dependencias y sin código inseguro; la conversión es local, bidireccional y sin pérdidas en los formatos compatibles.

La biblioteca, el servidor MCP y WASM exponen la misma ruta de conversión sin pérdidas.

Servidor de integración inmediata, cero cambios en la aplicación.

Media en 7 conjuntos de datos de referencia.

Pipelines de agentes, recuperación, extracción por lotes, en cualquier lugar donde los tokens de LLM se facturen por volumen. El ahorro se acumula a medida que las cadenas de llamadas a herramientas se alargan. Entran los mismos datos, salen las mismas respuestas, lo único que cambia es el número en la factura.

Ida y vuelta sin pérdidas en cualquier dirección

Analizador de esquemas, codificador posicional, adaptador MCP

Convertir, validar, comprobar, formatear

Delante de cualquier herramienta, sin cambios en la aplicación

Incorpora el servidor MCP y tu pila de agentes habla HEDL en sentido ascendente y JSON en sentido descendente sin cambiar el código de la aplicación. El proxy registra los recuentos de tokens antes y después en cada solicitud. Un crate de Rust, una CLI y una compilación WASM cubren el uso integrado y en el navegador.

Medido en 571 tareas de extracción en 7 conjuntos de datos, ejecutado en Mistral Large, DeepSeek Chat y NVIDIA GLM-4.7.

Los valores que querías enviar. En HEDL, casi todo eso permanece.

Un par de comillas alrededor de cada cadena, incluso las inequívocas.

Llaves y corchetes que marcan una estructura que el esquema ya conoce.

Los mismos nombres de campo, pagados de nuevo en cada registro.

Los cuatro tipos de bytes en un registro

JSON es el formato de intercambio universal, pero como entrada para LLM es derrochador. Los nombres de campo repetidos, los corchetes estructurales y las comillas alrededor de cada cadena son bytes que pagas y que no aportan significado. Aísla cada parte a continuación para ver exactamente qué está comprando tu presupuesto de tokens.

Promedio en los 7 conjuntos de datos de referencia.

Promedio en 3 modelos y 7 conjuntos de datos

No asumimos que los LLM entenderían un formato más denso. Lo probamos. En una ejecución medida de 571 preguntas de extracción estructurada en 7 conjuntos de datos del mundo real, HEDL usó un 56 por ciento menos de tokens que JSON y registró la mayor precisión entre los formatos en esa ejecución. El resultado pertenece a ese modelo, corpus y configuración de prueba.

De JSON a HEDL y viceversa, byte por byte.

Mismos registros, esquema declarado una vez.

Registros de usuario planos, por pregunta.

Tokens por pregunta, conjuntos de datos reales

HEDL declara un esquema una vez y luego codifica los registros de forma posicional. Sin nombres de campo repetidos. Sin corchetes para anidar. Cadenas sin comillas por defecto. Elige un conjunto de datos y observa cómo cae el recuento de tokens mientras los datos permanecen idénticos. El viaje de ida y vuelta no tiene pérdidas.

Diseñado y mantenido en Europa, con la conversión ejecutándose dondequiera que lo despliegues.

El núcleo en Rust tiene cero dependencias y ningún código inseguro.

No llama a casa. Nada cruza una frontera que no hayas aprobado.

Sin proveedor en el camino. La conversión se ejecuta localmente en tus propias máquinas.

La conversión se ejecuta en tus propias máquinas, en una región de la UE o totalmente sin conexión. HEDL no llama a casa y no necesita ningún servicio externo, por lo que los registros estructurados permanecen dentro del límite que ya operas.

Elimina el proxy y todos los sistemas posteriores continúan con JSON simple.

El mismo reemplazo directo, dondequiera que valga la pena.

Recuentos de tokens reales, registrados por solicitud.

Un flujo de trabajo de IA, sin tocar nada más.

No hay migración de gran estallido que planificar. Coloca el conversor delante de un flujo de trabajo de IA, compara los recuentos de tokens registrados y luego expande solo donde el ahorro se mantenga. El camino es reversible: elimina el proxy y todos los sistemas posteriores continúan con JSON simple.

Elimina el conversor; las bases de datos y los informes siguen recibiendo JSON ordinario.

Convierte en el borde, por lo que tus bases de datos e informes nunca cambian.

Parquet para lagos de datos y Neo4j Cypher para bases de datos de grafos, en ambas direcciones.

JSON, YAML, XML y CSV, las formas que la mayoría de los equipos ya intercambian a diario.

Nadie tiene que arrancar nada. HEDL convierte desde y hacia los formatos que tus sistemas ya usan, en ambas direcciones, y se sitúa delante de tus herramientas de IA como un único reemplazo directo. La versión densa solo existe en el viaje hacia el modelo. Todo lo posterior ve las formas que siempre vio.

El medidor escala la misma proporción hacia arriba y hacia abajo, así que puedes leer una cifra cercana a tu uso real.

El ahorro son simplemente los tokens que HEDL elimina. Menos que enviar significa menos que pagar, con los mismos datos.

La referencia publicada: un servicio con mil millones de tokens al mes ahorra 1.680 dólares al mes al cambiar de JSON.

Los tokens se facturan por volumen, y HEDL envía un 56 por ciento menos de ellos por los mismos datos. Elige el tamaño que se parezca a tu uso y observa cómo cambian las cifras mensuales y anuales. El punto de referencia publicado es un servicio con mil millones de tokens al mes, que ahorra 1.680 dólares al mes.

Los mismos datos de vuelta, byte por byte.

Cada llamada de IA se cobra por token, y gran parte de ese presupuesto es sintaxis en lugar de datos. HEDL envió la misma solicitud con un 56 por ciento menos de tokens en la ejecución medida y mostró una diferencia de precisión de +10,3 pp respecto a JSON allí. Esto es evidencia de esta configuración, junto con una factura más baja, sin cambiar los sistemas posteriores.

El corpus de referencia y las comprobaciones de ida y vuelta hacen visible el efecto antes de la producción.

Habla JSON simple con el resto de tu pila. Si lo eliminas, vuelves a JSON, byte por byte.

Una capa compacta se sitúa ante el modelo; el resto de tus sistemas siguen hablando JSON.

HEDL añade una capa de intercambio compacta antes del modelo mientras cada base de datos, informe y aplicación sigue hablando JSON. Ejecuta la conversión localmente, mídela en un flujo de trabajo y elimínala sin migración de datos si los números no se sostienen.

Menos palabras que pagar, con la misma respuesta al final.

Cada mensaje compacto se restaura y se comprueba antes de que la respuesta llegue a ti.

Solo cambia cómo se pliega el mensaje para enviarlo.

Nunca ves HEDL ni lo tocas. Está detrás del asistente.

HEDL es una pieza pequeña que hace que los asistentes de IA sean más baratos de ejecutar, sin cambiar lo que te dicen. No lo instalas, no lo configuras y no tienes que entenderlo. Aquí está toda la promesa, en cuatro líneas breves.

No. El mensaje completo se restaura antes de usarse.

La versión completa vuelve palabra por palabra.

El significado se mantiene exactamente igual.

Es normal tener preguntas, y no hay ninguna tonta. Estas son las cinco que la gente hace más a menudo, cada una con una respuesta clara y sin nada oculto. Toca una pregunta para leer la respuesta.

Las etiquetas se escriben una vez, no en cada línea.

El asistente lee menos para responderte.

Nunca iniciarás HEDL ni siquiera lo verás. Pero cada vez que uno de esos asistentes de IA hace un trabajo por ti, está ahí en silencio, haciendo que el asistente sea más barato de ejecutar. Elige un momento y mira qué hace entre bastidores.

El mensaje compacto se convierte de nuevo en la versión completa y se comprueba antes de usarse.

Sí. La forma breve se despliega en la forma larga, palabra por palabra.

No. El significado sigue siendo exactamente el mismo, siempre.

No. Nunca lo ves ni lo configuras. Hace su trabajo por sí solo.

Piensa en escribir la misma dirección en cien sobres. Podrías escribirla completa cada vez, o escribirla una vez y mantenerla breve en el resto. Las cartas siguen llegando. HEDL hace la forma breve por ti, y esto es lo que significa para tu parte.

Funciona silenciosamente en segundo plano.

Menos palabras significa menos que pagar.

El mismo mensaje, dicho con menos palabras.

Sin palabras técnicas, sin gráficos. Solo la idea, como se la explicarías a un amigo. HEDL es una forma más corta de que las computadoras digan lo mismo a un asistente de IA, de modo que obtener la misma respuesta cueste menos.