Token Efficient Data Format for LLMs | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

Orquestração multiagente com HEDL em todo o processo.

Recuperação em menos de um milissegundo para prompts mais ricos.

Pipeline de análise com endereçamento por conteúdo.

Instale HEDL, execute o servidor MCP à frente das suas ferramentas e veja o uso de tokens cair. O corpus de benchmark está no repositório.

Mesma semântica, codificação mais densa, restaurado exatamente.

Núcleo em Rust com zero dependências e sem código inseguro.

Sem fornecedor no caminho. A conversão é executada localmente.

HEDL é distribuído como biblioteca Rust, servidor MCP e componente WASM. O analisador central tem zero dependências e sem código inseguro; a conversão é local, bidirecional e sem perdas nos formatos suportados.

A biblioteca, o servidor MCP e o WASM expõem o mesmo caminho de conversão sem perdas.

Servidor plug-and-play, zero alteração na aplicação.

Média em 7 conjuntos de dados de benchmark.

Pipelines de agentes, recuperação, extração em lote, em qualquer lugar onde os tokens de LLM são cobrados por volume. As poupanças acumulam-se à medida que as cadeias de chamadas de ferramentas ficam mais longas. Os mesmos dados entram, as mesmas respostas saem, a única coisa que muda é o número na fatura.

Ida e volta sem perdas em qualquer direção

Analisador de esquema, codificador posicional, adaptador MCP

Na frente de qualquer ferramenta, sem alterar a aplicação

Adicione o servidor MCP e a sua stack de agentes fala HEDL a montante e JSON a jusante sem qualquer alteração ao código da aplicação. O proxy regista as contagens de tokens antes e depois em cada pedido. Uma crate Rust, uma CLI e uma compilação WASM cobrem utilização em navegador e embebida.

Medido em 571 tarefas de extração em 7 conjuntos de dados, executado em Mistral Large, DeepSeek Chat e NVIDIA GLM-4.7.

Os valores que pretendia enviar. Em HEDL, quase tudo o que resta.

Um par de aspas em cada string, mesmo nas inequívocas.

Chavetas e parênteses retos a marcar estrutura que o esquema já conhece.

Os mesmos nomes de campos, pagos novamente em cada registo.

JSON é o formato universal de troca, mas como entrada para LLM é desperdiçador. Nomes de campos repetidos, parênteses estruturais e aspas em cada string são bytes que paga sem transportarem significado. Isole cada parte abaixo para ver exatamente o que o seu orçamento de tokens está a comprar.

Ida e volta de JSON para HEDL e de volta.

Média nos 7 conjuntos de dados de referência.

Média em 3 modelos e 7 conjuntos de dados

Não assumimos que os LLM compreenderiam um formato mais denso. Testámo-lo. Numa execução medida em 571 perguntas de extração estruturada em 7 conjuntos de dados reais, HEDL usou 56 por cento menos tokens do que JSON e registou a maior precisão entre os formatos nessa execução. O resultado pertence a esse modelo, corpus e configuração de teste.

JSON para HEDL e de volta, byte por byte.

Mesmos registos, esquema declarado uma vez.

Registos de utilizadores simples, por pergunta.

Tokens por pergunta, conjuntos de dados reais

O HEDL declara um schema uma vez e depois codifica os registos de forma posicional. Sem nomes de campos repetidos. Sem parênteses para aninhamento. Strings sem aspas por predefinição. Escolha um conjunto de dados e veja a contagem de tokens cair enquanto os dados permanecem idênticos. A ida e volta é sem perdas.

Concebido e mantido na Europa, com conversão a correr onde quer que o implemente.

O núcleo em Rust tem zero dependências e nenhum código inseguro.

Não faz chamadas para casa. Nada cruza uma fronteira que não aprovou.

Sem fornecedor no caminho. A conversão corre localmente nas suas próprias máquinas.

A conversão corre nas suas próprias máquinas, numa região da UE, ou totalmente offline. O HEDL não faz chamadas para casa e não precisa de nenhum serviço externo, por isso os registos estruturados permanecem dentro do limite que já opera.

Remova o proxy e todos os sistemas a jusante continuam com JSON simples.

O mesmo drop-in, onde quer que compense.

Contagens de tokens reais, registadas por pedido.

Um fluxo de trabalho de IA, nada mais é tocado.

Não há migração de grande mudança para planear. Coloque o conversor à frente de um fluxo de trabalho de IA, compare as contagens de tokens registadas e depois expanda apenas onde a poupança se mantém. O caminho é reversível: remova o proxy e todos os sistemas a jusante continuam com JSON simples.

Remova o conversor; bases de dados e relatórios continuam a receber JSON comum.

Converte na borda, por isso as suas bases de dados e relatórios nunca mudam.

Parquet para data lakes e Neo4j Cypher para bases de dados de grafos, em ambas as direções.

JSON, YAML, XML e CSV, as formas que a maioria das equipas já troca todos os dias.

Ambas as direções, para dentro e para fora do HEDL

Ninguém tem de arrancar nada. O HEDL converte de e para os formatos que os seus sistemas já usam, em ambas as direções, e fica à frente das suas ferramentas de IA como um único drop-in. A versão densa só existe na viagem até ao modelo. Tudo a jusante vê as formas que sempre viu.

O medidor escala na mesma proporção para cima e para baixo, por isso pode ler um valor próximo do seu consumo real.

A poupança é simplesmente os tokens que a HEDL remove. Menos para enviar significa menos para pagar, com os mesmos dados.

A referência publicada: um serviço com mil milhões de tokens por mês poupa 1.680 dólares por mês ao mudar de JSON.

Os tokens são faturados por volume, e a HEDL envia 56 por cento menos deles para os mesmos dados. Escolha o tamanho que corresponde ao seu consumo e veja os valores mensais e anuais mudarem. O ponto de referência publicado é um serviço com mil milhões de tokens por mês, que poupa 1.680 dólares por mês.

Os mesmos dados de volta, byte por byte.

Cada chamada de IA é precificada por token, e grande parte desse orçamento é sintaxe em vez de dados. Na execução medida, a HEDL enviou o mesmo pedido com 56 por cento menos tokens e mostrou uma diferença de precisão de +10,3 pp em relação ao JSON. Isso é evidência desta configuração, juntamente com uma fatura mais baixa, sem alterar os sistemas a jusante.

O corpus de referência e as verificações de ida e volta tornam o efeito visível antes da produção.

Fala JSON simples para o resto da sua stack. Remova-o e volta ao JSON, byte por byte.

Uma camada compacta fica antes do modelo; o resto dos seus sistemas continua a falar JSON.

A HEDL adiciona uma camada de troca compacta antes do modelo, enquanto todas as bases de dados, relatórios e aplicações continuam a falar JSON. Execute a conversão localmente, meça-a num fluxo de trabalho e remova-a sem migração de dados se os números não se confirmarem.

Menos palavras para pagar, com a mesma resposta no final.

Cada mensagem compacta é restaurada e verificada antes de a resposta chegar até si.

Só muda a forma como a mensagem é dobrada para envio.

Nunca vê a HEDL nem lhe toca. Ela fica atrás do assistente.

A HEDL é uma peça pequena que torna os assistentes de IA mais baratos de operar, sem alterar o que dizem de volta para si. Não a instala, não a configura e não precisa de a compreender. Aqui está toda a promessa, em quatro linhas curtas.

Não. A mensagem completa é restaurada antes de ser utilizada.

A versão completa volta palavra por palavra.

O significado é mantido exatamente o mesmo.

É normal ter perguntas, e não há perguntas parvas. Aqui estão as cinco que as pessoas fazem mais vezes, cada uma com uma resposta simples e nada escondido por trás. Toque numa pergunta para ler a resposta.

Os rótulos são escritos uma vez, não em todas as linhas.

O assistente lê menos para lhe responder.

Nunca vai iniciar o HEDL nem sequer vê-lo. Mas sempre que um desses assistentes de IA está a fazer um trabalho por si, ele está lá silenciosamente, tornando o assistente mais barato de executar. Escolha um momento e veja o que ele está a fazer nos bastidores.

A mensagem compacta é transformada de volta na versão completa e verificada antes de ser utilizada.

Sim. O caminho curto dobra-se de volta no caminho longo, palavra por palavra.

Não. O significado permanece exatamente o mesmo, todas as vezes.

Não. Nunca o vê nem o configura. Faz o seu trabalho sozinho.

Pense em escrever o mesmo endereço em cem envelopes. Podia escrevê-lo por extenso todas as vezes, ou escrevê-lo uma vez e mantê-lo curto nos restantes. As cartas continuam a chegar. O HEDL faz o caminho curto por si, e aqui está o que isso significa para o seu lado.

Funciona silenciosamente em segundo plano.

Menos palavras significa menos para pagar.

A mesma mensagem, dita com menos palavras.

Sem palavras técnicas, sem gráficos. Apenas a ideia, da forma como a explicarias a um amigo. HEDL é uma forma mais curta de os computadores dizerem a mesma coisa a um assistente de IA, para que a mesma resposta custe menos a obter.

HEDL fica à frente das tuas ferramentas de IA e envia os mesmos pedidos com 56 por cento menos tokens, falando JSON simples para o resto da tua infraestrutura. Nada a jusante muda: o resultado é uma conta de tokens mais baixa, uma diferença de precisão medida numa execução de referência, e conversão que pode correr nas tuas próprias máquinas sem mover dados para outro serviço.