Formato de dados eficiente em tokens | Dweve HEDL

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

HEDL. Um formato de dados eficiente em tokens

HEDL (Hierarchical Entity Data Language) é um formato de dados de texto de código aberto e eficiente em tokens, sob Apache 2.0, para LLMs e registos estruturados. O seu leitor, escritor, validadores e servidores em Rust mantêm o formato inspecionável e reversível.

HEDL (Hierarchical Entity Data Language) é um formato de tabela de código aberto e eficiente em tokens, sob Apache 2.0, para pedidos a LLMs. Comece localmente com cargo add hedl; os rótulos repetidos desaparecem enquanto a conversão permanece local e reversível. Numa execução medida, 500 registos planos eram 48,7% mais pequenos do que JSON minificado.

HEDL (Hierarchical Entity Data Language) é um formato de texto de código aberto sob Apache 2.0 para listas enviadas a LLMs. Escreve os rótulos das colunas uma vez no topo e depois mantém os mesmos factos em cada linha.

Adicione a biblioteca Rust com cargo add hedl ou instale a CLI com cargo install hedl-cli. Execute o leitor localmente e inspecione os bytes você mesmo.

Experimentar a demonstração no navegador

Um pipeline de análise endereçado por conteúdo.

Recuperação em menos de um milissegundo para pedidos mais ricos.

Orquestração multiagente com HEDL em todo o processo.

O corpus e a metodologia do benchmark são fornecidos no repositório.

mais respostas corretas por token do que JSON

Quanto maior, melhor. O HEDL devolve 2,4x mais respostas corretas por token do que o JSON.

Quanto maior, melhor. O HEDL extrai 80,4%, 10,3 pontos acima do JSON.

Quanto mais curto, melhor. O HEDL transporta as mesmas respostas em 56 por cento menos tokens do que o JSON.

571 perguntas, 7 conjuntos de dados, 6 formatos

JSON · YAML · XML · CSV · Parquet · TOON

48,7% menor vs JSON minificado nesta execução

Conversão bidirecional e sem perdas. Os mesmos dados, codificados de forma mais compacta, restaurados exatamente.

Um proxy de substituição. Remova-o e a sua stack volta ao JSON simples, sem migração para desfazer.

O núcleo em Rust tem zero dependências e nenhum código inseguro; as ferramentas distribuídas mantêm as suas dependências de execução explícitas.

Nenhum fornecedor está no caminho. A conversão é executada localmente, por isso os registos nunca saem da sua própria infraestrutura.

Funciona silenciosamente em segundo plano

Um punhado de funcionalidades de IA em uso constante.

Os valores seguem a referência publicada: um serviço com 1B tokens por mês poupa 1.680 dólares por mês.

Nunca começas nada disto. Acontece por si só, sempre que um assistente está a trabalhar, seja qual for a tarefa que estás a fazer.

O HEDL só altera a forma da mensagem na ida e na volta. O que começaste volta exatamente igual, sem nada acrescentado e sem nada perdido.

Pedes ao assistente para receber algo numa forma e devolvê-lo noutra, arrumado e pronto a usar.

Uma lista simples repete as mesmas pequenas etiquetas em todas as linhas. O HEDL escreve as etiquetas uma vez no topo e depois apenas as entradas, para que a lista precise de muito menos palavras para ser enviada.

Pedes ao assistente para percorrer uma lista longa, uma lista de nomes, encomendas ou marcações, e arrumá-la.

Um documento longo são muitas palavras para enviar. Dobrado à maneira do HEDL, cabe o dobro de uma só vez, para que o assistente veja mais da página de uma só vez.

Entregas ao assistente uma carta ou relatório longo e pedes-lhe que retire as partes que te interessam.

Nos bastidores, o assistente teve de ler muitos antecedentes primeiro. O HEDL dobra esses antecedentes para ficarem pequenos, para que ele leia o mesmo com muito menos para mastigar.

Escreves uma pergunta num desses assistentes de IA e ele devolve uma resposta num instante.

A mesma resposta, dita com menos palavras. É só isso que muda.

Podes transformar a forma curta de volta na forma longa em qualquer altura, palavra por palavra.

Perguntas-te se alguma vez conseguirás recuperar a versão completa, se precisares dela.

Nada fica de fora. A forma mais curta carrega exatamente o mesmo significado que a forma longa.

Preocupas-te que dizer de forma mais curta possa deixar algo de fora ou mudar o significado.

A mesma mensagem, dita com muito menos palavras, para que a conta no final seja mais pequena.

Cada palavra que o assistente lê é paga, mesmo as palavras que repete vezes sem conta.

, Linguagem Hierárquica de Dados de Entidade

Tamanho medido do ficheiro · 500 registos simples

Fica à frente das suas ferramentas de IA e converte na borda. Os seus sistemas existentes continuam a enviar e receber os formatos que já utilizam.

As suas bases de dados, relatórios e folhas de cálculo veem as mesmas formas de antes. O formato mais denso só existe na viagem de ida e volta para o modelo.

Sete formatos entram e saem pela mesma ponte sem perdas; a representação compacta existe apenas em torno da chamada ao modelo.

O modelo recebe a versão densa. A sua stack continua a falar os formatos de sempre.

Um conversor drop-in fica entre os seus sistemas e o modelo.

poupado por mês a mil milhões de tokens ao mudar JSON para HEDL.

desperdiçado por chamada de API em chaves repetidas para um conjunto de dados de 10.000 utilizadores.

Esquema uma vez. Depois apenas os dados, separados por vírgulas.

Agora multiplique os bytes estruturais por dez mil registos.

passe o rato sobre uma parte para a isolar

Os valores que realmente pretendia enviar. Em HEDL, isto é quase tudo o que resta.

Um par de aspas à volta de cada string, mesmo das inequívocas.

Chavetas de objeto e parênteses retos de array que marcam estrutura que o esquema já conhece.

Os mesmos nomes de campos, "id", "name", "role", pagos novamente em cada registo individual.

Uma camada compacta fica antes do modelo enquanto o resto da sua stack continua a falar JSON.

Fala HEDL com o modelo e devolve JSON simples aos seus sistemas, por isso o resto da sua stack não muda. Remova-a e fica exatamente onde começou.

A conversão pode ser executada nas suas máquinas, numa região da UE ou totalmente offline, sem um serviço externo no caminho.

A redução de tokens, a precisão das respostas e as idas e voltas sem perdas são medidas em conjuntos de dados reais antes do lançamento.

Insira-a antes de um fluxo de trabalho, compare o resultado e expanda apenas onde compensa.

O HEDL é uma pequena peça que torna os assistentes de IA mais baratos de executar, sem alterar o que eles lhe dizem. Não o instala, não o configura e não tem de o compreender. Eis a versão curta do que promete.

Pode deixar de se preocupar com esta parte.

Como diz a mesma coisa com menos palavras, os assistentes que o utilizam custam menos a executar.

Cada mensagem compacta é restaurada e verificada antes de o assistente a utilizar, para que nada desapareça pelo caminho.

Apenas altera a forma como a mensagem é dobrada para envio. O significado é mantido exatamente o mesmo.

As suas palavras continuam a ser as suas palavras

Nunca vê o HEDL nem lhe toca. Fica por detrás do assistente de IA e faz o seu trabalho sozinho.

Se ainda tiver dúvidas, não faz mal. Nunca precisa de tocar no HEDL para que ele faça o seu trabalho.

Toque numa pergunta para ler a resposta simples. Não há perguntas erradas para fazer.

As perguntas que as pessoas fazem primeiro

Os assistentes que utiliza custam dinheiro a funcionar, contabilizado um pouco como uma conta de telefone por palavra. Dizer o mesmo com menos palavras significa uma conta mais pequena, o que torna esses assistentes mais baratos de oferecer.

Cada mensagem compacta é restaurada e verificada antes de ser utilizada. Se a versão completa não voltar exatamente, a conversão falha em vez de descartar silenciosamente parte dela.

Sim. A forma curta volta a expandir-se na forma longa sempre que necessário, palavra por palavra, sem nada acrescentado e sem nada perdido. É como dobrar uma carta para a enviar e depois desdobrá-la para a ler.

A versão completa pode ser sempre recuperada?

Não. Apenas altera a forma como a mensagem é dobrada para a viagem até ao assistente e de volta. O significado é mantido exatamente o mesmo, por isso a resposta que lê é a resposta que teria recebido de qualquer forma.

Isso pode alterar a resposta que recebo?

Não. Não há nada para descarregar, ativar ou aprender. O HEDL fica por trás dos assistentes de IA que outras pessoas criam e faz o seu trabalho sozinho. Nunca o verá.

Tenho de instalar ou configurar alguma coisa?

Não precisa de instalar nada nem de perceber nada disto. Funciona silenciosamente em segundo plano, para que os assistentes que utiliza custem menos e continuem igualmente claros.

Imagine que escreve a mesma morada em cem envelopes. Podia escrever a morada completa todas as vezes. Ou podia escrevê-la uma vez e, nos restantes, apenas o número da porta. As cartas continuam a chegar. Simplesmente escreveu menos. É exatamente esta a ideia por detrás do HEDL.

Pode voltar a transformar a forma abreviada na forma completa sempre que quiser, palavra por palavra, sem que nada seja alterado. Como dobrar uma carta para caber no envelope e depois desdobrá-la para a ler.