Binary Hypervector Engine in Rust | Dweve BitWeave

Pipeline de conhecimento construído sobre a camada de significado BitWeave.

Matemática com arredondamento correto por baixo do BitWeave.

A BitWeave publica na quinta ronda do programa de lançamento da fundação. Construa um único estado semântico a partir dela e execute-o em CPUs padrão.

Torne o significado computável e depois decida o que construir com ele

Um formato de índice em disco para os três.

No navegador, estados mais pequenos compatíveis, offline.

Servidor TCP ou UDS, clientes independentes da linguagem.

Embutir diretamente num processo Rust, C ou Python.

A BitWeave é executada como biblioteca em processo, como servidor TCP autónomo ou socket Unix, ou compilada para WASM para execução no navegador sobre um estado mais pequeno compatível. O formato de estado .bwks é o mesmo nos três modos; construa num servidor e implemente o mesmo estado num navegador sem reconstruir.

Os recibos de benchmark são publicados com o repositório, na quinta ronda

Na execução publicada do DBpedia 100K, a configuração exata de multi-consulta da BitWeave devolveu 9.473 QPS com recall 1.000 em 19 MB num desktop i9-13900KF com 24 núcleos, AVX2 e 48 GB. O sistema de comparação aproximada de dois bits medido devolveu 3.580 QPS em 38 MB no mesmo host e dados. Em D4096 sobre 10 mil documentos, as execuções medidas de Hybrid-MultiQ mantiveram recall 1.000 a 35.842 QPS em dados aleatórios, 34.459 em dados agrupados e 27.828 em dados derivados de texto. Em 250 mil documentos, a força bruta exata de multi-consulta mediu 2.653 QPS com recall 1.000. Estes são recibos de benchmark, não promessas universais; reexecute a suíte no seu próprio corpus e hardware assim que o repositório for publicado.

Exato em escala muito grande. A maioria dos buckets.

Mais buckets, conjuntos de candidatos mais restritos.

Bom recall, rotação moderada de candidatos.

Contagem baixa de candidatos, maior débito.

Uma pesquisa linear é rápida em SIMD em pequena escala, mas torna-se o gargalo em corpora muito grandes. O índice LSH divide os hipervetores em faixas; os candidatos que colidem em qualquer faixa são avaliados exatamente. O Hybrid-MultiQ agrupa quatro consultas por registo SIMD para manter a precisão exata no débito. O índice é construído uma vez e consultado muitas vezes.

Geração de candidatos sub-linear em escala

Deslocamento cíclico, codifica ordem e posição.

Auto-inversa, liga uma chave a um valor.

Voto maioritário, sobrepõe um conjunto de conceitos.

Um documento, uma consulta, uma passagem, um símbolo de código codificam-se todos como um hipervetor binário de dimensão fixa. O padrão é 4096 bits, porque a aritmética de projeção aleatória comporta-se bem aí e um XOR de 4096 bits e popcount cabe perfeitamente nos registos AVX2, AVX-512 e NEON. O codificador é determinístico; o mesmo texto produz o mesmo hipervetor em cada execução.

Governação do conhecimento construída na camada de significado BitWeave.

Motor de restrições sobre factos recuperados.

Analisar e endereçar por conteúdo antes de indexar.

Implementação inspecionável, fixação de versões e sem dependência de runtime proprietário.

Sem interrupção de fornecedor para suportar.

Contrato semântico fixado, o mesmo resultado ordenado em todos os servidores.

Os índices vivem em infraestrutura que controla. Sem processamento por fornecedores.

Os dados permanecem na jurisdição que escolher. A cadeia de custódia é auditável. A conformidade é abordada na arquitetura em vez de ser adicionada através de um painel.

Concebido e construído nos Países Baixos.

9 473 QPS com recall 1.000 em DBpedia 100K, sem GPU na execução.

Hybrid-MultiQ em 10K documentos, recall 1.000.

9 473 consultas por segundo com recall 1.000 em DBpedia 100K, em 19 MB num desktop i9-13900KF com AVX2 e sem GPU na execução. O motor semântico por baixo da stack Dweve.

Um resultado determinístico que pode explicar mais tarde.

O corpus permanece em máquinas que controla.

Recuperação no caminho do pedido, não um trabalho em lote.

Mantenha os ficheiros e o mapa de significados fixos, e a ordem pode ser reproduzida.

O mesmo estado semântico alimenta pesquisa de similaridade, correspondência de passagens multi-vetor, pesquisa filtrada por metadados, deteção de duplicados, agrupamento, protótipos de uma só passagem e fundamentação RAG. A pesquisa é a consulta visível. O substrato reutilizável por baixo é o valor.

Codificador HDC, índice LSH, distância SIMD

Uma crate Rust, uma CLI, uma ABI C estável, uma compilação WASM e ligações Python via maturin. O SDK é o caminho no processo, o servidor expõe um limite partilhado com autenticação e observabilidade, e as ligações cruzam para linguagens existentes sem reimplementar a representação. O WASM traz estados mais pequenos compatíveis para execução no lado do navegador. Cada superfície carrega o mesmo estado semântico, os mesmos contratos de índice e as mesmas respostas ordenadas, verificadas contra uma linha de base de conformidade para que o motor não adquira um novo significado por cliente.

Um estado semântico, todas as superfícies

Particionamento de arranque a frio para conjuntos de dados muito grandes.

Recall ajustável, múltiplas famílias de bandas.

Candidatos LSH mais rescore exato. Padrão para pesquisa exata.

Digitalização SIMD exata, consultas em lote. Recall 1.000.

BruteForce-MultiQ para corpora exatos e compactos, Hybrid-MultiQ para recall exato em maior escala, e backends LSH e IVF ajustáveis para os maiores corpora. Cada índice é uma família de operações sobre os mesmos hipervetores.

O mesmo contrato semântico fixado, em CPUs padrão que já possui, devolve o mesmo resultado ordenado.

Agrupe o contexto. Vincule a relação. Permute a ordem. Compare o resultado.

Hipervetores binários transportam significado semântico como bits compactados. Fontes externas de ponto flutuante cruzam uma fronteira declarada de conversão unidirecional; a representação nativa e toda a comparação e pontuação internas permanecem binárias ou de ponto fixo.

Maioria dos bits, codificação de conjunto.

A HDC codifica significado em milhares de dimensões binárias, onde o agrupamento captura conjuntos, a vinculação captura pares e a permutação captura ordem. O resultado é um único hipervetor de largura fixa que cabe em algumas linhas de cache. Os modos ao nível do documento e ao nível do token coexistem, pelo que um documento inteiro pode agrupar-se num vetor ou manter um conjunto de vetores de token para interação tardia. A representação permanece semelhante sob ruído de bits moderado, pelo que a mesma construção sobrevive a pequenas perturbações sem alargar o vetor ou adicionar um tensor posicional separado.

Distância XNOR e POPCNT, top-k apresentado.

Também calcula hash de consultas, percorre apenas baldes correspondentes.

Famílias LSH transformam hipervetores em baldes.

Documento num hipervetor binário via agrupamento e vinculação.

A entrada torna-se um hipervetor binário. Agrupar, vincular e permutar compõem conjuntos, papéis e ordem antes de qualquer consulta ser executada. Índices, filtros e reordenação organizam candidatos sem redefinir o tipo. O estado .bwks persiste o codebook, vetores, metadados e proveniência em conjunto. A execução SIMD processa-o no hardware que já possui, e RAG ou correspondência direta é um uso do resultado. A direção da dependência é deliberada: a computação nunca importa preocupações da aplicação, os codificadores podem mudar sem tocar nos kernels de índice, e o tipo atravessa todas as camadas. A API de consulta é a última camada, não o produto.

A migração é um projeto de um trimestre.

Mesma consulta, resposta diferente na próxima semana.

Por consulta mais por GB mais por documento indexado.

Os índices vivem onde o fornecedor quer.

O meio semântico da pilha de IA é fornecido por uma cadeia de fornecedores. Um incorpora o conteúdo, um armazena os vetores, um seleciona candidatos, um reordena-os, e um modelo transforma o resultado em prosa. Cada camada muda o seu modelo, índice, preço e região independentemente, e ninguém consegue nomear o estado semântico completo.

BitWeave transforma texto, imagens, áudio e vetores existentes em hipervetores binários de largura fixa: um tipo semântico nativo com uma álgebra que pode compor, comparar, indexar, filtrar, classificar, armazenar e executar em qualquer lugar. A pesquisa é uma operação. RAG é uma aplicação.

Os dados permanecem na jurisdição que escolher. A cadeia de custódia é auditável. A conformidade é abordada na arquitetura, em vez de ser adicionada através de um painel, de modo que cada obrigação levantada por uma revisão tem uma resposta estrutural, não uma promessa.

Quando o BitWeave publicar, aponte-o para uma pasta e construa o primeiro estado semântico sem depender de um serviço externo.

Uma pasta com os seus próprios ficheiros. Eles permanecem exatamente onde estão, do seu lado da parede.

Os servidores ou computadores padrão que já utiliza. Sem GPU, nada de especializado para comprar.

A adoção não significa um programa de migração. O mesmo motor funciona de três formas: dentro de uma ferramenta que os seus colaboradores já utilizam, como um serviço interno partilhado para todas as equipas, ou offline numa única máquina para o material mais sensível. O estado semântico compatível move-se entre os três, por isso a primeira escolha nunca é uma porta de sentido único.