Binary Hypervector Engine in Rust | Dweve BitWeave

Canal de conocimiento construido sobre la capa de significado de BitWeave.

Matemáticas con redondeo correcto bajo BitWeave.

BitWeave publica en la quinta ronda del programa de lanzamiento de la fundación. Construye un único estado semántico a partir de ella y ejecútalo en CPUs estándar.

Haz que el significado sea computable y luego decide qué construir con él

Un único formato de índice en disco para los tres.

En el navegador, estados más pequeños compatibles, sin conexión.

Servidor TCP o UDS, clientes independientes del lenguaje.

Incrústalo directamente en un proceso Rust, C o Python.

BitWeave se ejecuta como biblioteca en proceso, como servidor independiente TCP o socket Unix, o compilado a WASM para ejecución en el navegador sobre un estado más pequeño compatible. El formato de estado .bwks es el mismo en los tres modos; construye en un servidor y despliega el mismo estado en un navegador sin reconstruir.

Los recibos de referencia se publican con el repositorio, en la quinta ronda

En la ejecución publicada de DBpedia 100K, la configuración exacta de consulta múltiple de BitWeave devolvió 9.473 QPS con recall 1.000 en 19 MB en un escritorio i9-13900KF con 24 núcleos, AVX2 y 48 GB. El sistema de comparación aproximada de dos bits medido devolvió 3.580 QPS en 38 MB en el mismo host y datos. Con D4096 sobre 10K documentos, las ejecuciones medidas de Hybrid-MultiQ mantuvieron recall 1.000 a 35.842 QPS en datos aleatorios, 34.459 en datos agrupados y 27.828 en datos derivados de texto. Con 250K documentos, la fuerza bruta exacta de consulta múltiple midió 2.653 QPS con recall 1.000. Estos son recibos de referencia, no promesas universales; vuelve a ejecutar la suite en tu propio corpus y hardware cuando el repositorio publique.

Exacto a muy gran escala. La mayoría de los buckets.

Más buckets, conjuntos de candidatos más ajustados.

Buen recall, rotación de candidatos moderada.

Bajo recuento de candidatos, máximo rendimiento.

Un escaneo lineal es rápido en SIMD a pequeña escala, pero se convierte en el cuello de botella en corpus muy grandes. El índice LSH divide los hipervectores en bandas; los candidatos que coinciden en cualquier banda se puntúan exactamente. Hybrid-MultiQ agrupa cuatro consultas por registro SIMD para mantener la recuperación exacta con rendimiento. El índice se construye una vez y se consulta muchas veces.

Generación sublineal de candidatos a escala

Desplazamiento cíclico, codifica orden y posición.

Voto mayoritario, superpone un conjunto de conceptos.

Un documento, una consulta, un pasaje, un símbolo de código: todo se codifica como un hipervector binario de dimensión fija. El valor predeterminado es 4096 bits, porque la aritmética de proyección aleatoria se comporta bien allí y un XOR y popcount de 4096 bits cabe limpiamente en los registros AVX2, AVX-512 y NEON. El codificador es determinista; el mismo texto produce el mismo hipervector en cada ejecución.

Gobernanza del conocimiento construida sobre la capa de significado de BitWeave.

Motor de restricciones sobre hechos recuperados.

Analizar y direccionar por contenido antes de indexar.

Aritmética exacta a nivel de bit bajo HDC.

Implementación inspeccionable, fijación de versiones y sin dependencia de tiempo de ejecución propietaria.

Sin interrupciones de proveedor que soportar.

Contrato semántico fijado, mismo resultado ordenado en cada servidor.

Los índices viven en infraestructura que usted controla. Sin procesamiento por parte del proveedor.

Los datos permanecen en la jurisdicción que usted elija. La cadena de custodia es auditable. El cumplimiento se aborda en la arquitectura, no se añade mediante un panel de control.

Diseñado y construido en los Países Bajos.

Exacto, mantenido en las escalas medidas.

9.473 QPS con recall 1.000 en DBpedia 100K, sin GPU en la ejecución.

Hybrid-MultiQ con 10K documentos, recall 1.000.

9.473 consultas por segundo con recall 1.000 en DBpedia 100K, en 19 MB en un escritorio i9-13900KF con AVX2 y sin GPU en la ejecución. El motor semántico que sustenta la pila de Dweve.

Un resultado determinista que puedes explicar después.

El corpus permanece en máquinas que controlas.

Recuperación en la ruta de solicitud, no un trabajo por lotes.

Mantén fijos los archivos y el mapa de significado, y el orden se puede reproducir.

El mismo estado semántico impulsa la búsqueda de similitud, la coincidencia de pasajes multi-vector, la búsqueda filtrada por metadatos, la detección de duplicados, la agrupación, los prototipos de una sola pasada y el fundamento de RAG. La búsqueda es la consulta visible. El sustrato reutilizable debajo es el valor.

Codificador HDC, índice LSH, distancia SIMD

Un crate de Rust, una CLI, una ABI C estable, una compilación WASM y enlaces de Python mediante maturin. El SDK es la ruta en proceso, el servidor expone un límite compartido con autenticación y observabilidad, y los enlaces cruzan a lenguajes existentes sin reimplementar la representación. WASM lleva estados más pequeños compatibles a la ejecución en el navegador. Cada superficie lleva el mismo estado semántico, los mismos contratos de índice y las mismas respuestas ordenadas, verificadas contra una línea base de conformidad para que el motor no adquiera un significado nuevo por cliente.

Particionado de arranque en frío para conjuntos de datos muy grandes.

Recall ajustable, múltiples familias de bandas.

Candidatos LSH más rescore exacto. Predeterminado para búsqueda exacta.

Escaneo SIMD exacto, consultas por lotes. Recall 1.000.

BruteForce-MultiQ para corpus exactos y ajustados, Hybrid-MultiQ para recall exacto a mayor escala, y backends LSH e IVF ajustables para los corpus más grandes. Cada índice es una familia de operaciones sobre los mismos hipervectores.

El mismo contrato semántico fijado, en CPUs estándar que ya posees, devuelve el mismo resultado ordenado.

Agrupa el contexto. Vincula la relación. Permuta el orden. Compara el resultado.

Los hipervectores binarios transportan significado semántico como bits empaquetados. Las fuentes externas de coma flotante cruzan un límite de conversión unidireccional declarado; la representación nativa y toda comparación y puntuación interna permanecen binarias o de punto fijo.

Desplazamiento cíclico, orden y posición.

Mayoría de bits, codificación de conjuntos.

HDC codifica significado a través de miles de dimensiones binarias donde la agrupación captura conjuntos, la vinculación captura pares y la permutación captura el orden. El resultado es un único hipervector de ancho fijo que cabe en unas pocas líneas de caché. Los modos a nivel de documento y a nivel de token coexisten, por lo que un documento completo puede agruparse en un vector o mantener un conjunto de vectores de token para interacción tardía. La representación permanece similar bajo ruido de bits moderado, por lo que la misma construcción sobrevive a pequeñas perturbaciones sin ampliar el vector ni añadir un tensor posicional separado.

Distancia XNOR y POPCNT, top-k mostrado.

La consulta también se aplica hash, solo recorre los buckets coincidentes.

Las familias LSH aplican hash a los hipervectores en buckets.

Documento en un hipervector binario mediante agrupación y vinculación.

La entrada se convierte en un hipervector binario. Agrupar, vincular y permutar componen conjuntos, roles y orden antes de que se ejecute cualquier consulta. Los índices, filtros y reordenamientos organizan candidatos sin redefinir el tipo. El estado .bwks persiste el libro de códigos, los vectores, los metadatos y la procedencia juntos. El despacho SIMD lo ejecuta en el hardware que ya tienes, y RAG o una coincidencia directa es un uso del resultado. La dirección de dependencia es deliberada: el cómputo nunca importa preocupaciones de aplicación, los codificadores pueden cambiar sin tocar los núcleos de índice, y el tipo cruza cada capa. La API de consulta es la última capa, no el producto.

La migración es un proyecto de un trimestre.

Misma consulta, respuesta diferente la próxima semana.

Por consulta más por GB más por documento indexado.

Los índices viven donde el proveedor quiere.

El medio semántico de la pila de IA lo suministra una cadena de proveedores. Uno incrusta el contenido, otro almacena los vectores, otro selecciona candidatos, otro los reordena, y un modelo convierte el resultado en prosa. Cada capa cambia su modelo, índice, precio y región de forma independiente, y nadie puede nombrar el estado semántico completo.

BitWeave convierte texto, imágenes, audio y vectores existentes en hipervectores binarios de ancho fijo: un tipo semántico nativo con un álgebra que puedes componer, comparar, indexar, filtrar, clasificar, almacenar y ejecutar en cualquier lugar. La búsqueda es una operación. El RAG es una aplicación.

Los datos permanecen en la jurisdicción que elijas. La cadena de custodia es auditable. El cumplimiento se aborda en la arquitectura, no se añade mediante un panel, por lo que cada obligación que plantea una revisión tiene una respuesta estructural, no una promesa.

Una vez que BitWeave se publica, apúntalo a una carpeta y construye el primer estado semántico sin depender de un servicio externo.