Binary Hypervector Engine in Rust | Dweve BitWeave

Wissens-Pipeline auf Basis der BitWeave-Bedeutungsebene.

Korrekt gerundete Mathematik unter BitWeave.

BitWeave erscheint in der fünften Runde des Foundation-Release-Programms. Baue daraus einen einzigen semantischen Zustand und führe ihn auf Standard-CPUs aus.

Mache Bedeutung berechenbar, dann entscheide, was du damit baust

Ein einziges On-Disk-Indexformat für alle drei.

Browserseitig, kompatible kleinere Zustände, offline.

TCP- oder UDS-Server, sprachunabhängige Clients.

Direkt in einen Rust-, C- oder Python-Prozess einbetten.

BitWeave läuft als In-Prozess-Bibliothek, als eigenständiger TCP- oder Unix-Socket-Server oder kompiliert zu WASM für die browserseitige Ausführung über einen kompatiblen kleineren Zustand. Das .bwks-Zustandsformat ist in allen drei Modi gleich; baue auf einem Server und stelle denselben Zustand ohne Neubau im Browser bereit.

Benchmark-Belege erscheinen mit dem Repository in Runde fünf

Beim veröffentlichten DBpedia-100K-Lauf lieferte BitWeaves exakte Multi-Query-Konfiguration 9.473 QPS bei Recall 1.000 in 19 MB auf einem i9-13900KF-Desktop mit 24 Kernen, AVX2 und 48 GB. Das gemessene Zwei-Bit-Näherungsvergleichssystem lieferte 3.580 QPS in 38 MB auf demselben Host und denselben Daten. Bei D4096 über 10K Dokumente hielten gemessene Hybrid-MultiQ-Läufe Recall 1.000 bei 35.842 QPS auf Zufallsdaten, 34.459 auf geclusterten Daten und 27.828 auf textabgeleiteten Daten. Bei 250K Dokumenten maß exakte Multi-Query-Brute-Force 2.653 QPS bei Recall 1.000. Dies sind Benchmark-Belege, keine universellen Versprechen; führe die Suite erneut auf deinem eigenen Korpus und deiner eigenen Hardware aus, sobald das Repository veröffentlicht ist.

Exakt bei sehr großem Maßstab. Die meisten Buckets.

Guter Recall, moderater Kandidatenwechsel.

Niedrige Kandidatenzahl, höchster Durchsatz.

Ein linearer Scan ist bei kleinen Größen auf SIMD schnell, wird aber bei sehr großen Korpora zum Engpass. Der LSH-Index teilt Hypervektoren in Bänder; Kandidaten, die in einem Band kollidieren, werden exakt bewertet. Hybrid-MultiQ bündelt vier Abfragen pro SIMD-Register, um den exakten Recall bei hohem Durchsatz zu halten. Der Index wird einmal erstellt und viele Male abgefragt.

Sublineare Kandidatengenerierung in großem Maßstab

Zyklische Verschiebung, kodiert Reihenfolge und Position.

Selbstinvers, bindet einen Schlüssel an einen Wert.

Mehrheitsentscheid, überlagert eine Menge von Konzepten.

Ein Dokument, eine Abfrage, eine Passage, ein Codesymbol kodieren alle als binärer Hypervektor fester Dimension. Der Standardwert ist 4096 Bit, weil die Zufallsprojektionsarithmetik dort gut funktioniert und ein 4096-Bit-XOR und Popcount sauber in AVX2-, AVX-512- und NEON-Register passt. Der Encoder ist deterministisch; derselbe Text erzeugt bei jedem Lauf denselben Hypervektor.

Wissens-Governance, aufgebaut auf der BitWeave-Bedeutungsebene.

Constraint-Engine über abgerufenen Fakten.

Vor dem Indizieren parsen und inhaltsadressieren.

Überprüfbare Implementierung, Versions-Pinning und keine proprietäre Laufzeitabhängigkeit.

Kein Anbieterausfall, den man aussitzen muss.

Fester semantischer Vertrag, gleiche geordnete Ergebnisse auf jedem Server.

Indizes liegen auf Infrastruktur, die Sie kontrollieren. Keine Verarbeitung durch Anbieter.

Daten bleiben in der von Ihnen gewählten Rechtsordnung. Die Beweiskette ist prüfbar. Compliance wird in der Architektur adressiert und nicht durch ein Dashboard hinzugefügt.

Entworfen und gebaut in den Niederlanden.

Exakt, über alle gemessenen Skalen hinweg gehalten.

9.473 QPS bei Recall 1.000 auf DBpedia 100K, ohne GPU im Lauf.

Hybrid-MultiQ bei 10K Dokumenten, 1.000 Recall.

9.473 Abfragen pro Sekunde bei Recall 1.000 auf DBpedia 100K, in 19 MB auf einem i9-13900KF-Desktop mit AVX2 und ohne GPU im Lauf. Die semantische Engine unter dem Dweve-Stack.

Ein deterministisches Ergebnis, das Sie später erklären können.

Der Korpus bleibt auf Maschinen, die Sie kontrollieren.

Abruf im Anforderungspfad, kein Batch-Job.

Halten Sie Dateien und Bedeutungszuordnung fest, und die Reihenfolge ist reproduzierbar.

Derselbe semantische Zustand treibt Ähnlichkeitssuche, Multi-Vektor-Passagenabgleich, metadatengefilterte Suche, Duplikaterkennung, Clustering, One-Shot-Prototypen und RAG-Grundlage. Die Suche ist die sichtbare Abfrage. Das wiederverwendbare Substrat darunter ist der Wert.

Ein Rust-Crate, eine CLI, eine stabile C-ABI, ein WASM-Build und Python-Bindungen über maturin. Das SDK ist der In-Process-Pfad, der Server stellt eine gemeinsame Grenze mit Authentifizierung und Beobachtbarkeit bereit, und die Bindungen wechseln in bestehende Sprachen, ohne die Darstellung neu zu implementieren. WASM bringt kompatible kleinere Zustände in die browserbasierte Ausführung. Jede Oberfläche trägt denselben semantischen Zustand, dieselben Indexverträge und dieselben geordneten Antworten, verifiziert gegen eine Konformitätsbasis, sodass die Engine pro Client keine neue Bedeutung erhält.

Ein semantischer Zustand, jede Oberfläche

Cold-Start-Partitionierung für sehr große Datensätze.

Einstellbarer Recall, mehrere Bandfamilien.

LSH-Kandidaten plus exaktes Rescoring. Standard für exakte Suche.

Exakter SIMD-Scan, gebündelte Abfragen. 1.000 Recall.

BruteForce-MultiQ für exakte, kompakte Korpora, Hybrid-MultiQ für exakten Recall bei größerer Skala und einstellbare LSH- und IVF-Backends für die größten Korpora. Jeder Index ist eine Operationsfamilie über denselben Hypervektoren.

Derselbe festgelegte semantische Vertrag liefert auf Standard-CPUs, die Sie bereits besitzen, dasselbe geordnete Ergebnis.

Kontext bündeln. Beziehung binden. Reihenfolge permutieren. Ergebnis vergleichen.

Binäre Hypervektoren tragen semantische Bedeutung als gepackte Bits. Externe Gleitkommaquellen überschreiten eine deklarierte Einweg-Konvertierungsgrenze; die native Darstellung sowie alle internen Vergleiche und Bewertungen bleiben binär oder festkomma.

Zyklische Verschiebung, Reihenfolge und Position.

HDC kodiert Bedeutung über Tausende binärer Dimensionen, wobei Bündeln Mengen erfasst, Binden Paare erfasst und Permutieren Reihenfolge erfasst. Das Ergebnis ist ein einzelner Hypervektor mit fester Breite, der in wenige Cache-Zeilen passt. Dokument- und Token-Ebene koexistieren, sodass ein ganzes Dokument zu einem Vektor gebündelt werden kann oder eine Menge von Token-Vektoren für späte Interaktion beibehalten wird. Die Darstellung bleibt unter moderatem Bitrauschen ähnlich, sodass dieselbe Konstruktion kleine Störungen übersteht, ohne den Vektor zu verbreitern oder einen separaten Positionstensor hinzuzufügen.

XNOR- und POPCNT-Distanz, Top-k angezeigt.

Query wird ebenfalls gehasht, durchläuft nur passende Buckets.

LSH-Familien hashen Hypervektoren in Buckets.

Dokument in einen binären Hypervektor durch Bündeln und Binden kodieren.

Organisieren. Persistieren. Ausführen. Verwenden

Migration ist ein vierteljährliches Projekt.

Gleiche Query, nächste Woche andere Antwort.

Pro Query plus pro GB plus pro indiziertem Dokument.

Indizes leben dort, wo der Anbieter es will.

Das semantische Mittel des KI-Stacks wird von einer Kette von Anbietern geliefert. Einer bettet den Inhalt ein, einer speichert die Vektoren, einer wählt Kandidaten aus, einer bewertet sie neu, und ein Modell verwandelt das Ergebnis in Prosa. Jede Ebene ändert ihr Modell, ihren Index, ihren Preis und ihre Region unabhängig, und niemand kann den vollständigen semantischen Zustand benennen.

Sättigt SIMD auf handelsüblicher Hardware.

BitWeave verwandelt Text, Bilder, Audio und vorhandene Vektoren in binäre Hypervektoren mit fester Breite: ein nativer semantischer Typ mit einer Algebra, die Sie komponieren, vergleichen, indizieren, filtern, sortieren, speichern und überall ausführen können. Die Suche ist eine Operation. RAG ist eine Anwendung.

Daten bleiben in der von Ihnen gewählten Rechtsordnung. Die Beweiskette ist prüfbar. Compliance wird in der Architektur adressiert und nicht über ein Dashboard hinzugefügt, sodass jede von einer Prüfung aufgeworfene Verpflichtung eine strukturelle Antwort erhält und kein Versprechen.

Sobald BitWeave veröffentlicht ist, richten Sie es auf einen Ordner und erstellen den ersten semantischen Zustand, ohne sich auf einen externen Dienst zu verlassen.

Ein Ordner mit Ihren eigenen Dateien. Sie bleiben genau dort, wo sie sind, auf Ihrer Seite der Mauer.

Die Standard-Server oder -Computer, die Sie bereits betreiben. Keine GPU, nichts Spezielles zu kaufen.

Adoption bedeutet kein Migrationsprogramm. Dieselbe Engine läuft auf drei Arten: innerhalb eines Tools, das Ihre Mitarbeiter bereits nutzen, als ein gemeinsamer interner Dienst für alle Teams oder offline auf einem einzelnen Rechner für das sensibelste Material. Kompatibler semantischer Zustand bewegt sich zwischen allen drei, sodass die erste Wahl nie eine Einbahnstraße ist.

Ein festgelegter semantischer Vertrag, der auf jeder unterstützten Maschine reproduziert wird.

Lizenzierter Code, den Sie behalten und verschieben können, ohne Stilllegung befürchten zu müssen.

Keine Gebühr pro Abfrage und keine spezielle Beschleuniger-Flotte; die Betriebskosten sind die Standard-CPU-Infrastruktur, die Sie wählen.