Binary Hypervector Engine in Rust | Dweve BitWeave

Pipeline semantic construit pe stratul de semnificație BitWeave.

Matematică rotunjită corect sub BitWeave.

BitWeave publică în a cincea rundă a programului de lansare al fundației. Construiește o singură stare semantică din el și rulează-o pe procesoare standard.

Fă semnificația calculabilă, apoi decide ce să construiești cu ea

Un singur format de index pe disc pentru toate cele trei.

Partea de browser, stări mai mici compatibile, offline.

Server TCP sau UDS, clienți agnostici de limbaj.

Încorporează direct într-un proces Rust, C sau Python.

BitWeave rulează ca bibliotecă în proces, ca server standalone TCP sau Unix-socket, sau compilat în WASM pentru execuție în browser peste o stare mai mică compatibilă. Formatul de stare .bwks este același în toate cele trei moduri; construiește pe un server și implementează aceeași stare într-un browser fără reconstruire.

Chitanțele de benchmark publicate cu repository-ul, în runda a cincea

Pe rularea publicată DBpedia 100K, configurația exactă multi-query a BitWeave a returnat 9.473 QPS la recall 1.000 în 19 MB pe un desktop i9-13900KF cu 24 de nuclee, AVX2 și 48 GB. Sistemul măsurat de comparație aproximativă pe doi biți a returnat 3.580 QPS în 38 MB pe același host și date. La D4096 peste 10.000 de documente, rulările măsurate Hybrid-MultiQ au menținut recall 1.000 la 35.842 QPS pe date aleatorii, 34.459 pe date grupate și 27.828 pe date derivate din text. La 250.000 de documente, brute force exact multi-query a măsurat 2.653 QPS la recall 1.000. Acestea sunt chitanțe de benchmark, nu promisiuni universale; rulează din nou suita pe propriul corpus și hardware odată ce repository-ul publică.

Exact la scară foarte mare. Cele mai multe bucket-uri.

Mai multe bucket-uri, seturi de candidați mai strânse.

Recall bun, schimbare moderată de candidați.

Număr mic de candidați, cel mai mare throughput.

O scanare liniară este rapidă pe SIMD la scară mică, dar devine un blocaj pe corpusuri foarte mari. Indexul LSH împarte hipervectorii în benzi; candidații care se ciocnesc în orice bandă sunt scorizați exact. Hybrid-MultiQ procesează patru interogări per registru SIMD pentru a menține recall-ul exact la debitul maxim. Indexul este construit o dată și interogat de multe ori.

Generare sub-liniară de candidați la scară

Deplasare ciclică, codifică ordinea și poziția.

Auto-invers, leagă o cheie de o valoare.

Vot majoritar, suprapune un set de concepte.

Un document, o interogare, un pasaj, un simbol de cod se codifică toate ca un hipervector binar de dimensiune fixă. Valoarea implicită este de 4096 de biți, deoarece aritmetica proiecției aleatoare se comportă bine acolo, iar un XOR și un popcount pe 4096 de biți se potrivesc curat în registrele AVX2, AVX-512 și NEON. Encoderul este determinist; același text produce același hipervector la fiecare rulare.

Guvernanța cunoștințelor construită pe stratul de semnificație BitWeave.

Motor de constrângeri peste faptele recuperate.

Analizează și adresează prin conținut înainte de indexare.

Implementare inspectabilă, fixare a versiunii și nicio dependență de runtime proprietar.

Nicio întrerupere a furnizorului de suportat.

Contract semantic fixat, același rezultat ordonat pe fiecare server.

Indexurile trăiesc pe infrastructura pe care o controlezi. Fără procesare de la furnizor.

Datele rămân în jurisdicția pe care o alegi. Lanțul de custodie este auditabil. Conformitatea este abordată în arhitectură, nu adăugată printr-un panou de control.

Proiectat și construit în Țările de Jos.

9.473 QPS la recall 1.000 pe DBpedia 100K, fără GPU în rulare.

Hybrid-MultiQ la 10K documente, recall 1.000.

9.473 de interogări pe secundă la recall 1.000 pe DBpedia 100K, în 19 MB pe un desktop i9-13900KF cu AVX2 și fără GPU în rulare. Motorul semantic din spatele stivei Dweve.

Un rezultat determinist pe care îl poți explica mai târziu.

Corpusul rămâne pe mașinile pe care le controlezi.

Regăsire pe calea cererii, nu un job în lot.

Păstrează fișierele și harta de semnificații fixe, iar ordinea poate fi reprodusă.

Aceeași stare semantică alimentează căutarea de similaritate, potrivirea pasajelor multi-vector, căutarea filtrată după metadate, detectarea duplicatelor, clusterizarea, prototipurile one-shot și fundamentarea RAG. Căutarea este interogarea vizibilă. Substratul reutilizabil de dedesubt este valoarea.

Codificator HDC, index LSH, distanță SIMD

Un crate Rust, un CLI, un ABI C stabil, o construcție WASM și legături Python prin maturin. SDK-ul este calea în proces, serverul expune o graniță partajată cu autentificare și observabilitate, iar legăturile traversează în limbaje existente fără a reimplementa reprezentarea. WASM aduce stări mai mici compatibile în execuția din browser. Fiecare suprafață poartă aceeași stare semantică, aceleași contracte de index și aceleași răspunsuri ordonate, verificate față de o singură linie de conformitate, astfel încât motorul să nu capete o nouă semnificație per client.

O singură stare semantică, fiecare suprafață

Partiționare cold-start pentru seturi de date foarte mari.

Recall reglabil, mai multe familii de benzi.

Candidați LSH plus rescore exact. Implicit pentru căutare exactă.

Scanare SIMD exactă, interogări în lot. Recall 1.000.

BruteForce-MultiQ pentru corpusuri exacte și compacte, Hybrid-MultiQ pentru recall exact la scară mai mare și backend-uri LSH și IVF reglabile pentru cele mai mari corpusuri. Fiecare index este o familie de operații peste aceiași hipervectori.

Același contract semantic fixat, pe procesoare standard pe care le deții deja, returnează același rezultat ordonat.

Grupează contextul. Leagă relația. Permută ordinea. Compară rezultatul.

Hipervectorii binari poartă semnificație semantică ca biți împachetați. Sursele externe în virgulă mobilă traversează o graniță declarată de conversie unidirecțională; reprezentarea nativă și toate comparațiile și scorurile interne rămân binare sau în virgulă fixă.

XOR per pereche, codificare cheie/valoare.

HDC codifică semnificația pe mii de dimensiuni binare, unde gruparea capturează seturi, legarea capturează perechi, iar permutarea capturează ordinea. Rezultatul este un singur hipervector de lățime fixă care încape în câteva linii de cache. Modurile la nivel de document și la nivel de token coexistă, astfel încât un document întreg poate fi grupat într-un singur vector sau poate păstra un set de vectori de token pentru interacțiune târzie. Reprezentarea rămâne similară sub zgomot modest de biți, astfel încât aceeași construcție supraviețuiește perturbațiilor mici fără a lărgi vectorul sau a adăuga un tensor pozițional separat.

Hash-uiește și interogările, parcurge doar bucket-urile potrivite.

Familiile LSH hash-uiesc hipervectorii în bucket-uri.

Document într-un hipervector binar prin grupare și legare.

Intrarea devine un hipervector binar. Gruparea, legarea și permutarea compun seturi, roluri și ordine înainte de a rula orice interogare. Indexurile, filtrele și reordonarea organizează candidații fără a redefini tipul. Starea .bwks persistă codebook-ul, vectorii, metadatele și proveniența împreună. Dispecerizarea SIMD îl execută pe hardware-ul pe care îl ai deja, iar RAG sau o potrivire directă este o utilizare a rezultatului. Direcția dependenței este deliberată: calculul nu importă niciodată preocupări de aplicație, encoderii se pot schimba fără a atinge kernel-urile indexului, iar tipul traversează fiecare strat. API-ul de interogare este ultimul strat, nu produsul.

Organizează. Persistă. Execută. Folosește

Migrarea este un proiect de un trimestru.

Aceeași interogare, răspuns diferit săptămâna viitoare.

Per interogare plus per GB plus per document indexat.

Indexurile trăiesc acolo unde vrea vendorul.

Mijlocul semantic al stivei AI este furnizat de un lanț de furnizori. Unul înglobează conținutul, unul stochează vectorii, unul selectează candidații, unul îi reordonează, iar un model transformă rezultatul în proză. Fiecare strat își schimbă modelul, indexul, prețul și regiunea independent, iar nimeni nu poate numi starea semantică completă.

Dimensiunea implicită a hipervectorului.

BitWeave transformă text, imagini, audio și vectori existenți în hipervectori binari de lățime fixă: un tip semantic nativ cu o algebră pe care o poți compune, compara, indexa, filtra, sorta, stoca și rula oriunde. Căutarea este o singură operație. RAG este o singură aplicație.

Datele rămân în jurisdicția pe care o alegi. Lanțul de custodie este auditabil. Conformitatea este abordată în arhitectură, nu adăugată printr-un panou de control, astfel încât fiecare obligație ridicată de o revizuire are un răspuns structural, nu o promisiune.

Odată ce BitWeave publică, îndreaptă-l către un folder și construiește prima stare semantică fără a te baza pe un serviciu extern.

Un folder cu propriile tale fișiere. Ele rămân exact unde sunt, de partea ta a zidului.

Serverele sau computerele standard pe care le rulezi deja. Fără GPU, nimic special de cumpărat.

Adoptarea nu înseamnă un program de migrare. Același motor rulează în trei moduri: în interiorul unui instrument pe care personalul tău îl folosește deja, ca un serviciu intern partajat pentru fiecare echipă, sau offline pe o singură mașină pentru cel mai sensibil material. Starea semantică compatibilă se mută între toate trei, astfel încât prima alegere nu este niciodată o ușă fără întoarcere.