Binary Hypervector Engine in Rust | Dweve BitWeave

Knowledge pipeline bygget på BitWeave-betydningslaget.

Korrekt afrundet matematik under BitWeave.

BitWeave udgives i femte runde af foundations udgivelsesprogram. Byg én semantisk tilstand ud fra det, og kør den på standard-CPU'er.

Gør betydning beregnelig, og beslut derefter, hvad du vil bygge med den

Ét on-disk-indeksformat på tværs af alle tre.

Browser-side, kompatible mindre tilstande, offline.

TCP- eller UDS-server, sprogagnostiske klienter.

Integrer direkte i en Rust-, C- eller Python-proces.

BitWeave kører som et in-process-bibliotek, som en fritstående TCP- eller Unix-socket-server eller kompileret til WASM til browser-side-eksekvering over en kompatibel mindre tilstand. .bwks-tilstandsformatet er det samme i alle tre tilstande; byg på en server, og implementér den samme tilstand i en browser uden at genopbygge.

Benchmark-kvitteringer udgives med repository'et i femte runde

På den offentliggjorte DBpedia 100K-kørsel returnerede BitWeaves eksakte multi-forespørgselskonfiguration 9.473 QPS ved recall 1.000 i 19 MB på en i9-13900KF-desktop med 24 kerner, AVX2 og 48 GB. Det målte to-bit-tilnærmede sammenligningssystem returnerede 3.580 QPS i 38 MB på samme vært og data. Ved D4096 over 10K dokumenter holdt målte Hybrid-MultiQ-kørsler recall 1.000 ved 35.842 QPS på tilfældige data, 34.459 på klyngede data og 27.828 på tekstafledte data. Ved 250K dokumenter målte eksakt multi-forespørgsels brute force 2.653 QPS ved recall 1.000. Disse er benchmark-kvitteringer, ikke universelle løfter; kør suiten igen på dit eget korpus og din egen hardware, når repository'et udgives.

Eksakt i meget stor skala. De fleste buckets.

Lavt kandidatantal, højeste gennemstrømning.

En lineær scanning er hurtig på SIMD i lille skala, men bliver flaskehalsen på meget store korpora. LSH-indekset opdeler hypervektorer i bånd; kandidater, der kolliderer i et hvilket som helst bånd, scores eksakt. Hybrid-MultiQ batching fire forespørgsler pr. SIMD-register for at fastholde eksakt recall ved gennemløb. Indekset bygges én gang og forespørges mange gange.

Cyklisk skift, koder rækkefølge og position.

Selv-invers, binder en nøgle til en værdi.

Majoritetsafstemning, superponerer et sæt koncepter.

Et dokument, en forespørgsel, en passage, et kodesymbol kodes alle som en binær hypervektor med fast dimension. Standard er 4096 bits, fordi den tilfældige projektionsaritmetik opfører sig godt der, og en 4096-bit XOR og popcount passer rent i AVX2-, AVX-512- og NEON-registre. Koderen er deterministisk; den samme tekst producerer den samme hypervektor ved hver kørsel.

Knowledge governance bygget på BitWeave-betydningslaget.

Parse og content-address før indeksering.

Inspicerbar implementering, versionspinning og ingen proprietær runtime-afhængighed.

Pinned semantisk kontrakt, samme ordnede resultat på hver server.

Indekser lever på infrastruktur, du kontrollerer. Ingen leverandørbehandling.

Data forbliver i den jurisdiktion, du vælger. Chain of custody er reviderbar. Compliance håndteres i arkitekturen snarere end tilføjes via et dashboard.

Eksakt, fastholdt på tværs af målte skalaer.

9.473 QPS ved recall 1.000 på DBpedia 100K, uden GPU i kørslen.

Hybrid-MultiQ ved 10K dokumenter, 1.000 recall.

9.473 forespørgsler per sekund ved recall 1.000 på DBpedia 100K, i 19 MB på en i9-13900KF desktop med AVX2 og uden GPU i kørslen. Den semantiske motor under Dweve-stakken.

Et deterministisk resultat, du kan forklare bagefter.

Korpuset forbliver på maskiner, du kontrollerer.

Hentning på forespørgselsstien, ikke et batchjob.

Hold filer og betydningskort faste, og rækkefølgen kan genskabes.

Den samme semantiske tilstand driver lighedssøgning, multi-vektor passage-matchning, metadata-filtreret søgning, dubletdetektering, clustering, one-shot-prototyper og RAG-forankring. Søgning er den synlige forespørgsel. Det genanvendelige substrat under den er værdien.

En Rust-crate, en CLI, en stabil C ABI, en WASM-build og Python-bindinger via maturin. SDK'et er in-process-stien, serveren eksponerer en delt grænse med autentificering og observerbarhed, og bindingerne krydser ind i eksisterende sprog uden at genimplementere repræsentationen. WASM bringer kompatible mindre tilstande ind i browser-side-eksekvering. Hver overflade bærer den samme semantiske tilstand, de samme indekskontrakter og de samme ordnede svar, verificeret mod én konformitetsbaseline, så motoren ikke får en ny betydning per klient.

Cold-start-partitionering til meget store datasæt.

LSH-kandidater plus eksakt rescore. Standard for eksakt søgning.

Eksakt SIMD-scanning, batch-forespørgsler. 1.000 recall.

BruteForce-MultiQ til eksakte, tætte korpora, Hybrid-MultiQ til eksakt recall i større skala, og justerbare LSH- og IVF-backends til de allerstørste korpora. Hvert indeks er én operationsfamilie over de samme hypervektorer.

Den samme fastgjorte semantiske kontrakt, på standard-CPU'er du allerede ejer, returnerer det samme ordnede resultat.

Saml konteksten. Bind relationen. Permuter rækkefølgen. Sammenlign resultatet.

Binære hypervektorer bærer semantisk betydning som pakkede bits. Eksterne floating-point-kilder krydser en erklæret envejskonverteringsgrænse; den native repræsentation og al intern sammenligning og scoring forbliver binær eller fixed-point.

HDC koder betydning på tværs af tusindvis af binære dimensioner, hvor bundling fanger sæt, binding fanger par, og permutation fanger orden. Resultatet er en enkelt fastbredde-hypervektor, der passer i et par cache-linjer. Dokument- og token-niveauer kan eksistere side om side, så et helt dokument kan bundles til én vektor eller beholde et sæt token-vektorer til sen interaktion. Repræsentationen forbliver ens under moderat bit-støj, så den samme konstruktion overlever små forstyrrelser uden at udvide vektoren eller tilføje en separat positionel tensor.

Query hashes også, går kun gennem matchende buckets.

LSH-familier hasher hypervektorer til buckets.

Dokument til en binær hypervektor via bundling og binding.

Input bliver en binær hypervektor. Bundle, bind og permuter komponerer sæt, roller og orden, før nogen query kører. Indekser, filtre og reranking organiserer kandidater uden at omdefinere typen. .bwks-tilstanden gemmer kodebog, vektorer, metadata og proveniens sammen. SIMD-dispatch udfører det på den hardware, du allerede har, og RAG eller et direkte match er én brug af resultatet. Afhængighedsretningen er bevidst: compute importerer aldrig applikationsbekymringer, encodere kan ændres uden at røre indeks-kernerne, og typen krydser alle lag. Query-API'et er det sidste lag, ikke produktet.

Per query plus per GB plus per indekseret dokument.

Indekser ligger, hvor leverandøren vil have dem.

Den semantiske midte af AI-stakken leveres af en kæde af udbydere. Én embedder indholdet, én gemmer vektorerne, én vælger kandidater, én reranker dem, og en model gør resultatet til prosa. Hvert lag ændrer sin model, indeks, pris og region uafhængigt, og ingen kan navngive den komplette semantiske tilstand.

BitWeave forvandler tekst, billeder, lyd og eksisterende vektorer til binære hypervektorer med fast bredde: en indbygget semantisk type med en algebra, du kan sammensætte, sammenligne, indeksere, filtrere, rangere, gemme og køre hvor som helst. Søgning er én operation. RAG er én applikation.

Data bliver i den jurisdiktion, du vælger. Kæden af varetægt er reviderbar. Compliance håndteres i arkitekturen frem for at blive tilføjet via et dashboard, så hver forpligtelse, en gennemgang rejser, har et strukturelt svar frem for et løfte.

Når BitWeave er udgivet, peg på én mappe og byg den første semantiske tilstand uden at stole på en ekstern tjeneste.

En mappe med dine egne filer. De bliver præcis, hvor de er, på din side af muren.

De standardservere eller computere, du allerede kører. Ingen GPU, intet specialudstyr at købe.

Adoption betyder ikke et migrationsprogram. Den samme motor kører på tre måder: inde i et værktøj, dine medarbejdere allerede bruger, som én fælles intern tjeneste for alle teams, eller offline på en enkelt maskine til det mest følsomme materiale. Kompatibel semantisk tilstand bevæger sig mellem alle tre, så det første valg er aldrig en envejsdør.

Én fastlåst semantisk kontrakt, gengivet på alle understøttede maskiner.

Licenseret kode, du kan beholde og flytte, uden nedlukning at frygte.

Ingen pris per forespørgsel og ingen specialiseret acceleratorflåde; driftsomkostningen er den standard CPU-infrastruktur, du vælger.

Du vælger jurisdiktionen, ikke en leverandør langt væk.

En administreret semantisk tjeneste beslutter, hvor data bor, hvordan brug afregnes, og hvornår dens adfærd ændres. BitWeave giver de beslutninger tilbage til dit team: kør det på standardservere, vælg jurisdiktionen, fastlås den semantiske kontrakt, og behold indekset sammen med kildematerialet.

En administreret tjeneste sætter vilkårene

Svar, der ændrer sig mellem gennemgange på deres tidsplan.

En prisstigning eller nedlukning, du ikke kan gå fra.

En GPU-flåde at anskaffe, drive og holde kølig.

Per forespørgsel, per GB, per indekseret dokument, hver måned.

En selvhostet semantisk motor ændrer omkostningernes og risikoens form. Der er ingen målt cloud-regning, der vokser med hver forespørgsel, og intet specialiseret hardware at anskaffe. Et bærbart indeks og en fastlåst semantisk kontrakt gør enhver ændring eksplicit, reproducerbar og uafhængig af én leverandør.