Binary Hypervector Engine in Rust | Dweve BitWeave

Znalostní pipeline postavená na vrstvě významu BitWeave.

Matematika se správným zaokrouhlením pod BitWeave.

BitWeave vychází v pátém kole programu základních vydání. Vytvořte z něj jeden sémantický stav a spusťte ho na běžných CPU.

Udělejte význam počitatelným a pak se rozhodněte, co s ním postavit

Jeden formát indexu na disku pro všechna tři prostředí.

Na straně prohlížeče, kompatibilní menší stavy, offline.

Server TCP nebo UDS, klienti nezávislí na jazyce.

Přímé vložení do procesu Rust, C nebo Python.

BitWeave běží jako knihovna v procesu, jako samostatný server TCP nebo Unix socket, nebo je zkompilován do WASM pro spuštění na straně prohlížeče nad kompatibilním menším stavem. Formát stavu .bwks je ve všech třech režimech stejný; sestavte na serveru a nasaďte stejný stav do prohlížeče bez nutnosti znovu sestavovat.

Doklady benchmarků vycházejí s repozitářem v pátém kole

Při publikovaném běhu DBpedia 100K vrátila přesná konfigurace vícenásobných dotazů BitWeave 9 473 QPS při recall 1.000 ve 19 MB na desktopu i9-13900KF s 24 jádry, AVX2 a 48 GB. Měřený přibližný srovnávací systém se dvěma bity vrátil 3 580 QPS ve 38 MB na stejném hostiteli a datech. Při D4096 nad 10 tisíci dokumenty držely měřené běhy Hybrid-MultiQ recall 1.000 při 35 842 QPS na náhodných datech, 34 459 na shlukovaných datech a 27 828 na datech odvozených z textu. Při 250 tisících dokumentech naměřila přesná vícenásobná brute force 2 653 QPS při recall 1.000. Toto jsou doklady benchmarků, ne univerzální sliby; jakmile repozitář vyjde, spusťte sadu znovu na vlastním korpusu a hardwaru.

Přesné i ve velmi velkém měřítku. Většina segmentů.

Dobrý recall, mírná fluktuace kandidátů.

Nízký počet kandidátů, nejvyšší propustnost.

Lineární sken je na SIMD rychlý v malém měřítku, ale u velmi velkých korpusů se stává úzkým hrdlem. Index LSH rozděluje hypervektory na pásy; kandidáti, kteří se shodují v některém pásu, jsou přesně vyhodnoceni. Hybrid-MultiQ dávkuje čtyři dotazy na registr SIMD, aby udržel přesnou recall při propustnosti. Index se sestaví jednou a dotazuje se mnohokrát.

Sublineární generování kandidátů ve velkém měřítku

Většinové hlasování, superponuje množinu konceptů.

Dokument, dotaz, pasáž, symbol kódu se všechny kódují jako binární hypervektor pevné dimenze. Výchozí hodnota je 4096 bitů, protože aritmetika náhodné projekce se zde chová dobře a 4096bitový XOR a popcount se čistě vejde do registrů AVX2, AVX-512 a NEON. Kodér je deterministický; stejný text produkuje stejný hypervektor při každém běhu.

Správa znalostí postavená na významové vrstvě BitWeave.

Parsovat a adresovat obsahem před indexováním.

Kontrolovatelná implementace, zámek verzí a žádná závislost na proprietárním běhovém prostředí.

Žádný výpadek dodavatele, který by bylo třeba přečkat.

Připnutá sémantická smlouva, stejný uspořádaný výsledek na každém serveru.

Indexy žijí na infrastruktuře, kterou ovládáte. Žádné zpracování u dodavatele.

Data zůstávají v jurisdikci, kterou si zvolíte. Řetězec úschovy je auditovatelný. Soulad s předpisy je řešen v architektuře, nikoli přidán přes dashboard.

Přesné, udržené napříč měřenými měřítky.

9 473 QPS při recall 1.000 na DBpedia 100K, bez GPU v běhu.

Hybrid-MultiQ při 10K dokumentech, recall 1.000.

9 473 dotazů za sekundu při recall 1.000 na DBpedia 100K, v 19 MB na desktopu i9-13900KF s AVX2 a bez GPU v běhu. Sémantický engine pod zásobníkem Dweve.

Deterministický výsledek, který lze později vysvětlit.

Korpus zůstává na strojích, které ovládáte.

Vyhledávání na cestě požadavku, ne dávková úloha.

Ponechte soubory a mapování významů pevné a pořadí lze reprodukovat.

Stejný sémantický stav pohání vyhledávání podobnosti, párování pasáží s více vektory, vyhledávání s filtrováním podle metadat, detekci duplicit, shlukování, prototypy na jedno spuštění a grounding pro RAG. Vyhledávání je viditelný dotaz. Znovupoužitelný substrát pod ním je hodnota.

Rust crate, CLI, stabilní C ABI, WASM sestavení a Python vazby přes maturin. SDK je cesta v rámci procesu, server vystavuje sdílené rozhraní s autentizací a observabilitou a vazby přecházejí do stávajících jazyků bez reimplementace reprezentace. WASM přináší kompatibilní menší stavy do prohlížečového běhu. Každé rozhraní nese stejný sémantický stav, stejné indexové kontrakty a stejné seřazené odpovědi, ověřené proti jedné konformní základně, takže engine nezíská nový význam pro každého klienta.

Studený start s rozdělením pro velmi velké datové sady.

LSH kandidáti plus přesné přehodnocení. Výchozí pro přesné vyhledávání.

Přesný SIMD sken, dávkové dotazy. Recall 1.000.

BruteForce-MultiQ pro přesné, těsné korpusy, Hybrid-MultiQ pro přesný recall ve větším měřítku a laditelné LSH a IVF backendy pro největší korpusy. Každý index je jedna rodina operací nad stejnými hypervektory.

Stejná pevně daná sémantická smlouva na standardních CPU, které už vlastníte, vrací stejný uspořádaný výsledek.

Spojte kontext. Propojte vztah. Permutujte pořadí. Porovnejte výsledek.

Binární hypervektory nesou sémantický význam jako zabalené bity. Externí zdroje s plovoucí desetinnou čárkou překračují deklarovanou jednosměrnou konverzní hranici; nativní reprezentace a veškeré interní porovnávání a skórování zůstávají binární nebo s pevnou desetinnou čárkou.

XOR pro každou dvojici, kódování klíč/hodnota.

HDC kóduje význam napříč tisíci binárních dimenzí, kde spojení zachycuje množiny, vazba zachycuje dvojice a permutace zachycuje pořadí. Výsledkem je jediný hypervektor s pevnou šířkou, který se vejde do několika řádků mezipaměti. Režimy na úrovni dokumentu a tokenu koexistují, takže celý dokument lze spojit do jednoho vektoru nebo ponechat sadu tokenových vektorů pro pozdní interakci. Reprezentace zůstává podobná i při mírném bitovém šumu, takže stejná konstrukce přežije malé perturbace bez rozšiřování vektoru nebo přidávání samostatného pozičního tenzoru.

Vzdálenost XNOR a POPCNT, top-k zobrazeno.

Dotaz se také hashuje, prochází pouze odpovídající buckety.

LSH rodiny hashují hypervektory do bucketů.

Dokument do binárního hypervektoru pomocí spojení a vazby.

Vstup se stane binárním hypervektorem. Spojení, vazba a permutace skládají množiny, role a pořadí před spuštěním jakéhokoli dotazu. Indexy, filtry a přeřazování organizují kandidáty bez redefinice typu. Stav .bwks uchovává codebook, vektory, metadata a provenienci společně. SIMD dispatch je spouští na hardwaru, který už máte, a RAG nebo přímá shoda je jedním z použití výsledku. Směr závislosti je záměrný: výpočet nikdy neimportuje aplikační záležitosti, kodéry se mohou měnit bez dotyku indexových jader a typ prochází každou vrstvou. API dotazů je poslední vrstvou, ne produktem.

Organizujte. Uchovávejte. Spouštějte. Používejte

Stejný dotaz, příští týden jiná odpověď.

Za dotaz plus za GB plus za indexovaný dokument.

Sémantický střed AI zásobníku je dodáván řetězcem poskytovatelů. Jeden vkládá obsah, jeden ukládá vektory, jeden vybírá kandidáty, jeden je přeřazuje a model přemění výsledek na prózu. Každá vrstva mění svůj model, index, cenu a region nezávisle a nikdo nedokáže pojmenovat kompletní sémantický stav.

BitWeave přeměňuje text, obrázky, audio a stávající vektory na binární hypervektory s pevnou šířkou: nativní sémantický typ s algebrou, kterou můžete skládat, porovnávat, indexovat, filtrovat, řadit, ukládat a spouštět kdekoli. Vyhledávání je jedna operace. RAG je jedna aplikace.

Data zůstávají v jurisdikci, kterou si zvolíte. Řetězec úschovy je auditovatelný. Soulad s předpisy je řešen v architektuře, nikoli přidán přes ovládací panel, takže každá povinnost, kterou kontrola vznesla, má strukturální odpověď, nikoli slib.

Jakmile BitWeave publikuje, nasměrujte ho na jednu složku a vytvořte první sémantický stav bez spoléhání na externí službu.

Složka vašich vlastních souborů. Zůstanou přesně tam, kde jsou, na vaší straně zdi.

Standardní servery nebo počítače, které už provozujete. Žádné GPU, nic speciálního k nákupu.

Přijetí neznamená migrační program. Stejný engine běží třemi způsoby: uvnitř nástroje, který vaši zaměstnanci už používají, jako jedna sdílená interní služba pro každý tým, nebo offline na jediném počítači pro nejcitlivější materiál. Kompatibilní sémantický stav se pohybuje mezi všemi třemi, takže první volba nikdy není jednosměrná brána.

Jeden připnutý sémantický kontrakt, reprodukovaný na každém podporovaném počítači.

Licencovaný kód, který si můžete ponechat a přesunout, bez obav z ukončení.

Žádný poplatek za dotaz a žádná flotila specializovaných akcelerátorů; provozní náklady jsou standardní CPU infrastruktura, kterou si zvolíte.

Jurisdikci si volíte vy, ne vzdálený dodavatel.

Spravovaná sémantická služba rozhoduje o tom, kde data žijí, jak se měří využití a kdy se mění její chování. BitWeave vrací tato rozhodnutí vašemu týmu: provozujte ho na standardních serverech, zvolte jurisdikci, připněte sémantický kontrakt a ponechte index se zdrojovým materiálem.

Odpovědi, které se mění mezi kontrolami podle jejich harmonogramu.

Zvýšení ceny nebo ukončení, od kterého nemůžete odejít.

Flotila GPU k pořízení, napájení a chlazení.

Za dotaz, za GB, za indexovaný dokument, každý měsíc.