Binary Hypervector Engine in Rust | Dweve BitWeave

Znalostný pipeline postavený na sémantickej vrstve BitWeave.

Matematika so správnym zaokrúhľovaním pod BitWeave.

BitWeave publikuje v piatom kole programu vydaní nadácie. Vytvorte z neho jeden sémantický stav a spustite ho na štandardných CPU.

Urobte význam vypočítateľným a potom sa rozhodnite, čo s ním postaviť

Jeden on-disk indexový formát pre všetky tri.

Prehliadačová strana, kompatibilné menšie stavy, offline.

TCP alebo UDS server, jazykovo neutrálni klienti.

Priame vloženie do procesu Rust, C alebo Python.

BitWeave beží ako in-process knižnica, ako samostatný TCP alebo Unix-socket server, alebo je skompilovaný do WASM pre prehliadačovú stranu s kompatibilným menším stavom. Formát stavu .bwks je rovnaký vo všetkých troch režimoch; postavte na serveri a nasaďte rovnaký stav do prehliadača bez prestavby.

Benchmark potvrdenia publikované s repozitárom v piatom kole

Na publikovanom behu DBpedia 100K vrátila presná multi-query konfigurácia BitWeave 9 473 QPS pri recall 1.000 v 19 MB na desktope i9-13900KF s 24 jadrami, AVX2 a 48 GB. Meraný dvojbitový približný porovnávací systém vrátil 3 580 QPS v 38 MB na rovnakom hostiteľovi a dátach. Pri D4096 nad 10K dokumentmi dosiahli merané Hybrid-MultiQ behy recall 1.000 pri 35 842 QPS na náhodných dátach, 34 459 na zhlukovaných dátach a 27 828 na textovo odvodených dátach. Pri 250K dokumentoch dosiahla presná multi-query brute force 2 653 QPS pri recall 1.000. Toto sú benchmark potvrdenia, nie univerzálne sľuby; spustite sadu znova na vlastnom korpuse a hardvéri, keď repozitár publikuje.

Presné pri veľmi veľkej škále. Väčšina bucketov.

Viac bucketov, užšie kandidátske množiny.

Nízky počet kandidátov, najvyššia priepustnosť.

Lineárne skenovanie je rýchle na SIMD pri malej škále, ale pri veľmi veľkých korpusoch sa stáva úzkym miestom. Index LSH rozdeľuje hypervektory na pásma; kandidáti, ktorí sa zhodujú v ktoromkoľvek pásme, sú presne vyhodnotení. Hybrid-MultiQ dávkuje štyri dopyty na register SIMD, aby udržal presnú recall pri priepustnosti. Index sa vytvorí raz a používa sa na mnoho dopytov.

Sublineárne generovanie kandidátov vo veľkej škále

Cyklický posun, kóduje poradie a pozíciu.

Väčšinové hlasovanie, superponuje množinu konceptov.

Dokument, dopyt, pasáž, symbol kódu sa všetky kódujú ako binárny hypervektor pevnej dimenzie. Predvolená hodnota je 4096 bitov, pretože aritmetika náhodnej projekcie sa tam správa dobre a 4096-bitový XOR a popcount sa čisto zmestí do registrov AVX2, AVX-512 a NEON. Kodér je deterministický; rovnaký text produkuje rovnaký hypervektor pri každom spustení.

Riadenie znalostí postavené na sémantickej vrstve BitWeave.

Obmedzovací engine nad získanými faktami.

Parsovanie a adresovanie podľa obsahu pred indexovaním.

Preskúmateľná implementácia, ukotvenie verzií a žiadna závislosť od proprietárneho runtime.

Žiadny výpadok dodávateľa, ktorý by bolo treba prečkať.

Ukotvená sémantická zmluva, rovnaký usporiadaný výsledok na každom serveri.

Indexy žijú na infraštruktúre, ktorú ovládate. Žiadne spracovanie u dodávateľa.

Údaje zostávajú v jurisdikcii, ktorú si zvolíte. Reťazec starostlivosti je auditovateľný. Súlad je riešený v architektúre, nie pridaný cez dashboard.

Presné, udržané naprieč meranými škálami.

9 473 QPS pri recall 1.000 na DBpedia 100K, bez GPU v behu.

Hybrid-MultiQ pri 10K dokumentoch, recall 1.000.

9 473 dotazov za sekundu pri recall 1.000 na DBpedia 100K, v 19 MB na desktope i9-13900KF s AVX2 a bez GPU v behu. Sémantický engine pod zásobníkom Dweve.

Deterministický výsledok, ktorý viete neskôr vysvetliť.

Korpus zostáva na strojoch, ktoré ovládate.

Vyhľadávanie na ceste požiadavky, nie dávková úloha.

Ak ponecháte súbory a mapu významov pevné, poradie sa dá reprodukovať.

Rovnaký sémantický stav poháňa vyhľadávanie podobnosti, viacvektorové priraďovanie pasáží, vyhľadávanie s filtrom metadát, detekciu duplicít, zhlukovanie, jednorazové prototypy a ukotvenie RAG. Vyhľadávanie je viditeľný dotaz. Opätovne použiteľný substrát pod ním je hodnota.

Crate Rust, CLI, stabilné C ABI, WASM build a Python väzby cez maturin. SDK je cesta v rámci procesu, server vystavuje zdieľané rozhranie s autentifikáciou a pozorovateľnosťou a väzby prechádzajú do existujúcich jazykov bez opätovnej implementácie reprezentácie. WASM prináša kompatibilné menšie stavy do vykonávania na strane prehliadača. Každý povrch nesie rovnaký sémantický stav, rovnaké indexové kontrakty a rovnaké usporiadané odpovede, overené proti jednej konformnej základni, takže engine nezíska nový význam pre každého klienta.

Studené štartovacie rozdelenie pre veľmi veľké datasety.

Nastaviteľný recall, viacero pásmových rodín.

LSH kandidáti plus presné preskórovanie. Predvolené pre presné vyhľadávanie.

Presný SIMD sken, dávkové dotazy. Recall 1.000.

BruteForce-MultiQ pre presné, tesné korpusy, Hybrid-MultiQ pre presný recall pri väčšom rozsahu a nastaviteľné LSH a IVF backends pre najväčšie korpusy. Každý index je jedna rodina operácií nad rovnakými hypervektormi.

Rovnaký pripnutý sémantický kontrakt na štandardných CPU, ktoré už vlastníte, vracia rovnaký usporiadaný výsledok.

Zbaľte kontext. Spojte vzťah. Permutujte poradie. Porovnajte výsledok.

Binárne hypervektory nesú sémantický význam ako zabalené bity. Externé zdroje s pohyblivou rádovou čiarkou prechádzajú deklarovanou jednosmernou konverznou hranicou; natívna reprezentácia a všetko interné porovnávanie a skórovanie zostávajú binárne alebo s pevnou rádovou čiarkou.

XOR pre každý pár, kódovanie kľúč/hodnota.

HDC kóduje význam naprieč tisíckami binárnych dimenzií, kde zbaľovanie zachytáva množiny, spájanie zachytáva páry a permutácia zachytáva poradie. Výsledkom je jeden hypervektor s pevnou šírkou, ktorý sa zmestí do niekoľkých riadkov vyrovnávacej pamäte. Režimy na úrovni dokumentu a na úrovni tokenov koexistujú, takže celý dokument sa môže zbaliť do jedného vektora alebo si ponechať množinu tokenových vektorov pre neskorú interakciu. Reprezentácia zostáva podobná pri miernom bitovom šume, takže rovnaká konštrukcia prežije malé perturbácie bez rozšírenia vektora alebo pridania samostatného pozičného tenzora.

Vzdialenosť XNOR a POPCNT, top-k zobrazené.

Hašuje sa aj dotaz, prechádza len zodpovedajúce buckety.

Rodiny LSH hašujú hypervektory do bucketov.

Dokument do binárneho hypervektora pomocou zbaľovania a spájania.

Vstup sa stáva binárnym hypervektorom. Zbaľovanie, spájanie a permutácia komponujú množiny, roly a poradie pred spustením akéhokoľvek dotazu. Indexy, filtre a reranking organizujú kandidátov bez predefinovania typu. Stav .bwks uchováva kódovú knihu, vektory, metadáta a provenienciu spolu. SIMD dispatch ho vykonáva na hardvéri, ktorý už máte, a RAG alebo priame zhoda je jedno použitie výsledku. Smer závislosti je zámerný: výpočet nikdy neimportuje aplikačné záležitosti, enkódery sa môžu meniť bez dotyku indexových jadier a typ prechádza každou vrstvou. API dotazov je posledná vrstva, nie produkt.

Organizujte. Uchovávajte. Vykonávajte. Používajte

Rovnaký dotaz, iná odpoveď budúci týždeň.

Za dotaz plus za GB plus za indexovaný dokument.

Sémantický stred AI stacku dodáva reťazec poskytovateľov. Jeden vkladá obsah, jeden ukladá vektory, jeden vyberá kandidátov, jeden ich rerankuje a model mení výsledok na prózu. Každá vrstva mení svoj model, index, cenu a región nezávisle a nikto nevie pomenovať úplný sémantický stav.

BitWeave mení text, obrázky, zvuk a existujúce vektory na binárne hypervektory s pevnou šírkou: natívny sémantický typ s algebrou, ktorú môžete skladať, porovnávať, indexovať, filtrovať, triediť, ukladať a spúšťať kdekoľvek. Vyhľadávanie je jedna operácia. RAG je jedna aplikácia.

Dáta zostávajú v jurisdikcii, ktorú si zvolíte. Reťazec starostlivosti je auditovateľný. Súlad je riešený v architektúre, nie pridaný cez dashboard, takže každá povinnosť, ktorú kontrola vznesie, má štrukturálnu odpoveď, nie sľub.

Keď BitWeave publikuje, nasmerujte ho na jeden priečinok a vytvorte prvý sémantický stav bez spoliehania sa na externú službu.

Priečinok s vašimi vlastnými súbormi. Zostanú presne tam, kde sú, na vašej strane steny.

Štandardné servery alebo počítače, ktoré už prevádzkujete. Žiadne GPU, nič špecializované na nákup.

Prijatie neznamená migračný program. Rovnaký engine beží tromi spôsobmi: vnútri nástroja, ktorý vaši zamestnanci už používajú, ako jedna zdieľaná interná služba pre každý tím, alebo offline na jednom počítači pre najcitlivejší materiál. Kompatibilný sémantický stav sa pohybuje medzi všetkými tromi, takže prvá voľba nikdy nie sú jednosmerné dvere.

Jedna pripnutá sémantická zmluva, reprodukovaná na každom podporovanom počítači.

Licencovaný kód, ktorý si môžete ponechať a presunúť, bez obáv z vypnutia.

Žiadny poplatok za dotaz a žiadna flotila špecializovaných akcelerátorov; prevádzkové náklady sú štandardná CPU infraštruktúra, ktorú si zvolíte.

Vy si vyberiete jurisdikciu, nie vzdialený predajca.

Spravovaná sémantická služba rozhoduje o tom, kde dáta žijú, ako sa meria využitie a kedy sa zmení jej správanie. BitWeave vracia tieto rozhodnutia vášmu tímu: spustite ho na štandardných serveroch, zvoľte jurisdikciu, pripnite sémantickú zmluvu a ponechajte index so zdrojovým materiálom.