Binary Hypervector Engine in Rust | Dweve BitWeave

Poznavanje izgrađeno na BitWeave sloju značenja.

Ispravno zaokružena matematika ispod BitWeavea.

BitWeave objavljuje u petom krugu programa temeljnih izdanja. Izgradite jedno semantičko stanje iz njega i pokrenite ga na standardnim CPU-ima.

Učinite značenje izračunljivim, a zatim odlučite što ćete s njime graditi

Jedan format indeksa na disku za sva tri.

Na strani preglednika, kompatibilna manja stanja, izvanmrežno.

TCP ili UDS poslužitelj, klijenti neovisni o jeziku.

Ugradite izravno u proces Rust, C ili Python.

BitWeave radi kao knjižnica u procesu, kao samostalni TCP ili Unix-socket poslužitelj, ili kompajliran u WASM za izvođenje na strani preglednika nad kompatibilnim manjim stanjem. Format stanja .bwks isti je u sva tri načina; gradite na poslužitelju i implementirajte isto stanje u preglednik bez ponovne izgradnje.

Rezultati mjerenja objavljuju se s repozitorijem, u petom krugu

Na objavljenom DBpedia 100K pokretanju, BitWeaveova točna multi-upitna konfiguracija vratila je 9,473 QPS uz recall 1.000 u 19 MB na i9-13900KF radnoj površini s 24 jezgre, AVX2 i 48 GB. Izmjereni dvobitni približni sustav usporedbe vratio je 3,580 QPS u 38 MB na istom računalu i podacima. Na D4096 nad 10K dokumenata, izmjereni Hybrid-MultiQ pokreti zadržali su recall 1.000 na 35,842 QPS na nasumičnim podacima, 34,459 na grupiranim podacima i 27,828 na podacima izvedenim iz teksta. Na 250K dokumenata, točna multi-upitna gruba sila izmjerila je 2,653 QPS uz recall 1.000. Ovo su rezultati mjerenja, ne univerzalna obećanja; ponovno pokrenite skup na vlastitom korpusu i hardveru nakon što se repozitorij objavi.

Točno na vrlo velikoj skali. Većina segmenata.

Dobar recall, umjerena izmjena kandidata.

Nizak broj kandidata, najveća propusnost.

Linearno pretraživanje brzo je na SIMD-u pri malom opsegu, ali postaje usko grlo na vrlo velikim korpusima. LSH indeks dijeli hipervektore na pojaseve; kandidati koji se sudare u bilo kojem pojasu točno se vrednuju. Hybrid-MultiQ pakira četiri upita po SIMD registru kako bi zadržao točan recall pri propusnosti. Indeks se gradi jednom, a upiti se izvršavaju mnogo puta.

Sublinearno generiranje kandidata u velikom opsegu

Ciklički pomak, kodira redoslijed i položaj.

Samo-inverzan, veže ključ uz vrijednost.

Većinsko glasanje, superponira skup koncepata.

Dokument, upit, odlomak, simbol koda, sve se kodira kao binarni hipervektor fiksne dimenzije. Zadano je 4096 bitova jer je aritmetika slučajne projekcije tamo dobro uvjetovana, a 4096-bitni XOR i popcount čisto stane u AVX2, AVX-512 i NEON registre. Enkoder je deterministički; isti tekst proizvodi isti hipervektor pri svakom pokretanju.

Upravljanje znanjem izgrađeno na BitWeave sloju značenja.

Motor ograničenja nad dohvaćenim činjenicama.

Raščlani i adresiraj sadržaj prije indeksiranja.

Pregledna implementacija, zaključavanje verzija i bez vlasničke ovisnosti o izvođenju.

Nema prekida rada dobavljača koji treba preživjeti.

Zaključeni semantički ugovor, isti poredani rezultat na svakom poslužitelju.

Indeksi žive na infrastrukturi koju kontrolirate. Nema obrade od strane dobavljača.

Podaci ostaju u jurisdikciji koju odaberete. Lanac čuvanja je revidibilan. Usklađenost je riješena u arhitekturi, a ne dodana kroz nadzornu ploču.

9.473 QPS uz recall 1.000 na DBpedia 100K, bez GPU u izvođenju.

Hybrid-MultiQ na 10K dokumenata, recall 1.000.

9.473 upita u sekundi uz recall 1.000 na DBpedia 100K, u 19 MB na i9-13900KF radnoj stanici s AVX2 i bez GPU-a u izvođenju. Semantički stroj ispod Dweve stoga.

Deterministički rezultat koji kasnije možete objasniti.

Korpus ostaje na strojevima koje kontrolirate.

Pretraživanje na putanji zahtjeva, ne grupni posao.

Držite datoteke i mapu značenja fiksnima, a redoslijed se može reproducirati.

Isto semantičko stanje pokreće pretraživanje sličnosti, viševektorsko podudaranje odlomaka, pretraživanje s filtriranjem po metapodacima, otkrivanje duplikata, grupiranje, jednokratne prototipove i RAG utemeljenje. Pretraživanje je vidljivi upit. Višekratno upotrebljiva podloga ispod njega je vrijednost.

HDC enkoder, LSH indeks, SIMD udaljenost

Rust crate, CLI, stabilan C ABI, WASM izgradnja i Python poveznice putem maturina. SDK je putanja unutar procesa, poslužitelj izlaže zajedničku granicu s autentifikacijom i promatranjem, a poveznice prelaze u postojeće jezike bez ponovne implementacije reprezentacije. WASM donosi kompatibilna manja stanja u izvođenje na strani preglednika. Svaka površina nosi isto semantičko stanje, iste indeksne ugovore i iste poredane odgovore, verificirane prema jednoj osnovici usklađenosti tako da stroj ne dobiva novo značenje po klijentu.

Hladno pokretanje particioniranja za vrlo velike skupove podataka.

LSH kandidati plus točno ponovno bodovanje. Zadano za točno pretraživanje.

Točno SIMD skeniranje, grupirani upiti. Recall 1.000.

BruteForce-MultiQ za točne, zbijene korpuse, Hybrid-MultiQ za točan recall na većoj skali, te podesive LSH i IVF pozadine za najveće korpuse. Svaki indeks je jedna obitelj operacija nad istim hipervektorima.

Isti fiksirani semantički ugovor, na standardnim CPU-jevima koje već posjedujete, vraća isti poredani rezultat.

Spojite kontekst. Povežite odnos. Permutirajte redoslijed. Usporedite rezultat.

Binarni hipervektori nose semantičko značenje kao pakirani bitovi. Vanjski izvori s pomičnim zarezom prelaze deklariranu jednosmjernu granicu konverzije; izvorna reprezentacija i sve unutarnje usporedbe i bodovanje ostaju binarni ili fiksno-zarezni.

XOR po paru, kodiranje ključ/vrijednost.

HDC kodira značenje kroz tisuće binarnih dimenzija gdje spajanje hvata skupove, povezivanje hvata parove, a permutacija hvata redoslijed. Rezultat je jedan hipervektor fiksne širine koji stane u nekoliko linija predmemorije. Načini rada na razini dokumenta i tokena koegzistiraju, tako da se cijeli dokument može spojiti u jedan vektor ili zadržati skup token vektora za kasnu interakciju. Reprezentacija ostaje slična pod umjerenim šumom bitova, tako da ista konstrukcija preživljava male perturbacije bez proširivanja vektora ili dodavanja zasebnog pozicijskog tenzora.

XNOR i POPCNT udaljenost, top-k prikazan.

Upit se također hashira, prolazi samo kroz odgovarajuće buckete.

LSH obitelji hashiraju hipervektore u buckete.

Dokument u binarni hipervektor putem spajanja i povezivanja.

Ulaz postaje binarni hipervektor. Spajanje, povezivanje i permutacija sastavljaju skupove, uloge i redoslijed prije nego što se izvrši bilo koji upit. Indeksi, filteri i ponovno rangiranje organiziraju kandidate bez redefiniranja tipa. Stanje .bwks trajno pohranjuje codebook, vektore, metapodatke i podrijetlo zajedno. SIMD izvršavanje ga pokreće na hardveru koji već imate, a RAG ili izravno podudaranje jedan je od načina korištenja rezultata. Smjer ovisnosti je namjeran: računanje nikada ne uvozi aplikacijske brige, enkoderi se mogu mijenjati bez diranja indeksnih jezgri, a tip prelazi svaki sloj. API za upite je posljednji sloj, ne proizvod.

Organiziraj. Trajno pohrani. Izvrši. Koristi

Migracija je projekt koji traje tromjesečje.

Isti upit, drugačiji odgovor sljedeći tjedan.

Po upitu plus po GB plus po indeksiranom dokumentu.

Semantičku sredinu AI stoga opskrbljuje lanac pružatelja. Jedan ugrađuje sadržaj, jedan pohranjuje vektore, jedan odabire kandidate, jedan ih ponovno rangira, a model pretvara rezultat u prozu. Svaki sloj neovisno mijenja svoj model, indeks, cijenu i regiju, i nitko ne može imenovati potpuno semantičko stanje.

BitWeave pretvara tekst, slike, audio i postojeće vektore u binarne hipervektore fiksne širine: izvorni semantički tip s algebrom koju možete sastavljati, uspoređivati, indeksirati, filtrirati, rangirati, pohranjivati i pokretati bilo gdje. Pretraživanje je jedna operacija. RAG je jedna aplikacija.

Podaci ostaju u jurisdikciji koju odaberete. Lanac nadzora je revidibilan. Usklađenost je riješena u arhitekturi, a ne dodana kroz nadzornu ploču, tako da svaka obveza koju revizija pokrene ima strukturni odgovor, a ne obećanje.

Nakon što BitWeave objavi, usmjerite ga na jednu mapu i izgradite prvo semantičko stanje bez oslanjanja na vanjsku uslugu.

Mapa s vašim vlastitim datotekama. One ostaju točno tamo gdje jesu, na vašoj strani zida.

Standardni poslužitelji ili računala koja već koristite. Bez GPU-a, ništa specijalizirano za kupnju.

Uvođenje ne znači program migracije. Isti motor radi na tri načina: unutar alata koji vaše osoblje već koristi, kao jedna zajednička interna usluga za sve timove ili izvan mreže na jednom računalu za najosjetljiviji materijal. Kompatibilno semantičko stanje prelazi između sva tri, tako da prvi izbor nikada nije jednosmjerna vrata.

Jedan fiksni semantički ugovor, reproduciran na svakom podržanom računalu.

Licencirani kod koji možete zadržati i premjestiti, bez straha od gašenja.

Bez naknade po upitu i bez flote specijaliziranih akceleratora; operativni trošak je standardna CPU infrastruktura koju odaberete.

Vi birate jurisdikciju, a ne dobavljača daleko od vas.

Upravljana semantička usluga odlučuje gdje podaci žive, kako se mjeri korištenje i kada se njezino ponašanje mijenja. BitWeave vraća te odluke vašem timu: pokrenite ga na standardnim poslužiteljima, odaberite jurisdikciju, fiksirajte semantički ugovor i zadržite indeks s izvornim materijalom.