Binary Hypervector Engine in Rust | Dweve BitWeave

Zināšanu cauruļvads, kas būvēts uz BitWeave nozīmes slāņa.

Pareizi noapaļota matemātika zem BitWeave.

BitWeave publicējas fonda laidienu programmas piektajā kārtā. Izveido no tā vienu semantisko stāvokli un palaid to uz standarta CPU.

Padari nozīmi aprēķināmu, tad izlem, ko ar to būvēt

Pārlūka pusē, saderīgi mazāki stāvokļi, bezsaistē.

TCP vai UDS serveris, valodneitrāli klienti.

Iegult tieši Rust, C vai Python procesā.

BitWeave darbojas kā procesā iegulta bibliotēka, kā atsevišķs TCP vai Unix ligzdas serveris vai kompilēts uz WASM izpildei pārlūka pusē ar saderīgu mazāku stāvokli. .bwks stāvokļa formāts ir vienāds visos trīs režīmos; būvē uz servera un izvieto to pašu stāvokli pārlūkā bez pārbūves.

Atsauces rezultāti publicējas ar repozitoriju piektajā kārtā

Publicētajā DBpedia 100K izpildē BitWeave precīzā vairākvaicājumu konfigurācija atgrieza 9,473 QPS ar atsaukšanu 1.000 19 MB ietvaros uz i9-13900KF galddatora ar 24 kodoliem, AVX2 un 48 GB. Izmērītā divu bitu aptuvenā salīdzināšanas sistēma atgrieza 3,580 QPS 38 MB ietvaros uz tā paša resursdatora un datiem. Pie D4096 virs 10K dokumentiem izmērītās Hybrid-MultiQ izpildes noturēja atsaukšanu 1.000 ar 35,842 QPS uz nejaušiem datiem, 34,459 uz grupētiem datiem un 27,828 uz tekstu atvasinātiem datiem. Pie 250K dokumentiem precīzā vairākvaicājumu brutālā spēka metode izmērīja 2,653 QPS ar atsaukšanu 1.000. Tie ir etalona atsauces rezultāti, nevis universāli solījumi; pārpalaiž komplektu uz sava korpusa un aparatūras, kad repozitorijs publicēsies.

Precīzs ļoti lielā mērogā. Vairums segmentu.

Vairāk segmentu, stingrāki kandidātu kopumi.

Laba atsaukšana, mērena kandidātu mainība.

Zems kandidātu skaits, visaugstākā caurlaidspēja.

Lineārā skenēšana ir ātra SIMD mazā mērogā, bet kļūst par vājo posmu ļoti lielās kolekcijās. LSH indekss sadala hipervektorus joslās; kandidāti, kas sakrīt jebkurā joslā, tiek precīzi novērtēti. Hybrid-MultiQ apstrādā četrus vaicājumus vienā SIMD reģistrā, lai saglabātu precīzu atsaukšanu pie pilnas caurlaidības. Indekss tiek veidots vienreiz un izmantots daudzkārt.

Cikliska nobīde, kodē secību un pozīciju.

Pašinversīva, saista atslēgu ar vērtību.

Vairākuma balsojums, superpozē konceptu kopu.

A document, a query, a passage, a code symbol all encode as a binary hypervector of fixed dimension. The default is 4096 bits, because the random-projection arithmetic is well-behaved there and a 4096-bit XOR and popcount fits cleanly in AVX2, AVX-512, and NEON registers. The encoder is deterministic; the same text produces the same hypervector on every run.

Zināšanu pārvaldība, kas balstīta uz BitWeave nozīmes slāni.

Ierobežojumu dzinējs pār izgūtajiem faktiem.

Parsēt un satura adresēšana pirms indeksēšanas.

Pārbaudāma ieviešana, versiju fiksēšana un bez patentētas izpildlaika atkarības.

Nav piegādātāja dīkstāves, kas jāpārdzīvo.

Fiksēts semantiskais līgums, vienāds sakārtots rezultāts katrā serverī.

Indeksi atrodas infrastruktūrā, ko jūs kontrolējat. Nav piegādātāja apstrādes.

Dati paliek jūsu izvēlētajā jurisdikcijā. Aizbildniecības ķēde ir auditejama. Atbilstība tiek risināta arhitektūrā, nevis pievienota caur vadības paneli.

Precīzi, saglabāts visos mērītajos mērogos.

9 473 QPS ar atsaukšanu 1.000 uz DBpedia 100K, bez GPU darbībā.

Hybrid-MultiQ ar 10K dokumentiem, 1.000 atsaukšana.

9 473 vaicājumi sekundē ar atsaukšanu 1.000 uz DBpedia 100K, 19 MB ietvaros uz i9-13900KF galddatora ar AVX2 un bez GPU darbībā. Semantiskais dzinējs zem Dweve steka.

Deterministisks rezultāts, ko varat izskaidrot vēlāk.

Korpuss paliek uz jūsu kontrolētām iekārtām.

Iegūšana pieprasījuma ceļā, nevis pakešu darbs.

Saglabājiet failus un nozīmju karti fiksētus, un secību var atkārtot.

Tas pats semantiskais stāvoklis nodrošina līdzības meklēšanu, daudzvektoru fragmentu saskaņošanu, ar metadatiem filtrētu meklēšanu, dublikātu noteikšanu, klasterizāciju, viena mēģinājuma prototipus un RAG pamatojumu. Meklēšana ir redzamais vaicājums. Atkārtoti izmantojamais pamats zem tā ir vērtība.

HDC kodētājs, LSH indekss, SIMD attālums

Rust crate, CLI, stabils C ABI, WASM būvējums un Python saistījumi, izmantojot maturin. SDK ir procesa iekšējais ceļš, serveris nodrošina kopīgu robežu ar autentifikāciju un novērojamību, un saistījumi šķērso esošās valodās, nepārveidojot attēlojumu. WASM ienes saderīgus mazākus stāvokļus pārlūkprogrammas izpildē. Katra virsma nes to pašu semantisko stāvokli, tos pašus indeksa līgumus un tās pašas sakārtotās atbildes, pārbaudītas pret vienu atbilstības bāzi, lai dzinējs neiegūtu jaunu nozīmi katram klientam.

Viens semantiskais stāvoklis, katra virsma

Aukstās palaišanas sadalīšana ļoti lielām datu kopām.

Pielāgojama atsaukšana, vairākas joslu saimes.

LSH kandidāti plus precīza pārvērtēšana. Noklusējums precīzai meklēšanai.

Precīza SIMD skenēšana, pakešu vaicājumi. 1.000 atsaukšana.

BruteForce-MultiQ precīzām, blīvām kopām, Hybrid-MultiQ precīzai atsaukšanai lielākā mērogā un pielāgojami LSH un IVF aizmugures ļoti lielām kopām. Katrs indekss ir viena darbību saime pār tiem pašiem hipervektoriem.

Tas pats fiksētais semantiskais līgums uz standarta CPU, kas jums jau pieder, atgriež to pašu sakārtoto rezultātu.

Apvienojiet kontekstu. Saistiet attiecības. Permutējiet secību. Salīdziniet rezultātu.

Binārie hipervektori nes semantisko nozīmi kā iepakoti biti. Ārējie peldošā komata avoti šķērso deklarētu vienvirziena konversijas robežu; vietējā reprezentācija un visa iekšējā salīdzināšana un vērtēšana paliek bināra vai fiksēta komata formātā.

XOR pa pāriem, atslēgas/vērtības kodēšana.

HDC kodē nozīmi tūkstošiem bināro dimensiju, kur apvienošana uztver kopas, saistīšana uztver pārus un permutācija uztver secību. Rezultāts ir viens fiksēta platuma hipervektors, kas ietilpst dažās kešatmiņas rindās. Dokumenta līmeņa un tokenu līmeņa režīmi pastāv līdzās, tāpēc viss dokuments var apvienoties vienā vektorā vai saglabāt tokenu vektoru kopu vēlākai mijiedarbībai. Reprezentācija paliek līdzīga pie neliela bitu trokšņa, tāpēc tā pati konstrukcija izdzīvo nelielas perturbācijas bez vektora paplašināšanas vai atsevišķa pozicionālā tenzora pievienošanas.

XNOR un POPCNT attālums, top-k parādīts.

Vaicājums arī tiek hešots, iet tikai caur atbilstošiem segmentiem.

LSH saimes hešo hipervektorus segmentos.

Dokuments binārā hipervektorā, izmantojot apvienošanu un saistīšanu.

Ievade kļūst par bināru hipervektoru. Apvienošana, saistīšana un permutācija sastāda kopas, lomas un secību pirms jebkura vaicājuma. Indeksi, filtri un pārkārtošana organizē kandidātus, nepārdefinējot tipu. .bwks stāvoklis saglabā kodu grāmatu, vektorus, metadatus un izcelsmi kopā. SIMD izpilde to darbina uz aparatūras, kas jums jau ir, un RAG vai tieša atbilstība ir viens no rezultāta lietojumiem. Atkarību virziens ir apzināts: skaitļošana nekad neimportē lietojumprogrammas aspektus, kodētāji var mainīties, neskarot indeksa kodolus, un tips šķērso katru slāni. Vaicājumu API ir pēdējais slānis, nevis produkts.

Tas pats vaicājums, cita atbilde nākamnedēļ.

Par vaicājumu plus par GB plus par indeksētu dokumentu.

Indeksi atrodas tur, kur piegādātājs vēlas.

AI steka semantisko vidusdaļu nodrošina pakalpojumu sniedzēju ķēde. Viens iestrādā saturu, viens glabā vektorus, viens atlasa kandidātus, viens tos pārkārto, un modelis pārvērš rezultātu prozā. Katrs slānis maina savu modeli, indeksu, cenu un reģionu neatkarīgi, un neviens nevar nosaukt pilnu semantisko stāvokli.

BitWeave pārvērš tekstu, attēlus, audio un esošos vektorus fiksēta platuma bināros hipervektoros: vietējais semantiskais tips ar algebru, ko var salikt, salīdzināt, indeksēt, filtrēt, šķirot, glabāt un izpildīt jebkur. Meklēšana ir viena darbība. RAG ir viens lietojums.

Dati paliek jūsu izvēlētajā jurisdikcijā. Aizbildniecības ķēde ir auditejama. Atbilstība ir risināta arhitektūrā, nevis pievienota caur paneli, tāpēc katrai prasībai, ko izvirza pārskats, ir strukturāla atbilde, nevis solījums.

Kad BitWeave ir publicēts, norādiet uz vienu mapi un izveidojiet pirmo semantisko stāvokli bez ārēja pakalpojuma.

Mape ar jūsu pašu failiem. Tie paliek tieši tur, kur ir, jūsu pusē sienai.

Standarta serveri vai datori, ko jau izmantojat. Bez GPU, nekas īpašs nav jāpērk.

Ieviešana nenozīmē migrācijas programmu. Tas pats dzinējs darbojas trīs veidos: rīkā, ko jūsu darbinieki jau lieto, kā viens kopīgs iekšējais pakalpojums visām komandām vai bezsaistē vienā datorā visjutīgākajam materiālam. Saderīgs semantiskais stāvoklis pārvietojas starp visiem trim, tāpēc pirmā izvēle nekad nav vienvirziena durvis.

Viens fiksēts semantiskais līgums, reproducēts katrā atbalstītajā datorā.

Licencēts kods, ko varat paturēt un pārvietot, bez slēgšanas riska.

Nav maksas par vaicājumu un nav specializētas paātrinātāju flotes; darbības izmaksas ir standarta CPU infrastruktūra, ko izvēlaties.

Jūs izvēlaties jurisdikciju, nevis tālu piegādātāju.

Pārvaldīts semantiskais pakalpojums nosaka, kur dzīvo dati, kā tiek mērīts lietojums un kad mainās tā darbība. BitWeave atdod šos lēmumus jūsu komandai: palaidiet to uz standarta serveriem, izvēlieties jurisdikciju, fiksējiet semantisko līgumu un glabājiet indeksu kopā ar avota materiālu.