Binary Hypervector Engine in Rust | Dweve BitWeave

L-algoritmi jiggruppaw skont it-tip ta' data

Matriċi ta' kapaċitajiet li tista' tiskrollja

Pipeline ta' għarfien mibni fuq is-saff tat-tifsira ta' BitWeave.

Matematika arrotondata b'mod korrett taħt BitWeave.

BitWeave jippubblika fil-ħames rawnd tal-programm tar-rilaxx tal-fondazzjoni. Ibni stat semantiku wieħed minnu u ħaddmu fuq CPUs standard.

Agħmel it-tifsira komputabbli, imbagħad iddeċiedi x'se tibni biha

Format ta' indiċi fuq disk wieħed għat-tlieta kollha.

Naħa tal-browser, stati iżgħar kompatibbli, offline.

Server TCP jew UDS, klijenti agnostiċi għal-lingwa.

Inkorpora direttament fi proċess Rust, C, jew Python.

BitWeave jaħdem bħala librerija fil-proċess, bħala server standalone TCP jew Unix-socket, jew ikkumpilat għal WASM għal eżekuzzjoni fuq in-naħa tal-browser fuq stat iżgħar kompatibbli. Il-format tal-istat .bwks huwa l-istess fit-tliet modi; ibni fuq server u skjerja l-istess stat lil browser mingħajr ma terġa' tibni.

Irċevuti ta' benchmark jippubblikaw mar-repożitorju, fil-ħames rawnd

Fuq il-run ippubblikat DBpedia 100K, il-konfigurazzjoni eżatta ta' multi-query ta' BitWeave rritornat 9,473 QPS b'recall 1.000 f'19 MB fuq desktop i9-13900KF b'24 core, AVX2 u 48 GB. Is-sistema mkejla ta' tqabbil approssimattiv ta' żewġ bit rritornat 3,580 QPS f'38 MB fuq l-istess host u data. F'D4096 fuq 10K dokumenti, runs imkejla ta' Hybrid-MultiQ żammew recall 1.000 f'35,842 QPS fuq data każwali, 34,459 fuq data miġbura u 27,828 fuq data derivata minn test. F'250K dokumenti, brute force eżatt ta' multi-query kejjel 2,653 QPS b'recall 1.000. Dawn huma rċevuti ta' benchmark, mhux wegħdiet universali; erġa' ħaddem is-suite fuq il-korpus u l-hardware tiegħek stess ladarba r-repożitorju jippubblika.

Eżatt fuq skala kbira ħafna. Ħafna bramel.

Aktar bramel, settijiet ta' kandidati aktar stretti.

Recall tajjeb, tibdil moderat ta' kandidati.

Għadd baxx ta' kandidati, l-ogħla throughput.

Skan lineari huwa veloċi fuq SIMD fi skala żgħira iżda jsir il-konġestjoni fuq korpora kbar ħafna. L-indiċi LSH jaqsam il-hypervectors f'faxex; kandidati li jaħbtu fi kwalunkwe faxxa jiġu skorjati eżattament. Hybrid-MultiQ jibatcha erba' mistoqsijiet għal kull reġistru SIMD biex iżomm recall eżatt fil-throughput. L-indiċi jinbena darba u jintalab ħafna drabi.

Ġenerazzjoni ta' kandidati sub-lineari fi skala

Ċaqliq ċikliku, jikkodifika ordni u pożizzjoni.

Vot ta' maġġoranza, jissuperponi sett ta' kunċetti.

Dokument, mistoqsija, siltiet, simbolu tal-kodiċi kollha jikkodifikaw bħala hypervector binarju ta' dimensjoni fissa. L-awtomatiku huwa 4096 bits, għaliex l-aritmetika tal-projezzjoni każwali hija mġiba tajba hemmhekk u XOR ta' 4096-bit u popcount joqogħdu sewwa fir-reġistri AVX2, AVX-512, u NEON. L-encoder huwa deterministiku; l-istess test jipproduċi l-istess hypervector f'kull ġirja.

Governanza tal-għarfien mibnija fuq is-saff tat-tifsira BitWeave.

Parse u indirizzar tal-kontenut qabel l-indiċjar.

Implimentazzjoni ispezzjonabbli, pinning tal-verżjoni, u l-ebda dipendenza proprjetarja fuq runtime.

L-ebda waqfien tal-fornitur li jrid jinstab.

Kuntratt semantiku pinnjat, l-istess riżultat ordnat fuq kull server.

L-indiċi jgħixu fuq infrastruttura li tikkontrolla int. L-ebda proċessar tal-fornitur.

Id-dejta tibqa' fil-ġuriżdizzjoni li tagħżel. Il-katina ta' kustodja hija awditabbli. Il-konformità hija indirizzata fl-arkitettura aktar milli miżjuda permezz ta' dashboard.

9,473 QPS b'sejħa lura ta' 1.000 fuq DBpedia 100K, mingħajr GPU fil-ġirja.

Hybrid-MultiQ f'10K dokumenti, sejħa lura ta' 1.000.

9,473 mistoqsijiet kull sekonda b'sejħa lura ta' 1.000 fuq DBpedia 100K, f'19 MB fuq desktop i9-13900KF b'AVX2 u mingħajr GPU fil-ġirja. Il-magna semantika taħt l-istack Dweve.

Riżultat deterministiku li tista' tispjega aktar tard.

Il-korpus jibqa' fuq magni li tikkontrolla int.

Irkupru fuq il-mogħdija tat-talba, mhux xogħol bil-lott.

Żomm il-fajls u l-mappa tat-tifsira fissi, u l-ordni tista' tiġi riprodotta.

L-istess stat semantiku jħaddem tfittxija ta' xebh, tqabbil ta' passaġġi b'ħafna vetturi, tfittxija ffiltrata b'metadejta, sejbien ta' duplikati, clustering, prototipi ta' daqqa waħda u grounding RAG. It-tfittxija hija l-mistoqsija viżibbli. Is-sottostrat riutilizzabbli taħtha huwa l-valur.

Kodifikatur HDC, indiċi LSH, distanza SIMD

Kaxxa Rust, CLI, C ABI stabbli, bini WASM u bindings Python permezz ta' maturin. L-SDK huwa l-mogħdija fil-proċess, is-server jesponi konfini kondiviż b'awtentikazzjoni u osservabilità, u l-bindings jaqsmu f'lingwi eżistenti mingħajr ma jerġgħu jimplimentaw ir-rappreżentazzjoni. WASM iġib stati iżgħar kompatibbli f'eżekuzzjoni fuq in-naħa tal-browser. Kull wiċċ iġorr l-istess stat semantiku, l-istess kuntratti tal-indiċi u l-istess tweġibiet ordnati, verifikati kontra bażi ta' konformità waħda sabiex il-magna ma takkwistax tifsira ġdida għal kull klijent.

Partizzjonar ta' bidu kiesaħ għal settijiet ta' dejta kbar ħafna.

Sejħa lura aġġustabbli, familji ta' bbands multipli.

Kandidati LSH flimkien ma' rescore eżatt. Default għal tfittxija eżatta.

Skan eżatt SIMD, mistoqsijiet f'lottijiet. Sejħa lura ta' 1.000.

BruteForce-MultiQ għal korpora eżatti u stretti, Hybrid-MultiQ għal sejħa lura eżatta fuq skala akbar, u backends LSH u IVF aġġustabbli għall-akbar korpora. Kull indiċi huwa familja ta' operazzjoni waħda fuq l-istess ipervetturi.

L-istess kuntratt semantiku marbut, fuq CPUs standard li diġà għandek, jirritorna l-istess riżultat ordnat.

Ippakkja l-kuntest. Irbot ir-relazzjoni. Ibdel l-ordni. Qabbel ir-riżultat.

Ipervetturi binarji jġorru t-tifsira semantika bħala bits ippakkjati. Sorsi esterni b'punt li jvarja jgħaddu minn konfini ddikjarat ta' konverżjoni f'direzzjoni waħda; ir-rappreżentazzjoni nattiva u t-tqabbil u l-iskorjar interni kollha jibqgħu binarji jew b'punt fiss.

XOR għal kull par, kodifikazzjoni ta' ċavetta/valur.

Maġġoranza tal-bits, kodifikazzjoni ta' sett.

HDC jikkodifika t-tifsira f'eluf ta' dimensjonijiet binarji fejn l-ippakkjar jaqbad settijiet, l-irbit jaqbad pari u l-permutazzjoni taqbad l-ordni. Ir-riżultat huwa ipervettur wieħed ta' wisa' fissa li jidħol fi ftit linji tal-cache. Modalitajiet fil-livell ta' dokument u fil-livell ta' token jikkoeżistu, għalhekk dokument sħiħ jista' jippakkja f'vettur wieħed jew iżomm sett ta' vetturi ta' token għal interazzjoni tard. Ir-rappreżentazzjoni tibqa' simili taħt ħoss ta' bits modest, għalhekk l-istess kostruzzjoni tibqa' ħajja taħt perturbazzjonijiet żgħar mingħajr ma twessa' l-vettur jew iżżid tensor pożizzjonali separat.

Distanza XNOR u POPCNT, l-aqwa k murija.

Il-mistoqsija tiġi hashed ukoll, timxi biss fuq buckets li jaqblu.

Familji LSH jaghmlu hash ta' ipervetturi f'buckets.

Dokument f'ipervettur binarju permezz ta' pakkjar u rbit.

L-input isir ipervettur binarju. Ippakkja, irbot u permuta jikkomponu settijiet, rwoli u ordni qabel ma tiġri kwalunkwe mistoqsija. Indiċi, filtri u reranking jorganizzaw kandidati mingħajr ma jiddefinixxu mill-ġdid it-tip. L-istat .bwks jippersisti l-codebook, il-vetturi, il-metadata u l-provenjenza flimkien. Id-dispatch SIMD jeżegwih fuq il-hardware li diġà għandek, u RAG jew tqabbil dirett huwa użu wieħed tar-riżultat. Id-direzzjoni tad-dipendenza hija intenzjonata: il-komputazzjoni qatt ma timporta tħassib tal-applikazzjoni, l-encoders jistgħu jinbidlu mingħajr ma jmissu l-kernels tal-indiċi, u t-tip jaqsam kull saff. L-API tal-mistoqsijiet huwa l-aħħar saff, mhux il-prodott.

Il-migrazzjoni hija proġett ta' kwart ta' sena.

L-istess mistoqsija, tweġiba differenti l-ġimgħa d-dieħla.

Għal kull mistoqsija plus għal kull GB plus għal kull dokument indiċjat.

In-nofs semantiku tal-istack AI huwa fornut minn katina ta' fornituri. Wieħed jinkorpora l-kontenut, wieħed jaħżen il-vetturi, wieħed jagħżel il-kandidati, wieħed jerġa' jikklassifikahom, u mudell idawwar ir-riżultat fi proża. Kull saff ibiddel il-mudell, l-indiċi, il-prezz u r-reġjun tiegħu b'mod indipendenti, u ħadd ma jista' jsemmi l-istat semantiku sħiħ.

BitWeave jibdel test, stampi, awdjo, u vetturi eżistenti f'hypervectors binarji ta' wisa' fissa: tip semantiku nattiv b'alġebra li tista' tikkomponi, tqabbel, tindika, tiffiltra, tikklassifika, taħżen, u tmexxi kullimkien. It-tfittxija hija operazzjoni waħda. RAG huwa applikazzjoni waħda.

Id-dejta tibqa' fil-ġuriżdizzjoni li tagħżel. Il-katina ta' kustodja hija awditabbli. Il-konformità hija indirizzata fl-arkitettura aktar milli miżjuda permezz ta' dashboard, sabiex kull obbligu li reviżjoni tqajjem ikollu tweġiba strutturali aktar milli wegħda.

Ladarba BitWeave jippubblika, indikah lejn folder wieħed u ibni l-ewwel stat semantiku mingħajr ma tiddependi fuq servizz estern.

Folder tal-fajls tiegħek stess. Jibqgħu eżatt fejn huma, fuq in-naħa tiegħek tal-ħajt.

Is-servers jew il-kompjuters standard li diġà tmexxi. L-ebda GPU, xejn speċjalizzat x'tixtri.

L-adozzjoni ma tfissirx programm ta' migrazzjoni. L-istess engine jaħdem bi tliet modi: ġewwa għodda li l-istaff tiegħek diġà juża, bħala servizz intern kondiviż wieħed għal kull tim, jew offline fuq magna waħda għall-materjal l-aktar sensittiv. Stat semantiku kompatibbli jiċċaqlaq bejn it-tlieta, għalhekk l-ewwel għażla qatt ma hija bieb ta' direzzjoni waħda.