Binary Hypervector Engine in Rust | Dweve BitWeave

Skupine algoritmov glede na vrsto podatkov

Znanstvena cevovod, zgrajen na BitWeave pomenu plasti.

Pravilno zaokrožena matematika pod BitWeave.

BitWeave objavlja v petem krogu programa izdaj fundacije. Zgradi eno semantično stanje iz tega in ga zaženi na standardnih procesorjih.

Naredi pomen izračunljiv, nato se odloči, kaj z njim zgraditi

Na strani brskalnika, združljiva manjša stanja, brez povezave.

Strežnik TCP ali UDS, jezikovno neodvisni odjemalci.

Vgradi neposredno v proces Rust, C ali Python.

BitWeave deluje kot knjižnica v procesu, kot samostojen strežnik TCP ali Unix-socket, ali pa je preveden v WASM za izvajanje na strani brskalnika nad združljivim manjšim stanjem. Format stanja .bwks je enak v vseh treh načinih; zgradi na strežniku in razporedi isto stanje v brskalnik brez ponovnega prevajanja.

Potrdila o uspešnosti se objavijo z repozitorijem, v petem krogu

Na objavljenem DBpedia 100K zagonu je BitWeave natančna konfiguracija z več poizvedbami vrnila 9.473 poizvedb/s pri priklicu 1.000 v 19 MB na namizju i9-13900KF s 24 jedri, AVX2 in 48 GB. Izmerjeni sistem približne primerjave z dvema bitoma je vrnil 3.580 poizvedb/s v 38 MB na istem gostitelju in podatkih. Pri D4096 nad 10K dokumenti so izmerjeni Hybrid-MultiQ zagoni ohranili priklic 1.000 pri 35.842 poizvedbah/s na naključnih podatkih, 34.459 na gručastih podatkih in 27.828 na podatkih iz besedila. Pri 250K dokumentih je natančna večpoizvedbena surova sila izmerila 2.653 poizvedb/s pri priklicu 1.000. To so potrdila o uspešnosti, ne univerzalne obljube; ponovno zaženi nabor na svojem korpusu in strojni opremi, ko repozitorij objavi.

Natančno pri zelo velikem obsegu. Največ predalov.

Dober priklic, zmerno menjavanje kandidatov.

Nizko število kandidatov, največja prepustnost.

Linearno skeniranje je hitro na SIMD pri majhnem obsegu, vendar postane ozko grlo pri zelo velikih korpusih. Indeks LSH razdeli hipervektorje na pasove; kandidati, ki trčijo v katerem koli pasu, so natančno ocenjeni. Hybrid-MultiQ paketno procesira štiri poizvedbe na SIMD register, da ohrani natančno priklic pri prepustnosti. Indeks se zgradi enkrat in se poizveduje večkrat.

Sub-linearno generiranje kandidatov v obsegu

Ciklični premik, kodira vrstni red in položaj.

Večinsko glasovanje, superponira nabor konceptov.

Dokument, poizvedba, odlomek, simbol kode se vsi kodirajo kot binarni hipervektor fiksne dimenzije. Privzeta vrednost je 4096 bitov, ker je aritmetika naključne projekcije tam dobro pogojena in 4096-bitni XOR in popcount se lepo prilegata v registre AVX2, AVX-512 in NEON. Kodirnik je determinističen; isti tekst proizvede isti hipervektor pri vsakem zagonu.

Upravljanje znanja, zgrajeno na pomenskem sloju BitWeave.

Omejitveni mehanizem nad pridobljenimi dejstvi.

Razčleni in naslovi po vsebini pred indeksiranjem.

Pregledna implementacija, zaklepanje različic in brez lastniške odvisnosti od izvajalnega okolja.

Brez izpada pri ponudniku, ki bi ga bilo treba prebroditi.

Zaklenjena pomenska pogodba, enak urejen rezultat na vsakem strežniku.

Akt EU o umetni inteligenci, preglednost

Indeksi živijo na infrastrukturi, ki jo nadzorujete. Brez obdelave pri ponudniku.

Podatki ostanejo v jurisdikciji, ki jo izberete. Veriga skrbništva je revidirana. Skladnost je obravnavana v arhitekturi in ne dodana prek nadzorne plošče.

Natančno, ohranjeno pri izmerjenih obsegih.

9.473 QPS pri priklicu 1.000 na DBpedia 100K, brez GPE v izvajanju.

Hybrid-MultiQ pri 10K dokumentih, priklic 1.000.

9.473 poizvedb na sekundo pri priklicu 1.000 na DBpedia 100K, v 19 MB na namizju i9-13900KF z AVX2 in brez GPE v izvajanju. Semantični pogon pod skladom Dweve.

Determinističen rezultat, ki ga lahko kasneje pojasnite.

Korpus ostane na napravah, ki jih nadzorujete.

Pridobivanje na poti zahteve, ne paketno opravilo.

Ohranite datoteke in zemljevid pomenov nespremenjene, vrstni red pa je mogoče ponoviti.

Isto semantično stanje poganja iskanje podobnosti, večvektorsko ujemanje odlomkov, iskanje z metapodatkovnimi filtri, odkrivanje dvojnikov, združevanje v gruče, prototipe v enem poskusu in utemeljevanje RAG. Iskanje je vidna poizvedba. Ponovno uporabna podlaga pod njim je vrednost.

Rust crate, CLI, stabilen C ABI, WASM gradnja in Python povezave prek maturin. SDK je pot znotraj procesa, strežnik izpostavlja skupno mejo z avtentikacijo in opazovanjem, povezave pa prečkajo v obstoječe jezike brez ponovne implementacije predstavitve. WASM prinaša združljiva manjša stanja v izvajanje v brskalniku. Vsaka površina nosi isto semantično stanje, iste indeksne pogodbe in iste urejene odgovore, preverjene proti eni sami osnovi skladnosti, tako da pogon ne dobi novega pomena za vsako stranko.

Razdelitev ob hladnem zagonu za zelo velike nabore podatkov.

LSH kandidati plus natančno ponovno ocenjevanje. Privzeto za natančno iskanje.

Natančen SIMD pregled, paketne poizvedbe. Priklic 1.000.

BruteForce-MultiQ za natančne, tesne korpuse, Hybrid-MultiQ za natančen priklic pri večjem obsegu ter prilagodljiva LSH in IVF zaledja za največje korpuse. Vsak indeks je ena družina operacij nad istimi hipervektorji.

Isti pripeti semantični dogovor na standardnih procesorjih, ki jih že imate, vrne isti urejeni rezultat.

Združite kontekst. Povežite razmerje. Premešajte vrstni red. Primerjajte rezultat.

Binarni hipervektorji nosijo semantični pomen kot pakirani biti. Zunanji viri s plavajočo vejico prečkajo deklarirano enosmerno pretvorbeno mejo; izvorna predstavitev ter vse notranje primerjave in ocenjevanje ostanejo binarne ali s fiksno vejico.

XOR za vsak par, kodiranje ključ/vrednost.

HDC kodira pomen v tisočih binarnih dimenzij, kjer združevanje zajema množice, povezovanje zajema pare in premikanje zajema vrstni red. Rezultat je en sam hipervektor s fiksno širino, ki se prilega v nekaj vrstic predpomnilnika. Načina na ravni dokumenta in na ravni žetona sobivata, tako da se lahko celoten dokument združi v en vektor ali pa ohrani niz žetonskih vektorjev za pozno interakcijo. Predstavitev ostane podobna ob manjšem bitnem šumu, zato ista konstrukcija preživi majhne motnje brez širjenja vektorja ali dodajanja ločenega pozicijskega tenzorja.

Razdalja XNOR in POPCNT, prikazanih top-k.

Poizvedba se prav tako zgoščuje, sprehodi se samo po ustreznih predalih.

Družine LSH zgoščujejo hipervektorje v predele.

Dokument v binarni hipervektor z združevanjem in povezovanjem.

Vhod postane binarni hipervektor. Združevanje, povezovanje in premikanje sestavljajo množice, vloge in vrstni red, preden se izvede katera koli poizvedba. Indeksi, filtri in ponovno razvrščanje organizirajo kandidate brez ponovne opredelitve tipa. Stanje .bwks trajno shranjuje kodno knjigo, vektorje, metapodatke in izvor skupaj. Razpošiljanje SIMD ga izvaja na strojni opremi, ki jo že imate, RAG ali neposredno ujemanje pa je ena od uporab rezultata. Smer odvisnosti je premišljena: računanje nikoli ne uvaža aplikacijskih skrbi, kodirniki se lahko spremenijo brez dotikanja indeksnih jeder, tip pa prečka vsako plast. API za poizvedbe je zadnja plast, ne izdelek.

Organiziraj. Trajno shrani. Izvedi. Uporabi

Migracija je projekt, ki traja četrtletje.

Ista poizvedba, drugačen odgovor naslednji teden.

Na poizvedbo plus na GB plus na indeksiran dokument.

Indeksi živijo tam, kjer želi prodajalec.

Semantično sredino sklada umetne inteligence oskrbuje veriga ponudnikov. Eden vdeluje vsebino, eden shranjuje vektorje, eden izbira kandidate, eden jih ponovno razvršča, model pa rezultat spremeni v prozo. Vsaka plast neodvisno spreminja svoj model, indeks, ceno in regijo, nihče pa ne more poimenovati celotnega semantičnega stanja.

BitWeave pretvori besedilo, slike, zvok in obstoječe vektorje v bitne hipervektorje s fiksno širino: domači semantični tip z algebro, ki jo lahko sestavljate, primerjate, indeksirate, filtrirate, razvrščate, shranjujete in izvajate kjer koli. Iskanje je ena operacija. RAG je ena aplikacija.

Podatki ostanejo v jurisdikciji, ki jo izberete. Veriga skrbništva je revidirana. Skladnost je obravnavana v arhitekturi in ne dodana prek nadzorne plošče, tako da ima vsaka obveznost, ki jo pregled sproži, strukturni odgovor in ne obljubo.

Ko BitWeave objavite, ga usmerite na eno mapo in zgradite prvo semantično stanje brez zanašanja na zunanjo storitev.

Mapa z vašimi datotekami. Ostanejo točno tam, kjer so, na vaši strani stene.

Standardni strežniki ali računalniki, ki jih že uporabljate. Brez GPE, nič posebnega za nakup.

Uvedba ne pomeni programa selitve. Isti pogon deluje na tri načine: znotraj orodja, ki ga vaši zaposleni že uporabljajo, kot ena skupna notranja storitev za vse ekipe ali brez povezave na enem računalniku za najobčutljivejše gradivo. Združljivo semantično stanje se premika med vsemi tremi, zato prva izbira nikoli ni enosmerna vrata.

En fiksni semantični dogovor, reproduciran na vsakem podprtem računalniku.

Licencirana koda, ki jo lahko obdržite in premikate, brez strahu pred zaustavitvijo.

Brez plačila na poizvedbo in brez specializirane flote pospeševalnikov; obratovalni strošek je standardna infrastruktura CPE, ki jo izberete.

Jurisdikcijo izberete vi, ne oddaljeni prodajalec.