Binary Hypervector Engine in Rust | Dweve BitWeave

Grúpaíonn halgartaim de réir chineál sonraí

Píblíne eolais tógtha ar chiseal brí BitWeave.

Matamaitic shlán cheartaithe faoi BitWeave.

Foilsíonn BitWeave sa chúigiú babhta de chlár scaoilte an fhondúireachta. Tóg stát séimeantach amháin uaidh agus rith é ar LAPanna caighdeánacha.

Déan brí a ríomh, ansin cinntigh cad a thógfaidh tú leis

Formáid innéacs ar-diosca amháin trasna na dtrí cinn.

Taobh an bhrabhsálaí, stáit níos lú comhoiriúnacha, as líne.

Freastalaí TCP nó UDS, cliaint neamhspleách ar theanga.

Leabaigh go díreach i bpróiseas Rust, C, nó Python.

Ritheann BitWeave mar leabharlann in-próisis, mar fhreastalaí neamhspleách TCP nó soicéad Unix, nó tiomsaithe go WASM le haghaidh feidhmiú taobh an bhrabhsálaí thar stát níos lú comhoiriúnach. Tá formáid stáit .bwks mar an gcéanna sna trí mhodhanna; tóg ar fhreastalaí agus imlonnaigh an stát céanna chuig brabhsálaí gan atógáil.

Foilsítear admhálacha tagarmhairc leis an stór, sa chúigiú babhta

Ar rith foilsithe DBpedia 100K, d'fhill cumraíocht bheacht il-cheist BitWeave 9,473 QPS ag athghlao 1.000 i 19 MB ar dheasc i9-13900KF le 24 croíleacáin, AVX2 agus 48 GB. D'fhill an córas comparáide tomhaiste neasach dhá-giotán 3,580 QPS i 38 MB ar an óstach agus na sonraí céanna. Ag D4096 thar 10K doiciméad, choinnigh ritheanna tomhaiste Hybrid-MultiQ athghlao 1.000 ag 35,842 QPS ar shonraí randamacha, 34,459 ar shonraí cnuasaithe agus 27,828 ar shonraí díorthaithe téacs. Ag 250K doiciméad, thomhais brúfórsa beacht il-cheist 2,653 QPS ag athghlao 1.000. Is admhálacha tagarmhairc iad seo, ní gealltanais uilíocha; rith an tsraith ar do chorpas agus crua-earraí féin nuair a fhoilsíonn an stór.

Beacht ar scála an-mhór. An chuid is mó de na buicéid.

Níos mó buicéid, tacair iarrthóra níos doichte.

Athghlao maith, meánchiorcalú iarrthóra measartha.

Líon íseal iarrthóirí, an tréchur is airde.

Tá scanadh líneach tapa ar SIMD ar scála beag ach bíonn sé ina bhac ar chorpais an-mhóra. Roinneann innéacs LSH hipearveicteoirí ina mbandaí; déantar iarrthóirí a thagann salach ar a chéile in aon bhanda a scóráil go cruinn. Déanann Hybrid-MultiQ ceithre cheist a bhatcáil in aghaidh an chláir SIMD chun cruinneas iomlán a choinneáil ag tréchur. Tógtar an t-innéacs uair amháin agus déantar ceisteanna air go minic.

Aistriú timthriallach, ionchódaíonn sé ord agus suíomh.

Féin-inbheartaithe, ceanglaíonn sé eochair le luach.

Vóta tromlaigh, forshuíonn sé tacar coincheap.

Déanann doiciméad, ceist, sliocht, siombail chóid go léir ionchódú mar hipearveicteoir dénártha de thoise sheasta. Is é 4096 giotán an réamhshocrú, mar go n-oibríonn an uimhríocht randamach-teligin go maith ann agus oireann XOR agus popcount 4096-giotán go glan i gcláir AVX2, AVX-512, agus NEON. Tá an t-ionchódóir cinntitheach; táirgeann an téacs céanna an hipearveicteoir céanna ar gach rith.

Rialachas eolais tógtha ar chiseal brí BitWeave.

Páirseáil agus seoladh-ábhair roimh innéacsú.

Cur i bhfeidhm in-iniúchta, pinnáil leaganacha, agus gan aon spleáchas ar rithim dílseánaigh.

Gan aon bhriseadh soláthraí le maireachtáil tríd.

Conradh séimeantach pinnáilte, toradh ordaithe céanna ar gach freastalaí.

Cónaíonn innéacsanna ar bhonneagar atá faoi do smacht. Gan aon phróiseáil soláthraí.

Fanann sonraí sa dlínse a roghnaíonn tú. Tá an slabhra coimeádta in-iniúchta. Tugtar aghaidh ar chomhlíonadh san ailtireacht seachas trí dheais a chur leis.

9,473 QPS agus aisghairm 1.000 ar DBpedia 100K, gan GPU sa rith.

Hybrid-MultiQ ag 10K doiciméad, aisghairm 1.000.

9,473 ceist in aghaidh an tsoicind agus aisghairm 1.000 ar DBpedia 100K, i 19 MB ar dheasc i9-13900KF le AVX2 agus gan GPU sa rith. An t-inneall séimeantach faoi chruach Dweve.

Toradh cinntitheach is féidir leat a mhíniú níos déanaí.

Fanann an corpas ar mheaisíní atá faoi do smacht.

Aisghabháil ar chonair an iarratais, ní post baisc.

Coinnigh na comhaid agus an léarscáil bhrí seasta, agus is féidir an t-ord a atáirgeadh.

Cumhachtaíonn an staid shéimeantach chéanna cuardach cosúlachta, meaitseáil sleachta ilveicteora, cuardach scagtha de réir meiteashonraí, braite dúblach, grúpáil, fréamhshamhlacha aonuaire agus bunús RAG. Is é an cuardach an cheist infheicthe. Is é an tsubstrát ath-inúsáidte faoi bhun é an luach.

Crate Rust, CLI, C ABI cobhsaí, tógáil WASM agus ceangail Python trí maturin. Is é an SDK an cosán inphróisis, nochtann an freastalaí teorainn chomhroinnte le fíordheimhniú agus breathnóireacht, agus trasnaíonn na ceangail isteach i dteangacha atá ann cheana gan an léiriú a athchur i bhfeidhm. Tugann WASM stáit níos lú comhoiriúnacha isteach i bhforghníomhú taobh an bhrabhsálaí. Iompraíonn gach dromchla an staid shéimeantach chéanna, na conarthaí innéacs céanna agus na freagraí ordaithe céanna, fíoraithe i gcoinne bonnlíne chomhfhoirmeachta amháin ionas nach bhfaigheann an t-inneall brí nua in aghaidh an chliaint.

Staid shéimeantach amháin, gach dromchla

Deighilt tosaithe fuar do thacair sonraí an-mhór.

Aisghairm inchoigeartaithe, teaghlaigh bhanda iolracha.

Iarrthóirí LSH móide athscóráil bheacht. Réamhshocrú le haghaidh cuardaigh bheacht.

Scanadh SIMD beacht, ceisteanna baisceáilte. Aisghairm 1.000.

BruteForce-MultiQ le haghaidh corpas beacht, daingean, Hybrid-MultiQ le haghaidh aisghairm bheacht ar scála níos mó, agus cúlchríocha LSH agus IVF inchoigeartaithe do na corpas is mó. Is teaghlach oibríochta amháin é gach innéacs thar na hipearveicteoirí céanna.

An conradh seimeantach céanna pinned, ar LAPanna caighdeánacha atá agat cheana féin, a thugann an toradh ordaithe céanna.

Bailigh an comhthéacs. Ceangail an gaol. Athraigh an t-ord. Déan comparáid idir na torthaí.

Iompraíonn hipearveachtóirí dénártha brí sheimeantach mar ghiotáin phacáilte. Trasnaíonn foinsí snámhphointe seachtracha teorainn chomhshó aontaobhach dhearbhaithe; fanann an léiriú dúchasach agus gach comparáid agus scóráil inmheánach dénártha nó pointe seasta.

XOR in aghaidh an phéire, ionchódú eochair/luach.

Ionchódaíonn HDC brí thar na mílte toise dénártha ina ngabhann bundáil tacair, ina gceanglaíonn ceangal péirí agus ina ngabhann athrú ord. Is é an toradh hipearveachtóir aonair leithead seasta a oireann i gcúpla líne taisce. Maireann modhanna leibhéal doiciméid agus leibhéal comhartha le chéile, mar sin is féidir doiciméad iomlán a bhailiú in aon veicteoir amháin nó sraith veicteoirí comhartha a choinneáil le haghaidh idirghníomhú déanach. Fanann an léiriú cosúil faoi thorann beag giotán, mar sin maireann an tógáil chéanna faoi chur isteach beag gan an veicteoir a leathnú ná teannsóir suímh ar leith a chur leis.

Hasáiltear ceisteanna freisin, siúlann sé ach na buicéid mheaitseála.

Hasáileann teaghlaigh LSH hipearveachtóirí i mbuicéid.

Doiciméad isteach i hipearveachtóir dénártha trí bhundáil agus cheangal.

Ionchódaítear ionchur mar hipearveachtóir dénártha. Cumann bundáil, ceangal agus athrú ord tacair, róil agus ord sula ritheann aon cheist. Eagraíonn innéacsanna, scagairí agus athrangáil iarrthóirí gan an cineál a athshainiú. Maireann an stát .bwks an códleabhar, na veicteoirí, na meiteashonraí agus an bunús le chéile. Seolann seoladh SIMD é ar na crua-earraí atá agat cheana féin, agus is úsáid amháin den toradh é RAG nó meaitseáil dhíreach. Tá treo an spleáchais d'aon ghnó: ní ionpórtálann ríomhaireacht ábhair fheidhmchláir, is féidir le hionchódóirí athrú gan na croíleacáin innéacs a bhaint, agus trasnaíonn an cineál gach ciseal. Is é an API ceiste an ciseal deireanach, ní an táirge.

Ceist chéanna, freagra difriúil an tseachtain seo chugainn.

In aghaidh na ceiste móide in aghaidh an GB móide in aghaidh an doiciméid innéacsaithe.

Maireann innéacsanna áit a dteastaíonn ón díoltóir.

Soláthraítear lár seimeantach an chruach AI ag slabhra soláthraithe. Ionchódaíonn ceann an t-ábhar, stórálann ceann na veicteoirí, roghnaíonn ceann iarrthóirí, athrangálann ceann iad, agus casann samhail an toradh ina phrós. Athraíonn gach ciseal a mhúnla, a innéacs, a phraghas agus a réigiún go neamhspleách, agus ní féidir le héinne an stát seimeantach iomlán a ainmniú.

Sáithíonn sé SIMD ar ghnáthchrua-earraí.

Déanann BitWeave téacs, íomhánna, fuaim, agus veicteoirí atá ann cheana a iompú ina hipearveicteoirí dénártha leithead seasta: cineál dúchasach séimeantach le halgéabar is féidir leat a chumadh, a chur i gcomparáid, a innéacsú, a scagadh, a rangú, a stóráil, agus a rith áit ar bith. Is oibríocht amháin é cuardach. Is feidhmchlár amháin é RAG.

Fanann sonraí sa dlínse a roghnaíonn tú. Tá an slabhra coimeádta iniúchta. Tugtar aghaidh ar chomhlíonadh san ailtireacht seachas trí dheais a chur leis, mar sin tá freagra struchtúrach ar gach oibleagáid a ardaíonn athbhreithniú, seachas gealltanas.

Nuair a fhoilsíonn BitWeave, dírítear ar fhillteán amháin é agus tógtar an chéad stát séimeantach gan brath ar sheirbhís sheachtrach.

Fillteán de do chuid comhad féin. Fanann siad díreach mar atá siad, ar do thaobh féin den bhalla.

Na freastalaithe nó na ríomhairí caighdeánacha a ritheann tú cheana féin. Gan GPU, gan aon rud speisialta le ceannach.

Ní chiallaíonn glacadh clár imirce. Ritheann an t-inneall céanna ar thrí bhealach: taobh istigh d'uirlis a úsáideann do chuid fostaithe cheana féin, mar sheirbhís inmheánach chomhroinnte amháin do gach foireann, nó as líne ar mheaisín amháin don ábhar is íogaire. Bogann stát séimeantach comhoiriúnach idir na trí cinn, mar sin ní doras aontreo é an chéad rogha riamh.