Binary Hypervector Engine in Rust | Dweve BitWeave

A BitWeave jelentésrétegre épülő tudáscsővezeték.

Helyesen kerekített matematika a BitWeave alatt.

A BitWeave az alapítványi kiadási program ötödik körében jelenik meg. Építs belőle egyetlen szemantikus állapotot, és futtasd szabványos CPU-kon.

Tedd számíthatóvá a jelentést, aztán döntsd el, mit építesz vele

Egyetlen lemezalapú indexformátum mindháromhoz.

Böngészőoldali, kompatibilis kisebb állapotokkal, offline.

TCP vagy UDS szerver, nyelvfüggetlen kliensek.

Beágyazható közvetlenül Rust, C vagy Python folyamatba.

A BitWeave futhat beágyazott könyvtárként, önálló TCP vagy Unix-socket szerverként, vagy WASM-re fordítva böngészőoldali végrehajtásra kompatibilis kisebb állapot felett. A .bwks állapotformátum mindhárom módban azonos; építs szerveren, és telepítsd ugyanazt az állapotot böngészőbe újraépítés nélkül.

A benchmark-nyugták az ötödik körben jelennek meg a repóval együtt

A közzétett DBpedia 100K futtatáson a BitWeave pontos többlekérdezéses konfigurációja 9 473 QPS-t ért el 1.000 recall mellett 19 MB-on egy i9-13900KF asztali gépen 24 maggal, AVX2-vel és 48 GB RAM-mal. A mért kétbites közelítő összehasonlító rendszer 3 580 QPS-t adott 38 MB-on ugyanazon a gépen és adaton. D4096 mellett 10K dokumentumon a mért Hybrid-MultiQ futtatások 1.000 recallt tartottak 35 842 QPS-nél véletlen adaton, 34 459-nél klaszterezett adaton és 27 828-nál szövegből származtatott adaton. 250K dokumentumnál a pontos többlekérdezéses nyers erő 2 653 QPS-t mért 1.000 recall mellett. Ezek benchmark-nyugták, nem univerzális ígéretek; futtasd újra a tesztcsomagot a saját korpuszodon és hardvereden, amint a repó megjelenik.

Pontos nagyon nagy méretben. A legtöbb vödör.

Alacsony jelöltszám, legnagyobb átbocsátás.

A lineáris keresés SIMD-n kis méretben gyors, de nagyon nagy korpuszoknál szűk keresztmetszetté válik. Az LSH-index hipervektorokat sávokra bont; a jelöltek, amelyek bármelyik sávban ütköznek, pontosan kerülnek kiértékelésre. A Hybrid-MultiQ négy lekérdezést kötegel SIMD-regiszterenként, hogy az átviteli sebesség mellett pontos találati arányt tartson. Az index egyszer épül fel, és sokszor lekérdezik.

Szublineáris jelöltgenerálás nagy méretben

Ciklikus eltolás, sorrendet és pozíciót kódol.

Többségi szavazás, fogalmak halmazát szuperponálja.

Egy dokumentum, egy lekérdezés, egy szakasz, egy kódszimbólum mind bináris hipervektorként kódolódik rögzített dimenzióval. Az alapértelmezés 4096 bit, mert ott a véletlen vetítés aritmetikája jól viselkedik, és egy 4096 bites XOR és popcount tisztán elfér az AVX2, AVX-512 és NEON regiszterekben. A kódoló determinisztikus; ugyanaz a szöveg minden futtatáskor ugyanazt a hipervektort eredményezi.

A BitWeave jelentésrétegre épülő tudásirányítás.

Kényszermotor a lekérdezett tények felett.

Elemzés és tartalomcímzés az indexelés előtt.

Átlátható implementáció, verziórögzítés és nincs védett futásidejű függőség.

Nincs szállítói leállás, amit ki kell várni.

Rögzített szemantikai szerződés, ugyanaz a rendezett eredmény minden szerveren.

Az indexek az Ön által felügyelt infrastruktúrán élnek. Nincs szállítói feldolgozás.

Az adatok az Ön által választott joghatóságban maradnak. A felügyeleti lánc auditálható. A megfelelőség az architektúrában van kezelve, nem pedig egy irányítópulton keresztül hozzáadva.

9 473 QPS 1,000-es recall mellett a DBpedia 100K-n, GPU nélkül a futtatásban.

Hybrid-MultiQ 10K dokumentumnál, 1,000-es recall.

9 473 lekérdezés másodpercenként 1,000-es recall mellett a DBpedia 100K-n, 19 MB-on egy i9-13900KF asztali gépen AVX2-vel és GPU nélkül a futtatásban. A Dweve-verem mögötti szemantikus motor.

Determinisztikus eredmény, amit később meg tudsz magyarázni.

A korpusz az általad felügyelt gépeken marad.

Lekérdezés a kérési útvonalon, nem kötegelt feladat.

Ha a fájlokat és a jelentéstérképet rögzíted, a sorrend reprodukálható.

Mire van szüksége az egyes forgatókönyveknek

Ugyanaz a szemantikus állapot hajtja a hasonlóságkeresést, a többvektoros szakaszegyezést, a metaadatszűrt keresést, a duplikátumfelismerést, a klaszterezést, az egylépéses prototípusokat és a RAG-megalapozást. A keresés a látható lekérdezés. Az alatta lévő újrahasznosítható alapréteg a valódi érték.

Egy Rust-csomag, egy CLI, egy stabil C ABI, egy WASM-build és Python-kötések a maturin segítségével. Az SDK a folyamaton belüli út, a szerver megosztott határt biztosít hitelesítéssel és megfigyelhetőséggel, a kötések pedig átjárnak a meglévő nyelvekbe anélkül, hogy újraimplementálnák a reprezentációt. A WASM kompatibilis kisebb állapotokat hoz a böngészőoldali végrehajtásba. Minden felület ugyanazt a szemantikus állapotot, ugyanazokat az indexszerződéseket és ugyanazokat a rendezett válaszokat hordozza, egyetlen konformitási alapvonal ellen ellenőrizve, így a motor nem kap új jelentést minden kliensnél.

Egy szemantikus állapot, minden felületen

Hidegindításos particionálás nagyon nagy adathalmazokhoz.

LSH-jelöltek plusz pontos újraértékelés. Alapértelmezett a pontos kereséshez.

Pontos SIMD-vizsgálat, kötegelt lekérdezések. 1,000-es recall.

BruteForce-MultiQ a pontos, szoros korpuszokhoz, Hybrid-MultiQ a pontos recallhoz nagyobb méretben, és állítható LSH- és IVF-háttérrendszerek a legnagyobb korpuszokhoz. Minden index egy műveletcsalád ugyanazokon a hipervektorokon.

Ugyanaz a rögzített szemantikai szerződés a meglévő szabványos CPU-kon ugyanazt a rendezett eredményt adja vissza.

Kötegelje a kontextust. Kösse össze a kapcsolatot. Permutálja a sorrendet. Hasonlítsa össze az eredményt.

A bináris hipervektorok szemantikai jelentést hordoznak tömörített bitekként. A külső lebegőpontos források egy deklarált egyirányú konverziós határt lépnek át; a natív reprezentáció és minden belső összehasonlítás és pontozás bináris vagy fixpontos marad.

A HDC több ezer bináris dimenzión keresztül kódol jelentést, ahol a kötegelés halmazokat, a kötés párokat, a permutáció pedig sorrendet ragad meg. Az eredmény egyetlen rögzített szélességű hipervektor, amely néhány gyorsítósorba elfér. A dokumentum- és token-szintű módok együtt élnek, így egy teljes dokumentum egy vektorba kötegelhető, vagy tokenvektorok halmazaként tartható fenn a késői interakcióhoz. A reprezentáció hasonló marad mérsékelt bitzaj mellett, így ugyanaz a konstrukció túléli a kis perturbációkat a vektor szélesítése vagy külön pozíciós tenzor hozzáadása nélkül.

XNOR és POPCNT távolság, top-k felszínre hozva.

A lekérdezés is hash-el, csak a megfelelő kosarakat járja be.

Az LSH családok hipervektorokat hash-elnek kosarakba.

Dokumentum bináris hipervektorrá kötegeléssel és kötéssel.

Dokumentumtól lekérdezésig, ezredmásodperc alatt

A bemenet bináris hipervektorrá válik. A kötegelés, kötés és permutáció halmazokat, szerepeket és sorrendet állít össze, mielőtt bármilyen lekérdezés futna. Az indexek, szűrők és újrarangsorolás rendezik a jelölteket a típus újradefiniálása nélkül. A .bwks állapot együtt tárolja a kódkönyvet, a vektorokat, a metaadatokat és a származást. A SIMD diszpécselés a meglévő hardveren hajtja végre, és a RAG vagy a közvetlen egyezés az eredmény egyik felhasználása. A függőségi irány szándékos: a számítás soha nem importál alkalmazásszempontokat, a kódolók változhatnak anélkül, hogy az indexmagokat érintenék, és a típus minden rétegen áthalad. A lekérdezési API az utolsó réteg, nem a termék.

Rendezzen. Tároljon. Hajtson végre. Használjon

Ugyanaz a lekérdezés, más válasz a jövő héten.

Lekérdezésenként plusz GB-enként plusz indexelt dokumentumonként.

Az indexek ott élnek, ahol a szállító akarja.

Az AI-verem szemantikai középső rétegét szolgáltatók lánca biztosítja. Az egyik beágyazza a tartalmat, egy másik tárolja a vektorokat, egy harmadik kiválasztja a jelölteket, egy negyedik újrarangsorolja őket, és egy modell prózává alakítja az eredményt. Minden réteg önállóan változtatja a modelljét, indexét, árát és régióját, és senki sem tudja megnevezni a teljes szemantikai állapotot.

A BitWeave szöveget, képet, hangot és meglévő vektorokat alakít rögzített szélességű bináris hipervektorokká: egy natív szemantikai típus, amelynek algebrájával összeállíthat, összehasonlíthat, indexelhet, szűrhet, rangsorolhat, tárolhat és bárhol futtathat. A keresés egyetlen művelet. A RAG egyetlen alkalmazás.

Az adatok az Ön által választott joghatóságban maradnak. A kezelési lánc auditálható. A megfelelőség az architektúrában van kezelve, nem pedig egy irányítópulton keresztül hozzáadva, így minden, amit egy felülvizsgálat felvet, strukturális választ kap ígéret helyett.

Amint a BitWeave megjelenik, mutasson rá egy mappára, és hozza létre az első szemantikai állapotot külső szolgáltatásra való támaszkodás nélkül.

Egy mappa a saját fájljaival. Pontosan ott maradnak, ahol vannak, a falon az Ön oldalán.

A szabványos szerverek vagy számítógépek, amelyeket már futtat. GPU nélkül, semmi különlegeset nem kell vásárolni.

Az átvétel nem jelent migrációs programot. Ugyanaz a motor háromféleképpen fut: egy olyan eszközben, amelyet a munkatársai már használnak, egy megosztott belső szolgáltatásként minden csapat számára, vagy offline egyetlen gépen a legérzékenyebb anyagokhoz. A kompatibilis szemantikai állapot mindhárom között mozog, így az első választás soha nem egyirányú ajtó.