Binary Hypervector Engine in Rust | Dweve BitWeave

Познавателен тръбопровод, изграден върху смисловия слой на BitWeave.

Математика с правилно закръгляване в основата на BitWeave.

BitWeave публикува в петия кръг на програмата за издаване на фондацията. Изгради едно семантично състояние от него и го стартирай на стандартни процесори.

Направи смисъла изчислим, после реши какво да изградиш с него

Единен индексен формат на диска за всичките три.

От страна на браузъра, съвместими по-малки състояния, офлайн.

TCP или UDS сървър, клиенти без значение на езика.

Вграждане директно в процес на Rust, C или Python.

BitWeave работи като библиотека в процеса, като самостоятелен TCP или Unix-socket сървър, или компилиран до WASM за изпълнение от страна на браузъра върху съвместимо по-малко състояние. Форматът на състоянието .bwks е един и същ в трите режима; изгради на сървър и разположи същото състояние в браузър без преизграждане.

Доказателствата от бенчмарковете се публикуват с хранилището, в петия кръг

При публикувания прогон на DBpedia 100K, точната многозаявкова конфигурация на BitWeave върна 9 473 QPS при recall 1.000 в 19 MB на i9-13900KF десктоп с 24 ядра, AVX2 и 48 GB. Измерената двубитова система за приблизително сравнение върна 3 580 QPS в 38 MB на същия хост и данни. При D4096 върху 10K документа, измерените прогони на Hybrid-MultiQ задържаха recall 1.000 при 35 842 QPS върху случайни данни, 34 459 върху групирани данни и 27 828 върху данни от текст. При 250K документа, точният многозаявков груб претърсване измери 2 653 QPS при recall 1.000. Това са доказателства от бенчмаркове, не универсални обещания; пусни отново пакета върху собствен корпус и хардуер, след като хранилището публикува.

върху 10K документа. Потребителски процесор

Точност при много голям мащаб. Повечето кофи.

Повече кофи, по-тесни кандидатски множества.

Добър recall, умерено претърсване на кандидати.

Малък брой кандидати, най-висока пропускателна способност.

Линейното сканиране е бързо със SIMD при малък мащаб, но се превръща в тясното място при много големи корпуси. LSH индексът разделя хипервекторите на ленти; кандидати, които съвпадат в която и да е лента, се оценяват точно. Хибридният MultiQ групира четири заявки на SIMD регистър, за да запази точната припомняемост при висока пропускателна способност. Индексът се изгражда веднъж и се запитва много пъти.

Сублинейно генериране на кандидати в мащаб

Циклично изместване, кодира ред и позиция.

Самообратна операция, свързва ключ със стойност.

Мнозинствено гласуване, суперпозира набор от концепции.

A document, a query, a passage, a code symbol all encode as a binary hypervector of fixed dimension. The default is 4096 bits, because the random-projection arithmetic is well-behaved there and a 4096-bit XOR and popcount fits cleanly in AVX2, AVX-512, and NEON registers. The encoder is deterministic; the same text produces the same hypervector on every run.

Управление на знания, изградено върху слоя за значение на BitWeave.

Двигател за ограничения върху извлечени факти.

Анализирай и адресирай по съдържание преди индексиране.

Прозрачна реализация, фиксиране на версии и без зависимост от патентован runtime.

Няма прекъсване от доставчик, което да изчакваш.

Фиксиран семантичен договор, един и същ подреден резултат на всеки сървър.

Индексите живеят на инфраструктура, която контролираш. Без обработка от доставчик.

Данните остават в юрисдикцията, която избереш. Веригата на съхранение е одитируема. Съответствието е заложено в архитектурата, а не добавено чрез табло.

9 473 QPS при recall 1.000 върху DBpedia 100K, без GPU в изпълнението.

Hybrid-MultiQ при 10K документа, recall 1.000.

9 473 заявки в секунда при recall 1.000 върху DBpedia 100K, в 19 MB на i9-13900KF десктоп с AVX2 и без GPU в изпълнението. Семантичният двигател под стека на Dweve.

Детерминиран резултат, който може да обясните по-късно.

Корпусът остава на машини, които контролирате.

Извличане по пътя на заявката, а не пакетна задача.

Запазете файловете и картата на значенията фиксирани и редът може да бъде възпроизведен.

Едно и също семантично състояние захранва търсене по сходство, съвпадение на много вектори за пасажи, търсене с метаданни филтър, откриване на дубликати, клъстериране, прототипи с един опит и RAG grounding. Търсенето е видимата заявка. Многократно използваемата основа под него е стойността.

HDC енкодер, LSH индекс, SIMD разстояние

Rust crate, CLI, стабилен C ABI, WASM сборка и Python обвързвания чрез maturin. SDK е пътят в процеса, сървърът излага споделена граница с удостоверяване и наблюдаемост, а обвързванията преминават в съществуващи езици, без да преимплементират представянето. WASM внася съвместими по-малки състояния в изпълнение в браузъра. Всяка повърхност носи същото семантично състояние, същите индексни договорености и същите подредени отговори, проверени срещу една базова линия за съответствие, така че двигателят не придобива ново значение за всеки клиент.

Едно семантично състояние, всяка повърхност

Партициониране при студен старт за много големи набори от данни.

Настройваем recall, множество семейства от ленти.

LSH кандидати плюс точно преоценяване. По подразбиране за точно търсене.

Точно SIMD сканиране, пакетни заявки. Recall 1.000.

BruteForce-MultiQ за точни, плътни корпуси, Hybrid-MultiQ за точен recall при по-голям мащаб, и настройваеми LSH и IVF бекенди за най-големите корпуси. Всеки индекс е едно семейство операции върху същите хипервектори.

Същият фиксиран семантичен договор, на стандартни процесори, които вече притежавате, връща същия подреден резултат.

Обединете контекста. Свържете връзката. Разбъркайте реда. Сравнете резултата.

Двоичните хипервектори носят семантично значение като опаковани битове. Външните източници с плаваща запетая преминават през обявена еднопосочна граница на преобразуване; родното представяне и всички вътрешни сравнения и оценявания остават двоични или с фиксирана запетая.

Мнозинство от битове, кодиране на множество.

HDC кодира значението в хиляди двоични измерения, където обединението улавя множества, свързването улавя двойки, а пермутацията улавя реда. Резултатът е единичен хипервектор с фиксирана ширина, който се побира в няколко кеш реда. Режимите на ниво документ и на ниво токен съществуват съвместно, така че цял документ може да се обедини в един вектор или да запази набор от токен вектори за късно взаимодействие. Представянето остава сходно при умерен битов шум, така че същата конструкция оцелява при малки смущения, без да разширява вектора или да добавя отделен позиционен тензор.

XNOR и POPCNT разстояние, топ-k изведени.

Заявката също се хешира, обхожда само съвпадащи кофи.

LSH семействата хешират хипервектори в кофи.

Документ в двоичен хипервектор чрез обединение и свързване.

Входът се превръща в двоичен хипервектор. Обединението, свързването и пермутацията композират множества, роли и ред, преди да се изпълни каквато и да е заявка. Индексите, филтрите и преподреждането организират кандидатите, без да предефинират типа. Състоянието .bwks запазва кодовата книга, векторите, метаданните и произхода заедно. SIMD диспечирането го изпълнява на хардуера, който вече имате, а RAG или директното съвпадение е една употреба на резултата. Посоката на зависимостта е умишлена: изчисленията никога не импортират приложни грижи, енкодерите могат да се променят, без да се докосват индексните ядра, и типът преминава през всеки слой. API за заявки е последният слой, не продуктът.

Миграцията е проект с продължителност тримесечие.

Същата заявка, различен отговор следващата седмица.

На заявка плюс на GB плюс на индексиран документ.

Индексите живеят там, където иска доставчикът.

Семантичната среда на AI стека се доставя от верига от доставчици. Един вгражда съдържанието, друг съхранява векторите, трети избира кандидатите, четвърти ги преподрежда, а модел превръща резултата в проза. Всеки слой променя своя модел, индекс, цена и регион независимо, и никой не може да назове пълното семантично състояние.

BitWeave превръща текст, изображения, аудио и съществуващи вектори в битови хипервектори с фиксирана ширина: естествен семантичен тип с алгебра, която можете да композирате, сравнявате, индексирате, филтрирате, класирате, съхранявате и изпълнявате навсякъде. Търсенето е една операция. RAG е едно приложение.

Данните остават в юрисдикцията, която изберете. Веригата на съхранение е одитируема. Съответствието е заложено в архитектурата, а не добавено чрез табло, така че всяко задължение, повдигнато от преглед, има структурен отговор, а не обещание.

След като публикувате с BitWeave, насочете го към една папка и изградете първото семантично състояние, без да разчитате на външна услуга.

Папка с ваши собствени файлове. Те остават точно там, където са, от вашата страна на стената.

Стандартните сървъри или компютри, които вече използвате. Без GPU, нищо специализирано за купуване.

Приемането не означава миграционна програма. Същият двигател работи по три начина: вътре в инструмент, който вашите служители вече използват, като една споделена вътрешна услуга за всеки екип, или офлайн на една машина за най-чувствителния материал. Съвместимото семантично състояние се движи между трите, така че първият избор никога не е врата в една посока.