Binary Hypervector Engine in Rust | Dweve BitWeave

Γραμμή γνώσης χτισμένη πάνω στο επίπεδο σημασίας του BitWeave.

Σωστά στρογγυλοποιημένα μαθηματικά κάτω από το BitWeave.

Το BitWeave δημοσιεύεται στον πέμπτο γύρο του προγράμματος κυκλοφοριών του ιδρύματος. Χτίστε μια ενιαία σημασιολογική κατάσταση από αυτό και εκτελέστε την σε τυπικούς επεξεργαστές.

Κάνε τη σημασία υπολογίσιμη και μετά αποφάσισε τι θα χτίσεις με αυτήν

Μία μορφή ευρετηρίου σε δίσκο για όλα τα τρία.

Στην πλευρά του προγράμματος περιήγησης, συμβατό με μικρότερες καταστάσεις, εκτός σύνδεσης.

Διακομιστής TCP ή UDS, πελάτες ανεξάρτητους από γλώσσα.

Ενσωμάτωση απευθείας σε διεργασία Rust, C ή Python.

Το BitWeave τρέχει ως βιβλιοθήκη εντός διεργασίας, ως αυτόνομος διακομιστής TCP ή Unix-socket, ή μεταγλωττισμένο σε WASM για εκτέλεση στην πλευρά του προγράμματος περιήγησης πάνω σε συμβατή μικρότερη κατάσταση. Η μορφή κατάστασης .bwks είναι η ίδια και στις τρεις λειτουργίες· χτίστε σε διακομιστή και αναπτύξτε την ίδια κατάσταση σε πρόγραμμα περιήγησης χωρίς αναμεταγλώττιση.

Οι αποδείξεις επιδόσεων δημοσιεύονται με το αποθετήριο, στον πέμπτο γύρο

Στη δημοσιευμένη εκτέλεση DBpedia 100K, η ακριβής διαμόρφωση πολλαπλών ερωτημάτων του BitWeave επέστρεψε 9.473 QPS με ανάκληση 1.000 σε 19 MB σε επιτραπέζιο i9-13900KF με 24 πυρήνες, AVX2 και 48 GB. Το μετρημένο σύστημα προσέγγισης δύο bit επέστρεψε 3.580 QPS σε 38 MB στον ίδιο υπολογιστή και στα ίδια δεδομένα. Σε D4096 πάνω από 10.000 έγγραφα, οι μετρημένες εκτελέσεις Hybrid-MultiQ διατήρησαν ανάκληση 1.000 στα 35.842 QPS σε τυχαία δεδομένα, 34.459 σε ομαδοποιημένα δεδομένα και 27.828 σε δεδομένα που προέρχονται από κείμενο. Σε 250.000 έγγραφα, η ακριβής ωμή δύναμη πολλαπλών ερωτημάτων μέτρησε 2.653 QPS με ανάκληση 1.000. Αυτά είναι αποδεικτικά επιδόσεων, όχι καθολικές υποσχέσεις· εκτελέστε ξανά τη σουίτα στο δικό σας σύνολο δεδομένων και υλικό μόλις δημοσιευτεί το αποθετήριο.

Ακριβές σε πολύ μεγάλη κλίμακα. Οι περισσότεροι κάδοι.

Περισσότεροι κάδοι, πιο περιορισμένα σύνολα υποψηφίων.

Καλή ανάκληση, μέτρια εναλλαγή υποψηφίων.

Χαμηλός αριθμός υποψηφίων, υψηλότερη απόδοση.

Η γραμμική σάρωση είναι γρήγορη σε SIMD σε μικρή κλίμακα, αλλά γίνεται το σημείο συμφόρησης σε πολύ μεγάλα σώματα κειμένων. Ο δείκτης LSH χωρίζει τα υπερδιανύσματα σε ζώνες· οι υποψήφιοι που συγκρούονται σε οποιαδήποτε ζώνη βαθμολογούνται με ακρίβεια. Το Hybrid-MultiQ ομαδοποιεί τέσσερα ερωτήματα ανά καταχωρητή SIMD για να διατηρήσει την ακριβή ανάκληση στην απόδοση. Ο δείκτης κατασκευάζεται μία φορά και υποβάλλεται σε ερωτήματα πολλές φορές.

Υπογραμμική δημιουργία υποψηφίων σε κλίμακα

Κατακερματισμός με ευαισθησία στην τοποθεσία

Κυκλική μετατόπιση, κωδικοποιεί τη σειρά και τη θέση.

Αυτοαντίστροφη, δεσμεύει ένα κλειδί σε μια τιμή.

Ψήφος πλειοψηφίας, υπερθέτει ένα σύνολο εννοιών.

Ένα έγγραφο, ένα ερώτημα, ένα απόσπασμα, ένα σύμβολο κώδικα κωδικοποιούνται όλα ως δυαδικό υπερδιάνυσμα σταθερής διάστασης. Η προεπιλογή είναι 4096 bit, επειδή η αριθμητική τυχαίας προβολής συμπεριφέρεται καλά εκεί και ένα XOR και popcount 4096 bit χωράει καθαρά σε καταχωρητές AVX2, AVX-512 και NEON. Ο κωδικοποιητής είναι ντετερμινιστικός· το ίδιο κείμενο παράγει το ίδιο υπερδιάνυσμα σε κάθε εκτέλεση.

Διακυβέρνηση γνώσης βασισμένη στο επίπεδο σημασίας του BitWeave.

Μηχανή περιορισμών πάνω σε ανακτημένα γεγονότα.

Ανάλυση και διευθυνσιοδότηση περιεχομένου πριν από την ευρετηρίαση.

Επιθεωρήσιμη υλοποίηση, καθήλωση έκδοσης και καμία εξάρτηση από ιδιόκτητο χρόνο εκτέλεσης.

Καμία διακοπή παρόχου για να περιμένετε.

Καθηλωμένη σημασιολογική σύμβαση, ίδιο ταξινομημένο αποτέλεσμα σε κάθε διακομιστή.

Οι δείκτες ζουν σε υποδομή που ελέγχετε. Καμία επεξεργασία από πάροχο.

Τα δεδομένα παραμένουν στη δικαιοδοσία που επιλέγετε. Η αλυσίδα φύλαξης είναι ελεγχόμενη. Η συμμόρφωση αντιμετωπίζεται στην αρχιτεκτονική αντί να προστίθεται μέσω πίνακα ελέγχου.

Σχεδιασμένο και κατασκευασμένο στην Ολλανδία.

Ακριβές, διατηρημένο σε όλες τις μετρημένες κλίμακες.

9.473 QPS με ανάκληση 1.000 στη DBpedia 100K, χωρίς GPU στην εκτέλεση.

Hybrid-MultiQ στα 10K έγγραφα, ανάκληση 1.000.

9.473 ερωτήματα ανά δευτερόλεπτο με ανάκληση 1.000 στη DBpedia 100K, σε 19 MB σε επιτραπέζιο i9-13900KF με AVX2 και χωρίς GPU στην εκτέλεση. Η σημασιολογική μηχανή κάτω από τη στοίβα Dweve.

Ένα ντετερμινιστικό αποτέλεσμα που μπορείτε να εξηγήσετε αργότερα.

Το σώμα κειμένων παραμένει σε μηχανήματα που ελέγχετε.

Ανάκτηση στη διαδρομή αιτήματος, όχι ως εργασία μαζικής επεξεργασίας.

Κρατήστε τα αρχεία και τον χάρτη σημασιών σταθερά, και η σειρά μπορεί να αναπαραχθεί.

Η ίδια σημασιολογική κατάσταση τροφοδοτεί αναζήτηση ομοιότητας, αντιστοίχιση αποσπασμάτων πολλαπλών διανυσμάτων, αναζήτηση με φίλτρο μεταδεδομένων, ανίχνευση διπλοτύπων, ομαδοποίηση, πρωτότυπα ενός βήματος και θεμελίωση RAG. Η αναζήτηση είναι το ορατό ερώτημα. Το επαναχρησιμοποιήσιμο υπόστρωμα κάτω από αυτό είναι η αξία.

Κωδικοποιητής HDC, ευρετήριο LSH, απόσταση SIMD

Ένα crate Rust, ένα CLI, ένα σταθερό C ABI, μια έκδοση WASM και δεσίματα Python μέσω maturin. Το SDK είναι η διαδρομή εντός διεργασίας, ο διακομιστής εκθέτει ένα κοινό όριο με έλεγχο ταυτότητας και παρατηρησιμότητα, και τα δεσίματα διασχίζουν υπάρχουσες γλώσσες χωρίς να επανεφαρμόζουν την αναπαράσταση. Το WASM φέρνει συμβατές μικρότερες καταστάσεις στην εκτέλεση από την πλευρά του προγράμματος περιήγησης. Κάθε επιφάνεια φέρει την ίδια σημασιολογική κατάσταση, τα ίδια συμβόλαια ευρετηρίου και τις ίδιες διατεταγμένες απαντήσεις, επαληθευμένα έναντι μιας κοινής γραμμής συμμόρφωσης, ώστε η μηχανή να μην αποκτά νέο νόημα ανά πελάτη.

Μία σημασιολογική κατάσταση, κάθε επιφάνεια

Κατατμηση ψυχρής εκκίνησης για πολύ μεγάλα σύνολα δεδομένων.

Ρυθμιζόμενη ανάκληση, πολλές οικογένειες ζωνών.

Υποψήφιοι LSH συν ακριβής επαναβαθμολόγηση. Προεπιλογή για ακριβή αναζήτηση.

Ακριβής σάρωση SIMD, μαζικά ερωτήματα. Ανάκληση 1.000.

BruteForce-MultiQ για ακριβή, συμπαγή σώματα, Hybrid-MultiQ για ακριβή ανάκληση σε μεγαλύτερη κλίμακα, και ρυθμιζόμενα παρασκήνια LSH και IVF για τα πολύ μεγάλα σώματα. Κάθε ευρετήριο είναι μία οικογένεια λειτουργιών πάνω στους ίδιους υπερδιανυσματικούς.

Το ίδιο καρφιτσωμένο σημασιολογικό συμβόλαιο, σε τυπικούς επεξεργαστές που ήδη κατέχετε, επιστρέφει το ίδιο ταξινομημένο αποτέλεσμα.

Δέστε το πλαίσιο. Συνδέστε τη σχέση. Αλλάξτε τη σειρά. Συγκρίνετε το αποτέλεσμα.

Οι δυαδικοί υπερδιανυσματικοί φορείς μεταφέρουν σημασιολογικό νόημα ως συσκευασμένα bit. Εξωτερικές πηγές κινητής υποδιαστολής διασχίζουν ένα δηλωμένο όριο μονής κατεύθυνσης μετατροπής· η εγγενής αναπαράσταση και όλη η εσωτερική σύγκριση και βαθμολόγηση παραμένουν δυαδικές ή σταθερής υποδιαστολής.

Συσκευασμένος δυαδικός υπερδιανυσματικός φορέας.

XOR ανά ζεύγος, κωδικοποίηση κλειδιού/τιμής.

Το HDC κωδικοποιεί νόημα σε χιλιάδες δυαδικές διαστάσεις, όπου η σύνδεση συλλαμβάνει σύνολα, η δέσμευση συλλαμβάνει ζεύγη και η μετάθεση συλλαμβάνει τη σειρά. Το αποτέλεσμα είναι ένας ενιαίος σταθερού πλάτους υπερδιανυσματικός φορέας που χωρά σε λίγες γραμμές κρυφής μνήμης. Οι λειτουργίες σε επίπεδο εγγράφου και σε επίπεδο διακριτικού συνυπάρχουν, οπότε ένα ολόκληρο έγγραφο μπορεί να δεθεί σε ένα διάνυσμα ή να διατηρήσει ένα σύνολο διανυσμάτων διακριτικών για καθυστερημένη αλληλεπίδραση. Η αναπαράσταση παραμένει παρόμοια υπό μέτριο θόρυβο bit, οπότε η ίδια κατασκευή επιβιώνει μικρές διαταραχές χωρίς να διευρύνει το διάνυσμα ή να προσθέτει ξεχωριστό τανυστή θέσης.

Απόσταση XNOR και POPCNT, εμφάνιση των κορυφαίων.

Και τα ερωτήματα κατακερματίζονται, περπατούν μόνο σε αντίστοιχους κάδους.

Οι οικογένειες LSH κατακερματίζουν υπερδιανυσματικούς φορείς σε κάδους.

Μετατροπή εγγράφου σε δυαδικό υπερδιανυσματικό φορέα μέσω σύνδεσης και δέσμευσης.

Η είσοδος γίνεται δυαδικός υπερδιανυσματικός φορέας. Η σύνδεση, η δέσμευση και η μετάθεση συνθέτουν σύνολα, ρόλους και σειρά πριν εκτελεστεί οποιοδήποτε ερώτημα. Τα ευρετήρια, τα φίλτρα και η εκ νέου κατάταξη οργανώνουν υποψήφια χωρίς να επαναπροσδιορίζουν τον τύπο. Η κατάσταση .bwks διατηρεί μαζί το βιβλίο κωδικών, τα διανύσματα, τα μεταδεδομένα και την προέλευση. Η αποστολή SIMD το εκτελεί στο υλικό που ήδη έχετε, και το RAG ή μια άμεση αντιστοίχιση είναι μία χρήση του αποτελέσματος. Η κατεύθυνση εξάρτησης είναι σκόπιμη: ο υπολογισμός δεν εισάγει ποτέ ανησυχίες εφαρμογής, οι κωδικοποιητές μπορούν να αλλάξουν χωρίς να αγγίξουν τους πυρήνες ευρετηρίου, και ο τύπος διασχίζει κάθε επίπεδο. Το API ερωτημάτων είναι το τελευταίο επίπεδο, όχι το προϊόν.

Η μετεγκατάσταση είναι έργο ενός τριμήνου.

Ίδιο ερώτημα, διαφορετική απάντηση την επόμενη εβδομάδα.

Ανά ερώτημα συν ανά GB συν ανά ευρετηριασμένο έγγραφο.

Τα ευρετήρια ζουν όπου θέλει ο προμηθευτής.

Το σημασιολογικό μέσο της στοίβας AI παρέχεται από μια αλυσίδα παρόχων. Ένας ενσωματώνει το περιεχόμενο, ένας αποθηκεύει τα διανύσματα, ένας επιλέγει υποψήφια, ένας τα ανακατατάσσει, και ένα μοντέλο μετατρέπει το αποτέλεσμα σε πεζό κείμενο. Κάθε επίπεδο αλλάζει το μοντέλο, το ευρετήριο, την τιμή και την περιοχή του ανεξάρτητα, και κανείς δεν μπορεί να ονομάσει την πλήρη σημασιολογική κατάσταση.

Το BitWeave μετατρέπει κείμενο, εικόνες, ήχο και υπάρχοντα διανύσματα σε δυαδικά υπερδιανύσματα σταθερού πλάτους: ένας εγγενής σημασιολογικός τύπος με άλγεβρα που μπορείτε να συνθέσετε, να συγκρίνετε, να ευρετηριάσετε, να φιλτράρετε, να ταξινομήσετε, να αποθηκεύσετε και να εκτελέσετε οπουδήποτε. Η αναζήτηση είναι μία πράξη. Το RAG είναι μία εφαρμογή.