BitWeave in deterministično pridobivanje brez oblaka kot odra
Iskalni rezultat, ki se je čez noč spremenil
Najbolj nadležna napaka pri iskanju ni tista, ki odpove glasno. Glasne odpovedi imajo vsaj manire. Nadležna je tista, ko se iskalni rezultat tiho spremeni. Isti korpus. Isto poizvedbo. Isto uporabniško vprašanje. Včeraj je bil dokument B najboljši kandidat. Danes je dokument A. Nihče se ni dotaknil vira ali pa se vsaj nihče ne spomni, da bi se ga, kar v programski opremi ni isto.
Tovrsten odmik je strupen za resne sisteme umetne inteligence. Odgovor, ki temelji na viru, je odvisen od poti pridobivanja. Če se kandidati spremenijo iz razlogov, ki jih nihče ne more pojasniti, se spremeni tudi odgovor. Krivdo dobi model, ker so modeli priročni zabojniki za krivdo, a pogosto se šibkost začne pri pridobivanju: plavajoči robovi razvrščanja, nestabilne izenačitve, obnašanje oddaljenih storitev, spremenjene vdelave, odmik indeksiranja ali iskalna plast, zasnovana za prijetno ustreznost in ne za ponovljive dokaze.
BitWeave je zgrajen okoli manj modnega vprašanja: ali je lahko pridobivanje lokalno, binarno in dovolj deterministično, da isti korpus in poizvedba ustvarita isti vrstni red? Implementacija temelji na binarnih hipervektorjih, razdalji XNOR in POPCNT, determinističnem razreševanju izenačitev, privzeti visokodimenzionalni binarni vektorski obliki, jedru v Rustu, vmesniku CLI, C ABI, WASM in povezavah za Python. To ni funkcija klepetalnika. To je pridobivanje kot infrastruktura.
Številka zmogljivosti, ki jo vsi želijo, ni zanimiv del. Starejše napihnjene trditve o QPS naj ostanejo zunaj javnih besedil, razen če z njimi potuje svež, ponovljiv paket meritev. Dobro. To je prava vrsta bolečine. Bolje sistem, ki popravi svoje trditve, kot ciljna stran, ki si v ogledalu še naprej gradi mišice. Za ta članek je uporabna trditev mehanizem: binarni vektorji, operacije, prijazne do procesorja, stabilno razvrščanje in lokalni nadzor.
To je pomembno, ker pridobivanje postaja del poti dokazov. V resnem delovnem toku iskanje ni le udobje. Odloča, katere dokumente model vidi, kateri citati se pojavijo, katera dejstva se upoštevajo in kateri zapisi se prezrejo. Negotova plast pridobivanja je tihi mehanizem politike brez značke.
Binarno ni slabše
Ljudje ob besedi binarno predpostavljajo kompromis. To je razumljivo. Sodobna umetna inteligenca je vse naučila, da večje, gostejše in bolj plavajoče predstavitve jemljejo resneje. Več parametrov, več natančnosti, več GPE, več računov, več toplote. Zelo eleganten način, kako elektriko spremeniti v odvisnost.
Binarni vektorji ponujajo drugačno menjavo. Predstavi stvar v bitih. Primerjaj z bitnimi operacijami. XNOR pove, kje se biti ujemajo. POPCNT šteje ujemanja. Razdalja postane operacija, prijazna do procesorja. To ne naredi vsakega problema pridobivanja trivialnega in ne pomeni, da binarne predstavitve za vsako nalogo premagajo vsako postavitev gostih vektorjev. Pomeni, da obstaja praktičen prostor oblikovanja, kjer je pridobivanje lahko manjše, lokalno, pregledno in ponovljivo.
To je še posebej uporabno, ko pridobivanje ni nečimrna funkcija. Če je cilj odgovarjati iz nadzorovanega korpusa, ima sistem koristi od tega, da je dolgočasno predvidljiv. Indeks ne sme zahtevati oltarja za GPE. Korpusu ni treba zapustiti organizacije samo zato, ker ima ponudnik iskanja lepo blagovno znamko. Razvrščanje se ne sme spremeniti, ker je gostujoča storitev v ozadju posodobila model.
BitWeavejev binarni pristop se prav tako ujema s preostalim delom sklada Dweve. Winnow lahko zbira in zajema vire. BitWeave jih lahko indeksira in pridobiva. Spindle lahko upravlja dejstva. Fabric lahko prikaže vire poleg odgovorov. AION in Trace lahko poskrbita, da so odločitve in izračuni preverljivi. Vsaka plast ima svojo nalogo. BitWeavejeva naloga ni biti graf znanja ali dokazni sistem. Njegova naloga je, da pridobivanje deluje kot infrastruktura in ne kot vreme.
Determinizem se začne z razvrščanjem
Determinizem pri pridobivanju ne pomeni le vračanja približno enakega nabora dokumentov. Približno je tisto, zaradi česar so sestanki daljši. Težji del je vrstni red. Če sta si dva kandidata blizu, sistem še vedno potrebuje stabilno pravilo za izenačenja. Če sta zbirka in poizvedba enaki, ponovljeni zagoni ne bi smeli premešati mejnih dokumentov kot živčni delivec kart.
To se sliši sitnarsko, dokler odgovor ni odvisen od prvih treh kandidatov. Vrstni red kandidatov spremeni, kaj model prebere najprej. Spremeni, kateri citat je prikazan kot glavni. Spremeni, kateri vir je stisnjen, ko je proračun za žetone omejen. V reguliranih delovnih procesih ali tistih z visokimi vložki ta vrstni red ni nastavitev uporabniškega vmesnika. Je del poti odločanja.
Stabilno razvrščanje omogoča tudi odpravljanje napak. Če uporabnik reče, da se je odgovor spremenil, lahko ekipa vpraša, ali se je spremenila zbirka, poizvedba, razvrščanje ali model. Brez stabilnega pridobivanja vsak incident postane juha mogočih odgovorov. Mogoče se je dokument premaknil. Mogoče se je vdelava spremenila. Mogoče je bila storitev posodobljena. Mogoče je torek. Odličen korenski vzrok, torek.
Deterministično razreševanje izenačenj ni glamurozno, je pa vrsta inženiringa, ki loči produktno infrastrukturo od infrastrukture za predstavitve. Infrastruktura za predstavitve mora delovati le, dokler nekdo gleda. Produktna infrastruktura se mora znati pojasniti, ko so vsi že odšli domov.
Lokalnost je funkcija izdelka
Pridobivanje pogosto postane oblačna odvisnost iz navade in ne iz nuje. Ekipa ima dokumente. Gostovana iskalna storitev ima priročen vmesnik API. Zbirka odide. Organizacija pridobi hitrost in izgubi malo nadzora. Nato je od tega odvisen drug sistem. Nato je od tega odvisna revizija. Nato je izhod odvisen od selitve, ki je nihče ni načrtoval. Tako arhitektura postane naročnina s čustvi.
BitWeavejeva lokalna drža je pomembna, ker številne zbirke ne bi smele potovati. Pravne datoteke, notranje politike, inženirski zapisi, dokumenti strank, zdravstveno gradivo, nabavni dosjeji, preiskovalni viri: vprašanje ni le, ali lahko to iščemo, ampak kje sme iskanje potekati?
Lokalnost izboljša tudi analizo napak. Če indeks živi pod nadzorom organizacije, lahko ekipa pregleda različice, vnose, poti poizvedb in trenutke posodobitev. Če je pridobivanje oddaljeno in neprozorno, lahko odgovor na vprašanje, zakaj se je ta kandidat pojavil, postane vprašajte prodajalca. To je včasih sprejemljivo za potrošniško iskanje. Je veliko manj privlačno, kadar pot pridobivanja podpira poslovno odločitev, pravni odgovor ali delovni proces v javnem sektorju.
Bistvo ni v tem, da so oblačne storitve zle. Bistvo je v tem, da je lokalnost pridobivanja odločitev o namestitvi, ne življenjski slog. Nekatere obremenitve lahko tečejo gostovano. Nekatere naj bodo vezane na regijo. Nekatere sodijo v lastno okolje. Nekatere sodijo v zračno režo. Plast pridobivanja naj se prilagodi drži, ne da bi držo vsiljevala.
Pridobivanje potrebuje potrdila
Umetna inteligenca, podprta z viri, pogosto prikazuje navedbe, kot da to samo po sebi rešuje problem dokazov. Pomaga, a ni dovolj. Navedba pove, na kaj se odgovor sklicuje. Ne pojasni samodejno, kako je bil vir zbran, kako je prišel v korpus, kako je bil indeksiran, zakaj se je uvrstil višje od drugega kandidata ali katero pravilo za izenačenje je odločilo pri tesnem izidu.
BitWeave ni treba postati poln sistem za revizijo, da bi bil tu pomemben. Dovolj je, da razkrije dovolj poti pridobivanja, da jo lahko druge plasti zabeležijo. Poizvedba, kandidati, ocene ali razdalje, pravilo za izenačenje, različica korpusa, različica indeksa, izbrani zapisi: to so kosti potrdila o pridobivanju. Ledger lahko beleži operativne dogodke. Trace lahko nosi poti dokazov, kjer je izračun pomemben. Fabric lahko prikaže vire. Pridobivanje naj jim da nekaj konkretnega, s čimer lahko delajo.
Tu deterministično pridobivanje postane več kot inženirska izbira. Postane funkcija upravljanja. Če lahko organizacija pozneje rekonstruira, zakaj so bili ti kandidati prikazani, je odgovor, podprt z viri, lažje izpodbijati, razhroščevati in izboljšati. Če tega ne more, postanejo navedbe okrasne povezave. Uporaben okras, a še vedno okras.
Dobro potrdilo o pridobivanju tudi ščiti model pred nepošteno krivdo. Ko odgovor zgreši ključni vir, lahko ekipa preveri, ali vir v korpusu ni bil, je bil prisoten, a slabo izluščen, indeksiran, a uvrščen prenizko, uvrščen visoko, a ga je model prezrl, ali naveden napačno. To so različne rešitve. Brez poti pridobivanja ekipa običajno izbere najglasnejšo teorijo in to imenuje napredek.
Past meril uspešnosti
Vsak sistem pridobivanja se prej ali slej znajde v gledališču zmogljivosti. QPS, zakasnitev, priklic, velikost korpusa, strojna oprema, stanje predpomnilnika, nastavitve paketov, oblika meril uspešnosti. Nekatere številke so uporabne. Mnoge so okrasne. Nekatere so zavajajoče, če jih vzamemo iz konteksta.
BitWeave ima opombo o odstopanju v zmogljivosti, ki opozarja, da je treba starejše trditve o visokem QPS odstraniti. To ni problem, ki bi ga bilo treba skriti. To je disciplina, ki jo je treba ohraniti. Infrastrukturo pridobivanja je treba meriti na strojni opremi, korpusu in obremenitvi, ki so pomembni. Merila uspešnosti lahko usmerjajo, a ne morejo nadomestiti meritev v okolju uporabnika.
Zato varnejša zgodba BitWeave ni junaška trditev o hitrosti. Je ponovljiva oblikovna drža: binarni hipervektorji, razdalja, prijazna do procesorja, deterministično razreševanje izenačenj, možnosti lokalne namestitve in vezave, ki ekipam omogočajo integracijo, ne da bi plast pridobivanja privzeto postala oddaljena odvisnost.
Praktično vprašanje ni, ali lahko nekdo v merilih uspešnosti ustvari veliko številko. Praktično vprašanje je, ali lahko vaša ekipa poganja indeks tam, kjer korpus sodi, dvakrat dobi isto pot odgovora, pregleda, zakaj so se kandidati pojavili, in ohrani pridobivanje uporabno, ko okoliški sistem postane odgovoren. Manj ognjemetov, več napeljave. Vedno znova pridemo do napeljave. Programska oprema je ponižujoča na tak način.
Kam se BitWeave umešča
BitWeave se umesti po zbiranju in pred razmišljanjem. Winnow lahko prinese vire z ovojnicami in obliko izvlečkov. BitWeave lahko indeksira in razvrsti kandidate. Spindle lahko ponavljajoča se dejstva spremeni v urejeno znanje. Fabric lahko postavi vire za odgovor. AION lahko dokaže korake razmišljanja, kjer odločitev potrebuje dokaz. Ledger lahko beleži operativne dogodke. Ta plastovitost je pomembna, ker samo pridobivanje ne more nositi celotne zgodbe o zaupanju.
To tudi preprečuje pretiravanje. BitWeave ne odloča, ali je vir pravno uporaben. Ne potrjuje, da je dejstvo resnično. Ne dokazuje, da končni odgovor izhaja iz premis. Pridobiva. Če je to narejeno dobro, je to že dovolj zahtevno. Industrija kar naprej spreminja preproste meje v strateško meglo, potem pa se čudi, ko nihče ne more razhroščiti sistema.
Za ekipe, ki gradijo AI, podprt z viri, je takojšnja vrednost konkretna. Imejte korpus blizu. Uporabite plast pridobivanja s stabilnim vrstnim redom. Zabeležite pot kandidatov. Izogibajte se temu, da bi oddaljena nepreglednost postala privzeta. Merite lokalno. Nato povežite pridobivanje s sistemi, ki skrbijo za izvor, upravljanje in dokaze.
Nauček
Nauček BitWeave je, da pridobivanje ni stranska naloga. Je del poti do odgovora. Če je nestabilno, nepregledno ali po nepotrebnem oddaljeno, lahko model zveni samozavestno, medtem ko stoji na premikajočih se tleh. Če je pridobivanje lokalno, binarno in deterministično, je pot do odgovora lažje pregledna.
Binarni vektorji niso čarovnija. So praktična predstavitev. XNOR in POPCNT nista poslovna strategija. Sta način, kako podobnost prilagoditi običajnim strojem. Deterministično razreševanje izenačenih rezultatov ni privlačno. Je tisto, kar poskrbi, da ista poizvedba ne postane igralni avtomat. Lokalna namestitev ni nostalgija. Je nadzor.
To je uporabna oblika BitWeave: ne oblačno gledališče, ne napihovanje meril uspešnosti, ne še ena črna škatla med uporabnikom in virom. Plast pridobivanja, ki lahko živi tam, kjer živijo podatki, vrne stabilen vrstni red in pusti dovolj sledi, da lahko preostali del sistema pojasni, kaj se je zgodilo.
Dobri odgovori AI se začnejo, preden model napiše besedo. Začnejo se z zbranimi viri, čistimi izvlečki, stabilnim pridobivanjem in zapisi, ki jih je mogoče izpodbijati. BitWeave je eden od dolgočasnih delov, zaradi katerih je vznemirljivi del manj neroden. To je odlično delo. Večina zanesljivih sistemov je zgrajenih iz takih del.