AI Compute Stack pre trénovanie a inferenciu | Dweve Core

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

Asistencia pri kódovaní a prevádzke agentov. Ukazovatele sú len ilustračné.

Terminál, vyhľadávanie, lint, testy, git a ďalšie.

Pamätá si vašu kódovú základňu a kontext tímu.

Špecializovaní agenti spolupracujú naprieč oblasťami.

Každý krok je zaznamenaný s časovými pečiatkami.

Pravidlá, kontroly a testy sa vždy spúšťajú.

Skontrolujte diffy, požiadajte o zmeny, finálny súhlas.

Prehrajte ľubovoľnú reláciu bit po bite, keď treba niečo skontrolovať.

Prečítať retry.ts, vystopovať chybu s timeoutom

Autonómni agenti, ktorí píšu kód a vedú záznamy

na spracovanie sieťových timeoutov, odpovedí 5xx a idempotentne bezpečných podmienok. Čistá pomocná funkcia, plne pokrytá testami.

Schopnosť a determinizmus uvedené pre každú bunku

Priama prevádzka na infraštruktúre spravovanej zákazníkom

Jeden model, niekoľko ciest spravovaných dodávateľom

definícia a vykonávanie sa pomaly rozchádzajú

Beží na bežných počítačoch, kde je to podporované

Môže fungovať offline, kde je to podporované.

model.dsl, autorovanie s typovou bezpečnosťou

zaznamenané vykonávacie bunky a kontrakt prehrávania

Dweve Core je kompletný výpočtový zásobník AI na trénovanie a inferenciu. Väčšina AI platforiem pokrýva len časť a zvyšok prenecháva iným dodávateľom. Core udržiava tvorbu modelov, trénovanie, inferenciu, jadrá, dispatch a nasadenie v jednom koherentnom systéme. Pri podporovaných binárnych záťažiach spotrebuje Core o 96 % menej energie ako GPU zásobník.

25 registrovaných rodín číselných formátov

Čiastočné systémy vytvárajú trvalú závislosť

Definícia a vykonávanie sa pomaly rozchádzajú.

Kompresia žije v nástroji niekoho iného.

Nový hardvér, nový servisný systém, nové správanie.

Žiadny jednotný systém nedokáže vysvetliť výsledok.

Závislosť pretrváva, pretože výpočtový priestor pod ňou je pokrytý len čiastočne.

Core udržiava zmeny v numerickej šírke, balení, hardvéri a nasadení v rámci jedného implementačného systému. Algoritmus sa nestáva iným produktom, keď sa presunie zo servera x86 na ARM, GPU, prehliadač alebo špecializovaný cieľ. Operácia zostáva počas celého presunu pomenovaná, kontrolovateľná a vlastnená a každá cesta je registrovaná, nie odvodená z označenia formátu.

Register implementácií pokrýva viac ako 2 900 operácií, 76 kategórií operácií a 25 registrovaných rodín numerických formátov. Každá cesta je určená v deviatich dimenziách: algoritmus, dátový typ, šírka, balenie, akumulátor, backend, inštrukčná sada, politika odosielania a režim determinizmu. Zmluva o reprezentácii udržiava tieto numerické a fyzické voľby pripojené k operácii. Vizuál nižšie fixuje väčšinu týchto dimenzií, aby zostal čitateľný malý reprezentatívny výrez. Počet opisuje register konkrétnych buniek a zmlúv, nie tvrdenie, že samotné označenie formátu alebo široký odznak schopnosti vysvetľuje vykonávaciu cestu.

Ktorá cesta sa vyberie, podľa akej zmluvy.

Vzorka je malá, pretože register implementácií nie je.

Jeden algoritmus prežije každé obmedzenie

Prichádza nová šírka, balenie, hostiteľ alebo zmluva.

Ktorý kód bežal, na ktorom stroji, je uvedené.

Rovnaké aktívum, rovnaký vlastník, nová podmienka.

Prvým zdedeným predpokladom, ktorý Core odstraňuje, je, že jeden dátový typ by mal dominovať všetkému.

Procesor by mal byť rovnako vymeniteľný ako dátový typ.

Core nepovažuje jeden akcelerátorový ekosystém za definíciu AI a všetko ostatné za menejcenný port. Jeho operácie majú skalárne referenčné implementácie a cesty špecifické pre cieľové prostredie naprieč podporovanými CPU, GPU, FPGA, prehliadačovými a nasadzovacími backendmi. Runtime vyberá implementáciu podľa dostupného stroja a politiky pripojenej k práci.

Moderný procesor x86 môže využiť svoje vektorové inštrukcie. ARM a Apple silicon môžu využiť svoje natívne cesty. GPU NVIDIA, AMD a Apple môžu využiť svoje príslušné backendy. Prehliadačové vykonávanie môže tam, kde je to vhodné, využiť WebAssembly alebo WebGPU. Nasadzovacie programy môžu cieliť na špecializovaný hardvér. Procesor je cieľom operácie. Nie je vlastníkom modelu.

Vektory x86, natívne cesty ARM a Apple silicon.

GPU NVIDIA, AMD a Apple na vlastných backendoch.

WebAssembly alebo WebGPU tam, kde je to vhodné.

Špecializovaný hardvér pre nasadzovacie programy.

Široké cieľové označenia sú lacné. Vlastniť skutočnú cestu je ťažšie.

Dátový typ nebol podporovaný, cieľový hardvér sa zmenil a kvantizér potreboval ďalší runtime.

Serving stack nedokázal prehrať výsledok. Nákup otvoril ďalšie hodnotenie dodávateľa.

Nepridali ste jednu funkciu. Odhalili ste ďalšiu dieru v stroji.

Ručne vyladené znamená, že niekto vlastní výsledok

Široké API sa ľahko propaguje. Široké vlastníctvo na úrovni stroja je oveľa ťažšie. Core nepovažuje operáciu za pokrytú len preto, že generická implementácia sa skompiluje na inom cieli. Podporované cesty sú implementované a vyladené pre ich skutočnú kombináciu operácie, reprezentácie, balenia, backendu a inštrukčnej sady.

Binárne maticové násobenie na AVX-512 sa nepovažuje za maticové násobenie s pohyblivou rádovou čiarkou s menšími hodnotami. Operácie s balenými bitmi používajú bitové inštrukcie dostupné na stroji. Celočíselné operácie a operácie s pevnou rádovou čiarkou používajú správny akumulátor a správanie pri pretečení. Cesty GPU používajú štruktúru vykonávania cieľa. Skalárne implementácie zostávajú prítomné ako referencia a univerzálna úroveň. To vytvára zodpovednú odpoveď na jednoduchú otázku: aký kód skutočne vykonal túto operáciu na tomto stroji? Core vie pomenovať cestu.

Bitové inštrukcie pre bity, nie škálované floaty.

Správne správanie pri pretečení, zámerne.

Jadrá NEON napísané pre vlastnú vektorovú architektúru ARM.

Toto vlastníctvo musí pokračovať aj za jadrom a naprieč celým životným cyklom modelu.

Trénovaný na reprezentáciu, ktorú bude používať.

Smerovaný na ladenú cestu pre hostiteľa.

Benchmarkovaný a prehrávaný v rovnakom stroji.

Keď je životný cyklus koherentný, variácia sa môže stať zmluvou, nie náhodou.

čistý s pohyblivou rádovou čiarkou tam, kde je voliteľný

Core uvádza kontrakt cesty, ktorá skutočne bežala. Natívne binárne, ternárne, celočíselné so znamienkom aj bez znamienka, pevná rádová čiarka, adaptívne a exaktné cesty Core Native sú čisto deterministické tam, kde sú pokryté, bez semena. Cesty Core Native s pohyblivou rádovou čiarkou, bfloat, blokovo škálované a mikroškálované používajú prehrávanie so semenom. Voliteľný Core na Kera robí podporované cesty v týchto rodinách s pohyblivou rádovou čiarkou tiež čisto deterministické.

Regulovaný pracovný postup s nízkym počtom bitov, Q-formátom alebo adaptívnym režimom môže vyžadovať bitovo identické prehrávanie Core Native. Pracovný postup s pohyblivou rádovou čiarkou môže použiť pripnuté semeno a úplný záznam v rámci Core Native. Kreatívne vzorkovanie zostáva samostatnou voľbou generovania. Nasadenie, ktoré vyžaduje čisto deterministické vykonávanie bfloat, blokovo škálované, mikroškálované alebo konvenčné s pohyblivou rádovou čiarkou, môže použiť Core na Kera a odstrániť semeno. Toto sú rôzne deklarované kontrakty pre vybranú bunku, nie zameniteľné marketingové názvy pre každú opakovanú odpoveď.

Binárne, celočíselné, Q, adaptívne a exaktné cesty. Bez semena.

Prehrávanie s pohyblivou rádovou čiarkou, bfloat, blokovo škálované a mikroškálované.

Podporované cesty rodiny s pohyblivou rádovou čiarkou, bez potreby semena.

Keď sa správanie zmení, jeden systém by mal stále vlastniť vysvetlenie.

Keď sa výsledok produkcie zmení v roztrieštenom zásobníku, zodpovednosť je rozptýlená. Framework obviňuje exportér. Exportér obviňuje runtime. Runtime obviňuje jadro. Jadro obviňuje ovládač. Ovládač obviňuje hardvér. Core prináša tieto zodpovednosti do jedného systému.

Definícia modelu, numerické voľby, vybraný backend, cesta dispečingu, režim determinizmu a výsledný záznam vykonávania možno skúmať spoločne. To neznamená, že každá externá závislosť zmizne. Zdroje údajov, aplikácie, operačné systémy a hardvér stále existujú. Znamená to, že samotný AI stroj má jednu zodpovednú hranicu. Recenzia sa môže opýtať, ktorá implementácia bežala, na ktorom podporovanom cieli a pod ktorým kontraktom prehrávania, bez zošívania odpovede z interných systémov viacerých dodávateľov.

skúmaný spoločne, nie naprieč dodávateľmi

Reprezentácia, šírka, akumulátor, režim.

Vybraná cesta a stroj, na ktorom bežala.

Záznam, ktorý umožňuje znova preskúmať beh.

Core udržiava jeden AI stroj, ale má dva vykonávacie postoje.

Každá poloha by mala umožniť nasadenie bez výmeny AI systému.

Hardvér sa môže zmeniť bez výmeny AI systému

Infraštruktúrne rozhodnutia by nemali vynútiť prepísanie modelu. Core udržiava model, operátorské rozhranie, numerický dizajn a vykonávaciu zmluvu v rámci toho istého systému, zatiaľ čo sa mení poloha nasadenia. Vybraný backend sa môže líšiť. Organizácia nemusí okolo neho znovu vybudovať AI stack.

Licencovaný tím môže prevádzkovať Core na clusteroch alebo pracovných staniciach kontrolovaných organizáciou. Regulovaný program môže vyžadovať úplne izolované prostredie. Produkt môže presunúť časť svojej inferencie na okraj, zatiaľ čo prehliadačová aplikácia môže potrebovať lokálny vykonávací cieľ. Core udržiava tieto licencované prevádzkové polohy v rámci jedného stroja bez tvrdenia, že každý backend podporuje každú bunku. Core nie je produkt spravovanej služby. Licencia opisuje prevádzkovú polohu a jej podporovaný rozsah, nie tvrdenie o každom možnom cieli alebo pracovnom zaťažení.