AI Compute Stack pro trénování a inferenci | Dweve Core

Choose the audience that matches your question

The page contains three selectable readings of the same subject.

Asistent pro kódování a provoz. Demo metriky jsou ilustrativní.

Terminál, vyhledávání, lint, testy, git a další.

Pamatuje si vaši kódovou základnu a kontext týmu.

Specializovaní agenti spolupracují napříč oblastmi.

Každý krok je zaznamenán s časovým razítkem.

Pravidla, kontroly a testy se vždy spouští.

Prohlédněte si diffy, vyžádejte změny, finální podpis.

Přehrát jakoukoli relaci bit po bitu, když je třeba něco zkontrolovat.

Přečíst retry.ts, nalezena chyba s timeoutem

Autonomní agenti, kteří píší kód a vedou záznamy

pro zpracování síťových timeoutů, odpovědí 5xx a idempotentně bezpečných podmínek. Čistá pomocná funkce, plně pokrytá testy.

Schopnost a determinismus uvedené pro každou buňku

Přímý provoz na infrastruktuře řízené zákazníkem

Jeden model, několik cest držených dodavatelem

definice a provádění se pomalu rozcházejí

Běží na běžných počítačích, kde je to podporováno

Může pracovat offline, kde je to podporováno.

zaznamenán spouštěcí buňka a replay kontrakt

Dweve Core je kompletní AI výpočetní zásobník pro trénování a inferenci. Většina AI platforem pokrývá jen část a zbytek přenechává jiným dodavatelům. Core udržuje tvorbu modelů, trénování, inferenci, jádra, rozvrhování a nasazení v jednom koherentním systému. U podporovaných binárních úloh spotřebuje Core o 96 % méně energie než GPU zásobník.

25 registrovaných rodin číselných formátů

Částečné systémy vytvářejí trvalou závislost

Definice a provádění se pomalu rozcházejí.

Nový hardware, nový servisní systém, nové chování.

Cestovní mapa dodavatele se stává vaší cestovní mapou.

Žádný jednotlivý systém nedokáže vysvětlit výsledek.

Závislost přetrvává, protože výpočetní prostor pod ní je pokryt pouze částečně.

Core udržuje změny v numerické šířce, balení, hardwaru a nasazení v rámci jednoho implementačního systému. Algoritmus se nestane jiným produktem jen proto, že se přesune ze serveru x86 na ARM, GPU, prohlížeč nebo specializovaný cíl. Operace zůstává po celou dobu přesunu pojmenovaná, kontrolovatelná a vlastněná a každá cesta je registrována, nikoli odvozována z popisku formátu.

Registr implementací zahrnuje více než 2 900 operací, 76 kategorií operací a 25 registrovaných rodin numerických formátů. Každá cesta je určena v devíti dimenzích: algoritmus, datový typ, šířka, balení, akumulátor, backend, instrukční sada, politika odesílání a režim determinismu. Kontrakt reprezentace udržuje tyto numerické a fyzické volby připojené k operaci. Níže uvedená vizualizace fixuje většinu těchto dimenzí, aby zůstal čitelný malý reprezentativní výřez. Počet popisuje registr konkrétních buněk a kontraktů, nikoli tvrzení, že samotný popisek formátu nebo široký odznak schopností vysvětluje cestu provádění.

Která cesta je zvolena a na základě jakého kontraktu.

Vzorek je malý, protože registr implementací není.

Přichází nová šířka, balení, hostitel nebo kontrakt.

Který kód běžel, na kterém stroji, je uvedeno.

Stejné aktivum, stejný vlastník, nová podmínka.

První zděděný předpoklad, který Core odstraňuje, je, že jeden datový typ by měl dominovat všemu.

Procesor by měl být stejně snadno vyměnitelný jako datový typ.

Core nepovažuje jeden ekosystém akcelerátorů za definici AI a vše ostatní za méněcenný port. Jeho operace mají skalární referenční implementace a cesty specifické pro cílové platformy napříč podporovanými CPU, GPU, FPGA, prohlížeči a nasazovacími back-endy. Běhové prostředí vybírá implementaci podle dostupného stroje a politiky připojené k práci.

Moderní procesor x86 může využít své vektorové instrukce. ARM a Apple silicon mohou využít své nativní cesty. GPU NVIDIA, AMD a Apple mohou využít své příslušné back-endy. Prohlížeč může použít WebAssembly nebo WebGPU tam, kde je to vhodné. Nasazovací programy mohou cílit na specializovaný hardware. Procesor je cílem operace. Není vlastníkem modelu.

Vektory x86, nativní cesty ARM a Apple silicon.

GPU NVIDIA, AMD a Apple na vlastních back-endech.

WebAssembly nebo WebGPU tam, kde je to vhodné.

Specializovaný hardware pro nasazovací programy.

Široké cílové štítky jsou levné. Vlastnit skutečnou cestu je těžší.

Datový typ nebyl podporován, cílový hardware se změnil a kvantizér potřeboval další běhové prostředí.

Serving stack nemohl přehrát výsledek. Nákupní oddělení zahájilo další přezkum dodavatele.

Kvantizér potřeboval další běhové prostředí

Nepřidali jste jednu funkci. Odhalili jste další díru ve stroji.

Ručně vyladěno znamená, že někdo vlastní výsledek

Široké API se snadno inzeruje. Široké vlastnictví na úrovni stroje je mnohem těžší. Core nepovažuje operaci za pokrytou jen proto, že se generická implementace zkompiluje na jiném cíli. Podporované cesty jsou implementovány a vyladěny pro skutečnou kombinaci operace, reprezentace, balení, back-endu a instrukční sady.

Binární maticové násobení na AVX-512 není považováno za maticové násobení s plovoucí desetinnou čárkou s menšími hodnotami. Operace s balenými bity používají bitové instrukce dostupné na stroji. Operace s celými čísly a pevnou řádovou čárkou používají správný akumulátor a chování při přetečení. GPU cesty používají strukturu provádění cíle. Skalární implementace zůstávají přítomny jako reference a univerzální základ. To vytváří odpovědnou odpověď na jednoduchou otázku: jaký kód skutečně provedl tuto operaci na tomto stroji? Core může pojmenovat cestu.

Bitové instrukce pro bity, ne škálované floaty.

NEON jádra napsaná pro vlastní vektorovou architekturu ARM.

Toto vlastnictví musí pokračovat za jádrem a napříč celým životním cyklem modelu.

Trénován pro reprezentaci, kterou bude používat.

Směrován na vyladěnou cestu pro hostitele.

Benchmarkován a přehráván ve stejném stroji.

Jakmile je životní cyklus koherentní, variace se může stát smlouvou, ne nehodou.

Core uvádí smlouvu cesty, která skutečně běžela. Nativní binární, ternární, znaménkové a bezznaménkové celočíselné, pevné řádové čárky, adaptivní a přesné cesty Core jsou čistě deterministické tam, kde jsou pokryté, bez seedu. Nativní plovoucí, bfloat, blokově škálované a mikroškálované cesty Core používají seedované přehrávání. Volitelný Core na Kera dělá podporované cesty v těchto plovoucích rodinách také čistě deterministické.

Regulovaný nízkobitový, Q-formátový nebo adaptivní pracovní postup může vyžadovat bitově identické nativní přehrávání Core. Pracovní postup s plovoucí rodinou může použít připnutý seed a úplný záznam pod nativním Core. Kreativní vzorkování zůstává samostatnou volbou generování. Nasazení, které vyžaduje čistě deterministické bfloat, blokově škálované, mikroškálované nebo konvenční plovoucí provádění, může použít Core na Kera a odstranit seed. Toto jsou různé deklarované smlouvy pro vybranou buňku, ne zaměnitelná marketingová jména pro každou opakovanou odpověď.

Binární, celočíselné, Q, adaptivní a přesné cesty. Bez seedu.

Plovoucí, bfloat, blokově škálované a mikroškálované přehrávání.

Podporované cesty plovoucí rodiny, bez nutnosti seedu.

Když se chování změní, jeden systém by měl stále vlastnit vysvětlení.

Když se výsledek produkce změní v roztříštěném zásobníku, odpovědnost je rozdělena. Framework viní exportéra. Exportér viní runtime. Runtime viní jádro. Jádro viní ovladač. Ovladač viní hardware. Core přináší tyto odpovědnosti do jednoho systému.

Definice modelu, numerické volby, vybraný backend, cesta dispatche, režim determinismu a výsledný záznam provádění lze zkoumat společně. To neznamená, že každá externí závislost zmizí. Zdroje dat, aplikace, operační systémy a hardware stále existují. Znamená to, že samotný AI stroj má jednu odpovědnou hranici. Recenze se může zeptat, která implementace běžela, na kterém podporovaném cíli a pod kterou smlouvou o přehrávání, bez sešívání odpovědi z interních systémů několika dodavatelů.

Vybraná cesta a stroj, na kterém běžela.

Záznam, který umožňuje znovu prozkoumat běh.

Core udržuje jeden AI stroj, ale má dva prováděcí postoje.

Oba postoje by měly umožnit nasazení bez výměny systému AI.

Hardware se může měnit bez výměny systému AI

Rozhodnutí o infrastruktuře by neměla vynutit přepis modelu. Core udržuje model, operátorské rozhraní, numerický návrh a prováděcí kontrakt ve stejném systému, zatímco se mění postoj nasazení. Vybraný backend se může lišit. Organizace nemusí kolem něj znovu budovat celý zásobník AI.

Licencovaný tým může provozovat Core na clusterech nebo pracovních stanicích řízených organizací. Regulovaný program může vyžadovat plně izolované prostředí. Produkt může přesunout část své inference na okraj, zatímco prohlížečová aplikace může potřebovat lokální prováděcí cíl. Core udržuje tyto licencované provozní postoje v jednom stroji, aniž by tvrdil, že každý backend podporuje každou buňku. Core není produkt typu spravovaná služba. Licence popisuje provozní postoj a jeho podporovaný rozsah, nikoli nárok na každý možný cíl nebo pracovní zátěž.

Licencováno na infrastruktuře řízené organizací.

Lokální provádění tam, kde produkt žije.

Žádné externí závislosti povoleny, stále Core.

Pro evropské organizace je kontrola nad strojem součástí kontroly nad AI.

Core je navržen a postaven v Nizozemsku. Je licencován pro přímý provoz na systémech řízených zákazníkem, na podporovaných lokálních a okrajových cílech nebo v izolovaných prostředích, kde nejsou povoleny externí závislosti. Ve spravované službě Dweve používáte Core přes Fabric; přímý provoz vyžaduje licenci. Evropský původ sám o sobě nevytváří shodu; vytváří kontrolu nad strojem, který práci vykonává.