Ardán amháin, 1,930 halgartam, gach cúlchóras: conas a thóg muid an cruach iomlán d'AI scoite

Ardán amháin, 1,930 halgartam, gach cúlchóras: conas a thóg muid an cruach iomlán d'AI scoite

An fhadhb ilroinnte

Tá do thimpeallacht forbartha AI ilroinnte.

Déanann tú fréamhshamhlú in PyTorch mar gurb é sin is fearr le taighdeoirí. Imlonnaíonn tú le TensorFlow mar gur mian le foirne táirgeachta uirlisí Google a úsáid. Scríobhann tú eithní CUDA do GPUanna NVIDIA. Aistríonn tú go ROCm le haghaidh crua-earraí AMD. Athscríobhann tú gach rud le haghaidh soghluaiste ag úsáid TensorFlow Lite nó Core ML. Úsáideann tú ONNX chun tiontú idir chreataí, ag súil nach mbrisfidh aon rud. Coinníonn tú bunachair chóid ar leithligh le haghaidh imlonnaithe scamall, imeall, agus brabhsálaí.

Deich n-uirlis éagsúla. Na mílte spleáchas. Tromluí comhoiriúnachta leaganacha. Athruithe briste gach timthriall scaoilte.

Nuashonrú PyTorch? Bíodh súil agat go mbeidh do leagan CUDA ag teacht leis. Ar mhaith leat imlonnú ar AMD? Athscríobh do chuid eithní. An bhfuil réasúnaíocht bhrabhsálaí uait? Tosaigh arís le WebAssembly. Ag aistriú ó GPUanna NVIDIA go AMD? Ádh mór ort an bunachar cóid sin a aistriú. Ag imlonnú ar FPGAanna? Foghlaim uirlisí iomlán difriúil.

Ní timpiste é an t-ilroinnt seo. Is toradh nádúrtha é ar gach creat a bheith ag barrfheabhsú dá chás úsáide féin agus neamhaird á déanamh ar idir-inoibritheacht. Sáraíonn PyTorch sa taighde ach déanann sé faillí ar imlonnú. Díríonn TensorFlow ar tháirgeadh ach tá an taithí taighde pianmhar. Glasálann CUDA thú i gcrua-earraí NVIDIA. Réitíonn gach uirlis fadhb amháin agus cruthaíonn sí trí cinn eile.

Tá bealach níos fearr ann.

Dweve Core: An t-ardán iomlán le haghaidh AI scoite

Is ardán aontaithe é Dweve Core chun líonraí néarúla scoite a thógáil ó chruinneas dhénártha go 8-giotán. Ní creat eile é. Is ionadú iomlán é ar do chruach ilroinnte.

Aon suiteáil amháin. Aon API amháin. Aon bhunachar cóid amháin. Imlonnú uathoibríoch go CPU, GPU, FPGA, WebAssembly, áit ar bith a bhfuil gá le rith.

Seo a chiallaíonn iomlán:

1,930 algartam a chlúdaíonn gach oibríocht atá uait:

• 415 primitive: Oibríochtaí adamhacha cosúil le XNOR, popcount, ionramháil ghiotán, cainníochtú, tiontú idir formáidí
• 500 eithne: Oibríochtaí cumaisc optamaithe do phatrúin choitianta
• 191 ciseal: Blocanna tógála iomlána líonra néaraigh (comhchuingiú, dlúth, normalú, gníomhachtú, aird)
• 674 algartam: Modhanna ardleibhéil lena n-áirítear claochluithe, nósanna imeachta oiliúna, cuardach éabhlóideach, driogadh eolais
• 30 fóntas idir-inoibritheachta: Droichid snámhphointe roghnacha le haghaidh cur chuige hibrideach
• 120 ailtireacht mhúnla: Teimpléid líonra réamh-optamaithe ó ResNets go Transformers

Ní fo-thacar é seo. Is iomláine mhatamaiticiúil é. Rinneamar anailís ar gach mór-ailtireacht líonra néaraigh agus thóg muid gach oibríocht a theastaíonn uathu, optamaithe le haghaidh ríomh scoite ó phrionsabail bhunúsacha.

6 chúlchríoch le tiomsú uathoibríoch:

• SIMD CPU: Eithní láimh-optamaithe do x86 agus ARM le brath ISA uathoibríoch (SSE2, AVX2, AVX-512, NEON, SVE/SVE2)
• CUDA: Optamú GPU NVIDIA le primitive leibhéal-fir agus úsáid Tensor Core
• Rust-HDL: Sintéis dhíreach FPGA agus ASIC ó chur síos algartaim
• WebAssembly: Réasúnaíocht bhrabhsálaí-bhunaithe le tacaíocht SIMD128 le haghaidh próiseáil ar-ghléas atá comhlíontach le GDPR
• ROCm: Optamú GPU AMD le hoibríochtaí leibhéal-tonnta
• Metal: Optamú Apple Silicon ag úsáid ailtireacht chuimhne aontaithe

6 leithead-giotán le cruinneas oiriúnaitheach:

• Dénártha (1-giotán): An éifeachtúlacht is mó le comhbhrú 16× i gcomparáid le FP16
• Trínártha: {-1, 0, +1} le scaipeadh follasach
• 2-ghiotán: Ceithre leibhéal le haghaidh comhbhrú cothromaithe
• 3-ghiotán: Ocht leibhéal do shraitheanna atá íogair ó thaobh cáilíochta
• 4-ghiotán: Sé leibhéal déag ag druidim le cáilíocht FP16
• 8-ghiotán: Beagnach lánbheachtais d'oibríochtaí ríthábhachtacha

Foghlaimíonn an t-ardán an leithead giotán is fearr do gach sraith le linn oiliúna trí roghnú bunaithe ar ghrádán. Ní heorastaicí. Ní buille faoi thuairim. Fíor-optamú bunaithe ar an gcaoi a bhfeabhsaíonn cruinneas le beachtas breise.

Scríobh uair amháin, imlonnaigh i ngach áit

Úsáideann an t-ardán API dearbhaithe Rust. Déanann tú cur síos ar a bhfuil uait, agus oibríonn an tiomsaitheoir amach conas é a rith go barrmhaith ar do chrua-earraí sprice.

Sampla de shainmhíniú líonra:

let model = NetworkBuilder::new()
    .input(BinaryTensor::new([1024, 784]))
    .dense(784, 512, activation=BinaryActivation::Sign)
    .dense(512, 256, activation=BinaryActivation::Sign)
    .output(256, 10)
    .build();

Sin é. Scríobh é seo uair amháin, agus gineann an tiomsaitheoir cur i bhfeidhm optamaithe go huathoibríoch do gach inneall cúil.

Oibríonn an píblíne tiomsúcháin trí cheithre leibhéal:

Leibhéal 1: IR Líonra Néarach - Déantar cur síos ar do líonra ardleibhéil a pharsáil ina ghraf ríomhaireachtúil le hoibríochtaí, sreabhadh sonraí, agus hipear-pharaiméadair.

Leibhéal 2: Optamú Graif - Cuireann pasanna caighdeánacha tiomsaitheora deireadh le cód marbh, fillteann siad tairisigh, dí-dhúblaíonn siad nathanna, agus comhleánn siad oibríochtaí seicheamhacha. Déantar sraith dhlúth agus normalú baisc agus gníomhachtú ina dhiaidh sin a chomhleá in aon chroíleacán amháin a lódálann ionchur uair amháin agus a tháirgeann aschur deiridh.

Leibhéal 3: Canúint BitOps - Íslíonn an graf go hoibríochtaí leibhéal-giotáin atá clóscríofa go follasach le beachtas. Tá an léiriú idirmheánach seo neamhspleách ar chrua-earraí ach gar d'fhíor-oibríochtaí meaisín. Tógtha ar bhonneagar MLIR (Léiriú Idirmheánach Il-Leibhéil) le haghaidh optamú ar chaighdeán tionsclaíoch.

Leibhéal 4: Ísliú Crua-earraí - Gineann giniúint deiridh chóid cur i bhfeidhm atá sainiúil don ardán. Le haghaidh AVX-512, bíonn oibríochtaí giotáin ina dtreoracha VPXORQ agus VPOPCNTQ. Le haghaidh CUDA, bíonn siad ina n-intrinsics leibhéal-chogaidh le rochtain chuimhne chomhtháite. Le haghaidh FPGA, bíonn siad ina ngeataí XNOR agus crainn suimitheora sinté liú i Verilog.

Ritheann an cód foinse céanna ar LAP do ríomhaire glúine le linn forbartha, imlonnaítear é ar GPUanna scamall i dtáirgeadh, agus tiomsaítear é go FPGAanna le haghaidh tátal cinntitheach fíor-ama. Gan aistriúchán. Gan iompar. Gan cód atá sainiúil d'ardán.

Tógtha do chustaiméirí le tógáil leis

Cumhachtaíonn Dweve Core Dweve Loom, ár gcóras réasúnaíochta atá bunaithe ar shrianta. Ach ní dúinne amháin é. Ardán iomlán é d'aon duine atá ag tógáil líonraí néaracha scoite.

Is féidir leat na nithe seo a leanas a chruthú:

• Ailtireachtaí saincheaptha ag baint úsáide as na 191 chineál ciseal agus 674 algartam
• Múnlaí sainréimse optamaithe do do riachtanais bheachta
• Cur chuige hibrideach ag meascadh ríomh leanúnach agus scoite trí na 30 fóntais idir-inoibritheachta
• Modhanna traenála núíosacha ag baint úsáide as cuardach éabhlóideach, driogadh eolais, nó meastóirí grádán saincheaptha

Soláthraíonn an t-ardán na nithe seo a leanas:

Bonneagar traenála iomlán: Sé leagan meastóra srutha dhírigh do shreabhadh grádán dénártha/trínártha. Optamóirí dénártha-fheasacha a choinníonn meáchain lánbheachtais go hinmheánach agus iad ag déanamh dénárthú do na rithí ar aghaidh. Roghnú uathoibríoch leithead giotán trí optamú grádán-bhunaithe. Driogadh forásach ilchéime ó FP32 trí INT8, INT4, trínártha, go dénártha.

Optamú crua-earraí uathoibríoch: Brath ag am rite ar chumais LAP (CPUID ar x86, cláir chórais ar ARM) agus seoladh uathoibríoch chuig an gcur i bhfeidhm SIMD is tapúla atá ar fáil. Roghnaítear leaganacha eithne GPU bunaithe ar mhéid snáithe foirne, cuimhne roinnte, agus comhaireamh clár. Sintéis FPGA le hionsá uathoibríoch cláir phíblíne bunaithe ar shrianta uainiúcháin.

Chandamú solúbtha: Chandamú siméadrach agus neamhshiméadrach le scálaí in aghaidh an teannsóra, in aghaidh an chainéil, nó in aghaidh an ghrúpa. Chandamú dinimiciúil le brath raoin ag am rite nó chandamú statach le scálaí réamh-ríofa ó shonraí calabraithe. Ríomh scála atá MSE-uasmhéid agus bunaithe ar dhiallas KL le haghaidh caillteanas cruinnis íosta.

Cén fáth a bhfuil tábhacht le ríomh scoite

Ríomhann líonraí néaracha traidisiúnta gach rud i bponc snámh 16-giotán nó 32-giotán, agus ansin déanann siad cinntí scoite ag an deireadh. Oibrímid go díreach i spás scoite ó dhénártha go 8-ngiotán, ag deireadh le ríomh leanúnach idirmheánach.

Ní chandamú simplí ar mhúnlaí atá ann cheana é seo. Tá an creat ailtireachta ó bhunphrionsabail timpeall ar oibríochtaí scoite:

Réaltacht crua-earraí: Is éard atá i bpróiseálaithe nua-aimseartha ná billiúin trasraitheoirí in dhá staid. Éilíonn geata XNOR 6 thrasraitheoir. Éilíonn iolraitheoir ponc snámh 32-giotán na mílte agus ídíonn sé orduithe méide níos mó fuinnimh. Ailíníonn oibríochtaí scoite le bunghnéithe crua-earraí.

Éifeachtúlacht chuimhne: Pacálann meáchain dhénártha 64 luach in aghaidh an fhocail 64-giotán. Tógann ResNet-50 le 25.6 milliún paraiméadar 3.1MB i bhfoirm dhénártha i gcomparáid le 50MB in FP16. Luíonn an múnla iomlán i dtaisce L3 an LAP (gnáth: 36-64MB). Bíonn tú ceangailte le ríomh seachas le cuimhne.

Solúbthacht imlonnaithe: Cumasaíonn múnlaí beaga tátal ar an ngléas. Gan spleáchas ar scamall. Gan aon fholaíocht líonra. Gan aon imní faoi phríobháideachas sonraí. Próiseáil faisnéis íogair go hiomlán ar ghléasanna úsáideoirí gan í a tharchur chuig freastalaithe riamh.

Maitrís iomlán na n-algartam

Soláthraíonn an t-ardán clúdach cuimsitheach ar fud trí ghné: algartaim, cúlchríocha, agus leithid ghiotán.

Oibríochtaí bunúsacha (415 primitive):

• 46 oibríochtaí giotán: geataí loighce, ionramháil, aistrithe, comhaireamh, aimsithe
• 16 oibríochtaí réimse: eastóscadh, taiscí, pacáil, scaipeadh, bailiú, cruthú masc
• 25 laghdú: AND/OR/XOR loighciúil, suim/uimhir uimhríochtúil, vótáil agus comhthoil
• 17 méadracht achair: Hamming, Jaccard, Dice, Tanimoto, cosine, Manhattan, Euclidean
• 12 oibríochtaí idirshuíomh: idirshuíomh 2-bhealach go 4-bhealach, cuair líonta spáis Morton agus Hilbert
• 44 uimhríocht: suimiú, dealú, iolrú, roinnt, oibríochtaí pointe seasta
• 39 claochluithe: Walsh-Hadamard, FFT, DCT, NTT, tonnta beaga (Haar, Daubechies, CDF97)
• 11 hashing: SHA-256, Blake3, xxHash, MinHash, SimHash, hashing íogair ó thaobh suímh
• 22 giniúint uimhreacha randamacha: LFSR, Mersenne Twister, ChaCha20, seichimh Sobol
• 15 chandamú: siméadrach, neamhshiméadrach, in aghaidh an teannsóra, in aghaidh an chainéil, ríomh scála
• 30 matamaitic dhénártha: XNOR-popcount, ionchódú téarnach, nuashonruithe meáchain, oibríochtaí grádáin
• 48 tiontuithe formáide: tiontuithe FP32/FP16/FP8/INT8/INT4/INT2 i ngach treo
• 42 oibríochtaí pointe seasta: uimhríocht, trasfhreagracha, sáithiú trasna gach leithead giotán

Oibríochtaí comhchodacha (500 eithní):

Eithní optamaithe a chomhcheanglaíonn primitives le haghaidh patrúin choitianta. Athraithis iolraithe maitrís (caighdeánach, trasuite, blocáilte). Cineálacha comhchuingithe (2D, 3D, domhain, grúpáilte, dilated). Normalú (baisc, ciseal, grúpa, cás). Feidhmeanna gníomhachtaithe (comhartha, tanh crua, líneach píosa-chliste). Meicníochtaí aire (féin-aire, tras-aire, il-cheann). Snámh (max, meán, stochastic).

Ciseal líonra (191 ciseal):

Blocanna tógála iomlána chun líonraí a thógáil. Ciseal dlúth le meáchain dhénártha, théarnacha, agus il-ghiotán. Ciseal comhchuingithe le gach athraitheach coitianta. Ciseal athfhillteach (LSTM, GRU le geataí dénártha). Ciseal aire (scálaithe ponc-táirge, il-cheann, suíomh coibhneasta). Ciseal normalaithe le staitisticí baisc agus paraiméadair fhoghlaimithe. Naisc iarmharacha le meaitseáil toise.

Algartaim ardleibhéil (674 algartam):

Modhanna iomlána le haghaidh oiliúna, tátail, agus optamaithe. Driogadh eolais le scagadh forásach il-chéim. Fionnachtain srianta éabhlóideach le ríomhchlárú géiniteach. Cuardach ailtireachta néarúil do líonraí scoite. Meastóirí grádáin (díreach-trí, clampáilte, oiriúnaitheach, móiminteam, hypernetwork). Optamóirí (BinaryAdam, TernaryAdam, candamú oiriúnaitheach). Oiliúint dháilte le comhiomlánú láidir Byzantine.

Doimhneacht chur i bhfeidhm an chúlchríoch

Tá gach algartam i roinnt athraitheas optamaithe in aghaidh an chúlchríoch. Ní cur i bhfeidhm ginearálta. Cód sonrach crua-earraí a shaothraíonn gach gné ailtireachta.

CPU SIMD: Soláthraíonn SSE2 comhoiriúnacht uilíoch x86-64 (gach próiseálaí ó 2001). Seachadann AVX2 luasghéarú 4-8× ar Haswell agus níos nuaí (2013+). Sroicheann AVX-512 10-16× le cláir masc le haghaidh réamhinsinte agus VPTERNLOG d'aon fheidhm Boole 3-ionchuir. Tugann NEON luasghéarú 3-4× do gach próiseálaí ARMv8 lena n-áirítear soghluaiste agus Apple Silicon. Soláthraíonn SVE/SVE2 cód neamhíogair ó thaobh fad veicteora a úsáideann veicteoirí níos leithne go huathoibríoch ar chrua-earraí níos nuaí.

CUDA: Cuimsíonn bunphríomhachtaí leibhéal-warp 32 snáithe a fheidhmíonn go sioncrónach. Próiseálann gach snáithe 32 luach dénártha pacáilte in uint32. Próiseálann warp iomlán 1,024 luach dénártha go comhthreomhar. Áirítear le huirlisí crua-earraí __popc le haghaidh comhaireamh daonra, __ballot_sync le haghaidh vótáil warp, __shfl_sync le haghaidh cumarsáid thapa gan chuimhne roinnte. Cinntíonn rochtain chuimhne chomhtháite úsáid bandaleithead. Úsáidtear Tensor Core le haghaidh oibríochtaí maitrís fiú le sonraí dénártha.

Rust-HDL: Sintéis chrua-earraí dhíreach ó chód Rust anótáilte. Gineann an creat Verilog/VHDL go huathoibríoch. Mapálann oibríochtaí dénártha XNOR-popcount go geataí XNOR (loighic chomhcheangailteach, nialas moill iomadaithe) móide crainn suimitheora. Cuirtear cláir phíblíne isteach go huathoibríoch bunaithe ar shrianta ama. Sintéisíonn sé go FPGAnna (Xilinx, Intel) agus ASICanna araon.

WebAssembly: Soláthraíonn SIMD128 oibríochtaí veicteora 128-giotán i ngach brabhsálaí nua-aimseartha (Chrome 91+, Firefox 89+, Safari 16.4+). Áirítear le hoibríochtaí v128.and/or/xor le haghaidh loighic ghiotánach agus i8x16.popcnt le haghaidh comhaireamh daonra. Comhcheangailte le Web Workers le haghaidh il-snáithiú agus SharedArrayBuffer le haghaidh cuimhne roinnte, baintear amach 60-80% de fheidhmíocht LAP dhúchais. Cumasaíonn réasúnaíocht ar-ghléas próiseáil chomhlíontach GDPR gan uaslódálacha freastalaí.

ROCm: Optamú leibhéal-tonntosaigh d'ailtireachtaí AMD le 64 snáithe in aghaidh an tonntosaigh (dúbailte ar 32 NVIDIA). Próiseálann gach snáithe 32 luach dénártha le haghaidh 2,048 luach in aghaidh an tonntosaigh. Intrinsics cosúil le CUDA le __builtin_popcount, __ballot, agus ds_swizzle. Tá an tsamhail chláir sách gar gur féidir le forbróirí CUDA cód ROCm a scríobh láithreach.

Metal: Optamú Apple Silicon ag úsáid ailtireacht chuimhne aontaithe ina roinneann LAP agus GPU RAM fhisiciúil le comhleanúnachas taisce. Cuireann sé deireadh le forchostas cóipeála sonraí. Baineann oibríochtaí dénártha leas as innill mhaitrís saincheaptha Apple. Seachadann Inneall Néarach M3 Max 50-80 TOPS ar réasúnaíocht dhénártha ag úsáid luasairí tiomnaithe atá tógtha isteach sa SoC.

Cad nach ndéanaimid (agus cén fáth a bhfuil tábhacht le fócas)

Tá sé tábhachtach a shoiléiriú: ní dhéanaimid gach rud. Cumasaíonn fócas sármhaitheas.

Gan réasúnaíocht snámhphointe: Ríomh scoite amháin ó dhénártha go 8-giotán. Má theastaíonn FP32/FP16/BFloat16 uait le haghaidh imlonnaithe, úsáid PyTorch nó JAX ina ionad. Optamaímid go heisiach le haghaidh oibríochtaí scoite, rud a chumasaíonn speisialtóireachtaí dodhéanta le snámhphointe meánchruinneas. Ní féidir leat a bheith sármhaith i ngach rud. Roghnaíomar AI scoite agus d'optamaíomar go neamhthrócaireach.

Gan ghraif réasúnaíochta dhinimiciúla: Tiomsaítear samhlacha go graif statacha le haghaidh imlonnaithe. Tacaíonn oiliúint le ríomh dinimiciúil (riachtanach do sholúbthacht taighde), ach tá réasúnaíocht táirgeachta statach. Cumasaíonn sé seo optamú roimh ré: comhleá eithne ar fud an líonra iomláin, optamú leagan amach cuimhne le cruthanna teannsóra aitheanta, agus ionchur treoracha réamh-lódála le patrúin rochtana intuartha.

Tiomsú sonraí fócasaithe: Soláthraímid 8 halgartam speisialaithe le haghaidh ullmhú ionchuir líonra néarach (normalú, scálú oiriúnaitheach, chandamú foghlamtha, méadú dénártha), ní ETL cuspóir ginearálta. Le haghaidh píblínte innealtóireachta gnéithe agus lódáil sonraí, úsáid uirlisí atá ann cheana (Pandas, Polars, DuckDB). Táimid sármhaith ag réasúnaíocht líonra néarach scoite ó dhénártha go 8-giotán. Nílimid ag cur in ionad do chruach sonraí iomlán.

Ní teorainneacha iad seo. Is fócas iad. Trí raon feidhme a shrianadh do líonraí néaracha scoite le graif réasúnaíochta statacha, bainimid amach doimhneacht optamaithe nach féidir le creataí cuimsitheacha a mheaitseáil.

Ag tógáil ar Dweve Core

Tá an t-ardán réidh le húsáid. Is féidir leat tús a chur le líonraí néaracha scoite a thógáil inniu.

Uirlisíocht iomlán:

• API Dearbhaitheach: DSL Rust le NetworkBuilder le haghaidh sainmhíniú samhla
• Bonneagar tiomsaitheora: Píblíne optamaithe bunaithe ar MLIR le ceithre leibhéal IR
• Creat oiliúna: Sé leagan STE, optamóirí atá feasach ar dhébheathach, roghnú uathoibríoch leithead giotán
• Gineadóirí cód chúlchríche: C le treoracha do LAP, eithní CUDA/HIP do GPU, Verilog do FPGA
• Uirlisí imlonnaithe: Easpórtáil go ONNX, Core ML, TensorFlow Lite, nó comhaid ina seasamh leo féin

Sampla de shreabhadh oibre:

1. Sainmhínigh do líonra ag úsáid NetworkBuilder
2. Oiliúin ag úsáid optamóirí atá feasach ar dhébheathach le roghnú oiriúnaitheach leithead giotán
3. Tiomsaigh go crua-earraí sprice le roghnú uathoibríoch cúlchríche
4. Imlonnaigh mar dhénártha optamaithe nó easpórtáil go formáid chaighdeánach
5. Rith áit ar bith: freastalaithe scamall, gléasanna imeall, brabhsálaithe, FPGAanna

Ardán amháin. Cód amháin. Gach cúlchríche. AI scoite iomlán.

Éirigh as a bheith ag láimhseáil deich gcreat. Éirigh as athscríobh cód do gach sprioc imlonnaithe. Éirigh as troid le comhoiriúnacht leaganacha. Tóg uair amháin ar Dweve Core agus imlonnaigh áit ar bith.

Cuireann Dweve Core cumhacht ar fáil do Dweve Loom, ár gcóras réasúnaíochta atá bunaithe ar shrianta atá le seoladh in 2026. Cuireann an creat i bhfeidhm an chairn iomlán de 1,930 algartam thar 6 chúlchríche le candamú ilghiotán oiriúnaitheach ó dhébheathach go 8 ngiotán. Tógtha ag foireann innealtóireachta Ollannach thar thrí bliana d'fhorbairt.