Għaliex Li Tistrieħ Kollox fuq NVIDIA Huwa Riskju Strateġiku
In-Nasba tal-Monokultura
Immaġina li 95% tal-karozzi fid-dinja jistgħu jaħdmu biss fuq tip speċifiku ta' petrol mibjugħ minn eżattament kumpanija waħda. Immaġina li r-raffinerija ta' din il-kumpanija tinsab fuq gżira instabbli ġeoloġikament. Immaġina li kull manifattur ieħor tal-karozzi jkollu jiddisinja l-magni tiegħu biex jaqblu ma' dan it-taħlit speċifiku ta' fjuwil.
Jekk dik il-kumpanija kellha ħsara fil-produzzjoni, jew għolliet il-prezzijiet b'400%, jew jekk imblokkataqtgħet il-gżira, l-ekonomija globali tieqaf għal kollox. It-trasport jieqaf.
Dan jinstema' bħal finzjoni distopika, imma din hija r-realtà preċiża tal-industrija tal-Intelliġenza Artifiċjali llum.
Fl-2025, bejn wieħed u ieħor 95% tat-taħriġ tal-AI u l-inferenza ta' livell għoli jsiru fuq GPUs manifatturati minn kumpanija waħda: NVIDIA. L-istack kollu tal-AI globali (mill-frameworks ta' PyTorch sad-disinji tat-tkessiħ tad-datacenter) huwa ottimizzat għall-arkitettura ta' NVIDIA. L-industrija hija dipendenti fuq CUDA, il-pjattaforma tas-softwer proprjetarja ta' NVIDIA.
NVIDIA hija kumpanija brillanti. Bnew teknoloġija inkredibbli. Imma din il-monokultura hija ħmar il-lejl strateġiku. Toħloq Punt Uniku ta' Falliment (SPOF) għall-ġejjieni kollu tal-intelliġenza umana.
In-Nuqqas Strutturali
Ilkoll għixna n-nuqqasijiet tal-H100 tal-2023 u l-2024. Startups stennew 12-il xahar għall-hardware. Il-gvernijiet ħażnu ċ-ċipep bħal stikek tad-deheb. Il-prezz tal-kompjutazzjoni tela' b'mod drammatiku.
Dan ma kienx biss ħabta temporanja fil-katina tal-provvista. Kien konġestjoni strutturali. Il-manifattura ta' dawn iċ-ċipep tiddependi fuq proċess kumplessa ħafna msejjaħ CoWoS (Chip-on-Wafer-on-Substrate) ippakkjar avvanzat, imwettaq primarjament minn TSMC fit-Tajwan. Il-kapaċità li jinbnew dawn il-pakketti hija limitata. Il-liġijiet tal-fiżika huma limitati.
Jekk l-istrateġija tal-IA tiegħek tiddependi fuq li jkollok aċċess għaċ-ċippa l-aktar ġdida u avvanzata ta' NVIDIA, qed timħat is-sopravivenza tal-kumpanija tiegħek fuq katina tal-provvista li ma tikkontrollax, għal prodott li jingħata lill-ogħla offerent.
Il-Foss ta' CUDA
Il-lock-in veru mhuwiex il-hardware; huwa s-softwer. CUDA hija l-lingwa tal-IA. Għal 15-il sena, riċerkaturi u studenti tgħallmu jiktbu kernels ta' CUDA. Il-libreriji huma ottimizzati għal CUDA. Jekk tipprova tmexxi kodiċi standard tal-IA fuq karta AMD jew aċċeleratur Intel, spiss tidħol f'dinja ta' uġigħ: dipendenzi miksura, kernels nieqsa, u prestazzjoni fqira.
Dan il-“foss ta’ CUDA” iżomm il-kompetituri ’l barra. Jiżgura li anki jekk AMD tibni chip li jkun aktar mgħaġġel u orħos (u tabilħaqq għamlu dan), ħadd ma jixtrih għax is-software ma jaħdimx biss “hekk.”
Il-Filosofija ta’ Dweve: Aħdem Kullimkien
F’Dweve, ħadna deċiżjoni radikali minn kmieni. Ħarisna lejn in-nasba ta’ CUDA u għidna: “Le.”
Iddeċidejna li ma niktbu la linja waħda ta’ CUDA. Ma nieħdux dipendenza fuq munzell ta’ hardware proprjetarju.
Minflok, bnejna l-munzell tagħna fuq standards miftuħa. Nużaw Vulkan (l-API tal-grafika li taħdem fuq kollox, mit-telefowns Android sal- servers Linux). Nużaw OpenCL. Nużaw SPIR-V. Serrħu fuq rappreżentazzjonijiet intermedji (IRs) bħal MLIR (Multi-Level Intermediate Representation).
Iżda s-sigriet veru mhuwiex biss l-API; huwa l-matematika.
Minħabba li n-Netwerks Newrali Binarji (BNNs) tagħna jiddependu fuq operazzjonijiet sempliċi ta' numri sħaħ (XNOR u POPCNT) minflok multiplikazzjonijiet kumplessi ta' matriċi b'punt li jvarja, aħna m'aħniex marbutin mal-"Tensor Cores" speċifiċi li NVIDIA biss tagħmel tajjeb.
It-Tensor Cores huma unitajiet tal-hardware speċjalizzati mfasslin biex iħaffu l-matematika b'punt li jvarja ta' 16-bit. Jekk l-algoritmu tiegħek jiddependi fuq FP16, għandek bżonn Tensor Core. Jekk l-algoritmu tiegħek jiddependi fuq loġika ta' 1-bit, m'għandekx bżonnu. Għandek biss bżonn bibien ta' loġika diġitali bażika.
Din il-libertà arkitettonali tippermettilna naħdmu b'mod effiċjenti fuq diversità tal-għaġeb ta' hardware:
1. AMD ROCm
Il-GPUs Instinct ta' AMD joffru qawwa ta' komputazzjoni u bandwidth tal-memorja enormi għal kull dollaru. Għal xogħol ta' floating point, l-istack tas-software (ROCm) storikament kien il-punt dgħajjef. Iżda għall-ħidmiet binarji tagħna, nikkumpilaw direttament għall-ISA (Instruction Set Architecture). Naqbżu l-libreriji li mhumiex affidabbli. Fuq hardware ta' AMD, il-mudelli Dweve jaħdmu b'veloċità kbira.
2. CPUs Intel (AVX-512)
Kulħadd jinjora l-CPU umli. Iżda l-proċessuri moderni Intel Xeon għandhom sett ta' istruzzjonijiet imsejjaħ AVX-512. Dan jippermetti lill-CPU tipproċessa 512 bits ta' dejta f'ċiklu wieħed. Għal Netwerk Newrali Binarju, dan ifisser 512 newroni pproċessati istantanjament. Nistgħu nħaddmu inferenza ta' prestazzjoni għolja fuq servers standard li l-kumpaniji diġà għandhom. L-ebda GPU mhi meħtieġa.
3. RISC-V
RISC-V hija l-arkitettura tal-hardware open-source tal-futur. Għaċ-ċipep hija dak li Linux kien għas-sistemi operattivi. Naħdmu b'mod nattiv fuq aċċeleraturi RISC-V. Dan huwa kruċjali għall-Ewropa u għan-nazzjonijiet li qed jiżviluppaw li jridu jibnu l-industriji domestiċi taċ-ċipep tagħhom indipendenti mill-kontrolli tal-esportazzjoni Amerikani.
4. FPGAs (Field Programmable Gate Arrays)
Din hija l-aktar fruntiera eċċitanti. FPGA hija ċippa ta' "kanvas vojt" li tista' terġa' tiġi konnessa f'millisekondi. Minħabba li n-netwerks tagħna jużaw gates loġiċi sempliċi, nistgħu fiżikament inwiringjaw iċ-ċippa biex taqbel mal-istruttura tan-netwerk newrali. Id-dejta tgħaddi miċ-ċippa bħall-ilma minn pajpijiet, mingħajr ebda overhead. Dan jagħti latenza ultra-baxxa (mikrosekondi) u effiċjenza enerġetika estrema.
Reżiljenza Strateġika u Sovranità
Għall-klijenti tagħna (speċjalment gvernijiet, aġenziji tad-difiża, u fornituri ta' infrastruttura kritika) din l-aġnostiċità tal-hardware hija karatteristika eċċezzjonali.
Dan ifisser li mhumiex maqfulin mis-sanzjonijiet. Jekk kriżi ġeopolitika taqta' l-aċċess għaċ-ċipep Amerikani, jistgħu jħaddmu l-mudelli Dweve tagħhom fuq ċipep Ewropej, jew fuq silikon legacy li jinstab faċilment. Għandhom "Pjan B."
Dan ifisser li għandhom setgħa ta' negozjar. Mhumiex marbutin mal-kapriċċi tal-prezzijiet ta' fornitur wieħed. Jekk NVIDIA tgħolli l-prezzijiet, jistgħu jaqilbu għal AMD jew ASICs speċjalizzati mingħajr ma jiktbu mill-ġdid is-software tagħhom.
Ifisser ukoll lonġevità. NVIDIA H100 se ssir skaduta fi 3 snin. F'ambjenti industrijali (ferroviji, fabbriki, impjanti tal-enerġija) it-tagħmir jeħtieġ idum 20 sena. FPGA ġenerika jew CPU standard tibqa' funzjonali għal għexieren ta' snin. Aħna nibnu software li jirrispetta ċ-ċiklu tal-ħajja tad-dinja fiżika.
L-Era Wara l-GPU
Aħna nemmnu li d-dominanza tal-GPU ta' Skop Ġenerali (GPGPU) għall-AI hija anomalija storika. Kienet l-għodda t-tajba għall-fażi ta' prototipar tal-AI, għax kienet flessibbli u disponibbli. Iżda hekk kif l-AI tidħol fil-fażi ta' skjerament, se naraw splużjoni Kambrijana ta' hardware speċjalizzat.
Se naraw Komputazzjoni Analogika. Komputazzjoni Ottika. Komputazzjoni Newromorfika. Komputazzjoni fil-Memorja. Dawn l-arkitetturi huma kollha fundamentalment inkompatibbli ma' CUDA. Jeħtieġu stack ta' softwer ġdid.
Billi nifirdu s-softwer tagħna mill-monopolju tal-hardware illum, Dweve hija protetta għall-futur ta' għada. Aħna mhux qed nibnu biss għaċ-ċipep tal-2025; qed nibnu għall-fiżika tal-2035.
Trid AI li taħdem fuq it-termini tiegħek, mhux dawk ta' NVIDIA? L-arkitettura agnostika tal-hardware ta' Dweve tagħtik libertà strateġika, kontroll tal-ispejjeż, u reżiljenza sovrana. Ikkuntattjana biex tiskopri kif in-Netwerks Newrali Binarji tagħna jistgħu jaħdmu fuq il-hardware li diġà għandek, jew is-siliċon miftuħ ta' għada.