Kodėl dirbtiniam intelektui naudojami GPU, o ne CPU (ir kodėl tai gali pasikeisti)
GPU manija
Pakalbėkite su bet kuo apie dirbtinio intelekto paleidimą, ir jie pasakys: „Jums reikia GPU. CPU yra per lėti. Visi naudoja GPU.“
Ir jie teisūs. Dažniausiai. GPU dominuoja dirbtinio intelekto srityje ne veltui. Tačiau istorija nėra tokia paprasta.
Suprasti, kodėl GPU laimėjo, kam CPU iš tikrųjų tinka ir kodėl pusiausvyra gali keistis, svarbu. Ypač jei mokate sąskaitas. Arba savo elektros tiekėjo sąskaitas. Arba stebitės, kodėl jūsų duomenų centrui reikia nuosavos elektros pastotės.
Įprasta išmintis teigia: slankiojo kablelio neuroniniai tinklai reikalauja didžiulio lygiagretumo, GPU užtikrina didžiulį lygiagretumą, todėl GPU laimi. Tačiau tai tik pusė istorijos. Kita pusė susijusi su tuo, kas nutinka, kai pakeičiate matematiką.
Kas iš tikrųjų yra procesoriai ir vaizdo plokštės
Pradėkime nuo pagrindų:
CPU (Centrinis procesorius):
Jūsų kompiuterio smegenys. Sukurtas bendrosios paskirties užduotims. Paleidžia operacinę sistemą. Atidaro failus. Tvarko atmintį. Vykdo programas. Daro šiek tiek visko.
Šiuolaikiniai procesoriai turi 8-64 branduolius. Kiekvienas branduolys yra galingas. Gali apdoroti sudėtingą logiką. Šakojimą. Nuoseklias užduotis. Puikiai atlieka skirtingus darbus greitai. Įsivaizduokite procesorių kaip mažą aukštos kvalifikacijos inžinierių komandą, kurių kiekvienas gali savarankiškai spręsti sudėtingas problemas.
GPU (grafikos procesorius):
Iš pradžių sukurta grafikai. Norint atvaizduoti 3D scenas, reikia tų pačių paprastų matematinių operacijų vienu metu milijonams pikselių. GPU čia puikiai tinka: paprastos operacijos, didžiulis lygiagretumas.
Šiuolaikiniai GPU turi tūkstančius branduolių. Kiekvienas branduolys yra paprastesnis nei CPU branduolys. Bet tūkstančiai jų, dirbančių kartu? Milžiniškas skaičiavimo pralaidumas lygiagrečioms užduotims. Įsivaizduokite GPU kaip gamyklos cechą su tūkstančiais darbuotojų, kurių kiekvienas labai greitai atlieka vieną paprastą užduotį.
Tai esminis skirtumas: CPU yra universalūs generalistai. GPU yra specializuoti lygiagretieji procesoriai.
Štai vaizdinis palyginimas:
Kodėl GPU dominuoja dirbtinio intelekto srityje
AI darbo krūviai, ypač neuroniniai tinklai, yra itin lygiagretūs. Štai kodėl GPU laimi:
Matricų daugyba visur:
Neuroniniai tinklai dažniausiai yra matricų daugybos. Padauginkite įvestį iš svorių. Milijonai daugybų. Visos nepriklausomos. Puikiai tinka lygiagrečiam apdorojimui.
GPU: Atlikite visus dauginimus vienu metu tūkstančiuose branduolių. Greitai.
CPU: Daugybas atlikite nuosekliai arba ribotame branduolių skaičiuje. Daug lėčiau.
Pavyzdys: vienas didelio kalbos modelio sluoksnis gali padauginti 1024×4096 matricą iš 4096×1024 matricos. Tai daugiau nei 4 milijardai daugybos ir sudėties operacijų. GPU su tensoriniais branduoliais tai užtrunka milisekundes. CPU - sekundes. Skirtumas didžiulis.
Ta pati operacija, skirtingi duomenys:
Kiekvienas neuronas atlieka tą pačią operaciją: daugyba su sudėtimi. Tik su skirtingais duomenimis. Tai vadinama SIMD (Single Instruction, Multiple Data). GPU yra sukurti būtent tam.
GPU: viena instrukcija transliuojama tūkstančiams branduolių. Kiekvienas ją taiko skirtingiems duomenims. Efektyvu.
CPU: gali atlikti SIMD vektorines instrukcijas (AVX-512), bet tik mažais pločiais (8-16 operacijų). Nesiplečia kaip GPU.
Tai tas pats, kaip duoti tą patį receptą tūkstančiui virėjų, o ne aštuoniems virėjams. Tūkstantis virėjų savo patiekalus baigia vienu metu. Aštuoni virėjai turi dirbti partijomis. Paprasta matematika.
Atminties pralaidumas:
Dirbtiniam intelektui reikia perkelti didžiulius duomenų kiekius. Milijardai svorių. Milijardai aktyvacijų. Atminties pralaidumas yra svarbus.
GPU: optimizuota atminties architektūra. Didelės spartos atmintis (HBM). Skirta duomenų imlioms užduotims. Šimtai GB/s.
CPU: Mažesnis atminties pralaidumas. Optimizuota delsai, ne pralaidumui. Dešimtys GB/s.
Pagalvokite apie tai kaip apie vandens vamzdžius. GPU turi didžiulius vamzdžius, kurie gali greitai perkelti didelius duomenų kiekius. CPU turi siauresnius vamzdžius, optimizuotus greitai prieigai prie mažesnių duomenų kiekių. Dėl AI duomenų cunamio norite didesnių vamzdžių.
Specializuota aparatinė įranga:
Šiuolaikiniai GPU turi tensorinius branduolius. Aparatinė įranga, specialiai skirta matricų daugybai. Itin greita dirbtinio intelekto darbo krūviams.
NVIDIA A100, pavyzdžiui, su trečios kartos tensoriniais branduoliais pasiekia iki 624 TFLOPS FP16 našumo. H200 pakelia kartelę dar aukščiau su patobulinta HBM3e atmintimi. Tai ne tik greiti įrenginiai; jie specialiai sukurti būtent toms operacijoms, kurių reikia neuroniniams tinklams.
CPU yra universalūs. Jokios specializuotos AI aparatinės įrangos (dažniausiai). Viską atlieka tinkamai, nieko išskirtinio.
Tradiciniams neuroniniams tinklams su slankiojo kablelio operacijomis GPU yra 10-100× greitesni nei CPU. Skirtumas yra realus.
Ką CPU iš tikrųjų moka gerai
CPU nėra nenaudingi dirbtiniam intelektui. Jie puikiai tinka skirtingiems dalykams:
Sudėtinga logika ir šakojimasis:
CPU gerai tvarko sąlyginę logiką. Jei-tai-kitaip. Switch sakiniai. Sudėtingas valdymo srautas. GPU su tuo susiduria sunkiai. Šakojimasis sukelia divergenciją, naikinančią lygiagretumą.
Atliekant AI užduotis su daug sąlyginės logikos, procesoriai gali konkuruoti.
Įsivaizduokite GPU su tūkstančiais branduolių, bandantį vykdyti skirtingas kodo šakas. Pusė branduolių nori eiti į kairę, pusė - į dešinę. GPU turi vykdyti abi šakas ir užmaskuoti rezultatus. Švaistoma. CPU tiesiog vykdo reikiamą šaką. Efektyvu šakojimo logikai.
Mažos delsos inferencija:
Mažiems modeliams, kuriems taikomi griežti delsos reikalavimai, CPU yra pranašesni. Nėra duomenų perdavimo pridėtinių sąnaudų. Nėra GPU inicijavimo. Tik tiesioginis vykdymas.
Kraštiniai įrenginiai, realaus laiko sistemos, interaktyvios programos. CPU inferencija yra praktiška.
Vien PCIe perdavimas gali pridėti 1-10 milisekundžių. Modeliui, kuris veikia per 2 milisekundes, tokia papildoma našta yra nepriimtina. CPU vykdo iškart. Nulis perdavimo delsos. Tai svarbu reagavimą reikalaujančioms programoms.
Sveikųjų skaičių ir dvejetainės operacijos:
CPU yra puikūs atlikdami sveikųjų skaičių matematiką. Bitų operacijas. Logines operacijas. Tai pagrindinės CPU operacijos, optimizuotos dešimtmečius.
Dvejetainių neuroninių tinklų arba sveikaisiais skaičiais kvantuotų modelių atveju CPU ir GPU skirtumas smarkiai sumažėja.
XNOR vartai yra procesoriuose nuo pat jų atsiradimo. Bitų skaičiavimas (popcount) yra vieno ciklo instrukcija šiuolaikiniuose procesoriuose. Šios operacijos yra tokios esminės, kad silicio inžinieriai jas negailestingai optimizavo. Kai jūsų AI modelis naudoja šias primityviąsias operacijas vietoj slankiojo kablelio daugybos su sudėtimi, staiga procesoriaus dešimtmečių optimizacija tampa svarbesnė nei GPU lygiagretieji branduoliai.
Bendras prieinamumas:
Kiekvienas įrenginys turi CPU. Ne kiekvienas įrenginys turi GPU. Kad diegimas vyktų visur, CPU yra vienintelis universalus pasirinkimas.
Telefonai, daiktų interneto įrenginiai, įterptinės sistemos. CPU inferencija dažnai yra vienintelis pasirinkimas.
Europoje galioja griežti duomenų saugojimo reikalavimai pagal BDAR. Vietinis AI paleidimas procesoriuose padeda išvengti priklausomybės nuo debesijos ir tarpvalstybinių duomenų perdavimo komplikacijų. Jūsų naudotojo telefone jau yra procesorius. Nereikia jokios papildomos įrangos. Jokie duomenys nepalieka įrenginio. Atitiktis užtikrinta.
Žaidimo taisykles keičiantis dvejetainis neuroninis tinklas
Čia ir prasideda įdomiausia dalis. Pamenate tas dvejetaines operacijas, kurias procesoriai atlieka ypač gerai?
Dvejetainiai neuroniniai tinklai vietoj slankiojo kablelio daugybos su sudėtimi naudoja XNOR ir popcount operacijas. Tai natūralios procesoriaus operacijos. Itin greitos procesoriuose.
Matematika čia elegantiška: vietoj to, kad daugintumėte 32 bitų slankiojo kablelio skaičius, palyginate 1 bito reikšmes naudodami XNOR, o tada suskaičiuojate sutampančius bitus naudodami popcount. Tas pats loginis palyginimas, tik gerokai paprastesnis įgyvendinimas. O procesoriai tai daro nuo aštuntojo dešimtmečio.
CPU našumas su dvejetainiais tinklais:
Dvejetainių tinklų atveju procesoriai gali prilygti GPU našumui arba jį viršyti. Kodėl?
XNOR ir popcount yra pigūs CPU operacijoms. 6 tranzistoriai XNOR. Vieno ciklo operacijos. Jokio slankiojo kablelio papildomų sąnaudų.
GPU yra optimizuotos slankiojo kablelio skaičiavimams. Jų tensoriniai branduoliai nepadeda atliekant dvejetaines operacijas. Ši specializacija tampa apribojimu.
Tai tarsi atvežti „Formulės 1“ bolidą į ralio lenktynes. Žinoma, lygioje trasoje jis greitas. Tačiau kai reljefas pasikeičia, specializuotas lenktyninis automobilis stringa, o universalus ralio automobilis puikiai susidoroja. Dvejetainės operacijos pakeitė reljefą.
„Dweve“ metodas:
XNOR-popcount yra tai, kam CPU buvo sukurti. Loginės operacijos. Bitų skaičiavimas. Greita.
Tai nėra teorija. Tai išmatuojama. Dvejetainiai tinklai iš esmės keičia aparatinės įrangos lygtį. Kai naudodami dvejetainius apribojimus galite suaktyvinti tik 4-8 srities specialistus iš 528 galimų parinkčių, o kiekvienas srities specialistas yra 64-128 MB grynų loginių taisyklių, procesoriai tai atlieka puikiai. Nereikia slankiojo kablelio aritmetikos. Tik greitos, efektyvios bitų operacijos.
Elektros energijos suvartojimas (paslėpta kaina)
Našumas nėra viskas. Energijos suvartojimas svarbus. Ypač Europoje, kur energijos kainos didelės, o tvarumo reglamentai griežti.
GPU energijos suvartojimas:
Aukščiausios klasės dirbtinio intelekto GPU suvartoja 300-700 vatų. Nuolat, esant apkrovai. Valandomis ar dienomis treniruojant.
Duomenų centrai, pilni GPU, sunaudoja megavatus. Elektrinės vertės elektros energijos. Milžiniški aušinimo reikalavimai. Eksploatacijos sąnaudos yra didžiulės.
Būsimieji dirbtinio intelekto procesoriai, kaip prognozuojama, sunaudos iki 15 360 vatų kiekvienas. Tai ne rašybos klaida. Penkiolika kilovatų. Vienam lustui. Jums reikės egzotiškų aušinimo sprendimų ir specializuotos elektros infrastruktūros. ES Energijos vartojimo efektyvumo direktyva reikalauja, kad duomenų centrai, kurių galia viršija 500 kilovatų, teiktų energijos suvartojimo ataskaitas. Su tokiais GPU šią ribą pasieksite greitai.
CPU energijos suvartojimas:
Šiuolaikiniai procesoriai dirbdami su dirbtinio intelekto užduotimis sunaudoja 50-150 vatų. Daug mažiau nei GPU.
Inference atveju, ypač diegiant krašto įrenginiuose, svarbus energijos efektyvumas. Baterijos veikimo laikas. Šiluminiai apribojimai. Eksploatacijos sąnaudos.
AMD neseniai paskelbė, kad iki 2030 m. pasieks 20× mastelio energijos vartojimo efektyvumo pagerėjimą dirbtinio intelekto sistemoms, viršydama pramonės tendencijas beveik 3×. Tačiau net ir su šiais patobulinimais GPU daugeliui darbo krūvių išlieka daug energijos sunaudojantys, palyginti su CPU.
Dvejetainių operacijų pranašumas:
Dvejetainės operacijos sunaudoja gerokai mažiau energijos nei slankiojo kablelio. Paprastesnės grandinės. Mažiau perjungimo veiksmų. Mažesnė energija vienai operacijai.
Tai svarbu tvarumui. Eksploatacijos sąnaudoms. Diegimo apribojimams. Kai Europos elektros kainos yra vienos didžiausių pasaulyje, dirbtinio intelekto paleidimas CPU su dvejetainėmis operacijomis yra ne tik efektyvus, bet ir ekonomiškai prasmingas. Jūsų buhalteris įvertins mažesnes elektros sąskaitas. Jūsų tvarumo vadovas įvertins mažesnį anglies pėdsaką.
Kainos aspektai (verslo realybė)
Techninė įranga kainuoja pinigus. Būkime konkretūs:
- GPU sąnaudos: Aukščiausios klasės dirbtinio intelekto GPU kainuoja dešimtis tūkstančių už vienetą. Duomenų centrų nuoma skiriasi, bet greitai sumuojasi. Didelių modelių mokymui reikia šimtų GPU savaitėms. Sąskaita siekia milijonus.
- CPU sąnaudos: Aukščiausios klasės CPU kainuoja tūkstančius, o ne dešimtis tūkstančių. Daug pigiau. Jau yra kiekviename serveryje. Nereikia pirkti papildomos įrangos.
- Bendra nuosavybės kaina (TCO): GPU reikalauja įrangos kainos ir elektros energijos sąnaudų bei aušinimo ir specializuotos infrastruktūros. Didelė bendra nuosavybės kaina.
CPU: Mažesnė aparatinės įrangos kaina, mažesnis energijos suvartojimas ir standartinė infrastruktūa. Mažesnės bendrosios nuosavybės išlaidos.
Kai reikia išvadų dideliu mastu, ypač su dvejetainiais tinklais, CPU gali būti ekonomiškesni. Našumo skirtumas mažėja, o sąnaudų skirtumas didėja CPU naudai.
Štai praktinis pavyzdys: milijonas užklausų per dieną atliekant išvadų skaičiavimą. Naudojant GPU su slankiojo kablelio modeliais, gali prireikti specializuotų GPU serverių, aušinimo infrastruktūros ir didelių energijos sąnaudų. Naudojant CPU su dvejetainiais tinklais, galima naudoti esamą serverių infrastruktūrą, standartinį aušinimą ir tik dalį energijos. Tos pačios galimybės, visiškai kitokia ekonomika.
Europos įmonės susiduria su papildomu aspektu: aparatinės įrangos suverenitetu. Dauguma aukščiausios klasės dirbtinio intelekto GPU yra pagaminti Amerikos gamintojų. Priklausomybė nuo tiekimo grandinių kelia riziką. CPU siūlo įvairesnes tiekimo galimybes, įskaitant Europos gamintojus. Kai geopolitinės įtampos paveikia lustų tiekimą, alternatyvos tampa svarbios.
Kada naudoti kurį
Tinkamas pasirinkimas priklauso nuo jūsų naudojimo atvejo:
Naudokite GPU, kai:
Didelės slankiojo kablelio modelių mokymas. Našumas yra kritinis. Biudžetas leidžia. Energija nėra ribojama. Tradicinės neuroninių tinklų architektūros.
GPU čia pranoksta kitus. Be jokių abejonių. Jei treniruojate 70 milijardų parametrų transformerių modelį, GPU yra jūsų draugas. Jų lygiagreti architektūra ir tensoriniai branduoliai daro juos akivaizdžiu pasirinkimu masinėms slankiojo kablelio matricų daugyboms.
Naudokite procesorius, kai:
Inference vykdymas krašte. Galia ribota. Kaina svarbi. Vėlavimo reikalavimai griežti. Dvejetainiai arba kvantizuoti modeliai. Diegimas visur.
CPU yra prasmingos. Dažnai vienintelis pasirinkimas.
Taip pat apsvarstykite CPU, kai jums reikia BDAR atitikties su vietiniu apdorojimu, kai diegiate į įvairią aparatinę įrangą be GPU prieinamumo, kai energijos vartojimo efektyvumas svarbesnis nei žaliavos pralaidumas arba kai naudojate dvejetainius neuroninius tinklus, kurie išnaudoja CPU privalumus.
Hibridinis metodas:
Mokykite GPU (jei naudojate slankiojo kablelio formatą). Diegti CPU (naudojant dvejetaines/kvantizuotas versijas). Geriausia iš abiejų pasaulių.
Arba nuo pat pradžių treniruokite dvejetainius tinklus CPU procesoriuose. Visiškai praleiskite GPU. Toks yra „Dweve“ metodas.
Universalaus atsakymo nėra. Dogma „jums reikia GPU“ nepaiso niuansų. Jūsų darbo krūvis, diegimo aplinka, biudžeto apribojimai ir architektūriniai sprendimai - viskas svarbu. Priimkite pagrįstą sprendimą, o ne refleksinį.
Ateitis (aparatinės įrangos evoliucija)
Techninės įrangos kraštovaizdis keičiasi:
Specializuotos dirbtinio intelekto lustai:
TPU („Google“). Neuroniniai varikliai („Apple“). Individualūs ASIC. Optimizuoti konkretiems dirbtinio intelekto darbo krūviams. Nei grynas CPU, nei grynas GPU.
Šie gali dominuoti tam tikrose nišose. Tačiau CPU ir GPU išlieka universalūs. O specializuotos lustai kelia priklausomybės nuo tiekėjo riziką. Kai „Google“ kontroliuoja TPU, o „Apple“ - neuroninius variklius, esate priklausomi nuo jų planų ir kainodaros. Europos įmonės turėtų apsvarstyti šias suverenumo pasekmes.
CPU AI plėtiniai:
„Intel AMX“ (išplėstiniai matricos plėtiniai). ARM SVE2. RISC-V vektoriniai plėtiniai. CPU, pridedantys dirbtiniam intelektui skirtas instrukcijas.
CPU ir GPU atotrūkis dirbtinio intelekto srityje mažėja. Ypač atliekant sveikųjų skaičių ir dvejetaines operacijas.
Šie plėtiniai suteikia matricų daugybos spartinimą tiesiogiai procesoriuose. Ne tokie galingi kaip skirtosios GPU slankiojo kablelio skaičiavimams, tačiau pakankami daugeliui darbo krūvių. Ir jie yra standartiniai, nereikalauja papildomos aparatinės įrangos.
Energiją taupančios architektūros:
Kylant energijos kainoms, efektyvumas svarbesnis už žaliavą našumą. Dvejetainės operacijos. Neuromorfiniai lustai. Analoginis skaičiavimas.
Ateitis palanki efektyvumui. CPU su dvejetainėmis operacijomis geriau atitinka šią tendenciją nei energiją ryjantis GPU slankiojo kablelio skaičiavimas.
Europos energijos kainos ir tvarumo reglamentai paspartina šį pokytį. Kai mokate didesnius įkainius už elektrą ir susiduriate su anglies dioksido mažinimo reikalavimais, efektyvumas nėra pasirinkimas. Jis privalomas. Laimi aparatinė įranga, kuri su mažiau energijos padaro daugiau.
Krašto skaičiavimo augimas:
DI keliasi iš debesijos į kraštą. Telefonai. Automobiliai. Daiktų interneto įrenginiai. Juose yra CPU, o ne GPU.
Efektyvus DI CPU tampa privalomas, o ne pasirenkamas.
ES dirbtinio intelekto aktas tam tikroms programoms pabrėžia vietinį apdorojimą. Krašto skaičiavimas su CPU pagrįstu DI puikiai dera su šiais reguliavimo reikalavimais. Duomenys lieka vietoje. Apdorojimas vyksta vietoje. Atitiktis paprastesnė.
Realaus pasaulio našumo skaičiai
Pakalbėkime konkrečiai su tikrais matavimais:
Slankiojo kablelio neuroniniai tinklai:
GPU: 100-300 TFLOPS (trilijonai slankiojo kablelio operacijų per sekundę). Aukščiausios klasės modeliai, tokie kaip A100, FP16 režimu pasiekia 624 TFLOPS. Naujesnis H200 pasiekia dar daugiau.
1-5 TFLOPS
Laimėtojas: GPU (20-100× greičiau)
Atotrūkis neabejotinas. Tradiciniams neuroniniams tinklams GPU dominuoja. Todėl visi manė, kad DI reikia GPU. Dešimtmetį jie buvo teisūs.
Dvejetainiai neuroniniai tinklai:
GPU: riboja specializuotos aparatinės įrangos trūkumas. Naudoja INT8 arba pasirinktinius branduolius. Galbūt 10-30× greičiau nei CPU dvejetainėms operacijoms.
CPU: XNOR ir popcount yra įgimtos. Itin greitos. Lygiagrečios per branduolius su AVX-512.
Laimėtojas: CPU gali prilygti GPU arba jį viršyti
Šis apsisukimas nėra magija. Tai matematikos ir aparatinės įrangos dizaino sąveika. Dvejetainės operacijos išnaudoja CPU stiprybes taip pat, kaip slankiojo kablelio daugyba išnaudoja GPU stiprybes.
Vėlavimas:
GPU: PCIe perdavimo pridėtinės išlaidos. 1-10 ms vien duomenų perkėlimui.
CPU: nulinės perdavimo pridėtinės išlaidos. Galima mažesnė nei milisekundės inferencija.
Laimėtojas: CPU mažo vėlavimo programoms
Tos PCIe pridėtinės išlaidos yra pastovios. Joks optimizavimas jų nepanaikina. Realaus laiko programoms, kuriose svarbi kiekviena milisekundė, CPU laimi pagal dizainą.
Energijos efektyvumas (operacijos vatui):
GPU: ~500-1000 GFLOPS/W (slankiojo kablelio)
CPU: ~100-200 GFLOPS/W (slankiojo kablelio)
Laimėtojas: GPU slankiojo kablelio skaičiavimui
Dvejetainės operacijos tai keičia:
CPU su dvejetainėmis operacijomis: 10-50× geresnės operacijos vatui nei GPU su slankiojo kablelio skaičiavimu
Laimėtojas: CPU su dvejetainėmis operacijomis
Kai Europos elektros kainos yra 3-4× didesnės nei JAV, šie efektyvumo skirtumai tiesiogiai virsta veiklos sąnaudomis. Verslo atvejis CPU pagrįstam DI greitai tampa įtikinamas.
Ką reikia įsiminti
Jei nieko kito neįsiminsite, įsiminkite tai:
- 1. GPU dominuoja slankiojo kablelio dirbtinį intelektą. Matricų daugybos lygiagretumas. Specializuoti tensoriniai branduoliai. Tradiciniams neuroniniams tinklams 20-100 kartų greitesni nei CPU. Slankiojo kablelio darbo krūviams jie yra aiškus pasirinkimas.
- 2. CPU pasižymi kitomis savybėmis. Sudėtinga logika. Maža delsa. Sveikųjų skaičių / dvejetainės operacijos. Visuotinis prieinamumas. GDPR reikalavimus atitinkantis vietinis apdorojimas.
- 3. Dvejetainiai tinklai keičia situaciją. XNOR ir popcount yra natūralios CPU operacijos. Dvejetainiam dirbtiniam intelektui CPU gali prilygti GPU našumui arba jį viršyti. Matematinis pokytis palankus CPU architektūrai.
- 4. Energijos suvartojimas tampa vis svarbesnis. GPU: šiandien 300-700 W, prognozuojama iki 15 360 W. CPU: 50-150 W. Atsižvelgiant į Europos energijos kainas ir tvarumo reikalavimus, efektyvumas nėra pasirinkimas.
- 5. Sąnaudos - ne tik aparatinė įranga. Energija. Aušinimas. Infrastruktūra. Tiekimo grandinės suverenitetas. Bendra nuosavybės kaina svarbi. CPU dažnai pigesni didelės apimties išvadoms, ypač su dvejetainiais tinklais.
- 6. Rinkitės pagal darbo krūvį, o ne pagal dogmas. Treniruojate didelius slankiojo kablelio modelius? GPU. Išvados krašte? CPU. Dvejetainiai tinklai? CPU. GDPR atitiktis? CPU. Hibridiniai metodai taip pat veikia.
- 7. Ateitis palanki efektyvumui. Krašto kompiuterija. Augančios energijos kainos. ES tvarumo reglamentai. Dirbtinio intelekto akto reikalavimai. CPU palanki architektūra stiprėja, o ne silpsta.
Esminė išvada
GPU laimėjo pirmąjį dirbtinio intelekto etapą, nes neuroniniai tinklai buvo sukurti slankiojo kablelio operacijoms ir dideliam lygiagretumui. GPU buvo sukurti būtent tam. Dešimtmetį trukusi dominavimo era sukūrė prielaidą, kad dirbtiniam intelektui reikia GPU. Slankiojo kablelio darbo krūviams tai tebegalioja.
Tačiau dirbtinis intelektas vystosi. Dvejetainiai tinklai. Sveikųjų skaičių kvantizavimas. Efektyvios architektūros. Tai palanku procesoriams. Pasikeitė matematiniai pagrindai, o kartu su jais - ir optimali aparatinė įranga.
Pasakojimas „jums reikia GPU“ daugeliui naudojimo atvejų yra pasenęs. Krašto įrenginių išvados? Dvejetainiai tinklai? Sąnaudoms jautrus diegimas? BDAR reikalavimų laikymasis? CPU yra konkurencingi. Dažnai pranašesni.
Techninės įrangos kraštovaizdis keičiasi. Atsiranda specializuotų lustų. Atkeliauja CPU dirbtinio intelekto plėtiniai. GPU monopolija baigiasi. Europos įmonės šiame poslinkyje turi ypatingų pranašumų: griežti duomenų apsaugos reglamentai palankūs vietiniam CPU apdorojimui, didelės energijos sąnaudos skatina efektyvumą, o techninės įrangos suverenumo rūpesčiai naudingi įvairesniam CPU tiekimui.
Supratimas, ką kiekvienas procesorius daro gerai, padeda pasirinkti teisingai. Ne remiantis ažiotažu. Remiantis jūsų faktiniais reikalavimais. Našumas, galia, kaina, diegimo apribojimai, reguliavimo reikalavimų laikymasis.
GPU vis dar dominuoja treniruojant didelius slankiojo kablelio modelius. O inferencija? Diegimas? Krašto kompiuterija? Pusiausvyra keičiasi. Ir dvejetainės operacijos CPU procesoriuose veda šį pokytį. Kitas dešimtmetis dirbtinio intelekto neatrodys kaip praėjusis. Aparatinė įranga, kuri atrodė būtina, gali tapti neprivaloma. Aparatinė įranga, kuri atrodė nepakankama, gali būti ideali.
Jūsų pasirinkimas nėra GPU ar CPU. Tai supratimas, kuri darbo krūvis tinka kuriai aparatūrai. Ir vis dažniau tas supratimas rodo į CPU daugiau naudojimo atvejų, nei siūlo įprasta išmintis.
Norite pamatyti CPU optimizuotą dirbtinį intelektą veikiant? Išbandykite „Dweve Loom“. Dvejetainis apribojimų sprendimas įprastuose CPU. Atitinka BDAR iš esmės. Toks dirbtinis intelektas, kuris veikia su jau turima aparatine įranga. Sukurta Europoje, atitinka Europos reikalavimus.