CPU sugrįžimas: kaip CPU aplenkė GPU dirbtiniam intelektui
Neįmanomas teiginys
„GPU neįmanoma pralenkti dirbant su dirbtinio intelekto užduotimis.“ Taip sakė visi. Tai buvo neabejotina tiesa daugiau nei dešimtmetį. CPU yra bendrosios paskirties procesoriai. GPU yra specializuoti. Ir viskas.
Bet mes tai padarėme.
Tai nėra nežymus patobulinimas. Tai esminis požiūrio pokytis. Ir tai vyksta todėl, kad nustojome bandyti priversti CPU veikti kaip GPU ir pradėjome naudoti matematiką, kurioje CPU yra pranašesni.
Kodėl GPU laimėjo (iš pradžių)
GPU dominavo dirbtinio intelekto srityje ne veltui. Neuroniniai tinklai yra matricų daugybos. Ir jų daug. GPU turi tūkstančius branduolių, atliekančių lygiagrečius slankiojo kablelio skaičiavimus. Tobulas atitikimas.
Bet štai ko visi nepastebėjo: atitikmuo buvo atsitiktinis, o ne esminis. GPU nebuvo sukurti dirbtiniam intelektui. Tiesiog atsitiko, kad jie buvo geri atliekant konkrečią matematiką, kurią naudojo ankstyvieji neuroniniai tinklai.
Slankiojo kablelio matricų daugyba? GPU laimi. Bet kas, jei nereikia slankiojo kablelio? Kas, jei dvejetainės operacijos veikia geriau? Staiga specializuoto GPU pranašumas išnyksta.
Europos procesorių revoliucija (kol Amerika pirko GPU)
Nutiko kažkas įdomaus, kai Amerikos dirbtinio intelekto įmonės skubėjo gauti NVIDIA kvotas. Europos mokslininkai, negalėdami užsitikrinti didelių GPU biudžetų, pradėjo klausti kitokių klausimų. Ne „kaip gauti daugiau GPU?“, o „ar mums iš tikrųjų reikia GPU?“
Vokietijos mokslinių tyrimų laboratorijos Max Planck institute 2018 m. paskelbė straipsnius apie dvejetainius neuroninius tinklus. Olandijos universitetai TU Delft optimizavo CPU inferenciją. Šveicarijos mokslininkai ETH Zurich sukūrė suvaržymais pagrįstą samprotavimą, kuris puikiai veikė standartiniuose Intel procesoriuose. Tai nebuvo GPU alternatyvos. Tai buvo CPU pirmenybę teikiantys metodai, kurie tiesiog padarė GPU nereikalingus.
Kodėl Europa? Sekite pinigus arba jų trūkumą. ES mokslinių tyrimų finansavimas vidutiniškai siekė 50-100 tūkst. eurų projektui. Užteko tyrėjams ir serveriams. Nepakako GPU klasteriams. Apribojimai skatina inovacijas. Europos dirbtinio intelekto tyrėjai negalėjo jėga prasibrauti skaičiavimo galia. Vietoj to jie optimizavo algoritmus. Pasirodo, algoritminis efektyvumas pranoksta aparatinės įrangos lygiagretumą.
Americietiškas modelis: mesti pinigus į GPU, pasiekti nežymius patobulinimus. Europinis modelis: permąstyti matematiką, pasiekti proveržio našumą naudojant esamą aparatinę įrangą. Tas pats galutinis tikslas, iš esmės skirtingi keliai. Briuselio efektas vėl pasireiškia: Europos sprendimai tampa pasauliniais standartais, nes jie veikia su infrastruktūra, kurią jau turi kiekvienas.
Dvejetainis pranašumas
Dvejetainiai neuroniniai tinklai vietoj slankiojo kablelio skaičių naudoja +1 ir -1. Operacijos tampa loginės: AND, OR, XOR, XNOR. Paprastos bitų manipuliacijos.
CPU yra neįtikėtinai greiti atliekant bitų operacijas. „Intel“ AVX-512 gali apdoroti 512 bitų vienu metu. Šiuolaikiniai „Xeon“ procesoriai turi specializuotų instrukcijų būtent šioms operacijoms.
Tuo tarpu GPU, optimizuoti slankiojo kablelio operacijoms, sunkiai susidoroja su dvejetaine logika. Jie gali tai atlikti, bet naudoja plaktuką preciziniam darbui. Visa ta specializuota slankiojo kablelio grandinė lieka nenaudojama.
Dvejetainiai tinklai CPU: naudojant tinkamą įrankį darbui. Slankiojo kablelio tinklai GPU: naudojant vienintelį įrankį, kurį visi žino.
Skaičiai, kurie mus šokiravo
Mūsų pirmieji etaloniniai testai atrodė klaidingi. Paleidome juos dar kartą. Rezultatai tie patys.
Vaizdų klasifikavimas: 2 000 išvadų per sekundę CPU, palyginti su 180 GPU.
Našumo pranašumas didėja kartu su mastu. Didesni modeliai rodo dar didesnius skirtumus. Kuo sudėtingesnis tinklas, tuo labiau CPU išsiveržia į priekį.
Techninis paaiškinimas (kodėl tai veikia)
Pakalbėkime konkrečiai, kodėl CPU staiga dominuoja AI išvadų srityje su dvejetainiais tinklais.
Instrukcijų lygio lygiagretumas: Šiuolaikiniuose „Intel Xeon“ procesoriuose yra AVX-512 vektoriniai plėtiniai. Tai 512 bitų SIMD operacijos. Viena instrukcija vienu metu apdoroja 512 dvejetainių reikšmių. Dvejetainio neuroninio tinklo sluoksnis su 512 neuronų? Viena procesoriaus instrukcija. GPU turi tai perduoti per slankiojo kablelio blokus, sukurtus grafikai. Architektūrinis neatitikimas kainuoja našumą.
Kešo efektyvumas: Dvejetainiai svoriai - 1 bitas. Slankiojo kablelio svoriai - 32 bitai. Į tą pačią L1 talpyklą telpa 32× daugiau dvejetainių svorių. CPU puikiai optimizuoja talpyklą. Kai visas modelis telpa L2 talpykloje, atminties pralaidumas nustoja rūpėti. GPU optimizuoti didelių duomenų rinkinių srautiniam perdavimui iš VRAM. Dvejetainiams tinklams srautinis perdavimas nereikalingas: viskas talpykloje. GPU pranašumas: panaikintas.
XNOR ir POPCOUNT: Dvejetainio neuroninio tinklo tiesioginisėjimas susiveda į XNOR operacijas, po kurių atliekamas populiacijos skaičiavimas (nustatytų bitų skaičius). Intel pridėjo POPCNT instrukciją 2008 m. AMD pasekė 2011 m. Kiekvienas šiuolaikinis procesorius turi aparatūroje pagreitintą bitų skaičiavimą. GPU? Jie tai emuliuoja slankiojo kablelio operacijomis. Vietinė aparatinės įrangos parama prieš emuliaciją. CPU laimi įtikinamai.
Šakos numatymas: Dvejetainės aktyvavimo funkcijos yra paprastos slenksčio sąlygos. Jei suma > 0, aktyvuojama. CPU turi sudėtingus šakų numatymo įrenginius, tobulintus dešimtmečius. Šios slenksčio operacijos tampa puikiai nuspėjamomis šakomis. GPU sunkiai susidoroja su šakomis: jų lygiagretumo modelis daro prielaidą, kad vykdymo keliai yra vienodi. Dvejetainiai tinklai turi daug šakų. CPU su jomis susidoroja puikiai. GPU stringa.
Veikimo spragos nėra magija. Tai architektūrinis suderinimas. Dvejetainiai neuroniniai tinklai naudoja operacijas, kurioms buvo optimizuoti procesoriai. Slankiojo kablelio tinklai naudoja operacijas, kurioms buvo sukurti GPU. Mes pakeitėme matematiką. Procesoriai tapo optimalūs.
Ne tik greitis: visas vaizdas
Greitis - tik dalis istorijos. Dvejetainiai tinklai CPU procesoriuose užtikrina:
Sutaupoma išlaidų: standartiniai serveriai kainuoja 70 % mažiau nei sistemos su GPU. Nereikia specializuotų greitintuvų.
Diegimo lankstumas: paleiskite bet kur. Debesų serveriuose, nuosavoje įrangoje, krašto įrenginiuose. Jei jis turi modernų procesorių, jis veikia.
Vėlavimas: vietinis procesoriaus skaičiavimas užtikrina atsakymo laiką milisekundėmis. Nėra tinklo užklausų į GPU klasterius.
CPU sugrįžimas nėra vien apie greitį. Tai apie tai, kad jis būtų geresnis kiekvienu aspektu, kuris svarbus realiam diegimui.
Bendra nuosavybės kaina (TCO): Penkerių metų TCO palyginimas atskleidžia tikrąją ekonomiką. GPU pagrindu veikianti išvadų sistema: 250 tūkst. eurų įranga, 90 tūkst. eurų elektra (Europos tarifais), 40 tūkst. eurų aušinimo infrastruktūra, 25 tūkst. eurų specializuota priežiūra. Iš viso: 405 tūkst. eurų. CPU pagrindu veikianti sistema: 80 tūkst. eurų įranga (standartiniai serveriai), 7 tūkst. eurų elektra, 0 eurų papildomas aušinimas, 8 tūkst. eurų standartinė priežiūra. Iš viso: 95 tūkst. eurų. 77 % mažesnės išlaidos. Toks pat našumas. Geresnė atitiktis. Tai ne nežymus pagerėjimas; tai verslo transformacija.
Veiklos paprastumas: GPU diegimams reikia specializuotų žinių. CUDA programavimas, GPU atminties valdymas, branduolio optimizavimas, šiluminis stebėjimas. Įgūdžių trūkumas didina atlyginimų priedus. CPU diegimai naudoja standartinę programinės įrangos inžineriją. C++, Python, įprastas serverių administravimas. Talentų telkinys yra visa programinės įrangos pramonė, o ne tik AI specialistai. Lengvesnis įdarbinimas, greitesnis įvedimas į darbą, mažesni atlyginimai. Veiklos sąnaudos sumažėja ne tik dėl aparatinės įrangos sutaupymo.
Reguliavimo atitiktis: ES dirbtinio intelekto aktas, BDAR, sektoriniai reglamentai: visa tai paprasčiau su CPU pagrįstais dvejetainiais tinklais. Deterministinis vykdymas užtikrina audito galimybę. Paaiškinamas samprotavimas tenkina skaidrumo reikalavimus. Formalus patikrinimas įrodo saugos savybes. GPU pagrįstos sistemos susiduria su sunkumais tenkindamos šiuos reikalavimus. Dvejetainiai tinklai CPU: atitiktis įdiegta iš anksto, o ne pritvirtinta vėliau. Reguliavimo pranašumas sustiprina techninį pranašumą.
Tiekėjo lankstumas: GPU reiškia priklausomybę nuo NVIDIA. Dvejetainiai procesoriai veikia su Intel, AMD, ARM diegimais. Daugiašaltinis pirkimas. Konkurencingos kainos. Jokios priklausomybės nuo vieno tiekėjo. Europos įmonės tai ypač vertina: diversifikuotos tiekimo grandinės, mažesnė geopolitinė rizika, derybinė galia. Amerikos įmonės įstrigusios su NVIDIA kainodaros galia. Europos įmonės pereina prie Intel, AMD, net ARM serverių lustų. Rinkos galia apversta.
„Intel“ niekur nedingo
Štai ironija: kol visi vaikėsi NVIDIA GPU, „Intel“ toliau gerino procesorių galimybes. AVX-512, „Cascade Lake“, „Ice Lake“, „Sapphire Rapids“. Kiekviena karta pridėjo instrukcijų, puikiai tinkančių dvejetainėms operacijoms.
Jie nesitaikė būtent į dirbtinį intelektą. Jie tobulino bendrąją skaičiavimo galią. Tačiau dvejetainiai neuroniniai tinklai yra bendrosios skaičiavimo galios dalis. Jie tiesiogiai pasinaudoja visais tais patobulinimais.
Infrastruktūra, kurią jau turi kiekviena įmonė, staiga tampa pajėgi dirbtiniam intelektui. Jokių naujų įrangos pirkimų. Jokių architektūros pakeitimų. Tik geresni algoritmai, išnaudojantys esamas galimybes.
AMD tyli pergalė: „AMD EPYC“ procesoriai puikiai tinka ir dvejetainiam dirbtiniam intelektui. „Zen 4“ architektūra palaiko AVX-512, pasižymi puikia talpyklos hierarchija ir efektyviu šakų numatymu. Dvejetainiai tinklai „EPYC“ procesoriuose veikia puikiai. AMD rinkos dalis serveriuose: 35 % ir auga. Tai reiškia, kad 35 % pasaulio duomenų centrų jau optimizuoti dvejetainiam dirbtiniam intelektui. AMD puikiai pozicionuota, tiesiogiai nesiekiant dirbtinio intelekto. Bendros paskirties meistriškumas tampa dirbtinio intelekto pranašumu.
Besiformuojantis ARM vaidmuo: „Graviton“ procesoriai („Amazon“ ARM lustai) demonstruoja dvejetainių tinklų galimybes. Efektyvus bitų valdymas, puikios energijos charakteristikos, didžiulis diegimas „AWS“. ARM architektūra plečiasi nuo išmaniųjų telefonų iki serverių. Dvejetainis DI veikia visame šiame diapazone. „Apple“ M serijos lustai: ARM pagrindu, nepaprastai efektyvūs, puikiai tinkantys dvejetainėms operacijoms. ARM efektyvumo pranašumas didėja kartu su dvejetainių tinklų efektyvumu. Tęstinumas nuo mobiliųjų įrenginių iki debesijos tampa įmanomas.
Atvira RISC-V ateitis: Atvirojo kodo RISC-V instrukcijų rinkinys leidžia atlikti individualius optimizavimus. Europos puslaidininkių įmonės (Bosch, Infineon, NXP) investuoja į RISC-V automobilių ir pramonės sektoriams. Pridėkite dvejetainius AI optimizavimus prie individualių RISC-V branduolių. Jokių licencijos mokesčių, visiška kontrolė, tobulas optimizavimas konkretiems naudojimo atvejams. Atviroji aparatinė įranga kartu su dvejetainiu AI užtikrina Europos puslaidininkių nepriklausomybę. Strateginės pasekmės yra didžiulės.
Die Deployment-Transformation
GPU pagrįstas dirbtinis intelektas reiškia specializuotą infrastruktūrą. Duomenų centrus su didelės galios aušinimu. Konkrečias serverių konfigūracijas. Pardavėjo įsipareigojimą. Sudėtingumą.
CPU pagrįstas DI reiškia diegimą bet kur. Ta standartinė serverių spinta? Puikiai tinka. Tie esami duomenų bazės serveriai? Jie dabar gali paleisti DI. Krašto vietos su pagrindine skaičiavimo galia? Visiškai pajėgios.
Europos įmonėms, turinčioms esamą infrastruktūrą, nereikia visko kurti iš naujo. Jos optimizuoja tai, ką jau turi. Amerikos debesijos paslaugų teikėjų GPU pranašumas išnyksta, kai CPU veikia geriau.
Aplinkosauginis pranašumas (slaptas Europos ginklas)
Energijos sąnaudos Europai svarbesnės nei Amerikai. Europos elektra: 0,20-0,30 € už kWh. Amerikos elektra: 0,10-0,15 € už kWh. Kai elektra kainuoja 2-3× brangiau, efektyvumas nėra pasirinkimas; tai išlikimo klausimas.
GPU pagrįstas AI inferencijos vykdymas vidutinio dydžio diegimams: 50 kW nuolatinė apkrova. Europos sąnaudos: 87 600-131 400 EUR per metus. Amerikos sąnaudos: 43 800-65 700 EUR. Tas 70 000 EUR metinis skirtumas finansuoja nemažai Europos AI tyrimų. Paskata efektyvumui tiesiog įmontuota į elektros sąskaitas.
Dvejetainiai tinklai CPU: 2-4 kW lygiaverčiam darbo krūviui. Europos sąnaudos: 3 504-5 256 € per metus. Sutaupoma: 84 000-126 000 € per metus. Amerikos įmonės efektyvumą laiko maloniu priedu. Europos įmonės jį laiko konkurencine būtinybe. Skirtingi ekonominiai kontekstai lemia skirtingas inovacijas.
Aplinkosaugos reglamentai Europoje taip pat griežtėja. ES tvarumo taksonomija reikalauja ataskaitų apie energijos suvartojimą. Didelės dirbtinio intelekto diegimo apimtys sukelia tvarumo auditų poreikį. GPU klasteriai, sunaudojantys megavatus, kelia reguliavimo klausimų. CPU pagrindu veikianti išvadų sistema, sunaudojanti kilovatus, lieka nepastebėta. Reguliavimo reikalavimų laikymasis tampa architektūros varomąja jėga.
Vokietijos atsinaujinančiosios energijos reikalavimai sukuria įdomią dinamiką. Saulės ir vėjo energija yra nepastovi. Duomenų centrai turi veikti pagal turimą atsinaujinančiosios energijos pajėgumą. GPU klasteriams reikia nuolatinės didelės galios, kurią sunku suderinti su nepastovia atsinaujinančiąja energija. CPU pagrįstas DI gali pritaikyti darbo krūvį prie turimos galios. Apkrovos lankstumas įgalina atsinaujinančiosios energijos integraciją. Aplinkosaugos apribojimai skatina technologines inovacijas. Labai europietiškas problemų sprendimo būdas.
Puslaidininkių poslinkis (atsitiktinė „Intel“ pergalė)
Kol visi dėmesį skyrė „NVIDIA“ GPU dominavimui, „Intel“ procesorių patobulinimai puikiai juos pozicionavo dvejetainiam dirbtiniam intelektui. Netyčia, bet lemiamai.
AVX-512 nebuvo sukurtas dirbtiniam intelektui. Jis buvo skirtas didelio našumo skaičiavimams, moksliniams modeliavimams, finansiniam modeliavimui. Bet tos 512 bitų vektorinės operacijos? Puikiai tinka dvejetainiams neuroniniams tinklams. POPCNT instrukcija? Pridėta duomenų bazių optimizavimui. Puikiai tinka dvejetainėms aktyvacijoms. Patobulintas „Ice Lake“ šakų prognozavimo įrenginys? Skirtas bendram našumui. Puikiai tinka dvejetainėms slenkstinėms reikšmėms.
„Intel“ patobulino procesorius tradicinėms darbo krūvims. Dvejetainio dirbtinio intelekto tyrėjai pastebėjo, kad šie patobulinimai atitinka jų poreikius. Dabar „Intel“ procesoriai užtikrina geresnę dirbtinio intelekto inferenciją nei specializuoti dirbtinio intelekto greitintuvai. Atsitiktinis architektūrinis atitikimas sukuria rinkos galimybę.
„NVIDIA“ rinkos kapitalizacija, pagrįsta dirbtiniu intelektu. „Intel“ atsigavimas gali būti irgi toks. „AMD“ EPYC procesoriai taip pat pasižymi dvejetainėmis operacijomis: AVX-512 atitikmuo, puiki talpyklos hierarchija, stiprus šakų numatymas. Dvejetainis dirbtinis intelektas naudingas visai x86 ekosistemai. Amerikos puslaidininkių įmonės laimi būdamos geros tradiciniame skaičiavime. GPU specializavosi per anksti siauram dirbtinio intelekto naudojimo atvejui. CPU išliko lankstūs ir tapo optimalūs platesniems dirbtinio intelekto metodams.
Rinkos apsivertimas (kas bus toliau)
GPU rinkos dinamika keičiasi. Mokymui vis dar reikia GPU, dėl to nesiginčijama. Tačiau inferencijos rinka yra 10-100× didesnė nei mokymo rinka. Dauguma AI darbo krūvių yra inferencija. Dvejetainiai tinklai CPU procesoriuose užima šią rinką.
Debėsties tiekėjai susiduria su įdomiais sprendimais. AWS, Azure, Google Cloud investavo milijardus į GPU infrastruktūrą. Nusidėvėjimo grafikai numato 3-5 metų naudojimą. Binary AI dar pirmaisiais metais padaro GPU inferenciją pasenusia. Arba nurašyti milijardus GPU investicijų, arba imti aukščiausios klasės kainas už prastesnį našumą. Nė vienas variantas nepatrauklus.
Europos debesijos paslaugų teikėjai įgyja pranašumą. OVH, Hetzner, Scaleway: jie naudoja standartinę CPU infrastruktūrą. Jokių įstrigusių GPU investicijų. Dvejetainis DI daro jų esamą infrastruktūrą konkurencingą DI darbo krūviams. Kainos pranašumas sustiprina našumo pranašumą. Amerikos hiperskalių GPU investicijos tampa įsipareigojimais. Europos teikėjų CPU dėmesys tampa pranašumu. Rinkos dinamika keičiasi.
Krašto diegimas atveria galimybes. „Tesla“ negali įdėti GPU į kiekvieną transporto priemonę: galios, kainos, šilumos, erdvės apribojimai. Tačiau kiekvienas automobilis jau turi galingus procesorius variklio valdymui, navigacijai, pramogoms. Dvejetainiai neuroniniai tinklai paverčia esamus automobilių procesorius dirbtinio intelekto greitintuvais. Jokios papildomos aparatinės įrangos. Tik programinės įrangos atnaujinimas. Krašto dirbtinis intelektas tampa įmanomas, nes procesoriai jau yra.
Išmanieji telefonai taip pat. „Qualcomm Snapdragon“ procesoriai pasižymi puikiu bitų manipuliavimo našumu. Dvejetainiai tinklai telefonų procesoriuose veikia greičiau nei specializuoti dirbtinio intelekto greitintuvai. „Apple“ A serijos lustai, „Samsung Exynos“: visi optimizuoti bendriesiems skaičiavimams, visi puikiai tinka dvejetainiam dirbtiniam intelektui. Mobilusis dirbtinis intelektas be specializuotų neuroninių variklių. Procesoriaus našumas daro specializuotus greitintuvus nereikalingus.
Europos pranašumas kristalizuojasi
Visa tai, kas paminėta aukščiau, palanku Europos dirbtinio intelekto įmonėms. Esama infrastruktūra veikia geriau. Energijos sąnaudos skatina efektyvumo inovacijas. Reguliavimo reikalavimų laikymasis įgalina formalų patikrinimą. CPU optimizuoti metodai atsiranda dėl išteklių apribojimų. Briuselio efektas globalizuoja Europos standartus.
JAV dirbtinio intelekto įmonės sukurtos kitokiam pasauliui. Gausus kapitalas, pigi energija, laisvas reguliavimas, GPU prieinamumas. Tie pranašumai nyksta. Kapitalo poreikiai mažėja (GPU nebereikia). Energijos vartojimo efektyvumas tampa svarbus (Europos kainos plinta visame pasaulyje). Reguliavimas griežtėja (ES dirbtinio intelekto aktas tampa pasauliniu standartu). GPU trūkumas nebesvarbus (CPU veikia geriau).
Europos dirbtinio intelekto įmonės sukurtos ribotam pasauliui. Ribotas kapitalas (priverstinis algoritminis efektyvumas). Griežtas reguliavimas (formalaus patikrinimo įdiegta iš anksto). CPU prieinamumas (standartinė aparatinė įranga yra optimali). Apribojimai, kurie atrodė kaip trūkumas, dabar tampa konkurenciniu pranašumu. Rinkos sąlygos visame pasaulyje krypsta link Europos požiūrio.
Kitas dešimtmetis: Europos dirbtinio intelekto įmonės eksportuos ne tik į Europą, bet ir visame pasaulyje. Amerikos įmonės licencijuos Europos technologijas. Azijos rinkos perims Europos standartus. CPU pagrįstas dvejetainis DI tampa dominuojančia architektūra. NVIDIA išlieka svarbi mokymui. Intel/AMD dominuoja išvadų srityje. Rinkos kapitalizacijos persiskirstymas atspindi architektūros pokytį. Europos DI nebėra pasivyjantis; Europos DI nustato tempą.
Ką tai reiškia DI
CPU sugrįžimas iš esmės keičia DI ekonomiką. Nebėra pasirinkimo tarp našumo ir kainos. Nebėra GPU trūkumo, ribojančio diegimą. Nebėra priklausomybės nuo pardavėjų.
Dweve Core veikia CPU.
Tai DI demokratizavimas per geresnę matematiką. Ne visi gali sau leisti GPU klasterius. CPU turi visi.
CPU revoliucija artėja. Šiuo metu vartotojai „Dweve“ gali naudotis tik gavę kvietimą.