Kāpēc AI jomā visi izmanto GPU (un kāpēc tas varētu mainīties)
Apsēstība ar GPU
Runājot ar jebkuru par mākslīgā intelekta darbināšanu, viņi teiks: "Jums ir nepieciešama GPU. CPU ir pārāk lēnas. Visi izmanto GPU."
Un viņiem ir taisnība. Lielākoties. GPU dominē mākslīgā intelekta jomā pamatotu iemeslu dēļ. Taču stāsts nav tik vienkāršs.
Izprast, kāpēc GPU uzvarēja, kam CPU patiesībā ir piemēroti un kāpēc līdzsvars varētu mainīties, ir svarīgi. Īpaši, ja tu maksā rēķinus. Vai sava elektroenerģijas piegādātāja rēķinus. Vai arī prāto, kāpēc tavam datu centram ir vajadzīga sava elektroapgādes apakšstacija.
Parastā gudrība vēsta: peldošā komata neironu tīkliem ir nepieciešama milzīga paralēlisma pakāpe, GPU nodrošina milzīgu paralēlisma pakāpi, tāpēc GPU uzvar. Bet tā ir tikai puse no stāsta. Otra puse ir saistīta ar to, kas notiek, kad maināt matemātiku.
Kas patiesībā ir CPU un GPU
Sāksim ar pamatiem:
Centrālais procesors (CPU)
Jūsu datora smadzenes. Izstrādāts vispārējas nozīmes uzdevumiem. Palaiž jūsu operētājsistēmu. Atver failus. Pārvalda atmiņu. Izpilda programmas. Dara mazliet visu.
Mūsdienu CPU ir 8-64 kodoli. Katrs kodols ir jaudīgs. Spēj apstrādāt sarežģītu loģiku. Zarojumus. Secīgus uzdevumus. Lieliski piemērots dažādu darbību ātrai veikšanai. Iedomājieties CPU kā nelielu augsti kvalificētu inženieru komandu, kur katrs spēj patstāvīgi risināt sarežģītas problēmas.
GPU (grafikas procesors):
Sākotnēji izstrādāts grafikai. 3D ainu renderēšanai nepieciešama tā pati vienkāršā matemātika vienlaikus uz miljoniem pikseļu. GPU šajā izceļas: vienkāršas darbības, milzīga paralēlisma pakāpe.
Mūsdienu GPU ir tūkstošiem kodolu. Katrs kodols ir vienkāršāks nekā CPU kodols. Bet tūkstošiem kodolu, kas strādā kopā? Milzīga skaitļošanas caurlaidspēja paralēliem uzdevumiem. Iedomājieties GPU kā rūpnīcas cehu ar tūkstošiem strādnieku, katrs ļoti ātri veic vienu vienkāršu uzdevumu.
Tā ir būtiskā atšķirība: CPU ir daudzpusīgi vispārējas nozīmes procesori. GPU ir specializēti paralēlās apstrādes procesori.
Šeit ir vizuāls salīdzinājums:
Kāpēc GPU dominē mākslīgā intelekta jomā
AI darba slodzes, īpaši neironu tīkli, ir ļoti paralēlas. Lūk, kāpēc GPU uzvar:
Matricu reizināšana visur:
Neironu tīkli pārsvarā ir matricu reizināšana. Reizini ievadi ar svariem. Miljoniem reizinājumu. Visi neatkarīgi. Ideāli piemēroti paralēlai apstrādei.
GPU: veiciet visas reizināšanas vienlaikus tūkstošiem kodolu. Ātri.
CPU: veiciet reizināšanu secīgi vai ierobežotā kodolu skaitā. Daudz lēnāk.
Piemērs: viens slānis lielā valodas modelī var reizināt 1024×4096 matricu ar 4096×1024 matricu. Tas ir vairāk nekā 4 miljardi reizināšanas-saskaitīšanas operāciju. GPU ar tensoru kodoliem tas aizņem milisekundes. CPU - sekundes. Atšķirība ir milzīga.
Tā pati darbība, citi dati:
Katrs neirons veic vienu un to pašu darbību: reizināšanu ar saskaitīšanu. Tikai ar atšķirīgiem datiem. To sauc par SIMD (Single Instruction, Multiple Data). GPU ir radīti tieši šim nolūkam.
GPU: viena instrukcija tiek izplatīta tūkstošiem kodolu. Katrs to piemēro citiem datiem. Efektīvi.
CPU: var spēj veikt SIMD darbības ar vektoru instrukcijām (AVX-512), bet tikai nelielos platumos (8-16 darbības). Ne mērogojas kā GPU.
Tas ir tāpat kā dot vienu un to pašu recepti tūkstoš pavāriem, nevis astoņiem pavāriem. Tūkstoš pavāru pabeidz savus ēdienus vienlaikus. Astoņiem pavāriem jāstrādā partijās. Vienkārša matemātika.
Atmiņas joslas platums:
Mākslīgajam intelektam ir jāpārvieto milzīgs datu apjoms. Miljardiem svaru. Miljardiem aktivāciju. Atmiņas joslas platums ir svarīgs.
GPU: optimizēta atmiņas arhitektūra. Augstas caurlaidības atmiņa (HBM). Izstrādāta datu ietilpīgām darba slodzēm. Simtiem GB/s.
CPU: zemāks atmiņas joslas platums. Optimizēts latentumam, nevis caurlaidspējai. Desmitiem GB/s.
Iedomājieties to kā ūdensvadus. GPU ir milzīgi cauruļvadi, kas spēj ātri pārvietot lielus datu apjomus. CPU ir šaurāki cauruļvadi, kas optimizēti ātrai piekļuvei mazākiem datu apjomiem. Mākslīgā intelekta datu cunami prasa lielākus cauruļvadus.
Specializēta aparatūra:
Mūsdienu GPU ir tenzoru kodoli. Aparatūra, kas īpaši paredzēta matricu reizināšanai. Ļoti ātra mākslīgā intelekta darba slodzēm.
Piemēram, NVIDIA A100 ar trešās paaudzes tenzoru kodoliem nodrošina līdz 624 TFLOPS FP16 veiktspējas. H200 sniedzas vēl augstāk ar uzlaboto HBM3e atmiņu. Tās nav tikai ātras; tās ir īpaši radītas tieši tām darbībām, kādas nepieciešamas neironu tīkliem.
CPU ir vispārējas nozīmes procesori. Nav specializētas AI aparatūras (pārsvarā). Visu dara pienācīgi, nekas nav izcils.
Tradicionālajiem neironu tīkliem ar peldošā komata operācijām GPU ir 10-100× ātrāki nekā CPU. Atšķirība ir reāla.
Ar ko CPU patiešām ir labi
CPU nav bezjēdzīgas mākslīgajam intelektam. Tās izceļas citās lietās:
Sarežģīta loģika un zarošanās:
CPU labi apstrādā nosacījumu loģiku. Ja-tad-citādi. Switch priekšraksti. Sarežģīta vadības plūsma. GPU ar to grūtības. Zarošanās rada diverģenci, nogalinot paralēlismu.
MI uzdevumos ar daudz nosacījumu loģikas CPU var konkurēt.
Iedomājieties GPU ar tūkstošiem kodolu, kas mēģina izpildīt dažādus koda ceļus. Puse kodolu grib iet pa kreisi, puse pa labi. GPU ir jāizpilda abi ceļi un jānomaskē rezultāti. Izšķērdīgi. CPU vienkārši izpilda vajadzīgo ceļu. Efektīvi zarošanās loģikai.
Zemas latentuma secinājumi:
Maziem modeļiem ar stingrām latentuma prasībām CPU uzvar. Nav datu pārsūtīšanas pieskaitāmo izmaksu. Nav GPU inicializācijas. Tikai tūlītēja izpilde.
Pie malas ierīcēm, reāllaika sistēmām, interaktīvām lietotnēm. CPU secinājumi ir praktiski.
PCIe pārsūtīšana vien var pievienot 1-10 milisekundes. Modelim, kas darbojas 2 milisekundēs, šīs pieskaitāmās izmaksas ir nepieņemamas. CPU izpilda uzreiz. Nulle pārsūtīšanas latentuma. Tas ir svarīgi atsaucīgām lietotnēm.
Veselu skaitļu un binārās darbības:
CPU ir izcilas veselu skaitļu matemātikā. Bitu darbības. Loģiskās darbības. Tās ir pamata CPU darbības, optimizētas gadu desmitiem.
Binārajiem neironu tīkliem vai veselu skaitļu kvantizētiem modeļiem CPU-GPU plaisa krasi sašaurinās.
XNOR vārti CPU ir bijuši kopš to pirmsākumiem. Bitu skaitīšana (popcount) ir viena cikla instrukcija mūsdienu CPU. Šīs darbības ir tik pamata, ka silīcija inženieri tās nežēlīgi optimizēja. Kad jūsu MI modelis izmanto šīs primitīvās darbības peldošā komata reizināšanas-saskaitīšanas vietā, pēkšņi CPU gadu desmitu optimizācija ir svarīgāka par GPU paralēlajiem kodoliem.
Vispārēja pieejamība:
Katrai ierīcei ir CPU. Ne katrai ierīcei ir GPU. Izvietošanai visur CPU ir vienīgā universālā iespēja.
Telefoni, IoT ierīces, iebūvētās sistēmas. CPU secinājumi bieži ir vienīgā izvēle.
Eiropā ir stingras datu atrašanās vietas prasības saskaņā ar GDPR. MI palaišana lokāli uz CPU novērš mākoņa atkarības un pārrobežu datu pārsūtīšanas sarežģījumus. Jūsu lietotāja telefonam jau ir CPU. Nav nepieciešama papildu aparatūra. Dati nepamet ierīci. Atbilstība nodrošināta.
Bināro neironu tīklu spēles mainītājs
Šeit kļūst interesanti. Atcerieties tās binārās darbības, kurās CPU ir labas?
Binārie neironu tīkli izmanto XNOR un popcount peldošā komata reizināšanas-saskaitīšanas vietā. Tās ir vietējās CPU darbības. Ārkārtīgi ātras CPU.
Matemātika ir eleganta: tā vietā, lai reizinātu 32 bitu peldošā komata skaitļus, jūs salīdzināt 1 bitu vērtības ar XNOR, pēc tam skaitāt atbilstošos bitus ar popcount. Tā pati loģiskā salīdzināšana, daudz vienkāršāka ieviešana. Un CPU to dara kopš 1970. gadiem.
CPU veiktspēja ar binārajiem tīkliem:
Binārajiem tīkliem CPU var sasniegt vai pārspēt GPU veiktspēju. Kāpēc?
XNOR un popcount ir lēti CPU. 6 tranzistori XNOR. Viena cikla darbības. Nav peldošā komata pieskaitāmo izmaksu.
GPU ir optimizētas peldošajam komatam. To tensoru kodoli nepalīdz binārajās darbībās. Specializācija kļūst par ierobežojumu.
Tas ir kā atvest Formula One mašīnu uz rallija sacensībām. Protams, tā ir ātra uz gludām trasēm. Bet, kad reljefs mainās, specializētā sacīkšu mašīna cīnās, kamēr daudzpusīgā rallija mašīna izceļas. Binārās darbības mainīja reljefu.
Dweve pieeja:
XNOR-popcount ir tas, kam CPU tika izstrādāti. Loģiskās darbības. Bitu skaitīšana. Ātri.
Tas nav tikai teorija. To var izmērīt. Binārie tīkli būtiski maina aparatūras vienādojumu. Kad, izmantojot bināros ierobežojumus, no 528 pieejamajām iespējām var aktivizēt tikai 4-8 domēna speciālistus, un katrs domēna speciālists ir 64-128 MB tīru loģisko noteikumu, CPU ar to tiek galā lieliski. Nav nepieciešama peldošā komata aritmētika. Tikai ātras, efektīvas bitu darbības.
Enerģijas patēriņš (slēptās izmaksas)
Performance nav viss. Svarīgs ir arī enerģijas patēriņš. Īpaši Eiropā, kur enerģijas izmaksas ir augstas un ilgtspējas noteikumi ir stingri.
GPU enerģijas patēriņš:
Augstas klases AI GPU patērē 300-700 vatus. Pastāvīgi zem slodzes. Stundām vai dienām treniņa laikā.
Datu centri, kas pilni ar GPU, patērē megavatus. Elektroenerģijas daudzumu, kādu saražo spēkstacijas. Milzīgas dzesēšanas prasības. Ekspluatācijas izmaksas ir milzīgas.
Nākotnes mākslīgā intelekta procesori, pēc prognozēm, patērēs līdz pat 15 360 vatiem katrs. Tā nav drukas kļūda. Piecpadsmit kilovati. Uz vienu mikroshēmu. Jums būs nepieciešami īpaši dzesēšanas risinājumi un atsevišķa elektroapgādes infrastruktūra. ES Energoefektivitātes direktīva pieprasa datu centriem, kuru jauda pārsniedz 500 kilovatu, ziņot par enerģijas patēriņu. Ar šādām GPU jūs šo slieksni sasniegsiet ātri.
CPU enerģijas patēriņš:
Mūsdienu CPU patērē 50-150 vatus AI darba slodzēs. Daudz mazāk nekā GPU.
Inference gadījumā, īpaši edge izvietošanā, svarīga ir energoefektivitāte. Akumulatora darbības laiks. Termiskie ierobežojumi. Ekspluatācijas izmaksas.
AMD nesen paziņoja, ka līdz 2030. gadam panāks 20× lielāku energoefektivitātes uzlabojumu AI sistēmām mēroga līmenī, pārsniedzot nozares tendences gandrīz 3×. Taču pat ar šiem uzlabojumiem GPU joprojām patērē daudz enerģijas salīdzinājumā ar CPU daudzām darba slodzēm.
Bināro darbību priekšrocība:
Binārās darbības patērē ievērojami mazāk enerģijas nekā peldošā komata darbības. Vienkāršākas shēmas. Mazāka pārslēgšanās aktivitāte. Mazāka enerģija uz vienu darbību.
Tas ir svarīgi ilgtspējībai. Ekspluatācijas izmaksām. Ieviešanas ierobežojumiem. Kad Eiropas elektroenerģijas izmaksas ir vienas no augstākajām pasaulē, AI darbināšana uz CPU ar binārām operācijām nav tikai efektīva; tā ir ekonomiski pamatota. Jūsu grāmatvedis novērtēs zemākos elektrības rēķinus. Jūsu ilgtspējības speciālists novērtēs mazāku oglekļa pēdas nospiedumu.
Izmaksu apsvērumi (biznesa realitāte)
Aparatūra maksā naudu. Precizēsim:
- GPU izmaksas: Augstas klases AI GPU vienība maksā desmitiem tūkstošu. Datu centra noma atšķiras, bet ātri uzkrājas. Lielu modeļu apmācībai nedēļām ilgi nepieciešami simtiem GPU. Rēķins sasniedz miljonus.
- CPU izmaksas: Augstas klases CPU maksā tūkstošus, nevis desmitiem tūkstošu. Daudz lētāk. Jau ir katrā serverī. Nav nepieciešams iegādāties papildu aparatūru.
- TCO (kopējās īpašumtiesību izmaksas): GPU prasa aparatūras izmaksas plus enerģijas patēriņu plus dzesēšanu plus specializētu infrastruktūru. Augsts TCO.
CPU: zemākas aparatūras izmaksas plus mazāks enerģijas patēriņš plus standarta infrastruktūra. Zemākas kopējās īpašuma izmaksas.
Inference lielā mērogā, īpaši ar binārajiem tīkliem, CPU var būt izmaksu ziņā izdevīgāki. Veiktspējas atšķirība samazinās, bet izmaksu atšķirība palielinās par labu CPU.
Šeit ir praktisks piemērs: secinājumu izpilde miljonam pieprasījumu dienā. Ar GPU un peldošā punkta modeļiem jums, iespējams, būs nepieciešami īpaši GPU serveri, dzesēšanas infrastruktūra un ievērojami enerģijas budžeti. Ar CPU un binārajiem tīkliem varat izmantot esošo serveru infrastruktūru, standarta dzesēšanu un nelielu daļu enerģijas. Tādas pašas iespējas, pavisam citāda ekonomika.
Eiropas uzņēmumiem ir vēl viens apsvērums: aparatūras suverenitāte. Lielākā daļa augstas klases AI GPU nāk no Amerikas ražotājiem. Atkarība no piegādes ķēdēm rada riskus. CPU piedāvā daudzveidīgākas ieguves iespējas, tostarp Eiropas ražotājus. Kad ģeopolitiskās spriedzes ietekmē mikroshēmu piegādes, alternatīvu esamībai ir nozīme.
Kad ko izmantot
Pareizā izvēle ir atkarīga no jūsu lietošanas gadījuma:
Izmantojiet GPU, ja:
Trenējat lielus peldošā punkta modeļus. Veiktspēja ir kritiska. Budžets to atļauj. Enerģija nav ierobežota. Tradicionālas neironu tīklu arhitektūras.
GPU šeit izceļas. Nav šaubu. Ja trenējat transformatora modeli ar 70 miljardiem parametru, GPU ir jūsu draugs. To paralēlā arhitektūra un tensoru kodoli padara tos par acīmredzamu izvēli masīvām peldošā punkta matricu reizināšanām.
Izmantojiet CPU, ja:
Veicat secinājumu izpildi perifērijā. Enerģija ir ierobežota. Izmaksām ir nozīme. Latences prasības ir stingras. Binārie vai kvantizētie modeļi. Izvietošana visur.
CPU ir loģiska izvēle. Bieži vien vienīgā iespēja.
Apsveriet CPU arī tad, ja nepieciešama GDPR atbilstība ar lokālu apstrādi, ja izvietojat risinājumus daudzveidīgā aparatūrā bez GPU pieejamības, ja energoefektivitāte ir svarīgāka par neapstrādātu caurlaidspēju vai ja izmantojat bināros neironu tīklus, kas balstās uz CPU priekšrocībām.
Hibrīdā pieeja:
Trenējiet uz GPU (ja izmantojat peldošo punktu). Izvietojiet uz CPU (izmantojot binārās/kvantizētās versijas). Labākais no abām pasaulēm.
Vai arī trenējiet bināros tīklus uz CPU jau no paša sākuma. Izlaidiet GPU pavisam. Tā ir Dweve pieeja.
Universālas atbildes nav. Dogma, ka "jums ir nepieciešams GPU", ignorē nianses. Jūsu darba slodzei, izvietošanas videi, budžeta ierobežojumiem un arhitektūras izvēlēm ir nozīme. Pieņemiet pārdomātu lēmumu, nevis refleksīvu.
Nākotne (aparatūras attīstība)
Aparatūras ainava mainās:
Specializētas AI mikroshēmas:
TPU (Google). Neironu dzinēji (Apple). Pielāgoti ASIC. Optimizēti konkrētām AI darba slodzēm. Ne tīri CPU, ne tīri GPU.
Tie var dominēt atsevišķās nišās. Bet CPU un GPU paliek vispārējas nozīmes. Un specializētām mikroshēmām ir piegādātāja piesaistes riski. Kad Google kontrolē TPU un Apple kontrolē neironu dzinējus, jūs esat atkarīgi no to ceļvežiem un cenām. Eiropas uzņēmumiem būtu jāapsver šīs suverenitātes sekas.
CPU AI paplašinājumi:
Intel AMX (Advanced Matrix Extensions). ARM SVE2. RISC-V vektoru paplašinājumi. CPU iegūst AI specifiskas instrukcijas.
CPU un GPU atšķirība AI jomā samazinās. Īpaši veselu skaitļu un binārajām operācijām.
Šie paplašinājumi ienes matricu reizināšanas paātrinājumu tieši CPU. Nav tik jaudīgi kā īpaši GPU peldošā punkta aprēķiniem, bet pietiekami daudzām darba slodzēm. Un tie ir iekļauti standartā, bez papildu aparatūras.
Enerģiju efektīvas arhitektūras:
Energoresursu cenām augot, efektivitāte kļūst svarīgāka par neapstrādātu veiktspēju. Binārās darbības. Neiromorfās mikroshēmas. Analogā skaitļošana.
Nākotne dod priekšroku efektivitātei. CPU ar binārajām darbībām šai tendencei atbilst labāk nekā energoietilpīga GPU peldošā komata skaitļošana.
Eiropas elektroenerģijas cenas un ilgtspējas regulējums paātrina šo pārmaiņu. Ja maksājat augstākās likmes par elektrību un saskaraties ar oglekļa emisiju samazināšanas prasībām, efektivitāte nav izvēle. Tā ir obligāta prasība. Aparatūra, kas ar mazāku enerģijas patēriņu paveic vairāk, uzvar.
Peražu skaitļošanas izaugsme:
AI pāriet no mākoņa uz perifērijas ierīcēm. Telefoni. Automašīnas. IoT ierīces. Tajās ir CPU, nevis GPU.
Efektīva AI darbība uz CPU kļūst obligāta, nevis izvēles iespēja.
ES Mākslīgā intelekta akts uzsver lokālo apstrādi noteiktām lietojumprogrammām. Pērāžu skaitļošana ar CPU bāzētu mākslīgo intelektu lieliski saskan ar šīm regulatīvajām prasībām. Dati paliek lokāli. Apstrāde notiek lokāli. Atbilstība ir vienkāršāka.
Reāli veiktspējas rādītāji
Būsim konkrēti ar faktiskiem mērījumiem:
Peldošā komata neironu tīkli:
GPU: 100-300 TFLOPS (triljoni peldošā komata darbību sekundē). Augstākās klases modeļi, piemēram, A100, sasniedz 624 TFLOPS FP16 režīmā. Jaunākais H200 sniedzas vēl augstāk.
1-5 TFLOPS
Uzvarētājs: GPU (20-100× ātrāks)
Atšķirība ir nenoliedzama. Tradicionālajiem neironu tīkliem GPU dominē. Tāpēc visi pieņēma, ka AI ir nepieciešami GPU. Desmit gadus viņiem bija taisnība.
Binārie neironu tīkli:
GPU: Ierobežo specializētas aparatūras trūkums. Izmanto INT8 vai pielāgotus kodolus. Iespējams, 10-30× ātrāks par CPU binārajām darbībām.
CPU: XNOR un popcount ir vietējās darbības. Ārkārtīgi ātras. Paralēlas starp kodoliem ar AVX-512.
Uzvarētājs: CPU var līdzināties GPU vai to pārspēt
Šis pavērsiens nav maģija. Tā ir matemātika, kas sastopas ar aparatūras dizainu. Binārās darbības izmanto CPU stiprās puses tāpat, kā peldošā komata reizināšana izmanto GPU stiprās puses.
Latence:
GPU: PCIe pārsūtīšanas papildu slogs. 1-10ms tikai datu pārvietošanai.
CPU: Nulles pārsūtīšanas papildu slogs. Iespējama inference milisekundes daļā.
Uzvarētājs: CPU zema latentuma lietojumprogrammām
Šis PCIe papildu slogs ir fiksēts. Nekāda optimizācija to nevar novērst. Reāllaika lietojumprogrammām, kurās katra milisekunde ir svarīga, CPU uzvar pēc konstrukcijas.
Energoefektivitāte (darbības uz vatu):
GPU: ~500-1000 GFLOPS/W (peldošā komata)
CPU: ~100-200 GFLOPS/W (peldošā komata)
Uzvarētājs: GPU peldošā komata skaitļošanā
Binārās darbības to maina:
CPU ar binārajām darbībām: 10-50× labākas darbības uz vatu nekā GPU ar peldošā komata skaitļošanu
Uzvarētājs: CPU ar binārajām darbībām
Kad Eiropas elektroenerģijas izmaksas ir 3-4× augstākas nekā ASV, šīs efektivitātes atšķirības tieši pārvēršas ekspluatācijas izmaksās. Biznesa pamatojums CPU bāzētai AI kļūst pārliecinošs ātri.
Kas jums jāatceras
Ja neko citu no šī neņemat līdzi, atcerieties:
- 1. GPU dominē peldošā komata AI jomā. Matricu reizināšanas paralēlisms. Specializēti tenzoru kodoli. 20-100× ātrāki nekā CPU tradicionālajiem neironu tīkliem. Peldošā komata darba slodzēm tie ir nepārprotama izvēle.
- 2. CPU izceļas citās jomās. Sarežģīta loģika. Zems latentums. Veselu skaitļu/binārās darbības. Universāla pieejamība. GDPR atbilstoša lokālā apstrāde.
- 3. Binārie tīkli maina situāciju. XNOR un popcount ir CPU native darbības. CPU var sasniegt vai pārspēt GPU veiktspēju binārajā AI. Matemātiskā maiņa dod priekšroku CPU arhitektūrai.
- 4. Enerģijas patēriņš kļūst arvien svarīgāks. GPU: 300-700W šodien, prognozējams līdz 15,360W. CPU: 50-150W. Ņemot vērā Eiropas enerģijas izmaksas un ilgtspējas prasības, efektivitāte nav izvēles jautājums.
- 5. Izmaksas nav tikai aparatūra. Enerģija. Dzesēšana. Infrastruktūra. Piegādes ķēdes suverenitāte. TCO ir svarīgs. CPU bieži vien ir lētāki inference mērogā, īpaši ar binārajiem tīkliem.
- 6. Izvēlies, balstoties uz darba slodzi, nevis dogmām. Trenē lielus peldošā komata modeļus? GPU. Inference malā? CPU. Binārie tīkli? CPU. GDPR atbilstība? CPU. Hibrīdas pieejas arī darbojas.
- 7. Nākotne dod priekšroku efektivitātei. Edge computing. Augošas enerģijas izmaksas. ES ilgtspējas regulas. Mākslīgā intelekta akta prasības. CPU draudzīgas arhitektūras aug, nevis samazinās.
Galvenais secinājums
GPU ieguva pirmo kārtu mākslīgā intelekta jomā, jo neironu tīkli tika izstrādāti peldošā komata operācijām un masveida paralēlismam. GPU tika radīti tieši tam. Desmit gadu dominēšana radīja pieņēmumu, ka mākslīgais intelekts prasa GPU. Peldošā komata darba slodzēm tas joprojām ir patiess.
Bet mākslīgais intelekts attīstās. Binārie tīkli. Veselu skaitļu kvantizācija. Efektīvas arhitektūras. Tās dod priekšroku CPU. Matemātiskie pamati mainījās, un līdz ar tiem arī optimālā aparatūra.
Stāsts par to, ka "vajag GPU", daudzos lietošanas gadījumos ir novecojis. Edge ierīču secinājumi? Binārie tīkli? Izmaksu ziņā jutīga izvietošana? GDPR atbilstība? CPU ir konkurētspējīgi. Bieži vien pat pārāki.
Aparatūras ainava mainās. Parādās specializētas mikroshēmas. Ierodas CPU mākslīgā intelekta paplašinājumi. GPU monopols beidzas. Eiropas uzņēmumiem šajās pārmaiņās ir īpašas priekšrocības: stingri datu aizsardzības noteikumi dod priekšroku lokālai CPU apstrādei, augstās enerģijas izmaksas atalgo efektivitāti, un aparatūras suverenitātes apsvērumi dod labumu daudzveidīgam CPU avotu klāstam.
Izpratne par to, ko katrs procesors dara labi, palīdz jums izvēlēties pareizi. Nevis balstoties uz ažiotāžu, bet gan uz jūsu faktiskajām prasībām. Veiktspēja, jauda, izmaksas, izvietošanas ierobežojumi, normatīvā atbilstība.
GPU joprojām dominē lielu peldošā punkta modeļu apmācībā. Bet secinājumu izdarīšana? Ieviešana? Pārloka skaitļošana? Līdzsvars mainās. Un binārās darbības CPU vada šīs pārmaiņas. Nākamā AI desmitgade neizskatīsies kā iepriekšējā. Aparatūra, kas šķita būtiska, var izrādīties nevajadzīga. Aparatūra, kas šķita nepietiekama, var izrādīties ideāla.
Jūsu izvēle nav GPU vai CPU. Tā ir izpratne par to, kura darba slodze atbilst kuram aparatūras veidam. Un arvien biežāk šī izpratne norāda uz CPU vairāk lietošanas gadījumiem, nekā liecina ierastā gudrība.
Vēlaties redzēt CPU optimizētu mākslīgo intelektu darbībā? Iepazīstiet Dweve Loom. Bināro ierobežojumu izsecināšana uz standarta CPU. GDPR atbilstība pēc dizaina. Tāds mākslīgais intelekts, kas strādā ar aparatūru, kas jums jau ir. Būvēts Eiropā Eiropas prasībām.