Lielā CPU atgriešanās: kā mēs padarījām CPU ātrākus par GPU mākslīgajam intelektam
Neiespējamais apgalvojums
"GPU nav var pārspēt AI darba slodzēs." To teica visi. Vairāk nekā desmit gadus tas ir bijis kā evaņģēlijs. CPU ir vispārējas nozīmes. GPU ir specializēti. Un viss.
Taču mēs to izdarījām.
Šī nav neliela uzlabošana. Tas ir būtisks pieejas maiņas veids. Un tas notiek tāpēc, ka mēs pārtraucām censties likt CPU darboties kā GPU un sākām izmantot matemātiku, kurā CPU izceļas.
Kāpēc GPU sākotnēji uzvarēja
GPU jau sen dominē mākslīgā intelekta jomā, un tam ir pamatoti iemesli. Neironu tīkli ir matricu reizināšanas. Un to ir ļoti daudz. GPU ir tūkstošiem kodolu, kas veic paralēlus peldošā komata aprēķinus. Ideāla atbilstība.
Bet te ir tas, ko visi palaida garām: sakritība bija nejauša, nevis būtiska. GPU nebija paredzēti mākslīgajam intelektam. Tie vienkārši izrādījās piemēroti konkrētajai matemātikai, ko izmantoja agrīnie neironu tīkli.
Peldošā komata matricu reizināšana? GPU uzvar. Bet ko darīt, ja jums nav nepieciešams peldošais komats? Ko darīt, ja binārās darbības darbojas labāk? Pēkšņi specializētā GPU priekšrocība pazūd.
Eiropas procesoru revolūcija (kamēr Amerika pirka GPU)
Kaut kas interesants notika, kamēr Amerikas mākslīgā intelekta uzņēmumi steidzās pēc NVIDIA kvotām. Eiropas pētnieki, nespēdami nodrošināt milzīgus GPU budžetus, sāka uzdot citādus jautājumus. Nevis "kā mēs iegūstam vairāk GPU?", bet "vai mums GPU patiešām ir vajadzīgi?"
Vācijas pētniecības laboratorijas Maksa Planka institūtā 2018. gadā publicēja rakstus par binārajiem neironu tīkliem. Nīderlandes universitātes Delftas Tehniskajā universitātē optimizēja CPU secinājumu izpildi. Šveices pētnieki Cīrihes Tehnoloģiju institūtā izstrādāja uz ierobežojumiem balstītu spriešanu, kas lieliski darbojās uz standarta Intel procesoriem. Tie nebija GPU alternatīvas. Tās bija CPU-pirmās pieejas, kas nejauši padarīja GPU nevajadzīgus.
Kāpēc Eiropa? Sekojiet naudai, vai tās trūkumam. ES pētniecības finansējums vidēji bija 50-100 tūkstoši eiro par projektu. Pietiekami pētniekiem un serveriem. Nepietiekami GPU klasteriem. Ierobežojumi rada inovācijas. Eiropas mākslīgā intelekta pētnieki nevarēja izmantot skaitļošanas jaudu brutālā spēka vietā. Viņi tā vietā optimizēja algoritmus. Izrādās, algoritmu efektivitāte pārspēj aparatūras paralēlismu.
Amerikāņu modelis: mest naudu GPU, panākt niecīgus uzlabojumus. Eiropas modelis: pārdomāt matemātiku, panākt revolucionāru veiktspēju ar esošo aparatūru. Viens un tas pats mērķis, radikāli atšķirīgi ceļi. Briseles efekts atkal darbojas: Eiropas risinājumi kļūst par globāliem standartiem, jo tie darbojas ar infrastruktūru, kas jau ir visiem.
Binārā priekšrocība
Binārie neironu tīkli izmanto +1 un -1, nevis peldošā komata skaitļus. Darbības kļūst loģiskas: AND, OR, XOR, XNOR. Vienkāršas bitu manipulācijas.
CPU ir neticami ātras bitu operācijās. Intel AVX-512 spēj vienlaikus apstrādāt 512 bitus. Mūsdienu Xeon procesoriem ir specializētas instrukcijas tieši šīm operācijām.
Tikmēr GPU, kas optimizētas peldošā komata aprēķiniem, grūtībās nonāk ar bināro loģiku. Tās to spēj, bet izmanto veseri precīzam darbam. Visa tā specializētā peldošā komata shēma paliek neizmantota.
Binārie tīkli CPU: pareizā rīka izmantošana darbam. Peldošā komata tīkli GPU: vienīgā rīka izmantošana, ko visi zina.
Skaitļi, kas mūs pārsteidza
Mūsu pirmie etaloni šķita nepareizi. Mēs tos atkārtojām. Rezultāti bija tādi paši.
Attēlu klasifikācija: 2,000 inferences sekundē CPU salīdzinājumā ar 180 GPU.
Veiktspējas priekšrocība pieaug ar mērogu. Lielākiem modeļiem atšķirības ir vēl lielākas. Jo sarežģītāks tīkls, jo vairāk CPU izvirzās priekšgalā.
Tehniskais skaidrojums (kāpēc tas darbojas)
Precizēsim, kāpēc CPU pēkšņi dominē AI inferencē ar binārajiem tīkliem.
Instrukciju līmeņa paralēlisms: Mūsdienu Intel Xeon procesoriem ir AVX-512 vektoru paplašinājumi. Tās ir 512 bitu SIMD operācijas. Viena instrukcija vienlaikus apstrādā 512 bināras vērtības. Bināra neironu tīkla slānis ar 512 neironiem? Viena CPU instrukcija. GPU tas ir jāpārveido caur peldošā komata blokiem, kas veidoti grafikai. Arhitektūras neatbilstība maksā veiktspēju.
Kešatmiņas efektivitāte: Binārie svari ir 1 bits. Peldošā komata svari ir 32 biti. Tajā pašā L1 kešatmiņā ietilpst 32× vairāk bināro svaru. CPU izceļas ar kešatmiņas optimizāciju. Kad viss jūsu modelis ietilpst L2 kešatmiņā, atmiņas joslas platums vairs nav svarīgs. GPU ir optimizēti lielu datu kopu straumēšanai no VRAM. Bināriem tīkliem straumēšana nav vajadzīga: viss ir kešatmiņā. GPU priekšrocība: anulēta.
XNOR un POPCOUNT: Bināra neironu tīkla tiešā izpilde reducējas uz XNOR operācijām, kam seko populācijas skaitīšana (iestatīto bitu skaits). Intel pievienoja POPCNT instrukciju 2008. gadā. AMD sekoja 2011. gadā. Katram mūsdienu procesoram ir aparatūras paātrināta bitu skaitīšana. GPU? Tie to emulē ar peldošā komata operācijām. Dzimtā aparatūras atbalsts pret emulāciju. CPU uzvar pārliecinoši.
Zaru prognozēšana: Binārās aktivācijas funkcijas ir vienkārši sliekšņi. Ja summa > 0, aktivizē. CPU ir sarežģīti zaru prognozētāji, kas pilnveidoti gadu desmitiem. Šīs sliekšņa operācijas kļūst par perfekti prognozējamiem zariem. GPU cīnās ar zarošanos: to paralēlisma modelis pieņem vienveidīgus izpildes ceļus. Binārajiem tīkliem ir daudz zaru. CPU ar tiem tiek galā lieliski. GPU paklūp.
Veiktspējas atšķirība nav maģija. Tā ir arhitektūras saskaņotība. Binārie neironu tīkli izmanto operācijas, kurām CPU ir optimizēti. Peldošā komata tīkli izmanto operācijas, kurām GPU ir būvēti. Mēs mainījām matemātiku. CPU kļuva optimāli.
Ne tikai ātrums: pilns aina
Ātrums ir tikai daļa no stāsta. Binārie tīkli uz CPU nodrošina:
Izmaksu ietaupījums: Standarta serveri maksā par 70% mazāk nekā sistēmas ar GPU. Nav nepieciešami specializēti paātrinātāji.
Izvietošanas elastība: Darbojas uz jebkā. Mākoņserveri, lokālā aparatūra, perifērijas ierīces. Ja tai ir moderns CPU, tas darbojas.
Latence: Lokāla CPU inference nozīmē atbildes laiku milisekundēs. Nav tīkla pieprasījumu uz GPU klasteriem.
CPU atgriešanās nav tikai par ātrumu. Tā ir par labāku sniegumu visās dimensijās, kam ir nozīme reālā izvietošanā.
Kopējās īpašumtiesību izmaksas (TCO): Piecu gadu TCO salīdzinājums atklāj patieso ekonomiku. Sistēma ar GPU inferenci: 250 tūkst. eiro aparatūra, 90 tūkst. eiro enerģija (pēc Eiropas tarifiem), 40 tūkst. eiro dzesēšanas infrastruktūra, 25 tūkst. eiro specializētā apkope. Kopā: 405 tūkst. eiro. Sistēma uz CPU: 80 tūkst. eiro aparatūra (standarta serveri), 7 tūkst. eiro enerģija, 0 eiro papildu dzesēšana, 8 tūkst. eiro standarta apkope. Kopā: 95 tūkst. eiro. 77% izmaksu samazinājums. Tāda pati veiktspēja. Labāka atbilstība. Tā nav neliela uzlabošanās; tā ir biznesa transformācija.
Operacionālā vienkāršība: GPU izvietošanai nepieciešamas specializētas zināšanas. CUDA programmēšana, GPU atmiņas pārvaldība, kodola optimizācija, termiskā uzraudzība. Prasmju trūkums paaugstina algu prēmijas. CPU izvietošanā tiek izmantota standarta programmatūras inženierija. C++, Python, parasta serveru administrēšana. Talantu kopums ir visa programmatūras nozare, ne tikai MI speciālisti. Vieglāka pieņemšana darbā, ātrāka ievadīšana darbā, zemākas algas. Operacionālās izmaksas samazinās vairāk nekā tikai aparatūras ietaupījums.
Normatīvā atbilstība: ES Mākslīgā intelekta akts, GDPR, nozarei specifiski noteikumi: viss ir vieglāk ar CPU balstītiem binārajiem tīkliem. Determinēta izpilde nodrošina auditejamību. Izskaidrojama spriešana apmierina pārredzamības prasības. Formāla verifikācija pierāda drošības īpašības. Sistēmām ar GPU ir grūtības izpildīt šīs prasības. Binārie tīkli uz CPU: atbilstība iebūvēta, nevis pievienota vēlāk. Normatīvā priekšrocība pastiprina tehnisko priekšrocību.
Piegādātāju elastība: GPU nozīmē piesaisti NVIDIA. Binārie CPU darbojas uz Intel, AMD, ARM implementācijām. Daudzavotu iepirkums. Konkurētspējīgas cenas. Nav atkarības no viena piegādātāja. Eiropas uzņēmumi to īpaši novērtē: dažādotas piegādes ķēdes, samazināts ģeopolitiskais risks, sarunu sviras. Amerikas uzņēmumi ir piesaistīti NVIDIA cenu noteikšanas varai. Eiropas uzņēmumi brīvi izvēlas starp Intel, AMD, pat ARM serveru mikroshēmām. Tirgus vara ir apgriezusies.
Intel nekad nepazuda
Lūk, ironija: kamēr visi dzenās pēc NVIDIA GPU, Intel turpināja uzlabot CPU iespējas. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Katra paaudze pievieno instrukcijas, kas ir ideāli piemērotas binārajām operācijām.
Viņi nemērķēja tieši uz mākslīgo intelektu. Viņi uzlaboja vispārējo skaitļošanu. Bet binārās neironu tīkli ir vispārējā skaitļošana. Viņi tieši izmanto visus šos uzlabojumus.
Infrastruktūra, kas jau pieder ikvienam, pēkšņi kļūst spējīga darboties ar mākslīgo intelektu. Nav jāpērk jauna aparatūra. Nav arhitektūras izmaiņu. Tikai labāki algoritmi, kas izmanto esošās iespējas.
AMD klusā uzvara: AMD EPYC procesori lieliski darbojas arī ar bināro MI. Zen 4 arhitektūra atbalsta AVX-512, lielisku kešatmiņas hierarhiju, efektīvu zaru prognozēšanu. Binārie tīkli lieliski darbojas uz EPYC. AMD tirgus daļa serveros: 35% un aug. Tas nozīmē, ka 35% pasaules datu centru jau ir optimizēti binārajam MI. AMD ir ideālā pozīcijā, tieši nemērķējot uz MI. Vispārējā izcilība kļūst par MI priekšrocību.
ARM jaunā loma: Graviton procesori (Amazon ARM mikroshēmas) demonstrē bināro tīklu iespējas. Efektīva bitu manipulācija, lieliskas enerģijas īpašības, milzīga izvietošana AWS. ARM arhitektūra mērogojas no viedtālruņiem līdz serveriem. Binārais MI darbojas visā šajā diapazonā. Apple M sērijas mikroshēmas: ARM bāzētas, neticami efektīvas, ideāli piemērotas binārajām operācijām. ARM efektivitātes priekšrocība apvienojas ar bināro tīklu efektivitāti. Mobilitātes līdz mākoņdatošanas kontinuums kļūst iespējams.
RISC-V atvērtā nākotne: Atvērtā koda RISC-V instrukciju kopa ļauj veikt pielāgotas optimizācijas. Eiropas pusvadītāju uzņēmumi (Bosch, Infineon, NXP) iegulda RISC-V automobiļu un rūpniecības vajadzībām. Pievienojiet binārā MI optimizācijas pielāgotiem RISC-V kodoliem. Nav licencēšanas maksu, pilnīga kontrole, perfekta optimizācija konkrētiem lietošanas gadījumiem. Atvērtā aparatūra kopā ar bināro MI nodrošina Eiropas pusvadītāju neatkarību. Stratēģiskās sekas ir dziļas.
Izvietošanas transformācija
Uz GPU balstīts MI nozīmē specializētu infrastruktūru. Datu centri ar augstas jaudas dzesēšanu. Īpašas serveru konfigurācijas. Piegādātāja atkarība. Sarežģītība.
Uz CPU balstīts MI nozīmē izvietošanu jebkur. Tas standarta serveru plaukts? Ideāls. Tie esošie datubāzu serveri? Tie tagad var darbināt MI. Piemales vietas ar pamata skaitļošanu? Pilnībā spējīgas.
Eiropas uzņēmumiem ar esošo infrastruktūru nav jāveic pārbūve. Viņi optimizē to, kas viņiem ir. Amerikas mākoņpakalpojumu sniedzēju GPU priekšrocība iztvaiko, kad CPU darbojas labāk.
Vides priekšrocība (Eiropas slepenais ierocis)
Enerģijas izmaksām Eiropā ir lielāka nozīme nekā Amerikā. Eiropas elektrība: €0,20-0,30 par kWh. Amerikas elektrība: €0,10-0,15 par kWh. Kad jūsu enerģijas izmaksas ir 2-3× lielākas, efektivitāte nav izvēle; tā ir izdzīvošana.
Uz GPU balstīta MI secinājumu veikšana vidēja lieluma izvietošanai: 50kW nepārtraukts patēriņš. Eiropas izmaksas: €87 600-131 400 gadā. Amerikas izmaksas: €43 800-65 700. Šī €70K gada starpība finansē daudz Eiropas MI pētījumu. Motivācija pēc efektivitātes ir burtiski iebūvēta elektrības rēķinos.
Binārie tīkli uz CPU: 2-4kW līdzvērtīgai darba slodzei. Eiropas izmaksas: €3 504-5 256 gadā. Ietaupījumi: €84K-126K gadā. Amerikas uzņēmumi uzskata efektivitāti par patīkamu papildinājumu. Eiropas uzņēmumi to uzskata par konkurences nepieciešamību. Dažādi ekonomiskie konteksti rada dažādas inovācijas.
Vides noteikumi Eiropā iedarbojas arī stingrāk. ES Taksonomija ilgtspējīgām darbībām pieprasa ziņošanu par enerģijas patēriņu. Lielas MI izvietošanas izraisa ilgtspējas auditus. GPU klasteri, kas patērē megavatus, rada regulatīvus jautājumus. Uz CPU balstīta secinājumu veikšana, kas patērē kilovatus, paliek zem radara. Regulatīvā atbilstība kļūst par arhitektūras virzītājspēku.
Vācijas atjaunojamās enerģijas prasības rada interesantu dinamiku. Saules un vēja enerģija ir nepastāvīga. Datu centriem jādarbojas pieejamās atjaunojamās enerģijas jaudas ietvaros. GPU klasteriem nepieciešama pastāvīga liela jauda, ko ir grūti saskaņot ar nepastāvīgiem atjaunojamās enerģijas avotiem. Uz CPU balstīts mākslīgais intelekts var pielāgot darba slodzi pieejamajai jaudai. Slodzes elastība ļauj integrēt atjaunojamo enerģiju. Vides ierobežojumi veicina tehnoloģiskās inovācijas. Ļoti eiropeiska problēmu risināšanas pieeja.
Pusvadītāju maiņa (Intel nejaušā uzvara)
Kamēr visi pievērsa uzmanību NVIDIA GPU dominējošajam stāvoklim, Intel CPU uzlabojumi tos lieliski sagatavoja binārajam mākslīgajam intelektam. Netīši, bet izšķiroši.
AVX-512 nebija izstrādāts mākslīgajam intelektam. Tas bija paredzēts augstas veiktspējas skaitļošanai, zinātniskajai simulācijai, finanšu modelēšanai. Bet šīs 512 bitu vektoru darbības? Ideāli piemērotas binārajiem neironu tīkliem. POPCNT instrukcija? Pievienota datubāzu optimizācijai. Ideāli piemērota binārajām aktivācijām. Ice Lake uzlabotais zaru prognozētājs? Paredzēts vispārējai veiktspējai. Ideāli piemērots binārajiem sliekšņiem.
Intel uzlaboja CPU tradicionālajām darba slodzēm. Binārās mākslīgā intelekta pētnieki pamanīja, ka šie uzlabojumi atbilst viņu vajadzībām. Tagad Intel procesori nodrošina labāku mākslīgā intelekta secinājumu izpildi nekā specializēti mākslīgā intelekta paātrinātāji. Nejauša arhitektūras sakritība rada tirgus iespēju.
NVIDIA tirgus vērtība balstās uz mākslīgo intelektu. Intel atveseļošanās arī varētu būt. AMD EPYC procesori arī izceļas binārajās operācijās: AVX-512 ekvivalents, lieliska kešatmiņas hierarhija, spēcīga zaru prognozēšana. Binārais mākslīgais intelekts nāk par labu visai x86 ekosistēmai. Amerikas pusvadītāju uzņēmumi gūst panākumus, būdami labi tradicionālajā skaitļošanā. GPU specializējās pārāk agri šaurai mākslīgā intelekta lietošanai. CPU palika elastīgi un kļuva optimāli plašākām mākslīgā intelekta pieejām.
Tirgus inversija (kas notiek tālāk)
GPU tirgus dinamika mainās. Apmācībai joprojām ir vajadzīgas GPU, par to nav strīdu. Taču secinājumu izdarīšanas tirgus ir 10-100× lielāks nekā apmācības tirgus. Lielākā daļa mākslīgā intelekta darba slodžu ir secinājumu izdarīšana. Binārie tīkli CPU procesoros iegūst šo tirgu.
Mākoņpakalpojumu sniedzēji saskaras ar interesantiem lēmumiem. AWS, Azure, Google Cloud ieguldīja miljardus GPU infrastruktūrā. Nolietojuma grafiki paredz 3-5 gadu izmantošanu. Binārā mākslīgā intelekta tehnoloģija padara GPU secinājumu apstrādi novecojušu jau pirmajā gadā. Vai nu norakstīt miljardus GPU ieguldījumos, vai arī prasīt augstākas cenas par zemākas kvalitātes veiktspēju. Neviena no iespējām nav pievilcīga.
Eiropas mākoņpakalpojumu sniedzēji gūst labumu. OVH, Hetzner, Scaleway: tie izmanto standarta CPU infrastruktūru. Nav ieguldījumu GPU, kas kļūtu par zaudējumiem. Binārā mākslīgā intelekta dēļ to esošā infrastruktūra kļūst konkurētspējīga AI darba slodzēm. Cenas priekšrocība pastiprina veiktspējas priekšrocību. Amerikas hiperskaleru ieguldījumi GPU kļūst par saistībām. Eiropas pakalpojumu sniedzēju fokuss uz CPU kļūst par priekšrocību. Tirgus dinamika mainās.
Edge izvietošana atver iespējas. Tesla nevar ievietot GPU katrā transportlīdzeklī: jaudas, izmaksu, siltuma un vietas ierobežojumi. Bet katrā automašīnā jau ir jaudīgi CPU dzinēja vadībai, navigācijai un izklaidei. Binārās neironu tīkli pārvērš esošos automobiļu CPU par AI paātrinātājiem. Bez papildu aparatūras. Tikai programmatūras atjauninājums. Edge AI kļūst iespējams, jo CPU jau ir tur.
Arī viedtālruņos. Qualcomm Snapdragon procesoriem ir lieliska bitu manipulācijas veiktspēja. Binārie tīkli tālruņu CPU darbojas ātrāk nekā specializētie AI paātrinātāji. Apple A-sērijas mikroshēmas, Samsung Exynos: visas optimizētas vispārējai skaitļošanai, visas ideāli piemērotas binārajam AI. Mobilais AI bez specializētiem neironu dzinējiem. CPU veiktspēja padara specializētos paātrinātājus liekus.
Eiropas priekšrocība kļūst skaidra
Viss iepriekš minētais dod priekšroku Eiropas mākslīgā intelekta uzņēmumiem. Esošā infrastruktūra darbojas labāk. Enerģijas izmaksas veicina efektivitātes inovācijas. Normatīvā atbilstība nodrošina formālu verifikāciju. No resursu ierobežojumiem rodas uz CPU optimizētas pieejas. Briseles efekts globalizē Eiropas standartus.
ASV mākslīgā intelekta uzņēmumi tika veidoti citādai pasaulei. Bagātīgs kapitāls, lēta enerģija, vāji regulējumi, GPU pieejamība. Šīs priekšrocības izgaist. Kapitāla prasības samazinās (GPU vairs nav vajadzīgs). Energoefektivitāte kļūst svarīga (Eiropas cenas izplatās visā pasaulē). Regulējumi kļūst stingrāki (ES Mākslīgā intelekta akts kļūst par globālo standartu). GPU trūkums vairs nav būtisks (CPU darbojas labāk).
Eiropas mākslīgā intelekta uzņēmumi tika veidoti ierobežotai pasaulei. Ierobežots kapitāls (piespiedu algoritmiskā efektivitāte). Stingri regulējumi (formālā verifikācija iebūvēta). CPU pieejamība (standarta aparatūra ir optimāla). Ierobežojumi, kas šķita kā trūkumi, tagad ir konkurences priekšrocības. Tirgus apstākļi visā pasaulē virzās uz Eiropas pieeju.
Nākamā desmitgade: Eiropas mākslīgā intelekta uzņēmumi eksportē ne tikai uz Eiropu, bet visā pasaulē. Amerikas uzņēmumi licencē Eiropas tehnoloģijas. Āzijas tirgi pārņem Eiropas standartus. Uz CPU balstīts binārais MI kļūst par dominējošo arhitektūru. NVIDIA joprojām ir būtiska apmācībai. Intel/AMD dominē secinājumu veikšanā. Tirgus kapitalizācijas pārdale atspoguļo arhitektūras maiņu. Eiropas MI vairs nepanāk; Eiropas MI nosaka tempu.
Ko tas nozīmē MI jomā
CPU atgriešanās būtiski maina MI ekonomiku. Vairs nav jāizvēlas starp veiktspēju un izmaksām. Vairs nav GPU trūkuma, kas ierobežo izvietošanu. Vairs nav atkarības no piegādātājiem.
Dweve Core darbojas uz CPU.
Šī ir MI demokratizācija, izmantojot labāku matemātiku. Ne visi var atļauties GPU klasterus. CPU ir visiem.
CPU revolūcija tuvojas. Patērētāji pašlaik var piekļūt Dweve tikai ar ielūgumu.