Velika vrnitev CPE: kako smo za AI naredili CPE hitrejše od GPE
Nemogoča trditev
»GPU-jev ne moreš premagati pri delovnih obremenitvah z umetno inteligenco.« To so govorili vsi. To je že več kot desetletje veljalo za sveto resnico. Procesorji CPU so namenjeni splošni uporabi. GPU-ji so specializirani. Konec zgodbe.
Razen da smo jih.
To ni zgolj marginalna izboljšava. To je temeljni premik v pristopu. In zgodil se je, ker smo nehali poskušati, da bi CPU-ji delovali kot GPU-ji, in začeli uporabljati matematiko, pri kateri CPU-ji blestijo.
Zakaj so GPU-ji (sprva) zmagali
GPU-ji so dominirali na področju umetne inteligence z dobrim razlogom. Nevronske mreže so matrična množenja. Veliko jih je. GPU-ji imajo na tisoče jeder, ki izvajajo vzporedno aritmetiko s plavajočo vejico. Popolno ujemanje.
Ampak to so vsi spregledali: ujemanje je bilo okoliščinsko, ne temeljno. GPU-ji niso bili zasnovani za umetno inteligenco. Preprosto so bili dobri pri specifični matematiki, ki so jo uporabljale zgodnje nevronske mreže.
Matrično množenje s plavajočo vejico? GPU zmaga. Kaj pa, če plavajoče vejice ne potrebujete? Kaj če binarne operacije delujejo bolje? Nenadoma specializirana prednost GPU-jev izgine.
Evropska revolucija na področju CPU-jev (medtem ko je Amerika kupovala GPU-je)
Nekaj zanimivega se je zgodilo, medtem ko so se ameriška podjetja za umetno inteligenco borila za dodelitve NVIDIA. Evropski raziskovalci, ki niso mogli zagotoviti ogromnih proračunov za GPU-je, so začeli postavljati drugačna vprašanja. Ne »kako dobimo več GPU-jev?«, ampak »ali GPU-je sploh potrebujemo?«
Nemški raziskovalni laboratoriji na Inštitutu Max Planck so leta 2018 objavili članke o binarnih nevronskih mrežah. Nizozemske univerze na TU Delft so optimizirale sklepanje na CPU-jih. Švicarski raziskovalci na ETH Zurich so razvili sklepanje, ki temelji na omejitvah in je odlično delovalo na standardnih procesorjih Intel. To niso bile alternative GPU-jem. To so bili pristopi, ki dajejo prednost CPU-jem in so GPU-je naredili nepomembne.
Zakaj Evropa? Sledite denarju oziroma njegovemu pomanjkanju. Povprečno financiranje raziskav EU je znašalo 50-100 tisoč evrov na projekt. Dovolj za raziskovalce in strežnike. Ne dovolj za gruče GPU-jev. Omejitve spodbujajo inovacije. Evropski raziskovalci umetne inteligence se niso mogli zanašati na surovo računsko moč. Namesto tega so optimizirali algoritme. Izkazalo se je, da je učinkovitost algoritmov boljša od strojnega paralelizma.
Ameriški vzorec: metati denar v GPU-je, doseči marginalne izboljšave. Evropski vzorec: premisliti matematiko, doseči prebojne zmogljivosti na obstoječi strojni opremi. Isti končni cilj, radikalno različne poti. Bruseljski učinek spet deluje: evropske rešitve postanejo globalni standardi, ker delujejo z infrastrukturo, ki jo že ima vsak.
Prednost binarnega pristopa
Binarne nevronske mreže uporabljajo +1 in -1 namesto števil s plavajočo vejico. Operacije postanejo logične: IN, ALI, XOR, XNOR. Preproste bitne manipulacije.
CPU-ji so neverjetno hitri pri bitnih operacijah. Intelov AVX-512 lahko obdela 512 bitov hkrati. Sodobni procesorji Xeon imajo specializirana navodila natanko za te operacije.
Medtem se GPU-ji, optimizirani za plavajočo vejico, mučijo z binarno logiko. Zmorejo jo, vendar uporabljajo kladivo za natančno delo. Vsa tista specializirana vezja za plavajočo vejico ostajajo neizkoriščena.
Binarne mreže na CPE: uporaba pravega orodja za delo. Mreže s plavajočo vejico na GPE: uporaba edinega orodja, ki ga vsi poznajo.
Številke, ki so nas presenetile
Naši prvi testi so se zdeli napačni. Ponovili smo jih. Enaki rezultati.
Razvrščanje slik: 2.000 sklepov na sekundo na CPE proti 180 na GPE.
Prednost v zmogljivosti se z obsegom povečuje. Večji modeli kažejo še večje razlike. Bolj ko je mreža zapletena, bolj se CPE oddaljijo naprej.
Tehnična razlaga (zakaj to deluje)
Poglejmo natančneje, zakaj CPE nenadoma prevladujejo pri sklepanju umetne inteligence z binarnimi mrežami.
Paralelizem na ravni ukazov: Sodobni procesorji Intel Xeon imajo vektorske razširitve AVX-512. To so SIMD operacije s 512 biti. En ukaz hkrati obdela 512 binarnih vrednosti. Plast binarne nevronske mreže s 512 nevroni? En sam ukaz procesorja. GPE mora to preusmeriti skozi enote s plavajočo vejico, zasnovane za grafiko. Arhitekturno neujemanje stane zmogljivost.
Učinkovitost predpomnilnika: Binarne uteži imajo 1 bit. Uteži s plavajočo vejico imajo 32 bitov. V isti predpomnilnik L1 se spravi 32-krat več binarnih uteži. Procesorji odlično optimizirajo predpomnilnik. Ko se celoten model spravi v predpomnilnik L2, pasovna širina pomnilnika preneha biti pomembna. GPE so optimizirane za pretakanje velikih naborov podatkov iz pomnilnika VRAM. Binarne mreže ne potrebujejo pretakanja: vse je v predpomnilniku. Prednost GPE: izničena.
XNOR in POPCOUNT: Prehod naprej pri binarni nevronski mreži se skrči na operacije XNOR, ki jim sledi štetje populacije (število nastavljenih bitov). Intel je dodal ukaz POPCNT leta 2008. AMD mu je sledil leta 2011. Vsak sodoben procesor ima strojno pospešeno štetje bitov. GPE? To posnemajo z operacijami s plavajočo vejico. Izvorna strojna podpora proti posnemanju. Procesor zmaga odločilno.
Napovedovanje vejitev: Binarne aktivacijske funkcije so preprosti pragovi. Če je vsota večja od 0, se aktivira. Procesorji imajo sofisticirane napovedovalce vejitev, izpopolnjevane desetletja. Te pragovne operacije postanejo popolnoma predvidljive vejitve. GPE imajo težave z vejitvami: njihov model paralelizma predpostavlja enotne poti izvajanja. Binarne mreže imajo veliko vejitev. Procesorji jih obvladajo odlično. GPE se spotikajo.
Razlika v zmogljivosti ni čarovnija. Gre za arhitekturno usklajenost. Binarne nevronske mreže uporabljajo operacije, za katere so bili procesorji optimizirani. Mreže s plavajočo vejico uporabljajo operacije, za katere so bile zgrajene GPE. Zamenjali smo matematiko. Procesorji so postali optimalni.
Onkraj hitrosti: celotna slika
Hitrost je le del zgodbe. Binarne mreže na CPE prinašajo:
Prihranek stroškov: standardni strežniki stanejo 70 % manj kot sistemi z GPU. Specializirani pospeševalniki niso potrebni.
Prilagodljivost uvajanja: deluje na čemer koli. Oblačni strežniki, lokalna strojna oprema, robne naprave. Če ima sodoben CPE, deluje.
Zakasnitev: lokalno sklepanje na CPE pomeni odzivne čase v milisekundah. Brez omrežnih poti do gruč GPU.
Vrnitev CPE ni le v tem, da je hitrejši. Gre za to, da je boljši v vseh dimenzijah, ki so pomembne za uvajanje v resničnem svetu.
Skupni stroški lastništva (TCO): primerjava TCO za pet let razkrije realno ekonomiko. Sistem za sklepanje na osnovi GPU: 250 tisoč evrov stroškov strojne opreme, 90 tisoč evrov za energijo (po evropskih cenah), 40 tisoč evrov za hladilno infrastrukturo, 25 tisoč evrov za specializirano vzdrževanje. Skupaj: 405 tisoč evrov. Sistem na osnovi CPE: 80 tisoč evrov za strojno opremo (standardni strežniki), 7 tisoč evrov za energijo, 0 evrov za dodatno hlajenje, 8 tisoč evrov za standardno vzdrževanje. Skupaj: 95 tisoč evrov. 77-odstotno zmanjšanje stroškov. Enaka zmogljivost. Boljša skladnost. To ni zgolj marginalno izboljšanje; to je preobrazba poslovanja.
Operativna preprostost: uvajanje GPU zahteva specializirano strokovno znanje. Programiranje CUDA, upravljanje pomnilnika GPU, optimizacija jeder, spremljanje temperature. Pomanjkanje znanja dviguje plače. Uvajanje CPE uporablja standardno programsko inženirstvo. C++, Python, običajno strežniško upravljanje. Bazen talentov je celotna programska industrija, ne le strokovnjaki za AI. Lažje zaposlovanje, hitrejše uvajanje, nižje plače. Operativni stroški se znižajo poleg prihrankov pri strojni opremi.
Regulativna skladnost: Akt o umetni inteligenci, GDPR, sektorski predpisi: vse je lažje z binarnimi mrežami na CPE. Deterministično izvajanje omogoča revizijo. Pojasnljivo sklepanje izpolnjuje zahteve glede preglednosti. Formalno preverjanje dokazuje varnostne lastnosti. Sistemi na osnovi GPU imajo s temi zahtevami težave. Binarne mreže na CPE: skladnost vgrajena, ne prilepljena. Regulativna prednost se dodaja tehnični prednosti.
Prilagodljivost dobaviteljev: GPU pomeni vezanost na NVIDIA. Binarni CPE delujejo na implementacijah Intel, AMD in ARM. Več virov nabave. Konkurenčne cene. Brez odvisnosti od enega samega dobavitelja. Evropska podjetja to še posebej cenijo: raznolike dobavne verige, manjše geopolitično tveganje, pogajalska moč. Ameriška podjetja so ujeta v cenovno moč NVIDIA. Evropska podjetja preklapljajo med strežniškimi čipi Intel, AMD in celo ARM. Tržna moč je obrnjena.
Intel nikoli ni odšel
Ironija je v tem: medtem ko so vsi lovili NVIDIA GPU, je Intel nenehno izboljševal zmogljivosti CPE. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Vsaka generacija dodaja navodila, popolna za binarne operacije.
Niso ciljali posebej na AI. Izboljševali so splošno računalniško zmogljivost. Toda binarne nevronske mreže so splošna računalniška zmogljivost. Te izboljšave izkoriščajo neposredno.
Infrastruktura, ki jo vsi že imajo, nenadoma postane zmožna AI. Brez nakupa nove strojne opreme. Brez arhitekturnih sprememb. Le boljši algoritmi, ki izkoriščajo obstoječe zmogljivosti.
AMD's Silent Victory: AMD EPYC-processors blinken ook uit in binaire AI. Zen 4-architectuur ondersteunt AVX-512, uitstekende cachehiërarchie, efficiënte branch-predictie. Binaire netwerken draaien prachtig op EPYC. AMD-marktaandeel in servers: 35% en groeiend. Dat is 35% van de datacenters wereldwijd die al geoptimaliseerd zijn voor binaire AI. AMD is perfect gepositioneerd zonder expliciet op AI te richten. Uitmuntendheid in algemeen gebruik wordt een AI-voordeel.
Nastajajoča vloga ARM: Procesorji Graviton (Amazonovi čipi ARM) dokazujejo zmogljivosti binarnih mrež. Učinkovito upravljanje bitov, odlične energijske lastnosti, množična uvedba pri AWS. Arhitektura ARM se razteza od pametnih telefonov do strežnikov. Binarna AI deluje v celotnem tem razponu. Čipi serije M podjetja Apple: zasnovani na ARM, izjemno učinkoviti, popolni za binarne operacije. Prednost ARM pri učinkovitosti se stopnjuje z učinkovitostjo binarnih mrež. Kontinuum od mobilnih naprav do oblaka postane mogoč.
De open toekomst van RISC-V: De open-source RISC-V-instructieset maakt maatwerkoptimalisaties mogelijk. Europese halfgeleiderbedrijven (Bosch, Infineon, NXP) investeren in RISC-V voor de automobiel- en industriesector. Voeg binaire AI-optimalisaties toe aan aangepaste RISC-V-kernen. Geen licentiekosten, volledige controle, perfecte optimalisatie voor specifieke gebruikssituaties. Open hardware plus binaire AI maakt Europese halfgeleideronafhankelijkheid mogelijk. De strategische implicaties zijn diepgaand.
De implementatietransformatie
UI na osnovi GPU pomeni specializirano infrastrukturo. Podatkovne centre z zmogljivim hlajenjem. Posebne konfiguracije strežnikov. Vezanost na dobavitelja. Kompleksnost.
CPU-gebaseerde AI betekent overal implementeren. Die standaard serverrack? Perfect. Die bestaande databaseservers? Die kunnen nu AI draaien. Edge-locaties met basiscompute? Volledig in staat.
Evropska podjetja z obstoječo infrastrukturo je ni treba ponovno graditi. Optimizirajo to, kar imajo. Prednost ameriških ponudnikov oblaka pri GPU izhlapi, ko CPU-ji delujejo bolje.
Okoljska prednost (skrivno orožje Evrope)
Stroški energije so v Evropi pomembnejši kot v Ameriki. Evropska elektrika: 0,20–0,30 € na kWh. Ameriška elektrika: 0,10–0,15 € na kWh. Ko vaša energija stane 2–3× več, učinkovitost ni izbira; je preživetje.
GPU-gebaseerde AI-inferentie voor middelgrote implementatie: continu 50 kW verbruik. Europese kosten: €87.600-131.400 per jaar. Amerikaanse kosten: €43.800-65.700. Dat jaarlijkse verschil van €70.000 financiert veel Europees AI-onderzoek. De motivatie voor efficiëntie zit letterlijk ingebouwd in de elektriciteitsrekening.
Binaire netwerken op CPU's: 2-4 kW voor een gelijkwaardige werklast. Europese kosten: €3.504-5.256 per jaar. Besparing: €84.000-126.000 per jaar. Amerikaanse bedrijven zien efficiëntie als een mooi meegenomen extra. Europese bedrijven zien het als een concurrentiële noodzaak. Verschillende economische contexten brengen verschillende innovaties voort.
Milieuregels treffen ook in Europa harder. De EU-taxonomie voor duurzame activiteiten vereist rapportage over energieverbruik. Grote AI-implementaties leiden tot duurzaamheidsaudits. GPU-clusters die megawatts verbruiken roepen regelgevingsvragen op. CPU-gebaseerde inferentie die kilowatts verbruikt blijft onder de radar. Regelgevingsconformiteit wordt een architectuurdrijver.
Nemške zahteve glede obnovljivih virov energije ustvarjajo zanimivo dinamiko. Sončna in vetrna energija sta občasni. Podatkovni centri morajo delovati v okviru razpoložljive zmogljivosti obnovljivih virov. Gruče GPU potrebujejo stalno visoko moč, kar je težko uskladiti z občasnimi obnovljivimi viri. AI na osnovi CPU lahko prilagaja obseg dela razpoložljivi moči. Prilagodljivost obremenitve omogoča vključevanje obnovljivih virov. Okoljske omejitve spodbujajo tehnične inovacije. Zelo evropski pristop k reševanju problemov.
Premik v polprevodnikih (Intelova nenamerna zmaga)
Medtem ko so se vsi osredotočali na prevlado NVIDIA na področju GPU, je Intelove izboljšave CPU postavile v popoln položaj za binarni AI. Nenamerno, a odločilno.
AVX-512 ni bil zasnovan za AI. Namenjen je bil računalništvu visokih zmogljivosti, znanstvenim simulacijam in finančnemu modeliranju. Toda tiste 512-bitne vektorske operacije? Popolne za binarne nevronske mreže. Navodilo POPCNT? Dodano za optimizacijo podatkovnih baz. Popolno za binarne aktivacije. Izboljšan napovedovalec vej pri Ice Lake? Namenjen splošni zmogljivosti. Popoln za binarne pragove.
Intel je izboljšal CPU za tradicionalne obremenitve. Raziskovalci binarnega AI so opazili, da so te izboljšave usklajene z njihovimi potrebami. Zdaj procesorji Intel zagotavljajo boljše sklepanje AI kot specializirani pospeševalniki AI. Naključno arhitekturno ujemanje ustvarja tržno priložnost.
Tržna kapitalizacija NVIDIA temelji na AI. Intelovo okrevanje bi lahko prav tako. Procesorji AMD EPYC prav tako blestijo pri binarnih operacijah: enakovrednost AVX-512, odlična hierarhija predpomnilnika, močno napovedovanje vej. Binarni AI koristi celotnemu ekosistemu x86. Ameriška podjetja s polprevodniki zmagajo, ker so dobra v tradicionalnem računalništvu. GPU so se specializirali prezgodaj za ozek primer uporabe AI. CPU so ostali prilagodljivi in postali optimalni za širše pristope AI.
Obrat na trgu (kaj se zgodi naprej)
Dinamika trga GPU se spreminja. Usposabljanje še vedno potrebuje GPU, o tem ni spora. Toda trg sklepanja je 10-100-krat večji od trga usposabljanja. Večina obremenitev AI je sklepanje. Binarne mreže na CPU zajamejo ta trg.
Ponudniki v oblaku se soočajo z zanimivimi odločitvami. AWS, Azure in Google Cloud so vložili milijarde v infrastrukturo GPU. Načrti amortizacije predvidevajo 3-5 let izkoriščenosti. Binarni AI naredi sklepanje na GPU zastarelo že v prvem letu. Ali odpišejo milijarde vlaganj v GPU ali zaračunavajo premium cene za slabšo zmogljivost. Nobena možnost ni privlačna.
Evropski ponudniki v oblaku izkoristijo priložnost. OVH, Hetzner in Scaleway upravljajo standardno infrastrukturo CPU. Brez potopljenih stroškov GPU. Binarni AI naredi njihovo obstoječo infrastrukturo konkurenčno za obremenitve AI. Cenovna prednost se stopnjuje s prednostjo v zmogljivosti. Ameriški hiperiskalci imajo vlaganja v GPU kot obveznosti. Evropski ponudniki imajo osredotočenost na CPU kot prednost. Tržna dinamika se obrača.
Uvajanje na robu se sprosti. Tesla ne more dati GPU v vsako vozilo: omejitve moči, stroškov, toplote in prostora. Toda vsak avto že ima zmogljive CPU za upravljanje motorja, navigacijo in zabavo. Binarne nevronske mreže spremenijo obstoječe avtomobilske CPU v pospeševalnike AI. Brez dodatne strojne opreme. Samo posodobitev programske opreme. Robni AI postane izvedljiv, ker so CPU že tam.
Tudi pametni telefoni. Procesorji Qualcomm Snapdragon imajo odlično zmogljivost bitnih operacij. Binarne mreže delujejo na telefonskih CPU hitreje kot namenski pospeševalniki AI. Appleovi čipi serije A, Samsung Exynos: vsi optimizirani za splošno računalništvo, vsi popolni za binarni AI. Mobilni AI brez specializiranih nevronskih motorjev. Zmogljivost CPU naredi namenske pospeševalnike odvečne.
Evropska prednost se izkristalizira
Vse zgoraj omenjeno daje prednost evropskim podjetjem AI. Obstoječa infrastruktura deluje bolje. Stroški energije spodbujajo inovacije učinkovitosti. Regulatorna skladnost omogoča formalno preverjanje. Pristopi, optimizirani za CPU, izhajajo iz omejenih virov. Bruseljski učinek globalizira evropske standarde.
Ameriška podjetja za umetno inteligenco so bila zgrajena za drugačen svet. Obilje kapitala, poceni energija, ohlapna regulativa, dostopnost grafičnih procesorjev. Te prednosti izginjajo. Zahteve po kapitalu se znižujejo (grafični procesorji niso več potrebni). Energetska učinkovitost postaja pomembna (evropske cene se širijo po svetu). Regulativa se zaostruje (Akt o umetni inteligenci postaja svetovni standard). Pomanjkanje grafičnih procesorjev ni več pomembno (centralni procesorji delujejo bolje).
Evropska podjetja za umetno inteligenco so bila zgrajena za svet z omejitvami. Omejen kapital (zaradi tega algoritmična učinkovitost). Stroga regulativa (formalno preverjanje je vgrajeno). Razpoložljivost centralnih procesorjev (standardna strojna oprema je optimalna). Omejitve, ki so se zdele pomanjkljivost, so zdaj konkurenčna prednost. Tržni pogoji se po svetu premikajo proti evropskemu pristopu.
Naslednje desetletje: evropska podjetja za umetno inteligenco ne bodo izvažala le v Evropo, ampak po vsem svetu. Ameriška podjetja bodo licencirala evropsko tehnologijo. Azijski trgi bodo prevzemali evropske standarde. CPE-jem prilagojena binarna umetna inteligenca postaja prevladujoča arhitektura. NVIDIA ostaja pomembna za usposabljanje. Intel/AMD prevladujeta pri sklepanju. Prerazporeditev tržne kapitalizacije odraža arhitekturni premik. Evropska umetna inteligenca ni več v vlogi dohitevanja; evropska umetna inteligenca postavlja tempo.
Kaj to pomeni za umetno inteligenco
Vrnitev centralnih procesorjev temeljito spremeni ekonomiko umetne inteligence. Nič več izbiranja med zmogljivostjo in stroški. Nič več pomanjkanja grafičnih procesorjev, ki bi omejevalo uvajanje. Nič več odvisnosti od prodajalcev.
Dweve Core deluje na centralnih procesorjih.
To je demokratizacija umetne inteligence z boljšo matematiko. Vsak si ne more privoščiti gruč grafičnih procesorjev. Centralne procesorje ima vsak.
Revolucija centralnih procesorjev prihaja. Potrošniki lahko do Dweve trenutno dostopajo le s povabilom.