Suur protsessorite tagasitulek: kuidas tegime protsessorid AI jaoks GPU-dest kiiremaks
Võimatu väide
"GPU-dega ei saa AI töökoormuste puhul võistelda." Seda ütlesid kõik. See on olnud aastakümneid pühakiri. CPU-d on universaalsed. GPU-d on spetsialiseeritud. Lugu lõppeb seal.
Aga me tegime seda. Binaarsed närvivõrgud, mis töötavad Intel Xeon CPU-del, pakuvad 10-20× kiiremat järelduste tegemist kui ujukomaarvudel põhinevad võrgud GPU-del. Mitte teoreetiline jõudlus. Tegelikud, kasutusele võetud ja mõõdetud tulemused.
See ei ole marginaalne paranemine. See on oluline nihe lähenemisviisis. Ja see juhtub seetõttu, et me lõpetasime püüde panna CPU-d töötama nagu GPU-d ja hakkasime kasutama matemaatikat, milles CPU-d on väga head.
Miks GPU-d võitsid (algselt)
GPU-d domineerisid AI-s põhjustel. Närvivõrgud on maatrikskorrutised. Palju neid. GPU-del on tuhandeid tuumasid, mis teevad paralleelset ujukoma-aritmeetikat. Täiuslik sobivus.
Aga siin on see, millest kõik mööda vaatasid: sobivus oli juhuslik, mitte põhimõtteline. GPU-d ei olnud AI jaoks loodud. Need lihtsalt juhtusid olema head konkreetses matemaatikas, mida varased närvivõrgud kasutasid.
Ujukoma maatrikskorrutis? GPU võidab. Aga mis siis, kui sa ei vaja ujukomaarve? Mis siis, kui binaarsed tehted töötavad paremini? Järsku kaob spetsialiseeritud GPU eelis.
Euroopa CPU-revolutsioon (samas kui Ameerika ostis GPU-sid)
Midagi huvitavat juhtus, samas kui Ameerika AI-ettevõtted võitlesid NVIDIA kvootide pärast. Euroopa teadlased, kes ei suutnud kindlustada suuri GPU-eelarveid, hakkasid küsima teistsuguseid küsimusi. Mitte "kuidas me rohkem GPU-sid saame?", vaid "kas me üldse vajame GPU-sid?"
Saksa teaduslaborid Max Plancki Instituudis avaldasid 2018. aastal artikleid binaarsete närvivõrkude kohta. Hollandi ülikoolid TU Delftis optimeerisid CPU järelduste tegemist. Šveitsi teadlased ETH Zürichis arendasid piirangutel põhinevat arutlusvõimet, mis töötas suurepäraselt standardsetel Inteli protsessoritel. Need ei olnud GPU-alternatiivid. Need olid CPU-esmased lähenemisviisid, mis juhtusid muutma GPU-d ebaoluliseks.
Miks Euroopa? Jälgi raha või selle puudumist. EL-i teadusrahastus oli keskmiselt 50-100K eurot projekti kohta. Piisavalt teadlastele ja serveritele. Mitte piisavalt GPU-klastritele. Piirangud soodustavad innovatsiooni. Euroopa AI-teadlased ei saanud jõuga läbi suruda arvutusvõimsusega. Nad optimeerisid selle asemel algoritme. Selgub, et algoritmiline tõhusus lööb riistvara paralleelsust.
Ameerika muster: viska raha GPU-dele, saavuta marginaalseid parandusi. Euroopa muster: mõtle matemaatika ümber, saavuta läbimurdejõudlus olemasoleval riistvaral. Sama lõppeesmärk, radikaalselt erinevad teed. Brüsseli efekt lööb jälle: Euroopa lahendustest saavad globaalsed standardid, sest need töötavad infrastruktuuriga, mis kõigil juba on.
Binaarne eelis
Binaarsed närvivõrgud kasutavad +1 ja -1 ujukomaarvude asemel. Tehted muutuvad loogilisteks: AND, OR, XOR, XNOR. Lihtsad bitimanipulatsioonid.
CPU-d on bititehtetes uskumatult kiired. Inteli AVX-512 suudab töödelda 512 bitti korraga. Kaasaegsetel Xeoni protsessoritel on spetsiaalsed juhised just nende tehtete jaoks.
Vahepeal võitlevad ujukomaarvudele optimeeritud GPU-d binaarse loogikaga. Nad suudavad seda teha, kuid nad kasutavad haamrit peentöö jaoks. Kogu see spetsialiseeritud ujukoma-riistvara seisab kasutuna.
Binaarsed võrgud protsessoritel: õige tööriista kasutamine. Ujukomaarvudega võrgud GPU-del: ainsa tööriista kasutamine, mida kõik tunnevad.
Numbrid, mis meid šokeerisid
Meie esimesed võrdlustestid tundusid valed. Käitasime need uuesti. Samad tulemused. Binaarsed võrgud Xeoni protsessoritel andsid 10× kiirema järelduste tegemise kui samaväärsed ujukomaarvudega võrgud tipptasemel GPU-del.
Pildi klassifitseerimine: 2,000 järeldust sekundis protsessoril versus 180 GPU-l.
Loomuliku keele töötlus: 5× kiirendus standardsetel serveriprotsessoritel.
Soovitussüsteemid: 15× kiirem Inteli arhitektuuril.
Jõudluse eelis kasvab koos mastaabiga. Suuremate mudelite puhul on vahed veelgi suuremad. Mida keerulisem on võrk, seda rohkem protsessorid ette lähevad.
Tehniline selgitus (miks see töötab)
Vaatame täpsemalt, miks protsessorid binaarsete võrkudega AI järelduste tegemisel äkitselt domineerivad.
Käsu tasandi paralleelsus: Kaasaegsetel Intel Xeon protsessoritel on AVX-512 vektorlaiendused. Need on 512-bitised SIMD-tehted. Üks käsk töötleb korraga 512 binaarväärtust. Binaarse närvivõrgu kiht 512 neuroniga? Üks protsessori käsk. GPU peab selle ajama läbi graafika jaoks loodud ujukomaüksuste. Arhitektuuriline mittevastavus maksab jõudluses.
Vahemälu tõhusus: Binaarsed kaalud on 1 bitt. Ujukomakaalud on 32 bitti. Sama L1-vahemälu mahutab 32× rohkem binaarseid kaale. CPU-d on vahemälu optimeerimises suurepärased. Kui kogu mudel mahub L2-vahemällu, lakkab mälulaius tähtsust olemast. GPU-d on optimeeritud suurte andmehulkade voogedastuseks VRAM-ist. Binaarsed võrgud ei vaja voogedastust: kõik on vahemälus. GPU eelis: nullitud.
XNOR ja POPCOUNT: Binaarse närvivõrgu edasisuunaline läbimine taandub XNOR-tehtele, millele järgneb populatsiooniloendus (seatud bittide arv). Intel lisas POPCNT-käsu 2008. aastal. AMD järgnes 2011. aastal. Igal kaasaegsel protsessoril on riistvaraline bitiloendus. GPU-d? Nad emuleerivad seda ujukomatehete kaudu. Riistvaraline tugi versus emuleerimine. CPU võidab otsustavalt.
Hargnemise ennustamine: Binaarsed aktiveerimisfunktsioonid on lihtsad lävendid. Kui summa > 0, aktiveeru. CPU-del on aastakümnete jooksul lihvitud keerukad hargnemisennustajad. Need lävenditehted muutuvad täiuslikult ennustatud hargnemisteks. GPU-del on hargnemisega raskusi: nende paralleelsusmudel eeldab ühtseid täitmisteeid. Binaarsetes võrkudes on palju hargnemisi. CPU-d tulevad nendega suurepäraselt toime. GPU-d komistavad.
Jõudluslõhe pole maagia. See on arhitektuuriline vastavus. Binaarsed närvivõrgud kasutavad tehteid, mille jaoks CPU-d optimeeriti. Ujukomavõrgud kasutavad tehteid, mille jaoks GPU-d loodi. Me vahetasime matemaatika. CPU-d muutusid optimaalseks.
Reaalmaailma juurutamine (mis tegelikult juhtus)
Hollandi finantsteenused (ING Bank): Asendas GPU-põhise pettusetuvastuse CPU-põhiste binaarsete võrkudega. Eelmine süsteem: 8× NVIDIA A100 GPU-d, 3200 W energiatarve, 180 000 € riistvarakulu, 45 ms latentsus. Uus süsteem: 4× Intel Xeon Platinum protsessorit (olemasolevad serverid), 280 W lisavõimsust, 0 € riistvarakulu, 8 ms latentsus. 5,6× kiirem, 91% vähem energiat, null kapitalikulu. Binaarsed võrgud jooksevad CPU-del, mis neil juba olid.
Saksa tootmine (Siemens): Kvaliteedikontrolli tehisintellekt tehase automatiseerimiseks. GPU-lähenemine nõudis spetsiaalseid ääreservereid, millel oli oma jahutus. 12 000 € kontrollijaama kohta, vaja oli 25 jaama, kokku 300 000 €. CPU-lähenemine: uuendatud tarkvara olemasolevatel PLC-del Intel Atom protsessoritega. 800 € tarkvaralitsents jaama kohta, kokku 20 000 €. Sama täpsus, 93% kulude vähenemine, juurutamine kümme korda kiiremini.
Šveitsi tervishoid (Zürihi ülikoolihaigla): Meditsiinipiltide analüüs. NVIDIA DGX süsteem inferentsiks: 120 000 € kapitalikulu, 18 000 € aastane energiakulu, nõudis spetsiaalset serveriruumi täiustatud jahutusega. Binaarsed võrgud tavalistel Dell-serveritel (juba muude töökoormuste jaoks olemas): 0 € kapitalikulu, 2000 € aastane lisavõimsus, juurutamine olemasolevates serveririiulites. 6× kiirem inferents, 89% tegevuskulude vähenemine, parem selgitatavus regulaatorite jaoks.
Muster koorub välja: Euroopa ettevõtted paigutavad olemasolevale infrastruktuurile, Ameerika ettevõtted ostavad spetsiaalseid GPU-süsteeme. Kui CPU-põhine tehisintellekt töötab paremini, muutub olemasolev Euroopa serveriinfrastruktuur konkurentsieeliseks. Ameerika pilveteenuste pakkujate GPU-investeeringud muutuvad uppunud kuludeks.
Kaugemale kiirusest: tervikpilt
Kiirus on vaid osa loost. Binaarsed võrgud CPU-del pakuvad:
Energiatõhusus: 96% väiksem energiatarve. See GPU, mis tarbib 400 vatti? Asendatud CPU-sektsiooniga, mis kasutab 20 vatti.
Kulude kokkuhoid: Tavalised serverid maksavad 70% vähem kui GPU-dega varustatud süsteemid. Spetsiaalseid kiirendeid pole vaja.
Paigutuse paindlikkus: Töötab kõigega. Pilveserverid, kohapealne riistvara, ääre-seadmed. Kui seadmel on kaasaegne CPU, töötab see.
Latentsus: Kohalik CPU-inferents tähendab millisekundilist reageerimisaega. Puuduvad võrguühenduse edasi-tagasi reisid GPU-klastritesse.
CPU tagasitulek ei puuduta ainult kiirust. See puudutab paremust igas mõõtmes, mis on reaalse maailma paigutuse jaoks oluline.
Total Cost of Ownership (TCO): Viie aasta TCO võrdlus toob esile tegeliku majandusliku pildi. GPU-põhine inferentsisüsteem: 250 000 € riistvara, 90 000 € elekter (Euroopa hindadega), 40 000 € jahutusinfrastruktuur, 25 000 € spetsialiseeritud hooldus. Kokku: 405 000 €. CPU-põhine süsteem: 80 000 € riistvara (tavalised serverid), 7 000 € elekter, 0 € lisajahutus, 8 000 € tavahooldus. Kokku: 95 000 €. 77% kulude vähenemine. Sama jõudlus. Parem vastavus. See pole marginaalne paranemine; see on äriteisendus.
Operatiivne lihtsus: GPU-paigutused nõuavad spetsialiseeritud teadmisi. CUDA programmeerimine, GPU mäluhaldus, kernelite optimeerimine, termoseire. Oskuste puudus tõstab palgasurvet. CPU-paigutused kasutavad tavalist tarkvaratehnikat. C++, Python, tavaline serverihaldus. Talendipagas on kogu tarkvaratööstus, mitte ainult AI-spetsialistid. Lihtsam värbamine, kiirem sisseelamine, madalamad palgad. Operatiivkulud langevad kaugemale riistvara kokkuhoiust.
Regulatiivne vastavus: ELi AI-määrus, GDPR, sektoripõhised regulatsioonid: kõik on lihtsamad CPU-põhiste binaarsete võrkudega. Deterministlik täitmine võimaldab auditeeritavust. Selgitatav põhjendus rahuldab läbipaistvusnõudeid. Formaalne verifitseerimine tõestab ohutusomadusi. GPU-põhistel süsteemidel on nende nõuetega raskusi. Binaarsed võrgud CPU-del: vastavus sisse ehitatud, mitte juurde kleebitud. Regulatiivne eelis võimendab tehnilist eelist.
Müüja paindlikkus: GPU tähendab NVIDIA lukustust. Binaarsed CPU-d töötavad Intel, AMD, ARM implementatsioonidel. Mitme allika hankimine. Konkurentsivõimelised hinnad. Puudub ühe müüja sõltuvus. Euroopa ettevõtted hindavad seda eriti: mitmekesised tarneahelad, vähenenud geopoliitiline risk, läbirääkimisjõud. Ameerika ettevõtted on NVIDIA hinnakujundusjõu käes. Euroopa ettevõtted vahetavad Inteli, AMD ja isegi ARM-serverikiipide vahel. Turujõud on pöördunud.
Intel pole kunagi lahkunud
Siin on iroonia: samal ajal kui kõik jahtisid NVIDIA GPU-sid, parandas Intel pidevalt CPU võimekust. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Iga põlvkond lisab juhiseid, mis sobivad ideaalselt binaarsete operatsioonide jaoks.
Need ei sihitud konkreetselt tehisintellekti. Nad täiustasid üldist arvutusvõimekust. Kuid binaarsed närvivõrgud on üldine arvutusvõimekus. Nad kasutavad kõiki neid täiustusi otse ära.
Infrastruktuur, mis kõigil juba olemas on, muutub järsku tehisintellektivõimeliseks. Pole vaja uut riistvara osta. Pole vaja arhitektuurimuudatusi. Lihtsalt paremad algoritmid, mis kasutavad olemasolevaid võimalusi.
AMD vaikne võit: AMD EPYC protsessorid paistavad silma ka binaarse tehisintellekti valdkonnas. Zen 4 arhitektuur toetab AVX-512, suurepärast vahemäluhierarhiat, tõhusat hargnemise ennustust. Binaarsed närvivõrgud töötavad EPYC protsessoritel suurepäraselt. AMD turuosa serverites: 35% ja kasvamas. See tähendab, et 35% maailma andmekeskustest on juba binaarse tehisintellekti jaoks optimeeritud. AMD on positsioneeritud suurepäraselt ilma otseselt tehisintellektile keskendumata. Üldine tipptase arvutustes muutub tehisintellekti eeliseks.
ARM esilekerkiv roll: Graviton protsessorid (Amazoni ARM-kiibid) demonstreerivad binaarsete närvivõrkude võimekust. Tõhus bitimanipulatsioon, suurepärased energianäitajad, massiivne kasutus AWS-is. ARM-arhitektuur skaleerub nutitelefonidest serveriteni. Binaarne tehisintellekt töötab kogu selles vahemikus. Apple M-seeria kiibid: ARM-põhised, uskumatult tõhusad, ideaalsed binaarsete operatsioonide jaoks. ARM-i tõhususe eelis kuhjub kokku binaarsete närvivõrkude tõhususega. Mobiilist pilveni ulatuv kontiinum muutub võimalikuks.
RISC-V avatud tulevik: Avatud lähtekoodiga RISC-V käsustik võimaldab kohandatud optimeerimist. Euroopa pooljuhtide ettevõtted (Bosch, Infineon, NXP) investeerivad RISC-V-sse autotööstuse ja tööstuse jaoks. Lisage binaarse tehisintellekti optimeerimine kohandatud RISC-V tuumadele. Puuduvad litsentsitasud, täielik kontroll, täiuslik optimeerimine konkreetsete kasutusjuhtude jaoks. Avatud riistvara pluss binaarne tehisintellekt võimaldab Euroopa pooljuhtide sõltumatust. Strateegilised tagajärjed on sügavad.
Kasutuselevõtu ümberkujundamine
GPU-põhine tehisintellekt tähendab spetsialiseeritud infrastruktuuri. Andmekeskused suure võimsusega jahutusega. Spetsiifilised serverikonfiguratsioonid. Müüja lukustus. Keerukus.
CPU-põhine tehisintellekt tähendab kasutuselevõttu kõikjal. See tavaline serveririiul? Täiuslik. Need olemasolevad andmebaasiserverid? Nad saavad nüüd tehisintellekti käitada. Äärelokaadid põhilise arvutusvõimekusega? Täielikult võimelised.
Euroopa ettevõtted, kellel on olemasolev infrastruktuur, ei pea seda ümber ehitama. Nad optimeerivad seda, mis neil on. Ameerika pilveteenuse pakkujate GPU-eelis kaob, kui CPU-d töötavad paremini.
Keskkonnaeelis (Euroopa salarelv)
Energiakulud on Euroopas olulisemad kui Ameerikas. Euroopa elekter: €0,20-0,30 kWh. Ameerika elekter: €0,10-0,15 kWh. Kui teie energiakulud on 2-3× suuremad, pole tõhusus vabatahtlik; see on ellujäämisküsimus.
GPU-põhine tehisintellekti järeldamine keskmise suurusega kasutuselevõtu puhul: 50kW pidev tarbimine. Euroopa kulu: €87 600-131 400 aastas. Ameerika kulu: €43 800-65 700. See €70K aastane vahe rahastab palju Euroopa tehisintellekti teadustööd. Motivatsioon tõhususeks on sõna otseses mõttes elektriarvetesse sisse ehitatud.
Binaarsed närvivõrgud CPU-del: 2-4kW samaväärse töökoormuse jaoks. Euroopa kulu: €3 504-5 256 aastas. Kokkuhoid: €84K-126K aastas. Ameerika ettevõtted peavad tõhusust meeldivaks lisaväärtuseks. Euroopa ettevõtted peavad seda konkurentsivõime kohustuseks. Erinevad majanduskontekstid sünnitavad erinevaid innovatsioone.
Keskkonnaalased regulatsioonid tabavad Euroopat ka kõvemini. ELi kestlike tegevuste taksonoomia nõuab energiatarbimisest aruandlust. Suured tehisintellekti kasutuselevõtud käivitavad jätkusuutlikkuse auditeid. GPU-klastrid, mis tarbivad megavatte, tõstatavad regulatiivseid küsimusi. CPU-põhine järeldamine, mis tarbib kilovatte, jääb radari alla. Regulatiivne vastavus muutub arhitektuuriliseks ajendiks.
Germany's renewable energy mandates create interesting dynamics. Solar and wind are intermittent. Data centers need to operate within available renewable capacity. GPU clusters need constant high power, hard to match with intermittent renewables. CPU-based AI can scale workloads with available power. Load flexibility enables renewable integration. Environmental constraint drives technical innovation. Very European problem-solving approach.
The semiconductor shift (Intel's accidental victory)
While everyone focused on NVIDIA's GPU dominance, Intel's CPU improvements positioned them perfectly for binary AI. Unintentional but decisive.
AVX-512 wasn't designed for AI. It targeted high-performance computing, scientific simulation, financial modeling. But those 512-bit vector operations? Perfect for binary neural networks. POPCNT instruction? Added for database optimization. Perfect for binary activations. Ice Lake's improved branch predictor? Targeted general performance. Perfect for binary thresholds.
Intel improved CPUs for traditional workloads. Binary AI researchers noticed those improvements aligned with their needs. Now Intel processors deliver better AI inference than specialized AI accelerators. Accidental architectural match creates market opportunity.
NVIDIA's market cap built on AI. Intel's recovery might be too. AMD's EPYC processors also excel at binary operations: AVX-512 equivalent, excellent cache hierarchy, strong branch prediction. Binary AI benefits entire x86 ecosystem. American semiconductor companies win by being good at traditional computing. GPUs specialized too early for narrow AI use case. CPUs remained flexible, became optimal for broader AI approaches.
The market inversion (what happens next)
GPU market dynamics shifting. Training still needs GPUs, no dispute there. But inference market is 10-100× larger than training market. Most AI workloads are inference. Binary networks on CPUs capture that market.
Cloud providers face interesting decisions. AWS, Azure, Google Cloud invested billions in GPU infrastructure. Depreciation schedules assume 3-5 year utilization. Binary AI makes GPU inference obsolete year one. Either write off billions in GPU investments or charge premium prices for inferior performance. Neither option appealing.
European cloud providers capitalize. OVH, Hetzner, Scaleway: they run standard CPU infrastructure. No GPU sunk costs. Binary AI makes their existing infrastructure competitive for AI workloads. Price advantage compounds performance advantage. American hyperscalers' GPU investments become liabilities. European providers' CPU focus becomes advantage. Market dynamics inverting.
Edge deployment unlocks. Tesla can't put GPU in every vehicle: power, cost, heat, space constraints. But every car already has powerful CPUs for engine management, navigation, entertainment. Binary neural networks turn existing automotive CPUs into AI accelerators. No additional hardware. Just software upgrade. Edge AI becomes feasible because CPUs are already there.
Smartphones too. Qualcomm Snapdragon processors have excellent bit manipulation performance. Binary networks run on phone CPUs faster than dedicated AI accelerators. Apple's A-series chips, Samsung Exynos: all optimized for general compute, all perfect for binary AI. Mobile AI without specialized neural engines. CPU performance makes dedicated accelerators redundant.
The European advantage crystallizes
Everything mentioned above favors European AI companies. Existing infrastructure works better. Energy costs drive efficiency innovations. Regulatory compliance enables formal verification. CPU-optimized approaches emerge from resource constraints. Brussels Effect globalizes European standards.
Ameerika AI-ettevõtted on ehitatud teistsuguse maailma jaoks. Rikkalik kapital, odav energia, leebed regulatsioonid, GPU-de kättesaadavus. Need eelised kaovad. Kapitalinõuded vähenevad (GPU-d pole vaja). Energiatõhusus muutub oluliseks (Euroopa hinnad levivad üle maailma). Regulatsioonid karmistuvad (ELi AI-määrus muutub ülemaailmseks standardiks). GPU-de nappus on ebaoluline (CPU-d töötavad paremini).
Euroopa AI-ettevõtted on ehitatud piiratud maailma jaoks. Piiratud kapital (sundis algoritmilisele efektiivsusele). Kallis energia (binaarsed võrgud kasutavad 96% vähem energiat). Range regulatsioon (formaalne kontroll sisse ehitatud). CPU-de kättesaadavus (tavariistvara on optimaalne). Piirangud, mis tundusid ebasoodsad, on nüüd konkurentsieelised. Turutingimused nihkuvad ülemaailmselt Euroopa lähenemisviisi poole.
Järgmine kümnend: Euroopa AI-ettevõtted ekspordivad mitte ainult Euroopasse, vaid kogu maailma. Ameerika ettevõtted litsentseerivad Euroopa tehnoloogiat. Aasia turud võtavad kasutusele Euroopa standardid. CPU-põhisest binaarsest AI-st saab domineeriv arhitektuur. NVIDIA jääb oluliseks treenimisel. Intel/AMD domineerivad järelduste tegemisel. Turukapitalisatsiooni ümberjaotumine peegeldab arhitektuurilist nihet. Euroopa AI ei jõua enam järele; Euroopa AI seab tempot.
Mida see AI jaoks tähendab
CPU tagasitulek muudab põhjalikult AI majandust. Enam ei pea valima jõudluse ja hinna vahel. Enam ei piira GPU-de nappus kasutuselevõttu. Enam pole tarnijast sõltuvust.
Dweve Core töötab CPU-del. Üle 1,000 optimeeritud algoritmi, mis kasutavad täiel määral ära kaasaegse Inteli arhitektuuri. Loom 456 oma valdkonnaspetsialistidel põhineva arutlusega töötab kiirustel, mis muudavad GPU kasutuselevõtu tarbetuks.
See on AI demokratiseerimine parema matemaatika kaudu. Kõik ei saa endale lubada GPU-klastreid. CPU-d on kõigil.
CPU-revolutsioon on tulemas. Dweve binaarsed närvivõrgud pakuvad GPU-d ületavat jõudlust tavariistvaral. Liituge meie ootenimekirjaga, et olla esimesed, kui käivitame.