De grote comeback van de CPU: hoe we CPU's sneller maakten dan GPU's voor AI
De onmogelijke bewering
"Du kan inte slå GPU:er för AI-arbetsbelastningar." Det var vad alla sa. Det har varit en troslära i över ett decennium. CPU:er är generella. GPU:er är specialiserade. Punkt slut.
We did, though.
Det här är ingen marginell förbättring. Det är ett betydande skifte i angreppssätt. Och det sker för att vi slutade försöka få processorer att fungera som GPU:er och började använda matematik som processorer är utmärkta på.
Waarom GPU's (oorspronkelijk) wonnen
GPU:er dominerade AI av goda skäl. Neurala nätverk är matrismultiplikationer. Massor av dem. GPU:er har tusentals kärnor som utför parallell flyttalsaritmetik. Perfekt matchning.
Men här är vad alla missade: matchningen var tillfällig, inte fundamental. GPU:er var inte designade för AI. De råkade bara vara bra på den specifika matematik som tidiga neurala nätverk använde.
Multiplicación de matrices en coma flotante? La GPU gana. Pero, ¿y si no necesitas coma flotante? ¿Y si las operaciones binarias funcionan mejor? De repente, la ventaja especializada de la GPU desaparece.
Den europeiska CPU-revolutionen (medan Amerika köpte GPU:er)
Något intressant hände medan amerikanska AI-företag slogs om NVIDIA-tilldelningar. Europeiska forskare, som inte kunde säkra enorma GPU-budgetar, började ställa andra frågor. Inte "hur skaffar vi fler GPU:er?" utan "behöver vi verkligen GPU:er?"
Duitse onderzoekslaboratoria van het Max Planck Instituut publiceerden in 2018 papers over binaire neurale netwerken. Nederlandse universiteiten, waaronder de TU Delft, optimaliseerden CPU-inferentie. Zwitserse onderzoekers van de ETH Zürich ontwikkelden op constraints gebaseerde redenering die uitstekend draaide op standaard Intel-processors. Dit waren geen GPU-alternatieven. Dit waren CPU-eerst-benaderingen die toevallig GPU's overbodig maakten.
Varför Europa? Följ pengarna, eller bristen på dem. EU:s forskningsfinansiering uppgick i genomsnitt till 50–100 tusen euro per projekt. Tillräckligt för forskare och servrar. Inte tillräckligt för GPU-kluster. Begränsning föder innovation. Europeiska AI-forskare kunde inte brute-forcea med beräkningskraft. De optimerade algoritmer i stället. Det visar sig att algoritmisk effektivitet slår hårdvaruparallellism.
Amerikaans patroon: geld tegen gpu's aangooien, marginale verbeteringen behalen. Europees patroon: de wiskunde heroverwegen, doorbraakprestaties op bestaande hardware behalen. Hetzelfde einddoel, radicaal verschillende wegen. Het Brussel-effect slaat opnieuw toe: Europese oplossingen worden wereldwijde standaarden omdat ze werken met infrastructuur die iedereen al bezit.
Het binaire voordeel
Binaire neurale netwerken gebruiken +1 en -1 in plaats van getallen met drijvende komma. De bewerkingen worden logisch: AND, OR, XOR, XNOR. Eenvoudige bitmanipulaties.
Processorer är otroligt snabba på bitoperationer. Intels AVX-512 kan bearbeta 512 bitar samtidigt. Moderna Xeon-processorer har specialiserade instruktioner för exakt dessa operationer.
Samtidigt har GPU:er som optimerats för flyttal svårt med binär logik. De klarar det, men det är som att använda en slägga för precisionsarbete. All den specialiserade flyttalskretsen står oanvänd.
Binära nätverk på CPU:er: att använda rätt verktyg för jobbet. Flyttalsnätverk på GPU:er: att använda det enda verktyg alla känner till.
Siffrorna som chockade oss
Våra första riktmärken verkade fel. Vi körde dem igen. Samma resultat.
Bildklassificering: 2 000 inferenser per sekund på CPU jämfört med 180 på GPU.
Prestandafördelen växer med skalan. Större modeller visar ännu större skillnader. Ju mer komplext nätverket är, desto mer drar CPU:erna ifrån.
Den tekniska förklaringen (varför detta fungerar)
Låt oss bli specifika om varför CPU:er plötsligt dominerar AI-inferens med binära nätverk.
Instruktionsnivåparallellism: Moderna Intel Xeon-processorer har AVX-512-vektortillägg. Det är SIMD-operationer på 512 bitar. En instruktion bearbetar 512 binära värden samtidigt. Ett binärt neuralt nätverkslager med 512 neuroner? En enda CPU-instruktion. GPU:n måste dirigera det genom flyttalsenheter designade för grafik. Arkitektonisk missanpassning kostar prestanda.
Cacheeffektivitet: Binära vikter är 1 bit. Flyttalsvikter är 32 bitar. Samma L1-cache rymmer 32× fler binära vikter. CPU:er utmärker sig på cacheoptimering. När hela din modell får plats i L2-cachen slutar minnesbandbredd att spela roll. GPU:er är optimerade för att strömma stora datamängder från VRAM. Binära nätverk behöver ingen strömning: allt ligger i cachen. GPU:ns fördel: annullerad.
XNOR och POPCOUNT: Framåtpasset i ett binärt neuralt nätverk reduceras till XNOR-operationer följt av populationsräkning (antal satta bitar). Intel lade till POPCNT-instruktionen 2008. AMD följde efter 2011. Varje modern CPU har hårdvaruaccelererad biträkning. GPU:er? De emulerar det genom flyttalsoperationer. Inbyggt hårdvarustöd mot emulering. CPU:n vinner avgjort.
Grenprediktion: Binära aktiveringsfunktioner är enkla tröskelvärden. Om summan > 0, aktivera. CPU:er har sofistikerade grenprediktorer finslipade under decennier. Dessa tröskeloperationer blir perfekt predicerade grenar. GPU:er kämpar med grenar: deras parallellismmodell förutsätter enhetliga exekveringsvägar. Binära nätverk har många grenar. CPU:er hanterar dem vackert. GPU:er snubblar.
Prestandagapet är inte magi. Det är arkitektonisk anpassning. Binära neurala nätverk använder operationer som CPU:er är optimerade för. Flytalsnätverk använder operationer som GPU:er byggdes för. Vi bytte matematik. CPU:er blev optimala.
Bortom hastighet: hela bilden
Hastighet är bara en del av historien. Binära nätverk på CPU:er levererar:
Kostnadsbesparingar: Standardservrar kostar 70 % mindre än system med GPU. Inga specialiserade acceleratorer behövs.
Driftsättningsflexibilitet: Kör på vad som helst. Molnservrar, lokal hårdvara, edge-enheter. Har den en modern CPU fungerar den.
Latens: Lokal CPU-inferens innebär svarstider i millisekunder. Inga nätverksrundturer till GPU-kluster.
CPU:ns comeback handlar inte bara om att vara snabbare. Det handlar om att vara bättre i varje dimension som spelar roll för verklig driftsättning.
Total ägandekostnad (TCO): En femårig TCO-jämförelse belyser den verkliga ekonomin. GPU-baserat inferenssystem: 250 000 € i hårdvara, 90 000 € i ström (till europeiska priser), 40 000 € i kylinfrastruktur, 25 000 € i specialiserat underhåll. Totalt: 405 000 €. CPU-baserat system: 80 000 € i hårdvara (standardservrar), 7 000 € i ström, 0 € i extra kylning, 8 000 € i standardunderhåll. Totalt: 95 000 €. 77 % kostnadsminskning. Samma prestanda. Bättre regelefterlevnad. Det är inte en marginell förbättring; det är en affärstransformation.
Operativ enkelhet: GPU-driftsättningar kräver specialiserad expertis. CUDA-programmering, GPU-minneshantering, kerneloptimering, termisk övervakning. Kompetensbrist driver upp lönepremierna. CPU-driftsättningar använder vanlig programvaruteknik. C++, Python, normal serveradministration. Talangpoolen är hela programvarubranschen, inte bara AI-specialister. Enklare rekrytering, snabbare introduktion, lägre löner. Operativa kostnader sjunker utöver hårdvarubesparingarna.
Regelefterlevnad: EU:s AI-förordning, GDPR, sektorsspecifika regler: allt blir enklare med CPU-baserade binära nätverk. Deterministisk exekvering möjliggör granskningsbarhet. Förklarbart resonemang uppfyller transparenskraven. Formell verifiering bevisar säkerhetsegenskaper. GPU-baserade system kämpar med dessa krav. Binära nätverk på CPU:er: regelefterlevnad inbyggd, inte påklistrad. Den regulatoriska fördelen förstärker den tekniska fördelen.
Leverantörsflexibilitet: GPU innebär inlåsning hos NVIDIA. Binära CPU:er fungerar på Intel-, AMD- och ARM-implementationer. Upphandling från flera källor. Konkurrenskraftiga priser. Inget beroende av en enda leverantör. Europeiska företag värdesätter detta särskilt: diversifierade leveranskedjor, minskad geopolitisk risk, förhandlingsstyrka. Amerikanska företag är fast i NVIDIAs prissättningsmakt. Europeiska företag växlar mellan Intel, AMD och till och med ARM-serverchip. Marknadsmakten är omvänd.
Intel lämnade aldrig
Här är ironin: medan alla jagade NVIDIA-GPU:er fortsatte Intel att förbättra CPU-förmågorna. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Varje generation lade till instruktioner som är perfekta för binära operationer.
De var inte specifikt inriktade på AI. De förbättrade allmän beräkning. Men binära neurala nätverk är allmän beräkning. De drar nytta av alla dessa förbättringar direkt.
Infrastrukturen som alla redan äger blir plötsligt AI-kapabel. Inga nya hårdvaruinköp. Inga arkitekturändringar. Bara bättre algoritmer som använder befintliga förmågor.
AMDs stille overwinning: AMD EPYC-processors blinken ook uit in binaire AI. Zen 4-architectuur ondersteunt AVX-512, uitstekende cachehiërarchie, efficiënte branch-predictie. Binaire netwerken draaien prachtig op EPYC. AMD-marktaandeel in servers: 35% en groeiend. Dat is 35% van de datacenters wereldwijd die al geoptimaliseerd zijn voor binaire AI. AMD is perfect gepositioneerd zonder expliciet op AI te richten. Algemene uitmuntendheid wordt een AI-voordeel.
ARMs framväxande roll: Graviton-processorer (Amazons ARM-chip) demonstrerar kapacitet för binära nätverk. Effektiv bitmanipulation, utmärkta effektegenskaper, massiv utplacering hos AWS. ARM-arkitekturen skalar från smartphones till servrar. Binär AI fungerar över hela det spannet. Apples M-serie-chip: ARM-baserade, otroligt effektiva, perfekta för binära operationer. ARMs effektivitetsfördel förstärks av binära nätverks effektivitet. Kontinuum från mobil till moln blir möjligt.
RISC-V's Open Future: De open-source RISC-V-instructieset maakt aangepaste optimalisaties mogelijk. Europese halfgeleiderbedrijven (Bosch, Infineon, NXP) investeren in RISC-V voor de automobiel- en industriesector. Voeg binaire AI-optimalisaties toe aan aangepaste RISC-V-kernen. Geen licentiekosten, volledige controle, perfecte optimalisatie voor specifieke gebruikssituaties. Open hardware plus binaire AI maakt Europese onafhankelijkheid op het gebied van halfgeleiders mogelijk. De strategische implicaties zijn ingrijpend.
De implementatietransformatie
GPU-baserad AI innebär specialiserad infrastruktur. Datacenter med kraftfull kylning. Specifika serverkonfigurationer. Leverantörsinlåsning. Komplexitet.
CPU-gebaseerde AI betekent overal implementeren. Die standaard serverrack? Perfect. Die bestaande databaseservers? Die kunnen nu AI draaien. Edge-locaties met basiscompute? Volledig in staat.
Europeiska företag med befintlig infrastruktur behöver inte bygga om. De optimerar det de har. Amerikanska molnleverantörers GPU-fördel försvinner när processorer fungerar bättre.
Miljöfördelen (Europas hemliga vapen)
Energikostnader spelar större roll i Europa än i Amerika. Europeisk el: 0,20–0,30 euro per kWh. Amerikansk el: 0,10–0,15 euro per kWh. När din elkostnad är 2–3 gånger högre är effektivitet inte valfritt; det är överlevnad.
GPU-gebaseerde AI-inferentie voor middelgrote implementatie: 50 kW continu verbruik. Europese kosten: €87.600-131.400 per jaar. Amerikaanse kosten: €43.800-65.700. Dat verschil van €70.000 per jaar financiert veel Europees AI-onderzoek. De motivatie voor efficiëntie zit letterlijk ingebouwd in de elektriciteitsrekeningen.
Binaire netwerken op CPU's: 2-4 kW voor een gelijkwaardige werklast. Europese kosten: €3.504-5.256 per jaar. Besparing: €84K-126K per jaar. Amerikaanse bedrijven zien efficiëntie als een mooi meegenomen extra. Europese bedrijven zien het als een concurrentiële noodzaak. Verschillende economische contexten brengen verschillende innovaties voort.
Milieuregels treffen ook in Europa harder. De EU-taxonomie voor duurzame activiteiten vereist rapportage over energieverbruik. Grote AI-implementaties leiden tot duurzaamheidsaudits. GPU-clusters die megawatts verbruiken roepen regelgevingsvragen op. CPU-gebaseerde inferentie die kilowatts verbruikt blijft onder de radar. Naleving van regelgeving wordt een architectuurdrijver.
De Duitse verplichtingen op het gebied van hernieuwbare energie creëren interessante dynamiek. Zonne-energie en wind zijn intermitterend. Datacenters moeten opereren binnen de beschikbare capaciteit aan hernieuwbare energie. GPU-clusters hebben constant hoog vermogen nodig, wat moeilijk te combineren is met intermitterende hernieuwbare energie. AI op basis van CPU's kan workloads schalen met het beschikbare vermogen. Flexibiliteit in belasting maakt integratie van hernieuwbare energie mogelijk. Milieubeperkingen stimuleren technische innovatie. Een zeer Europese manier van probleemoplossing.
De verschuiving in halfgeleiders (de toevallige overwinning van Intel)
Medan alla fokuserade på NVIDIAs GPU-dominans positionerade Intels processorförbättringar dem perfekt för binär AI. Oavsiktligt men avgörande.
AVX-512 var inte designat för AI. Det riktade sig mot högpresterande beräkning, vetenskaplig simulering, finansiell modellering. Men de där 512-bitars vektoroperationerna? Perfekta för binära neurala nätverk. POPCNT-instruktionen? Tillagd för databasoptimering. Perfekt för binära aktiveringar. Ice Lakes förbättrade grenprediktor? Inriktad på allmän prestanda. Perfekt för binära tröskelvärden.
Intel verbeterde CPU's voor traditionele workloads. Binaire AI-onderzoekers merkten dat die verbeteringen aansloten bij hun behoeften. Nu leveren Intel-processoren betere AI-inferentie dan gespecialiseerde AI-versnellers. Toevallige architecturale match creëert marktkans.
NVIDIAs marknadsvärde byggt på AI. Intels återhämtning kanske också. AMD:s EPYC-processorer är också utmärkta på binära operationer: AVX-512-motsvarighet, utmärkt cachehierarki, stark grenprediktion. Binär AI gynnar hela x86-ekosystemet. Amerikanska halvledarföretag vinner genom att vara bra på traditionell beräkning. GPU:er specialiserades för tidigt för ett snävt AI-användningsfall. Processorer förblev flexibla, blev optimala för bredare AI-angreppssätt.
De marktinversie (wat er nu gebeurt)
GPU-marknadens dynamik förändras. Träning kräver fortfarande GPU:er, det råder ingen tvekan om saken. Men inferensmarknaden är 10–100× större än träningsmarknaden. De flesta AI-arbetsbelastningar är inferens. Binära nätverk på CPU:er fångar upp den marknaden.
Cloudproviders staan voor interessante keuzes. AWS, Azure, Google Cloud investeerden miljarden in GPU-infrastructuur. Afschrijvingsschema's gaan uit van 3-5 jaar gebruik. Binaire AI maakt GPU-inferentie in het eerste jaar achterhaald. Ofwel schrijf je miljarden aan GPU-investeringen af, ofwel reken je premiumprijzen voor inferieure prestaties. Geen van beide opties is aantrekkelijk.
Europeiska molnleverantörer drar nytta av detta. OVH, Hetzner, Scaleway: de kör standardiserad CPU-infrastruktur. Inga sjunkna GPU-kostnader. Binär AI gör deras befintliga infrastruktur konkurrenskraftig för AI-arbetsbelastningar. Prisfördel förstärker prestandafördel. Amerikanska hyperscalers GPU-investeringar blir en belastning. Europeiska leverantörers CPU-fokus blir en fördel. Marknadsdynamiken vänds om.
Edge-driftsättning öppnar nya möjligheter. Tesla kan inte sätta en GPU i varje fordon: begränsningar i effekt, kostnad, värme och utrymme. Men varje bil har redan kraftfulla CPU:er för motorstyrning, navigering och underhållning. Binära neurala nätverk förvandlar befintliga fordons-CPU:er till AI-acceleratorer. Ingen extra hårdvara. Bara en mjukvaruuppgradering. Edge-AI blir genomförbart eftersom CPU:erna redan finns där.
Smartphones ook. Qualcomm Snapdragon-processors presteren uitstekend op het gebied van bitmanipulatie. Binaire netwerken draaien sneller op telefoon-cpu's dan op speciale AI-versnellers. Apple's A-serie chips, Samsung Exynos: allemaal geoptimaliseerd voor algemene rekenkracht, allemaal perfect voor binaire AI. Mobiele AI zonder gespecialiseerde neurale engines. CPU-prestaties maken speciale versnellers overbodig.
Den europeiska fördelen tar form
Allt som nämns ovan gynnar europeiska AI-företag. Befintlig infrastruktur fungerar bättre. Energikostnader driver på effektivitetsinnovationer. Regelefterlevnad möjliggör formell verifiering. CPU-optimerade angreppssätt uppstår ur resursbegränsningar. Brysseleffekten globaliserar europeiska standarder.
Amerikanska AI-företag byggdes för en annan värld. Gott om kapital, billig energi, lax reglering, GPU-tillgång. De fördelarna håller på att försvinna. Kapitalbehoven minskar (ingen GPU behövs). Energieffektivitet blir viktigare (europeiska priser sprider sig globalt). Regleringen skärps (EU:s AI-förordning blir global standard). GPU-bristen blir irrelevant (CPUs fungerar bättre).
Europeiska AI-företag byggdes för en värld med begränsningar. Begränsat kapital (tvingade till algoritmisk effektivitet). Strikt reglering (formell verifiering inbyggd). CPU-tillgång (standardhårdvara optimal). Begränsningar som verkade vara nackdelar är nu konkurrensfördelar. Marknadsförhållandena skiftar globalt mot det europeiska synsättet.
Nästa decennium: Europeiska AI-företag exporterar inte bara till Europa utan globalt. Amerikanska företag licensierar europeisk teknik. Asiatiska marknader antar europeiska standarder. CPU-baserad binär AI blir den dominerande arkitekturen. NVIDIA förblir relevant för träning. Intel/AMD dominerar inferens. Omfördelningen av marknadsvärde speglar arkitekturskiftet. Europeisk AI hinner inte längre ikapp; europeisk AI sätter takten.
Vad detta innebär för AI
CPU:ns comeback förändrar AI-ekonomin i grunden. Inget mer val mellan prestanda och kostnad. Ingen GPU-brist som begränsar driftsättning. Inga fler leverantörsberoenden.
Dweve Core körs på CPUs.
Detta är demokratisering av AI genom bättre matematik. Alla har inte råd med GPU-kluster. Alla har CPUs.
CPU-revolutionen kommer. Konsumenter får för närvarande tillgång till Dweve endast via inbjudan.