Il grande ritorno della CPU: come abbiamo reso le CPU più veloci delle GPU per l'IA
L'affermazione impossibile
"Non puoi battere le GPU per i carichi di lavoro AI." È quello che dicevano tutti. È stato un dogma per oltre un decennio. Le CPU sono generiche. Le GPU sono specializzate. Fine della storia.
E invece ci siamo riusciti. Le reti neurali binarie che girano su CPU Intel Xeon offrono un'inferenza da 10 a 20 volte più veloce rispetto alle reti a virgola mobile sulle GPU. Non prestazioni teoriche. Risultati reali, implementati e misurati.
Non è un miglioramento marginale. È un cambiamento sostanziale di approccio. Ed è possibile perché abbiamo smesso di cercare di far funzionare le CPU come le GPU e abbiamo iniziato a usare la matematica in cui le CPU eccellono.
Perché le GPU hanno vinto (all'inizio)
Le GPU hanno dominato l'AI per buoni motivi. Le reti neurali sono moltiplicazioni di matrici. Tantissime. Le GPU hanno migliaia di core che eseguono aritmetica parallela a virgola mobile. Un abbinamento perfetto.
Ma ecco cosa tutti si sono lasciati sfuggire: l'abbinamento era circostanziale, non fondamentale. Le GPU non sono state progettate per l'AI. Semplicemente erano brave nella matematica specifica usata dalle prime reti neurali.
Moltiplicazione di matrici a virgola mobile? Vince la GPU. Ma se non ti serve la virgola mobile? E se le operazioni binarie funzionassero meglio? All'improvviso il vantaggio specializzato della GPU svanisce.
La rivoluzione europea delle CPU (mentre l'America comprava GPU)
È successo qualcosa di interessante mentre le aziende AI americane si contendevano le allocazioni NVIDIA. I ricercatori europei, impossibilitati a ottenere budget massicci per le GPU, hanno iniziato a porsi domande diverse. Non "come otteniamo più GPU?" ma "ci servono davvero le GPU?"
I laboratori di ricerca tedeschi del Max Planck Institute hanno pubblicato articoli sulle reti neurali binarie nel 2018. Le università olandesi del TU Delft hanno ottimizzato l'inferenza su CPU. I ricercatori svizzeri dell'ETH di Zurigo hanno sviluppato un ragionamento basato su vincoli che girava splendidamente sui processori Intel standard. Non erano alternative alle GPU. Erano approcci incentrati sulla CPU che rendevano le GPU irrilevanti.
Perché l'Europa? Segui i soldi, o la loro mancanza. I finanziamenti per la ricerca dell'UE ammontavano in media a 50-100 mila euro a progetto. Abbastanza per ricercatori e server. Non abbastanza per cluster di GPU. I vincoli generano innovazione. I ricercatori AI europei non potevano usare la forza bruta con la potenza di calcolo. Hanno invece ottimizzato gli algoritmi. A quanto pare, l'efficienza algoritmica batte il parallelismo hardware.
Modello americano: buttare soldi sulle GPU, ottenere miglioramenti marginali. Modello europeo: ripensare la matematica, ottenere prestazioni rivoluzionarie sull'hardware esistente. Stesso obiettivo finale, percorsi radicalmente diversi. L'effetto Bruxelles colpisce ancora: le soluzioni europee diventano standard globali perché funzionano con l'infrastruttura che tutti possiedono già.
Il vantaggio binario
Le reti neurali binarie usano +1 e -1 invece dei numeri a virgola mobile. Le operazioni diventano logiche: AND, OR, XOR, XNOR. Semplici manipolazioni di bit.
Le CPU sono incredibilmente veloci nelle operazioni sui bit. L'AVX-512 di Intel può elaborare 512 bit simultaneamente. I moderni processori Xeon hanno istruzioni specializzate esattamente per queste operazioni.
Nel frattempo, le GPU ottimizzate per la virgola mobile faticano con la logica binaria. Possono farlo, ma usano una mazza per un lavoro di precisione. Tutta quella circuiteria specializzata per la virgola mobile resta inattiva.
Reti binarie su CPU: usare lo strumento giusto per il lavoro. Reti a virgola mobile su GPU: usare l'unico strumento che tutti conoscono.
I numeri che ci hanno sorpreso
I nostri primi benchmark sembravano sbagliati. Li abbiamo ripetuti. Stessi risultati. Le reti binarie su CPU Xeon offrivano un'inferenza 10 volte più veloce rispetto alle reti equivalenti a virgola mobile su GPU di fascia alta.
Classificazione delle immagini: 2.000 inferenze al secondo su CPU contro 180 su GPU.
Elaborazione del linguaggio naturale: accelerazione di 5 volte su CPU server standard.
Sistemi di raccomandazione: 15 volte più veloci su architettura Intel.
Il vantaggio prestazionale cresce con la scala. I modelli più grandi mostrano divari ancora maggiori. Più la rete è complessa, più le CPU guadagnano terreno.
La spiegazione tecnica (perché funziona)
Entriamo nel dettaglio del motivo per cui le CPU dominano improvvisamente l'inferenza AI con le reti binarie.
Parallelismo a livello di istruzioni: I moderni processori Intel Xeon dispongono di estensioni vettoriali AVX-512. Si tratta di operazioni SIMD a 512 bit. Una singola istruzione elabora 512 valori binari simultaneamente. Un livello di rete neurale binaria con 512 neuroni? Una singola istruzione CPU. La GPU deve instradare il tutto attraverso unità a virgola mobile progettate per la grafica. Il disallineamento architetturale costa prestazioni.
Efficienza della cache: I pesi binari occupano 1 bit. I pesi a virgola mobile occupano 32 bit. La stessa cache L1 contiene 32 volte più pesi binari. Le CPU eccellono nell'ottimizzazione della cache. Quando l'intero modello entra nella cache L2, la larghezza di banda della memoria smette di essere un fattore. Le GPU sono ottimizzate per lo streaming di grandi dataset dalla VRAM. Le reti binarie non necessitano di streaming: tutto è in cache. Il vantaggio della GPU: annullato.
XNOR e POPCOUNT: Il forward pass di una rete neurale binaria si riduce a operazioni XNOR seguite dal population count (numero di bit impostati). Intel ha introdotto l'istruzione POPCNT nel 2008. AMD ha seguito nel 2011. Ogni CPU moderna dispone di conteggio bit accelerato via hardware. Le GPU? Lo emulano attraverso operazioni a virgola mobile. Supporto hardware nativo contro emulazione. La CPU vince in modo netto.
Predizione dei branch: Le funzioni di attivazione binarie sono semplici soglie. Se la somma è maggiore di 0, attiva. Le CPU dispongono di predittori di branch sofisticati, affinati nel corso dei decenni. Queste operazioni di soglia diventano branch perfettamente prevedibili. Le GPU faticano con i branch: il loro modello di parallelismo presuppone percorsi di esecuzione uniformi. Le reti binarie hanno molti branch. Le CPU li gestiscono splendidamente. Le GPU inciampano.
Il divario prestazionale non è magia. È allineamento architetturale. Le reti neurali binarie usano operazioni per cui le CPU sono state ottimizzate. Le reti a virgola mobile usano operazioni per cui le GPU sono state costruite. Abbiamo cambiato la matematica. Le CPU sono diventate la scelta ottimale.
Implementazione nel mondo reale (cosa è realmente accaduto)
Servizi finanziari olandesi (ING Bank): Ha sostituito il rilevamento frodi basato su GPU con reti binarie su CPU. Sistema precedente: 8 GPU NVIDIA A100, consumo di 3.200 W, costo hardware di 180.000 €, latenza di 45 ms. Nuovo sistema: 4 processori Intel Xeon Platinum (server esistenti), consumo aggiuntivo di 280 W, costo hardware di 0 €, latenza di 8 ms. 5,6 volte più veloce, 91% di energia in meno, zero spese in conto capitale. Reti binarie in esecuzione su CPU già in loro possesso.
Manifattura tedesca (Siemens): IA per il controllo qualità nell'automazione industriale. L'approccio con GPU richiedeva server edge specializzati con raffreddamento dedicato. 12.000 € per stazione di ispezione, 25 stazioni necessarie, 300.000 € in totale. Approccio con CPU: software aggiornato su PLC esistenti con processori Intel Atom. 800 € per stazione per licenza software, 20.000 € in totale. Stessa accuratezza, riduzione dei costi del 93%, implementazione in un decimo del tempo.
Sanità svizzera (Ospedale universitario di Zurigo): Analisi di imaging medico. Sistema NVIDIA DGX per l'inferenza: 120.000 € di capitale, 18.000 € annui di costi energetici, richiedeva una sala server dedicata con raffreddamento potenziato. Reti binarie su server Dell standard (già in possesso per altri carichi di lavoro): 0 € di capitale, 2.000 € annui di energia incrementale, implementate nei rack server esistenti. Inferenza 6 volte più veloce, riduzione dei costi operativi dell'89%, migliore spiegabilità per i regolatori.
Il quadro emerge: le aziende europee che operano su infrastrutture esistenti, le aziende americane che acquistano sistemi GPU specializzati. Quando l'AI basata su CPU funziona meglio, l'infrastruttura server europea esistente diventa un vantaggio competitivo. Gli investimenti in GPU dei provider cloud americani diventano costi irrecuperabili.
Oltre la velocità: il quadro completo
La velocità è solo una parte della storia. Le reti binarie su CPU offrono:
Efficienza energetica: riduzione del 96% del consumo energetico. Quella GPU che assorbe 400 watt? Sostituita da una sezione CPU che ne usa 20.
Risparmio sui costi: i server standard costano il 70% in meno rispetto ai sistemi con GPU. Nessun acceleratore specializzato necessario.
Flessibilità di implementazione: funziona su qualsiasi cosa. Server cloud, hardware on-premise, dispositivi edge. Se ha una CPU moderna, funziona.
Latenza: l'inferenza locale su CPU garantisce tempi di risposta in millisecondi. Nessun round-trip di rete verso cluster GPU.
Il ritorno della CPU non riguarda solo l'essere più veloci. Riguarda l'essere migliori in ogni dimensione che conta per l'implementazione nel mondo reale.
Costo Totale di Proprietà (TCO): Il confronto del TCO su cinque anni chiarisce l'economia reale. Sistema di inferenza basato su GPU: €250K di hardware, €90K di energia (alle tariffe europee), €40K di infrastruttura di raffreddamento, €25K di manutenzione specializzata. Totale: €405K. Sistema basato su CPU: €80K di hardware (server standard), €7K di energia, €0 di raffreddamento aggiuntivo, €8K di manutenzione standard. Totale: €95K. Riduzione dei costi del 77%. Stesse prestazioni. Migliore conformità. Non è un miglioramento marginale; è una trasformazione del business.
Semplicità Operativa: Le implementazioni GPU richiedono competenze specializzate. Programmazione CUDA, gestione della memoria GPU, ottimizzazione dei kernel, monitoraggio termico. La carenza di competenze fa salire i premi salariali. Le implementazioni CPU usano l'ingegneria del software standard. C++, Python, normale amministrazione dei server. Il bacino di talenti è l'intera industria del software, non solo gli specialisti di AI. Assunzioni più facili, onboarding più rapido, stipendi più bassi. I costi operativi scendono oltre il risparmio sull'hardware.
Conformità Normativa: AI Act dell'UE, GDPR, normative settoriali: tutto più semplice con le reti binarie su CPU. L'esecuzione deterministica consente l'auditabilità. Il ragionamento spiegabile soddisfa i requisiti di trasparenza. La verifica formale dimostra le proprietà di sicurezza. I sistemi basati su GPU faticano con questi requisiti. Reti binarie su CPU: conformità integrata, non aggiunta a posteriori. Il vantaggio normativo amplifica il vantaggio tecnico.
Flessibilità dei Fornitori: La GPU significa lock-in con NVIDIA. Le CPU binarie funzionano su implementazioni Intel, AMD, ARM. Approvvigionamento multi-fonte. Prezzi competitivi. Nessuna dipendenza da un unico fornitore. Le aziende europee apprezzano particolarmente questo aspetto: catene di approvvigionamento diversificate, rischio geopolitico ridotto, potere negoziale. Le aziende americane restano bloccate con il potere di prezzo di NVIDIA. Le aziende europee passano da Intel ad AMD, persino ai chip server ARM. Il potere di mercato si inverte.
Intel non se n'è mai andata
Ecco l'ironia: mentre tutti inseguivano le GPU NVIDIA, Intel continuava a migliorare le capacità delle CPU. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Ogni generazione aggiungeva istruzioni perfette per le operazioni binarie.
Non miravano specificamente all'IA. Miglioravano il calcolo generico. Ma le reti neurali binarie sono calcolo generico. Sfruttano direttamente tutti questi miglioramenti.
L'infrastruttura che tutti già possiedono diventa improvvisamente capace di IA. Nessun nuovo acquisto di hardware. Nessuna modifica architetturale. Solo algoritmi migliori che usano capacità esistenti.
La vittoria silenziosa di AMD: i processori AMD EPYC eccellono anche nell'IA binaria. L'architettura Zen 4 supporta AVX-512, un'ottima gerarchia di cache, una previsione dei salti efficiente. Le reti binarie funzionano splendidamente su EPYC. La quota di mercato di AMD nei server: 35% e in crescita. Ciò significa che il 35% dei data center mondiali è già ottimizzato per l'IA binaria. AMD è posizionata perfettamente senza puntare esplicitamente all'IA. L'eccellenza generica diventa un vantaggio per l'IA.
Il ruolo emergente di ARM: i processori Graviton (i chip ARM di Amazon) dimostrano le capacità delle reti binarie. Manipolazione efficiente dei bit, ottime caratteristiche di consumo, distribuzione massiccia su AWS. L'architettura ARM scala dagli smartphone ai server. L'IA binaria funziona in tutta questa gamma. I chip della serie M di Apple: basati su ARM, incredibilmente efficienti, perfetti per le operazioni binarie. Il vantaggio di efficienza di ARM si combina con l'efficienza delle reti binarie. Il continuum da mobile a cloud diventa possibile.
Il futuro aperto di RISC-V: il set di istruzioni open source RISC-V consente ottimizzazioni personalizzate. Le aziende europee di semiconduttori (Bosch, Infineon, NXP) investono in RISC-V per automotive e industria. Aggiungi ottimizzazioni per l'IA binaria a core RISC-V personalizzati. Nessuna licenza da pagare, controllo totale, ottimizzazione perfetta per casi d'uso specifici. L'hardware aperto più l'IA binaria consente l'indipendenza europea dei semiconduttori. Le implicazioni strategiche sono profonde.
La trasformazione del deployment
L'IA basata su GPU significa infrastruttura specializzata. Data center con raffreddamento ad alta potenza. Configurazioni server specifiche. Lock-in del fornitore. Complessità.
L'IA basata su CPU significa deploy ovunque. Quel rack server standard? Perfetto. Quei server database esistenti? Possono eseguire IA ora. Le edge location con calcolo di base? Pienamente capaci.
Le aziende europee con infrastruttura esistente non devono ricostruire. Ottimizzano ciò che hanno. Il vantaggio GPU dei cloud provider americani svanisce quando le CPU funzionano meglio.
Il vantaggio ambientale (l'arma segreta dell'Europa)
I costi energetici contano più in Europa che in America. Elettricità europea: €0,20-0,30 per kWh. Elettricità americana: €0,10-0,15 per kWh. Quando l'energia costa 2-3 volte di più, l'efficienza non è un'opzione: è sopravvivenza.
Inferenza IA basata su GPU per un deployment di medie dimensioni: 50kW di assorbimento continuo. Costo europeo: €87.600-131.400 all'anno. Costo americano: €43.800-65.700. Quel delta di €70K all'anno finanzia molta ricerca europea sull'IA. La motivazione all'efficienza è letteralmente incorporata nelle bollette elettriche.
Reti binarie su CPU: 2-4kW per un carico di lavoro equivalente. Costo europeo: €3.504-5.256 all'anno. Risparmio: €84K-126K all'anno. Le aziende americane considerano l'efficienza un nice-to-have. Le aziende europee la considerano una necessità competitiva. Contesti economici diversi generano innovazioni diverse.
Anche le normative ambientali colpiscono più duramente in Europa. La tassonomia UE per le attività sostenibili richiede la rendicontazione del consumo energetico. I grandi deployment di IA attivano audit di sostenibilità. I cluster GPU che assorbono megawatt sollevano questioni normative. L'inferenza su CPU che assorbe kilowatt passa inosservata. La conformità normativa diventa un fattore architetturale.
Le politiche tedesche sulle energie rinnovabili creano dinamiche interessanti. Solare ed eolico sono intermittenti. I data center devono operare entro la capacità rinnovabile disponibile. I cluster GPU richiedono potenza elevata e costante, difficile da abbinare alle rinnovabili intermittenti. L'AI basata su CPU può adattare i carichi di lavoro alla potenza disponibile. La flessibilità del carico consente l'integrazione delle rinnovabili. I vincoli ambientali guidano l'innovazione tecnica. Un approccio alla risoluzione dei problemi molto europeo.
Il cambiamento nel settore dei semiconduttori (la vittoria accidentale di Intel)
Mentre tutti si concentravano sul dominio GPU di NVIDIA, i miglioramenti delle CPU Intel le hanno posizionate perfettamente per l'AI binaria. Non intenzionale, ma decisivo.
AVX-512 non è stato progettato per l'AI. Era pensato per il calcolo ad alte prestazioni, la simulazione scientifica, la modellazione finanziaria. Ma quelle operazioni vettoriali a 512 bit? Perfette per le reti neurali binarie. L'istruzione POPCNT? Aggiunta per l'ottimizzazione dei database. Perfetta per le attivazioni binarie. Il branch predictor migliorato di Ice Lake? Pensato per le prestazioni generali. Perfetto per le soglie binarie.
Intel ha migliorato le CPU per i carichi di lavoro tradizionali. I ricercatori dell'AI binaria hanno notato che quei miglioramenti corrispondevano alle loro esigenze. Ora i processori Intel offrono un'inferenza AI migliore rispetto agli acceleratori AI specializzati. Una corrispondenza architetturale accidentale crea un'opportunità di mercato.
La capitalizzazione di mercato di NVIDIA si basa sull'AI. Anche la ripresa di Intel potrebbe basarsi su di essa. Anche i processori EPYC di AMD eccellono nelle operazioni binarie: equivalente di AVX-512, eccellente gerarchia di cache, forte branch prediction. L'AI binaria avvantaggia l'intero ecosistema x86. Le aziende americane di semiconduttori vincono essendo brave nel calcolo tradizionale. Le GPU si sono specializzate troppo presto per un caso d'uso AI ristretto. Le CPU sono rimaste flessibili e sono diventate ottimali per approcci AI più ampi.
L'inversione del mercato (cosa succede dopo)
Le dinamiche del mercato GPU stanno cambiando. L'addestramento richiede ancora GPU, nessuna discussione su questo. Ma il mercato dell'inferenza è da 10 a 100 volte più grande di quello dell'addestramento. La maggior parte dei carichi di lavoro AI è inferenza. Le reti binarie sulle CPU conquistano quel mercato.
I provider cloud devono prendere decisioni interessanti. AWS, Azure e Google Cloud hanno investito miliardi in infrastrutture GPU. I piani di ammortamento presuppongono un utilizzo di 3-5 anni. L'AI binaria rende obsoleta l'inferenza GPU già dal primo anno. O si svalutano miliardi di investimenti GPU, o si applicano prezzi premium per prestazioni inferiori. Nessuna delle due opzioni è allettante.
I provider cloud europei ne traggono vantaggio. OVH, Hetzner, Scaleway: gestiscono infrastrutture CPU standard. Nessun costo irrecuperabile GPU. L'AI binaria rende la loro infrastruttura esistente competitiva per i carichi di lavoro AI. Il vantaggio di prezzo si somma al vantaggio prestazionale. Gli investimenti GPU degli hyperscaler americani diventano passività. La focalizzazione sulle CPU dei provider europei diventa un vantaggio. Le dinamiche di mercato si stanno invertendo.
La distribuzione edge si sblocca. Tesla non può mettere una GPU in ogni veicolo: vincoli di potenza, costo, calore e spazio. Ma ogni auto ha già CPU potenti per la gestione del motore, la navigazione, l'intrattenimento. Le reti neurali binarie trasformano le CPU automobilistiche esistenti in acceleratori AI. Nessun hardware aggiuntivo. Solo un aggiornamento software. L'AI edge diventa fattibile perché le CPU sono già presenti.
Anche gli smartphone. I processori Qualcomm Snapdragon hanno eccellenti prestazioni di manipolazione dei bit. Le reti binarie girano sulle CPU dei telefoni più velocemente degli acceleratori AI dedicati. I chip della serie A di Apple, Samsung Exynos: tutti ottimizzati per il calcolo generale, tutti perfetti per l'AI binaria. AI mobile senza neural engine specializzati. Le prestazioni della CPU rendono superflui gli acceleratori dedicati.
Il vantaggio europeo si concretizza
Tutto quanto sopra favorisce le aziende europee di AI. L'infrastruttura esistente funziona meglio. I costi energetici guidano le innovazioni in termini di efficienza. La conformità normativa consente la verifica formale. Gli approcci ottimizzati per CPU emergono dai vincoli delle risorse. L'effetto Bruxelles globalizza gli standard europei.
Le aziende di IA americane sono state costruite per un mondo diverso. Capitale abbondante, energia a basso costo, regolamentazione permissiva, disponibilità di GPU. Questi vantaggi stanno svanendo. I requisiti di capitale diminuiscono (non serve più la GPU). L'efficienza energetica conta (i prezzi europei si stanno diffondendo a livello globale). Le regolamentazioni si inaspriscono (l'AI Act dell'UE sta diventando lo standard globale). La scarsità di GPU è irrilevante (le CPU funzionano meglio).
Le aziende di IA europee sono state costruite per un mondo con vincoli. Capitale limitato (efficienza algoritmica forzata). Energia costosa (le reti binarie consumano il 96% in meno di energia). Regolamentazione rigorosa (verifica formale integrata). Disponibilità di CPU (hardware standard ottimale). Vincoli che sembravano uno svantaggio ora sono punti di forza competitivi. Le condizioni di mercato a livello globale si stanno spostando verso l'approccio europeo.
Prossimo decennio: le aziende di IA europee esporteranno non solo in Europa ma a livello globale. Le aziende americane licenzieranno la tecnologia europea. I mercati asiatici adotteranno gli standard europei. L'IA binaria basata su CPU diventerà l'architettura dominante. NVIDIA resta rilevante per l'addestramento. Intel/AMD dominano l'inferenza. La redistribuzione della capitalizzazione di mercato riflette il cambiamento architetturale. L'IA europea non sta più rincorrendo; l'IA europea sta dettando il ritmo.
Cosa significa per l'IA
Il ritorno della CPU cambia fondamentalmente l'economia dell'IA. Niente più scelte tra prestazioni e costi. Niente più scarsità di GPU che limita la distribuzione. Niente più dipendenze dai fornitori.
Dweve Core gira su CPU. Oltre 1.000 algoritmi ottimizzati che sfruttano appieno l'architettura Intel moderna. Loom 456 con il suo ragionamento basato su specialisti di dominio che opera a velocità tali da rendere superfluo l'uso della GPU.
Questa è la democratizzazione dell'IA attraverso una matematica migliore. Non tutti possono permettersi cluster di GPU. Tutti hanno CPU.
La rivoluzione della CPU sta arrivando. Le reti neurali binarie di Dweve offriranno prestazioni superiori alla GPU su hardware standard. Iscriviti alla nostra lista d'attesa per essere tra i primi quando lanceremo.