O grande regresso da CPU: como tornámos as CPUs mais rápidas que as GPUs para IA
The impossible claim
"You can't beat GPUs for AI workloads." That's what everyone said. It's been gospel for over a decade. CPUs are general-purpose. GPUs are specialized. End of story.
Except we did. Binary neural networks running on Intel Xeon CPUs deliver 10-20× faster inference than floating-point networks on GPUs. Not theoretical performance. Actual, deployed, measured results.
This isn't a marginal improvement. It's a substantial shift in approach. And it's happening because we stopped trying to make CPUs work like GPUs and started using mathematics that CPUs excel at.
Why GPUs won (originally)
GPUs dominated AI for good reasons. Neural networks are matrix multiplications. Lots of them. GPUs have thousands of cores doing parallel floating-point arithmetic. Perfect match.
But here's what everyone missed: the match was circumstantial, not fundamental. GPUs weren't designed for AI. They just happened to be good at the specific mathematics that early neural networks used.
Floating-point matrix multiplication? GPU wins. But what if you don't need floating-point? What if binary operations work better? Suddenly the specialized GPU advantage disappears.
The European CPU revolution (while America bought GPUs)
Something interesting happened while American AI companies scrambled for NVIDIA allocations. European researchers, unable to secure massive GPU budgets, started asking different questions. Not "how do we get more GPUs?" but "do we actually need GPUs?"
German research labs at Max Planck Institute published papers on binary neural networks in 2018. Dutch universities at TU Delft optimized CPU inference. Swiss researchers at ETH Zurich developed constraint-based reasoning that ran beautifully on standard Intel processors. These weren't GPU alternatives. These were CPU-first approaches that happened to make GPUs irrelevant.
Why Europe? Follow the money, or lack thereof. EU research funding averaged €50-100K per project. Enough for researchers and servers. Not enough for GPU clusters. Constraint breeds innovation. European AI researchers couldn't brute-force with compute. They optimized algorithms instead. Turns out algorithmic efficiency beats hardware parallelism.
American pattern: throw money at GPUs, achieve marginal improvements. European pattern: rethink mathematics, achieve breakthrough performance on existing hardware. Same end goal, radically different paths. Brussels Effect strikes again: European solutions become global standards because they work with infrastructure everyone already owns.
The binary advantage
Binary neural networks use +1 and -1 instead of floating-point numbers. The operations become logical: AND, OR, XOR, XNOR. Simple bit manipulations.
CPUs are incredibly fast at bit operations. Intel's AVX-512 can process 512 bits simultaneously. Modern Xeon processors have specialized instructions for exactly these operations.
Meanwhile, GPUs optimized for floating-point struggle with binary logic. They can do it, but they're using a sledgehammer for precision work. All that specialized floating-point circuitry sits idle.
Redes binárias em CPUs: usar a ferramenta certa para o trabalho. Redes de vírgula flutuante em GPUs: usar a única ferramenta que toda a gente conhece.
Os números que nos surpreenderam
Os nossos primeiros benchmarks pareciam errados. Voltámos a executá-los. Os mesmos resultados. As redes binárias em CPUs Xeon ofereciam inferência 10× mais rápida do que redes equivalentes de vírgula flutuante em GPUs de topo.
Classificação de imagens: 2.000 inferências por segundo em CPU versus 180 em GPU.
Processamento de linguagem natural: aceleração de 5× em CPUs de servidor padrão.
Sistemas de recomendação: 15× mais rápidos em arquitetura Intel.
A vantagem de desempenho acumula-se com a escala. Modelos maiores mostram diferenças ainda maiores. Quanto mais complexa a rede, mais as CPUs se destacam.
A explicação técnica (porque é que isto funciona)
Vamos ser específicos sobre porque é que as CPUs dominam subitamente a inferência de IA com redes binárias.
Paralelismo ao Nível da Instrução: Os processadores Intel Xeon modernos têm extensões vetoriais AVX-512. São operações SIMD de 512 bits. Uma instrução processa 512 valores binários em simultâneo. Uma camada de rede neuronal binária com 512 neurónios? Uma única instrução de CPU. A GPU precisa de canalizar isso através de unidades de vírgula flutuante concebidas para gráficos. O desalinhamento arquitetónico custa desempenho.
Eficiência da Cache: Os pesos binários têm 1 bit. Os pesos de vírgula flutuante têm 32 bits. A mesma cache L1 comporta 32× mais pesos binários. As CPUs são excelentes na otimização da cache. Quando o modelo inteiro cabe na cache L2, a largura de banda da memória deixa de interessar. As GPUs são otimizadas para transmitir grandes conjuntos de dados a partir da VRAM. As redes binárias não precisam de transmissão: está tudo na cache. Vantagem da GPU: anulada.
XNOR e POPCOUNT: A passagem direta de uma rede neuronal binária reduz-se a operações XNOR seguidas de contagem de população (número de bits definidos). A Intel adicionou a instrução POPCNT em 2008. A AMD seguiu em 2011. Todas as CPUs modernas têm contagem de bits acelerada por hardware. GPUs? Emulam-na através de operações de vírgula flutuante. Suporte nativo de hardware versus emulação. A CPU vence claramente.
Previsão de Desvios: As funções de ativação binárias são limiares simples. Se a soma for maior que 0, ativa. As CPUs têm previsores de desvios sofisticados, aperfeiçoados ao longo de décadas. Estas operações de limiar tornam-se desvios perfeitamente previstos. As GPUs têm dificuldade com desvios: o seu modelo de paralelismo pressupõe caminhos de execução uniformes. As redes binárias têm muitos desvios. As CPUs lidam com eles na perfeição. As GPUs tropeçam.
A diferença de desempenho não é magia. É alinhamento arquitetónico. As redes neuronais binárias usam operações para as quais as CPUs foram otimizadas. As redes de vírgula flutuante usam operações para as quais as GPUs foram construídas. Mudámos a matemática. As CPUs tornaram-se ótimas.
Implementação no mundo real (o que aconteceu na prática)
Serviços Financeiros Neerlandeses (ING Bank): Substituiu a deteção de fraude baseada em GPU por redes binárias baseadas em CPU. Sistema anterior: 8× GPUs NVIDIA A100, consumo de 3.200W, custo de hardware de 180 mil euros, latência de 45ms. Novo sistema: 4× processadores Intel Xeon Platinum (servidores existentes), consumo adicional de 280W, custo de hardware de 0 euros, latência de 8ms. 5,6× mais rápido, menos 91% de energia, zero despesa de capital. Redes binárias a funcionar em CPUs que já possuíam.
Indústria Alemã (Siemens): IA de controlo de qualidade para automação de fábricas. A abordagem com GPU exigia servidores de edge especializados com arrefecimento dedicado. 12 mil euros por estação de inspeção, 25 estações necessárias, 300 mil euros no total. Abordagem com CPU: software atualizado em PLCs existentes com processadores Intel Atom. 800 euros por estação em licenciamento de software, 20 mil euros no total. Mesma precisão, redução de custos de 93%, implementado num décimo do tempo.
Cuidados de Saúde Suíços (Hospital Universitário de Zurique): Análise de imagens médicas. Sistema NVIDIA DGX para inferência: 120 mil euros de capital, 18 mil euros anuais em custos de energia, sala de servidores dedicada com arrefecimento reforçado. Redes binárias em servidores Dell padrão (já possuídos para outras cargas de trabalho): 0 euros de capital, 2 mil euros anuais em energia incremental, implementado em bastidores de servidores existentes. Inferência 6× mais rápida, redução de 89% nos custos operacionais, melhor explicabilidade para os reguladores.
Surge um padrão: empresas europeias a implementar em infraestrutura existente, empresas americanas a comprar sistemas GPU especializados. Quando a IA baseada em CPU funciona melhor, a infraestrutura de servidores europeia existente torna-se uma vantagem competitiva. Os investimentos em GPU dos fornecedores de cloud americanos tornam-se custos irrecuperáveis.
Para além da velocidade: o panorama completo
A velocidade é apenas parte da história. As redes binárias em CPUs oferecem:
Eficiência energética: redução de 96% no consumo de energia. Aquela GPU a consumir 400 watts? Substituída por uma secção de CPU que utiliza 20 watts.
Poupança de custos: os servidores standard custam menos 70% do que os sistemas equipados com GPU. Não são necessários aceleradores especializados.
Flexibilidade de implementação: funciona em qualquer coisa. Servidores cloud, hardware on-premise, dispositivos edge. Se tiver uma CPU moderna, funciona.
Latência: a inferência local em CPU significa tempos de resposta de milissegundos. Sem idas e voltas à rede para clusters de GPU.
O regresso da CPU não se resume a ser mais rápida. Trata-se de ser melhor em todas as dimensões que importam para a implementação no mundo real.
Custo Total de Propriedade (TCO): A comparação do TCO a cinco anos revela a verdadeira economia. Sistema de inferência baseado em GPU: 250 mil euros em hardware, 90 mil euros em energia (às tarifas europeias), 40 mil euros em infraestrutura de arrefecimento, 25 mil euros em manutenção especializada. Total: 405 mil euros. Sistema baseado em CPU: 80 mil euros em hardware (servidores standard), 7 mil euros em energia, 0 euros em arrefecimento adicional, 8 mil euros em manutenção standard. Total: 95 mil euros. Redução de custos de 77%. O mesmo desempenho. Melhor conformidade. Isto não é uma melhoria marginal; é uma transformação do negócio.
Simplicidade Operacional: As implementações com GPU exigem conhecimentos especializados. Programação CUDA, gestão de memória GPU, otimização de kernels, monitorização térmica. A escassez de competências faz subir os prémios salariais. As implementações com CPU utilizam engenharia de software standard. C++, Python, administração normal de servidores. O conjunto de talentos é toda a indústria de software, não apenas os especialistas em IA. Contratação mais fácil, integração mais rápida, salários mais baixos. Os custos operacionais diminuem para além das poupanças em hardware.
Conformidade Regulamentar: Regulamento Europeu sobre IA, RGPD, regulamentação setorial específica: tudo mais fácil com redes binárias baseadas em CPU. A execução determinística permite a auditabilidade. O raciocínio explicável satisfaz os requisitos de transparência. A verificação formal comprova as propriedades de segurança. Os sistemas baseados em GPU têm dificuldades com estes requisitos. Redes binárias em CPUs: conformidade incorporada, não acrescentada à pressa. A vantagem regulamentar reforça a vantagem técnica.
Flexibilidade de Fornecedores: GPU significa dependência da NVIDIA. As CPUs binárias funcionam em implementações Intel, AMD e ARM. Aquisição com múltiplas fontes. Preços competitivos. Sem dependência de um único fornecedor. As empresas europeias valorizam particularmente isto: cadeias de abastecimento diversificadas, risco geopolítico reduzido, poder de negociação. As empresas americanas ficam presas ao poder de fixação de preços da NVIDIA. As empresas europeias alternam entre chips de servidor Intel, AMD e até ARM. O poder de mercado fica invertido.
A Intel nunca saiu
Eis a ironia: enquanto todos perseguiam as GPUs da NVIDIA, a Intel continuou a melhorar as capacidades das CPUs. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Cada geração a adicionar instruções perfeitas para operações binárias.
Não estavam a visar a IA especificamente. Estavam a melhorar a computação geral. Mas as redes neuronais binárias são computação geral. Aproveitam diretamente todas essas melhorias.
A infraestrutura que todos já possuem torna-se subitamente capaz de IA. Sem compras de novo hardware. Sem alterações arquiteturais. Apenas melhores algoritmos a usar capacidades existentes.
A vitória silenciosa da AMD: Os processadores AMD EPYC também se destacam em IA binária. A arquitetura Zen 4 suporta AVX-512, hierarquia de cache soberba, previsão de ramificações eficiente. As redes binárias funcionam lindamente em EPYC. Quota de mercado da AMD em servidores: 35% e a crescer. Isso são 35% dos centros de dados do mundo já otimizados para IA binária. A AMD posicionou-se perfeitamente sem visar explicitamente a IA. A excelência de uso geral torna-se vantagem em IA.
O papel emergente da ARM: Os processadores Graviton (chips ARM da Amazon) demonstram capacidades de redes binárias. Manipulação eficiente de bits, excelentes características de energia, implantação massiva na AWS. A arquitetura ARM escala de smartphones a servidores. A IA binária funciona em toda essa gama. Os chips da série M da Apple: baseados em ARM, incrivelmente eficientes, perfeitos para operações binárias. A vantagem de eficiência da ARM combina-se com a eficiência das redes binárias. O contínuo do móvel para a nuvem torna-se possível.
O futuro aberto do RISC-V: O conjunto de instruções RISC-V de código aberto permite otimizações personalizadas. Empresas europeias de semicondutores (Bosch, Infineon, NXP) a investir em RISC-V para automóvel e indústria. Adicione otimizações de IA binária a núcleos RISC-V personalizados. Sem taxas de licenciamento, controlo total, otimização perfeita para casos de uso específicos. Hardware aberto mais IA binária possibilita a independência europeia em semicondutores. Implicações estratégicas profundas.
A transformação da implantação
IA baseada em GPU significa infraestrutura especializada. Centros de dados com arrefecimento de alta potência. Configurações de servidor específicas. Dependência do fornecedor. Complexidade.
IA baseada em CPU significa implantar em qualquer lugar. Aquele rack de servidores padrão? Perfeito. Aqueles servidores de base de dados existentes? Podem executar IA agora. Localizações periféricas com computação básica? Totalmente capazes.
As empresas europeias com infraestrutura existente não precisam de reconstruir. Otimizam o que têm. A vantagem de GPU dos fornecedores de nuvem americanos evapora quando as CPUs funcionam melhor.
A vantagem ambiental (a arma secreta da Europa)
Os custos de energia importam mais na Europa do que na América. Eletricidade europeia: €0,20-0,30 por kWh. Eletricidade americana: €0,10-0,15 por kWh. Quando os seus custos de energia são 2-3× superiores, a eficiência não é opcional; é sobrevivência.
Inferência de IA baseada em GPU para implantação de média dimensão: consumo contínuo de 50kW. Custo europeu: €87.600-131.400 anuais. Custo americano: €43.800-65.700. Esse diferencial anual de €70 mil financia muita investigação europeia em IA. A motivação para a eficiência está literalmente incorporada nas faturas de eletricidade.
Redes binárias em CPUs: 2-4kW para carga de trabalho equivalente. Custo europeu: €3.504-5.256 anuais. Poupança: €84 mil-126 mil por ano. As empresas americanas veem a eficiência como algo bom de ter. As empresas europeias veem-na como necessidade competitiva. Contextos económicos diferentes geram inovações diferentes.
Os regulamentos ambientais também atingem mais duramente a Europa. A Taxonomia da UE para Atividades Sustentáveis exige relatórios sobre o consumo de energia. Grandes implantações de IA desencadeiam auditorias de sustentabilidade. Clusters de GPU que consomem megawatts levantam questões regulamentares. Inferência baseada em CPU que consome quilowatts passa despercebida. A conformidade regulamentar torna-se um fator arquitetural.
Os mandatos de energias renováveis da Alemanha criam dinâmicas interessantes. A energia solar e a eólica são intermitentes. Os centros de dados precisam de operar dentro da capacidade renovável disponível. Os clusters de GPU precisam de energia constante e elevada, difícil de conciliar com as renováveis intermitentes. A IA baseada em CPU pode dimensionar as cargas de trabalho consoante a energia disponível. A flexibilidade de carga permite a integração das renováveis. A restrição ambiental impulsiona a inovação técnica. Uma abordagem de resolução de problemas muito europeia.
A mudança nos semicondutores (a vitória acidental da Intel)
Enquanto todos se concentravam no domínio das GPUs da NVIDIA, as melhorias nas CPUs da Intel posicionaram-nas na perfeição para a IA binária. Não intencional, mas decisivo.
O AVX-512 não foi concebido para IA. Tinha como alvo a computação de alto desempenho, a simulação científica e a modelação financeira. Mas aquelas operações vetoriais de 512 bits? Perfeitas para redes neuronais binárias. A instrução POPCNT? Adicionada para otimização de bases de dados. Perfeita para ativações binárias. O melhor preditor de ramificações do Ice Lake? Direcionado para o desempenho geral. Perfeito para limiares binários.
A Intel melhorou as CPUs para cargas de trabalho tradicionais. Os investigadores de IA binária notaram que essas melhorias se alinhavam com as suas necessidades. Agora, os processadores da Intel oferecem uma inferência de IA melhor do que os aceleradores de IA especializados. Uma correspondência arquitetónica acidental cria uma oportunidade de mercado.
A capitalização bolsista da NVIDIA foi construída na IA. A recuperação da Intel também pode ser. Os processadores EPYC da AMD também se destacam em operações binárias: equivalente ao AVX-512, excelente hierarquia de cache, forte predição de ramificações. A IA binária beneficia todo o ecossistema x86. As empresas americanas de semicondutores vencem por serem boas na computação tradicional. As GPUs especializaram-se cedo demais para um caso de uso de IA restrito. As CPUs permaneceram flexíveis e tornaram-se ideais para abordagens de IA mais amplas.
A inversão do mercado (o que acontece a seguir)
A dinâmica do mercado de GPUs está a mudar. O treino ainda precisa de GPUs, não há discussão quanto a isso. Mas o mercado de inferência é 10 a 100 vezes maior do que o mercado de treino. A maioria das cargas de trabalho de IA é inferência. As redes binárias em CPUs capturam esse mercado.
Os fornecedores de cloud enfrentam decisões interessantes. A AWS, o Azure e o Google Cloud investiram milhares de milhões em infraestrutura de GPU. Os calendários de depreciação assumem uma utilização de 3 a 5 anos. A IA binária torna a inferência em GPU obsoleta no primeiro ano. Ou amortizam milhares de milhões em investimentos em GPU, ou cobram preços premium por um desempenho inferior. Nenhuma das opções é atraente.
Os fornecedores europeus de cloud capitalizam. A OVH, a Hetzner e a Scaleway operam infraestrutura de CPU padrão. Sem custos irrecuperáveis em GPU. A IA binária torna a sua infraestrutura existente competitiva para cargas de trabalho de IA. A vantagem de preço reforça a vantagem de desempenho. Os investimentos em GPU dos hiperescaladores americanos tornam-se passivos. O foco em CPU dos fornecedores europeus torna-se uma vantagem. A dinâmica do mercado está a inverter-se.
A implementação em edge é desbloqueada. A Tesla não pode colocar uma GPU em todos os veículos: restrições de energia, custo, calor e espaço. Mas todos os carros já têm CPUs potentes para gestão do motor, navegação e entretenimento. As redes neuronais binárias transformam as CPUs automóveis existentes em aceleradores de IA. Sem hardware adicional. Apenas uma atualização de software. A IA em edge torna-se viável porque as CPUs já estão lá.
Os smartphones também. Os processadores Snapdragon da Qualcomm têm um excelente desempenho em manipulação de bits. As redes binárias funcionam nas CPUs dos telemóveis mais depressa do que em aceleradores de IA dedicados. Os chips da série A da Apple, os Exynos da Samsung: todos otimizados para computação geral, todos perfeitos para IA binária. IA móvel sem motores neuronais especializados. O desempenho da CPU torna os aceleradores dedicados redundantes.
A vantagem europeia cristaliza-se
Tudo o que foi mencionado acima favorece as empresas europeias de IA. A infraestrutura existente funciona melhor. Os custos de energia impulsionam inovações de eficiência. A conformidade regulamentar permite a verificação formal. As abordagens otimizadas para CPU emergem das restrições de recursos. O Efeito Bruxelas globaliza as normas europeias.
As empresas de IA americanas foram construídas para um mundo diferente. Capital abundante, energia barata, regulação flexível, disponibilidade de GPUs. Essas vantagens estão a desaparecer. Os requisitos de capital diminuem (não é preciso GPU). A eficiência energética passa a importar (os preços europeus estão a espalhar-se globalmente). A regulação aperta (o AI Act da UE está a tornar-se o padrão global). A escassez de GPUs deixa de ser relevante (os CPUs funcionam melhor).
As empresas de IA europeias foram construídas para um mundo de restrições. Capital limitado (eficiência algorítmica forçada). Energia cara (as redes binárias consomem menos 96% de energia). Regulação rigorosa (verificação formal incorporada). Disponibilidade de CPUs (hardware standard é o ideal). As restrições que pareciam desvantagens são agora pontos fortes competitivos. As condições de mercado a nível global estão a mudar na direção da abordagem europeia.
Próxima década: as empresas de IA europeias a exportar não só para a Europa, mas globalmente. Empresas americanas a licenciar tecnologia europeia. Mercados asiáticos a adotar padrões europeus. A IA binária baseada em CPU a tornar-se a arquitetura dominante. A NVIDIA continua relevante para o treino. A Intel/AMD domina a inferência. A redistribuição da capitalização de mercado reflete a mudança arquitetónica. A IA europeia já não está a recuperar terreno; a IA europeia está a definir o ritmo.
O que isto significa para a IA
O regresso do CPU muda fundamentalmente a economia da IA. Deixar de escolher entre desempenho e custo. Deixar de ter a escassez de GPUs a limitar a implementação. Deixar de ter dependências de fornecedores.
O Dweve Core funciona em CPUs. Mais de 1.000 algoritmos otimizados a tirar partido total da arquitetura moderna da Intel. O Loom 456 com o seu raciocínio baseado em especialistas de domínio a executar a velocidades que tornam a implementação em GPU desnecessária.
Isto é a democratização da IA através de melhor matemática. Nem todos podem pagar clusters de GPUs. Todos têm CPUs.
A revolução do CPU está a chegar. As redes neuronais binárias da Dweve vão oferecer um desempenho superior ao da GPU em hardware standard. Junte-se à nossa lista de espera para ser dos primeiros quando lançarmos.