O grande regresso da CPU: como tornámos as CPUs mais rápidas que as GPUs para IA
A alegação impossível
"Não se bate GPUs em cargas de trabalho de IA." Foi o que todos disseram. Tem sido um evangelho há mais de uma década. Os CPUs são de uso geral. Os GPUs são especializados. Fim da história.
Exceto que fizemos.
Isto não é uma melhoria marginal. É uma mudança substancial de abordagem. E está a acontecer porque deixámos de tentar fazer com que os CPUs funcionassem como GPUs e começámos a usar matemática em que os CPUs são excelentes.
Porque é que as GPUs venceram (originalmente)
As GPUs dominaram a IA por boas razões. Redes neuronais são multiplicações de matrizes. Muitas delas. As GPUs têm milhares de núcleos a fazer aritmética de vírgula flutuante em paralelo. Uma combinação perfeita.
Mas eis o que todos ignoraram: a correspondência era circunstancial, não fundamental. As GPUs não foram concebidas para IA. Aconteceu apenas serem boas na matemática específica que as primeiras redes neuronais utilizavam.
Multiplicação de matrizes em vírgula flutuante? A GPU ganha. Mas e se não precisar de vírgula flutuante? E se as operações binárias funcionarem melhor? De repente, a vantagem especializada da GPU desaparece.
A revolução europeia dos CPUs (enquanto a América comprava GPUs)
Algo interessante aconteceu enquanto as empresas americanas de IA disputavam alocações da NVIDIA. Os investigadores europeus, incapazes de garantir orçamentos massivos de GPU, começaram a fazer perguntas diferentes. Não "como conseguimos mais GPUs?" mas "será que precisamos mesmo de GPUs?"
Os laboratórios de investigação alemães do Instituto Max Planck publicaram artigos sobre redes neuronais binárias em 2018. As universidades neerlandesas da TU Delft otimizaram a inferência em CPU. Os investigadores suíços da ETH Zurique desenvolveram um raciocínio baseado em restrições que funcionava na perfeição em processadores Intel padrão. Estas não eram alternativas à GPU. Eram abordagens centradas na CPU que, por acaso, tornaram as GPUs irrelevantes.
Porquê a Europa? Siga o dinheiro, ou a falta dele. O financiamento de investigação da UE rondava os 50 a 100 mil euros por projeto. Suficiente para investigadores e servidores. Não suficiente para clusters de GPU. A escassez gera inovação. Os investigadores europeus de IA não podiam forçar a solução com poder computacional. Em vez disso, otimizaram algoritmos. Acontece que a eficiência algorítmica supera o paralelismo de hardware.
Padrão americano: atirar dinheiro para GPUs, obter melhorias marginais. Padrão europeu: repensar a matemática, obter desempenho revolucionário no hardware existente. Mesmo objetivo final, caminhos radicalmente diferentes. O Efeito Bruxelas ataca novamente: as soluções europeias tornam-se padrões globais porque funcionam com a infraestrutura que todos já possuem.
A vantagem binária
As redes neuronais binárias utilizam +1 e -1 em vez de números de vírgula flutuante. As operações tornam-se lógicas: AND, OR, XOR, XNOR. Manipulações simples de bits.
Os CPUs são incrivelmente rápidos em operações de bits. O AVX-512 da Intel consegue processar 512 bits em simultâneo. Os processadores Xeon modernos têm instruções especializadas precisamente para estas operações.
Entretanto, as GPUs otimizadas para vírgula flutuante têm dificuldade com a lógica binária. Conseguem fazê-lo, mas estão a usar uma marreta para um trabalho de precisão. Todo aquele circuito especializado de vírgula flutuante fica inativo.
Redes binárias em CPUs: usar a ferramenta certa para o trabalho. Redes de vírgula flutuante em GPUs: usar a única ferramenta que toda a gente conhece.
Os números que nos surpreenderam
Os nossos primeiros benchmarks pareciam errados. Voltámos a executá-los. Os mesmos resultados.
Classificação de imagens: 2.000 inferências por segundo em CPU versus 180 em GPU.
A vantagem de desempenho acumula-se com a escala. Modelos maiores mostram diferenças ainda maiores. Quanto mais complexa a rede, mais as CPUs se destacam.
A explicação técnica (porque é que isto funciona)
Vamos ser específicos sobre porque é que as CPUs dominam subitamente a inferência de IA com redes binárias.
Paralelismo ao Nível da Instrução: Os processadores Intel Xeon modernos têm extensões vetoriais AVX-512. São operações SIMD de 512 bits. Uma instrução processa 512 valores binários em simultâneo. Uma camada de rede neuronal binária com 512 neurónios? Uma única instrução de CPU. A GPU precisa de canalizar isso através de unidades de vírgula flutuante concebidas para gráficos. O desalinhamento arquitetónico custa desempenho.
Eficiência da Cache: Os pesos binários têm 1 bit. Os pesos de vírgula flutuante têm 32 bits. A mesma cache L1 comporta 32× mais pesos binários. As CPUs são excelentes na otimização da cache. Quando o modelo inteiro cabe na cache L2, a largura de banda da memória deixa de interessar. As GPUs são otimizadas para transmitir grandes conjuntos de dados a partir da VRAM. As redes binárias não precisam de transmissão: está tudo na cache. Vantagem da GPU: anulada.
XNOR e POPCOUNT: A passagem direta de uma rede neuronal binária reduz-se a operações XNOR seguidas de contagem de população (número de bits definidos). A Intel adicionou a instrução POPCNT em 2008. A AMD seguiu em 2011. Todas as CPUs modernas têm contagem de bits acelerada por hardware. GPUs? Emulam-na através de operações de vírgula flutuante. Suporte nativo de hardware versus emulação. A CPU vence claramente.
Previsão de Desvios: As funções de ativação binárias são limiares simples. Se a soma for maior que 0, ativa. As CPUs têm previsores de desvios sofisticados, aperfeiçoados ao longo de décadas. Estas operações de limiar tornam-se desvios perfeitamente previstos. As GPUs têm dificuldade com desvios: o seu modelo de paralelismo pressupõe caminhos de execução uniformes. As redes binárias têm muitos desvios. As CPUs lidam com eles na perfeição. As GPUs tropeçam.
A diferença de desempenho não é magia. É alinhamento arquitetónico. As redes neuronais binárias usam operações para as quais as CPUs foram otimizadas. As redes de vírgula flutuante usam operações para as quais as GPUs foram construídas. Mudámos a matemática. As CPUs tornaram-se ótimas.
Para além da velocidade: o panorama completo
A velocidade é apenas parte da história. As redes binárias em CPUs oferecem:
Poupança de custos: os servidores standard custam menos 70% do que os sistemas equipados com GPU. Não são necessários aceleradores especializados.
Flexibilidade de implementação: funciona em qualquer coisa. Servidores cloud, hardware on-premise, dispositivos edge. Se tiver uma CPU moderna, funciona.
Latência: a inferência local em CPU significa tempos de resposta de milissegundos. Sem idas e voltas à rede para clusters de GPU.
O regresso da CPU não se resume a ser mais rápida. Trata-se de ser melhor em todas as dimensões que importam para a implementação no mundo real.
Custo Total de Propriedade (TCO): A comparação do TCO a cinco anos revela a verdadeira economia. Sistema de inferência baseado em GPU: 250 mil euros em hardware, 90 mil euros em energia (às tarifas europeias), 40 mil euros em infraestrutura de arrefecimento, 25 mil euros em manutenção especializada. Total: 405 mil euros. Sistema baseado em CPU: 80 mil euros em hardware (servidores standard), 7 mil euros em energia, 0 euros em arrefecimento adicional, 8 mil euros em manutenção standard. Total: 95 mil euros. Redução de custos de 77%. O mesmo desempenho. Melhor conformidade. Isto não é uma melhoria marginal; é uma transformação do negócio.
Simplicidade Operacional: As implementações com GPU exigem conhecimentos especializados. Programação CUDA, gestão de memória GPU, otimização de kernels, monitorização térmica. A escassez de competências faz subir os prémios salariais. As implementações com CPU utilizam engenharia de software standard. C++, Python, administração normal de servidores. O conjunto de talentos é toda a indústria de software, não apenas os especialistas em IA. Contratação mais fácil, integração mais rápida, salários mais baixos. Os custos operacionais diminuem para além das poupanças em hardware.
Conformidade Regulamentar: Regulamento da Inteligência Artificial, RGPD, regulamentação setorial específica: tudo mais fácil com redes binárias baseadas em CPU. A execução determinística permite a auditabilidade. O raciocínio explicável satisfaz os requisitos de transparência. A verificação formal comprova as propriedades de segurança. Os sistemas baseados em GPU têm dificuldades com estes requisitos. Redes binárias em CPUs: conformidade incorporada, não acrescentada à pressa. A vantagem regulamentar reforça a vantagem técnica.
Flexibilidade de Fornecedores: GPU significa dependência da NVIDIA. As CPUs binárias funcionam em implementações Intel, AMD e ARM. Aquisição com múltiplas fontes. Preços competitivos. Sem dependência de um único fornecedor. As empresas europeias valorizam particularmente isto: cadeias de abastecimento diversificadas, risco geopolítico reduzido, poder de negociação. As empresas americanas ficam presas ao poder de fixação de preços da NVIDIA. As empresas europeias alternam entre chips de servidor Intel, AMD e até ARM. O poder de mercado fica invertido.
A Intel nunca saiu
Eis a ironia: enquanto todos perseguiam as GPUs da NVIDIA, a Intel continuou a melhorar as capacidades das CPUs. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Cada geração a adicionar instruções perfeitas para operações binárias.
Não estavam a visar a IA especificamente. Estavam a melhorar a computação geral. Mas as redes neuronais binárias são computação geral. Aproveitam diretamente todas essas melhorias.
A infraestrutura que todos já possuem torna-se subitamente capaz de IA. Sem compras de novo hardware. Sem alterações arquiteturais. Apenas melhores algoritmos a usar capacidades existentes.
A vitória silenciosa da AMD: Os processadores AMD EPYC também se destacam em IA binária. A arquitetura Zen 4 suporta AVX-512, hierarquia de cache soberba, previsão de ramificações eficiente. As redes binárias funcionam lindamente em EPYC. Quota de mercado da AMD em servidores: 35% e a crescer. Isso são 35% dos centros de dados do mundo já otimizados para IA binária. A AMD posicionou-se perfeitamente sem visar explicitamente a IA. A excelência de uso geral torna-se vantagem em IA.
O papel emergente da ARM: Os processadores Graviton (chips ARM da Amazon) demonstram capacidades de redes binárias. Manipulação eficiente de bits, excelentes características de energia, implantação massiva na AWS. A arquitetura ARM escala de smartphones a servidores. A IA binária funciona em toda essa gama. Os chips da série M da Apple: baseados em ARM, incrivelmente eficientes, perfeitos para operações binárias. A vantagem de eficiência da ARM combina-se com a eficiência das redes binárias. O contínuo do móvel para a nuvem torna-se possível.
O futuro aberto do RISC-V: O conjunto de instruções RISC-V de código aberto permite otimizações personalizadas. Empresas europeias de semicondutores (Bosch, Infineon, NXP) a investir em RISC-V para automóvel e indústria. Adicione otimizações de IA binária a núcleos RISC-V personalizados. Sem taxas de licenciamento, controlo total, otimização perfeita para casos de uso específicos. Hardware aberto mais IA binária possibilita a independência europeia em semicondutores. Implicações estratégicas profundas.
A transformação da implantação
IA baseada em GPU significa infraestrutura especializada. Centros de dados com arrefecimento de alta potência. Configurações de servidor específicas. Dependência do fornecedor. Complexidade.
IA baseada em CPU significa implantar em qualquer lugar. Aquele rack de servidores padrão? Perfeito. Aqueles servidores de base de dados existentes? Podem executar IA agora. Localizações periféricas com computação básica? Totalmente capazes.
As empresas europeias com infraestrutura existente não precisam de reconstruir. Otimizam o que têm. A vantagem de GPU dos fornecedores de nuvem americanos evapora quando as CPUs funcionam melhor.
A vantagem ambiental (a arma secreta da Europa)
Os custos de energia importam mais na Europa do que na América. Eletricidade europeia: €0,20-0,30 por kWh. Eletricidade americana: €0,10-0,15 por kWh. Quando os seus custos de energia são 2-3× superiores, a eficiência não é opcional; é sobrevivência.
Inferência de IA baseada em GPU para implantação de média dimensão: consumo contínuo de 50kW. Custo europeu: €87.600-131.400 anuais. Custo americano: €43.800-65.700. Esse diferencial anual de €70 mil financia muita investigação europeia em IA. A motivação para a eficiência está literalmente incorporada nas faturas de eletricidade.
Redes binárias em CPUs: 2-4kW para carga de trabalho equivalente. Custo europeu: €3.504-5.256 anuais. Poupança: €84 mil-126 mil por ano. As empresas americanas veem a eficiência como algo bom de ter. As empresas europeias veem-na como necessidade competitiva. Contextos económicos diferentes geram inovações diferentes.
Os regulamentos ambientais também atingem mais duramente a Europa. A Taxonomia da UE para Atividades Sustentáveis exige relatórios sobre o consumo de energia. Grandes implantações de IA desencadeiam auditorias de sustentabilidade. Clusters de GPU que consomem megawatts levantam questões regulamentares. Inferência baseada em CPU que consome quilowatts passa despercebida. A conformidade regulamentar torna-se um fator arquitetural.
Os mandatos de energias renováveis da Alemanha criam dinâmicas interessantes. A energia solar e a eólica são intermitentes. Os centros de dados precisam de operar dentro da capacidade renovável disponível. Os clusters de GPU precisam de energia constante e elevada, difícil de conciliar com as renováveis intermitentes. A IA baseada em CPU pode dimensionar as cargas de trabalho consoante a energia disponível. A flexibilidade de carga permite a integração das renováveis. A restrição ambiental impulsiona a inovação técnica. Uma abordagem de resolução de problemas muito europeia.
A mudança nos semicondutores (a vitória acidental da Intel)
Enquanto todos se concentravam no domínio das GPUs da NVIDIA, as melhorias nas CPUs da Intel posicionaram-nas na perfeição para a IA binária. Não intencional, mas decisivo.
O AVX-512 não foi concebido para IA. Tinha como alvo a computação de alto desempenho, a simulação científica e a modelação financeira. Mas aquelas operações vetoriais de 512 bits? Perfeitas para redes neuronais binárias. A instrução POPCNT? Adicionada para otimização de bases de dados. Perfeita para ativações binárias. O melhor preditor de ramificações do Ice Lake? Direcionado para o desempenho geral. Perfeito para limiares binários.
A Intel melhorou as CPUs para cargas de trabalho tradicionais. Os investigadores de IA binária notaram que essas melhorias se alinhavam com as suas necessidades. Agora, os processadores da Intel oferecem uma inferência de IA melhor do que os aceleradores de IA especializados. Uma correspondência arquitetónica acidental cria uma oportunidade de mercado.
A capitalização bolsista da NVIDIA foi construída na IA. A recuperação da Intel também pode ser. Os processadores EPYC da AMD também se destacam em operações binárias: equivalente ao AVX-512, excelente hierarquia de cache, forte predição de ramificações. A IA binária beneficia todo o ecossistema x86. As empresas americanas de semicondutores vencem por serem boas na computação tradicional. As GPUs especializaram-se cedo demais para um caso de uso de IA restrito. As CPUs permaneceram flexíveis e tornaram-se ideais para abordagens de IA mais amplas.
A inversão do mercado (o que acontece a seguir)
A dinâmica do mercado de GPUs está a mudar. O treino ainda precisa de GPUs, não há discussão quanto a isso. Mas o mercado de inferência é 10 a 100 vezes maior do que o mercado de treino. A maioria das cargas de trabalho de IA é inferência. As redes binárias em CPUs capturam esse mercado.
Os fornecedores de cloud enfrentam decisões interessantes. A AWS, o Azure e o Google Cloud investiram milhares de milhões em infraestrutura de GPU. Os calendários de depreciação assumem uma utilização de 3 a 5 anos. A IA binária torna a inferência em GPU obsoleta no primeiro ano. Ou amortizam milhares de milhões em investimentos em GPU, ou cobram preços premium por um desempenho inferior. Nenhuma das opções é atraente.
Os fornecedores europeus de cloud capitalizam. A OVH, a Hetzner e a Scaleway operam infraestrutura de CPU padrão. Sem custos irrecuperáveis em GPU. A IA binária torna a sua infraestrutura existente competitiva para cargas de trabalho de IA. A vantagem de preço reforça a vantagem de desempenho. Os investimentos em GPU dos hiperescaladores americanos tornam-se passivos. O foco em CPU dos fornecedores europeus torna-se uma vantagem. A dinâmica do mercado está a inverter-se.
A implementação em edge é desbloqueada. A Tesla não pode colocar uma GPU em todos os veículos: restrições de energia, custo, calor e espaço. Mas todos os carros já têm CPUs potentes para gestão do motor, navegação e entretenimento. As redes neuronais binárias transformam as CPUs automóveis existentes em aceleradores de IA. Sem hardware adicional. Apenas uma atualização de software. A IA em edge torna-se viável porque as CPUs já estão lá.
Os smartphones também. Os processadores Snapdragon da Qualcomm têm um excelente desempenho em manipulação de bits. As redes binárias funcionam nas CPUs dos telemóveis mais depressa do que em aceleradores de IA dedicados. Os chips da série A da Apple, os Exynos da Samsung: todos otimizados para computação geral, todos perfeitos para IA binária. IA móvel sem motores neuronais especializados. O desempenho da CPU torna os aceleradores dedicados redundantes.
A vantagem europeia cristaliza-se
Tudo o que foi mencionado acima favorece as empresas europeias de IA. A infraestrutura existente funciona melhor. Os custos de energia impulsionam inovações de eficiência. A conformidade regulamentar permite a verificação formal. As abordagens otimizadas para CPU emergem das restrições de recursos. O Efeito Bruxelas globaliza as normas europeias.
As empresas de IA americanas foram construídas para um mundo diferente. Capital abundante, energia barata, regulação flexível, disponibilidade de GPUs. Essas vantagens estão a desaparecer. Os requisitos de capital diminuem (não é preciso GPU). A eficiência energética passa a importar (os preços europeus estão a espalhar-se globalmente). A regulação aperta (o Regulamento da Inteligência Artificial está a tornar-se o padrão global). A escassez de GPUs deixa de ser relevante (os CPUs funcionam melhor).
As empresas de IA europeias foram construídas para um mundo de restrições. Capital limitado (eficiência algorítmica forçada). Regulação rigorosa (verificação formal incorporada). Disponibilidade de CPUs (hardware standard é o ideal). As restrições que pareciam desvantagens são agora pontos fortes competitivos. As condições de mercado a nível global estão a mudar na direção da abordagem europeia.
Próxima década: as empresas de IA europeias a exportar não só para a Europa, mas globalmente. Empresas americanas a licenciar tecnologia europeia. Mercados asiáticos a adotar padrões europeus. A IA binária baseada em CPU a tornar-se a arquitetura dominante. A NVIDIA continua relevante para o treino. A Intel/AMD domina a inferência. A redistribuição da capitalização de mercado reflete a mudança arquitetónica. A IA europeia já não está a recuperar terreno; a IA europeia está a definir o ritmo.
O que isto significa para a IA
O regresso do CPU muda fundamentalmente a economia da IA. Deixar de escolher entre desempenho e custo. Deixar de ter a escassez de GPUs a limitar a implementação. Deixar de ter dependências de fornecedores.
O Dweve Core funciona em CPUs.
Isto é a democratização da IA através de melhor matemática. Nem todos podem pagar clusters de GPUs. Todos têm CPUs.
A revolução do CPU está a chegar. O acesso dos consumidores ao Dweve é, por agora, feito apenas por convite.