CPU frente a GPU en IA: por qué todo el mundo usa GPU (y por qué podría cambiar)
La obsesión por las GPU
Habla con cualquiera sobre ejecutar IA y te dirá: "Necesitas una GPU. Las CPU son demasiado lentas. Todo el mundo usa GPU."
Y tienen razón. En su mayoría. Las GPU dominan la IA por buenas razones. Pero la historia no es tan simple.
Entender por qué ganaron las GPU, para qué son realmente buenas las CPU y por qué el equilibrio podría estar cambiando es importante. Especialmente si pagas las facturas. O las facturas de tu proveedor de electricidad. O te preguntas por qué tu centro de datos necesita su propia subestación eléctrica.
La sabiduría convencional dice: las redes neuronales de coma flotante necesitan un paralelismo masivo, las GPU proporcionan un paralelismo masivo, por lo tanto las GPU ganan. Pero eso es solo la mitad de la historia. La otra mitad implica lo que sucede cuando cambias las matemáticas.
Qué son realmente las CPU y las GPU
Empecemos por lo básico:
CPU (Unidad Central de Procesamiento):
El cerebro de tu ordenador. Diseñada para tareas de propósito general. Ejecuta tu sistema operativo. Abre archivos. Gestiona la memoria. Ejecuta programas. Hace un poco de todo.
Las CPU modernas tienen de 8 a 64 núcleos. Cada núcleo es potente. Puede manejar lógica compleja. Ramificaciones. Tareas secuenciales. Excelente para hacer cosas diferentes rápidamente. Piensa en una CPU como un pequeño equipo de ingenieros altamente cualificados, cada uno puede resolver problemas complejos de forma independiente.
GPU (Unidad de Procesamiento Gráfico):
Originalmente construida para gráficos. Renderizar escenas 3D requiere la misma matemática simple en millones de píxeles simultáneamente. Las GPU sobresalen en esto: operaciones simples, paralelismo masivo.
Las GPU modernas tienen miles de núcleos. Cada núcleo es más simple que un núcleo de CPU. ¿Pero miles de ellos trabajando juntos? Rendimiento computacional enorme para tareas paralelas. Piensa en una GPU como una planta de fabricación con miles de trabajadores, cada uno haciendo una tarea simple muy rápidamente.
Esa es la diferencia fundamental: las CPU son generalistas versátiles. Las GPU son procesadores paralelos especializados.
Aquí tienes una comparación visual:
Por qué las GPU dominan la IA
Las cargas de trabajo de IA, especialmente las redes neuronales, son vergonzosamente paralelas. He aquí por qué ganan las GPU:
Multiplicación de matrices por todas partes:
Las redes neuronales son, en su mayoría, multiplicaciones de matrices. Multiplicar la entrada por los pesos. Millones de multiplicaciones. Todas independientes. Perfectas para el procesamiento en paralelo.
GPU: realiza todas las multiplicaciones simultáneamente en miles de núcleos. Rápido.
CPU: realiza las multiplicaciones de forma secuencial o con un número limitado de núcleos. Mucho más lento.
Ejemplo: una sola capa de un modelo de lenguaje grande puede multiplicar una matriz de 1024×4096 por una de 4096×1024. Eso son más de 4 mil millones de operaciones de multiplicación y suma. En una GPU con núcleos tensoriales, esto lleva milisegundos. En una CPU, segundos. La diferencia es enorme.
Misma operación, datos diferentes:
Cada neurona realiza la misma operación: multiplicar y sumar. Solo que con datos diferentes. Esto se llama SIMD (Single Instruction, Multiple Data). Las GPU están diseñadas para esto.
GPU: una instrucción se transmite a miles de núcleos. Cada uno la aplica a datos distintos. Eficiente.
CPU: puede hacer SIMD con instrucciones vectoriales (AVX-512), pero solo en anchos pequeños (8-16 operaciones). No escala como las GPU.
Es como dar la misma receta a mil cocineros frente a ocho. Los mil cocineros terminan sus platos a la vez. Los ocho tienen que trabajar por tandas. Matemática simple.
Ancho de banda de memoria:
La IA necesita mover cantidades enormes de datos. Miles de millones de pesos. Miles de millones de activaciones. El ancho de banda de memoria importa.
GPU: arquitectura de memoria optimizada. Memoria de alto ancho de banda (HBM). Diseñada para cargas de trabajo intensivas en datos. Cientos de GB/s.
CPU: menor ancho de banda de memoria. Optimizada para la latencia, no para el rendimiento. Decenas de GB/s.
Piensa en ello como tuberías de agua. Las GPU tienen tuberías enormes que pueden mover grandes cantidades de datos rápidamente. Las CPU tienen tuberías más estrechas, optimizadas para acceder rápido a cantidades menores de datos. Para el tsunami de datos de la IA, quieres las tuberías más grandes.
Hardware especializado:
Las GPU modernas tienen núcleos tensoriales. Hardware específicamente diseñado para la multiplicación de matrices. Extremadamente rápido para cargas de trabajo de IA.
La NVIDIA A100, por ejemplo, ofrece hasta 624 TFLOPS de rendimiento FP16 con sus núcleos tensoriales de tercera generación. La H200 llega aún más lejos con memoria HBM3e mejorada. No son solo rápidas; están construidas a propósito para las operaciones exactas que necesitan las redes neuronales.
Las CPU son de propósito general. Sin hardware de IA especializado (en su mayoría). Hacen todo aceptablemente bien, nada excepcional.
Para las redes neuronales tradicionales con operaciones de coma flotante, las GPU son de 10 a 100 veces más rápidas que las CPU. La diferencia es real.
Para qué sirven realmente las CPU
Las CPU no son inútiles para la IA. Destacan en cosas diferentes:
Lógica compleja y bifurcaciones:
Las CPU manejan bien la lógica condicional. Si-entonces-si-no. Sentencias switch. Flujo de control complejo. Las GPU tienen problemas con esto. Las bifurcaciones causan divergencia, lo que mata el paralelismo.
Para tareas de IA con mucha lógica condicional, las CPU pueden competir.
Imagina una GPU con miles de núcleos intentando ejecutar rutas de código diferentes. La mitad de los núcleos quiere ir a la izquierda, la otra mitad a la derecha. La GPU tiene que ejecutar ambas rutas y enmascarar los resultados. Desperdicio. Una CPU simplemente ejecuta la ruta que necesita. Eficiente para lógica con bifurcaciones.
Inferencia de baja latencia:
Para modelos pequeños con requisitos estrictos de latencia, las CPU ganan. Sin sobrecarga de transferencia de datos. Sin inicialización de GPU. Solo ejecución inmediata.
Dispositivos periféricos, sistemas en tiempo real, aplicaciones interactivas. La inferencia en CPU es práctica.
La transferencia por PCIe por sí sola puede añadir de 1 a 10 milisegundos. Para un modelo que se ejecuta en 2 milisegundos, esa sobrecarga es inaceptable. Las CPU ejecutan de inmediato. Cero latencia de transferencia. Esto importa para aplicaciones con capacidad de respuesta.
Operaciones con enteros y binarias:
Las CPU son excelentes en matemáticas con enteros. Operaciones de bits. Operaciones lógicas. Son operaciones fundamentales de la CPU, optimizadas durante décadas.
Para redes neuronales binarias o modelos cuantizados en enteros, la brecha entre CPU y GPU se reduce drásticamente.
Las puertas XNOR han estado en las CPU desde sus inicios. El conteo de bits (popcount) es una instrucción de un solo ciclo en las CPU modernas. Estas operaciones son tan fundamentales que los ingenieros de silicio las optimizaron sin descanso. Cuando tu modelo de IA usa estas operaciones primitivas en lugar de multiplicación-acumulación en coma flotante, de repente las décadas de optimización de la CPU importan más que los núcleos paralelos de la GPU.
Disponibilidad general:
Cada dispositivo tiene una CPU. No todos los dispositivos tienen una GPU. Para implementar en cualquier lugar, las CPU son la única opción universal.
Teléfonos, dispositivos IoT, sistemas embebidos. La inferencia en CPU suele ser la única opción.
Europa tiene requisitos estrictos de residencia de datos según el RGPD. Ejecutar IA localmente en CPU evita dependencias de la nube y complicaciones de transferencia de datos transfronteriza. El teléfono de tu usuario ya tiene una CPU. Sin necesidad de hardware adicional. Sin datos que salgan del dispositivo. Cumplimiento resuelto.
El cambio de juego de las redes neuronales binarias
Aquí es donde se pone interesante. ¿Recuerdas esas operaciones binarias en las que las CPU son buenas?
Las redes neuronales binarias usan XNOR y popcount en lugar de multiplicación-acumulación en coma flotante. Son operaciones nativas de la CPU. Extremadamente rápidas en CPU.
La matemática es elegante: en lugar de multiplicar números de coma flotante de 32 bits, comparas valores de 1 bit con XNOR y luego cuentas los bits coincidentes con popcount. La misma comparación lógica, implementación mucho más simple. Y las CPU han hecho esto desde los años 70.
Rendimiento de la CPU con redes binarias:
Para redes binarias, las CPU pueden igualar o superar el rendimiento de la GPU. ¿Por qué?
XNOR y popcount son baratos en CPU. 6 transistores para XNOR. Operaciones de un solo ciclo. Sin sobrecarga de coma flotante.
Las GPU están optimizadas para coma flotante. Sus núcleos tensoriales no ayudan con operaciones binarias. La especialización se convierte en una limitación.
Es como llevar un coche de Fórmula Uno a una carrera de rally. Claro, es rápido en pistas lisas. Pero cuando el terreno cambia, la máquina de carreras especializada lucha mientras el coche de rally versátil sobresale. Las operaciones binarias cambiaron el terreno.
El enfoque de Dweve:
Nuestro sistema Loom funciona notablemente más rápido en CPU que los modelos transformer en GPU. No porque tengamos magia. Porque las operaciones binarias se adaptan mejor a las CPU que las operaciones de coma flotante.
XNOR-popcount es para lo que se diseñaron las CPU. Operaciones lógicas. Conteo de bits. Rápido.
Esto no es teoría. Es medible. Las redes binarias cambian por completo la ecuación del hardware. Cuando puedes activar solo 4-8 especialistas de dominio de entre 456 opciones disponibles mediante restricciones binarias, y cada especialista de dominio ocupa 64-128 MB de reglas lógicas puras, las CPU lo gestionan de forma brillante. Sin necesidad de aritmética de coma flotante. Solo operaciones de bits rápidas y eficientes.
Consumo energético (el coste oculto)
El rendimiento no lo es todo. El consumo energético importa. Especialmente en Europa, donde los costes de la energía son altos y las normativas de sostenibilidad son estrictas.
Consumo de las GPU:
Las GPU de IA de gama alta consumen entre 300 y 700 vatios. Bajo carga, de forma constante. Durante horas o días en el entrenamiento.
Los centros de datos llenos de GPU consumen megavatios. Electricidad equivalente a una central eléctrica. Requisitos de refrigeración enormes. El coste operativo es masivo.
Se prevé que los futuros procesadores de IA consuman hasta 15 360 vatios cada uno. No es un error tipográfico. Quince kilovatios. Por chip. Necesitarás soluciones de refrigeración especiales e infraestructura eléctrica dedicada. La Directiva de Eficiencia Energética de la UE exige que los centros de datos con una potencia superior a 500 kilovatios informen de su consumo energético. Con GPU como estas, alcanzarás ese umbral rápidamente.
Consumo de las CPU:
Las CPU modernas consumen entre 50 y 150 vatios con cargas de trabajo de IA. Mucho menos que las GPU.
Para inferencia, especialmente en despliegue perimetral, la eficiencia energética importa. Duración de la batería. Límites térmicos. Costes operativos.
AMD anunció recientemente que logrará una mejora de 20 veces en eficiencia energética a escala de rack para sistemas de IA en 2030, superando las tendencias del sector en casi 3 veces. Pero incluso con estas mejoras, las GPU siguen consumiendo mucha energía en comparación con las CPU para muchas cargas de trabajo.
Ventaja de las operaciones binarias:
Las operaciones binarias consumen mucha menos energía que las de coma flotante. Circuitos más simples. Menos actividad de conmutación. Menor energía por operación.
En CPU con redes binarias: reducción del 96 % en el consumo energético en comparación con redes de coma flotante en GPU. La misma tarea. Una fracción de la energía.
Esto importa para la sostenibilidad. Para los costes operativos. Para las limitaciones de despliegue. Cuando los costes de la electricidad en Europa se encuentran entre los más altos del mundo, ejecutar IA en CPU con operaciones binarias no solo es eficiente; es económicamente sensato. Tu contable agradecerá las facturas de electricidad más bajas. Tu responsable de sostenibilidad agradecerá la menor huella de carbono.
Consideraciones de coste (la realidad empresarial)
El hardware cuesta dinero. Seamos concretos:
- Costes de GPU: Las GPU de IA de gama alta cuestan decenas de miles por unidad. El alquiler de centros de datos varía, pero se acumula rápidamente. Entrenar modelos grandes requiere cientos de GPU durante semanas. La factura alcanza los millones.
- Costes de CPU: Las CPU de gama alta cuestan miles, no decenas de miles. Mucho más baratas. Ya están en todos los servidores. No es necesario comprar hardware adicional.
- TCO (coste total de propiedad): Las GPU requieren coste de hardware más consumo energético más refrigeración más infraestructura especializada. TCO alto.
CPU: menor coste de hardware más menor consumo más infraestructura estándar. TCO más bajo.
Para inferencia a escala, especialmente con redes binarias, las CPU pueden ser más rentables. La brecha de rendimiento se reduce, la brecha de coste se amplía a favor de la CPU.
Aquí tienes un ejemplo práctico: ejecutar inferencia para un millón de solicitudes al día. Con GPU y modelos de coma flotante, puede que necesites servidores GPU dedicados, infraestructura de refrigeración y presupuestos de energía considerables. Con CPU y redes binarias, puedes usar la infraestructura de servidores existente, refrigeración estándar y una fracción de la energía. Las mismas capacidades, una economía muy distinta.
Las empresas europeas se enfrentan a una consideración adicional: la soberanía del hardware. La mayoría de las GPU de IA de gama alta provienen de fabricantes estadounidenses. Las dependencias de la cadena de suministro crean riesgos. Las CPU ofrecen opciones de abastecimiento más diversas, incluidos fabricantes europeos. Cuando las tensiones geopolíticas afectan al suministro de chips, tener alternativas importa.
Cuándo usar cada una
La elección correcta depende de tu caso de uso:
Usa GPU cuando:
Entrenes modelos grandes de coma flotante. El rendimiento sea crítico. El presupuesto lo permita. La energía no esté limitada. Uses arquitecturas de redes neuronales tradicionales.
Las GPU destacan aquí. Sin duda. Si estás entrenando un modelo transformer de 70 mil millones de parámetros, las GPU son tus aliadas. Su arquitectura paralela y sus núcleos tensoriales las convierten en la opción obvia para multiplicaciones masivas de matrices en coma flotante.
Usa CPU cuando:
Ejecutes inferencia en el borde. La energía sea limitada. El coste importe. Los requisitos de latencia sean estrictos. Uses modelos binarios o cuantizados. Despliegues en todas partes.
Las CPU tienen sentido. A menudo son la única opción.
Considera también las CPU cuando necesites cumplir el RGPD con procesamiento local, cuando despliegues en hardware diverso sin disponibilidad de GPU, cuando la eficiencia energética importe más que el rendimiento bruto, o cuando uses redes neuronales binarias que aprovechen las fortalezas de la CPU.
El enfoque híbrido:
Entrena con GPU (si usas coma flotante). Despliega con CPU (usando versiones binarias o cuantizadas). Lo mejor de ambos mundos.
O entrena redes binarias en CPU desde el principio. Omite las GPU por completo. Este es el enfoque de Dweve.
No hay una respuesta universal. El dogma de que "necesitas una GPU" ignora los matices. Tu carga de trabajo, tu entorno de despliegue, tus restricciones presupuestarias y tus decisiones arquitectónicas importan. Toma una decisión informada, no una refleja.
El futuro (evolución del hardware)
El panorama del hardware está cambiando:
Chips de IA especializados:
TPU (Google). Motores neuronales (Apple). ASIC personalizados. Optimizados para cargas de trabajo de IA específicas. Ni CPU pura ni GPU pura.
Podrían dominar nichos específicos. Pero las CPU y las GPU siguen siendo de propósito general. Y los chips especializados conllevan riesgos de dependencia del proveedor. Cuando Google controla las TPU y Apple controla los motores neuronales, dependes de sus hojas de ruta y sus precios. Las empresas europeas deberían considerar estas implicaciones de soberanía.
Extensiones de IA en CPU:
Intel AMX (Advanced Matrix Extensions). ARM SVE2. Extensiones vectoriales RISC-V. CPU que añaden instrucciones específicas de IA.
La brecha entre CPU y GPU para IA se está reduciendo. Especialmente para operaciones con enteros y binarias.
Estas extensiones llevan la aceleración de la multiplicación de matrices directamente a las CPU. No son tan potentes como las GPU dedicadas para coma flotante, pero son suficientes para muchas cargas de trabajo. Y vienen de serie, sin necesidad de hardware adicional.
Arquitecturas de bajo consumo:
A medida que suben los costes de la energía, la eficiencia importa más que el rendimiento bruto. Operaciones binarias. Chips neuromórficos. Computación analógica.
El futuro favorece la eficiencia. Las CPU con operaciones binarias encajan mejor en esta tendencia que el cálculo en coma flotante de las GPU, que consume mucha energía.
Los precios de la energía en Europa y las normativas de sostenibilidad aceleran este cambio. Cuando pagas tarifas elevadas por la electricidad y te enfrentas a obligaciones de reducción de emisiones de carbono, la eficiencia no es opcional. Es obligatoria. El hardware que hace más con menos energía gana.
Crecimiento de la computación en el borde:
La IA pasa de la nube al borde. Teléfonos. Coches. Dispositivos IoT. Todos tienen CPU, no GPU.
La IA eficiente en CPU se vuelve obligatoria, no opcional.
La Ley de IA de la UE hace hincapié en el procesamiento local para determinadas aplicaciones. La computación en el borde con IA basada en CPU encaja perfectamente con estos requisitos normativos. Los datos permanecen en local. El procesamiento se hace en local. El cumplimiento es más sencillo.
Cifras de rendimiento reales
Vamos a concretar con mediciones reales:
Redes neuronales en coma flotante:
GPU: 100-300 TFLOPS (billones de operaciones en coma flotante por segundo). Los modelos de gama alta como la A100 alcanzan 624 TFLOPS en FP16. La H200, más reciente, llega aún más lejos.
1-5 TFLOPS
Ganadora: GPU (20-100× más rápida)
La diferencia es innegable. En las redes neuronales tradicionales, las GPU dominan. Por eso todo el mundo daba por hecho que necesitabas GPU para la IA. Durante una década, tenían razón.
Redes neuronales binarias:
GPU: Limitada por la falta de hardware especializado. Usa INT8 o kernels personalizados. Quizá 10-30× más rápida que la CPU en operaciones binarias.
CPU: XNOR y popcount son nativos. Muy rápidos. Se paralelizan entre núcleos con AVX-512.
Ganadora: la CPU puede igualar o superar a la GPU (Dweve Loom: 40× más rápida en CPU que los transformers en GPU)
Este cambio no es magia. Es matemáticas aplicadas al diseño de hardware. Las operaciones binarias juegan a favor de las CPU igual que la multiplicación en coma flotante juega a favor de las GPU.
Latencia:
GPU: Sobrecarga de transferencia por PCIe. De 1 a 10 ms solo para mover datos.
CPU: Cero sobrecarga de transferencia. Inferencia en menos de un milisegundo posible.
Ganadora: CPU para aplicaciones de baja latencia
Esa sobrecarga de PCIe es fija. Ninguna optimización puede eliminarla. En aplicaciones en tiempo real donde cada milisegundo cuenta, las CPU ganan por diseño.
Eficiencia energética (operaciones por vatio):
GPU: ~500-1000 GFLOPS/W (coma flotante)
CPU: ~100-200 GFLOPS/W (coma flotante)
Ganadora: GPU en coma flotante
Las operaciones binarias cambian esto:
CPU con binario: 10-50× mejores operaciones por vatio que GPU con coma flotante
Ganadora: CPU con operaciones binarias
Cuando el coste de la electricidad en Europa es 3-4× mayor que en Estados Unidos, estas diferencias de eficiencia se traducen directamente en costes operativos. El caso de negocio para la IA basada en CPU se vuelve convincente rápidamente.
Lo que debes recordar
Si no te llevas nada más de esto, recuerda:
- 1. Las GPU dominan la IA de coma flotante. Paralelismo en multiplicación de matrices. Núcleos tensoriales especializados. De 20 a 100 veces más rápidas que las CPU para redes neuronales tradicionales. Para cargas de trabajo de coma flotante, son la opción clara.
- 2. Las CPU destacan en otras cosas. Lógica compleja. Baja latencia. Operaciones con enteros y binarias. Disponibilidad universal. Procesamiento local conforme al RGPD.
- 3. Las redes binarias cambian la ecuación. XNOR y popcount son operaciones nativas de la CPU. Las CPU pueden igualar o superar el rendimiento de las GPU para IA binaria. El cambio matemático favorece a la arquitectura de CPU.
- 4. El consumo energético importa cada vez más. GPU: de 300 a 700 W hoy, hasta 15.360 W previstos. CPU: de 50 a 150 W. Operaciones binarias: reducción del 96 % en consumo. Con los costes energéticos europeos y las exigencias de sostenibilidad, la eficiencia no es opcional.
- 5. El coste no es solo hardware. Energía. Refrigeración. Infraestructura. Soberanía de la cadena de suministro. El coste total de propiedad importa. Las CPU suelen ser más baratas para inferencia a escala, especialmente con redes binarias.
- 6. Elige según la carga de trabajo, no por dogmas. ¿Entrenar modelos grandes de coma flotante? GPU. ¿Inferencia en el borde? CPU. ¿Redes binarias? CPU. ¿Cumplimiento del RGPD? CPU. Los enfoques híbridos también funcionan.
- 7. El futuro favorece la eficiencia. Computación en el borde. Costes energéticos al alza. Regulaciones de sostenibilidad de la UE. Requisitos de la Ley de IA. Las arquitecturas favorables a la CPU están en ascenso, no en declive.
La conclusión
Las GPU ganaron la primera ronda de la IA porque las redes neuronales se diseñaron para operaciones de coma flotante y paralelismo masivo. Las GPU se crearon exactamente para eso. Una década de dominio creó la suposición de que la IA requiere GPU. Para cargas de trabajo de coma flotante, esto sigue siendo cierto.
Pero la IA está evolucionando. Redes binarias. Cuantización de enteros. Arquitecturas eficientes. Todo esto favorece a las CPU. Los fundamentos matemáticos cambiaron y, con ellos, el hardware óptimo.
La narrativa de que "necesitas una GPU" está desactualizada para muchos casos de uso. ¿Inferencia en el borde? ¿Redes binarias? ¿Despliegue sensible al coste? ¿Cumplimiento del RGPD? Las CPU son competitivas. A menudo superiores.
El panorama del hardware está cambiando. Chips especializados emergentes. Extensiones de IA para CPU en camino. El monopolio de las GPU está terminando. Las empresas europeas tienen ventajas particulares en este cambio: las estrictas normas de protección de datos favorecen el procesamiento local con CPU, los altos costes energéticos recompensan la eficiencia y las preocupaciones por la soberanía del hardware benefician una diversidad de fuentes de CPU.
Entender qué hace bien cada procesador te ayuda a elegir correctamente. No basado en el bombo. Basado en tus requisitos reales. Rendimiento, energía, coste, restricciones de despliegue, cumplimiento normativo.
Las GPU siguen dominando el entrenamiento de modelos grandes de coma flotante. ¿Pero la inferencia? ¿El despliegue? ¿La computación en el borde? El equilibrio está cambiando. Y las operaciones binarias en CPU lideran ese cambio. La próxima década de la IA no se parecerá a la anterior. El hardware que parecía esencial podría ser opcional. El hardware que parecía insuficiente podría ser ideal.
Tu elección no es GPU o CPU. Es entender qué carga de trabajo se adapta a qué hardware. Y cada vez más, esa comprensión apunta hacia las CPU para más casos de uso de lo que sugiere la sabiduría convencional.
¿Quieres ver IA optimizada para CPU en acción? Explora Dweve Loom. Razonamiento con restricciones binarias en CPUs estándar. 40 veces más rápido que los modelos transformer en GPUs. Reducción de energía del 96%. Cumple con el RGPD por diseño. El tipo de IA que funciona con el hardware que ya tienes. Construida en Europa para los requisitos europeos.