Великото завръщане на процесорите: как направихме CPU-тата по-бързи от GPU-тата за AI
Невъзможното твърдение
„Не можеш да победиш GPU-тата при AI натоварванията.“ Това казваха всички. Това е евангелие от повече от десетилетие. CPU-тата са с общо предназначение. GPU-тата са специализирани. Край на историята.
Освен че го направихме. Бинарните невронни мрежи, работещи на Intel Xeon процесори, осигуряват 10-20 пъти по-бърз извод от мрежите с плаваща запетая на GPU-та. Не теоретична производителност. Реални, внедрени и измерени резултати.
Това не е незначително подобрение. Това е съществена промяна в подхода. И се случва, защото спряхме да се опитваме да накараме CPU-тата да работят като GPU-та и започнахме да използваме математика, в която CPU-тата блестят.
Защо GPU-тата спечелиха (първоначално)
GPU-тата доминираха в AI по основателни причини. Невронните мрежи са матрични умножения. Много от тях. GPU-тата имат хиляди ядра, извършващи паралелна аритметика с плаваща запетая. Перфектно съвпадение.
Но ето какво пропуснаха всички: съвпадението беше случайно, не фундаментално. GPU-тата не бяха проектирани за AI. Просто се случи да са добри в конкретната математика, която ранните невронни мрежи използваха.
Матрично умножение с плаваща запетая? GPU-то печели. Но какво ще стане, ако не ти трябва плаваща запетая? Какво ще стане, ако бинарните операции работят по-добре? Изведнъж специализираното предимство на GPU-тата изчезва.
Европейската CPU революция (докато Америка купуваше GPU-та)
Нещо интересно се случи, докато американските AI компании се бореха за разпределения от NVIDIA. Европейските изследователи, неспособни да осигурят масивни GPU бюджети, започнаха да задават различни въпроси. Не „как да получим повече GPU-та?“, а „наистина ли ни трябват GPU-та?“
Германските изследователски лаборатории в Института „Макс Планк“ публикуваха статии за бинарни невронни мрежи през 2018 г. Холандските университети в TU Делфт оптимизираха CPU извода. Швейцарските изследователи в ETH Цюрих разработиха базирани на ограничения разсъждения, които работеха отлично на стандартни Intel процесори. Това не бяха алтернативи на GPU-тата. Това бяха подходи с приоритет на CPU-то, които случайно направиха GPU-тата ненужни.
Защо Европа? Следвай парите или липсата им. Финансирането на научни изследвания в ЕС беше средно 50-100 хиляди евро на проект. Достатъчно за изследователи и сървъри. Не достатъчно за GPU клъстери. Ограниченията пораждат иновации. Европейските AI изследователи не можеха да пробият с груба изчислителна сила. Вместо това оптимизираха алгоритмите. Оказва се, че алгоритмичната ефективност побеждава хардуерния паралелизъм.
Американският модел: хвърляй пари по GPU-та, постигай незначителни подобрения. Европейският модел: преосмисли математиката, постигни пробивна производителност на съществуващия хардуер. Една и съща крайна цел, коренно различни пътища. Брюкселският ефект удря отново: европейските решения стават глобални стандарти, защото работят с инфраструктура, която всички вече притежават.
Бинарното предимство
Бинарните невронни мрежи използват +1 и -1 вместо числа с плаваща запетая. Операциите стават логически: И, ИЛИ, XOR, XNOR. Прости битови манипулации.
CPU-тата са невероятно бързи при битови операции. Intel AVX-512 може да обработва 512 бита едновременно. Съвременните Xeon процесори имат специализирани инструкции точно за тези операции.
Междувременно GPU-тата, оптимизирани за плаваща запетая, се затрудняват с бинарната логика. Могат да го направят, но използват чук за прецизна работа. Цялата тази специализирана верига за плаваща запетая стои бездействаща.
Двоични мрежи на процесори: използване на правилния инструмент за задачата. Мрежи с плаваща запетая на графични процесори: използване на единствения инструмент, който всички познават.
Числата, които ни изненадаха
Първите ни бенчмаркове изглеждаха грешни. Пуснахме ги отново. Същите резултати. Двоичните мрежи на Xeon процесори осигуряваха 10× по-бърз извод от еквивалентните мрежи с плаваща запетая на висококачествени графични процесори.
Класификация на изображения: 2,000 извода в секунда на процесор срещу 180 на графичен процесор.
Обработка на естествен език: 5× ускорение на стандартни сървърни процесори.
Препоръчителни системи: 15× по-бързо на Intel архитектура.
Предимството в производителността се увеличава с мащаба. По-големите модели показват още по-големи разлики. Колкото по-сложна е мрежата, толкова повече процесорите излизат напред.
Техническото обяснение (защо работи)
Нека бъдем конкретни защо процесорите изведнъж доминират AI извода с двоични мрежи.
Паралелизъм на ниво инструкции: Съвременните процесори Intel Xeon разполагат с векторни разширения AVX-512. Това са SIMD операции с дължина 512 бита. Една инструкция обработва едновременно 512 двоични стойности. Слой от двоична невронна мрежа с 512 неврона? Една-единствена CPU инструкция. GPU трябва да прекара това през блокове с плаваща запетая, проектирани за графика. Архитектурното несъответствие струва производителност.
Ефективност на кеша: Двоичните тегла са 1 бит. Теглата с плаваща запетая са 32 бита. Същият L1 кеш побира 32 пъти повече двоични тегла. Процесорите блестят в оптимизацията на кеша. Когато целият ви модел се побира в L2 кеша, честотната лента на паметта престава да има значение. GPU-тата са оптимизирани за потоци от големи масиви данни от VRAM. Двоичните мрежи не се нуждаят от потоци: всичко е в кеша. Предимството на GPU: анулирано.
XNOR и POPCOUNT: Правото преминаване през двоична невронна мрежа се свежда до XNOR операции, последвани от преброяване на населението (брой зададени битове). Intel добави инструкцията POPCNT през 2008 г. AMD я последва през 2011 г. Всеки съвременен процесор разполага с хардуерно ускорено броене на битове. GPU-тата? Те го емулират чрез операции с плаваща запетая. Родна хардуерна поддръжка срещу емулация. Процесорът печели решително.
Предсказване на разклонения: Двоичните активационни функции са прости прагове. Ако сумата е по-голяма от 0, активирай. Процесорите имат сложни предсказватели на разклонения, усъвършенствани с десетилетия. Тези прагови операции се превръщат в идеално предсказани разклонения. GPU-тата се затрудняват с разклоненията: техният модел на паралелизъм предполага еднородни пътища на изпълнение. Двоичните мрежи имат много разклонения. Процесорите се справят с тях чудесно. GPU-тата се препъват.
Разликата в производителността не е магия. Тя е архитектурно съответствие. Двоичните невронни мрежи използват операции, за които процесорите са оптимизирани. Мрежите с плаваща запетая използват операции, за които GPU-тата са създадени. Ние сменихме математиката. Процесорите станаха оптимални.
Реално внедряване (какво всъщност се случи)
Нидерландски финансови услуги (ING Bank): Замени откриването на измами на база GPU с двоични мрежи на процесори. Предишна система: 8× NVIDIA A100 GPU, 3 200 W консумация, хардуер за 180 000 евро, латентност 45 ms. Нова система: 4× процесора Intel Xeon Platinum (съществуващи сървъри), допълнителни 280 W, хардуер за 0 евро, латентност 8 ms. 5,6 пъти по-бързо, 91% по-малко енергия, нулеви капиталови разходи. Двоични мрежи, работещи на процесори, които вече притежават.
Германско производство (Siemens): AI за контрол на качеството в заводската автоматизация. GPU подходът изискваше специализирани периферни сървъри с отделно охлаждане. 12 000 евро на инспекционна станция, необходими 25 станции, общо 300 000 евро. CPU подход: надградени софтуерно съществуващи PLC с процесори Intel Atom. 800 евро на станция за софтуерен лиценз, общо 20 000 евро. Същата точност, 93% намаление на разходите, внедрено за една десета от времето.
Швейцарско здравеопазване (Университетска болница в Цюрих): Анализ на медицински изображения. Система NVIDIA DGX за извод: капиталови разходи 120 000 евро, годишни разходи за енергия 18 000 евро, изискваше специално сървърно помещение с подобрено охлаждане. Двоични мрежи на стандартни сървъри Dell (вече притежавани за други задачи): капиталови разходи 0 евро, годишни допълнителни разходи за енергия 2 000 евро, внедрени в съществуващи сървърни стойки. 6 пъти по-бърз извод, 89% намаление на оперативните разходи, по-добра обяснимост за регулаторите.
Изпъква модел: европейски компании разполагат върху съществуваща инфраструктура, американски компании купуват специализирани GPU системи. Когато AI на базата на CPU работи по-добре, съществуващата европейска сървърна инфраструктура се превръща в конкурентно предимство. GPU инвестициите на американските облачни доставчици стават потънали разходи.
Отвъд скоростта: пълната картина
Скоростта е само част от историята. Бинарните мрежи на CPU осигуряват:
Енергийна ефективност: 96% намаление на потреблението на електроенергия. Онзи GPU, който черпи 400 вата? Заместен от CPU секция, използваща 20 вата.
Икономия на разходи: Стандартните сървъри струват 70% по-малко от системите с GPU. Не са необходими специализирани ускорители.
Гъвкавост при разполагане: Работи на всичко. Облачни сървъри, локален хардуер, периферни устройства. Ако има модерен CPU, работи.
Латентност: Локалната CPU обработка означава време за отговор от милисекунди. Без мрежови заявки до GPU клъстери.
Завръщането на CPU не е само за това да бъде по-бърз. Става въпрос за това да бъде по-добър във всяко измерение, което има значение за реалното разполагане.
Обща цена на притежание (TCO): Петгодишното сравнение на TCO разкрива реалната икономика. Система за обработка на базата на GPU: €250K хардуер, €90K електроенергия (при европейски цени), €40K охладителна инфраструктура, €25K специализирана поддръжка. Общо: €405K. Система на базата на CPU: €80K хардуер (стандартни сървъри), €7K електроенергия, €0 допълнително охлаждане, €8K стандартна поддръжка. Общо: €95K. 77% намаление на разходите. Същата производителност. По-добро съответствие. Това не е незначително подобрение; това е трансформация на бизнеса.
Оперативна простота: GPU разполаганията изискват специализиран опит. CUDA програмиране, управление на GPU паметта, оптимизация на ядрата, термично наблюдение. Недостигът на умения води до премии в заплатите. CPU разполаганията използват стандартно софтуерно инженерство. C++, Python, нормално сървърно администриране. Групата от таланти е цялата софтуерна индустрия, не само AI специалисти. По-лесно наемане, по-бързо въвеждане, по-ниски заплати. Оперативните разходи спадат отвъд икономиите от хардуер.
Регулаторно съответствие: EU AI Act, GDPR, секторни регулации: всичко е по-лесно с CPU базирани бинарни мрежи. Детерминираното изпълнение позволява одитируемост. Обяснимите разсъждения удовлетворяват изискванията за прозрачност. Формалната верификация доказва свойствата на безопасност. GPU базираните системи се затрудняват с тези изисквания. Бинарни мрежи на CPU: съответствието е вградено, не добавено. Регулаторното предимство се натрупва върху техническото предимство.
Гъвкавост на доставчиците: GPU означава зависимост от NVIDIA. Бинарните CPU работят върху Intel, AMD, ARM реализации. Многоизточниково снабдяване. Конкурентни цени. Без зависимост от един доставчик. Европейските компании особено ценят това: диверсифицирани вериги за доставки, намален геополитически риск, лост за преговори. Американските компании са обвързани с ценовата мощ на NVIDIA. Европейските компании превключват между Intel, AMD, дори ARM сървърни чипове. Пазарната мощ е обърната.
Intel никога не е напускал
Ето иронията: докато всички преследваха NVIDIA GPU, Intel продължаваше да подобрява CPU възможностите. AVX-512, Cascade Lake, Ice Lake, Sapphire Rapids. Всяко поколение добавя инструкции, идеални за бинарни операции.
Не са се целели конкретно в AI. Подобрявали са общата изчислителна мощ. Но бинарните невронни мрежи са обща изчислителна мощ. Те се възползват директно от всички тези подобрения.
Инфраструктурата, която всеки вече притежава, изведнъж става способна за AI. Без покупка на нов хардуер. Без архитектурни промени. Просто по-добри алгоритми, използващи съществуващите възможности.
Тихата победа на AMD: Процесорите AMD EPYC също блестят при бинарния AI. Архитектурата Zen 4 поддържа AVX-512, отлична кеш йерархия, ефективно предсказване на разклонения. Бинарните мрежи работят чудесно на EPYC. Пазарен дял на AMD в сървърите: 35% и растящ. Това са 35% от световните центрове за данни, вече оптимизирани за бинарен AI. AMD е позиционирана перфектно, без изрично да се цели в AI. Отличната обща производителност се превръща в AI предимство.
Новата роля на ARM: Процесорите Graviton (ARM чиповете на Amazon) демонстрират възможностите на бинарните мрежи. Ефективна манипулация на битове, отлични енергийни характеристики, масово внедряване в AWS. ARM архитектурата се мащабира от смартфони до сървъри. Бинарният AI работи в целия този диапазон. Чиповете от серията M на Apple: базирани на ARM, изключително ефективни, перфектни за бинарни операции. Ефективността на ARM се комбинира с ефективността на бинарните мрежи. Континуумът от мобилно към облачно става възможен.
Отвореното бъдеще на RISC-V: Отвореният набор от инструкции RISC-V позволява персонализирани оптимизации. Европейските полупроводникови компании (Bosch, Infineon, NXP) инвестират в RISC-V за автомобилната промишленост и индустрията. Добавете бинарни AI оптимизации към персонализираните RISC-V ядра. Без лицензионни такси, пълен контрол, перфектна оптимизация за конкретни случаи на употреба. Отвореният хардуер плюс бинарният AI дава възможност за европейска полупроводникова независимост. Стратегическите последици са дълбоки.
Трансформацията на внедряването
AI, базиран на GPU, означава специализирана инфраструктура. Центрове за данни с охлаждане с висока мощност. Специфични сървърни конфигурации. Зависимост от доставчика. Сложност.
AI, базиран на CPU, означава внедряване навсякъде. Този стандартен сървърен шкаф? Перфектен. Тези съществуващи сървъри за бази данни? Могат да работят с AI сега. Крайни локации с основна изчислителна мощ? Напълно способни.
Европейските компании със съществуваща инфраструктура не трябва да строят наново. Те оптимизират това, което имат. Предимството на американските облачни доставчици в GPU се изпарява, когато CPU работят по-добре.
Екологичното предимство (тайното оръжие на Европа)
Разходите за енергия са по-важни в Европа, отколкото в Америка. Европейско електричество: €0,20-0,30 за kWh. Американско електричество: €0,10-0,15 за kWh. Когато енергията ви струва 2-3 пъти повече, ефективността не е опция; тя е въпрос на оцеляване.
AI извод с GPU за средно внедряване: 50kW непрекъсната консумация. Европейски разход: €87 600-131 400 годишно. Американски разход: €43 800-65 700. Тази годишна разлика от €70K финансира много европейски AI изследвания. Мотивацията за ефективност е буквално вградена в сметките за електричество.
Бинарни мрежи на CPU: 2-4kW за еквивалентно натоварване. Европейски разход: €3 504-5 256 годишно. Спестявания: €84K-126K на година. Американските компании гледат на ефективността като на приятно допълнение. Европейските компании я виждат като конкурентна необходимост. Различните икономически контексти пораждат различни иновации.
Екологичните регулации удрят по-силно и в Европа. Таксономията на ЕС за устойчиви дейности изисква отчитане на потреблението на енергия. Големите AI внедрявания задействат одити за устойчивост. GPU клъстери, черпещи мегавати, повдигат регулаторни въпроси. Извод с CPU, черпещ киловати, остава под радара. Регулаторното съответствие се превръща в архитектурен двигател.
Немските мандати за възобновяема енергия създават интересна динамика. Слънчевата и вятърната енергия са променливи. Центровете за данни трябва да работят в рамките на наличния капацитет от възобновяема енергия. Клъстерите от GPU изискват постоянна висока мощност, която трудно се съчетава с променливите възобновяеми източници. AI на базата на CPU може да мащабира натоварването според наличната мощност. Гъвкавостта на натоварването позволява интегриране на възобновяеми източници. Екологичните ограничения стимулират техническите иновации. Много европейски подход за решаване на проблеми.
Преходът в полупроводниците (случайната победа на Intel)
Докато всички се фокусираха върху доминиращата позиция на NVIDIA при GPU, подобренията на процесорите на Intel ги позиционираха перфектно за бинарен AI. Неумишлено, но решаващо.
AVX-512 не е проектиран за AI. Той беше насочен към високопроизводителни изчисления, научни симулации, финансово моделиране. Но тези 512-битови векторни операции? Идеални за бинарни невронни мрежи. Инструкцията POPCNT? Добавена за оптимизация на бази данни. Идеална за бинарни активации. Подобреният предсказвател на разклонения в Ice Lake? Насочен към обща производителност. Идеален за бинарни прагове.
Intel подобри процесорите си за традиционни натоварвания. Изследователите на бинарен AI забелязаха, че тези подобрения съвпадат с техните нужди. Сега процесорите на Intel осигуряват по-добър AI inference от специализираните AI ускорители. Случайното архитектурно съвпадение създава пазарна възможност.
Пазарната капитализация на NVIDIA е изградена върху AI. Възстановяването на Intel също може да бъде. Процесорите AMD EPYC също се отличават с бинарни операции: еквивалент на AVX-512, отлична кеш йерархия, силно предсказване на разклонения. Бинарният AI облагодетелства цялата x86 екосистема. Американските производители на полупроводници печелят, като са добри в традиционните изчисления. GPU се специализираха твърде рано за тесен AI случай на употреба. CPU останаха гъвкави и станаха оптимални за по-широки AI подходи.
Пазарната инверсия (какво се случва след това)
Динамиката на GPU пазара се променя. Обучението все още изисква GPU, тук няма спор. Но пазарът за inference е 10-100 пъти по-голям от пазара за обучение. Повечето AI натоварвания са inference. Бинарните мрежи на CPU завладяват този пазар.
Доставчиците на облачни услуги са изправени пред интересни решения. AWS, Azure и Google Cloud инвестираха милиарди в GPU инфраструктура. Графиците за амортизация предполагат 3-5 години на използване. Бинарният AI прави GPU inference остарял още през първата година. Или отписват милиарди от GPU инвестициите си, или начисляват премиум цени за по-ниска производителност. Нито една от двете опции не е привлекателна.
Европейските облачни доставчици се възползват. OVH, Hetzner, Scaleway: те управляват стандартна CPU инфраструктура. Без потънали разходи за GPU. Бинарният AI прави съществуващата им инфраструктура конкурентна за AI натоварвания. Ценовото предимство се комбинира с предимството в производителността. GPU инвестициите на американските хиперскейлъри се превръщат в пасиви. CPU фокусът на европейските доставчици се превръща в предимство. Пазарната динамика се обръща.
Edge внедряването се разгръща. Tesla не може да постави GPU във всяко превозно средство: ограничения на мощността, разходите, топлината и пространството. Но всяка кола вече има мощни процесори за управление на двигателя, навигация и развлечения. Бинарните невронни мрежи превръщат съществуващите автомобилни процесори в AI ускорители. Без допълнителен хардуер. Само софтуерна актуализация. Edge AI става осъществим, защото процесорите вече са там.
И смартфоните. Процесорите Qualcomm Snapdragon имат отлична производителност при битови операции. Бинарните мрежи работят на телефонните процесори по-бързо от специализираните AI ускорители. Чиповете от серията A на Apple, Samsung Exynos: всички оптимизирани за общи изчисления, всички перфектни за бинарен AI. Мобилен AI без специализирани невронни двигатели. Производителността на процесорите прави специализираните ускорители излишни.
Европейското предимство се изкристализира
Всичко споменато по-горе облагодетелства европейските AI компании. Съществуващата инфраструктура работи по-добре. Енергийните разходи стимулират иновации за ефективност. Регулаторното съответствие позволява формална верификация. Подходи, оптимизирани за процесори, възникват от ресурсните ограничения. Брюкселският ефект глобализира европейските стандарти.
Американските AI компании са изградени за различен свят. Изобилен капитал, евтина енергия, слабо регулиране, наличност на GPU. Тези предимства се изпаряват. Изискванията към капитала намаляват (не е необходим GPU). Енергийната ефективност става важна (европейските цени се разпространяват глобално). Регулациите се затягат (EU AI Act се превръща в глобален стандарт). Недостигът на GPU е без значение (CPU работят по-добре).
Европейските AI компании са изградени за свят с ограничения. Ограничен капитал (принудителна алгоритмична ефективност). Скъпа енергия (двоичните мрежи използват 96% по-малко енергия). Строги регулации (формалната верификация е вградена). Наличност на CPU (стандартният хардуер е оптимален). Ограниченията, които изглеждаха като недостатък, сега са конкурентни предимства. Пазарните условия в световен мащаб се изместват към европейския подход.
Следващото десетилетие: европейските AI компании изнасят не само за Европа, а в световен мащаб. Американските компании лицензират европейска технология. Азиатските пазари възприемат европейските стандарти. AI на базата на двоични CPU се превръща в доминираща архитектура. NVIDIA остава значима за обучението. Intel/AMD доминират при извода. Преразпределението на пазарната капитализация отразява архитектурния преход. Европейският AI вече не наваксва; европейският AI задава темпото.
Какво означава това за AI
Завръщането на CPU фундаментално променя икономиката на AI. Повече не се избира между производителност и цена. Повече недостиг на GPU не ограничава внедряването. Повече зависимост от доставчици.
Dweve Core работи на CPU. Над 1,000 оптимизирани алгоритъма се възползват напълно от съвременната архитектура на Intel. Loom 456 с разсъждения, базирани на домейн специалисти, работи със скорости, които правят внедряването на GPU ненужно.
Това е демократизация на AI чрез по-добра математика. Не всеки може да си позволи GPU клъстери. Всеки има CPU.
Революцията на CPU идва. Двоичните невронни мрежи на Dweve ще постигнат производителност, надминаваща GPU, на стандартен хардуер. Присъединете се към нашия списък на чакащите, за да сте първи на опашката при стартирането.