Зеленият ИИ е двоичен: Екологичната цена на числата с плаваща запетая
The Carbon Footprint of Intelligence
There is a dirty secret at the heart of the Artificial Intelligence revolution. It is a secret obscured by slick marketing campaigns featuring wind turbines and solar panels, and buried under mountains of carbon offset certificates purchased by Big Tech. The secret is this: modern AI, in its current architectural form, is an environmental disaster waiting to happen.
By 2025, the global AI compute infrastructure is consuming more electricity than the entire country of Argentina. Data centers in Ireland are now consuming nearly 20% of the nation's total power grid, creating a genuine energy crisis that is forcing the government to reconsider new connections. In Northern Virginia (the data center capital of the world), power utilities are warning that they physically cannot build transmission lines fast enough to feed the insatiable hunger of the GPU clusters.
The industry's primary response to this has been to focus on the source of the energy. "We are 100% renewable!" the hyperscalers claim. And while using green energy is certainly better than using coal, it misses the fundamental point. Renewable energy is a finite, scarce resource. Every gigawatt of green power sucked up by an inefficient AI model is a gigawatt that cannot be used to decarbonize steel production, cement manufacturing, or transportation. We are cannibalizing the green grid to fuel chatbots.
We do not just need greener power. We need leaner math.
This is not a problem you can solve by purchasing carbon offsets or building more wind turbines. It is an architectural problem. The AI industry has built its entire infrastructure on the most energy-inefficient form of arithmetic possible: 32-bit floating point operations. And until we address that fundamental design flaw, all the solar panels in the Sahara will not be enough.
Физиката на неефективността: разбиране на аритметиката с плаваща запетая
За да разберете защо AI е толкова енергоемък, трябва да погледнете отвъд системите за охлаждане на центровете за данни и да разгледате какво се случва на микроскопично ниво. Трябва да разберете аритметиката.
През последното десетилетие бумът на задълбоченото обучение се гради върху аритметиката с плаваща запетая, по-конкретно FP32 (32-битова плаваща запетая), а по-скоро FP16 или BF16. Числото с плаваща запетая е сложно изчислително създание. То е проектирано да представя огромен диапазон от стойности, от субатомни до астрономически. За целта използва 32 бита, разделени на знаков бит, 8-битова експонента и 23-битова мантиса (плюс имплицитна водеща единица).
За да умножи две числа с плаваща запетая FP32, процесорът трябва да изпълни сложен танц от логически порти. Той трябва да изравни десетичните точки (денормализация), да умножи значимите цифри (24x24-битово умножение), да събере експонентите, да нормализира резултата, да обработи пет различни режима на закръгляване по IEEE и да управлява изключения като NaN, Infinity и underflow. Тази логика изисква хиляди транзистори, които се включват и изключват.
Всеки път, когато транзистор се превключи, той консумира енергия. Това се управлява от основното физично уравнение:
E = C × V² × f
Където E е енергия, C е капацитет (пропорционален на броя на транзисторите), V е напрежение, а f е честота на превключване. Повече транзистори означава повече капацитет, което означава повече енергия за операция.
Но става още по-лошо. Всеки път, когато преместите тези 32 бита от паметта (DRAM) до кеша на процесора и от кеша до регистъра, консумирате допълнителна енергия. Всъщност в съвременните изчислителни системи преместването на данни струва значително повече енергия, отколкото изчисляването върху тях. Основополагащият документ на Horowitz от Stanford (ISSCC 2014) показа, че четенето от DRAM струва приблизително 200 пъти повече енергия, отколкото самото изпълнение на аритметиката.
Това е известно като "Гърлото на фон Нойман" и е основното ограничение на съвременните изчисления. Не сме ограничени от това колко бързо можем да изчисляваме; ограничени сме от това колко бързо можем да захранваме изчислителните двигатели с данни.
Сега си представете, че обучението на голям езиков модел като GPT-4 включва приблизително 10^24 (септилион) от тези операции с плаваща запетая. Малкият енергиен разход на едно умножение с FP32, умножен по септилион, се превръща в проблем от планетарен мащаб. По същество изгаряме гори, за да умножаваме матрици с ненужна точност.
Бинарната революция: Преосмисляне на представянето
Тук на сцената излизат бинарните невронни мрежи. Те представляват коренно преосмисляне на начина, по който представяме информацията в изкуствения мозък.
При бинарната невронна мрежа премахваме сложността. Ограничаваме теглата (връзките между невроните) и активациите (изхода на невроните) само до две възможни стойности: +1 и -1. В хардуера това обикновено се представя като 1 и 0, като 0 математически се интерпретира като -1.
Това звучи като опустошителна загуба на точност. Как може една мрежа да научи нещо нюансирано (фината разлика между котка и куче, или настроението на изречение) само с две числа? Отговорът се крие във високомерната геометрия на дълбокото обучение.
Представете си мисловен експеримент. Ако ви дам едно число между -1 и +1, не можете да кодирате много информация. Но ако ви дам милион бинарни числа, всяко от които е +1 или -1, можете да кодирате астрономическо количество информация чрез техните комбинации и модели. „Мъдростта на тълпата“ от милиони бинарни неврони компенсира липсата на индивидуална точност.
Това не е само теория. Изследвания от институции като MIT, Google и Microsoft показват, че бинарните мрежи могат да постигнат точност в рамките на няколко процентни пункта от своите аналози с плаваща запетая при много практически задачи, включително класификация на изображения, откриване на обекти и разбиране на естествен език.
Математиката на ефикасните изчисления
Хардуерните последици от този преход от 32-битово число с плаваща запетая към 1-битово бинарно число са дълбоки. Нека преминем през математиката стъпка по стъпка.
Подходът с плаваща запетая: За да изчислите скаларно произведение между два вектора (основната операция в невронните мрежи), умножавате съответстващите елементи и сумирате резултатите. При FP32 всяко умножение изисква сложния тръбопровод, описан по-горе. За вектор с дължина 512 (типично за невронните мрежи) са ви необходими 512 умножения с плаваща запетая и 511 събирания.
Бинарният подход: Когато умножавате две бинарни числа (+1 или -1), операцията не е сложно умножение с плаваща запетая. Тя е прост логически елемент XNOR. Ако битовете са еднакви (и двете +1 или и двете -1), резултатът е +1. Ако са различни, резултатът е -1. Логическият елемент XNOR е една от най-примитивните и ефикасни структури в цифровата електроника: буквално четири транзистора.
Освен това натрупването (сумирането на резултатите) се превръща в операция POPCNT (Population Count): преброяване на броя на 1-битовете в бинарния низ. Съвременните процесори разполагат с отделни инструкции POPCNT от 2008 г. насам (Intel Nehalem). Това, което е изисквало хиляди транзистори и множество тактови цикли, сега се случва в един единствен цикъл.
Но истинската магия се случва, когато вземем предвид векторизацията. Съвременните процесори имат SIMD (Single Instruction, Multiple Data) регистри с ширина 256 или 512 бита. При бинарните операции можете да съберете 512 тегла в един 512-битов регистър и да изпълните всичките 512 операции XNOR едновременно. Това е 16 пъти повече паралелни операции, отколкото можете да постигнете с FP32 на същия хардуер.
Dweve Core: 1 937 алгоритъма за бинарна интелигентност
В Dweve не сме се занимавали с бинарни невронни мрежи просто от академичен интерес. Изградихме цяла изчислителна основа върху този принцип. Dweve Core съдържа 1 937 хардуерно оптимизирани алгоритъма в 6 категории и 132 раздела, всички проектирани от самото начало за бинарни и нискобитови изчисления.
Нашият подход надхвърля простото бинаризиране. Поддържаме спектър от нива на квантуване:
- Бинарно (1 бит): 32x компресия, максимална ефективност за подходящи натоварвания
- Тройно (2 бита): 16x компресия, добавя „нулево“ състояние за редки представяния
- 4 бита: 8x компресия, оптимално съотношение за много езикови задачи
- 8 бита: 4x компресия, точност, близка до FP32, със значителни икономии на енергия
Всяко ниво се поддържа от специализирани алгоритми, оптимизирани за конкретни хардуерни среди:
- CPU: SSE2, AVX2, AVX-512, ARM NEON, ARM SVE/SVE2
- GPU: CUDA (NVIDIA), ROCm (AMD), Metal (Apple), Vulkan, WebGPU
- FPGA: естествен синтез на XNOR порти с тръбопроводни суматорни дървета
- WASM: изпълнение в браузъра със SIMD за внедряване в периферни устройства
Това не е теория. Вътрешните ни бенчмаркове върху производствени натоварвания последователно показват 96% намаление на енергията в сравнение с еквивалентни FP32 реализации, като загубата на точност обикновено е под 2% за задачи за класификация и регресия.
Парадоксът на Джевънс: ще доведе ли ефективността до повече потребление?
Икономисти и експерти по устойчивост веднага ще посочат парадокса на Джевънс. Тази икономическа теория, наречена на името на икономиста от XIX век Уилям Стенли Джевънс, гласи, че когато технологията става по-ефективна, цената за използването ѝ спада, което увеличава търсенето и води до по-високо общо потребление, а не до по-ниско.
Джевънс наблюдава това при въглищата: когато парните машини станали по-ефективни, те не намалили потреблението на въглища. Напротив, ефективността направила парната енергия икономически жизнеспособна за повече приложения и потреблението на въглища експлодирало.
Ако направим ИИ с 96% по-евтин и по-енергийно ефективен за работа, няма ли просто да го използваме 100 пъти повече? Няма ли да сложим ИИ в тостери, четки за зъби и картички за еднократна употреба?
Възможно е. Ефектът на отскока е реален. Но има качествена разлика в това къде се консумира тази енергия, която е от огромно значение за стабилността на електропреносната мрежа и за устойчивостта.
Текущата енергийна криза в ИИ е породена от централизираното обучение и извод на масивни, монолитни базови модели. Тези модели са толкова тежки, че изискват централизирани центрове за данни с мащаб на хиперскала. Тези центрове за данни са точкови товари върху електропреносната мрежа, изискващи стотици мегавати на едно място, което натоварва преносните линии и местния капацитет за производство на електроенергия.
Ето защо Ирландия е в криза. Ето защо Северна Вирджиния не може да строи подстанции достатъчно бързо. Проблемът не е общото количество енергия; проблемът е географската концентрация.
Edge AI: Най-устойчивото предаване е никакво предаване
Бинарната ефективност дава възможност за смяна на парадигмата: изнасяне на интелигентността към периферията. Вместо да изпращате гласовата си команда до огромен сървърен парк в пустинята, където да бъде обработена от чудовище със 175 милиарда параметъра, тя може да бъде обработена локално на телефона ви, термостата ви или колата ви, като се използва специализиран бинарен модел, работещ с няколко миливата.
Това премества енергийното бреме от централизираната мрежа към разпределените устройства. Енергийният разход става пренебрежим: част от нормалното потребление на батерията на устройството. Зареждането на телефона веднъж дневно не е криза за електропреносната мрежа. Работата на център за данни от 100 MW в Западен Дъблин обаче е.
Освен това, като правим възможен офлайн AI на самото устройство, елиминираме енергийния разход на мрежата. Не е нужно да включваме 5G радиомодулите, оптичните усилватели и основните рутери, за да изпратим данните до облака и обратно. Проучванията показват, че предаването на данни по клетъчни мрежи струва приблизително 0,5 kWh на гигабайт. Най-енергийно ефективното предаване на данни е това, което никога не се случва.
Нашата архитектура Dweve Loom, с нейните 456 специализирани набора от ограничения, всеки от които съдържа 64-128 MB бинарни ограничения, е специално проектирана за този разпределен модел. Само 4-8 домейн специалисти се активират едновременно за всяка дадена заявка, а бинарното представяне означава, че тези домейн специалисти се побират удобно в кеша дори на скромни периферни устройства.
Устойчивостта като показател за качество на кода
Твърде дълго софтуерното инженерство пренебрегва енергията. Оптимизирахме за скоростта на разработка („доставяй бързо“) или за сурова производителност („направи го бързо“), но рядко за енергия („направи го леко“). Отнасяхме се към електричеството като към безкраен, невидим ресурс.
В ерата на климатичната криза това е професионална небрежност. Код, който пилее енергия, е лош код. Архитектура, която изисква атомна електроцентрала, за да отговори на обикновена заявка за обслужване на клиенти, е лоша архитектура.
Помислете за това от системна гледна точка. Когато напишете функция, която извършва ненужни операции с плаваща запетая, вие не просто губите цикли. Вие карате транзисторите да превключват, електроните да текат, да се генерира топлина и в крайна сметка някъде да се отделя въглерод. Това е вярно, независимо дали можете да го видите, или не.
Същият принцип, който ни накара да се грижим за изтичането на памет (невидимо пилеене на ресурси), трябва да ни накара да се грижим и за пилеенето на енергия. И двете представляват провал на инженерната дисциплина.
CSRD и предстоящата регулаторна реалност
Регулаторната среда настига тази реалност. Директивата на ЕС за отчитане на корпоративната устойчивост (CSRD) задължава големите компании да отчитат емисиите си от обхват 3. Обхват 3 включва възходящите и низходящите емисии на продуктите и услугите, които те закупуват.
Това означава, че скоро корпоративните клиенти ще изискват да знаят въглеродния отпечатък на AI услугите, които закупуват. „Зеленият AI“ няма да бъде просто маркетингов лозунг; той ще бъде твърдо изискване при възлагане на обществени поръчки. Банка няма да закупи AI система за откриване на измами, ако това провали ангажиментите ѝ за Net Zero.
Европейските стандарти за отчитане на устойчивостта (ESRS) изискват от компаниите да отчитат:
- E1 Изменение на климата: Включително потребление на енергия и емисии на парникови газове
- E3 Водни и морски ресурси: От значение за охлаждането на центрове за данни
- Емисии от обхват 3: Включително закупени стоки и услуги (AI API)
Компаниите, които закупуват AI услуги, ще трябва да получават данни за въглеродния интензитет от своите доставчици. Доставчиците, които не могат да демонстрират енергийно ефективни архитектури, ще се окажат изключени от европейските корпоративни договори.
Това не е хипотетичен сценарий. Големи европейски банки, застрахователни компании и индустриални фирми вече изграждат рамки за изчисляване на обхват 3, които включват облачни услуги и услуги с изкуствен интелект. До 2026 г. отчитането по CSRD ще бъде задължително за компании с повече от 250 служители.
Бъдещето на зелените изчисления
Преходът към зелен AI изисква повече от просто ефикасни алгоритми. Той изисква цялостно преосмисляне на целия изчислителен стек.
Преосмисляне на хардуера
Наблюдаваме възхода на невроморфни чипове и архитектури за изчисления в паметта, специално проектирани за операции с ниска точност, разредени и двоични операции. Тези чипове имитират човешкия мозък, който работи с около 20 вата мощност (по-малко от слаба крушка), но въпреки това превъзхожда суперкомпютрите от мегаватов мащаб по отношение на обобщаване и учене.
Loihi на Intel, TrueNorth на IBM и множество чипове на стартиращи компании проучват тази посока. Но не е нужно да чакате екзотичен хардуер. Алгоритмите на Dweve Core са оптимизирани за SIMD блоковете, които вече присъстват във всеки съвременен процесор. Нашите AVX-512 ядра осигуряват изводи от двоични невронни мрежи със скорости, които се конкурират с базираните на GPU изводи с плаваща запетая, при малка част от потреблението на енергия.
Преосмисляне на данните
Трябва да подбираме по-малки и по-качествени набори от данни, за да можем да обучаваме по-малки и по-ефикасни модели, вместо да разчитаме на грубата сила на поглъщането на целия интернет. Този подход, който наричаме „достойнство на данните“, признава, че повече данни не винаги означава по-добри данни.
Сегашният подход на индустрията да изсмуква всеки текст от интернет и да го хвърля в огромен модел е изчислителният еквивалент на открит добив. Той е разточителен, разрушителен за околната среда и в крайна сметка неустойчив.
Преосмисляне на очакванията
Наистина ли ни е нужен модел с трилион параметри, за да настроим таймер или да обобщим имейл? Или това е прекалено?
Принципът за „правилно оразмеряване“ на вашите AI модели спрямо задачата е основополагащ за устойчивите изчисления. Двоичен класификатор за откриване на спам не се нуждае от същата архитектура като модел, генериращ художествена проза. И все пак тенденцията в индустрията е да се използват едни и същи масивни базови модели за всичко, все едно да използвате круизен кораб, за да пресечете река.
Архитектурата на Dweve изрично възприема този принцип. Нашите 456 специализирани набора от ограничения за предметни области означават, че само съответните специалисти по предметна област се активират за всяка дадена задача. Проста класификация може да активира 4 специалисти по предметна област. Сложна задача за разсъждение може да активира 8. Но никога не хабим енергия за стартиране на целия модел, когато е достатъчна само част от него.
Път напред: практически стъпки за възприемане на Green AI
Ако сте предприятие, което обмисля своята AI стратегия през призмата на устойчивостта, ето конкретни стъпки, които да обмислите:
1. Измерете въглеродния отпечатък на своя AI: Преди да можете да намалите емисиите, трябва да ги разберете. Работете с вашите AI доставчици, за да получите данни за въглеродния интензитет на всяка инференция. Ако не могат да ги предоставят, това само по себе си е полезна информация за тяхната зрялост по отношение на устойчивостта.
2. Оптимизирайте размера на моделите си: Направете одит на вашите AI внедрявания. Използвате ли модел със 175B параметри за задачи, които модел с 1B параметри (или двоичен модел) би могъл да изпълни? Икономиите на енергия от оптимизирането на размера на моделите могат да бъдат с порядъци.
3. Обмислете внедряване на периферията: За задачи, които толерират латентност, може ли инференцията да се извършва на устройството, вместо в облака? Двоичните модели позволяват сценарии за внедряване на периферията, които преди са били невъзможни.
4. Изисквайте прозрачност: Включете изисквания за въглероден интензитет в критериите си за доставка на AI. Тъй като отчитането по CSRD става задължително, тези данни ще ви трябват така или иначе. Започването сега ви поставя пред регулаторната крива.
5. Оценете двоичните алтернативи: За класификация, регресия и много езикови задачи двоичните невронни мрежи предлагат еквивалентна точност при 96% по-ниски разходи за енергия. Технологията е готова за производство.
Заключение: математиката е проста
Бъдещето на AI не е в по-големите GPU. Не е и в повече атомни електроцентрали, които да захранват центровете за данни. Бъдещето на AI е в по-умната аритметика. То е ефективно, разпределено и двоично. Време е да направим интелигентността устойчива.
Намираме се на кръстопът. Единият път води до продължителен експоненциален растеж на потреблението на енергия от AI, с всички последици за околната среда и стабилността на мрежата, които това носи. Другият път води до ефективен, устойчив AI, който може да се мащабира, за да обслужва милиарди хора, без да нагрява планетата.
Разликата между тези пътища не е в постепенната оптимизация или кредитите за възобновяема енергия. Разликата е архитектурна. Тя е разликата между 32 бита ненужна точност и елегантната простота на +1 и -1.
В Dweve сме избрали своя път. Нашите системи консумират 96% по-малко енергия от традиционните модели с плаваща запетая, като същевременно запазват еквивалентна точност за корпоративни натоварвания. Независимо дали се сблъсквате с изисквания за съответствие с CSRD, тревожите се за въглеродния отпечатък на организацията си или просто вярвате, че устойчивата технология е по-добра технология, ние предлагаме конкретна алтернатива на енергоемкото статукво.
Математиката е проста: по-зеленият ИИ започва с по-икономична аритметика. Бъдещето на интелигентността е двоично.