Green AI jest binarny: środowiskowy koszt arytmetyki zmiennoprzecinkowej
The Carbon Footprint of Intelligence
There is a dirty secret at the heart of the Artificial Intelligence revolution. It is a secret obscured by slick marketing campaigns featuring wind turbines and solar panels, and buried under mountains of carbon offset certificates purchased by Big Tech. The secret is this: modern AI, in its current architectural form, is an environmental disaster waiting to happen.
By 2025, the global AI compute infrastructure is consuming more electricity than the entire country of Argentina. Data centers in Ireland are now consuming nearly 20% of the nation's total power grid, creating a genuine energy crisis that is forcing the government to reconsider new connections. In Northern Virginia (the data center capital of the world), power utilities are warning that they physically cannot build transmission lines fast enough to feed the insatiable hunger of the GPU clusters.
The industry's primary response to this has been to focus on the source of the energy. "We are 100% renewable!" the hyperscalers claim. And while using green energy is certainly better than using coal, it misses the fundamental point. Renewable energy is a finite, scarce resource. Every gigawatt of green power sucked up by an inefficient AI model is a gigawatt that cannot be used to decarbonize steel production, cement manufacturing, or transportation. We are cannibalizing the green grid to fuel chatbots.
We do not just need greener power. We need leaner math.
This is not a problem you can solve by purchasing carbon offsets or building more wind turbines. It is an architectural problem. The AI industry has built its entire infrastructure on the most energy-inefficient form of arithmetic possible: 32-bit floating point operations. And until we address that fundamental design flaw, all the solar panels in the Sahara will not be enough.
Fizyka nieefektywności: zrozumieć arytmetykę zmiennoprzecinkową
Aby zrozumieć, dlaczego AI pochłania tyle energii, trzeba spojrzeć poza systemy chłodzenia w centrach danych i przyjrzeć się temu, co dzieje się na poziomie mikroskopowym. Trzeba zrozumieć arytmetykę.
W ostatniej dekadzie rozkwit Deep Learningu opierał się na arytmetyce zmiennoprzecinkowej, a konkretnie na FP32 (32-bitowej liczbie zmiennoprzecinkowej), a ostatnio także na FP16 lub BF16. Liczba zmiennoprzecinkowa to złożona bestia obliczeniowa. Została zaprojektowana tak, aby reprezentować ogromny zakres wartości, od subatomowych po astronomiczne. W tym celu wykorzystuje 32 bity podzielone na bit znaku, 8-bitowy wykładnik i 23-bitową mantysę (plus niejawną wiodącą jedynkę).
Aby pomnożyć dwie liczby FP32, procesor musi wykonać złożony taniec bramek logicznych. Musi wyrównać przecinki dziesiętne (denormalizacja), pomnożyć mantysy (mnożenie 24x24 bity), dodać wykładniki, znormalizować wynik, obsłużyć pięć różnych trybów zaokrąglania IEEE oraz zarządzać wyjątkami, takimi jak NaN, Infinity i niedomiar. Ta logika wymaga przełączania tysięcy tranzystorów.
Za każdym razem, gdy tranzystor się przełącza, zużywa energię. Rządzi tym podstawowe równanie fizyczne:
E = C × V² × f
Gdzie E to energia, C to pojemność (proporcjonalna do liczby tranzystorów), V to napięcie, a f to częstotliwość przełączania. Więcej tranzystorów oznacza większą pojemność, co oznacza więcej energii na operację.
Ale to nie wszystko. Za każdym razem, gdy przenosisz te 32 bity z pamięci (DRAM) do pamięci podręcznej procesora, a następnie z pamięci podręcznej do rejestru, zużywasz dodatkową energię. W rzeczywistości w nowoczesnych systemach komputerowych przenoszenie danych kosztuje znacznie więcej energii niż samo wykonywanie na nich obliczeń. Przełomowa praca Horowitza ze Stanford (ISSCC 2014) wykazała, że odczyt z pamięci DRAM kosztuje około 200 razy więcej energii niż samo wykonanie arytmetyki.
Znane jest to jako „wąskie gardło Von Neumanna” i jest to fundamentalne ograniczenie nowoczesnych obliczeń. Nie ogranicza nas to, jak szybko potrafimy liczyć; ogranicza nas to, jak szybko potrafimy zasilać silniki obliczeniowe danymi.
Teraz rozważmy, że trenowanie dużego modelu językowego takiego jak GPT-4 wymaga około 10^24 (septyliona) takich operacji zmiennoprzecinkowych. Drobny koszt energetyczny pojedynczego mnożenia FP32, pomnożony przez septylion, staje się problemem o skali planetarnej. Zasadniczo spalamy lasy, aby mnożyć macierze z niepotrzebną precyzją.
Rewolucja binarna: nowe spojrzenie na reprezentację
To właśnie tutaj binarna sieć neuronowa zmienia zasady gry. Stanowi ona fundamentalne przemyślenie sposobu, w jaki reprezentujemy informację w sztucznym mózgu.
W sieci binarnej odrzucamy złożoność. Ograniczamy wagi (połączenia między neuronami) oraz aktywacje (wyjścia neuronów) do zaledwie dwóch możliwych wartości: +1 i -1. W sprzęcie jest to zwykle reprezentowane jako 1 i 0, przy czym 0 jest matematycznie interpretowane jako -1.
Brzmi to jak druzgocąca utrata precyzji. Jak sieć może nauczyć się czegokolwiek niuansowego (subtelnej różnicy między kotem a psem albo nastroju zdania), mając do dyspozycji tylko dwie liczby? Odpowiedź leży w wysokowymiarowej geometrii uczenia głębokiego.
Rozważmy eksperyment myślowy. Jeśli podam ci pojedynczą liczbę z zakresu od -1 do +1, nie zakodujesz w niej wiele informacji. Ale jeśli podam ci milion liczb binarnych, z których każda wynosi +1 lub -1, możesz zakodować astronomiczną ilość informacji dzięki ich kombinacjom i wzorcom. Mądrość tłumu milionów binarnych neuronów rekompensuje brak indywidualnej precyzji.
To nie tylko teoria. Badania prowadzone w instytucjach takich jak MIT, Google i Microsoft wykazały, że sieci binarne mogą osiągać dokładność o kilka punktów procentowych niższą niż ich odpowiedniki zmiennoprzecinkowe w wielu praktycznych zadaniach, w tym w klasyfikacji obrazów, wykrywaniu obiektów i rozumieniu języka naturalnego.
Matematyka wydajnych obliczeń
Sprzętowe implikacje tego przejścia z 32-bitowej liczby zmiennoprzecinkowej na 1-bitową liczbę binarną są ogromne. Prześledźmy matematykę krok po kroku.
Podejście zmiennoprzecinkowe: Aby obliczyć iloczyn skalarny dwóch wektorów (podstawową operację w sieciach neuronowych), mnożymy odpowiadające sobie elementy i sumujemy wyniki. Przy użyciu FP32 każde mnożenie wymaga złożonego potoku opisanego powyżej. Dla wektora o długości 512 (typowej w sieciach neuronowych) potrzebujesz 512 mnożeń zmiennoprzecinkowych i 511 dodawań.
Podejście binarne: Gdy mnożysz dwie liczby binarne (+1 lub -1), operacja ta nie jest złożonym mnożeniem zmiennoprzecinkowym. To zwykła bramka logiczna XNOR. Jeśli bity są takie same (oba +1 lub oba -1), wynik wynosi +1. Jeśli są różne, wynik wynosi -1. Bramka XNOR to jedna z najbardziej prymitywnych i wydajnych struktur w elektronice cyfrowej: dosłownie cztery tranzystory.
Co więcej, akumulacja (sumowanie wyników) staje się operacją POPCNT (Population Count), czyli zliczaniem liczby bitów o wartości 1 w ciągu binarnym. Nowoczesne procesory mają dedykowane instrukcje POPCNT od 2008 roku (Intel Nehalem). To, co kiedyś wymagało tysięcy tranzystorów i wielu cykli zegara, teraz dzieje się w jednym cyklu.
Ale prawdziwa magia dzieje się, gdy weźmiemy pod uwagę wektoryzację. Nowoczesne procesory mają rejestry SIMD (Single Instruction, Multiple Data) o szerokości 256 lub 512 bitów. Dzięki operacjom binarnym możesz upakować 512 wag w jeden 512-bitowy rejestr i wykonać wszystkie 512 operacji XNOR jednocześnie. To 16 razy więcej operacji równoległych, niż można osiągnąć przy użyciu FP32 na tym samym sprzęcie.
Dweve Core: 1 937 algorytmów inteligencji binarnej
W Dweve nie potraktowaliśmy binarnych sieci neuronowych jako czysto akademickiej ciekawostki. Zbudowaliśmy na tej zasadzie cały fundament obliczeniowy. Dweve Core zawiera 1 937 zoptymalizowanych pod kątem sprzętu algorytmów w 6 kategoriach i 132 sekcjach, zaprojektowanych od podstaw z myślą o obliczeniach binarnych i niskobitowych.
Nasze podejście wykracza poza zwykłą binaryzację. Obsługujemy pełne spektrum poziomów kwantyzacji:
- Binarny (1-bit): 32-krotna kompresja, maksymalna wydajność dla odpowiednich obciążeń
- Trójkowy (2-bit): 16-krotna kompresja, dodająca stan „zero” dla reprezentacji rzadkich
- 4-bit: 8-krotna kompresja, optymalny punkt dla wielu zadań językowych
- 8-bit: 4-krotna kompresja, dokładność zbliżona do FP32 przy znaczących zyskach wydajnościowych
Każdy poziom jest wspierany przez dedykowane algorytmy zoptymalizowane pod konkretne zaplecza sprzętowe:
- CPU: SSE2, AVX2, AVX-512, ARM NEON, ARM SVE/SVE2
- GPU: CUDA (NVIDIA), ROCm (AMD), Metal (Apple), Vulkan, WebGPU
- FPGA: Natywna synteza bramek XNOR z potokowymi drzewami sumującymi
- WASM: Wykonywanie w przeglądarce z SIMD do wdrożeń brzegowych
To nie teoria. Nasze wewnętrzne testy wydajnościowe na obciążeniach produkcyjnych konsekwentnie pokazują 96% redukcję zużycia energii w porównaniu z równoważnymi implementacjami FP32, przy utracie dokładności zwykle poniżej 2% w zadaniach klasyfikacji i regresji.
Paradoks Jevonsa: czy wydajność doprowadzi do większego zużycia?
Ekonomici i eksperci ds. zrównoważonego rozwoju natychmiast wskażą na paradoks Jevonsa. Ta teoria ekonomiczna, nazwana na cześć XIX-wiecznego ekonomisty Williama Stanleya Jevonsa, głosi, że gdy technologia staje się bardziej wydajna, koszt jej używania spada, co zwiększa popyt, prowadząc do wyższego całkowitego zużycia, a nie niższego.
Jevons zaobserwował to na przykładzie węgla: gdy silniki parowe stawały się bardziej wydajne, nie zmniejszały zużycia węgla. Zamiast tego wydajność uczyniła energię parową ekonomicznie opłacalną dla większej liczby zastosowań, a zużycie węgla eksplodowało.
Jeśli sprawimy, że AI będzie o 96% tańsze i bardziej energooszczędne w uruchamianiu, czy nie będziemy po prostu uruchamiać go 100 razy więcej? Czy nie umieścimy AI w tosterach, szczoteczkach do zębów i jednorazowych kartkach okolicznościowych?
Być może. Efekt odbicia jest realny. Istnieje jednak jakościowa różnica w tym, gdzie ta energia jest zużywana, co ma ogromne znaczenie dla stabilności sieci i zrównoważonego rozwoju.
Obecny kryzys energetyczny w AI wynika ze scentralizowanego trenowania i wnioskowania ogromnych, monolitycznych modeli fundamentowych. Modele te są tak ciężkie, że wymagają scentralizowanych centrów danych o skali hiper. Centra te stanowią punktowe obciążenia sieci energetycznej, wymagając setek megawatów w jednej lokalizacji, co obciąża linie przesyłowe i lokalne moce wytwórcze.
Dlatego Irlandia jest w kryzysie. Dlatego w Północnej Wirginii nie można wystarczająco szybko budować podstacji. Problemem nie jest całkowita ilość energii, lecz jej geograficzne skupienie.
Edge AI: najbardziej zrównoważona transmisja to żadna
Wydajność binarna umożliwia zmianę paradygmatu: przeniesienie inteligencji na brzeg sieci. Zamiast wysyłać polecenie głosowe do ogromnej farmy serwerów na pustyni, gdzie przetwarza je potwór ze 175 miliardami parametrów, może być ono przetwarzane lokalnie na Twoim telefonie, termostacie lub w samochodzie, przy użyciu specjalistycznego modelu binarnego działającego na kilku miliwatach.
To przenosi ciężar energetyczny z centralnej sieci na urządzenia rozproszone. Koszt energii staje się znikomy: to część normalnego zużycia baterii urządzenia. Ładowanie telefonu raz dziennie nie jest kryzysem sieci. Utrzymywanie centrum danych o mocy 100 MW w Zachodnim Dublinie już tak.
Co więcej, umożliwiając działanie AI offline na urządzeniu, eliminujemy koszt energetyczny sieci. Nie musimy uruchamiać radia 5G, wzmacniaczy światłowodowych ani routerów rdzeniowych, aby wysłać dane do chmury i z powrotem. Badania sugerują, że transmisja danych przez sieci komórkowe kosztuje około 0,5 kWh na gigabajt. Najbardziej energooszczędna transmisja danych to taka, która nigdy nie następuje.
Nasza architektura Dweve Loom, z 456 wyspecjalizowanymi zestawami ograniczeń, z których każdy zawiera 64-128 MB ograniczeń binarnych, została zaprojektowana właśnie dla tego rozproszonego modelu. Jednocześnie aktywuje się tylko 4-8 specjalistów domenowych dla danego zapytania, a reprezentacja binarna sprawia, że ci specjaliści domenowi z łatwością mieszczą się w pamięci podręcznej nawet skromnych urządzeń brzegowych.
Zrównoważony rozwój jako metryka jakości kodu
Zbyt długo dyscyplina inżynierii oprogramowania ignorowała energię. Optymalizowaliśmy pod kątem szybkości tworzenia oprogramowania („wydaj szybko") lub surowej wydajności („zrób to szybko"), ale rzadko pod kątem energii („zrób to lekko"). Traktowaliśmy energię elektryczną jako nieskończony, niewidzialny zasób.
W erze kryzysu klimatycznego to zawodowe zaniedbanie. Kod, który marnuje energię, jest złym kodem. Architektura, która wymaga elektrowni jądrowej, aby odpowiedzieć na proste zapytanie obsługi klienta, jest złą architekturą.
Pomyśl o tym z perspektywy systemowej. Kiedy piszesz funkcję wykonującą niepotrzebne operacje zmiennoprzecinkowe, nie tylko marnujesz cykle. Powodujesz przełączanie tranzystorów, przepływ elektronów, wytwarzanie ciepła, a ostatecznie emisję dwutlenku węgla gdzieś tam. To prawda, niezależnie od tego, czy to widzisz, czy nie.
Ta sama zasada, która skłoniła nas do dbania o wycieki pamięci (niewidzialne marnotrawstwo zasobów), powinna skłonić nas do dbania o marnotrawstwo energii. Oba przypadki to porażka dyscypliny inżynierskiej.
CSRD i nadchodząca rzeczywistość regulacyjna
Krajobraz regulacyjny nadąża za tą rzeczywistością. Dyrektywa UE w sprawie sprawozdawczości przedsiębiorstw w zakresie zrównoważonego rozwoju (CSRD) zmusza duże firmy do rozliczania emisji z zakresu 3. Zakres 3 obejmuje emisje pośrednie w górę i w dół łańcucha wartości produktów i usług, które kupują.
Oznacza to, że wkrótce klienci korporacyjni będą wymagać informacji o śladzie węglowym usług AI, które kupują. „Zielona AI" nie będzie tylko hasłem marketingowym; stanie się twardym wymogiem w procesie zakupowym. Bank nie kupi systemu wykrywania oszustw opartego na AI, jeśli zrujnuje on jego zobowiązania Net Zero.
Europejskie standardy sprawozdawczości w zakresie zrównoważonego rozwoju (ESRS) wymagają od firm raportowania:
- E1 Zmiana klimatu: w tym zużycie energii i emisje gazów cieplarnianych
- E3 Zasoby wodne i morskie: istotne dla chłodzenia centrów danych
- Emisje z zakresu 3: w tym zakupione towary i usługi (interfejsy API AI)
Firmy kupujące usługi AI będą musiały uzyskać dane dotyczące intensywności emisji dwutlenku węgla od swoich dostawców. Dostawcy, którzy nie będą w stanie wykazać energooszczędnych architektur, zostaną wykluczeni z europejskich kontraktów korporacyjnych.
To nie jest hipoteza. Duże europejskie banki, firmy ubezpieczeniowe i przedsiębiorstwa przemysłowe już budują ramy obliczania zakresu 3, które obejmują usługi chmurowe i AI. Do 2026 roku raportowanie CSRD będzie obowiązkowe dla firm zatrudniających ponad 250 pracowników.
Przyszłość zielonych obliczeń
Przejście na zieloną sztuczną inteligencję wymaga czegoś więcej niż tylko wydajnych algorytmów. Wymaga całościowego przemyślenia całego stosu obliczeniowego.
Nowe spojrzenie na sprzęt
Obserwujemy rozwój chipów neuromorficznych i architektur obliczeń w pamięci, zaprojektowanych specjalnie do operacji o niskiej precyzji, rozrzedzonych i binarnych. Chipy te naśladują ludzki mózg, który działa na około 20 watach mocy (mniej niż przyćmiona żarówka), a jednocześnie przewyższa superkomputery o skali megawatów w generalizacji i uczeniu się.
Loihi od Intela, TrueNorth od IBM i chipy wielu startupów badają ten kierunek. Ale nie musisz czekać na egzotyczny sprzęt. Algorytmy Dweve Core są zoptymalizowane pod jednostki SIMD obecne już w każdym nowoczesnym procesorze. Nasze jądra AVX-512 zapewniają wnioskowanie sieci binarnych z prędkością dorównującą wnioskowaniu zmiennoprzecinkowemu opartemu na GPU, przy ułamku zużycia energii.
Nowe spojrzenie na dane
Musimy tworzyć mniejsze, lepszej jakości zbiory danych, aby trenować mniejsze i wydajniejsze modele, zamiast polegać na metodzie siłowej polegającej na wchłanianiu całego internetu. To podejście, które nazywamy „godnością danych”, uznaje, że więcej danych nie zawsze oznacza lepsze dane.
Obecne podejście branży, polegające na zasysaniu każdego tekstu w internecie i wrzucaniu go do ogromnego modelu, jest obliczeniowym odpowiednikiem odkrywkowej eksploatacji. Jest marnotrawne, szkodliwe dla środowiska i ostatecznie niezrównoważone.
Nowe spojrzenie na oczekiwania
Czy naprawdę potrzebujemy modelu o bilionie parametrów, aby ustawić minutnik albo streścić e-mail? Czy to nie przesada?
Zasada „dobierania rozmiaru” modeli AI do danego zadania ma fundamentalne znaczenie dla zrównoważonych obliczeń. Binarny klasyfikator do wykrywania spamu nie potrzebuje tej samej architektury co model generujący twórczą prozę. Tymczasem trend w branży polega na używaniu tych samych ogromnych modeli bazowych do wszystkiego, jakby przeprawiać się przez rzekę statkiem wycieczkowym.
Architektura Dweve wprost realizuje tę zasadę. Nasze 456 zestawów ograniczeń dla wyspecjalizowanych domen sprawia, że dla danego zadania aktywują się tylko odpowiednie specjalizacje. Prosta klasyfikacja może aktywować 4 specjalistów domenowych. Złożone zadanie rozumowania może aktywować 8. Ale nigdy nie marnujemy energii na uruchamianie pełnego modelu, skoro wystarczy jego ułamek.
Droga naprzód: praktyczne kroki w kierunku wdrożenia zielonej sztucznej inteligencji
Jeśli jako przedsiębiorstwo rozważasz swoją strategię AI przez pryzmat zrównoważonego rozwoju, oto konkretne kroki, które warto rozważyć:
1. Zmierz swój ślad węglowy AI: Zanim będziesz mógł zmniejszyć emisje, musisz je zrozumieć. Współpracuj z dostawcami AI, aby uzyskać dane dotyczące intensywności emisji dwutlenku węgla dla każdej inferencji. Jeśli nie są w stanie ich dostarczyć, to samo w sobie jest użyteczną informacją o ich dojrzałości w zakresie zrównoważonego rozwoju.
2. Dopasuj rozmiar modeli do potrzeb: Przejrzyj swoje wdrożenia AI. Czy używasz modelu o parametrach 175B do zadań, które mógłby obsłużyć model o parametrach 1B (lub model binarny)? Oszczędności energii wynikające z dopasowania rozmiaru modelu mogą być o rzędy wielkości większe.
3. Rozważ wdrożenie brzegowe: W przypadku zadań tolerujących opóźnienia, czy inferencja może odbywać się na urządzeniu zamiast w chmurze? Modele binarne umożliwiają scenariusze wdrożeń brzegowych, które wcześniej były niemożliwe.
4. Wymagaj przejrzystości: Uwzględnij wymagania dotyczące intensywności emisji dwutlenku węgla w kryteriach zakupowych AI. Ponieważ raportowanie CSRD staje się obowiązkowe, i tak będziesz potrzebować tych danych. Rozpoczęcie teraz stawia Cię przed krzywą regulacyjną.
5. Oceń alternatywy binarne: W przypadku klasyfikacji, regresji i wielu zadań językowych binarne sieci neuronowe oferują równoważną dokładność przy 96% niższym koszcie energii. Technologia jest gotowa do produkcji.
Wniosek: matematyka jest prosta
Przyszłość AI to nie większe procesory graficzne. To nie więcej elektrowni jądrowych do zasilania centrów danych. Przyszłość AI to mądrzejsza arytmetyka. Jest wydajna, rozproszona i binarna. Czas uczynić inteligencję zrównoważoną.
Jesteśmy na rozdrożu. Jedna ścieżka prowadzi do dalszego wykładniczego wzrostu zużycia energii przez AI, ze wszystkimi konsekwencjami dla środowiska i stabilności sieci. Druga ścieżka prowadzi do wydajnej, zrównoważonej AI, która może skalować się, aby służyć miliardom ludzi bez przegrzewania planety.
Różnica między tymi ścieżkami nie polega na optymalizacji przyrostowej ani na kredytach na energię odnawialną. Różnica ma charakter architektoniczny. To różnica między 32 bitami niepotrzebnej precyzji a elegancką prostotą +1 i -1.
W Dweve wybraliśmy swoją drogę. Nasze systemy zużywają o 96% mniej energii niż tradycyjne modele zmiennoprzecinkowe, zachowując przy tym równoważną dokładność dla obciążeń korporacyjnych. Niezależnie od tego, czy stoisz przed wymogami zgodności z CSRD, martwisz się o ślad węglowy swojej organizacji, czy po prostu wierzysz, że zrównoważona technologia to lepsza technologia, oferujemy konkretną alternatywę dla energochłonnego status quo.
Matematyka jest prosta: bardziej ekologiczna sztuczna inteligencja zaczyna się od oszczędniejszej arytmetyki. Przyszłość inteligencji jest binarna.