Žaliasis DI yra dvejetainis: aplinkos kaina slankiojo kablelio skaičiavimų
The Carbon Footprint of Intelligence
There is a dirty secret at the heart of the Artificial Intelligence revolution. It is a secret obscured by slick marketing campaigns featuring wind turbines and solar panels, and buried under mountains of carbon offset certificates purchased by Big Tech. The secret is this: modern AI, in its current architectural form, is an environmental disaster waiting to happen.
By 2025, the global AI compute infrastructure is consuming more electricity than the entire country of Argentina. Data centers in Ireland are now consuming nearly 20% of the nation's total power grid, creating a genuine energy crisis that is forcing the government to reconsider new connections. In Northern Virginia (the data center capital of the world), power utilities are warning that they physically cannot build transmission lines fast enough to feed the insatiable hunger of the GPU clusters.
The industry's primary response to this has been to focus on the source of the energy. "We are 100% renewable!" the hyperscalers claim. And while using green energy is certainly better than using coal, it misses the fundamental point. Renewable energy is a finite, scarce resource. Every gigawatt of green power sucked up by an inefficient AI model is a gigawatt that cannot be used to decarbonize steel production, cement manufacturing, or transportation. We are cannibalizing the green grid to fuel chatbots.
We do not just need greener power. We need leaner math.
This is not a problem you can solve by purchasing carbon offsets or building more wind turbines. It is an architectural problem. The AI industry has built its entire infrastructure on the most energy-inefficient form of arithmetic possible: 32-bit floating point operations. And until we address that fundamental design flaw, all the solar panels in the Sahara will not be enough.
The Physics of Inefficiency: Understanding Floating Point Arithmetic
To understand why AI is so energy-hungry, you have to look past the data center cooling systems and examine what is happening at the microscopic level. You have to understand the arithmetic.
For the last decade, the Deep Learning boom has been built on the back of Floating Point arithmetic, specifically FP32 (32-bit floating point) and more recently FP16 or BF16. A floating-point number is a complex computational beast. It is designed to represent a vast range of values, from the subatomic to the astronomical. To do this, it uses 32 bits divided into a sign bit, an 8-bit exponent, and a 23-bit mantissa (plus an implicit leading 1).
To multiply two FP32 numbers, a processor has to perform a complex dance of logic gates. It must align the decimal points (denormalization), multiply the significands (a 24x24 bit multiplication), add the exponents, normalize the result, handle five different IEEE rounding modes, and manage exceptions like NaN, Infinity, and underflow. This logic requires thousands of transistors switching on and off.
Every time a transistor switches, it consumes energy. This is governed by the fundamental physics equation:
E = C × V² × f
Where E is energy, C is capacitance (proportional to transistor count), V is voltage, and f is switching frequency. More transistors means more capacitance, which means more energy per operation.
But it gets worse. Every time you move those 32 bits from memory (DRAM) to the processor cache, and from cache to the register, you consume additional energy. In fact, in modern computing systems, moving data costs significantly more energy than computing on it. The landmark Horowitz paper from Stanford (ISSCC 2014) showed that reading from DRAM costs roughly 200x more energy than performing the arithmetic itself.
This is known as the "Von Neumann Bottleneck," and it is the fundamental constraint of modern computing. We are not limited by how fast we can compute; we are limited by how fast we can feed the compute engines with data.
Dabar įsivaizduokite, kad didelio kalbos modelio, kaip GPT-4, mokymas apima maždaug 10^24 (septilijoną) šių slankiojo kablelio operacijų. Nykstamai maža vienos FP32 daugybos energijos sąnauda, padauginta iš septilijono, tampa planetos masto problema. Iš esmės deginame miškus, kad daugintume matricas su nereikalingu tikslumu.
Dvejetainė revoliucija: permąstant atvaizdavimą
Čia į žaidimą įsitraukia dvejetainiai neuroniniai tinklai. Jie įkūnija esminį permąstymą, kaip atvaizduojame informaciją dirbtinėse smegenyse.
BNN tinkle nuimame sudėtingumo sluoksnį. Svorius (jungtis tarp neuronų) ir aktyvacijas (neuronų išvestį) apribojame tik dviem galimomis reikšmėmis: +1 ir -1. Techninėje įrangoje tai paprastai atvaizduojama kaip 1 ir 0, o 0 matematiškai interpretuojama kaip -1.
Tai skamba kaip pražūtingas tikslumo praradimas. Kaip tinklas gali išmokti ką nors niuansuoto (subtilią skirtį tarp katės ir šuns ar sakinio nuotaiką) turėdamas tik du skaičius? Atsakymas slypi didelės dimensijos giliųjų tinklų geometrijoje.
Įsivaizduokite minties eksperimentą. Jei duosiu jums vieną skaičių tarp -1 ir +1, juo užkoduosite nedaug informacijos. Bet jei duosiu milijoną dvejetainių skaičių, kurių kiekvienas yra +1 arba -1, jų deriniais ir šablonais galite užkoduoti astronominį informacijos kiekį. Milijonų dvejetainių neuronų „minios išmintis“ kompensuoja individualaus tikslumo trūkumą.
Tai ne vien teorija. Įvairių institucijų, įskaitant MIT, „Google“ ir „Microsoft“, tyrimai parodė, kad dvejetainiai tinklai daugelyje praktinių užduočių, įskaitant vaizdų klasifikavimą, objektų aptikimą ir natūralios kalbos supratimą, gali pasiekti tikslumą, kuris nuo slankiojo kablelio atitikmenų atsilieka tik keliais procentiniais punktais.
Efektyvaus skaičiavimo matematika
Šio perėjimo nuo 32 bitų slankiojo kablelio prie 1 bito dvejetainio formato pasekmės techninei įrangai yra didžiulės. Panagrinėkime matematiką žingsnis po žingsnio.
Slankiojo kablelio metodas: Norint apskaičiuoti dviejų vektorių skaliarinę sandaugą (pagrindinę neuroninių tinklų operaciją), reikia padauginti atitinkamus elementus ir susumuoti rezultatus. Naudojant FP32, kiekvienai daugybai reikia aukščiau aprašyto sudėtingo apdorojimo grandinės. 512 ilgio vektoriui (tipiškas neuroniniuose tinkluose) reikia 512 slankiojo kablelio daugybų ir 511 sudėčių.
Dvejetainis metodas: Kai dauginate du dvejetainius skaičius (+1 arba -1), operacija nėra sudėtinga slankiojo kablelio daugyba. Tai paprastas XNOR loginis elementas. Jei bitai vienodi (abu +1 arba abu -1), rezultatas yra +1. Jei jie skiriasi, rezultatas yra -1. XNOR elementas yra viena primityviausių ir efektyviausių struktūrų skaitmeninėje elektronikoje: tiesiog keturi tranzistoriai.
Be to, akumuliacija (rezultatų sumavimas) tampa POPCNT (populiacijos skaičiaus) operacija: 1 bitų skaičiavimas dvejetainėje eilutėje. Šiuolaikiniai procesoriai turi specialias POPCNT instrukcijas nuo 2008 m. („Intel Nehalem“). Tai, kam anksčiau reikėjo tūkstančių tranzistorių ir kelių laikrodžio ciklų, dabar įvyksta per vieną ciklą.
Tačiau tikroji magija atsiskleidžia įvertinus vektorizavimą. Šiuolaikiniai procesoriai turi SIMD (viena instrukcija, daug duomenų) registrus, kurių plotis yra 256 arba 512 bitų. Naudodami dvejetaines operacijas galite į vieną 512 bitų registrą sutalpinti 512 svorių ir vienu metu atlikti visas 512 XNOR operacijų. Tai 16 kartų daugiau lygiagrečių operacijų nei galima pasiekti su FP32 toje pačioje techninėje įrangoje.
Dweve Core: 1 937 algoritmai dvejetainiam intelektui
„Dweve“ dvejetainiais neuroniniais tinklais neužsiimame tik kaip akademine įdomybe. Ant šio principo pastatėme visą skaičiavimų pagrindą. „Dweve Core“ sudaro 1 937 technine įranga optimizuoti algoritmai, suskirstyti į 6 kategorijas ir 132 skyrius, ir visi nuo pat pradžių sukurti dvejetainiam ir mažo bitų skaičiaus skaičiavimui.
Mūsų metodas neapsiriboja paprastu dvejetainimu. Palaikome visą kvantavimo lygių spektrą:
- Dvejetainis (1 bitas): 32x suspaudimas, didžiausias efektyvumas tinkamiems darbo krūviams
- Trinaris (2 bitai): 16x suspaudimas, pridedanti „nulio“ būseną retiems atvaizdavimams
- 4 bitai: 8x suspaudimas, optimalus taškas daugeliui kalbos užduočių
- 8 bitai: 4x suspaudimas, beveik FP32 tikslumas su dideliu efektyvumo padidėjimu
Kiekvieną lygį palaiko tam tikrai techninei įrangai optimizuoti algoritmai:
- CPU: SSE2, AVX2, AVX-512, ARM NEON, ARM SVE/SVE2
- GPU: CUDA (NVIDIA), ROCm (AMD), Metal (Apple), Vulkan, WebGPU
- FPGA: Natūrali XNOR vartų sintezė su konvejerinėmis sumavimo medžių struktūromis
- WASM: Vykdymas naršyklėje su SIMD, skirtas diegimui įrenginių pakraštyje
Tai ne teorija. Mūsų vidiniai etaloniniai testai su gamybiniais darbo krūviais nuosekliai rodo 96 % mažesnes energijos sąnaudas, palyginti su lygiaverčiais FP32 diegimais, o tikslumo nuostoliai klasifikavimo ir regresijos užduotyse paprastai nesiekia 2 %.
Dževonso paradoksas: ar efektyvumas lems didesnį vartojimą?
Ekonomistai ir tvarumo ekspertai iškart atkreips dėmesį į Dževonso paradoksą. Ši ekonominė teorija, pavadinta XIX a. ekonomisto Williamo Stanley Jevonso vardu, teigia, kad technologijoms tampant efektyvesnėms, jų naudojimo kaina krinta, o tai didina paklausą ir lemia didesnį bendrą vartojimą, o ne mažesnį.
Jevonsas tai pastebėjo su anglimi: garo varikliams tampant efektyvesniems, anglies suvartojimas nemažėjo. Vietoj to efektyvumas padarė garo energiją ekonomiškai perspektyvią daugiau pritaikymų, ir anglies suvartojimas išaugo.
Jei paleisti dirbtinį intelektą padarysime 96 % pigiau ir efektyviau energijos atžvilgiu, ar nepaleisime jo 100 kartų daugiau? Ar neįdėsime dirbtinio intelekto į skrudintuvus, dantų šepetėlius ir vienkartinius sveikinimo atvirukus?
Galbūt. Atatrankos efektas yra realus. Tačiau yra kokybinis skirtumas, kur ta energija suvartojama, ir tai nepaprastai svarbu tinklo stabilumui ir tvarumui.
Dabartinę dirbtinio intelekto energetikos krizę lemia centralizuotas didžiulių, monolitinių pagrindinių modelių mokymas ir inferencija. Šie modeliai tokie sunkūs, kad jiems reikia centralizuotų itin didelio masto duomenų centrų. Šie duomenų centrai yra tinklo apkrovos taškai, kuriems vienoje vietoje reikia šimtų megavatų, o tai apkrauna perdavimo linijas ir vietinį generavimo pajėgumą.
Štai kodėl Airija išgyvena krizę. Štai kodėl Šiaurės Virdžinijoje negali pakankamai greitai pastatyti pastočių. Problema yra ne bendras energijos kiekis, o geografinė koncentracija.
Edge AI: tvariausias perdavimas yra tas, kurio nėra
Dvejetainis efektyvumas įgalina paradigmos pokytį: intelekto perkėlimą į įrenginio kraštą. Vietoj to, kad balso komanda būtų siunčiama į milžinišką serverių fermą dykumoje, kur ją apdorotų 175 milijardų parametrų monstras, ją galima apdoroti vietoje, jūsų telefone, termostate ar automobilyje, naudojant specializuotą dvejetainį modelį, veikiantį su kelių milivatų galia.
Taip energijos našta perkeliama iš centralizuoto tinklo į paskirstytus įrenginius. Energijos sąnaudos tampa nereikšmingos: tai tik dalis įprasto įrenginio baterijos naudojimo. Telefono įkrovimas kartą per dieną nėra tinklo krizė. O 100 MW duomenų centro Veš Dubline veikimas yra.
Be to, įgalindami neprisijungus veikiantį, įrenginyje esantį dirbtinį intelektą, pašaliname tinklo energijos sąnaudas. Mums nereikia įjungti 5G radijo imtuvų, šviesolaidinių kartotuvų ir pagrindinių maršrutizatorių, kad siųstume duomenis į debesį ir atgal. Tyrimai rodo, kad duomenų perdavimas korinio ryšio tinklais kainuoja maždaug 0,5 kWh už gigabaitą. Efektyviausias energijos požiūriu duomenų perdavimas yra tas, kuris niekada neįvyksta.
Mūsų Dweve Loom architektūra su 456 specializuotais apribojimų rinkiniais, kurių kiekviename yra 64-128 MB dvejetainių apribojimų, yra specialiai sukurta šiam paskirstytam modeliui. Bet kuriai užklausai vienu metu suaktyvinami tik 4-8 srities specialistai, o dvejetainis vaizdavimas reiškia, kad šie srities specialistai patogiai telpa net ir kuklių įrenginių talpykloje.
Tvarumas kaip kodo kokybės metrika
Per ilgai programinės įrangos inžinerijos disciplina ignoravo energiją. Optimizavome kūrėjų greitį („paleisk greitai") arba neapdorotą našumą („padaryk greitai"), bet retai energiją („padaryk lengvai"). Elektros energiją laikėme begaliniu, nematomu ištekliumi.
Klimato krizės eroje tai yra profesinis aplaidumas. Kodas, kuris eikvoja energiją, yra blogas kodas. Architektūra, kuriai reikia atominės elektrinės, kad atsakytų į paprastą klientų aptarnavimo užklausą, yra bloga architektūra.
Pagalvokite apie tai iš sistemos perspektyvos. Kai rašote funkciją, kuri atlieka nereikalingas slankiojo kablelio operacijas, jūs ne tik švaistote ciklus. Jūs sukeliate tranzistorių perjungimą, elektronų srautą, šilumos generavimą ir galiausiai anglies dioksido išmetimą kažkur. Tai tiesa, nesvarbu, ar matote tai, ar ne.
Tas pats principas, kuris paskatino mus rūpintis atminties nutekėjimais (nematomu išteklių švaistymu), turėtų paskatinti mus rūpintis energijos švaistymu. Abu atvejai rodo inžinerinės disciplinos trūkumą.
CSRD ir artėjanti reguliavimo realybė
Reguliavimo aplinka vejasi šią realybę. ES Įmonių tvarumo atskaitomybės direktyva (CSRD) verčia dideles įmones atsiskaityti už savo 3 apimties išmetamųjų teršalų kiekį. 3 apimtis apima perkamų produktų ir paslaugų prieš srovę ir pasroviui susidarančius išmetamuosius teršalus.
Tai reiškia, kad netrukus verslo klientai reikalaus žinoti jų perkamų dirbtinio intelekto paslaugų anglies pėdsaką. „Žaliasis DI" nebebus tik rinkodaros šūkis; tai taps griežtu viešųjų pirkimų reikalavimu. Bankas nepirks DI sukčiavimo aptikimo sistemos, jei ji sugriaus jų Net Zero įsipareigojimus.
Europos tvarumo atskaitomybės standartai (ESRS) reikalauja, kad įmonės atsiskaitytų už:
- E1 Klimato kaita: įskaitant energijos suvartojimą ir šiltnamio efektą sukeliančių dujų išmetimą
- E3 Vanduo ir jūrų ištekliai: aktualu duomenų centrų aušinimui
- 3 apimties išmetamieji teršalai: įskaitant įsigytas prekes ir paslaugas (DI API)
Įmonės, perkančios DI paslaugas, turės gauti anglies intensyvumo duomenis iš savo tiekėjų. Tiekėjai, kurie negali parodyti efektyvių energijos sąnaudų architektūrų, atsidurs užrakinti už Europos verslo sutarčių durų.
Tai ne hipotetinė situacija. Didieji Europos bankai, draudimo bendrovės ir pramonės įmonės jau kuria 3 apimties (Scope 3) skaičiavimo sistemas, į kurias įtrauktos debesijos ir dirbtinio intelekto paslaugos. Nuo 2026 m. CSRD ataskaitų teikimas bus privalomas įmonėms, turinčioms daugiau nei 250 darbuotojų.
Žaliosios skaičiavimo ateitis
Perėjimas prie žaliojo DI reikalauja daugiau nei tik efektyvių algoritmų. Reikia holistiškai permąstyti visą skaičiavimo kaminą.
Techninės įrangos permąstymas
Matome neuromorfinių lustų ir skaičiavimo atmintyje architektūrų atsiradimą, kurios specialiai sukurtos mažo tikslumo, retoms, dvejetainėms operacijoms. Šie lustai imituoja žmogaus smegenis, kurios veikia maždaug 20 vatų galia (mažiau nei silpna lemputė), tačiau apibendrinant ir mokantis pranoksta megavatų masto superkompiuterius.
„Intel“ „Loihi“, IBM „TrueNorth“ ir daugybė startuolių lustų tyrinėja šią kryptį. Tačiau nereikia laukti egzotiškos techninės įrangos. „Dweve Core“ algoritmai optimizuoti SIMD blokams, kurie jau yra kiekviename šiuolaikiniame procesoriuje. Mūsų AVX-512 branduoliai atlieka dvejetainio neuroninio tinklo išvadas tokiu greičiu, kuris prilygsta GPU slankiojo kablelio išvadoms, sunaudodami tik dalį energijos.
Duomenų permąstymas
Turime kuruoti mažesnius, aukštesnės kokybės duomenų rinkinius, kad galėtume treniruoti mažesnius, efektyvesnius modelius, o ne pasikliauti brutalia jėga įsisavinant visą internetą. Šis metodas, kurį vadiname „duomenų orumu“, pripažįsta, kad daugiau duomenų ne visada reiškia geresnius duomenis.
Dabartinis pramonės metodas, kai surenkamas kiekvienas interneto tekstas ir sumetamas į milžinišką modelį, skaičiavimo prasme prilygsta atvirajai kasybai. Tai švaistu, kenksminga aplinkai ir galiausiai netvaru.
Lūkesčių permąstymas
Ar tikrai reikia trilijono parametrų modelio, kad nustatytume laikmatį ar apibendrintume el. laišką? O gal tai perteklius?
Principas „tinkamo dydžio“ DI modelių pritaikymo konkrečiai užduočiai yra esminis tvariam skaičiavimui. Dvejetainis šiukšlių filtro klasifikatorius nereikalauja tokios pat architektūros kaip modelis, kuriantis grožinę literatūrą. Vis dėlto pramonės tendencija yra naudoti tuos pačius didžiulius pagrindinius modelius viskam, tarsi keltumeis kruiziniu laivu per upę.
„Dweve“ architektūra aiškiai įkūnija šį principą. Mūsų 456 specializuoti domeno specialistų apribojimų rinkiniai reiškia, kad bet kuriai užduočiai suaktyvėja tik atitinkami domeno specialistai. Paprastai klasifikacijai gali pakakti 4 domenų specialistų. Sudėtingai samprotavimo užduočiai gali prireikti 8. Tačiau niekada nešvaistome energijos paleisdami visą modelį, kai pakanka dalies.
Kelias į priekį: praktiniai žingsniai diegiant žaliąjį DI
Jei esate įmonė, svarstanti savo DI strategiją tvarumo požiūriu, štai konkretūs žingsniai, kuriuos verta apsvarstyti:
1. Įvertinkite savo DI anglies pėdsaką: Prieš mažindami išmetamųjų teršalų kiekį, turite jį suprasti. Bendradarbiaukite su savo DI teikėjais, kad gautumėte anglies intensyvumo duomenis kiekvienai išvadai. Jei jie negali jų pateikti, tai jau savaime yra naudinga informacija apie jų tvarumo brandą.
2. Tinkamai parinkite modelių dydį: Atlikite savo DI diegimų auditą. Ar naudojate 175B parametrų modelį užduotims, kurias galėtų atlikti 1B parametrų modelis (arba dvejetainis modelis)? Energijos sutaupymas tinkamai parinkus modelio dydį gali siekti kelias eiles dydžio.
3. Apsvarstykite diegimą įrenginio lygmenyje: Ar užduotims, kurios toleruoja delsą, išvadas galima atlikti įrenginyje, o ne debesyje? Dvejetainiai modeliai įgalina diegimo įrenginio lygmenyje scenarijus, kurie anksčiau buvo neįmanomi.
4. Reikalaukite skaidrumo: Įtraukite anglies intensyvumo reikalavimus į savo DI pirkimo kriterijus. Kai CSRD ataskaitų teikimas taps privalomas, šių duomenų jums vis tiek prireiks. Pradėję dabar, būsite priekyje reguliavimo kreivės.
5. Įvertinkite dvejetaines alternatyvas: Klasifikavimo, regresijos ir daugeliui kalbos užduočių dvejetainiai neuroniniai tinklai užtikrina lygiavertį tikslumą, sunaudodami 96% mažiau energijos. Ši technologija yra paruošta gamybai.
Išvada: matematika paprasta
DI ateitis nėra didesni GPU. Tai ne daugiau atominių elektrinių duomenų centrams maitinti. DI ateitis yra protingesnė aritmetika. Ji efektyvi, paskirstyta ir dvejetainė. Atėjo laikas padaryti intelektą tvarų.
Esame kelio išsišakojime. Vienas kelias veda į nuolatinį eksponentinį DI energijos suvartojimo augimą su visomis su tuo susijusiomis pasekmėmis aplinkai ir tinklo stabilumui. Kitas kelias veda į efektyvų, tvarų DI, galintį plėstis, kad aptarnautų milijardus žmonių, nesukepindamas planetos.
Skirtumas tarp šių kelių nėra laipsniškas optimizavimas ar atsinaujinančios energijos kreditai. Skirtumas yra architektūrinis. Tai skirtumas tarp 32 bitų nereikalingo tikslumo ir elegantiško +1 bei -1 paprastumo.
„Dweve“ pasirinkome savo kelią. Mūsų sistemos sunaudoja 96 % mažiau energijos nei tradiciniai slankiojo kablelio modeliai, išlaikydamos lygiavertį tikslumą įmonės darbo krūviams. Nesvarbu, ar susiduriate su CSRD atitikties reikalavimais, ar rūpinatės savo organizacijos anglies pėdsaku, ar tiesiog tikite, kad tvarios technologijos yra geresnės technologijos, siūlome konkrečią alternatyvą energiją ryjančiam status quo.
Matematika paprasta: žalesnis dirbtinis intelektas prasideda nuo liesesnės aritmetikos. Intelekto ateitis yra dvejetainė.