Zaļais mākslīgais intelekts ir binārs: peldošā komata ietekme uz vidi
The Carbon Footprint of Intelligence
There is a dirty secret at the heart of the Artificial Intelligence revolution. It is a secret obscured by slick marketing campaigns featuring wind turbines and solar panels, and buried under mountains of carbon offset certificates purchased by Big Tech. The secret is this: modern AI, in its current architectural form, is an environmental disaster waiting to happen.
By 2025, the global AI compute infrastructure is consuming more electricity than the entire country of Argentina. Data centers in Ireland are now consuming nearly 20% of the nation's total power grid, creating a genuine energy crisis that is forcing the government to reconsider new connections. In Northern Virginia (the data center capital of the world), power utilities are warning that they physically cannot build transmission lines fast enough to feed the insatiable hunger of the GPU clusters.
The industry's primary response to this has been to focus on the source of the energy. "We are 100% renewable!" the hyperscalers claim. And while using green energy is certainly better than using coal, it misses the fundamental point. Renewable energy is a finite, scarce resource. Every gigawatt of green power sucked up by an inefficient AI model is a gigawatt that cannot be used to decarbonize steel production, cement manufacturing, or transportation. We are cannibalizing the green grid to fuel chatbots.
We do not just need greener power. We need leaner math.
This is not a problem you can solve by purchasing carbon offsets or building more wind turbines. It is an architectural problem. The AI industry has built its entire infrastructure on the most energy-inefficient form of arithmetic possible: 32-bit floating point operations. And until we address that fundamental design flaw, all the solar panels in the Sahara will not be enough.
Fizika aiz neefektivitātes: izpratne par peldošā komata aritmētiku
Lai saprastu, kāpēc mākslīgais intelekts patērē tik daudz enerģijas, ir jāskatās garām datu centru dzesēšanas sistēmām un jāiedziļinās tajā, kas notiek mikroskopiskā līmenī. Ir jāsaprot aritmētika.
Pēdējās desmitgades laikā dziļās mācīšanās uzplaukums ir balstīts uz peldošā komata aritmētiku, konkrētāk FP32 (32 bitu peldošais komats) un nesenāk FP16 vai BF16. Peldošā komata skaitlis ir sarežģīts skaitļošanas veidojums. Tas ir izstrādāts, lai attēlotu plašu vērtību diapazonu, sākot no subatomiskām līdz astronomiskām. Lai to panāktu, tas izmanto 32 bitus, kas sadalīti zīmes bitā, 8 bitu eksponentā un 23 bitu mantisā (plus netiešā vadošā 1).
Lai reizinātu divus FP32 skaitļus, procesoram jāveic sarežģīta loģisko vārtu deja. Tam jāsaskaņo decimālpunkti (denormalizācija), jāreizina signifikandi (24x24 bitu reizināšana), jāsaskaita eksponenti, jānormalizē rezultāts, jāapstrādā pieci dažādi IEEE noapaļošanas režīmi un jāpārvalda izņēmumi, piemēram, NaN, Infinity un underflow. Šī loģika prasa tūkstošiem tranzistoru, kas ieslēdzas un izslēdzas.
Katru reizi, kad tranzistors pārslēdzas, tas patērē enerģiju. To nosaka fundamentālais fizikas vienādojums:
E = C × V² × f
Kur E ir enerģija, C ir kapacitāte (proporcionāla tranzistoru skaitam), V ir spriegums un f ir pārslēgšanās frekvence. Vairāk tranzistoru nozīmē lielāku kapacitāti, kas nozīmē vairāk enerģijas uz vienu darbību.
Bet tas kļūst vēl sarežģītāk. Katru reizi, kad pārvietojat šos 32 bitus no atmiņas (DRAM) uz procesora kešatmiņu un no kešatmiņas uz reģistru, jūs patērējat papildu enerģiju. Patiesībā mūsdienu skaitļošanas sistēmās datu pārvietošana izmaksā ievērojami vairāk enerģijas nekā aprēķinu veikšana. Nozīmīgais Horowitz pētījums no Stanfordas (ISSCC 2014) parādīja, ka lasīšana no DRAM izmaksā aptuveni 200x vairāk enerģijas nekā pašas aritmētikas veikšana.
To sauc par "Von Neumann Bottleneck", un tas ir mūsdienu skaitļošanas pamatierobežojums. Mūs neierobežo tas, cik ātri mēs varam aprēķināt; mūs ierobežo tas, cik ātri mēs varam piegādāt datus skaitļošanas dzinējiem.
Tagad iedomājieties, ka liela valodas modeļa, piemēram, GPT-4, apmācība ietver aptuveni 10^24 (septiljonu) šādu peldošā komata darbību. Niecīgās enerģijas izmaksas vienai FP32 reizināšanai, reizinot ar septiljonu, kļūst par planētas mēroga problēmu. Mēs būtībā dedzinām mežus, lai reizinātu matricas ar nevajadzīgu precizitāti.
Binārā revolūcija: reprezentācijas pārdomāšana
Šeit spēli maina binārie neironu tīkli. Tie ir fundamentāla pārdomāšana par to, kā mēs attēlojam informāciju mākslīgās smadzenēs.
BNN mēs noņemam sarežģītību. Mēs ierobežojam svarus (savienojumus starp neironiem) un aktivācijas (neironu izvades) tikai ar divām iespējamām vērtībām: +1 un -1. Aparatūrā tas parasti tiek attēlots kā 1 un 0, kur 0 matemātiski tiek interpretēts kā -1.
Tas izklausās pēc postoša precizitātes zaudējuma. Kā tīkls ar tikai diviem skaitļiem var iemācīties kaut ko niansētu (smalko atšķirību starp kaķi un suni vai teikuma noskaņu)? Atbilde slēpjas dziļās mācīšanās augstas dimensijas ģeometrijā.
Iedomājieties domu eksperimentu. Ja es jums iedodu vienu skaitli starp -1 un +1, jūs nevarat iekodēt daudz informācijas. Bet, ja es jums iedodu miljonu bināro skaitļu, katru +1 vai -1, jūs varat iekodēt astronomisku informācijas daudzumu, izmantojot to kombinācijas un modeļus. Miljonu bināro neironu "pūļa gudrība" kompensē individuālās precizitātes trūkumu.
Tas nav tikai teorija. Pētījumi no tādām institūcijām kā MIT, Google un Microsoft ir pierādījuši, ka binārie tīkli daudzos praktiskos uzdevumos, tostarp attēlu klasifikācijā, objektu noteikšanā un dabiskās valodas izpratnē, var sasniegt precizitāti dažu procentpunktu robežās no to peldošā komata ekvivalentiem.
Efektīvas skaitļošanas matemātika
Aparatūras ietekme, pārejot no 32 bitu peldošā komata uz 1 bitu bināro formātu, ir dziļa. Iziesim cauri matemātikai soli pa solim.
Peldošā komata pieeja: Lai aprēķinātu divu vektoru punktu reizinājumu (neironu tīklu pamatoperācija), jūs reiziniet atbilstošos elementus un summējat rezultātus. Ar FP32 katra reizināšana prasa iepriekš aprakstīto sarežģīto cauruļvadu. Vektoram ar garumu 512 (tipisks neironu tīklos) jums ir nepieciešamas 512 peldošā komata reizināšanas un 511 saskaitīšanas.
Binārā pieeja: Reizinot divus bināros skaitļus (+1 vai -1), operācija nav sarežģīta peldošā komata reizināšana. Tas ir vienkāršs XNOR loģiskais elements. Ja biti ir vienādi (abi +1 vai abi -1), rezultāts ir +1. Ja tie atšķiras, rezultāts ir -1. XNOR elements ir viena no primitīvākajām un efektīvākajām struktūrām digitālajā elektronikā: burtiski četri tranzistori.
Turklāt akumulācija (rezultātu summēšana) kļūst par POPCNT (Population Count) operāciju: 1 bitu skaitīšanu binārā virknē. Mūsdienu CPU ir īpašas POPCNT instrukcijas kopš 2008. gada (Intel Nehalem). Tas, kam agrāk vajadzēja tūkstošiem tranzistoru un vairākus pulksteņa ciklus, tagad notiek vienā ciklā.
Bet īstā maģija notiek, kad ņem vērā vektorizāciju. Mūsdienu CPU ir SIMD (Single Instruction, Multiple Data) reģistri, kas ir 256 vai 512 bitu plati. Ar binārajām operācijām jūs varat iesaiņot 512 svarus vienā 512 bitu reģistrā un veikt visas 512 XNOR operācijas vienlaikus. Tas ir 16 reizes vairāk paralēlu operāciju, nekā jūs varat sasniegt ar FP32 uz tās pašas aparatūras.
Dweve Core: 1,937 algoritmi binārajai inteliģencei
Uzņēmumā Dweve mēs neesam tikai eksperimentējuši ar binārajiem neironu tīkliem kā akadēmisku kuriozu. Mēs esam uzbūvējuši visu skaitļošanas pamatu uz šī principa. Dweve Core satur 1,937 aparatūrai optimizētus algoritmus 6 kategorijās un 132 sadaļās, un visi ir izstrādāti no nulles binārajai un zemu bitu skaitļošanai.
Mūsu pieeja sniedzas tālāk par vienkāršu binarizāciju. Mēs atbalstām kvantizācijas līmeņu spektru:
- Binārais (1 bits): 32x saspiešana, maksimālā efektivitāte piemērotām darba slodzēm
- Trīsvērtīgais (2 biti): 16x saspiešana, pievienojot "nulles" stāvokli retiem attēlojumiem
- 4 biti: 8x saspiešana, ideāls risinājums daudziem valodas uzdevumiem
- 8 biti: 4x saspiešana, gandrīz FP32 precizitāte ar ievērojamu efektivitātes pieaugumu
Katru līmeni atbalsta īpaši algoritmi, kas optimizēti konkrētām aparatūras platformām:
- CPU: SSE2, AVX2, AVX-512, ARM NEON, ARM SVE/SVE2
- GPU: CUDA (NVIDIA), ROCm (AMD), Metal (Apple), Vulkan, WebGPU
- FPGA: Vietējā XNOR vārtu sintēze ar cauruļvadu summatoru kokiem
- WASM: Pārlūkā balstīta izpilde ar SIMD malu izvietošanai
Tas nav tikai teorija. Mūsu iekšējie etaloni reālās darba slodzēs konsekventi uzrāda 96% enerģijas samazinājumu salīdzinājumā ar līdzvērtīgām FP32 implementācijām, un precizitātes zudums klasifikācijas un regresijas uzdevumos parasti ir mazāks par 2%.
Dževonsa paradokss: vai efektivitāte novedīs pie lielāka patēriņa?
Ekonomisti un ilgtspējas eksperti nekavējoties norādīs uz Dževonsa paradoksu. Šī ekonomikas teorija, kas nosaukta 19. gadsimta ekonomista Viljama Stenlija Dževonsa vārdā, nosaka, ka, tehnoloģijai kļūstot efektīvākai, tās lietošanas izmaksas samazinās, kas palielina pieprasījumu un noved pie lielāka kopējā patēriņa, nevis mazāka.
Dževons to novēroja ar oglēm: tvaika dzinējiem kļūstot efektīvākiem, ogļu patēriņš nesamazinājās. Tā vietā efektivitāte padarīja tvaika enerģiju ekonomiski dzīvotspējīgu vairāk lietojumu, un ogļu patēriņš eksplodēja.
Ja mēs padarīsim mākslīgo intelektu par 96% lētāku un energoefektīvāku, vai mēs vienkārši nepalielināsim tā izmantošanu 100 reizes? Vai mēs neieliksim mākslīgo intelektu tosteros, zobu birstēs un vienreizējās apsveikuma kartītēs?
Iespējams. Atgriezeniskās iedarbības efekts ir reāls. Taču pastāv būtiska atšķirība tajā, kur šī enerģija tiek patērēta, un tam ir milzīga nozīme tīkla stabilitātei un ilgtspējai.
Pašreizējo enerģētikas krīzi mākslīgā intelekta jomā veicina milzīgu, monolītu pamatmodeļu centralizēta apmācība un secinājumu izpilde. Šie modeļi ir tik smagi, ka tiem nepieciešami centralizēti, īpaši liela mēroga datu centri. Šie datu centri ir punktveida slodzes elektrotīklā, vienā vietā patērējot simtiem megavatu un noslogojot pārvades līnijas un vietējo ģenerēšanas jaudu.
Tieši tāpēc Īrija ir krīzē. Tieši tāpēc Ziemeļvirdžīnijā nevar pietiekami ātri uzbūvēt jaunas apakšstacijas. Problēma nav kopējais enerģijas daudzums, bet gan tās ģeogrāfiskā koncentrācija.
Edge AI: ilgtspējīgākā pārraide ir tā, kuras nav
Binārā efektivitāte ļauj veikt paradigmas maiņu: virzīt intelektu uz ierīces malu. Tā vietā, lai nosūtītu jūsu balss komandu uz milzīgu serveru fermu tuksnesī, kur to apstrādātu 175 miljardu parametru briesmonis, to var apstrādāt lokāli jūsu tālrunī, termostatā vai automašīnā, izmantojot specializētu bināro modeli, kas darbojas ar dažiem milivatiem.
Tas pārceļ enerģijas slogu no centralizētā tīkla uz izkliedētām ierīcēm. Enerģijas izmaksas kļūst niecīgas: tā ir daļa no ierīces parastā akumulatora patēriņa. Tālruņa uzlāde reizi dienā nav tīkla krīze. 100 MW datu centra darbināšana Rietumdublīnā ir.
Turklāt, nodrošinot bezsaistes, ierīcē iebūvētu mākslīgo intelektu, mēs novēršam tīkla enerģijas izmaksas. Mums nav jāieslēdz 5G radio, optisko šķiedru retranslatori un pamata maršrutētāji, lai nosūtītu datus uz mākoni un atpakaļ. Pētījumi liecina, ka datu pārraide pa mobilajiem tīkliem izmaksā aptuveni 0,5 kWh par gigabaitu. Visefektīvākā datu pārraide ir tā, kas nekad nenotiek.
Mūsu Dweve Loom arhitektūra ar tās 456 specializētajiem ierobežojumu komplektiem, no kuriem katrs satur 64-128 MB bināro ierobežojumu, ir īpaši izstrādāta šim izkliedētajam modelim. Konkrētam vaicājumam vienlaikus aktivizējas tikai 4-8 domēnu speciālisti, un binārā attēlojuma dēļ šie domēnu speciālisti ērti ietilpst pat pieticīgu malu ierīču kešatmiņā.
Ilgtspēja kā koda kvalitātes rādītājs
Pārāk ilgi programmatūras inženierijas disciplīna ir ignorējusi enerģiju. Mēs optimizējām izstrādātāju ātrumu ("izlaist ātri") vai neapstrādātu veiktspēju ("padarīt ātru"), bet reti enerģiju ("padarīt vieglu"). Mēs izturējāmies pret elektrību kā pret bezgalīgu, neredzamu resursu.
Klimata krīzes laikmetā tā ir profesionāla nolaidība. Kods, kas tērē enerģiju, ir slikts kods. Arhitektūra, kurai nepieciešama atomelektrostacija, lai atbildētu uz vienkāršu klientu apkalpošanas vaicājumu, ir slikta arhitektūra.
Padomājiet par to no sistēmas perspektīvas. Rakstot funkciju, kas veic nevajadzīgas peldošā komata darbības, jūs netērējat tikai ciklus. Jūs liekat tranzistoriem pārslēgties, elektroniem plūst, siltumam rasties un galu galā ogleklim izdalīties kaut kur. Tas ir patiesi neatkarīgi no tā, vai jūs to redzat vai nē.
Tas pats princips, kas lika mums rūpēties par atmiņas noplūdēm (neredzama resursu izšķērdēšana), liek mums rūpēties arī par enerģijas izšķērdēšanu. Abi ir inženierijas disciplīnas trūkums.
CSRD un gaidāmā regulatīvā realitāte
Regulatīvā vide panāk šo realitāti. ES Korporatīvās ilgtspējas ziņošanas direktīva (CSRD) liek lieliem uzņēmumiem uzskaitīt savas 3. tvēruma emisijas. 3. tvērums ietver to preču un pakalpojumu augšupējās un lejupējās emisijas, ko tie iegādājas.
Tas nozīmē, ka drīz uzņēmumu klienti pieprasīs uzzināt to mākslīgā intelekta pakalpojumu oglekļa pēdas nospiedumu, ko tie iegādājas. "Zaļais mākslīgais intelekts" nebūs tikai mārketinga sauklis; tā būs stingra iepirkuma prasība. Banka nepirks mākslīgā intelekta krāpšanas atklāšanas sistēmu, ja tā sagraus viņu nulles emisiju saistības.
Eiropas ilgtspējas ziņošanas standarti (ESRS) pieprasa uzņēmumiem ziņot par:
- E1 Klimata pārmaiņas: Ieskaitot enerģijas patēriņu un siltumnīcefekta gāzu emisijas
- E3 Ūdens un jūras resursi: Būtiski datu centru dzesēšanai
- 3. tvēruma emisijas: Ieskaitot iegādātās preces un pakalpojumus (MI lietojumprogrammu saskarnes)
Uzņēmumiem, kas iegādājas mākslīgā intelekta pakalpojumus, būs jāiegūst oglekļa intensitātes dati no saviem pakalpojumu sniedzējiem. Pakalpojumu sniedzēji, kuri nevar pierādīt energoefektīvas arhitektūras, tiks izslēgti no Eiropas uzņēmumu līgumiem.
Tas nav hipotētisks jautājums. Lielas Eiropas bankas, apdrošināšanas sabiedrības un rūpniecības uzņēmumi jau veido 3. tvēruma aprēķinu sistēmas, kas ietver mākoņdatošanas un mākslīgā intelekta pakalpojumus. Līdz 2026. gadam CSRD ziņošana būs obligāta uzņēmumiem ar vairāk nekā 250 darbiniekiem.
Zaļās skaitļošanas nākotne
Pāreja uz zaļo mākslīgo intelektu prasa vairāk nekā tikai efektīvus algoritmus. Tā prasa holistisku pārdomāšanu visam skaitļošanas stekam.
Aparatūras pārdomāšana
Mēs redzam neiromorfo mikroshēmu un atmiņā veiktās skaitļošanas arhitektūru attīstību, kas īpaši izstrādātas zemas precizitātes, retām un binārām operācijām. Šīs mikroshēmas atdarina cilvēka smadzenes, kas darbojas ar aptuveni 20 vatu jaudu (mazāk nekā vāja spuldze), tomēr vispārināšanā un mācīšanās spējās pārspēj megavatu mēroga superdatorus.
Intel Loihi, IBM TrueNorth un daudzu jaunuzņēmumu mikroshēmas pēta šo virzienu. Bet jums nav jāgaida eksotiska aparatūra. Dweve Core algoritmi ir optimizēti SIMD vienībām, kas jau ir katrā mūsdienu procesorā. Mūsu AVX-512 kodoli nodrošina bināro neironu tīklu inferenci ātrumā, kas konkurē ar GPU bāzētu peldošā komata inferenci, patērējot tikai daļu enerģijas.
Datu pārdomāšana
Mums ir jāveido mazākas, augstākas kvalitātes datu kopas, lai varētu trenēt mazākus un efektīvākus modeļus, nevis jāpaļaujas uz brutālā spēka metodi, kas aprij visu internetu. Šī pieeja, ko saucam par "datu cieņu", atzīst, ka vairāk datu ne vienmēr nozīmē labākus datus.
Nozares pašreizējā pieeja, kas iesūc visu interneta tekstu un iemet to milzīgā modelī, skaitļošanas ziņā ir līdzvērtīga atklātā ieguvei. Tā ir izšķērdīga, kaitē videi un ilgtermiņā nav ilgtspējīga.
Gaidu pārdomāšana
Vai mums tiešām ir vajadzīgs modelis ar triljonu parametru, lai iestatītu taimeri vai apkopotu e-pastu? Vai tā nav pārspīlēti?
"Pareiza izmēra" AI modeļu izvēle atbilstoši konkrētajam uzdevumam ir ilgtspējīgas skaitļošanas pamats. Bināram surogātpasta noteikšanas klasifikatoram nav vajadzīga tāda pati arhitektūra kā modelim, kas rada radošo literatūru. Tomēr nozares tendence ir izmantot vienus un tos pašus milzīgos pamatmodeļus visam, it kā šķērsotu upi ar kruīza kuģi.
Dweve arhitektūra nepārprotami iemieso šo principu. Mūsu 456 specializēto jomas ekspertu ierobežojumu kopas nozīmē, ka katram uzdevumam aktivizējas tikai attiecīgie jomas eksperti. Vienkārša klasifikācija var aktivizēt 4 jomas ekspertus. Sarežģīts spriešanas uzdevums var aktivizēt 8. Bet mēs nekad netērējam enerģiju, palaižot visu modeli, ja pietiek ar daļu.
Ceļš uz priekšu: praktiski soļi zaļā mākslīgā intelekta ieviešanai
Ja esat uzņēmums, kas izvērtē savu mākslīgā intelekta stratēģiju no ilgtspējas viedokļa, šeit ir konkrēti soļi, ko apsvērt:
1. Izmēriet sava mākslīgā intelekta oglekļa pēdas nospiedumu: Pirms varat samazināt emisijas, tās ir jāsaprot. Strādājiet ar saviem mākslīgā intelekta pakalpojumu sniedzējiem, lai iegūtu oglekļa intensitātes datus par katru secinājumu. Ja viņi to nevar nodrošināt, tas pats par sevi ir noderīga informācija par viņu ilgtspējas briedumu.
2. Pielāgojiet savu modeļu izmēru: Pārskatiet savus mākslīgā intelekta risinājumus. Vai izmantojat 175B parametru modeli uzdevumiem, kurus varētu veikt 1B parametru modelis (vai binārais modelis)? Enerģijas ietaupījums, pareizi izvēloties modeļa izmēru, var būt par vairākām kārtām lielāks.
3. Apsveriet ieviešanu tīkla malā: Uzdevumiem, kas pieļauj aizkavi, vai secinājumus var veikt ierīcē, nevis mākonī? Binārie modeļi ļauj ieviest risinājumus tīkla malā, kas iepriekš nebija iespējami.
4. Pieprasiet caurskatāmību: Iekļaujiet oglekļa intensitātes prasības savos mākslīgā intelekta iepirkuma kritērijos. Tā kā CSRD ziņošana kļūst obligāta, šie dati jums tik un tā būs nepieciešami. Sākot tagad, jūs apsteigsiet regulatīvās izmaiņas.
5. Izvērtējiet binārās alternatīvas: Klasifikācijas, regresijas un daudziem valodas uzdevumiem binārie neironu tīkli nodrošina līdzvērtīgu precizitāti ar 96% mazāku enerģijas patēriņu. Tehnoloģija ir gatava ražošanai.
Secinājums: matemātika ir vienkārša
Mākslīgā intelekta nākotne nav lielāki GPU. Tā nav arī vairāk atomelektrostaciju, lai barotu datu centrus. Mākslīgā intelekta nākotne ir gudrāka aritmētika. Tā ir efektīva, izkliedēta un bināra. Ir pienācis laiks padarīt inteliģenci ilgtspējīgu.
Mēs atrodamies ceļa sazarojumā. Viens ceļš ved uz turpmāku eksponenciālu mākslīgā intelekta enerģijas patēriņa pieaugumu ar visām no tā izrietošajām sekām uz vidi un tīkla stabilitāti. Otrs ceļš ved uz efektīvu, ilgtspējīgu mākslīgo intelektu, kas var mērogoties, lai apkalpotu miljardiem cilvēku, nevis karsētu planētu.
Atšķirība starp šiem ceļiem nav pakāpeniska optimizācija vai atjaunojamās enerģijas sertifikāti. Atšķirība ir arhitektoniska. Tā ir atšķirība starp 32 bitiem nevajadzīgas precizitātes un eleganto +1 un -1 vienkāršību.
Uzņēmumā Dweve mēs esam izvēlējušies savu ceļu. Mūsu sistēmas patērē par 96% mazāk enerģijas nekā tradicionālie peldošā komata modeļi, vienlaikus saglabājot līdzvērtīgu precizitāti korporatīvajām darba slodzēm. Neatkarīgi no tā, vai jums jāatbilst CSRD atbilstības prasībām, vai rūp jūsu organizācijas oglekļa pēdas nospiedums, vai arī jūs vienkārši uzskatāt, ka ilgtspējīga tehnoloģija ir labāka tehnoloģija, mēs piedāvājam konkrētu alternatīvu enerģijas ietilpīgajam status quo.
Matemātika ir vienkārša: zaļāks mākslīgais intelekts sākas ar racionālāku aritmētiku. Nākotne pieder binārajam intelektam.