Zeleni AI je binaran: ekološka cijena brojeva s pomičnim zarezom
Ugljični otisak inteligencije
Postoji prljava tajna u srcu revolucije umjetne inteligencije. To je tajna koju prikrivaju dotjerane marketinške kampanje s vjetroturbinama i solarnim pločama te koja je zatrpana planinama certifikata o kompenzaciji ugljika koje je otkupio veliki tehnološki sektor. Tajna je sljedeća: moderna umjetna inteligencija, u svom trenutnom arhitektonskom obliku, ekološka je katastrofa koja tek čeka da se dogodi.
Do 2025. globalna računalna infrastruktura za umjetnu inteligenciju trošit će više električne energije od cijele Argentine. Podatkovni centri u Irskoj već troše gotovo 20 % ukupne nacionalne elektroenergetske mreže, što stvara pravu energetsku krizu koja vladu prisiljava na preispitivanje novih priključaka. U Sjevernoj Virginiji (svjetskoj prijestolnici podatkovnih centara) elektroenergetska poduzeća upozoravaju da fizički ne mogu dovoljno brzo graditi dalekovode kako bi nahranila neutaživu glad GPU klastera.
Primarni odgovor industrije na to bio je usredotočiti se na izvor energije. "Mi smo 100 % obnovljivi!", tvrde vlasnici hyperscale podatkovnih centara. I premda je korištenje zelene energije svakako bolje od korištenja ugljena, to promašuje bit. Obnovljiva energija ograničen je i oskudan resurs. Svaki gigavat zelene struje koju posisa neučinkovit model umjetne inteligencije gigavat je koji se ne može iskoristiti za dekarbonizaciju proizvodnje čelika, proizvodnje cementa ili prometa. Kanibaliziramo zelenu mrežu kako bismo hranili chatbotove.
Ne treba nam samo zelenija struja. Treba nam učinkovitija matematika.
To nije problem koji možete riješiti kupnjom kompenzacija za ugljik ili izgradnjom dodatnih vjetroturbina. To je arhitektonski problem. Industrija umjetne inteligencije izgradila je cijelu svoju infrastrukturu na najenergetski neučinkovitijem obliku aritmetike koji postoji: operacijama s pomičnim zarezom u 32-bitnoj preciznosti. I dok ne riješimo taj temeljni dizajnerski nedostatak, sve solarne ploče u Sahari neće biti dovoljne.
Fizika neučinkovitosti: Razumijevanje aritmetike s pomičnim zarezom
Da biste razumjeli zašto je umjetna inteligencija toliko energetski zahtjevna, morate pogledati pokraj sustava za hlađenje podatkovnih centara i ispitati što se događa na mikroskopskoj razini. Morate razumjeti aritmetiku.
U posljednjem desetljeću procvat dubokog učenja izgrađen je na leđima aritmetike s pomičnim zarezom, točnije FP32 (32-bitni pomični zarez), a novije i FP16 ili BF16. Broj s pomičnim zarezom složeno je računalno biće. Dizajniran je za prikaz ogromnog raspona vrijednosti, od subatomskih do astronomskih. Da bi to postigao, koristi 32 bita podijeljena na bit predznaka, 8-bitni eksponent i 23-bitnu mantisu (plus implicitnu vodeću jedinicu).
Da bi pomnožio dva FP32 broja, procesor mora izvesti složen ples logičkih sklopova. Mora poravnati decimalne točke (denormalizacija), pomnožiti signifikande (množenje 24x24 bita), zbrojiti eksponente, normalizirati rezultat, obraditi pet različitih IEEE načina zaokruživanja te upravljati iznimkama poput NaN, Infinity i podlijevanja. Ta logika zahtijeva tisuće tranzistora koji se uključuju i isključuju.
Svaki put kad se tranzistor prebaci, troši energiju. To je uređeno temeljnom fizikalnom jednadžbom:
E = C × V² × f
Gdje je E energija, C kapacitet (proporcionalan broju tranzistora), V napon, a f frekvencija prebacivanja. Više tranzistora znači veći kapacitet, što znači više energije po operaciji.
Ali postaje još gore. Svaki put kad pomaknete tih 32 bita iz memorije (DRAM) u predmemoriju procesora te iz predmemorije u registar, trošite dodatnu energiju. Zapravo, u modernim računalnim sustavima premještanje podataka košta znatno više energije nego računanje na njima. Pionirski rad Horowitza sa Stanforda (ISSCC 2014) pokazao je da čitanje iz DRAM-a košta otprilike 200 puta više energije nego sama aritmetika.
To je poznato kao "Von Neumannovo usko grlo" i to je temeljno ograničenje modernog računarstva. Nismo ograničeni time koliko brzo možemo računati; ograničeni smo time koliko brzo možemo hraniti računalne motore podacima.
Razmotrite sada da treniranje velikog jezičnog modela poput GPT-4 uključuje otprilike 10^24 (septilijun) tih operacija s pomičnim zarezom. Sićušni energetski trošak jednog FP32 množenja, kada se pomnoži sa septilijunom, postaje planetarni problem. U biti spaljujemo šume da bismo množili matrice s nepotrebnom preciznošću.
Binarna revolucija: Promišljanje reprezentacije
Tu binarne neuronske mreže mijenjaju pravila igre. One predstavljaju temeljito promišljanje načina na koji predstavljamo informacije u umjetnom mozgu.
U BNN-u uklanjamo složenost. Ograničavamo težine (veze između neurona) i aktivacije (izlaze neurona) na samo dvije moguće vrijednosti: +1 i -1. U hardveru se to obično predstavlja kao 1 i 0, pri čemu se 0 matematički tumači kao -1.
To zvuči kao poguban gubitak preciznosti. Kako mreža može naučiti bilo što nijansirano (suptilnu razliku između mačke i psa ili sentiment rečenice) sa samo dva broja? Odgovor leži u visokodimenzionalnoj geometriji dubokog učenja.
Razmotrite misaoni eksperiment. Ako vam dam jedan broj između -1 i +1, ne možete kodirati mnogo informacija. No ako vam dam milijun binarnih brojeva, od kojih je svaki +1 ili -1, možete kodirati astronomsku količinu informacija kroz njihove kombinacije i obrasce. "Mudrost gomile" milijuna binarnih neurona nadoknađuje nedostatak pojedinačne preciznosti.
To nije samo teorija. Istraživanja institucija poput MIT-a, Googlea i Microsofta pokazala su da binarne mreže mogu postići točnost unutar nekoliko postotnih bodova svojih pandana s pomičnim zarezom na mnogim praktičnim zadacima, uključujući klasifikaciju slika, detekciju objekata i razumijevanje prirodnog jezika.
Matematika učinkovitog računanja
Hardverske implikacije ovog pomaka s 32-bitnog zapisa s pomičnim zarezom na 1-bitni binarni zapis duboke su. Prođimo kroz matematiku korak po korak.
Pristup s pomičnim zarezom: Za izračun skalarnog produkta dvaju vektora (temeljne operacije u neuronskim mrežama), množite odgovarajuće elemente i zbrajate rezultate. S FP32, svako množenje zahtijeva složeni cjevovod opisan gore. Za vektor duljine 512 (tipičan u neuronskim mrežama), trebate 512 množenja s pomičnim zarezom i 511 zbrajanja.
Binarni pristup: Kada množite dva binarna broja (+1 ili -1), operacija nije složeno množenje s pomičnim zarezom. To je jednostavna XNOR logička sklopka. Ako su bitovi isti (oba +1 ili oba -1), rezultat je +1. Ako su različiti, rezultat je -1. XNOR sklopka jedna je od najprimitivnijih i najučinkovitijih struktura u digitalnoj elektronici: doslovno četiri tranzistora.
Nadalje, akumulacija (zbrajanje rezultata) postaje POPCNT (Population Count) operacija: brojanje 1-bitova u binarnom nizu. Moderni procesori imaju namjenske POPCNT instrukcije od 2008. godine (Intel Nehalem). Ono što je zahtijevalo tisuće tranzistora i više ciklusa takta sada se događa u jednom ciklusu.
No prava čarolija događa se kada uzmete u obzir vektorizaciju. Moderni procesori imaju SIMD (Single Instruction, Multiple Data) registre širine 256 ili 512 bita. S binarnim operacijama možete strpati 512 težina u jedan 512-bitni registar i izvesti svih 512 XNOR operacija istovremeno. To je 16 puta više paralelnih operacija nego što možete postići s FP32 na istom hardveru.
Dweve Core: 1.937 algoritama za binarnu inteligenciju
U Dweveu se nismo bavili binarnim neuronskim mrežama tek kao akademskom zanimljivošću. Na tom smo načelu izgradili cijeli računalni temelj. Dweve Core sadrži 1.937 algoritama optimiziranih za hardver, raspoređenih u 6 kategorija i 132 odjeljka, a svi su od samog početka osmišljeni za binarno i niskobitno računanje.
Naš pristup nadilazi jednostavnu binarizaciju. Podržavamo spektar razina kvantizacije:
- Binarno (1 bit): 32x kompresija, maksimalna učinkovitost za prikladna opterećenja
- Ternary (2 bita): 16x kompresija, dodaje "nulto" stanje za rijetke reprezentacije
- 4 bita: 8x kompresija, idealna točka za mnoge jezične zadatke
- 8 bita: 4x kompresija, gotovo FP32 točnost uz značajne uštede u učinkovitosti
Svaku razinu podržavaju namjenski algoritmi optimizirani za određene hardverske pozadine:
- CPU: SSE2, AVX2, AVX-512, ARM NEON, ARM SVE/SVE2
- GPU: CUDA (NVIDIA), ROCm (AMD), Metal (Apple), Vulkan, WebGPU
- FPGA: Izvorna sinteza XNOR vrata s protočnim stablima zbrajala
- WASM: Izvođenje u pregledniku sa SIMD-om za rubnu implementaciju
Ovo nije teorija. Naša interna mjerila na proizvodnim opterećenjima dosljedno pokazuju 96% smanjenje potrošnje energije u usporedbi s jednakim FP32 implementacijama, uz gubitak točnosti koji je obično manji od 2% za zadatke klasifikacije i regresije.
Jevonsov paradoks: hoće li učinkovitost dovesti do veće potrošnje?
Ekonomisti i stručnjaci za održivost odmah će ukazati na Jevonsov paradoks. Ta ekonomska teorija, nazvana po ekonomistu Williamu Stanleyju Jevonsu iz 19. stoljeća, kaže da kako tehnologija postaje učinkovitija, trošak njezine upotrebe pada, što povećava potražnju i dovodi do veće ukupne potrošnje umjesto manje.
Jevons je to uočio s ugljenom: kako su parni strojevi postajali učinkovitiji, nisu smanjili potrošnju ugljena. Umjesto toga, učinkovitost je parnu energiju učinila ekonomski isplativom za više primjena, a potrošnja ugljena je eksplodirala.
Ako AI učinimo 96% jeftinijim i energetski učinkovitijim za pokretanje, nećemo li ga jednostavno pokretati 100 puta više? Nećemo li staviti AI u tostere, četkice za zube i jednokratne čestitke?
Možda. Učinak odbijanja je stvaran. Ali postoji kvalitativna razlika u tome gdje se ta energija troši, što je iznimno važno za stabilnost mreže i održivost.
Trenutačna energetska kriza u području umjetne inteligencije uzrokovana je centraliziranim treniranjem i zaključivanjem golemih, monolitnih temeljnih modela. Ti su modeli toliko teški da zahtijevaju centralizirane, hiperrazmjerne podatkovne centre. Ti su podatkovni centri točkasta opterećenja na elektroenergetskoj mreži, koja na jednom mjestu troše stotine megavata te opterećuju dalekovode i lokalne proizvodne kapacitete.
Zato je Irska u krizi. Zato Sjeverna Virginia ne može dovoljno brzo graditi nove transformatorske stanice. Problem nije ukupna energija; problem je zemljopisna koncentracija.
Rubni AI: najodrživiji prijenos je onaj koji se ne događa
Binarna učinkovitost omogućuje paradigmatski pomak: pomicanje inteligencije na rub. Umjesto slanja glasovne naredbe u golemi poslužiteljski centar u pustinji koju obrađuje monstrum sa 175 milijardi parametara, naredba se može obraditi lokalno na vašem telefonu, termostatu ili automobilu, pomoću specijaliziranog binarnog modela koji radi na svega nekoliko milivata.
Time se energetsko opterećenje premješta sa centralizirane mreže na distribuirane uređaje. Trošak energije postaje zanemariv: dio je uobičajene potrošnje baterije uređaja. Punjenje telefona jednom dnevno nije kriza za elektroenergetsku mrežu. Pokretanje podatkovnog centra od 100 MW u zapadnom Dublinu jest.
Nadalje, omogućavanjem izvanmrežne umjetne inteligencije na samom uređaju, eliminiramo energetski trošak mreže. Ne moramo uključivati 5G radijske odašiljače, optičke pojačivače i središnje usmjerivače kako bismo poslali podatke u oblak i natrag. Istraživanja pokazuju da prijenos podataka putem mobilnih mreža košta otprilike 0,5 kWh po gigabajtu. Najučinkovitiji prijenos podataka je onaj koji se nikada ne dogodi.
Naša Dweve Loom arhitektura, sa svojih 456 specijaliziranih skupova ograničenja od kojih svaki sadrži 64-128 MB binarnih ograničenja, posebno je dizajnirana za ovaj distribuirani model. Za bilo koji upit istovremeno se aktivira samo 4-8 domena specijalista, a binarna reprezentacija znači da ti domeni specijalisti udobno stanu u predmemoriju čak i skromnih rubnih uređaja.
Održivost kao mjera kvalitete koda
Predugo je softversko inženjerstvo ignoriralo energiju. Optimizirali smo za brzinu razvoja („isporuči brzo") ili sirove performanse („učini brzo"), ali rijetko za energiju („učini lagano"). Električnu energiju tretirali smo kao beskonačan, nevidljiv resurs.
U eri klimatske krize to je profesionalni nemar. Kod koji troši energiju je loš kod. Arhitektura koja zahtijeva nuklearnu elektranu da bi odgovorila na jednostavan upit korisničke službe je loša arhitektura.
Razmislite o tome iz perspektive sustava. Kada napišete funkciju koja izvodi nepotrebne operacije s pomičnim zarezom, ne trošite samo procesorske cikluse. Uzrokujete prebacivanje tranzistora, protok elektrona, stvaranje topline i, u konačnici, emisiju ugljika negdje drugdje. To je istina bez obzira možete li to vidjeti ili ne.
Isti princip koji nas je naveo da brinemo o curenju memorije (nevidljivo rasipanje resursa) trebao bi nas navesti da brinemo o rasipanju energije. Oba predstavljaju propust inženjerske discipline.
CSRD i nadolazeća regulatorna stvarnost
Regulatorni okvir sustiže ovu stvarnost. Direktiva EU-a o korporativnom izvještavanju o održivosti (CSRD) prisiljava velike tvrtke da obračunavaju svoje emisije iz opsega 3. Opseg 3 uključuje uzvodne i nizvodne emisije proizvoda i usluga koje kupuju.
To znači da će uskoro korporativni kupci zahtijevati uvid u ugljični otisak AI usluga koje kupuju. „Zeleni AI" neće biti samo marketinški slogan; postat će strogi uvjet nabave. Banka neće kupiti AI sustav za otkrivanje prijevara ako joj to ruši obveze Net Zero.
Europski standardi izvještavanja o održivosti (ESRS) zahtijevaju od tvrtki da izvještavaju o:
- E1 Klimatske promjene: uključujući potrošnju energije i emisije stakleničkih plinova
- E3 Vodni i morski resursi: relevantno za hlađenje podatkovnih centara
- Emisije iz opsega 3: uključujući kupljenu robu i usluge (AI API-ji)
Tvrtke koje kupuju AI usluge morat će pribaviti podatke o intenzitetu ugljika od svojih dobavljača. Dobavljači koji ne mogu dokazati energetski učinkovitu arhitekturu bit će isključeni iz europskih korporativnih ugovora.
Ovo nije hipotetska situacija. Velike europske banke, osiguravajuća društva i industrijske tvrtke već grade okvire za izračun opsega 3 koji uključuju usluge u oblaku i usluge umjetne inteligencije. Do 2026. godine izvještavanje prema CSRD-u bit će obvezno za tvrtke s više od 250 zaposlenika.
Budućnost zelenog računalstva
Prijelaz na zelenu umjetnu inteligenciju zahtijeva više od samih učinkovitih algoritama. Zahtijeva cjelovito promišljanje cijelog računalnog sloja.
Promišljanje hardvera
Svjedočimo usponu neuromorfnih čipova i arhitektura računalstva u memoriji koji su posebno dizajnirani za operacije niske preciznosti, rijetke i binarne operacije. Ti čipovi oponašaju ljudski mozak koji radi na oko 20 vata snage (manje od prigušene žarulje), a ipak nadmašuje superračunala megavatne skale u generalizaciji i učenju.
Intelov Loihi, IBM-ov TrueNorth i brojni startup čipovi istražuju taj smjer. No ne morate čekati egzotični hardver. Algoritmi Dweve Corea optimizirani su za SIMD jedinice koje već postoje u svakom modernom procesoru. Naše AVX-512 jezgre izvode zaključivanje binarne neuronske mreže brzinama koje pariraju zaključivanju s pomičnim zarezom na GPU-ovima, uz djelić potrošnje energije.
Promišljanje podataka
Moramo pripremiti manje, kvalitetnije skupove podataka kako bismo mogli trenirati manje i učinkovitije modele, umjesto da se oslanjamo na grubu silu unosa cijelog interneta. Taj pristup, koji nazivamo "dostojanstvo podataka", prepoznaje da više podataka nije uvijek i bolje podatke.
Trenutačni pristup industrije koji usisava svaki tekst na internetu i baca ga u golemi model računalni je ekvivalent površinskog iskopavanja. Rasipan je, destruktivan za okoliš i u konačnici neodrživ.
Promišljanje očekivanja
Trebamo li doista model s trilijun parametara da bismo postavili mjerač vremena ili saželi e-poštu? Ili je to pretjerano?
Načelo "pravog dimenzioniranja" modela umjetne inteligencije prema zadatku temeljno je za održivo računalstvo. Binarni klasifikator za otkrivanje neželjene pošte ne treba istu arhitekturu kao model koji generira kreativnu prozu. A ipak je trend u industriji koristiti iste goleme temeljne modele za sve, poput korištenja kruzerom za prelazak rijeke.
Arhitektura Dwevea izričito prihvaća to načelo. Naših 456 specijaliziranih skupova ograničenja za domenske stručnjake znači da se za svaki zadatak aktiviraju samo relevantni domenski stručnjaci. Jednostavna klasifikacija može aktivirati 4 domenska stručnjaka. Složen zadatak zaključivanja može aktivirati njih 8. Ali nikada ne trošimo energiju na pokretanje cijelog modela kada je dovoljan njegov djelić.
Put naprijed: praktični koraci za usvajanje zelenog umjetnog inteligentnog sustava
Ako ste poduzeće koje razmatra svoju AI strategiju kroz prizmu održivosti, evo konkretnih koraka koje treba razmotriti:
1. Izmjerite ugljični otisak svoje umjetne inteligencije: Prije nego što možete smanjiti emisije, morate ih razumjeti. Surađujte sa svojim pružateljima AI usluga kako biste dobili podatke o intenzitetu ugljika po zaključivanju. Ako ih ne mogu pružiti, to je samo po sebi korisna informacija o njihovoj zrelosti u pogledu održivosti.
2. Prilagodite veličinu svojih modela: Provedite reviziju svojih AI implementacija. Koristite li model sa 175 milijardi parametara za zadatke koje bi mogao riješiti model s 1 milijardom parametara (ili binarni model)? Ušteda energije zbog pravilne veličine modela može biti za redove veličine.
3. Razmotrite implementaciju na rubu mreže: Za zadatke koji toleriraju kašnjenje, može li se zaključivanje odvijati na samom uređaju umjesto u oblaku? Binarni modeli omogućuju scenarije implementacije na rubu mreže koji su prije bili nemogući.
4. Zahtijevajte transparentnost: Uključite zahtjeve za intenzitet ugljika u svoje kriterije za nabavu AI rješenja. Kako izvještavanje prema CSRD-u postaje obvezno, ti će vam podaci ionako trebati. Početak sada stavlja vas ispred regulatorne krivulje.
5. Procijenite binarne alternative: Za klasifikaciju, regresiju i mnoge jezične zadatke, binarne neuronske mreže nude jednaku točnost uz 96% niži trošak energije. Tehnologija je spremna za proizvodnju.
Zaključak: matematika je jednostavna
Budućnost umjetne inteligencije nisu veći GPU-ovi. Nisu ni dodatne nuklearne elektrane za napajanje podatkovnih centara. Budućnost umjetne inteligencije je pametnija aritmetika. Ona je učinkovita, distribuirana i binarna. Vrijeme je da inteligenciju učinimo održivom.
Nalazimo se na raskrižju. Jedan put vodi do nastavka eksponencijalnog rasta potrošnje energije umjetne inteligencije, sa svim posljedicama za okoliš i stabilnost mreže koje to nosi. Drugi put vodi do učinkovite, održive umjetne inteligencije koja se može skalirati kako bi služila milijardama ljudi bez zagrijavanja planeta.
Razlika između tih putova nije inkrementalna optimizacija ili krediti za obnovljivu energiju. Razlika je arhitektonska. To je razlika između 32 bita nepotrebne preciznosti i elegantne jednostavnosti +1 i -1.
U Dweveu smo odabrali svoj put. Naši sustavi troše 96% manje energije od tradicionalnih modela s pomičnim zarezom, uz zadržavanje jednake točnosti za poslovna opterećenja. Bilo da se suočavate sa zahtjevima usklađenosti s CSRD-om, brinete o ugljičnom otisku svoje organizacije ili jednostavno vjerujete da je održiva tehnologija bolja tehnologija, nudimo konkretnu alternativu energetski proždrljivom statusu quo.
Matematika je jednostavna: zelenija umjetna inteligencija počinje s jednostavnijom aritmetikom. Budućnost inteligencije je binarna.