Roheline tehisintellekt on binaarne: ujukomaarvude keskkonnamõju
Intelligentsuse süsiniku jalajälg
Tehisintellekti revolutsiooni südames peitub räpane saladus. See on saladus, mida varjavad siledad turunduskampaaniad tuulikute ja päikesepaneelidega ning mis on maetud Big Techi ostetud süsinikukompensatsioonitunnistuste mägede alla. Saladus on järgmine: kaasaegne AI oma praegusel arhitektuursel kujul on keskkonnakatastroof, mis ootab juhtumist.
Aastaks 2025 tarbib ülemaailmne AI-arvutusinfrastruktuur rohkem elektrit kui terve Argentina riik. Iirimaa andmekeskused tarbivad nüüd ligi 20% riigi kogu elektrivõrgust, tekitades tõelise energi kriisi, mis sunnib valitsust uusi ühendusi ümber kaaluma. Põhja-Virginias (maailma andmekeskuste pealinnas) hoiatavad elektriettevõtted, et nad ei suuda füüsiliselt piisavalt kiiresti ülekandeliine ehitada, et rahuldada GPU-klastrite kustumatut nälga.
Tööstuse peamine vastus sellele on olnud keskendumine energia allikale. "Me oleme 100% taastuvenergia!" väidavad hüperskaalajad. Ja kuigi rohelise energia kasutamine on kindlasti parem kui kivisüsi, jääb see põhipunktist mööda. Taastuvenergia on piiratud ja napp ressurss. Iga gigavatt rohelist energiat, mille ebaefektiivne AI-mudel endasse imeb, on gigavatt, mida ei saa kasutada terasetootmise, tsemenditööstuse või transpordi süsinikuvabaks muutmiseks. Me kannibaliseerime rohelist elektrivõrku, et toita vestlusroboteid.
Meil pole vaja ainult rohelisemat energiat. Meil on vaja lahjamat matemaatikat.
See ei ole probleem, mida saab lahendada süsinikukompensatsioonide ostmise või rohkemate tuulikute ehitamisega. See on arhitektuurne probleem. AI-tööstus on ehitanud kogu oma infrastruktuuri kõige energiae baefektiivsemale aritmeetikavormile: 32-bitistele ujukomaarvutehtele. Ja kuni me seda põhilist disainiviga ei lahenda, ei piisa isegi kõigist Sahara päikesepaneelidest.
Ebatõhususe füüsika: ujukomaaritmeetika mõistmine
Et mõista, miks tehisintellekt nii palju energiat tarbib, tuleb vaadata kaugemale andmekeskuste jahutussüsteemidest ja uurida, mis toimub mikroskoopilisel tasandil. Tuleb mõista aritmeetikat.
Viimase kümnendi jooksul on süvaõppe buum toetunud ujukomaaritmeetikale, täpsemalt FP32 (32-bitine ujukomaarv) ning hiljem FP16 või BF16 vormingule. Ujukomaarv on keerukas arvutuslik konstruktsioon. See on loodud esindama tohutut väärtuste vahemikku, alates subatomaarsest kuni astronoomiliseni. Selleks kasutab see 32 bitti, mis jagunevad märgibitiks, 8-bitiseks eksponendiks ja 23-bitiseks mantissiks (pluss varjatud juhtiv 1).
Kahe FP32 arvu korrutamiseks peab protsessor sooritama keeruka loogikaväravate tantsu. See peab joondama kümnendkohad (denormaliseerimine), korrutama mantissid (24x24-bitine korrutis), liitma eksponendid, normaliseerima tulemuse, käsitlema viit erinevat IEEE ümardamisrežiimi ning haldama erandeid nagu NaN, lõpmatus ja alavool. See loogika nõuab tuhandeid transistore, mis lülituvad sisse ja välja.
Iga kord, kui transistor lülitub, kulub energiat. Seda reguleerib fundamentaalne füüsikavõrrand:
E = C × V² × f
Kus E on energia, C on mahtuvus (võrdeline transistoride arvuga), V on pinge ja f on lülitussagedus. Rohkem transistore tähendab suuremat mahtuvust, mis omakorda tähendab rohkem energiat tehte kohta.
Kuid see läheb hullemaks. Iga kord, kui liigutate need 32 bitti mälust (DRAM) protsessori vahemällu ja vahemälust registrisse, kulub lisaks energiat. Tegelikult maksab tänapäevastes arvutisüsteemides andmete liigutamine oluliselt rohkem energiat kui nendega arvutamine. Stanfordi Horowitzi murranguline artikkel (ISSCC 2014) näitas, et DRAM-ist lugemine maksab umbes 200 korda rohkem energiat kui aritmeetiline tehe ise.
Seda tuntakse Von Neumanni pudelikaelana ja see on tänapäevase andmetöötluse põhipiirang. Meid ei piira see, kui kiiresti suudame arvutada; meid piirab see, kui kiiresti suudame arvutusmootoreid andmetega toita.
Nüüd mõelge sellele, et suure keelemudeli (nagu GPT-4) treenimine hõlmab ligikaudu 10^24 (septiljon) sellist ujukomaoperatsiooni. Ühe FP32-korrutamise pisike energiakulu muutub septiljoniga korrutatuna planetaarseks probleemiks. Me põletame sisuliselt metsi, et korrutada maatrikseid tarbetu täpsusega.
Binaarne revolutsioon: esituse ümbermõtestamine
Siin tulevad mängu binaarsed närvivõrgud. Need kujutavad endast põhjapanevat ümbermõtestamist sellest, kuidas me tehisajus informatsiooni esitame.
BNN-is eemaldame keerukuse. Piirame kaalud (ühendused neuronite vahel) ja aktiveerimised (neuronite väljundid) vaid kahe võimaliku väärtusega: +1 ja -1. Riistvaras esitatakse seda tavaliselt kui 1 ja 0, kusjuures 0 tõlgendatakse matemaatiliselt kui -1.
See kõlab laastava täpsusekaotusena. Kuidas saab võrk õppida midagi nüansirikast (peen erinevus kassi ja koera vahel või lause emotsionaalne toon) vaid kahe arvuga? Vastus peitub süvaõppe kõrgmõõtmelises geomeetrias.
Mõelge mõttekatsetusele. Kui annan teile ühe arvu vahemikus -1 kuni +1, ei saa te palju informatsiooni kodeerida. Aga kui annan teile miljon binaarset arvu, millest igaüks on kas +1 või -1, saate nende kombinatsioonide ja mustrite kaudu kodeerida astronoomilise hulga informatsiooni. Miljonite binaarsete neuronite "rahva tarkus" kompenseerib üksiku neuroni täpsuse puudumise.
See pole ainult teooria. Teadusuuringud sellistest institutsioonidest nagu MIT, Google ja Microsoft on näidanud, et binaarsed võrgud suudavad paljude praktiliste ülesannete puhul (sh pildituvastus, objektituvastus ja loomuliku keele mõistmine) saavutada täpsuse, mis jääb vaid mõne protsendipunkti kaugusele ujukomavõrkude omast.
Efektiivse arvutuse matemaatika
Selle nihke riistvaralised tagajärjed 32-bitise ujukomaarvu juurest 1-bitise binaararvuni on sügavad. Käime matemaatika samm-sammult läbi.
Ujukomaarvu lähenemine: Kahe vektori (närvivõrkude põhitehe) punktkorrutise arvutamiseks korrutate vastavad elemendid ja liidate tulemused. FP32 puhul nõuab iga korrutamine eespool kirjeldatud keerukat torustikku. Pikkusega 512 vektori puhul (tüüpiline närvivõrkudes) vajate 512 ujukomakorrutamist ja 511 liitmist.
Binaarne lähenemine: Kui korrutate kaks binaararvu (+1 või -1), pole tegu keeruka ujukomakorrutamisega. See on lihtne XNOR-loogikaelement. Kui bitid on samad (mõlemad +1 või mõlemad -1), on tulemus +1. Kui need on erinevad, on tulemus -1. XNOR-element on digitaalelektroonika kõige primitiivsemaid ja tõhusamaid struktuure: sõna otseses mõttes neli transistorit.
Lisaks muutub akumuleerimine (tulemuste liitmine) POPCNT (Population Count) operatsiooniks: binaarjadas olevate 1-bittide loendamiseks. Kaasaegsetel protsessoritel on olnud spetsiaalsed POPCNT-käsud alates 2008. aastast (Intel Nehalem). See, mis nõudis tuhandeid transistore ja mitu taktitsüklit, toimub nüüd ühe tsükliga.
Kuid tõeline ime juhtub vektoriseerimise puhul. Kaasaegsetel protsessoritel on SIMD (Single Instruction, Multiple Data) registrid, mis on 256 või 512 bitti laiad. Binaarsete operatsioonide puhul saate pakkida 512 kaalu ühte 512-bitise registrisse ja sooritada kõik 512 XNOR-operatsiooni korraga. See on 16 korda rohkem paralleelseid operatsioone, kui saate sama riistvaraga FP32 puhul.
Dweve Core: 1,937 algoritmi binaarseks intelligentsuseks
Dweve juures pole me binaarsete närvivõrkudega tegelenud pelgalt akadeemilisest uudishimust. Oleme ehitanud kogu oma arvutusliku aluse just sellele põhimõttele. Dweve Core sisaldab 1,937 riistvara jaoks optimeeritud algoritmi 6 kategoorias ja 132 jaotises, mis kõik on nullist loodud binaarseks ja madala bitisügavusega arvutuseks.
Meie lähenemine läheb kaugemale lihtsast binariseerimisest. Toetame kvantiseerimistasemete spektrit:
- Binaarne (1-bitine): 32-kordne tihendus, maksimaalne efektiivsus sobivate töökoormuste jaoks
- Kolmeväärtuseline (2-bitine): 16-kordne tihendus, lisab "nulli" oleku hõredate esituste jaoks
- 4-bitine: 8-kordne tihendus, hea tasakaal paljude keeletööde jaoks
- 8-bitine: 4-kordne tihendus, peaaegu FP32-täpsus koos olulise efektiivsusvõiduga
Iga taset toetavad spetsiaalsed algoritmid, mis on optimeeritud konkreetsete riistvaratagamaade jaoks:
- CPU: SSE2, AVX2, AVX-512, ARM NEON, ARM SVE/SVE2
- GPU: CUDA (NVIDIA), ROCm (AMD), Metal (Apple), Vulkan, WebGPU
- FPGA: Loomulik XNOR- väravate süntees torustikuga liitjapuudega
- WASM: Brauseripõhine täitmine SIMD-iga servjuurutamiseks
See pole teoreetiline. Meie sisemised võrdlustestid tootmistöökoormustel näitavad järjekindlalt 96% energiasäästu võrreldes samaväärsete FP32-rakendustega, kusjuures täpsusekadu jääb klassifitseerimis- ja regressiooniülesannete puhul tavaliselt alla 2%.
Jevonsi paradoks: kas efektiivsus toob kaasa suurema tarbimise?
Majandusteadlased ja jätkusuutlikkuse eksperdid juhivad kohe tähelepanu Jevonsi paradoksile. See majandusteooria, mis on nime saanud 19. sajandi majandusteadlase William Stanley Jevonsi järgi, väidab, et kui tehnoloogia muutub efektiivsemaks, langeb selle kasutamise hind, mis suurendab nõudlust ja viib seeläbi kogutarbimise kasvuni, mitte languseni.
Jevons täheldas seda söe puhul: kui aurumasinad muutusid efektiivsemaks, ei vähendanud see söe tarbimist. Vastupidi, efektiivsus muutis aurujõu majanduslikult elujõuliseks rohkemate rakenduste jaoks ja söe tarbimine kasvas hüppeliselt.
Kui muudame AI 96% odavamaks ja energiatõhusamaks käitada, kas me siis ei käita seda lihtsalt 100 korda rohkem? Kas me ei pane AI-d röstritesse, hambaharjadesse ja ühekordsetesse õnnitluskaartidesse?
Võib-olla. Tagasilöögiefekt on reaalne. Kuid sellel, kus seda energiat tarbitakse, on kvalitatiivne erinevus, mis on võrgu stabiilsuse ja jätkusuutlikkuse seisukohast ülioluline.
Praegust AI-energiakriisi põhjustab massiivsete, monoliitsete alusmudelite tsentraliseeritud treenimine ja inferents. Need mudelid on nii rasked, et vajavad tsentraliseeritud hüperskaalalisi andmekeskuseid. Need andmekeskused on elektrivõrgu punktkoormused, mis nõuavad ühes asukohas sadu megavatte, koormates ülekandeliine ja kohalikku tootmisvõimsust.
Seetõttu on Iirimaa kriisis. Seetõttu ei suuda Põhja-Virginia piisavalt kiiresti alajaamu ehitada. Probleem ei ole koguenergias, vaid geograafilises kontsentratsioonis.
Serva-AI: kõige jätkusuutlikum andmeedastus on see, mida ei toimu
Binaarne tõhusus võimaldab paradigma muutust: intelligentsuse viimist serva. Selle asemel, et saata teie häälkäsklus tohutusse serveriparki kõrbes, kus seda töötleb 175 miljardi parameetriga mudel, saab seda töödelda kohapeal teie telefonis, termostaadis või autos, kasutades spetsiaalset binaarset mudelit, mis töötab vaid mõne millivatiga.
See nihutab energia koormuse tsentraliseeritud võrgult hajutatud seadmetele. Energiakulu muutub tühiseks: osa seadme tavapärasest aku kasutusest. Telefoni laadimine kord päevas ei ole võrgukriis. 100MW andmekeskuse käitamine Lääne-Dublinis on küll.
Lisaks välistame võrguvälise, seadmesisese tehisintellekti võimaldamisega võrgu energiakulu. Me ei pea 5G raadioseadmeid, fiiberoptilisi repiitereid ega tuumruutereid käivitama, et andmeid pilve ja tagasi saata. Uuringud näitavad, et andmeedastus mobiilsidevõrkude kaudu kulutab ligikaudu 0,5 kWh gigabaidi kohta. Kõige energiatõhusam andmeedastus on see, mida kunagi ei toimu.
Meie Dweve Loom arhitektuur, millel on 456 spetsiaalset piirangukomplekti, millest igaüks sisaldab 64-128MB binaarseid piiranguid, on loodud just selle hajutatud mudeli jaoks. Iga päringu puhul aktiveerub korraga vaid 4-8 valdkonna spetsialisti ja binaarne esitus tähendab, et need valdkonna spetsialistid mahuvad mugavalt isegi tagasihoidlike servaseadmete vahemällu.
Jätkusuutlikkus kui koodi kvaliteedimõõdik
Liiga kaua on tarkvaraarenduse distsipliin energiat ignoreerinud. Oleme optimeerinud arendaja kiirust ("saada see kiiresti välja") või toorjõudlust ("muuda see kiireks"), kuid harva energiat ("muuda see kergeks"). Oleme kohelnud elektrit kui lõpmatut, nähtamatut ressurssi.
Kliimakriisi ajastul on see professionaalne hooletus. Kood, mis raiskab energiat, on halb kood. Arhitektuur, mis nõuab tuumaelektrijaama, et vastata lihtsale klienditeeninduse päringule, on halb arhitektuur.
Mõelge sellele süsteemi vaatenurgast. Kui kirjutate funktsiooni, mis teeb tarbetuid ujukomaarvutusi, ei raiska te lihtsalt protsessoritsükleid. Te põhjustate transistoride lülitumist, elektronide liikumist, soojuse tekkimist ja lõpuks süsiniku eraldumist kusagil. See on tõsi, olenemata sellest, kas te seda näete või mitte.
Sama põhimõte, mis pani meid hoolima mäluleketest (nähtamatu ressursiraiskamine), peaks panema meid hoolima ka energiaraiskamisest. Mõlemad kujutavad endast inseneridistsipliini ebaõnnestumist.
CSRD ja eelseisev regulatiivne reaalsus
Regulatiivne maastik jõuab selle reaalsusega järgi. ELi ettevõtete jätkusuutlikkuse aruandluse direktiiv (CSRD) sunnib suuri ettevõtteid oma Scope 3 heitkoguseid kajastama. Scope 3 hõlmab nende ostetud toodete ja teenuste üles- ja allavoolu heitkoguseid.
See tähendab, et varsti hakkavad ettevõtete kliendid nõudma teavet nende ostetud tehisintellekti teenuste süsiniku jalajälje kohta. "Roheline tehisintellekt" ei ole enam pelgalt turundussõnum; sellest saab kõva hanketingimus. Pank ei osta tehisintellektil põhinevat pettusetuvastussüsteemi, kui see rikub nende Net Zero kohustusi.
Euroopa jätkusuutlikkuse aruandluse standardid (ESRS) nõuavad ettevõtetelt aruandlust järgmise kohta:
- E1 Kliimamuutus: sealhulgas energiatarbimine ja kasvuhoonegaaside heitkogused
- E3 Vesi ja mereressursid: asjakohane andmekeskuste jahutamiseks
- Scope 3 heitkogused: sealhulgas ostetud kaubad ja teenused (AI API-d)
Ettevõtted, kes ostavad tehisintellekti teenuseid, peavad hankima oma teenusepakkujatelt süsinikuintensiivsuse andmed. Pakkujad, kes ei suuda demonstreerida energiatõhusaid arhitektuure, jäävad Euroopa ettevõtete lepingutest välja.
See ei ole hüpoteetiline. Suured Euroopa pangad, kindlustusettevõtted ja tööstusettevõtted ehitavad juba Scope 3 arvutusraamistikke, mis hõlmavad pilve- ja AI-teenuseid. 2026. aastaks muutub CSRD aruandlus kohustuslikuks ettevõtetele, kus töötab üle 250 töötaja.
Rohelise andmetöötluse tulevik
Üleminek rohelisele tehisintellektile nõuab enamat kui lihtsalt tõhusaid algoritme. See nõuab kogu arvutustaristu terviklikku ümbermõtestamist.
Riistvara ümbermõtestamine
Oleme tunnistajaks neuromorfsete kiipide ja mälusisese andmetöötluse arhitektuuride esiletõusule, mis on spetsiaalselt loodud madala täpsusega, hõredate ja binaarsete operatsioonide jaoks. Need kiibid matkivad inimese aju, mis töötab umbes 20 vatise võimsusega (vähem kui hämara lambipirniga), kuid edestab megavati-skaalal superarvuteid üldistamises ja õppimises.
Intel'i Loihi, IBM'i TrueNorth ja arvukad idufirmade kiibid uurivad seda suunda. Kuid te ei pea ootama eksootilist riistvara. Dweve Core'i algoritmid on optimeeritud SIMD-üksuste jaoks, mis on juba olemas igas kaasaegses protsessoris. Meie AVX-512 tuumad pakuvad binaarse närvivõrgu inferentsi kiirusega, mis konkureerib GPU-põhise ujukoma-inferentsiga, vaid murdosa energiatarbimise juures.
Andmete ümbermõtestamine
Peame kureerima väiksemaid ja kvaliteetsemaid andmekogumeid, et saaksime treenida väiksemaid ja tõhusamaid mudeleid, selle asemel et toetuda kogu interneti alla neelamise jõumeetodile. See lähenemisviis, mida me nimetame "andmeväärikuseks", tunnistab, et rohkem andmeid ei ole alati paremad andmed.
Tööstuse praegune lähenemine, mille puhul imetakse kokku iga tekstitükk internetist ja visatakse see hiiglaslikku mudelisse, on arvutuslikult võrdväärne avakaevandamisega. See on raiskav, keskkonnale kahjulik ja lõppkokkuvõttes jätkusuutmatu.
Ootuste ümbermõtestamine
Kas me tõesti vajame triljoniparameetrilist mudelit taimeri seadmiseks või meili kokkuvõtte tegemiseks? Või on see ülepingutus?
Põhimõte "õige suurusega" AI-mudelite valimisest käsiloleva ülesande jaoks on jätkusuutliku andmetöötluse alus. Binaarne rämpsposti tuvastaja ei vaja sama arhitektuuri kui mudel, mis loob ilukirjandust. Ometi on tööstuse trend kasutada kõige jaoks samu massiivseid alusmudeleid, nagu kasutaksid inimesed jõe ületamiseks kruiisilaeva.
Dweve'i arhitektuur hõlmab seda põhimõtet otseselt. Meie 456 spetsialiseeritud valdkonnaspetsialisti piirangukomplekti tähendavad, et iga ülesande jaoks aktiveeruvad ainult asjakohased valdkonnaspetsialistid. Lihtne klassifitseerimine võib aktiveerida 4 valdkonnaspetsialisti. Keeruline arutlusülesanne võib aktiveerida 8. Kuid me ei raiska kunagi energiat kogu mudeli käitamisele, kui piisab vaid murdosast.
Tee edasi: praktilised sammud rohelise tehisintellekti kasutuselevõtuks
Kui olete ettevõte, kes kaalub oma tehisintellekti strateegiat jätkusuutlikkuse vaatenurgast, on siin konkreetsed sammud, mida kaaluda:
1. Mõõtke oma tehisintellekti süsiniku jalajälge: Enne kui saate heitkoguseid vähendada, peate neist aru saama. Tehke koostööd oma tehisintellekti pakkujatega, et saada süsiniku intensiivsuse andmeid iga järelduse kohta. Kui nad neid anda ei suuda, on see iseenesest kasulik teave nende jätkusuutlikkuse küpsuse kohta.
2. Kohandage oma mudelite suurust: Auditeerige oma tehisintellekti rakendusi. Kas kasutate 175B parameetriga mudelit ülesannete jaoks, mida saaks lahendada 1B parameetriga mudel (või binaarne mudel)? Energiasääst mudeli õige suuruse valikul võib olla suurusjärkude võrra suurem.
3. Kaaluge serva juurutamist: Latentsustundlike ülesannete puhul võiks järelduste tegemine toimuda seadmes, mitte pilves? Binaarsed mudelid võimaldavad serva juurutamise stsenaariume, mis olid varem võimatud.
4. Nõudke läbipaistvust: Lisage süsiniku intensiivsuse nõuded oma tehisintellekti hankekriteeriumidesse. Kuna CSRD aruandlus muutub kohustuslikuks, vajate neid andmeid niikuinii. Alustamine kohe seab teid regulatiivsest kõverast ette.
5. Hinnake binaarseid alternatiive: Klassifitseerimise, regressiooni ja paljude keeleülesannete puhul pakuvad binaarsed närvivõrgud samaväärset täpsust 96% madalama energiakuluga. Tehnoloogia on tootmisvalmis.
Kokkuvõte: matemaatika on lihtne
Tehisintellekti tulevik ei ole suuremad GPU-d. See ei ole rohkem tuumaelektrijaamu andmekeskuste toitmiseks. Tehisintellekti tulevik on targem aritmeetika. See on tõhus, hajutatud ja binaarne. On aeg muuta intelligentsus jätkusuutlikuks.
Oleme teelahkmel. Üks tee viib jätkuva eksponentsiaalse kasvuni tehisintellekti energiatarbimises koos kõigi sellega kaasnevate keskkonna- ja võrgustabiilsuse tagajärgedega. Teine tee viib tõhusa, jätkusuutliku tehisintellektini, mis suudab teenindada miljardeid inimesi ilma planeeti üle kuumutamata.
Erinevus nende teede vahel ei ole järkjärguline optimeerimine ega taastuvenergia sertifikaadid. Erinevus on arhitektuuriline. See on erinevus 32 biti tarbetu täpsuse ja +1 ning -1 elegantse lihtsuse vahel.
Dweve’s juures oleme oma tee valinud. Meie süsteemid tarbivad 96% vähem energiat kui traditsioonilised ujukomaarvumudelid, säilitades samal ajal samaväärse täpsuse ettevõtete töökoormuste jaoks. Olgu teil vaja täita CSRD vastavusnõudeid, muretsete oma organisatsiooni süsiniku jalajälje pärast või lihtsalt usute, et jätkusuutlik tehnoloogia on parem tehnoloogia, pakume teile konkreetset alternatiivi energiamahukale status quo’le.
Matemaatika on lihtne: rohelisem tehisintellekt algab kõhnemast aritmeetikast. Tulevik kuulub binaarsele intelligentsile.