Groene AI is binair: De ecologische kosten van Floating Point

De ecologische voetafdruk van intelligentie

Er schuilt een vuil geheim in de kern van de Artificial Intelligence-revolutie. Het is een geheim dat wordt verhuld door gelikte marketingcampagnes vol windturbines en zonnepanelen, en begraven onder bergen CO2-compensatiecertificaten die door Big Tech zijn opgekocht. Het geheim is dit: moderne AI, in zijn huidige architecturele vorm, is een milieuramp in wording.

Tegen 2025 verbruikt de wereldwijde AI-rekeninfrastructuur meer elektriciteit dan heel Argentinië. Datacenters in Ierland slokken nu bijna 20% van het totale nationale stroomnet op, wat leidt tot een serieuze energiecrisis die de overheid dwingt nieuwe aansluitingen te heroverwegen. In Noord-Virginia (de datacenterhoofdstad van de wereld) waarschuwen nutsbedrijven dat ze fysiek niet snel genoeg transmissielijnen kunnen bouwen om de onverzadigbare honger van de GPU-clusters te stillen.

De primaire reactie van de industrie hierop is een focus op de bron van de energie. "Wij zijn 100% hernieuwbaar!" beweren de hyperscalers. En hoewel het gebruik van groene energie zeker beter is dan steenkool, mist het de essentie. Hernieuwbare energie is een eindige, schaarse bron. Elke gigawatt groene stroom die wordt opgeslurpt door een inefficiënt AI-model is een gigawatt die niet kan worden gebruikt voor het koolstofvrij maken van staalproductie, cementfabricage of transport. We kannibaliseren het groene stroomnet om chatbots aan te drijven.

We hebben niet alleen groenere stroom nodig. We hebben slimmere wiskunde nodig.

De fysica van inefficiëntie: De tirannie van Floating Point

Om te begrijpen waarom AI zo energieverslindend is, moeten we verder kijken dan de koelsystemen van datacenters en inzoomen op microscopisch niveau. We moeten naar de rekenkunde kijken.

Het afgelopen decennium is de opmars van Deep Learning gebouwd op Floating Point-rekenkunde, specifiek FP32 (32-bit floating point) en recenter FP16 of BF16. Een floating-point getal is een complex computationeel beest. Het is ontworpen om een enorm bereik aan waarden te vertegenwoordigen, van het subatomaire tot het astronomische. Hiervoor worden 32 bits gebruikt, verdeeld in een tekenbit, een exponent en een mantissa.

Om twee FP32-getallen te vermenigvuldigen, moet een processor een complexe dans van logische poorten uitvoeren. Hij moet de decimale punten uitlijnen (denormalisatie), de mantissa's vermenigvuldigen, de exponenten optellen, het resultaat normaliseren en afrondingsfouten afhandelen. Deze logica vereist duizenden aan- en uit-schakelende transistors.

Elke keer dat een transistor schakelt, verbruikt hij energie. Elke keer dat je die 32 bits van het geheugen (DRAM) naar de processorcache verplaatst, en van de cache naar het register, verbruik je energie. Sterker nog: in moderne computersystemen kost het verplaatsen van data aanzienlijk meer energie dan het rekenen ermee. Dit staat bekend als de "Von Neumann-bottleneck".

Bedenk nu dat het trainen van een groot taalmodel als GPT-4 grofweg 10^24 (een septiljoen) van deze floating-point bewerkingen omvat. De minieme energiekosten van een enkele FP32-vermenigvuldiging worden, vermenigvuldigd met een septiljoen, een planetair probleem. We verbranden bij wijze van spreken complete bossen om matrices met onnodige precisie te vermenigvuldigen.

De Binaire Revolutie: 1 en -1

Dit is waar Binaire Neurale Netwerken (BNN's) het spel veranderen. Ze vertegenwoordigen een fundamentele heroverweging van hoe we informatie in een kunstmatig brein representeren.

In een BNN strippen we de complexiteit weg. We beperken de gewichten (de verbindingen tussen neuronen) en de activaties (de output van neuronen) tot slechts twee mogelijke waarden: +1 en -1. (Soms in hardware weergegeven als 1 en 0, maar wiskundig behandeld waarbij 0 als -1 geldt).

Dit klinkt als een vernietigend verlies aan precisie. Hoe kan een netwerk iets genuanceerds leren (het subtiele verschil tussen een kat en een hond, of het sentiment van een zin) met slechts twee getallen? Het antwoord ligt in de hoog-dimensionale geometrie van deep learning. Het blijkt dat je met genoeg parameters geen precieze gewichten voor elke verbinding nodig hebt. Je hebt alleen de juiste richting van het gewicht nodig. De "wijsheid van de massa" van miljoenen binaire neuronen compenseert het gebrek aan individuele precisie.

De wiskunde van efficiëntie

De hardware-implicaties van deze verschuiving van 32-bit float naar 1-bit binair zijn diepgaand.

1. De berekening: Wanneer je twee binaire getallen (+1 of -1) vermenigvuldigt, is de bewerking geen complexe floating-point vermenigvuldiging. Het is een simpele XNOR-logische poort. Als de bits hetzelfde zijn, is het resultaat 1. Als ze verschillend zijn, is het resultaat -1. Een XNOR-poort is een van de meest primitieve, efficiënte structuren in de digitale elektronica.

Bovendien wordt de accumulatie (het optellen van de resultaten van de vermenigvuldigingen, de tweede stap van een inproduct) een POPCNT (Population Count) bewerking: simpelweg het tellen van het aantal gezette bits. Moderne CPU's en gespecialiseerde accelerators kunnen dit in één klokcyclus doen.

Laten we naar de fysieke schattingen kijken (gebaseerd op 45nm-benchmarks):

• Energie van een 32-bit Float MAC (Multiply-Accumulate): ~4,6 picojoules
• Energie van een 1-bit Binaire MAC: ~0,15 picojoules

Reken maar uit. De binaire operatie is grofweg 30 keer energiezuiniger voor de berekening zelf. Dat is een verbetering van 3000%. In de wereld van halfgeleider-engineering vechten we meestal voor 10% of 20% winst. 3000% is een paradigmaverschuiving.

2. Het geheugen: De besparingen gaan nog dieper dan de berekening. Omdat de data 32 keer kleiner is (1 bit vs 32 bits), besparen we enorme hoeveelheden energie op geheugentoegang. We kunnen 32 keer meer van het model in de snelle cache (SRAM) van de processor passen, waardoor we de kostbare trips naar het hoofdgeheugen (DRAM) vermijden.

Het verminderen van de druk op geheugenbandbreedte is de heilige graal van moderne AI-hardware. De meeste AI-modellen zijn tegenwoordig "memory bound", wat betekent dat de processors stilstaan terwijl ze wachten op data. BNN's ontstoppen de leiding. Ze stellen ons in staat om enorme modellen op bescheiden hardware te draaien.

Bij Dweve bevestigen onze interne benchmarks deze theorie. Onze binair-geoptimaliseerde inference engine levert equivalente nauwkeurigheid aan FP16-modellen voor veel classificatie- en regressietaken, terwijl het 96% minder energie verbruikt.

De Jevons-paradox en het rebound-effect

Economen en duurzaamheidsexperts zullen direct wijzen op de Jevons-paradox. Deze economische theorie stelt dat naarmate technologie efficiënter wordt, de kosten van het gebruik ervan dalen, waardoor de vraag toeneemt en het totale verbruik stijgt in plaats van daalt.

Als we AI 96% goedkoper en energiezuiniger maken, gaan we er dan niet gewoon 100 keer meer van gebruiken? Stoppen we AI dan niet in broodroosters, tandenborstels en wegwerp-wenskaarten?

Misschien. Het rebound-effect is reëel. Maar er is een kwalitatief verschil in waar die energie wordt verbruikt, en dat is van belang voor het stroomnet.

De huidige energiecrisis in AI wordt gedreven door de gecentraliseerde training en inference van massale, monolithische foundation models. Deze modellen zijn zo zwaar dat ze gecentraliseerde, hyperscale datacenters vereisen. Deze datacenters vormen piekbelastingen op het net, vereisen honderden megawatts op één locatie en overbelasten transmissielijnen en lokale opwekking.

Binaire efficiëntie stelt ons in staat intelligentie naar de edge te verplaatsen. In plaats van je spraakcommando naar een enorme serverfarm in de woestijn te sturen om verwerkt te worden door een monster van 175 miljard parameters, kan het lokaal op je telefoon, je thermostaat of je auto worden verwerkt, met behulp van een gespecialiseerd binair model dat op enkele milliwatts draait.

Dit verschuift de energielast van het gecentraliseerde net naar het gedistribueerde apparaat. De energiekosten worden verwaarloosbaar: onderdeel van het normale batterijverbruik van het apparaat. Je telefoon één keer per dag opladen is geen netcrisis. Een datacenter van 100 MW in West-Dublin draaiende houden is dat wel.

Bovendien elimineren we door offline, on-device AI mogelijk te maken de energiekosten van het netwerk. We hoeven de 5G-radio's, de glasvezelversterkers en de core-routers niet aan te slingeren om de data naar de cloud en terug te sturen. De meest energie-efficiënte datatransmissie is de transmissie die nooit plaatsvindt.

Duurzaamheid is een maatstaf voor codekwaliteit

Te lang heeft de discipline software engineering energie genegeerd. We optimaliseerden voor ontwikkelsnelheid ("ship it fast") of brute prestaties ("make it fast"), maar zelden voor energie ("make it light"). We behandelden elektriciteit als een oneindige, onzichtbare bron.

In het tijdperk van de klimaatcrisis is dit professionele nalatigheid. Code die energie verspilt, is slechte code. Een architectuur die een kerncentrale nodig heeft om een eenvoudige klantenservicevraag te beantwoorden, is een slechte architectuur.

Het regelgevingslandschap haalt deze realiteit in. De Corporate Sustainability Reporting Directive (CSRD) van de EU dwingt grote bedrijven om verantwoording af te leggen over hun Scope 3-emissies. Scope 3 omvat de upstream en downstream emissies van de producten en diensten die ze kopen.

Dit betekent dat zakelijke klanten binnenkort zullen eisen de ecologische voetafdruk te kennen van de AI-diensten die ze inkopen. "Green AI" zal niet slechts een marketingslogan zijn; het wordt een harde inkoopvoorwaarde. Een bank zal geen AI-fraudodetectiesysteem kopen als dat hun Net Zero-doelstellingen ruïneert.

Bij Dweve zetten we in op binair, niet alleen omdat het wiskundig elegant is. We zetten erop in omdat het de enige manier is om alomtegenwoordige intelligentie te hebben zonder de planeet te koken. We bouwen de Prius van de AI in een wereld van Hummers.

De toekomst van Green Computing

De transitie naar Groene AI vereist meer dan alleen efficiënte algoritmen. Het vereist een holistische heroverweging van de hele stack.

Het betekent het heroverwegen van hardware. We zien de opkomst van neuromorfische chips en in-memory computing-architecturen die specifiek zijn ontworpen voor low-precision, sparse, binaire bewerkingen. Deze chips bootsen het menselijk brein na, dat op ongeveer 20 watt draait (minder dan een gedimd lampje), maar toch megawatt-schaal supercomputers overtreft in generalisatie en leren.

Het betekent het heroverwegen van data. We moeten kleinere datasets van hogere kwaliteit cureren ("Datawaardigheid"),zodat we kleinere, efficiëntere modellen kunnen trainen, in plaats van te vertrouwen op de brute-force methode van het binnenhalen van het hele internet.

En het betekent het heroverwegen van onze verwachtingen. Hebben we echt een biljoen-parameter model nodig om een timer in te stellen of een e-mail samen te vatten? Of is dat overkill? We moeten onze AI-modellen op de juiste schaal afstemmen op de taak die voorligt.

De toekomst van AI is niet grotere GPU's. Het is niet meer kerncentrales om de datacenters te voeden. De toekomst van AI is slimmere rekenkunde. Het is efficiënt, gedistribueerd en binair. Het is tijd om intelligentie duurzaam te maken.

Dweve pioniert in duurzame AI door middel van binaire neurale netwerkarchitectuur. Onze systemen verbruiken 96% minder energie dan traditionele floating-point modellen, terwijl ze equivalente nauwkeurigheid behouden voor zakelijke workloads. Of u nu te maken heeft met CSRD-compliance-eisen of simpelweg uw ecologische voetafdruk wilt verkleinen: Dweve biedt het enige pad naar AI die schaalt zonder de planeet te vernietigen. De wiskunde is simpel: groenere AI begint met slankere rekenkunde.