De grote AI-illusie: waarom 'meer data' ons niet zal redden

De biljoen-parameter waan

Er is een race gaande in AI. Geen race om betere systemen te bouwen. Geen race om echte problemen op te lossen. Een race om grotere getallen te bouwen.

Honderd miljard parameters. Vijfhonderd miljard. Een biljoen. Tien biljoen. Elke aankondiging wordt begroet met ademloze persberichten en stijgende beurskoersen. Elk model wordt op de markt gebracht als de volgende doorbraak in kunstmatige intelligentie.

Behalve dat het geen doorbraken zijn. Ze zijn gewoon groter.

En ergens onderweg heeft de hele industrie zichzelf ervan overtuigd dat groter beter is. Dat meer parameters meer intelligentie betekenen. Dat als we maar blijven opschalen, nullen blijven toevoegen, meer data en meer rekenkracht blijven verbruiken, we uiteindelijk vanzelf op artificiële algemene intelligentie zullen stuiten.

Het is de grootste illusie in de moderne technologie. En het barst.

Het evangelie van de schaalwet

In 2020 ontdekten onderzoekers wat zij "scaling laws" noemden. Geef een neuraal netwerk meer parameters en meer data, en de prestaties verbeteren voorspelbaar. Verdubbel de parameters, halveer de foutmarge. Het was prachtig. Wiskundig. Herhaalbaar.

De schaalwetten werden als de waarheid aangenomen. AI-onderzoek plannen? Gewoon opschalen. Betere prestaties nodig? Voeg meer parameters toe. Wil je concurreren? Bouw grotere modellen.

Elk groot laboratorium hanteerde dezelfde strategie: grotere modellen, meer data, meer rekenkracht. GPT-3 had 175 miljard parameters. GPT-4 ging groter. Gemini ging nog verder. Modellen met een biljoen parameters werden aangekondigd. Tien biljoen werden besproken.

De logica leek onaantastbaar: als schaalvergroting tot nu toe heeft gewerkt, waarom zou het dan stoppen?

Behalve dat het stopt. Nu meteen.

De muur die niemand voorspelde

Eind 2024 gebeurde er iets onverwachts. De volgende generatie vlaggenschipmodellen liet niet de verwachte verbeteringen zien.

Twee keer de parameters. Drie keer de trainingsdata. Tien keer de rekenkracht. En de prestaties zijn nauwelijks verbeterd. In sommige gevallen werden ze zelfs slechter.

De schaalwetten, die jarenlang zo betrouwbaar waren gebleken, begaven het. Afnemende meeropbrengsten waren niet langer theoretisch. Ze waren hier.

TechCrunch meldde in november 2024 dat AI-schaalwetten "afnemende meeropbrengsten vertonen, waardoor AI-laboratoria van koers moeten veranderen." DeepLearning.AI documenteerde hoe grote bedrijven erkenden dat "de volgende generatie spraakmakende modellen niet de verwachte verbeteringen heeft laten zien, ondanks grotere architecturen, meer trainingsgegevens en meer verwerkingskracht."

De bewijzen zijn duidelijk: schaalvergroting stuitte op een muur. Meerdere muren, eigenlijk.

De datamuur

Eerste hindernis: we raken zonder kwalitatieve trainingsdata.

Grote taalmodellen consumeren het internet. Letterlijk. GPT-3 is getraind op honderden miljarden woorden die zijn geschraapt van websites, boeken, artikelen en forums. Elk redelijk toegankelijk stukje menselijke tekst online.

Maar er is maar zoveel internet. Onderzoek dat in 2022 werd gepubliceerd, voorspelde dat we tussen 2026 en 2032 geen hoogwaardige tekstgegevens meer zullen hebben als de huidige trends zich voortzetten. De analyse van Epoch AI wees uit dat, hoewel eerdere schattingen uitgingen van uitputting tegen 2024, een verfijnde methodologie nu aangeeft dat dit tegen 2028 zou kunnen gebeuren.

Hoe dan ook, de klok tikt. Hoogwaardige, door mensen gegenereerde tekst is eindig.

De reactie? Synthetische data. Modellen die tekst genereren om andere modellen te trainen. Het klinkt slim totdat je beseft dat het is alsof je fotokopieën van fotokopieën maakt. Elke generatie degradeert. Fouten stapelen zich op. Vooroordelen worden versterkt.

Nature publiceerde in 2024 onderzoek waaruit bleek dat modellen die getraind zijn op recursief gegenereerde data "modelinstorting" ervaren. De studie toonde aan dat het zonder onderscheid trainen op synthetische inhoud leidt tot verslechterende prestaties, verminderde diversiteit en uiteindelijk AI-modellen die steeds generiekere outputs produceren.

Je kunt niet oneindig schalen als je brandstofbron eindig is. En kwaliteitsgegevens – echte menselijke kennis – zijn inderdaad zeer eindig.

De kwaliteitsinstorting

Tweede muur: meer data betekent niet betere data.

Het Chinchilla-paper uit 2022 onthulde iets cruciaals: het optimale model is niet het grootste model. Het is het model met de beste verhouding tussen parameters en trainingstokens. Voor elke 4× toename in rekenkracht heb je een 2× toename in modelgrootte EN een 2× toename in datakwaliteit nodig.

Maar wat gebeurt er als je alle goede data al hebt gebruikt? Je begint bronnen van lagere kwaliteit te verzamelen. Forums met desinformatie. Machinaal vertaalde inhoud. Door AI gegenereerde spam. Het uitschot van het internet.

Meer trainingsdata. Slechtere prestaties. Want 'garbage in, garbage out' (troep erin, troep eruit) houdt niet op waar te zijn alleen maar omdat je een biljoen parameters hebt.

Een studie uit 2024 wees uit dat datakwaliteit belangrijker is dan kwantiteit voor kleine taalmodellen. Een andere studie toonde aan dat zorgvuldig samengestelde datasets van 1 miljoen voorbeelden beter presteren dan willekeurig verzamelde datasets van 100 miljoen voorbeelden.

De reactie van de industrie? Blijf toch opschalen. Gooi meer rekenkracht naar het probleem. Hoop dat brute kracht slechte data overwint.

Dat niet.

Het rekenplafond

Derde wand: de fysica van berekening.

Het trainen van een biljoen-parameter model vereist onmetelijke hoeveelheden rekenkracht. We hebben het over tienduizenden GPU's die maandenlang draaien. Energieverbruik dat wedijvert met kleine landen. Infrastructuurkosten in de honderden miljoenen.

En waarvoor? Marginale verbeteringen. Prestatiewinsten die de exponentiële kostenstijging nauwelijks rechtvaardigen.

Een schatting suggereert dat het trainen van een hypothetisch model met 10 biljoen parameters meer elektriciteit zou verbruiken dan sommige Europese landen jaarlijks gebruiken. Voor één trainingsrun. Die waarschijnlijk tientallen keren herhaald zal moeten worden voordat het werkt.

De economische opbrengsten ondersteunen de rekencapaciteitskosten niet meer. Schaalwetten beloofden lineaire verbeteringen met lineaire investeringen. De realiteit levert logaritmische verbeteringen met exponentiële investeringen.

Dat is geen bedrijfsmodel. Dat is een zeepbel die op knappen staat.

De illusie van intelligentie

Maar hier is het diepere probleem: zelfs toen schalen werkte, creëerde het geen intelligentie. Het creëerde statistische patroonherkenning op enorme schaal.

Een biljoen parameters denken niet. Ze redeneren niet. Ze begrijpen niet. Ze voorspellen het volgende token op basis van patronen in trainingsgegevens. Het is iets fundamenteel anders dan intelligentie.

De illusie is overtuigend omdat schaal begrip kan benaderen. Voed een model genoeg voorbeelden, en het kan door patroonherkenning tot schijnbaar intelligente antwoorden komen. Maar het is nabootsing, geen begrip.

Dit is waarom modellen falen bij nieuwe problemen. Waarom ze niet betrouwbaar meerstapredenering kunnen uitvoeren. Waarom ze vol vertrouwen onjuiste feiten hallucineren. Ze denken niet na. Ze halen patronen op en recombineren ze.

En geen enkele schaalvergroting lost dit op. Meer parameters toevoegen aan een patroonherkenner geeft je alleen maar een grotere patroonherkenner.

De Europese valstrik

Voor Europa creëert het schaalparadigma een onmogelijke situatie.

Amerikaanse techgiganten hebben de rekenkracht. Ze hebben de data. Ze hebben de infrastructuur om modellen met biljoenen parameters te trainen. Europese bedrijven niet.

Proberen mee te doen aan de schaalvergrotingsrace betekent dat Europese AI altijd een inhaalslag zal maken. Altijd één generatie achter. Altijd overtroffen in rekenkracht en overtroefd in dataverzameling.

Het is een spel dat vanaf het begin is gemanipuleerd. De regels bevoordelen degenen met de meeste middelen, niet degenen met de beste ideeën.

En nu, nu de schaalwetten wegvallen, wordt Europa's achterstand in die race irrelevant. Omdat de race zelf ten einde loopt.

Het slimmere alternatief

Dus wat is het alternatief? Als groter niet beter is, wat dan wel?

Het antwoord is elegantie. Efficiëntie. Wiskundige strengheid.

Bij Dweve zijn we nooit in de schaalillusie getrapt. We probeerden geen grotere modellen te bouwen. We bouwden slimmere.

Binaire neurale netwerken met 456 gespecialiseerde experts. Elke expert richt zich op specifieke soorten redeneringen. Dunne activering betekent dat alleen de relevante experts voor elke taak worden ingeschakeld. Geen verspilde berekeningen. Geen onnodige parameters.

Het resultaat? State-of-the-art prestaties met een fractie van de parameters. Beter redeneren met minder data. Inzetbare systemen die geen infrastructuur op datacenterniveau vereisen.

Loom 456 probeert het internet niet te memoriseren. Het is ontworpen om te redeneren met beperkingen, om problemen te doorgronden, om de structuur echt te begrijpen.

Dit is intelligentie door architectuur, niet door accumulatie.

Kwaliteit boven kwantiteit

Het Chinchilla-paper had één ding goed: de verhouding is belangrijker dan de ruwe cijfers.

Maar het echte inzicht gaat dieper: zorgvuldig ontworpen modellen met samengestelde trainingsregimes presteren beter dan enorme modellen met willekeurige gegevensverzameling.

Denk na over menselijk leren. Je wordt niet slim door alles te lezen. Je wordt slim door de juiste dingen te lezen, in de juiste volgorde, met de juiste begeleiding. Kwaliteit van leren is belangrijker dan kwantiteit van informatie.

AI is niet anders. Een model dat getraind is op goed gestructureerde, zorgvuldig samengestelde data zal beter presteren dan een model dat verdrinkt in willekeurige internettekst. Zelfs als het tweede model 100× meer parameters heeft.

Dit is waar Europa kan concurreren. Niet door groter te bouwen, maar door beter te bouwen. Niet door meer gegevens te schrapen, maar door slimmere trainingsregimes te gebruiken.

Dweve Core demonstreert dit principe. Ons binaire neuraal netwerkframework behaalt concurrerende prestaties met ordes van grootte minder parameters dan standaardmodellen. Omdat we ons richtten op wiskundige elegantie in plaats van brute force schaalvergroting.

De architectuurvoordeel

Wat de schaalvergroting mist, is dit: architectuur is belangrijker dan omvang.

Je kunt een biljoen parameters dom gerangschikt hebben, of een miljard parameters intelligent gerangschikt. De intelligente rangschikking wint elke keer.

Mixture of Experts (MoE)-architecturen bewijzen dit. In plaats van alle parameters voor elke taak te activeren, activeer je alleen de relevante subset. Plotseling krijg je triljoen-parameterprestaties met miljard-parameter computatiekosten.

Binaire neurale netwerken gaan hierin verder. Elke bewerking is wiskundig eenvoudiger, maar de algehele architectuur is geavanceerder. Op beperkingen gebaseerd redeneren in plaats van probabilistische benadering. Discrete logica in plaats van zwevendekommagokwerk.

Het resultaat zijn systemen die redeneren in plaats van ophalen. Die structuur begrijpen in plaats van patronen te memoriseren. Die betrouwbaar werken in plaats van aannemelijk te hallucineren.

Dit is de toekomst die schaalwetten niet kunnen bereiken: werkelijke intelligentie, niet alleen grotere nabootsing.

Voorbij de illusie

De schaalvergrotingstijdperk loopt ten einde. Niet met een dramatische crash, maar met een langzame erkenning dat meer rekenkracht in het probleem stoppen niet langer werkt.

Datamuren. Kwaliteitsverval. Rekenplafonds. Afnemende meeropbrengsten. Dit zijn geen tijdelijke tegenslagen. Het zijn fundamentele grenzen aan het schaalparadigma.

Maar voor degenen die de illusie nooit geloofden, is dit geen crisis. Het is een kans.

Een kans om AI te bouwen gebaseerd op daadwerkelijke intelligentieprincipes in plaats van statistische correlatie. Systemen te creëren die efficiënt werken in plaats van verspillend. Technologie te ontwikkelen die toegankelijk is in plaats van miljardenbudgetten te vereisen.

De race om biljoenen parameters was altijd al een doodlopende weg. We hoefden alleen maar te wachten tot iedereen anders tegen de muur liep om het te bewijzen.

De echte doorbraak

Dit is de ironie: de echte doorbraak in AI zal geen groter model zijn. Het zal een besef zijn dat we voor het verkeerde hebben geoptimaliseerd.

Niet meer parameters. Betere architectuur.

Niet meer data. Beter leren.

Niet meer rekenkracht. Slimmere wiskunde.

Binaire neurale netwerken vertegenwoordigen deze verschuiving. Van accumulatie naar elegantie. Van brute kracht naar wiskundige nauwkeurigheid. Van triljoen-parameter monsters naar miljard-parameter systemen die daadwerkelijk denken.

Dweve's platform bewijst dat het werkt: Core als het binaire algoritme-framework, Loom als het 456-expert intelligentiemodel, Nexus als het multi-agent intelligentie-framework, Aura als het autonome agent-orkestratieplatform, Fabric als het uniforme dashboard en controlecentrum, Mesh als de gedecentraliseerde infrastructuurlaag.

Alles gebouwd op het principe dat intelligentie voortkomt uit structuur, niet uit omvang.

De keuze die voor ons ligt

De AI-industrie staat voor een keuze. Blijven jagen op de schaalillusie, geld verspillen in de hoop dat de volgende ordegrootte op de een of andere manier door de muren zal breken. Of accepteren dat het paradigma zijn grenzen heeft en overstappen op iets beters.

De data zegt dat schaalvergroting is voltooid. De fysica zegt dat de rekenkosten onhoudbaar zijn. De wiskunde zegt dat er slimmere benaderingen zijn.

Europa hoeft de schaalvergrotingsrace niet te winnen. Europa moet deze overbodig maken. Bouw AI die geen modellen met biljoenen parameters vereist. Creëer systemen die efficiënt werken in plaats van verspillend. Ontwikkel technologie die gebaseerd is op begrip, niet op memorisatie.

De grote AI-illusie barst. Meer data zal het niet redden. Grotere modellen zullen het niet redden. Meer rekenkracht zal het niet redden.

Wat doorbreekt de illusie? Erkennen dat intelligentie in de eerste plaats nooit over grootte ging.

De toekomst van AI ligt niet in triljoenen parameters. Het zijn slimme architecturen, efficiënte berekeningen en wiskundige elegantie. Het zijn systemen die zijn ontworpen voor begrip, niet voor memorisatie. Intelligentie door structuur, niet door accumulatie.

Het schaalparadigma heeft zijn doel gediend. Het heeft ons laten zien wat brute kracht kan bereiken. Maar nu hebben we zijn grenzen bereikt. Het volgende hoofdstuk van AI vereist een andere denkwijze: precisie boven schaal, architectuur boven parameters, intelligentie boven omvang.

Die toekomst wordt nu gebouwd. Door onderzoekers die zich richten op efficiëntie. Door ingenieurs die prioriteit geven aan verklaarbaarheid. Door bedrijven die AI ontwikkelen die werkt zonder dat er datacentruminfrastructuur nodig is. Europa heeft de kans om deze verschuiving te leiden – niet door de schaalvergrotingsrace te winnen, maar door deze irrelevant te maken.

De grote AI-illusie brokkelt af. Meer data zal het niet redden. Wat hierna komt, zal slimmer zijn.

Dweve bouwt AI op binaire restrictienetwerken en mixture-of-experts architecturen. Loom gebruikt 456 gespecialiseerde experts voor efficiënte redenering. Ontwikkeling in Nederland, ten dienste van Europese organisaties. De toekomst van AI is elegant, niet alleen groot.