De crisis van modelinstorting: waarom inteelt-AI intelligentie de das omdoet
Het Habsburgse probleem in digitale vorm
In de Europese geschiedenis was het huis Habsburg een van de machtigste vorstendynastieën. Eeuwenlang heersten ze over uitgestrekte gebieden. Maar ze hadden een fatale zwakte: in hun streven om de macht te consolideren en hun bloedlijn "zuiver" te houden, trouwden ze met hun neven en nichten. Generatie na generatie leidde dit recursieve inteelt tot de beroemde "Habsburgse kaak" en een reeks genetische afwijkingen en gezondheidsproblemen. De genenpool werd te klein, te recursief, en uiteindelijk stortte de lijn in. Karel II van Spanje, de laatste Habsburgse heerser over het Spaanse Rijk, was zo ingeteeld dat hij nauwelijks zijn eigen eten kon kauwen.
In 2025 zijn we getuige van het digitale equivalent van dit fenomeen. Onderzoekers noemen het Model Collapse.
In het eerste decennium van de deep learning-revolutie (ruwweg 2012-2022) leefden we in een gouden tijdperk van data. We trainden onze modellen op de organische output van de mensheid. We schraapten boeken bij elkaar die door menselijke auteurs waren geschreven, code van menselijke ingenieurs, forums vol menselijke discussies en kunst gemaakt door menselijke handen. Die data was rommelig, ja. Maar rijk. Gevarieerd. Met de "staarten" van de verdeling: het vreemde, het creatieve, het onverwachte. Geworteld in de fysieke werkelijkheid.
Maar toen kwamen ChatGPT, Midjourney en Copilot. Plotseling daalde de kosten van het genereren van content tot bijna nul. Het internet stroomde vol met door AI gegenereerde tekst, door AI gegenereerde afbeeldingen en door AI gegenereerde code. SEO-spammers gebruikten LLM's om miljoenen "listicle"-artikelen te genereren en zo kliks te oogsten. Bots begonnen met bots te praten op sociale media. LinkedIn liep vol met door AI geschreven berichten over "thought leadership". Medium stroomde over van door AI gegenereerde beschouwingen over AI.
Vandaag is een aanzienlijk en groeiend percentage van het publieke web synthetisch. Schattingen suggereren dat in 2025 30-50% van de tekst op het publieke internet door AI was gegenereerd. En hier zit het probleem: wanneer we het web schrapen om de volgende generatie modellen te trainen, schrapen we onvermijdelijk data die door hun voorgangers is gegenereerd. We voeren de AI haar eigen output. We sluiten de lus. We creëren Habsburgse AI.
De wiskunde van regressie
Dit is niet slechts een filosofische kwestie. Het is een wiskundige zekerheid. Onderzoekers van Oxford, Cambridge en de Universiteit van Toronto hebben dit effect aangetoond in gedegen peer-reviewed studies. Ze noemen het "The Curse of Recursion".
De wiskunde is eigenlijk verrassend elegant in al haar grimmigheid. Wanneer een probabilistisch model (Model B) wordt getraind op data die zijn gegenereerd door een ander probabilistisch model (Model A), leert Model B de benadering van de werkelijke verdeling door Model A, niet de werkelijke verdeling zelf. Het leert de fouten samen met het signaal.
Maar het wordt erger. Het trainingsproces van Model B benadrukt van nature de gebieden met hoge waarschijnlijkheid in de output van Model A. De zeldzame gebeurtenissen, de creatieve uitschieters, de "staarten" van de verdeling, zijn ondervertegenwoordigd in de synthetische output van Model A (omdat ze per definitie zeldzaam zijn). Model B ziet dus nog minder voorbeelden van die staarten dan Model A. Het verliest variantie.
Train nu Model C op de output van Model B. De staarten krimpen verder. Train Model D op Model C. Nog verder. Na genoeg generaties klapt de verdeling in tot een punt. Alle output wordt hetzelfde: het "gemiddelde" van de oorspronkelijke verdeling, ontdaan van alle diversiteit.
Zie het als een kopie maken van een kopie van een kopie. De eerste kopie ziet er acceptabel uit. De tweede is wat wazig. Tegen de tiende kopie zijn de scherpe randen ruis geworden, zijn de details vervaagd en verandert het beeld in grijze prut. Het signaal vervalt exponentieel met elke generatie.
Het verlies van staarten
Bij AI-modellen uit zich dat in een verlies van creativiteit en nuance. De modellen worden "beige". Hun teksten worden generiek, repetitief en veilig. Hun kunst convergeert naar een specifieke, glanzende, hypergepolijste esthetiek die de ruwheid en textuur van de werkelijkheid mist. Hun code wordt syntactisch perfect maar functioneel generiek, zonder de slimme optimalisatietrucs die een menselijke expert zou inzetten.
De "staarten" van de verdeling zijn waar innovatie leeft. Shakespeare zit in de staarten. Einstein zit in de staarten. De rare startup-ideeën die miljardenbedrijven worden, zitten in de staarten. Wanneer je de staarten elimineert, elimineer je de mogelijkheid van genialiteit. Je krijgt een wereld van competente middelmatigheid.
Versterking van hallucinaties
Misschien is het nog erger dan creativiteit verliezen: zelfverzekerd ongelijk krijgen. Wanneer modellen trainen op de hallucinaties van hun voorgangers, worden die fouten versterkt. Een leugen die één keer wordt verteld, is een anomalie. Een leugen die een miljoen keer in de trainingsset terugkomt, wordt een feit.
Stel je een hypothetisch geval voor: GPT-5 hallucineert dat een bepaald medicijn veilig is tijdens de zwangerschap (dat is het niet). Die hallucinatie belandt in duizenden door AI gegenereerde gezondheidsartikelen. GPT-6 traint op die artikelen. Het "gelooft" dit onjuiste feit nu met nog meer vertrouwen, omdat het het zo vaak heeft gezien. GPT-7 behandelt het als gevestigde medische kennis.
Model Collapse gaat niet alleen over saai worden; het gaat over losraken van de werkelijkheid. Het gaat over het creëren van een AI die oppermachtig zeker is in een universum van feiten die niet bestaan.
Het bewijs is er al
We wachten niet tot Model Collapse plaatsvindt. We zien het zich in real time voltrekken.
Stack Overflow heeft een enorme daling in menselijk verkeer gezien, terwijl het volume aan door AI gegenereerde code op GitHub is geëxplodeerd. Als je een codemodel traint op GitHub-gegevens uit 2025, train je het op code die waarschijnlijk in 2024 is geschreven (of op zijn minst ondersteund) door Copilot. Als die code uit 2024 een subtiele bug had (zeg, een beveiligingslek dat de AI geneigd is voor te stellen), zal het model uit 2025 die bug als een best practice leren. Het zal de bug versterken.
Onderzoekers bij Google hebben waargenomen dat nieuwere zoekresultaten steeds meer repetitieve formuleringen bevatten die kenmerkend zijn voor LLM-output. Dezelfde zinnen duiken steeds weer op: "It's important to note that...", "In today's fast-paced world...", "Let's dive in...". Deze taalkundige tics verspreiden zich als een virus door het corpus.
Amazon heeft gemeld dat een aanzienlijk percentage van de klantbeoordelingen op hun platform nu door AI is gegenereerd. Productbeschrijvingen zijn door AI gegenereerd. De beoordelingen van die producten zijn door AI gegenereerd. Binnenkort worden de samenvattingen van die beoordelingen door AI gegenereerd. Het is schildpadden helemaal naar beneden.
De "Scaling Laws" die de AI-boom aandreven (het idee dat simpelweg meer data en meer rekenkracht altijd betere prestaties opleveren) lopen tegen een muur aan. Data is niet langer de beperking; de werkelijkheid is de beperking. We hebben geen schone menselijke data meer. We hebben onze eigen put vergiftigd.
De Dweve-oplossing: epistemologische nauwkeurigheid
Bij Dweve zagen we deze crisis aankomen. Al vroeg beseften we dat de strategie om "alles maar te scrapen" niet houdbaar was. Om robuuste systemen te bouwen die niet in hallucinaties vervallen, moet je prioriteit geven aan dataprovenance: precies weten waar je data vandaan komt en of die de werkelijkheid weergeeft.
Daarom hebben we Dweve Spindle gebouwd: ons platform voor enterprise knowledge governance. Spindle is niet zomaar een datapijplijn. Het is een epistemologisch systeem. Het zet ruwe informatie om in geverifieerde, AI-gereedbare kennis via een nauwgezet proces van zeven fasen.
De zevenfasige epistemologische pijplijn
Elk stuk informatie dat het Dweve-ecosysteem binnenkomt, doorloopt deze pijplijn:
Fase 1: Kandidaat. Ruwe informatie wordt geïdentificeerd en gemarkeerd voor verwerking. Dat kan een webpagina zijn, een document, een databaserecord of een sensormeting. In deze fase weten we alleen dat de informatie bestaat, niet of die waar of bruikbaar is.
Fase 2: Geëxtraheerd. Uit de ruwe bron wordt gestructureerde informatie geparseerd. Entiteiten worden geïdentificeerd. Feiten worden geëxtraheerd. De ongestructureerde chaos wordt een kandidaat voor de kennisgraaf.
Fase 3: Geanalyseerd. Beweringen worden opgesplitst in atomaire feiten. Een zin als "Einstein won de Nobelprijs voor relativiteit" wordt uiteengerafeld in verifieerbare componenten: "Einstein bestond", "Einstein won een Nobelprijs", "De prijs was voor natuurkunde", "De prijs werd toegekend voor werk aan relativiteit." (Let op: die laatste bewering is feitelijk onjuist, wat de pijplijn zou opmerken.)
Fase 4: Verbonden. Atomaire feiten worden gekoppeld aan ons bestaande kennisnetwerk. Spreekt deze nieuwe informatie bestaande feiten tegen? Bevestigt die ze? Vult die hiaten op? De integratie in de graaf brengt consistentie en conflicten aan het licht.
Fase 5: Geverifieerd. Validatie op basis van meerdere bronnen vindt plaats. Kunnen we onafhankelijke bevestiging vinden bij gezaghebbende bronnen? Doorstaat de bewering logische consistentiecontroles? Wat is de herkomst van de oorspronkelijke bron?
Fase 6: Gecertificeerd. De kwaliteitsborging is afgerond. De informatie heeft een betrouwbaarheidsscore van meer dan 0,7 behaald op onze zes kwaliteitsdimensies. Ze is gemarkeerd als betrouwbaar voor gebruik in downstreamapplicaties.
Fase 7: Canonieke status. De informatie wordt gezaghebbende, AI-gereedbare kennis. Ze kan worden gebruikt voor training, voor inferentie, voor retrieval. Het is ground truth.
De militaire hiërarchie van 32 agents
Deze pijplijn wordt niet uitgevoerd door één algoritme. Ze wordt georkestreerd door een gespecialiseerd team van 32 AI-agents, georganiseerd in een militaire hiërarchie:
- Discovery Brigade (6 agents): Verkenners die potentiële kennisbronnen identificeren en ophalen
- Extraction Corps (5 agents): Specialisten in het parseren, NER en structureren van ruwe data
- Analysis Division (6 agents): Logici die beweringen opsplitsen en afhankelijkheden identificeren
- Connection Network (4 agents): Graafspecialisten die nieuwe kennis integreren
- Quality Guard (4 agents): Validators die kruisverwijzingen uitvoeren en inconsistenties opsporen
- Governance Council (12 agents): Senior agents die de definitieve certificeringsbeslissingen nemen
Elke agent heeft gespecialiseerde expertise. Ze debatteren. Ze betwisten elkaars conclusies. Ze eisen consensus voordat informatie doorgaat naar de volgende fase. Dit proces van verificatie door meerdere agents is veel robuuster dan welke aanpak van factchecking met één model dan ook.
Bias in trainingsdata opsporen
Spindle is specifiek ontworpen om bias in trainingsdata op te sporen en te markeren. De beoordeling bestrijkt bias in de volgende categorieën:
- Statistische bias: steekproefbias, selectiebias, overlevingsbias, bevestigingsbias bij het verzamelen van gegevens
- Cognitieve bias: ankerbias, beschikbaarheidsheuristiek, framingseffecten in bronmateriaal
- Taalkundige bias: geladen taal, eufemismen, vaagtaal, overtuigende framing
- Systemische bias: vertegenwoordigingshiaten, historische bias vastgelegd in tekst, culturele blinde vlekken
Wanneer bias wordt gedetecteerd, wordt de informatie gecorrigeerd (indien mogelijk), gemarkeerd (indien correctie onzeker is) of verworpen (indien de bias fundamenteel en oncorrigeerbaar is). Dit voorkomt de versterking van biases die modellen die op ruwe webscrapes zijn getraind, teistert.
De vier pijlers van dataprovemance
Naast de Spindle-pipeline rust onze bredere datastrategie op vier pijlers:
1. Het ongerepte web (archieven van voor 2023)
Wij hechten groot belang aan data die is ontstaan voordat generatieve AI op grote schaal doorbrak (ruwweg eind 2022, begin 2023). Die periode beschouwen wij als het "ongerepte web". Deze archiefdata vormt het fundament onder onze training. Het is de grondwaarheid van menselijke output van vóór de besmetting.
Wij hebben fors geïnvesteerd in het verwerven en beheren van datasets van vóór 2022: gedigitaliseerde boeken, academische archieven, coderepositories met commitgeschiedenis waaruit menselijk auteurschap blijkt, forumbestanden uit de tijd dat elke post nog door een mens was geschreven.
Deze data is onvervangbaar. Zodra het web besmet was, konden wij het niet meer zuiveren. Maar wij kunnen de schone archieven bewaren en voorrang geven.
2. Gecertificeerde menselijke bronnen
Voor moderne data vertrouwen wij niet op blind webscrapen. Wij werken rechtstreeks samen met betrouwbare instellingen. Wij verwerven data onder licentie van:
- Academische uitgevers: Peer-reviewed artikelen zijn (grotendeels) door mensen geschreven en door mensen beoordeeld. Het reviewproces vormt een kwaliteitsfilter.
- Boekenuitgevers: Redactieprocessen zorgen voor een mate van menselijk toezicht die webcontent mist.
- Coderepositories met CI/CD: Dit is cruciaal. Wij scrapen niet zomaar code. Wij scrapen code die tests doorstaat. Als een functie niet compileert, gooien wij hem weg. Als hij zijn testsuite niet haalt, gooien wij hem weg. Werkende code is veel waarschijnlijker door mensen geschreven (of op zijn minst door mensen gecontroleerd) dan willekeurige snippets.
- Zakelijke partners: Bedrijven leveren ons propriëtaire data in ruil voor modellen op maat. Deze data is per definitie door mensen gegenereerd en relevant voor de bedrijfsvoering.
3. Symbolische verificatie als immuunsysteem
Dit is uniek voor onze neuro-symbolische aanpak. Omdat ons systeem logica en codestructuur begrijpt via onze op constraints gebaseerde architectuur, kunnen wij symbolische verificatie inzetten om trainingsdata te filteren.
Als wij een model leren Python te schrijven, voeren wij het niet simpelweg ruwe tekstbestanden. Wij halen de code door een compiler. Bij syntaxfouten gooien wij hem weg. Wij halen hem door een statische analyzer. Bij duidelijke beveiligingsfouten gooien wij hem weg. Wij voeren hem uit tegen testcases. Als hij faalt, gooien wij hem weg.
Voor feitelijke content toetsen wij beweringen aan onze geverifieerde knowledge graph. Als een document beweert dat Parijs de hoofdstad van Duitsland is, signaleert de symbolische laag de inconsistentie en markeert het document als onbetrouwbaar.
Dit werkt als een immuunsysteem tegen Model Collapse. De hallucinaties en buggy code van andere AI's komen niet door onze verificatiecontroles en worden eruit gefilterd voordat ze onze training kunnen besmetten.
4. De strategie voor het behoud van de staarten
We oversamplen bewust de "staarten" van de verdeling. We zoeken data die van hoge kwaliteit maar onconventioneel is. We willen niet dat ons model "gemiddeld" is. We willen dat het de randgevallen begrijpt, de creatieve sprongen, de briljante uitzonderingen.
De meeste LLM-trainingspijplijnen filteren "uitbijters" agressief weg om de training te stabiliseren. Wij cureren ze zorgvuldig. Innovatie gebeurt niet op het gemiddelde; ze gebeurt aan de randen. Het volgende doorbraakidee zal niet klinken als elk ander idee. Het zal vreemd klinken. Die vreemdheid willen we behouden.
De waarde van de werkelijkheid
In de nabije toekomst wordt "door mensen gegenereerde data" een premium activaklasse. De enorme oceaan van het publieke internet zal als "rommeldata" gelden: misschien bruikbaar als opvulling of om basisgrammatica te leren, maar gevaarlijk voor fundamentele kennis.
Bedrijven met toegang tot eigen, echte data (sensorlogs uit echte fabrieken, patiëntendossiers van echte artsen, transactiedata uit echte economieën) krijgen een enorm concurrentievoordeel. Zij beschikken over de "ground truth".
Model Collapse is de existentiële dreiging voor de generatieve AI-bubbel. Het suggereert dat we niet eindeloos kunnen blijven opschalen. We kunnen ons niet simpelweg naar superintelligentie simuleren. We moeten met beide benen op de grond blijven. We moeten cureren. We moeten kwaliteit boven kwantiteit stellen.
De AI van de toekomst wordt niet op het hele internet gebouwd. Ze wordt op het geverifieerde internet gebouwd. Ze wordt op de waarheid gebouwd.
De regelgevende dimensie
Dit is niet alleen een technische kwestie. Toezichthouders beginnen de gevolgen van besmetting met synthetische data in te zien.
De EU AI Act verplicht expliciet tot documentatie van de herkomst van trainingsdata voor hoogrisico-AI-systemen. Als je model op besmette data is getraind en schadelijke output produceert, moet je kunnen aantonen dat je redelijke stappen hebt genomen om de datakwaliteit te waarborgen. "We hebben het web gescrapet" is geen acceptabel antwoord.
De AVG verplicht organisaties al om registers bij te houden van verwerkingsactiviteiten. Dat doortrekken naar AI-trainingsdata is een logische volgende stap. Waar komt je trainingsdata vandaan? Kun je bewijzen dat die legaal is verzameld? Kun je aantonen dat die de werkelijkheid weergeeft en niet bestaat uit AI-hallucinaties?
Bedrijven die deze vragen niet kunnen beantwoorden, krijgen steeds meer te maken met toezichthouders. Bedrijven die kunnen aantonen dat hun dataprovemance op orde is (zoals bedrijven die Dweve Spindle gebruiken), hebben een compliancevoordeel.
De weg vooruit
Model Collapse is niet onvermijdelijk. Het is het gevolg van gemakzuchtige datapraktijken. Als we het besmette web blijven scrapen en aan steeds grotere modellen voeren, krijgen we Habsburg AI: zelfverzekerd, ogenschijnlijk capabel, maar fundamenteel gedegenereerd.
Maar als we investeren in datakwaliteit, als we epistemologische systemen bouwen die waarheid van hallucinatie kunnen onderscheiden, als we de diversiteit van menselijk denken behouden in plaats van die te laten samenvallen tot synthetische brij, kunnen we AI bouwen die geworteld blijft in de werkelijkheid.
Dat vraagt om harder werk. Het vraagt om meer investering. Het vraagt dat we data behandelen als een kostbaar goed in plaats van als een grondstof die we achteloos wegstropen. Maar het is de enige weg naar AI-systemen die op de lange termijn nuttig, nauwkeurig en betrouwbaar blijven.
Bij Dweve hebben we voor die weg gekozen. Onze combinatie van ongerepte archiefdata, gecertificeerde menselijke bronnen, symbolische verificatie en behoud van diversiteit zorgt ervoor dat onze modellen verbonden blijven met de echte wereld. Wij bouwen het filter tussen werkelijkheid en simulatie.
De makkelijke weg leidt tot Model Collapse. De moeilijke weg leidt tot intelligentie die echt werkt. We weten welke we nemen.