Die Modellkollaps-Krise: Warum Inzucht-KI die Intelligenz zerstört
Das Habsburg-Problem in digitaler Form
In der europäischen Geschichte war das Haus Habsburg eine der mächtigsten Königsdynastien. Über Jahrhunderte herrschten sie über riesige Territorien. Doch sie hatten einen fatalen Fehler: Auf der Suche nach Machtkonsolidierung und dem Erhalt eines „reinen" Blutlinie heirateten sie ihre Cousins und Cousinen. Über Generationen führte diese rekursive Inzucht zum berühmten „Habsburger Unterkiefer" und einer Vielzahl genetischer Deformationen und Gesundheitsprobleme. Der Genpool wurde zu klein, zu rekursiv, und letztendlich brach die Linie zusammen. Karl II. von Spanien, der letzte Habsburger-Herrscher des Spanischen Reiches, war so sehr von Inzucht gezeichnet, dass er kaum sein eigenes Essen kauen konnte.
Im Jahr 2025 erleben wir das digitale Äquivalent dieses Phänomens. Forscher nennen es Model Collapse.
Im ersten Jahrzehnt der Deep-Learning-Revolution (ungefähr 2012-2022) lebten wir in einem Goldenen Zeitalter der Daten. Wir trainierten unsere Modelle mit den organischen Ergebnissen der Menschheit. Wir sammelten Bücher von menschlichen Autoren, Code von menschlichen Ingenieuren, Foren voller menschlicher Argumente und Kunst von menschlichen Händen. Diese Daten waren chaotisch, ja. Aber sie waren reichhaltig. Sie waren vielfältig. Sie enthielten die „Ränder" der Verteilung: das Seltsame, das Kreative, das Unerwartete. Sie waren in der physischen Realität verankert.
Doch dann kamen ChatGPT, Midjourney und Copilot. Plötzlich sanken die Kosten für die Erzeugung von Inhalten auf nahezu null. Das Internet wurde mit KI-generierten Texten, KI-generierten Bildern und KI-generiertem Code überflutet. SEO-Spammer nutzten LLMs, um Millionen von „Listenartikeln" zu generieren und Klicks zu ernten. Bots begannen, in sozialen Medien mit Bots zu sprechen. LinkedIn füllte sich mit KI-geschriebenen Beiträgen über „Thought Leadership". Medium lief über mit KI-generierten Meinungsstücken über KI.
Heute ist ein erheblicher und wachsender Prozentsatz des öffentlichen Webs synthetisch. Schätzungen zufolge wurden bis 2025 30-50 % des Textes im öffentlichen Internet von KI generiert. Und hier liegt das Problem: Wenn wir das Web durchsuchen, um die nächste Generation von Modellen zu trainieren, sammeln wir unweigerlich Daten, die von ihren Vorgängern generiert wurden. Wir füttern die KI mit ihrer eigenen Ausgabe. Wir schließen den Kreislauf. Wir erschaffen Habsburg-KI.
Die Mathematik der Regression
Das ist nicht nur eine philosophische Sorge. Es ist eine mathematische Gewissheit. Forscher von Oxford, Cambridge und der University of Toronto haben diesen Effekt in streng begutachteten Studien nachgewiesen. Sie nennen ihn „Der Fluch der Rekursion“.
Die Mathematik ist in ihrer Düsterkeit eigentlich recht elegant. Wenn ein probabilistisches Modell (Modell B) mit Daten trainiert wird, die von einem anderen probabilistischen Modell (Modell A) erzeugt wurden, lernt Modell B die Annäherung von Modell A an die wahre Verteilung, nicht die wahre Verteilung selbst. Es lernt die Fehler zusammen mit dem Signal.
Aber es kommt noch schlimmer. Der Trainingsprozess von Modell B betont von Natur aus die Regionen mit hoher Wahrscheinlichkeit in der Ausgabe von Modell A. Die seltenen Ereignisse, die kreativen Ausreißer, die „Ränder“ der Verteilung sind in der synthetischen Ausgabe von Modell A unterrepräsentiert (weil sie per Definition selten sind). Modell B sieht also noch weniger Beispiele dieser Ränder als Modell A. Es verliert an Varianz.
Trainieren Sie nun Modell C mit der Ausgabe von Modell B. Die Ränder schrumpfen weiter. Trainieren Sie Modell D mit Modell C. Noch weiter. Nach genügend Generationen kollabiert die Verteilung zu einem Punkt. Alle Ausgaben werden gleich: der „Mittelwert“ der ursprünglichen Verteilung, befreit von aller Vielfalt.
Stellen Sie es sich wie das Kopieren einer Kopie einer Kopie vor. Die erste Kopie sieht akzeptabel aus. Die zweite ist etwas unscharf. Bei der zehnten Kopie werden die scharfen Kanten zu Rauschen, die Details sind verwaschen und das Bild wird zu grauem Brei. Das Signal zerfällt mit jeder Generation exponentiell.
Der Verlust der Ränder
Bei KI-Modellen äußert sich das als Verlust von Kreativität und Nuance. Die Modelle werden „beige“. Ihr Schreiben wird generisch, repetitiv und sicher. Ihre Kunst konvergiert zu einer spezifischen, glänzenden, hyperpolierten Ästhetik, der der Biss und die Textur der Realität fehlen. Ihr Code wird syntaktisch perfekt, aber funktional generisch, ohne die cleveren Optimierungstricks, die ein menschlicher Experte anwenden könnte.
In den „Rändern“ der Verteilung lebt die Innovation. Shakespeare ist in den Rändern. Einstein ist in den Rändern. Die seltsamen Startup-Ideen, die zu Milliardenunternehmen werden, sind in den Rändern. Wenn Sie die Ränder eliminieren, eliminieren Sie die Möglichkeit von Genie. Sie erhalten eine Welt kompetenter Mittelmäßigkeit.
Halluzinationsverstärkung
Vielleicht schlimmer als der Verlust von Kreativität ist das Gewinnen selbstsicherer Falschheit. Wenn Modelle mit den Halluzinationen ihrer Vorgänger trainieren, werden diese Fehler verstärkt. Eine einmal erzählte Lüge ist eine Anomalie. Eine Lüge, die eine Million Mal im Trainingssatz wiederholt wird, wird zur Tatsache.
Betrachten wir eine Hypothese: GPT-5 halluziniert, dass ein bestimmtes Medikament während der Schwangerschaft sicher ist (das ist es nicht). Diese Halluzination wird in Tausenden von KI-generierten Gesundheitsartikeln veröffentlicht. GPT-6 trainiert mit diesen Artikeln. Es „glaubt" diese falsche Tatsache nun mit noch höherer Zuversicht, weil es sie so oft gesehen hat. GPT-7 behandelt sie als etabliertes medizinisches Wissen.
Beim Model Collapse geht es nicht nur darum, langweilig zu werden; es geht darum, sich von der Realität zu lösen. Es geht darum, eine KI zu erschaffen, die in einem Universum von Fakten, die es nicht gibt, äußerst selbstsicher ist.
Die Beweise sind bereits da
Wir warten nicht darauf, dass der Model Collapse eintritt. Wir beobachten, wie er sich in Echtzeit entfaltet.
Stack Overflow hat einen massiven Rückgang des menschlichen Datenverkehrs erlebt, während die Menge an KI-generiertem Code auf GitHub explodiert ist. Wenn Sie ein Codierungsmodell mit GitHub-Daten aus dem Jahr 2025 trainieren, trainieren Sie es mit Code, der wahrscheinlich 2024 von Copilot geschrieben (oder zumindest unterstützt) wurde. Wenn dieser Code von 2024 einen subtilen Fehler hatte (sagen wir, eine Sicherheitslücke, die die KI tendenziell vorschlägt), wird das Modell von 2025 diesen Fehler als bewährte Praxis lernen. Es wird ihn verstärken.
Forscher von Google haben beobachtet, dass neuere Suchergebnisse zunehmend repetitive Formulierungsmuster aufweisen, die für LLM-Ausgaben charakteristisch sind. Dieselben Phrasen tauchen immer wieder auf: „Es ist wichtig zu beachten, dass...", „In der heutigen schnelllebigen Welt...", „Lassen Sie uns eintauchen...". Diese sprachlichen Eigenheiten verbreiten sich wie ein Virus im Korpus.
Amazon hat berichtet, dass ein erheblicher Prozentsatz der Kundenbewertungen auf ihrer Plattform inzwischen KI-generiert ist. Produktbeschreibungen sind KI-generiert. Die Bewertungen dieser Produkte sind KI-generiert. Bald werden auch die Zusammenfassungen dieser Bewertungen KI-generiert sein. Es sind Schildkröten, so weit das Auge reicht.
Die „Skalierungsgesetze", die den KI-Boom antrieben (die Idee, dass das bloße Hinzufügen von mehr Daten und mehr Rechenleistung immer zu besserer Leistung führt), stoßen an eine Wand. Daten sind nicht mehr die Einschränkung; die Realität ist die Einschränkung. Uns sind die sauberen menschlichen Daten ausgegangen. Wir haben unseren eigenen Brunnen vergiftet.
Die Dweve-Lösung: Erkenntnistheoretische Strenge
Bei Dweve haben wir diese Krise vorhergesehen. Wir haben früh erkannt, dass die Strategie „alles abschöpfen" nicht nachhaltig ist. Um robuste Systeme aufzubauen, die nicht in Halluzinationen verfallen, müssen Sie der Datenherkunft Priorität einräumen: Sie müssen genau wissen, woher Ihre Daten stammen und ob sie die Realität abbilden.
Aus diesem Grund haben wir Dweve Spindle entwickelt: unsere Plattform für Enterprise-Wissensgovernance. Spindle ist nicht nur eine Datenpipeline. Es ist ein erkenntnistheoretisches System. Es wandelt Rohinformationen durch einen strengen siebenstufigen Prozess in verifiziertes, KI-bereites Wissen um.
Die siebenstufige erkenntnistheoretische Pipeline
Jede Information, die in das Dweve-Ökosystem gelangt, durchläuft diese Pipeline:
Stufe 1: Kandidat. Rohinformationen werden identifiziert und zur Verarbeitung markiert. Dies kann eine Webseite, ein Dokument, ein Datenbankeintrag oder eine Sensorablesung sein. In dieser Stufe wissen wir nur, dass die Information existiert, nicht ob sie wahr oder nützlich ist.
Stufe 2: Extrahiert. Strukturierte Informationen werden aus der Rohquelle geparst. Entitäten werden identifiziert. Fakten werden extrahiert. Das unstrukturierte Durcheinander wird zu einem Kandidaten für einen strukturierten Wissensgraph.
Stufe 3: Analysiert. Behauptungen werden in atomare Fakten zerlegt. Ein Satz wie „Einstein gewann den Nobelpreis für Relativitätstheorie" wird in überprüfbare Bestandteile zerlegt: „Einstein existierte", „Einstein gewann einen Nobelpreis", „Der Preis war für Physik", „Der Preis wurde für Arbeiten zur Relativitätstheorie verliehen." (Hinweis: Diese letzte Behauptung ist tatsächlich falsch, was die Pipeline erkennen würde.)
Stufe 4: Verbunden. Atomare Fakten werden mit unserem bestehenden Wissensnetzwerk verknüpft. Widerspricht diese neue Information etablierten Fakten? Bestätigt sie sie? Füllt sie Lücken? Die Graphintegration offenbart Konsistenz und Konflikte.
Stufe 5: Verifiziert. Eine Validierung über mehrere Quellen findet statt. Können wir eine unabhängige Bestätigung von autoritativen Quellen finden? Besteht die Behauptung logische Konsistenzprüfungen? Wie ist die Herkunft der ursprünglichen Quelle?
Stufe 6: Zertifiziert. Die Qualitätssicherung ist abgeschlossen. Die Information hat einen Konfidenzwert über 0,7 in unseren sechs Qualitätsdimensionen erreicht. Sie ist als zuverlässig für die Verwendung in nachgelagerten Anwendungen markiert.
Stufe 7: Kanonisch. Die Information wird zu autoritativem, KI-bereitem Wissen. Sie kann für Training, Inferenz und Abruf verwendet werden. Sie ist Ground Truth.
Die 32-Agenten-Militärhierarchie
Diese Pipeline wird nicht von einem einzelnen Algorithmus ausgeführt. Sie wird von einem spezialisierten Team aus 32 KI-Agenten orchestriert, die in einer militärischen Hierarchie organisiert sind:
- Aufklärungsbrigade (6 Agenten): Späher, die potenzielle Wissensquellen identifizieren und abrufen
- Extraktionskorps (5 Agenten): Spezialisten für Parsing, NER und die Strukturierung von Rohdaten
- Analyseabteilung (6 Agenten): Logiker, die Behauptungen zerlegen und Abhängigkeiten identifizieren
- Verbindungsnetzwerk (4 Agenten): Graphspezialisten, die neues Wissen integrieren
- Qualitätswache (4 Agenten): Validatoren, die Querverweise erstellen und Inkonsistenzen erkennen
- Governance-Rat (12 Agenten): Leitende Agenten, die endgültige Zertifizierungsentscheidungen treffen
Jeder Agent verfügt über spezialisiertes Fachwissen. Sie debattieren. Sie hinterfragen die Schlussfolgerungen der anderen. Sie benötigen einen Konsens, bevor Informationen zur nächsten Stufe übergehen. Dieser Multi-Agenten-Verifikationsprozess ist weitaus robuster als jeder Einzelmodell-Ansatz zur Faktenprüfung.
Erkennung von 47 Arten von Verzerrungen
Spindle ist speziell dafür entwickelt, Verzerrungen in Trainingsdaten zu erkennen und zu kennzeichnen. Unser System identifiziert 47 verschiedene Verzerrungsarten in vier Kategorien:
- Statistische Verzerrung: Stichprobenverzerrung, Auswahlverzerrung, Überlebensverzerrung, Bestätigungsfehler bei der Datenerfassung
- Kognitive Verzerrung: Ankereffekt, Verfügbarkeitsheuristik, Framing-Effekte im Quellenmaterial
- Sprachliche Verzerrung: Wertende Sprache, Euphemismen, Füllwörter, überzeugende Rahmung
- Systemische Verzerrung: Repräsentationslücken, historische Verzerrungen im Text, kulturelle blinde Flecken
Wenn eine Verzerrung erkannt wird, werden die Informationen entweder korrigiert (falls möglich), gekennzeichnet (falls die Korrektur unsicher ist) oder verworfen (falls die Verzerrung grundlegend und nicht korrigierbar ist). Dies verhindert die Verstärkung von Verzerrungen, die Modelle plagt, die mit rohen Web-Scrapes trainiert wurden.
Die vier Säulen der Datenherkunft
Über die Spindle-Pipeline hinaus stützt sich unsere umfassendere Datenstrategie auf vier Säulen:
1. Das unberührte Web (Archive vor 2023)
Wir legen größten Wert auf Daten, die vor der massenhaften Verbreitung generativer KI (etwa Ende 2022/Anfang 2023) erstellt wurden. Diese Ära betrachten wir als das „unberührte Web“. Diese Archivdaten sind das Fundament unseres Trainings. Sie sind die Grundwahrheit menschlicher Produktion, bevor die Kontamination begann.
Wir haben massiv in die Beschaffung und Kuratierung von Datensätzen aus der Zeit vor 2022 investiert: digitalisierte Bücher, akademische Archive, Code-Repositories mit Commit-Historien, die menschliche Autorenschaft belegen, sowie Forenarchive aus einer Zeit, in der jeder Beitrag von einem Menschen geschrieben wurde.
Diese Daten sind unersetzlich. Sobald das Web kontaminiert war, konnten wir es nicht mehr dekontaminieren. Aber wir können die sauberen Archive bewahren und priorisieren.
2. Zertifizierte menschliche Quellen
Für moderne Daten verlassen wir uns nicht auf blindes Web-Scraping. Wir arbeiten direkt mit vertrauenswürdigen Institutionen zusammen. Wir lizenzieren Daten von:
- Wissenschaftsverlagen: Peer-reviewte Artikel sind (größtenteils) von Menschen geschrieben und von Menschen geprüft. Der Review-Prozess bietet einen Qualitätsfilter.
- Buchverlagen: Redaktionelle Prozesse gewährleisten ein Maß an menschlicher Kontrolle, das Webinhalte vermissen lassen.
- Code-Repositories mit CI/CD: Das ist entscheidend. Wir scrapen nicht nur Code. Wir scrapen Code, der Tests besteht. Wenn eine Funktion nicht kompiliert, verwerfen wir sie. Wenn sie ihre Testsuite nicht besteht, verwerfen wir sie. Funktionierender Code stammt mit viel höherer Wahrscheinlichkeit von Menschen (oder wurde zumindest von Menschen verifiziert) als zufällige Schnipsel.
- Unternehmenspartner: Unternehmen stellen uns proprietäre Daten im Austausch für maßgeschneiderte Modelle zur Verfügung. Diese Daten sind per Definition menschengeneriert und geschäftsrelevant.
3. Symbolische Verifikation als Immunsystem
Das ist einzigartig für unseren neuro-symbolischen Ansatz. Da unser System Logik und Codestruktur durch unsere constraint-basierte Architektur versteht, können wir symbolische Verifikation nutzen, um Trainingsdaten zu filtern.
Wenn wir ein Modell für das Schreiben von Python trainieren, füttern wir es nicht nur mit rohen Textdateien. Wir lassen den Code durch einen Compiler laufen. Wenn er Syntaxfehler hat, verwerfen wir ihn. Wir lassen ihn durch einen statischen Analyzer laufen. Wenn er offensichtliche Sicherheitslücken hat, verwerfen wir ihn. Wir führen ihn gegen Testfälle aus. Wenn er scheitert, verwerfen wir ihn.
Für faktische Inhalte gleichen wir Behauptungen mit unserem verifizierten Wissensgraph ab. Wenn ein Dokument behauptet, Paris sei die Hauptstadt Deutschlands, erkennt die symbolische Schicht die Inkonsistenz und markiert das Dokument als unzuverlässig.
Dies wirkt wie ein Immunsystem gegen den Model Collapse. Die Halluzinationen und fehlerhaften Codes, die von anderen KIs erzeugt werden, fallen bei unseren Verifikationsprüfungen durch und werden herausgefiltert, bevor sie unser Training kontaminieren können.
4. Die Strategie zur Bewahrung der Ränder
Wir sampeln die "Ränder" der Verteilung bewusst über. Wir suchen nach Daten, die von hoher Qualität, aber unkonventionell sind. Wir wollen nicht, dass unser Modell "durchschnittlich" ist. Wir wollen, dass es die Randfälle versteht, die kreativen Sprünge, die brillanten Ausnahmen.
Die meisten LLM-Trainingspipelines filtern "Ausreißer" aggressiv heraus, um das Training zu stabilisieren. Wir kuratieren sie sorgfältig. Innovation findet nicht am Mittelwert statt; sie findet an den Rändern statt. Die nächste bahnbrechende Idee wird nicht wie jede andere Idee klingen. Sie wird seltsam klingen. Diese Seltsamkeit wollen wir bewahren.
Der Wert der Realität
In naher Zukunft wird "von Menschen erzeugte Daten" zu einer Premium-Anlageklasse werden. Der riesige Ozean des öffentlichen Internets wird als "Junk-Daten" gelten: nützlich als Füllmaterial, vielleicht, oder zum Erlernen grundlegender Grammatik, aber gefährlich für grundlegendes Wissen.
Unternehmen, die Zugang zu proprietären, realen Daten haben (Sensordaten aus echten Fabriken, Patientendaten von echten Ärzten, Transaktionsdaten aus echten Volkswirtschaften), werden einen massiven Wettbewerbsvorteil haben. Sie besitzen die "Ground Truth".
Der Model Collapse ist die existenzielle Bedrohung für die generative-KI-Blase. Er deutet darauf hin, dass wir nicht einfach endlos skalieren können. Wir können uns nicht einfach unseren Weg zur Superintelligenz simulieren. Wir müssen geerdet bleiben. Wir müssen kuratieren. Wir müssen Qualität über Quantität stellen.
Die KI der Zukunft wird nicht auf dem gesamten Internet aufgebaut sein. Sie wird auf dem verifizierten Internet aufgebaut sein. Sie wird auf Wahrheit aufgebaut sein.
Die regulatorische Dimension
Dies ist nicht nur ein technisches Anliegen. Die Regulierungsbehörden erwachen zu den Implikationen der Kontamination durch synthetische Daten.
Der EU AI Act verlangt ausdrücklich die Dokumentation der Herkunft von Trainingsdaten für KI-Systeme mit hohem Risiko. Wenn Ihr Modell mit kontaminierten Daten trainiert wurde und schädliche Ergebnisse produziert, müssen Sie nachweisen können, dass Sie angemessene Schritte zur Sicherstellung der Datenqualität unternommen haben. "Wir haben das Internet gescrapt" wird keine akzeptable Antwort sein.
Die DSGVO verlangt von Organisationen bereits, Aufzeichnungen über Datenverarbeitungstätigkeiten zu führen. Dies auf KI-Trainingsdaten auszuweiten, ist eine natürliche Weiterentwicklung. Woher stammen Ihre Trainingsdaten? Können Sie nachweisen, dass sie rechtmäßig erhoben wurden? Können Sie belegen, dass sie die Realität abbilden und nicht KI-Halluzinationen?
Unternehmen, die diese Fragen nicht beantworten können, werden mit zunehmender regulatorischer Kontrolle konfrontiert. Unternehmen, die eine lückenlose Datenherkunft nachweisen können (wie jene, die Dweve Spindle verwenden), haben einen Compliance-Vorteil.
Der Weg nach vorn
Der Model Collapse ist nicht unvermeidlich. Er ist eine Folge nachlässiger Datenpraktiken. Wenn wir weiterhin das kontaminierte Web durchforsten und es immer größeren Modellen zuführen, erhalten wir Habsburg-KI: selbstbewusst, leistungsfähig wirkend, aber im Kern degeneriert.
Wenn wir jedoch in Datenqualität investieren, wenn wir erkenntnistheoretische Systeme aufbauen, die Wahrheit von Halluzination unterscheiden können, wenn wir die Vielfalt menschlichen Denkens bewahren, statt sie zu synthetischem Brei zu verarbeiten, dann können wir KI entwickeln, die in der Realität verankert bleibt.
Das erfordert härtere Arbeit. Es erfordert mehr Investitionen. Es erfordert, Daten als wertvolle Ressource zu behandeln und nicht als Rohstoff, der ausgebeutet wird. Aber es ist der einzige Weg zu KI-Systemen, die langfristig nützlich, genau und vertrauenswürdig bleiben.
Bei Dweve haben wir diesen Weg gewählt. Unsere Kombination aus makellosen Archivdaten, zertifizierten menschlichen Quellen, symbolischer Verifikation und Vielfaltssicherung stellt sicher, dass unsere Modelle mit der realen Welt verbunden bleiben. Wir bauen den Filter zwischen Realität und Simulation.
Der einfache Weg führt zum Model Collapse. Der schwierige Weg führt zu Intelligenz, die tatsächlich funktioniert. Wir wissen, welchen Weg wir gehen.