Die große KI-Illusion: Warum „mehr Daten“ uns nicht retten wird
Der Billionen-Parameter-Wahn
In der KI findet gerade ein Wettrennen statt. Kein Wettrennen um bessere Systeme. Kein Wettrennen um die Lösung echter Probleme. Ein Wettrennen um immer größere Zahlen.
Hundert Milliarden Parameter. Fünfhundert Milliarden. Eine Billion. Zehn Billionen. Jede Ankündigung wird von atemlosen Pressemitteilungen und steigenden Aktienkursen begleitet. Jedes Modell wird als der nächste Fortschritt der künstlichen Intelligenz vermarktet.
Nur sind es keine Fortschritte. Sie sind nur größer.
Und irgendwo auf dem Weg hat sich die gesamte Branche davon überzeugt, dass größer gleich besser ist. Dass mehr Parameter mehr Intelligenz bedeuten. Dass wir, wenn wir nur weiter skalieren, weiter Nullen hinzufügen, weiter mehr Daten und mehr Rechenleistung verbrauchen, irgendwann zufällig auf künstliche allgemeine Intelligenz stoßen.
Es ist die größte Illusion der modernen Technologie. Und sie beginnt zu bröckeln.
Das Evangelium der Skalierungsgesetze
Im Jahr 2020 entdeckten Forscher, was sie „Skalierungsgesetze" nannten. Füttert man ein neuronales Netz mit mehr Parametern und mehr Daten, verbessert sich seine Leistung vorhersagbar. Verdoppelt man die Parameter, halbiert sich die Fehlerrate. Es war wunderschön. Mathematisch. Wiederholbar.
Die Skalierungsgesetze wurden zum Evangelium. KI-Forschung planen? Einfach hochskalieren. Bessere Leistung wollen? Mehr Parameter hinzufügen. Konkurrieren müssen? Größere Modelle bauen.
Jedes große Labor verfolgte dieselbe Strategie: größere Modelle, mehr Daten, mehr Rechenleistung. GPT-3 hatte 175 Milliarden Parameter. GPT-4 wurde größer. Gemini ging noch weiter. Modelle mit einer Billion Parametern wurden angekündigt. Zehn Billionen wurden diskutiert.
Die Logik schien unangreifbar: Wenn Skalierung bisher funktioniert hat, warum sollte sie aufhören?
Außer sie hört auf. Genau jetzt.
Die Mauer, die niemand vorhergesehen hat
Ende 2024 geschah etwas Unerwartetes. Die nächste Generation der Flaggschiff-Modelle zeigte nicht die erwarteten Verbesserungen.
Doppelte Parameter. Dreifache Trainingsdaten. Zehnfache Rechenleistung. Und die Leistung bewegte sich kaum. In einigen Fällen wurde sie schlechter.
Die Skalierungsgesetze, die jahrelang so zuverlässig gegolten hatten, brachen zusammen. Abnehmende Erträge waren nicht mehr nur Theorie. Sie waren da.
TechCrunch berichtete im November 2024, dass die Skalierungsgesetze der KI „abnehmende Erträge zeigen und KI-Labore zwingen, ihren Kurs zu ändern". DeepLearning.AI dokumentierte, wie große Unternehmen einräumten, dass „die nächste Generation hochkarätiger Modelle trotz größerer Architekturen, mehr Trainingsdaten und mehr Rechenleistung nicht die erwarteten Verbesserungen gezeigt hat".
Die Beweislage ist eindeutig: Die Skalierung ist an eine Mauer gestoßen. Eigentlich an mehrere Mauern.
Die Datenmauer
Erste Mauer: Uns gehen die qualitativ hochwertigen Trainingsdaten aus.
Große Sprachmodelle konsumieren das Internet. Buchstäblich. GPT-3 wurde mit Hunderten Milliarden Wörtern trainiert, die von Websites, Büchern, Artikeln und Foren gesammelt wurden. Mit so ziemlich jedem einigermaßen zugänglichen menschlichen Text im Internet.
Aber es gibt nur eine begrenzte Menge Internet. Eine 2022 veröffentlichte Studie sagte voraus, dass wir qualitativ hochwertige Textdaten zwischen 2026 und 2032 erschöpfen werden, wenn die aktuellen Trends anhalten. Die Analyse von Epoch AI ergab, dass dies nach verfeinerter Methodik möglicherweise bereits 2028 geschehen könnte, während frühere Schätzungen von einer Erschöpfung bis 2024 ausgingen.
Wie auch immer, die Uhr tickt. Hochwertiger, von Menschen erzeugter Text ist endlich.
Die Antwort? Synthetische Daten. Modelle, die Text generieren, um andere Modelle zu trainieren. Das klingt clever, bis einem klar wird, dass es wie das Kopieren von Kopien ist. Jede Generation verliert an Qualität. Fehler häufen sich. Verzerrungen verstärken sich.
Nature veröffentlichte 2024 Forschungsergebnisse, die zeigen, dass Modelle, die mit rekursiv generierten Daten trainiert wurden, unter „Model Collapse" leiden. Die Studie zeigte, dass das wahllose Training mit synthetischen Inhalten zu schlechterer Leistung, geringerer Vielfalt und letztlich zu KI-Modellen führt, die zunehmend generische Ausgaben produzieren.
Man kann nicht unendlich skalieren, wenn die eigene Brennstoffquelle endlich ist. Und qualitativ hochwertige Daten, echtes menschliches Wissen, sind in der Tat sehr endlich.
Der Qualitätskollaps
Zweite Wand: Mehr Daten bedeuten nicht bessere Daten.
Das Chinchilla-Papier von 2022 offenbarte etwas Entscheidendes: Das optimale Modell ist nicht das größte Modell. Es ist das mit dem besten Verhältnis von Parametern zu Trainings-Tokens. Für jede 4-fache Erhöhung der Rechenleistung benötigt man eine 2-fache Vergrößerung der Modellgröße UND eine 2-fache Steigerung der Datenqualität.
Aber was passiert, wenn man bereits alle guten Daten verwendet hat? Man beginnt, Quellen von geringerer Qualität auszuschöpfen. Foren mit Fehlinformationen. Maschinell übersetzte Inhalte. KI-generierter Spam. Der Bodensatz des Internets.
Mehr Trainingsdaten. Schlechtere Leistung. Denn „Müll rein, Müll raus" hört nicht auf, wahr zu sein, nur weil man eine Billion Parameter hat.
Eine Studie aus dem Jahr 2024 ergab, dass Datenqualität für kleine Sprachmodelle wichtiger ist als Quantität. Eine andere fand heraus, dass sorgfältig kuratierte Datensätze mit 1 Million Beispielen besser abschneiden als zufällig gesammelte Datensätze mit 100 Millionen Beispielen.
Die Reaktion der Branche? Trotzdem weiter skalieren. Mehr Rechenleistung auf das Problem werfen. Hoffen, dass rohe Gewalt schlechte Daten überwindet.
Tut sie nicht.
Die Rechenleistungsgrenze
Dritte Wand: die Physik der Berechnung.
Das Training eines Modells mit einer Billion Parametern erfordert unfassbare Mengen an Rechenleistung. Wir sprechen von Zehntausenden GPUs, die monatelang laufen. Energieverbrauch, der mit dem kleiner Länder konkurriert. Infrastrukturkosten in Höhe von Hunderten Millionen.
Und wofür? Marginale Verbesserungen. Leistungssteigerungen, die den exponentiellen Kostenanstieg kaum rechtfertigen.
Eine Schätzung legt nahe, dass das Training eines hypothetischen Modells mit 10 Billionen Parametern mehr Strom verbrauchen würde, als einige europäische Nationen jährlich nutzen. Für einen einzigen Trainingslauf. Der wahrscheinlich dutzende Male wiederholt werden muss, bevor er funktioniert.
Die wirtschaftlichen Erträge rechtfertigen die Rechenkosten nicht mehr. Skalierungsgesetze versprachen lineare Verbesserungen bei linearer Investition. Die Realität liefert logarithmische Verbesserungen bei exponentieller Investition.
Das ist kein Geschäftsmodell. Das ist eine Blase, die darauf wartet zu platzen.
Die Intelligenz-Illusion
Aber hier ist das tiefere Problem: Selbst als Skalierung funktionierte, schuf sie keine Intelligenz. Sie schuf statistisches Mustererkennen in enormem Maßstab.
Eine Billion Parameter denken nicht. Sie argumentieren nicht. Sie verstehen nicht. Sie sagen das nächste Token basierend auf Mustern in den Trainingsdaten voraus. Das ist etwas grundlegend anderes als Intelligenz.
Die Illusion ist überzeugend, weil Skalierung Verständnis annähern kann. Gib einem Modell genug Beispiele, und es kann sich durch Mustererkennung zu scheinbar intelligenten Antworten durcharbeiten. Aber es ist Nachahmung, nicht Verständnis.
Deshalb scheitern Modelle an neuartigen Problemen. Deshalb können sie keine zuverlässige mehrstufige Argumentation durchführen. Deshalb halluzinieren sie selbstbewusst falsche Fakten. Sie denken nicht. Sie rufen Muster ab und kombinieren sie neu.
Und keine noch so große Skalierung behebt das. Mehr Parameter zu einem Mustererkennungssystem hinzuzufügen ergibt nur ein größeres Mustererkennungssystem.
Die europäische Falle
Für Europa schafft das Skalierungsparadigma eine unmögliche Situation.
Amerikanische Technologiegiganten haben die Rechenleistung. Sie haben die Daten. Sie haben die Infrastruktur, um Modelle mit einer Billion Parametern zu trainieren. Europäische Unternehmen nicht.
Der Versuch, im Skalierungswettlauf zu konkurrieren, bedeutet, dass europäische KI immer hinterherläuft. Immer eine Generation zurück. Immer unterlegen bei der Rechenleistung und überboten bei der Datenerfassung.
Es ist ein Spiel, das von Anfang an manipuliert ist. Die Regeln begünstigen diejenigen mit den meisten Ressourcen, nicht diejenigen mit den besten Ideen.
Und jetzt, da die Skalierungsgesetze zusammenbrechen, wird Europas Nachteil in diesem Wettlauf irrelevant. Denn der Wettlauf selbst endet.
Die klügere Alternative
Was ist also die Alternative? Wenn größer nicht besser ist, was dann?
Die Antwort ist Eleganz. Effizienz. Mathematische Strenge.
Bei Dweve haben wir die Skalierungsillusion nie geglaubt. Wir haben nicht versucht, größere Modelle zu bauen. Wir haben klügere gebaut.
Binäre neuronale Netze mit 456 Domänenspezialisten. Jeder Domänenspezialist konzentriert sich auf bestimmte Arten der Argumentation. Sparsame Aktivierung bedeutet, dass nur die relevanten Domänenspezialisten für jede Aufgabe aktiviert werden. Keine verschwendete Berechnung. Keine unnötigen Parameter.
Das Ergebnis? Hochmoderne Leistung mit einem Bruchteil der Parameter. Bessere Argumentation mit weniger Daten. Einsetzbare Systeme, die keine Infrastruktur im Maßstab von Rechenzentren erfordern.
Loom 456 versucht nicht, das Internet auswendig zu lernen. Es ist darauf ausgelegt, mit Einschränkungen zu argumentieren, Probleme durchzudenken und Struktur tatsächlich zu verstehen.
Das ist Intelligenz durch Architektur, nicht durch Anhäufung.
Qualität vor Quantität
Das Chinchilla-Papier hat eines richtig gemacht: Das Verhältnis zählt mehr als die rohen Zahlen.
Aber die eigentliche Erkenntnis geht tiefer: Sorgfältig entwickelte Modelle mit kuratierten Trainingsregimen übertreffen massive Modelle mit wahlloser Datenanhäufung.
Denk an menschliches Lernen. Du wirst nicht schlau, indem du alles liest. Du wirst schlau, indem du die richtigen Dinge liest, in der richtigen Reihenfolge, mit der richtigen Anleitung. Die Qualität des Lernens zählt mehr als die Menge an Informationen.
KI ist nicht anders. Ein Modell, das mit gut strukturierten, sorgfältig kuratierten Daten trainiert wurde, wird ein Modell übertreffen, das in zufälligem Internettext ertrinkt. Selbst wenn das zweite Modell 100× mehr Parameter hat.
Hier kann Europa konkurrieren. Nicht indem es größer baut, sondern indem es besser baut. Nicht indem es mehr Daten sammelt, sondern indem es klügere Trainingsregime verwendet.
Dweve Core demonstriert dieses Prinzip. Unser Framework für binäre neuronale Netze erzielt eine konkurrenzfähige Leistung mit um Größenordnungen weniger Parametern als Standardmodelle. Denn wir setzen auf mathematische Eleganz statt auf brutale Skalierung.
Der Architekturvorteil
Das übersehen die Verfechter der Skalierung: Architektur zählt mehr als Größe.
Man kann eine Billion Parameter dumm anordnen oder eine Milliarde Parameter intelligent. Die intelligente Anordnung gewinnt jedes Mal.
Mixture-of-Experts-Architekturen (MoE) beweisen das. Statt für jede Aufgabe alle Parameter zu aktivieren, wird nur die relevante Teilmenge aktiviert. Plötzlich erhält man die Leistung einer Billion Parameter zu den Rechenkosten einer Milliarde.
Binäre neuronale Netze treiben das noch weiter. Jede Operation ist mathematisch einfacher, aber die Gesamtarchitektur ist anspruchsvoller. Regelbasierte Schlussfolgerung statt probabilistischer Näherung. Diskrete Logik statt Gleitkomma-Ratespiel.
Das Ergebnis sind Systeme, die schlussfolgern statt abzurufen. Die Struktur verstehen statt Muster auswendig zu lernen. Die zuverlässig arbeiten statt plausibel zu halluzinieren.
Das ist die Zukunft, die Skalierungsgesetze nicht erreichen können: echte Intelligenz, nicht nur größere Nachahmung.
Jenseits der Illusion
Die Ära des Skalierens geht zu Ende. Nicht mit einem dramatischen Absturz, sondern mit der langsamen Erkenntnis, dass es nicht mehr funktioniert, immer mehr Rechenleistung auf das Problem zu werfen.
Datenmauern. Qualitätskollaps. Rechengrenzen. Abnehmender Ertrag. Das sind keine vorübergehenden Rückschläge. Das sind grundlegende Grenzen des Skalierungsparadigmas.
Für diejenigen aber, die nie an die Illusion geglaubt haben, ist das keine Krise. Es ist eine Chance.
Eine Chance, KI auf der Grundlage echter Intelligenzprinzipien aufzubauen statt auf statistischer Korrelation. Systeme zu schaffen, die effizient statt verschwenderisch arbeiten. Technologie zu entwickeln, die zugänglich ist statt Milliardenbudgets zu erfordern.
Das Rennen um Billionen Parameter war immer eine Sackgasse. Wir mussten nur warten, bis alle anderen gegen die Wand liefen, um es zu beweisen.
Der eigentliche Fortschritt
Das ist die Ironie: Der eigentliche Fortschritt in der KI wird kein größeres Modell sein. Es wird die Erkenntnis sein, dass wir auf das Falsche optimiert haben.
Nicht mehr Parameter. Bessere Architektur.
Nicht mehr Daten. Besseres Lernen.
Nicht mehr Rechenleistung. Klügere Mathematik.
Binäre neuronale Netze verkörpern diesen Wandel. Von der Akkumulation zur Eleganz. Von der Brute Force zur mathematischen Strenge. Von Monstern mit Billionen Parametern zu Systemen mit Milliarden Parametern, die tatsächlich denken.
Die Plattform von Dweve beweist, dass es funktioniert: Core als Framework für binäre Algorithmen, Loom als das intelligente Modell für 456 Fachgebiete, Nexus als Framework für Multi-Agenten-Intelligenz, Aura als Plattform für die Orchestrierung autonomer Agenten, Fabric als einheitliches Dashboard und Kontrollzentrum, Mesh als dezentrale Infrastrukturebene.
Alles aufgebaut auf dem Prinzip, dass Intelligenz aus Struktur entsteht, nicht aus Größe.
Die bevorstehende Entscheidung
Die KI-Branche steht vor einer Entscheidung. Entweder weiter der Skalierungsillusion hinterherlaufen, gutes Geld dem schlechten hinterherwerfen und hoffen, dass die nächste Größenordnung irgendwie die Mauern durchbricht. Oder anerkennen, dass das Paradigma Grenzen hat, und auf etwas Besseres umsteigen.
Die Daten sagen, dass das Skalieren am Ende ist. Die Physik sagt, dass die Rechenkosten nicht tragbar sind. Die Mathematik sagt, dass es klügere Ansätze gibt.
Europa muss das Skalierungsrennen nicht gewinnen. Europa muss es überflüssig machen. KI aufbauen, die keine Modelle mit Billionen Parametern erfordert. Systeme schaffen, die effizient statt verschwenderisch arbeiten. Technologie entwickeln, die auf Verständnis basiert, nicht auf Auswendiglernen.
Die große KI-Illusion bröckelt. Mehr Daten werden sie nicht retten. Größere Modelle werden sie nicht retten. Mehr Rechenleistung wird sie nicht retten.
Was die Illusion zerbricht? Die Erkenntnis, dass Intelligenz nie von der Größe abhing.
Die Zukunft der KI sind nicht Billionen von Parametern. Es sind intelligente Architekturen, effiziente Berechnung und mathematische Eleganz. Es sind Systeme, die für Verständnis entwickelt wurden, nicht fürs Auswendiglernen. Intelligenz durch Struktur, nicht durch Anhäufung.
Das Skalierungsparadigma hat seinen Zweck erfüllt. Es hat uns gezeigt, was rohe Gewalt erreichen kann. Doch jetzt haben wir seine Grenzen erreicht. Das nächste Kapitel der KI erfordert anderes Denken: Präzision statt Größe, Architektur statt Parameter, Intelligenz statt Masse.
Diese Zukunft wird jetzt gebaut. Von Forschenden, die sich auf Effizienz konzentrieren. Von Ingenieurinnen und Ingenieuren, die Erklärbarkeit priorisieren. Von Unternehmen, die KI entwickeln, die ohne Rechenzentrumsinfrastruktur funktioniert. Europa hat die Chance, diesen Wandel anzuführen, nicht indem es das Skalierungsrennen gewinnt, sondern indem es es überflüssig macht.
Die große KI-Illusion bröckelt. Mehr Daten werden sie nicht retten. Was als Nächstes kommt, wird intelligenter sein.
Dweve baut KI auf binären Constraint-Netzwerken und Architekturen mit Domänenspezialisten. Loom nutzt 456 Domänenspezialisten für effizientes Denken. Entwicklung in den Niederlanden, im Dienst europäischer Organisationen. Die Zukunft der KI ist elegant, nicht nur groß.