Die große KI-Illusion: Warum "mehr Daten" uns nicht retten werden.

Die Billionen-Parameter-Täuschung

Es gibt ein Rennen in der KI. Kein Rennen, um bessere Systeme zu bauen. Kein Rennen, um echte Probleme zu lösen. Ein Rennen, um größere Zahlen zu bauen.

Hundert Milliarden Parameter. Fünfhundert Milliarden. Eine Billion. Zehn Billionen. Jede Ankündigung wird mit atemlosen Pressemitteilungen und steigenden Aktienkursen begrüßt. Jedes Modell wird als der nächste Durchbruch in der künstlichen Intelligenz vermarktet.

Außer, dass es keine Durchbrüche sind. Sie sind nur größer.

Und irgendwann hat sich die gesamte Branche davon überzeugt, dass größer gleich besser ist. Dass mehr Parameter mehr Intelligenz bedeuten. Dass, wenn wir einfach immer weiter skalieren, immer mehr Nullen hinzufügen, immer mehr Daten und mehr Rechenleistung verbrauchen, wir irgendwann auf die allgemeine künstliche Intelligenz stoßen werden.

Es ist die größte Illusion in der modernen Technologie. Und sie bröckelt.

Das Skalierungsgesetz-Evangelium

Im Jahr 2020 entdeckten Forscher, was sie "Skalierungsgesetze" nannten. Füttert man ein neuronales Netz mit mehr Parametern und mehr Daten, verbessert sich seine Leistung vorhersehbar. Verdoppelt man die Parameter, halbiert sich die Fehlerrate. Es war wunderschön. Mathematisch. Wiederholbar.

Die Skalierungsgesetze wurden zum Evangelium. KI-Forschung planen? Einfach skalieren. Bessere Leistung? Mehr Parameter hinzufügen. Konkurrieren? Größere Modelle bauen.

Jedes große Labor verfolgte die gleiche Strategie: größere Modelle, mehr Daten, mehr Rechenleistung. GPT-3 hatte 175 Milliarden Parameter. GPT-4 wurde größer. Gemini ging noch weiter. Modelle mit einer Billion Parametern wurden angekündigt. Zehn Billionen wurden diskutiert.

Die Logik schien unantastbar: Wenn die Skalierung bisher funktioniert hat, warum sollte sie aufhören?

Außer, dass sie aufhört. Genau jetzt.

Die Wand, die niemand vorhergesagt hat

Ende 2024 geschah etwas Unerwartetes. Die nächste Generation der Flaggschiff-Modelle zeigte nicht die erwarteten Verbesserungen.

Doppelt so viele Parameter. Dreifache Trainingsdaten. Zehnfache Rechenleistung. Und die Leistung bewegte sich kaum. In einigen Fällen wurde sie schlechter.

Die Skalierungsgesetze, die jahrelang so zuverlässig gehalten hatten, brachen zusammen. Abnehmende Erträge waren nicht mehr theoretisch. Sie waren da.

TechCrunch berichtete im November 2024, dass KI-Skalierungsgesetze "abnehmende Erträge zeigen und KI-Labore zwingen, ihren Kurs zu ändern". DeepLearning.AI dokumentierte, wie große Unternehmen anerkannten, dass "die nächste Generation hochkarätiger Modelle trotz größerer Architekturen, mehr Trainingsdaten und mehr Rechenleistung nicht die erwarteten Verbesserungen gezeigt hat".

Die Beweise sind klar: Die Skalierung stieß an eine Wand. Tatsächlich an mehrere Wände.

Die Datenwand

Erste Wand: Uns gehen die hochwertigen Trainingsdaten aus.

Große Sprachmodelle konsumieren das Internet. Buchstäblich. GPT-3 wurde mit Hunderten von Milliarden Wörtern trainiert, die von Websites, Büchern, Artikeln und Foren gesammelt wurden. Jedes einigermaßen zugängliche Stück menschlichen Textes online.

Aber es gibt nur so viel Internet. Eine im Jahr 2022 veröffentlichte Studie sagte voraus, dass wir hochwertige Textdaten zwischen 2026 und 2032 erschöpfen werden, wenn die aktuellen Trends anhalten. Die Analyse von Epoch AI ergab, dass frühere Schätzungen eine Erschöpfung bis 2024 vorsahen, eine verfeinerte Methodik nun jedoch darauf hindeutet, dass dies bis 2028 geschehen könnte.

So oder so, die Uhr tickt. Hochwertiger, von Menschen erzeugter Text ist endlich.

Die Antwort? Synthetische Daten. Modelle, die Text generieren, um andere Modelle zu trainieren. Das klingt clever, bis man merkt, dass es wie das Kopieren von Fotokopien ist. Jede Generation verschlechtert sich. Fehler häufen sich. Verzerrungen verstärken sich.

Nature veröffentlichte 2024 Forschungsergebnisse, die zeigen, dass Modelle, die mit rekursiv generierten Daten trainiert werden, einen "Modellkollaps" erleben. Die Studie zeigte, dass das wahllose Training mit synthetischen Inhalten zu einer Verschlechterung der Leistung, einer Verringerung der Vielfalt und letztendlich zu KI-Modellen führt, die zunehmend generische Ausgaben produzieren.

Man kann nicht unendlich skalieren, wenn die Brennstoffquelle endlich ist. Und hochwertige Daten – echtes menschliches Wissen – sind in der Tat sehr endlich.

Der Qualitätskollaps

Zweite Wand: Mehr Daten bedeuten nicht bessere Daten.

Das Chinchilla-Papier von 2022 enthüllte etwas Entscheidendes: Das optimale Modell ist nicht das größte Modell. Es ist dasjenige mit dem besten Verhältnis von Parametern zu Trainings-Tokens. Für jede 4-fache Erhöhung der Rechenleistung benötigt man eine 2-fache Erhöhung der Modellgröße UND eine 2-fache Erhöhung der Datenqualität.

Aber was passiert, wenn man alle guten Daten bereits verwendet hat? Man beginnt, minderwertigere Quellen zu scrapen. Foren mit Fehlinformationen. Maschinell übersetzte Inhalte. KI-generierter Spam. Der Bodensatz des Internets.

Mehr Trainingsdaten. Schlechtere Leistung. Denn "Garbage in, garbage out" hört nicht auf, wahr zu sein, nur weil man eine Billion Parameter hat.

Eine Studie aus dem Jahr 2024 ergab, dass die Datenqualität für kleine Sprachmodelle wichtiger ist als die Quantität. Eine andere fand heraus, dass sorgfältig kuratierte Datensätze von 1 Million Beispielen zufällig gesammelte Datensätze von 100 Millionen Beispielen übertreffen.

Die Reaktion der Branche? Trotzdem weiter skalieren. Mehr Rechenleistung auf das Problem werfen. Hoffen, dass rohe Gewalt schlechte Daten überwindet.

Das tut sie nicht.

Die Rechenleistungsgrenze

Dritte Wand: die Physik der Berechnung.

Das Training eines Billionen-Parameter-Modells erfordert unermessliche Mengen an Rechenleistung. Wir sprechen von Zehntausenden von GPUs, die monatelang laufen. Energieverbrauch, der mit kleinen Ländern konkurriert. Infrastrukturkosten in Hunderten von Millionen.

Und wofür? Marginale Verbesserungen. Leistungssteigerungen, die den exponentiellen Kostenanstieg kaum rechtfertigen.

Eine Schätzung deutet darauf hin, dass das Training eines hypothetischen 10-Billionen-Parameter-Modells mehr Strom verbrauchen würde, als einige europäische Nationen jährlich verbrauchen. Für einen einzigen Trainingslauf. Der wahrscheinlich Dutzende Male wiederholt werden muss, bevor er funktioniert.

Die wirtschaftlichen Erträge stützen die Rechenkosten nicht mehr. Skalierungsgesetze versprachen lineare Verbesserungen bei linearer Investition. Die Realität liefert logarithmische Verbesserungen bei exponentieller Investition.

Das ist kein Geschäftsmodell. Das ist eine Blase, die darauf wartet, zu platzen.

Die Intelligenz-Illusion

Aber hier ist das tiefere Problem: Selbst als die Skalierung funktionierte, erzeugte sie keine Intelligenz. Sie erzeugte statistische Mustererkennung in enormem Maßstab.

Eine Billion Parameter denken nicht. Sie argumentieren nicht. Sie verstehen nicht. Sie sagen das nächste Token basierend auf Mustern in den Trainingsdaten voraus. Das ist etwas grundlegend anderes als Intelligenz.

Die Illusion ist überzeugend, weil die Skalierung das Verständnis annähern kann. Füttert man ein Modell mit genügend Beispielen, kann es sich durch Mustererkennung zu scheinbar intelligenten Antworten durcharbeiten. Aber es ist Nachahmung, nicht Verständnis.

Deshalb versagen Modelle bei neuartigen Problemen. Warum sie nicht zuverlässig mehrstufige Schlussfolgerungen ziehen können. Warum sie selbstbewusst falsche Fakten halluzinieren. Sie denken nicht. Sie rufen Muster ab und rekombinieren sie.

Und keine Menge an Skalierung behebt dies. Das Hinzufügen weiterer Parameter zu einem Mustererkennungssystem ergibt nur ein größeres Mustererkennungssystem.

Die europäische Falle

Für Europa schafft das Skalierungsparadigma eine unmögliche Situation.

Amerikanische Tech-Giganten haben die Rechenleistung. Sie haben die Daten. Sie haben die Infrastruktur, um Billionen-Parameter-Modelle zu trainieren. Europäische Unternehmen nicht.

Der Versuch, im Skalierungsrennen zu konkurrieren, bedeutet, dass die europäische KI immer hinterherhinken wird. Immer eine Generation zurück. Immer in Bezug auf Rechenleistung unterlegen und bei der Datenerfassung übertroffen.

Es ist ein Spiel, das von Anfang an manipuliert ist. Die Regeln begünstigen diejenigen mit den meisten Ressourcen, nicht diejenigen mit den besten Ideen.

Und jetzt, da die Skalierungsgesetze zusammenbrechen, wird Europas Nachteil in diesem Rennen irrelevant. Denn das Rennen selbst endet.

Die intelligentere Alternative

Was ist also die Alternative? Wenn größer nicht besser ist, was dann?

Die Antwort ist Eleganz. Effizienz. Mathematische Strenge.

Bei Dweve haben wir nie an die Skalierungsillusion geglaubt. Wir haben nicht versucht, größere Modelle zu bauen. Wir haben intelligentere gebaut.

Binäre neuronale Netze mit 456 spezialisierten Experten. Jeder Experte konzentriert sich auf bestimmte Arten von Schlussfolgerungen. Sparse Aktivierung bedeutet, dass nur die relevanten Experten für jede Aufgabe eingesetzt werden. Keine verschwendete Berechnung. Keine unnötigen Parameter.

Das Ergebnis? State-of-the-art Leistung mit einem Bruchteil der Parameter. Besseres Denken mit weniger Daten. Bereitstellbare Systeme, die keine Rechenzentrums-Infrastruktur erfordern.

Loom 456 versucht nicht, das Internet auswendig zu lernen. Es wurde entwickelt, um mit Einschränkungen zu argumentieren, Probleme zu durchdenken, Struktur tatsächlich zu verstehen.

Das ist Intelligenz durch Architektur, nicht durch Akkumulation.

Qualität vor Quantität

Das Chinchilla-Papier hatte in einem Punkt Recht: Das Verhältnis zählt mehr als die reinen Zahlen.

Aber die wahre Erkenntnis geht tiefer: Sorgfältig entworfene Modelle mit kuratierten Trainingsregimen übertreffen massive Modelle mit wahllosem Datenhorten.

Denken Sie an menschliches Lernen. Man wird nicht klug, indem man alles liest. Man wird klug, indem man die richtigen Dinge liest, in der richtigen Reihenfolge, mit der richtigen Anleitung. Die Qualität des Lernens zählt mehr als die Quantität der Informationen.

KI ist nicht anders. Ein Modell, das mit gut strukturierten, sorgfältig kuratierten Daten trainiert wurde, wird ein Modell übertreffen, das in zufälligem Internet-Text ertrinkt. Selbst wenn das zweite Modell 100-mal mehr Parameter hat.

Hier kann Europa konkurrieren. Nicht indem es größer baut, sondern indem es besser baut. Nicht indem es mehr Daten sammelt, sondern indem es intelligentere Trainingsregime verwendet.

Dweve Core demonstriert dieses Prinzip. Unser binäres neuronales Netzwerk-Framework erreicht eine wettbewerbsfähige Leistung mit Größenordnungen weniger Parametern als Standardmodelle. Weil wir uns auf mathematische Eleganz statt auf rohe Gewalt bei der Skalierung konzentriert haben.

Der Architekturvorteil

Hier ist, was die Skalierungs-Crowd übersieht: Architektur zählt mehr als Größe.

Man kann eine Billion Parameter dumm anordnen oder eine Milliarde Parameter intelligent anordnen. Die intelligente Anordnung gewinnt jedes Mal.

Mixture of Experts (MoE)-Architekturen beweisen dies. Anstatt alle Parameter für jede Aufgabe zu aktivieren, aktivieren Sie nur die relevante Untermenge. Plötzlich erhalten Sie Billionen-Parameter-Leistung mit Milliarden-Parameter-Rechenkosten.

Binäre neuronale Netze gehen noch weiter. Jede Operation ist mathematisch einfacher, aber die Gesamtarchitektur ist anspruchsvoller. Constraint-basiertes Denken statt probabilistischer Approximation. Diskrete Logik statt Gleitkomma-Schätzungen.

Das Ergebnis sind Systeme, die argumentieren statt abrufen. Die Struktur verstehen statt Muster auswendig lernen. Die zuverlässig arbeiten statt plausibel zu halluzinieren.

Das ist die Zukunft, die Skalierungsgesetze nicht erreichen können: tatsächliche Intelligenz, nicht nur größere Nachahmung.

Jenseits der Illusion

Die Ära der Skalierung geht zu Ende. Nicht mit einem dramatischen Absturz, sondern mit der langsamen Erkenntnis, dass es nicht mehr funktioniert, mehr Rechenleistung auf das Problem zu werfen.

Datenwände. Qualitätskollaps. Rechenleistungsgrenzen. Abnehmende Erträge. Das sind keine vorübergehenden Rückschläge. Es sind grundlegende Grenzen des Skalierungsparadigmas.

Aber für diejenigen, die nie an die Illusion geglaubt haben, ist dies keine Krise. Es ist eine Chance.

Eine Chance, KI auf der Grundlage tatsächlicher Intelligenzprinzipien statt statistischer Korrelation aufzubauen. Systeme zu schaffen, die effizient statt verschwenderisch arbeiten. Technologie zu entwickeln, die zugänglich ist, anstatt Milliarden-Dollar-Budgets zu erfordern.

Das Billionen-Parameter-Rennen war immer eine Sackgasse. Wir mussten nur warten, bis alle anderen an die Wand stießen, um es zu beweisen.

Der wahre Durchbruch

Hier ist die Ironie: Der wahre Durchbruch in der KI wird kein größeres Modell sein. Es wird die Erkenntnis sein, dass wir das Falsche optimiert haben.

Nicht mehr Parameter. Bessere Architektur.

Nicht mehr Daten. Besseres Lernen.

Nicht mehr Rechenleistung. Intelligentere Mathematik.

Binäre neuronale Netze stellen diesen Wandel dar. Von der Akkumulation zur Eleganz. Von roher Gewalt zur mathematischen Strenge. Von Billionen-Parameter-Monstern zu Milliarden-Parameter-Systemen, die tatsächlich denken.

Die Plattform von Dweve beweist, dass es funktioniert: Core als binäres Algorithmus-Framework, Loom als 456-Experten-Intelligenzmodell, Nexus als Multi-Agenten-Intelligenz-Framework, Aura als autonome Agenten-Orchestrierungsplattform, Fabric als einheitliches Dashboard und Kontrollzentrum, Mesh als dezentrale Infrastrukturschicht.

Alles gebaut auf dem Prinzip, dass Intelligenz aus Struktur und nicht aus Größe entsteht.

Die Wahl vor uns

Die KI-Branche steht vor einer Wahl. Die Skalierungsillusion weiter zu verfolgen, gutes Geld schlechtem hinterherzuwerfen, in der Hoffnung, dass die nächste Größenordnung irgendwie die Wände durchbrechen wird. Oder zu akzeptieren, dass das Paradigma Grenzen hat und zu etwas Besserem überzugehen.

Die Daten sagen, dass die Skalierung beendet ist. Die Physik sagt, dass die Rechenkosten unhaltbar sind. Die Mathematik sagt, dass es intelligentere Ansätze gibt.

Europa muss das Skalierungsrennen nicht gewinnen. Europa muss es obsolet machen. KI bauen, die keine Billionen-Parameter-Modelle erfordert. Systeme schaffen, die effizient statt verschwenderisch arbeiten. Technologie entwickeln, die auf Verständnis und nicht auf Auswendiglernen basiert.

Die große KI-Illusion zerbricht. Mehr Daten werden sie nicht retten. Größere Modelle werden sie nicht retten. Mehr Rechenleistung wird sie nicht retten.

Was die Illusion zerbricht? Die Erkenntnis, dass Intelligenz nie etwas mit Größe zu tun hatte.

Die Zukunft der KI sind keine Billionen Parameter. Es sind intelligente Architekturen, effiziente Berechnung und mathematische Eleganz. Es sind Systeme, die auf Verständnis und nicht auf Auswendiglernen ausgelegt sind. Intelligenz durch Struktur, nicht durch Akkumulation.

Das Skalierungsparadigma hat seinen Zweck erfüllt. Es hat uns gezeigt, was rohe Gewalt erreichen kann. Aber jetzt sind wir an seine Grenzen gestoßen. Das nächste Kapitel der KI erfordert ein anderes Denken: Präzision statt Skalierung, Architektur statt Parameter, Intelligenz statt Größe.

Diese Zukunft wird jetzt gebaut. Von Forschern, die sich auf Effizienz konzentrieren. Von Ingenieuren, die Erklärbarkeit priorisieren. Von Unternehmen, die KI entwickeln, die ohne Rechenzentrums-Infrastruktur funktioniert. Europa hat die Möglichkeit, diesen Wandel anzuführen – nicht indem es das Skalierungsrennen gewinnt, sondern indem es es irrelevant macht.

Die große KI-Illusion zerbricht. Mehr Daten werden sie nicht retten. Was als Nächstes kommt, wird intelligenter sein.

Dweve baut KI auf binären Constraint-Netzwerken und Mixture-of-Experts-Architekturen. Loom verwendet 456 spezialisierte Experten für effizientes Denken. Entwicklung in den Niederlanden, für europäische Organisationen. Die Zukunft der KI ist elegant, nicht nur groß.