La grande illusion de l'IA : pourquoi « plus de données » ne nous sauvera pas
L'illusion du trillion de paramètres
Il y a une course dans l'IA. Pas une course pour construire de meilleurs systèmes. Pas une course pour résoudre de vrais problèmes. Une course pour atteindre des chiffres plus gros.
Cent milliards de paramètres. Cinq cents milliards. Un trillion. Dix trillions. Chaque annonce est saluée par des communiqués de presse enthousiastes et des cours de bourse en hausse. Chaque modèle est commercialisé comme la prochaine avancée de l'intelligence artificielle.
Sauf que ce ne sont pas des avancées. C'est juste plus gros.
Et quelque part en chemin, toute l'industrie s'est convaincue que plus gros signifie mieux. Que plus de paramètres signifient plus d'intelligence. Que si nous continuons à augmenter l'échelle, à ajouter des zéros, à consommer toujours plus de données et de puissance de calcul, nous finirons par tomber par hasard sur l'intelligence artificielle générale.
C'est la plus grande illusion de la technologie moderne. Et elle commence à se fissurer.
L'évangile des lois de mise à l'échelle
En 2020, des chercheurs ont découvert ce qu'ils ont appelé les « lois de mise à l'échelle ». Donnez à un réseau de neurones plus de paramètres et plus de données, et ses performances s'améliorent de manière prévisible. Doublez les paramètres, divisez le taux d'erreur par deux. C'était magnifique. Mathématique. Reproductible.
Les lois de mise à l'échelle sont devenues un évangile. Vous planifiez la recherche en IA ? Il suffit de passer à l'échelle supérieure. Vous voulez de meilleures performances ? Ajoutez des paramètres. Vous devez rivaliser ? Construisez des modèles plus grands.
Tous les grands laboratoires ont adopté la même stratégie : des modèles plus grands, plus de données, plus de puissance de calcul. GPT-3 avait 175 milliards de paramètres. GPT-4 est allé plus loin. Gemini a poussé encore plus loin. Des modèles à mille milliards de paramètres ont été annoncés. Dix mille milliards ont été évoqués.
La logique semblait imparable : si la mise à l'échelle a fonctionné jusqu'ici, pourquoi s'arrêterait-elle ?
Sauf qu'elle s'arrête. Maintenant.
Le mur que personne n'avait prédit
Fin 2024, quelque chose d'inattendu s'est produit. La nouvelle génération de modèles phares n'a pas montré les améliorations attendues.
Deux fois plus de paramètres. Trois fois plus de données d'entraînement. Dix fois plus de puissance de calcul. Et les performances ont à peine bougé. Dans certains cas, elles ont empiré.
Les lois de mise à l'échelle, qui avaient si bien tenu pendant des années, s'effondraient. Les rendements décroissants n'étaient plus théoriques. Ils étaient là.
TechCrunch a rapporté en novembre 2024 que les lois de mise à l'échelle de l'IA « montrent des rendements décroissants, obligeant les laboratoires d'IA à changer de cap ». DeepLearning.AI a documenté comment les grandes entreprises ont reconnu que « la nouvelle génération de modèles très médiatisés n'a pas montré les améliorations attendues malgré des architectures plus grandes, plus de données d'entraînement et plus de puissance de calcul ».
Les preuves sont claires : la mise à l'échelle a heurté un mur. Plusieurs murs, en réalité.
Le mur des données
Premier mur : nous manquons de données d'entraînement de qualité.
Les grands modèles de langage consomment Internet. Littéralement. GPT-3 a été entraîné sur des centaines de milliards de mots extraits de sites web, de livres, d'articles, de forums. Chaque texte humain raisonnablement accessible en ligne.
Mais Internet a ses limites. Des recherches publiées en 2022 prédisaient que nous épuiserions les données textuelles de haute qualité entre 2026 et 2032 si les tendances actuelles se poursuivent. L'analyse d'Epoch AI a révélé que, si les estimations antérieures suggéraient un épuisement d'ici 2024, une méthodologie affinée indique désormais que cela pourrait se produire d'ici 2028.
Quoi qu'il en soit, le temps presse. Les textes de haute qualité générés par des humains sont limités.
La réponse ? Des données synthétiques. Des modèles qui génèrent du texte pour entraîner d'autres modèles. Cela semble ingénieux, jusqu'à ce qu'on réalise que c'est comme faire des photocopies de photocopies. Chaque génération se dégrade. Les erreurs s'accumulent. Les biais s'amplifient.
Nature a publié en 2024 des recherches démontrant que les modèles entraînés sur des données générées de manière récursive subissent un « effondrement du modèle ». L'étude a montré qu'un entraînement aveugle sur du contenu synthétique entraîne une détérioration des performances, une diversité réduite et, au final, des modèles d'IA qui produisent des résultats de plus en plus génériques.
On ne peut pas passer à l'échelle infiniment quand la source d'énergie est finie. Et les données de qualité, le véritable savoir humain, sont très finies, en effet.
L'effondrement de la qualité
Deuxième mur : plus de données ne signifie pas de meilleures données.
L'article Chinchilla de 2022 a révélé quelque chose de crucial : le modèle optimal n'est pas le plus grand. C'est celui qui présente le meilleur ratio entre paramètres et jetons d'entraînement. Pour chaque augmentation de 4× du calcul, il faut une augmentation de 2× de la taille du modèle ET une augmentation de 2× de la qualité des données.
Mais que se passe-t-il quand on a déjà utilisé toutes les bonnes données ? On commence à extraire des sources de moindre qualité. Des forums avec de la désinformation. Du contenu traduit par machine. Du spam généré par IA. Le fond du panier d'Internet.
Plus de données d'entraînement. De moins bonnes performances. Parce que « des déchets en entrée, des déchets en sortie » reste vrai même avec mille milliards de paramètres.
Une étude de 2024 a constaté que la qualité des données importe plus que la quantité pour les petits modèles de langage. Une autre a constaté que des ensembles de données soigneusement organisés d'un million d'exemples surpassent des ensembles de données collectés au hasard de 100 millions d'exemples.
La réponse de l'industrie ? Continuer à passer à l'échelle quand même. Jeter plus de calcul sur le problème. Espérer que la force brute surmonte les mauvaises données.
Ce n'est pas le cas.
Le plafond du calcul
Troisième mur : la physique du calcul.
Entraîner un modèle à mille milliards de paramètres exige des quantités de calcul démesurées. On parle de dizaines de milliers de GPU fonctionnant pendant des mois. Une consommation d'énergie qui rivalise avec celle de petits pays. Des coûts d'infrastructure de plusieurs centaines de millions.
Et pour quoi ? Des améliorations marginales. Des gains de performance qui justifient à peine l'augmentation exponentielle des coûts.
Une estimation suggère qu'entraîner un modèle hypothétique à dix mille milliards de paramètres consommerait plus d'électricité que certains pays européens n'en utilisent en un an. Pour une seule session d'entraînement. Qui devra probablement être répétée des dizaines de fois avant de fonctionner.
Les retours économiques ne justifient plus les coûts de calcul. Les lois de mise à l'échelle promettaient des améliorations linéaires avec un investissement linéaire. La réalité livre des améliorations logarithmiques avec un investissement exponentiel.
Ce n'est pas un modèle économique. C'est une bulle qui va éclater.
L'illusion de l'intelligence
Mais voici le problème plus profond : même quand la mise à l'échelle fonctionnait, elle ne créait pas d'intelligence. Elle créait une correspondance statistique de motifs à une échelle énorme.
Un trillion de paramètres ne pensent pas. Ils ne raisonnent pas. Ils ne comprennent pas. Ils prédisent le prochain jeton en se basant sur des motifs dans les données d'entraînement. C'est une chose fondamentalement différente de l'intelligence.
L'illusion est convaincante parce que l'échelle peut approcher la compréhension. Donnez à un modèle assez d'exemples, et il peut faire correspondre des motifs pour produire des réponses qui semblent intelligentes. Mais c'est de l'imitation, pas de la compréhension.
C'est pourquoi les modèles échouent sur des problèmes nouveaux. Pourquoi ils ne peuvent pas faire de manière fiable un raisonnement en plusieurs étapes. Pourquoi ils hallucinent des faits incorrects avec assurance. Ils ne pensent pas. Ils récupèrent et recombinent des motifs.
Et aucune quantité de mise à l'échelle ne corrige cela. Ajouter plus de paramètres à un système de correspondance de motifs vous donne simplement un système de correspondance de motifs plus grand.
Le piège européen
Pour l'Europe, le paradigme de la mise à l'échelle crée une situation impossible.
Les géants technologiques américains ont la puissance de calcul. Ils ont les données. Ils ont l'infrastructure pour entraîner des modèles à un trillion de paramètres. Les entreprises européennes ne l'ont pas.
Essayer de rivaliser dans la course à la mise à l'échelle signifie que l'IA européenne sera toujours en train de rattraper son retard. Toujours une génération derrière. Toujours surpassée en puissance de calcul et dépassée en dépenses de collecte de données.
C'est un jeu truqué dès le départ. Les règles favorisent ceux qui ont le plus de ressources, pas ceux qui ont les meilleures idées.
Et maintenant, alors que les lois de mise à l'échelle s'effondrent, le désavantage de l'Europe dans cette course devient sans importance. Parce que la course elle-même se termine.
L'alternative plus intelligente
Alors, quelle est l'alternative ? Si plus grand n'est pas mieux, qu'est-ce qui l'est ?
La réponse est l'élégance. L'efficacité. La rigueur mathématique.
Chez Dweve, nous n'avons jamais adhéré à l'illusion de la mise à l'échelle. Nous n'avons pas essayé de construire des modèles plus grands. Nous en avons construit de plus intelligents.
Des réseaux de neurones binaires avec 456 spécialistes de domaine. Chaque spécialiste de domaine se concentre sur des types spécifiques de raisonnement. L'activation éparse signifie que seuls les spécialistes de domaine pertinents s'engagent pour chaque tâche. Aucun calcul gaspillé. Aucun paramètre inutile.
Le résultat ? Des performances de pointe avec une fraction des paramètres. Un meilleur raisonnement avec moins de données. Des systèmes déployables qui ne nécessitent pas une infrastructure à l'échelle d'un centre de données.
Loom 456 n'essaie pas de mémoriser Internet. Il est conçu pour raisonner avec des contraintes, pour réfléchir à travers les problèmes, pour comprendre réellement la structure.
C'est de l'intelligence par l'architecture, pas par l'accumulation.
La qualité plutôt que la quantité
Le document Chinchilla a eu raison sur un point : le ratio compte plus que les chiffres bruts.
Mais la véritable idée va plus loin : des modèles soigneusement conçus avec des régimes d'entraînement sélectionnés surpassent des modèles massifs avec une thésaurisation indiscriminée de données.
Pensez à l'apprentissage humain. Vous ne devenez pas intelligent en lisant tout. Vous devenez intelligent en lisant les bonnes choses, dans le bon ordre, avec les bons conseils. La qualité de l'apprentissage compte plus que la quantité d'informations.
L'IA n'est pas différente. Un modèle entraîné sur des données bien structurées et soigneusement sélectionnées surpassera un modèle noyé dans du texte Internet aléatoire. Même si le deuxième modèle a 100 fois plus de paramètres.
C'est là que l'Europe peut rivaliser. Pas en construisant plus grand, mais en construisant mieux. Pas en récoltant plus de données, mais en utilisant des régimes d'entraînement plus intelligents.
Dweve Core illustre ce principe. Notre framework de réseaux de neurones binaires atteint des performances compétitives avec des ordres de grandeur en moins de paramètres que les modèles standards. Parce que nous avons misé sur l'élégance mathématique plutôt que sur le passage à l'échelle brutal.
L'avantage architectural
Voici ce que la foule du passage à l'échelle ne voit pas : l'architecture importe plus que la taille.
Vous pouvez avoir mille milliards de paramètres disposés bêtement, ou un milliard de paramètres disposés intelligemment. La disposition intelligente gagne à chaque fois.
Les architectures Mixture of Experts (MoE) le prouvent. Au lieu d'activer tous les paramètres pour chaque tâche, n'activez que le sous-ensemble pertinent. Soudain, vous obtenez des performances de mille milliards de paramètres avec des coûts de calcul d'un milliard de paramètres.
Les réseaux de neurones binaires vont plus loin. Chaque opération est mathématiquement plus simple, mais l'architecture globale est plus sophistiquée. Un raisonnement fondé sur des contraintes plutôt qu'une approximation probabiliste. Une logique discrète plutôt qu'un calcul en virgule flottante approximatif.
Le résultat, ce sont des systèmes qui raisonnent plutôt qu'ils ne récupèrent. Qui comprennent la structure plutôt que de mémoriser des schémas. Qui fonctionnent de manière fiable plutôt que d'halluciner de façon plausible.
C'est l'avenir que les lois de mise à l'échelle ne peuvent pas atteindre : une véritable intelligence, pas seulement une imitation plus grande.
Au-delà de l'illusion
L'ère du passage à l'échelle touche à sa fin. Non pas par un effondrement spectaculaire, mais par une prise de conscience progressive : jeter toujours plus de puissance de calcul sur le problème ne fonctionne plus.
Murs de données. Effondrement de la qualité. Plafonds de calcul. Rendements décroissants. Ce ne sont pas des revers temporaires. Ce sont des limites fondamentales du paradigme du passage à l'échelle.
Mais pour ceux qui n'ont jamais cru à l'illusion, ce n'est pas une crise. C'est une opportunité.
Une opportunité de construire une IA fondée sur de véritables principes d'intelligence plutôt que sur la corrélation statistique. De créer des systèmes qui fonctionnent efficacement plutôt que de manière dispendieuse. De développer une technologie accessible plutôt qu'exigeant des budgets de plusieurs milliards de dollars.
La course aux mille milliards de paramètres a toujours été une impasse. Il nous suffisait d'attendre que tous les autres se heurtent au mur pour le prouver.
La véritable avancée
Voici l'ironie : la véritable avancée en IA ne sera pas un modèle plus grand. Ce sera la prise de conscience que nous avons optimisé la mauvaise chose.
Pas plus de paramètres. Une meilleure architecture.
Pas plus de données. Un meilleur apprentissage.
Pas plus de calcul. Des mathématiques plus intelligentes.
Les réseaux de neurones binaires incarnent ce changement. De l'accumulation à l'élégance. De la force brute à la rigueur mathématique. Des monstres à mille milliards de paramètres aux systèmes à un milliard de paramètres qui pensent réellement.
La plateforme de Dweve prouve que cela fonctionne : Core comme cadre algorithmique binaire, Loom comme modèle d'intelligence spécialisé dans 456 domaines, Nexus comme cadre d'intelligence multi-agents, Aura comme plateforme d'orchestration d'agents autonomes, Fabric comme tableau de bord unifié et centre de contrôle, Mesh comme couche d'infrastructure décentralisée.
Le tout repose sur le principe que l'intelligence vient de la structure, et non de la taille.
Le choix qui s'annonce
L'industrie de l'IA est face à un choix. Continuer à poursuivre l'illusion du passage à l'échelle, jeter l'argent par les fenêtres, espérer que le prochain ordre de grandeur franchira enfin les murs. Ou accepter que le paradigme a des limites et passer à quelque chose de mieux.
Les données disent que le passage à l'échelle est terminé. La physique dit que les coûts de calcul sont insoutenables. Les mathématiques disent qu'il existe des approches plus intelligentes.
L'Europe n'a pas besoin de gagner la course au passage à l'échelle. L'Europe doit la rendre obsolète. Construire une IA qui n'exige pas de modèles à mille milliards de paramètres. Créer des systèmes qui fonctionnent efficacement plutôt que de manière dispendieuse. Développer une technologie fondée sur la compréhension, et non sur la mémorisation.
La grande illusion de l'IA se brise. Plus de données ne la sauveront pas. Des modèles plus grands ne la sauveront pas. Plus de puissance de calcul ne la sauvera pas.
Qu'est-ce qui brise l'illusion ? Reconnaître que l'intelligence n'a jamais été une question de taille.
L'avenir de l'IA ne réside pas dans des milliers de milliards de paramètres. Il réside dans des architectures intelligentes, un calcul efficace et une élégance mathématique. Des systèmes conçus pour comprendre, et non pour mémoriser. L'intelligence par la structure, et non par l'accumulation.
Le paradigme de la mise à l'échelle a rempli son rôle. Il nous a montré ce que la force brute peut accomplir. Mais nous avons désormais atteint ses limites. Le prochain chapitre de l'IA exige une autre réflexion : la précision plutôt que l'échelle, l'architecture plutôt que les paramètres, l'intelligence plutôt que la taille.
Cet avenir se construit dès maintenant. Par des chercheurs qui se concentrent sur l'efficacité. Par des ingénieurs qui privilégient l'explicabilité. Par des entreprises qui développent une IA fonctionnant sans nécessiter d'infrastructure de centre de données. L'Europe a l'opportunité de mener ce changement, non pas en gagnant la course à l'échelle, mais en la rendant obsolète.
La grande illusion de l'IA se brise. Plus de données ne la sauveront pas. Ce qui vient ensuite sera plus intelligent.
Dweve construit de l'IA sur des réseaux de contraintes binaires et des architectures de mélange de spécialistes de domaine. Loom utilise 456 spécialistes de domaine pour un raisonnement efficace. Développement aux Pays-Bas, au service des organisations européennes. L'avenir de l'IA est élégant, pas seulement grand.