L’effondrement des modèles : pourquoi l’IA consanguine tuera l’intelligence
Le problème des Habsbourg à l'ère numérique
Dans l'histoire européenne, la maison de Habsbourg fut l'une des dynasties royales les plus puissantes. Elle régna sur de vastes territoires pendant des siècles. Mais elle avait un défaut fatal : dans sa quête pour consolider son pouvoir et préserver la « pureté » de son sang, elle maria ses cousins entre eux. Au fil des générations, cette consanguinité récursive conduisit à la fameuse « mâchoire des Habsbourg » et à une multitude de malformations génétiques et de problèmes de santé. Le patrimoine génétique devint trop restreint, trop récursif, et, en fin de compte, la lignée s'effondra. Charles II d'Espagne, dernier souverain Habsbourg de l'Empire espagnol, était si consanguin qu'il pouvait à peine mâcher sa propre nourriture.
En 2025, nous assistons à l'équivalent numérique de ce phénomène. Les chercheurs l'appellent l'effondrement des modèles.
Pendant la première décennie de la révolution de l'apprentissage profond (environ 2012-2022), nous avons vécu un âge d'or des données. Nous avons entraîné nos modèles sur la production organique de l'humanité. Nous avons aspiré des livres écrits par des auteurs humains, du code écrit par des ingénieurs humains, des forums remplis de débats humains, et de l'art créé par des mains humaines. Ces données étaient désordonnées, certes. Mais elles étaient riches. Elles étaient variées. Elles contenaient les « queues » de la distribution : l'étrange, le créatif, l'inattendu. Elles étaient ancrées dans la réalité physique.
Mais ensuite sont arrivés ChatGPT, Midjourney et Copilot. Soudain, le coût de la génération de contenu est tombé à presque zéro. Internet a été inondé de textes générés par l'IA, d'images générées par l'IA et de code généré par l'IA. Les spammeurs SEO ont utilisé les LLM pour générer des millions d'articles « listicles » afin de récolter des clics. Les bots ont commencé à parler aux bots sur les réseaux sociaux. LinkedIn s'est rempli de publications rédigées par l'IA sur le « leadership éclairé ». Medium a débordé de réflexions générées par l'IA sur l'IA.
Aujourd'hui, un pourcentage important et croissant du web public est synthétique. Les estimations suggèrent que d'ici 2025, 30 à 50 % des textes sur l'internet public ont été générés par l'IA. Et voici le problème : lorsque nous aspirons le web pour entraîner la prochaine génération de modèles, nous aspirons inévitablement des données générées par leurs prédécesseurs. Nous nourrissons l'IA avec sa propre production. Nous bouclons la boucle. Nous créons une IA Habsbourg.
Les mathématiques de la régression
Ce n'est pas qu'une simple préoccupation philosophique. C'est une certitude mathématique. Des chercheurs d'Oxford, de Cambridge et de l'Université de Toronto ont démontré cet effet dans des études rigoureuses évaluées par des pairs. Ils l'appellent « la malédiction de la récursivité ».
Les mathématiques sont en réalité assez élégantes dans leur noirceur. Lorsqu'un modèle probabiliste (modèle B) s'entraîne sur des données générées par un autre modèle probabiliste (modèle A), le modèle B apprend l'approximation de la distribution réelle faite par le modèle A, et non la distribution réelle elle-même. Il apprend les erreurs en même temps que le signal.
Mais cela empire. Le processus d'entraînement du modèle B met intrinsèquement l'accent sur les régions à haute probabilité de la sortie du modèle A. Les événements rares, les valeurs aberrantes créatives, les « queues » de la distribution, sont sous-représentés dans la sortie synthétique du modèle A (car ils sont, par définition, rares). Le modèle B voit donc encore moins d'exemples de ces queues que le modèle A. Il perd en variance.
Entraînez maintenant le modèle C sur la sortie du modèle B. Les queues rétrécissent encore. Entraînez le modèle D sur le modèle C. Encore plus. Après suffisamment de générations, la distribution s'effondre en un point. Toutes les sorties deviennent identiques : la « moyenne » de la distribution d'origine, dépouillée de toute diversité.
Pensez à une photocopie d'une photocopie d'une photocopie. La première copie semble acceptable. La seconde est un peu floue. À la dixième copie, les bords nets deviennent du bruit, les détails sont estompés et l'image se transforme en boue grise. Le signal se dégrade de façon exponentielle à chaque génération.
La perte des queues
Dans les modèles d'IA, cela se manifeste par une perte de créativité et de nuance. Les modèles deviennent « fades ». Leurs écrits deviennent génériques, répétitifs et prudents. Leur art converge vers une esthétique spécifique, brillante et hyper-polie, qui manque de la rugosité et de la texture de la réalité. Leur code devient syntaxiquement parfait mais fonctionnellement générique, sans les astuces d'optimisation intelligentes qu'un expert humain pourrait employer.
Les « queues » de la distribution sont là où vit l'innovation. Shakespeare est dans les queues. Einstein est dans les queues. Les idées de start-up farfelues qui deviennent des entreprises de plusieurs milliards de dollars sont dans les queues. Lorsque vous éliminez les queues, vous éliminez la possibilité du génie. Vous obtenez un monde de médiocrité compétente.
L'amplification des hallucinations
Peut-être pire que de perdre sa créativité, c'est de gagner une assurance trompeuse. À mesure que les modèles s'entraînent sur les hallucinations de leurs prédécesseurs, ces erreurs se renforcent. Un mensonge dit une fois est une anomalie. Un mensonge répété un million de fois dans l'ensemble d'entraînement devient un fait.
Prenons un exemple hypothétique : GPT-5 hallucine qu'un certain médicament est sans danger pendant la grossesse (ce qui est faux). Cette hallucination est publiée dans des milliers d'articles de santé générés par IA. GPT-6 s'entraîne sur ces articles. Il « croit » désormais ce faux fait avec encore plus de confiance, car il l'a vu tant de fois. GPT-7 le traite comme une connaissance médicale établie.
L'effondrement des modèles ne consiste pas seulement à devenir ennuyeux ; il s'agit de se détacher de la réalité. Il s'agit de créer une IA suprêmement confiante dans un univers de faits qui n'existent pas.
Les preuves sont déjà là
Nous n'attendons pas que l'effondrement des modèles se produise. Nous le voyons se dérouler en temps réel.
Stack Overflow a connu une baisse massive du trafic humain, tandis que le volume de code généré par IA sur GitHub a explosé. Si vous entraînez un modèle de codage sur les données GitHub de 2025, vous l'entraînez sur du code qui a probablement été écrit (ou du moins assisté) par Copilot en 2024. Si ce code de 2024 contenait un bug subtil (par exemple, une vulnérabilité de sécurité que l'IA a tendance à suggérer), le modèle de 2025 apprendra ce bug comme une bonne pratique. Il l'amplifiera.
Des chercheurs de Google ont observé que les résultats de recherche les plus récents contiennent des schémas de formulation de plus en plus répétitifs, caractéristiques des sorties de LLM. Les mêmes phrases reviennent sans cesse : « Il est important de noter que... », « Dans le monde actuel qui va vite... », « Allons-y... ». Ces tics linguistiques se propagent dans le corpus comme un virus.
Amazon a signalé qu'un pourcentage important des avis clients sur sa plateforme est désormais généré par IA. Les descriptions de produits sont générées par IA. Les avis sur ces produits sont générés par IA. Bientôt, les résumés de ces avis seront générés par IA. Ce sont des tortues jusqu'en bas.
Les « lois de mise à l'échelle » qui ont alimenté le boom de l'IA (l'idée que simplement ajouter plus de données et plus de puissance de calcul donne toujours de meilleures performances) se heurtent à un mur. Les données ne sont plus la contrainte ; la réalité est la contrainte. Nous avons épuisé les données humaines propres. Nous avons empoisonné notre propre puits.
La solution Dweve : une rigueur épistémologique
Chez Dweve, nous avons anticipé cette crise. Nous avons compris très tôt que la stratégie du « tout récupérer » n'était pas viable. Pour bâtir des systèmes robustes qui ne sombrent pas dans l'hallucination, il faut accorder la priorité à la provenance des données : savoir exactement d'où viennent vos données et si elles reflètent la réalité.
C'est pourquoi nous avons conçu Dweve Spindle : notre plateforme de gouvernance des connaissances pour les entreprises. Spindle n'est pas qu'un simple pipeline de données. C'est un système épistémologique. Il transforme les informations brutes en connaissances vérifiées et prêtes pour l'IA grâce à un processus rigoureux en sept étapes.
Le pipeline épistémologique en sept étapes
Chaque information qui entre dans l'écosystème Dweve passe par ce pipeline :
Étape 1 : Candidate. Les informations brutes sont identifiées et marquées pour traitement. Il peut s'agir d'une page web, d'un document, d'un enregistrement de base de données ou d'une lecture de capteur. À ce stade, nous savons seulement que l'information existe, pas si elle est vraie ou utile.
Étape 2 : Extracted. Les informations structurées sont extraites de la source brute. Les entités sont identifiées. Les faits sont extraits. Le désordre non structuré devient un candidat pour le graphe de connaissances structuré.
Étape 3 : Analyzed. Les affirmations sont décomposées en faits atomiques. Une phrase comme « Einstein a gagné le prix Nobel pour la relativité » est décomposée en éléments vérifiables : « Einstein a existé », « Einstein a gagné un prix Nobel », « Le prix concernait la physique », « Le prix a été décerné pour des travaux sur la relativité ». (À noter : cette dernière affirmation est en réalité fausse, et le pipeline le détecterait.)
Étape 4 : Connected. Les faits atomiques sont reliés à notre réseau de connaissances existant. Ces nouvelles informations contredisent-elles des faits établis ? Les corroborent-elles ? Combient-elles des lacunes ? L'intégration au graphe révèle les cohérences et les conflits.
Étape 5 : Verified. Une validation multi-sources est effectuée. Pouvons-nous trouver une confirmation indépendante auprès de sources faisant autorité ? L'affirmation passe-t-elle les contrôles de cohérence logique ? Quelle est la provenance de la source d'origine ?
Étape 6 : Certified. L'assurance qualité est terminée. L'information a atteint un score de confiance supérieur à 0,7 sur nos six dimensions de qualité. Elle est marquée comme fiable pour une utilisation dans les applications en aval.
Étape 7 : Canonical. L'information devient une connaissance faisant autorité, prête pour l'IA. Elle peut être utilisée pour l'entraînement, pour l'inférence, pour la récupération. C'est la vérité de référence.
La hiérarchie militaire des 32 agents
Ce pipeline n'est pas exécuté par un algorithme unique. Il est orchestré par une équipe spécialisée de 32 agents IA, organisée selon une hiérarchie de type militaire :
- Brigade de découverte (6 agents) : des éclaireurs qui identifient et récupèrent les sources de connaissances potentielles
- Corps d'extraction (5 agents) : des spécialistes de l'analyse syntaxique, de la NER et de la structuration des données brutes
- Division d'analyse (6 agents) : des logiciens qui décomposent les affirmations et identifient les dépendances
- Réseau de connexion (4 agents) : des spécialistes des graphes qui intègrent les nouvelles connaissances
- Garde qualité (4 agents) : des validateurs qui recoupent les informations et détectent les incohérences
- Conseil de gouvernance (12 agents) : des agents seniors qui prennent les décisions finales de certification
Chaque agent possède une expertise spécialisée. Ils débattent. Ils remettent en question les conclusions des autres. Ils exigent un consensus avant que l'information ne passe à l'étape suivante. Ce processus de vérification multi-agents est bien plus robuste que toute approche de vérification des faits basée sur un modèle unique.
Détection de 47 types de biais
Spindle est spécifiquement conçu pour détecter et signaler les biais dans les données d'entraînement. Notre système identifie 47 types de biais distincts répartis en quatre catégories :
- Biais statistique : biais d'échantillonnage, biais de sélection, biais de survie, biais de confirmation dans la collecte de données
- Biais cognitif : ancrage, heuristique de disponibilité, effets de cadrage dans le matériel source
- Biais linguistique : langage connoté, euphémismes, formules évasives, cadrage persuasif
- Biais systémique : lacunes de représentation, biais historiques encodés dans le texte, angles morts culturels
Lorsqu'un biais est détecté, l'information est soit corrigée (si possible), soit signalée (si la correction est incertaine), soit rejetée (si le biais est fondamental et irrécupérable). Cela évite l'amplification des biais qui affecte les modèles entraînés sur des données brutes issues du web.
Les quatre piliers de la provenance des données
Au-delà du pipeline Spindle, notre stratégie de données plus large repose sur quatre piliers :
1. Le Web vierge (archives d'avant 2023)
Nous accordons une importance capitale aux données créées avant la prolifération généralisée de l'IA générative (environ fin 2022/début 2023). Nous considérons cette époque comme le « Web vierge ». Ces données d'archives constituent le socle de notre entraînement. Elles représentent la vérité fondamentale de la production humaine avant le début de la contamination.
Nous avons massivement investi dans l'acquisition et la conservation de jeux de données antérieurs à 2022 : livres numérisés, archives académiques, dépôts de code avec historiques de commits prouvant la paternité humaine, archives de forums datant de l'époque où chaque message était écrit par un humain.
Ces données sont irremplaçables. Une fois le Web contaminé, nous ne pouvions pas le décontaminer. Mais nous pouvons préserver et prioriser les archives propres.
2. Sources humaines certifiées
Pour les données modernes, nous ne nous reposons pas sur un simple scraping aveugle du Web. Nous nous associons directement à des institutions de confiance. Nous obtenons des licences de données auprès de :
- Éditeurs académiques : Les articles évalués par les pairs sont (pour la plupart) écrits par des humains et validés par des humains. Le processus de révision constitue un filtre de qualité.
- Éditeurs de livres : Les processus éditoriaux garantissent un niveau de supervision humaine que le contenu web ne possède pas.
- Dépôts de code avec CI/CD : C'est crucial. Nous ne nous contentons pas d'extraire du code. Nous extrayons le code qui passe les tests. Si une fonction ne compile pas, nous l'écartons. Si elle échoue à sa suite de tests, nous l'écartons. Un code fonctionnel est beaucoup plus susceptible d'être écrit par un humain (ou du moins vérifié par un humain) que des extraits aléatoires.
- Partenaires entreprises : Des entreprises nous fournissent des données propriétaires en échange de modèles sur mesure. Ces données sont par définition générées par des humains et pertinentes pour les affaires.
3. La vérification symbolique comme système immunitaire
C'est ce qui est unique à notre approche neuro-symbolique. Parce que notre système comprend la logique et la structure du code grâce à notre architecture basée sur les contraintes, nous pouvons utiliser la vérification symbolique pour filtrer les données d'entraînement.
Si nous entraînons un modèle à écrire du Python, nous ne lui fournissons pas simplement des fichiers texte bruts. Nous faisons passer le code par un compilateur. S'il contient des erreurs de syntaxe, nous l'écartons. Nous le faisons passer par un analyseur statique. S'il présente des failles de sécurité évidentes, nous l'écartons. Nous l'exécutons contre des cas de test. S'il échoue, nous l'écartons.
Pour le contenu factuel, nous recoupons les affirmations avec notre graphe de connaissances vérifié. Si un document prétend que Paris est la capitale de l'Allemagne, la couche symbolique détecte l'incohérence et signale le document comme non fiable.
Ce système agit comme un système immunitaire contre l'effondrement des modèles. Les hallucinations et le code bogué générés par d'autres IA échouent à nos contrôles de vérification et sont filtrés avant de pouvoir contaminer notre entraînement.
4. La stratégie de préservation des queues de distribution
Nous sur-échantillonnons explicitement les « queues » de la distribution. Nous recherchons des données de haute qualité mais non conventionnelles. Nous ne voulons pas que notre modèle soit « moyen ». Nous voulons qu'il comprenne les cas limites, les sauts créatifs, les exceptions brillantes.
La plupart des pipelines d'entraînement des LLM filtrent agressivement les « valeurs aberrantes » pour stabiliser l'entraînement. Nous les organisons avec soin. L'innovation ne se produit pas à la moyenne ; elle se produit aux marges. La prochaine idée révolutionnaire ne ressemblera pas à toutes les autres idées. Elle semblera étrange. Nous voulons préserver cette étrangeté.
La valeur de la réalité
Dans un avenir proche, les « données générées par les humains » deviendront une classe d'actifs premium. Le vaste océan de l'internet public sera considéré comme des « données de rebut » : utiles pour combler les vides, peut-être, ou pour apprendre la grammaire de base, mais dangereuses pour les connaissances fondamentales.
Les entreprises qui ont accès à des données propriétaires du monde réel (journaux de capteurs d'usines réelles, dossiers de patients de vrais médecins, données de transactions d'économies réelles) auront un avantage concurrentiel massif. Elles possèdent la « vérité terrain ».
L'effondrement des modèles est la menace existentielle pour la bulle de l'IA générative. Cela suggère que nous ne pouvons pas simplement augmenter l'échelle indéfiniment. Nous ne pouvons pas simplement simuler notre chemin vers la superintelligence. Nous devons rester ancrés dans la réalité. Nous devons organiser. Nous devons valoriser la qualité plutôt que la quantité.
L'IA du futur ne sera pas construite sur l'ensemble de l'internet. Elle sera construite sur l'internet vérifié. Elle sera construite sur la vérité.
La dimension réglementaire
Ce n'est pas seulement une préoccupation technique. Les régulateurs prennent conscience des implications de la contamination par les données synthétiques.
La loi européenne sur l'IA exige explicitement la documentation de la provenance des données d'entraînement pour les systèmes d'IA à haut risque. Si votre modèle a été entraîné sur des données contaminées et produit des résultats nuisibles, vous devez être en mesure de démontrer que vous avez pris des mesures raisonnables pour garantir la qualité des données. « Nous avons scrapé le web » ne sera pas une réponse acceptable.
Le RGPD impose déjà aux organisations de tenir des registres des activités de traitement des données. Étendre cette exigence aux données d’entraînement de l’IA est une évolution naturelle. D’où proviennent vos données d’entraînement ? Pouvez-vous prouver qu’elles ont été collectées légalement ? Pouvez-vous démontrer qu’elles représentent la réalité plutôt que des hallucinations de l’IA ?
Les entreprises qui ne peuvent pas répondre à ces questions feront face à une surveillance réglementaire croissante. Les entreprises capables de démontrer une provenance rigoureuse des données (comme celles qui utilisent Dweve Spindle) disposeront d’un avantage en matière de conformité.
La voie à suivre
L’effondrement des modèles n’est pas inévitable. C’est une conséquence de pratiques de données laxistes. Si nous continuons à extraire le web contaminé et à l’alimenter dans des modèles toujours plus grands, nous obtiendrons une IA Habsbourg : confiante, d’apparence compétente, mais fondamentalement dégénérée.
Mais si nous investissons dans la qualité des données, si nous construisons des systèmes épistémologiques capables de distinguer la vérité de l’hallucination, si nous préservons la diversité de la pensée humaine plutôt que de la réduire en bouillie synthétique, nous pouvons créer une IA qui reste ancrée dans la réalité.
Cela exige un travail plus rigoureux. Cela exige davantage d’investissement. Cela exige de traiter les données comme une ressource précieuse plutôt que comme une marchandise à exploiter sans limite. Mais c’est la seule voie vers des systèmes d’IA qui restent utiles, précis et dignes de confiance à long terme.
Chez Dweve, nous avons choisi cette voie. Notre combinaison de données d’archives intactes, de sources humaines certifiées, de vérification symbolique et de préservation de la diversité garantit que nos modèles restent connectés au monde réel. Nous construisons le filtre entre la réalité et la simulation.
La voie facile mène à l’effondrement des modèles. La voie difficile mène à une intelligence qui fonctionne réellement. Nous savons laquelle nous empruntons.