La crisi del collasso dei modelli: perché l'IA che si riproduce da sola ucciderà l'intelligenza

Come gli scienziati avvertono, addestrare l'IA su contenuti generati dall'IA porta al 'collasso del modello'. Mentre il web si riempie di spazzatura...

La crisi del collasso dei modelli: perché l'IA che si riproduce da sola ucciderà l'intelligenza

Il problema degli Asburgo in forma digitale

Nella storia europea, la Casa d'Asburgo fu una delle dinastie reali più potenti. Governarono territori vastissimi per secoli. Ma avevano un difetto fatale: nella loro ricerca di consolidare il potere e mantenere il loro sangue "puro", sposarono i loro cugini. Nel corso delle generazioni, questo inincrocio ricorsivo portò alla famosa "mandibola asburgica" e a una serie di deformità genetiche e problemi di salute. Il patrimonio genetico divenne troppo ristretto, troppo ricorsivo e, alla fine, la linea si estinse. Carlo II di Spagna, l'ultimo sovrano asburgico dell'Impero spagnolo, era così consanguineo che riusciva a malapena a masticare il cibo.

Nel 2025 stiamo assistendo all'equivalente digitale di questo fenomeno. I ricercatori lo chiamano collasso del modello.

Nel primo decennio della rivoluzione del deep learning (all'incirca 2012-2022), abbiamo vissuto un'epoca d'oro dei dati. Abbiamo addestrato i nostri modelli sulla produzione organica dell'umanità. Abbiamo raccolto libri scritti da autori umani, codice scritto da ingegneri umani, forum pieni di discussioni umane e arte creata da mani umane. Questi dati erano disordinati, sì. Ma erano ricchi. Erano vari. Contenevano le "code" della distribuzione: lo strano, il creativo, l'inaspettato. Erano ancorati alla realtà fisica.

Ma poi arrivarono ChatGPT, Midjourney e Copilot. All'improvviso, il costo della generazione di contenuti è sceso quasi a zero. Internet è stata inondata di testi generati dall'IA, immagini generate dall'IA e codice generato dall'IA. Gli spammer SEO hanno usato i LLM per generare milioni di articoli "listicle" per raccogliere clic. I bot hanno cominciato a parlare con i bot sui social media. LinkedIn si è riempito di post scritti dall'IA sulla "leadership di pensiero". Medium è traboccato di riflessioni generate dall'IA sull'IA.

Oggi, una percentuale significativa e crescente del web pubblico è sintetica. Le stime suggeriscono che entro il 2025, il 30-50% dei testi su internet pubblico sia stato generato dall'IA. Ed ecco il problema: quando raccogliamo dati dal web per addestrare la prossima generazione di modelli, inevitabilmente raccogliamo dati generati dai loro predecessori. Stiamo dando in pasto all'IA la sua stessa produzione. Stiamo chiudendo il cerchio. Stiamo creando un'IA asburgica.

Il ciclo del collasso dei modelli: decadimento ricorsivo dell'addestramento Ogni generazione addestrata sull'output della precedente perde diversità e accuratezza GEN 1 (2012-2022) "Web incontaminato" 100% dati umani ALTA DIVERSITÀ Distribuzione completa Addestra GEN 2 (2023-2024) "Web misto" 65% umano, 35% IA CODE IN DECLINO Varianza in riduzione Addestra GEN 3 (2025+) "Web contaminato" 35% umano, 65% IA COLLASSO Convergenza modale Addestra GEN 4 (Futuro?) "Fanghiglia sintetica" 8% umano, 92% IA COLLASSATO Punto degenere Quattro sintomi del collasso dei modelli Perdita delle code di distribuzione Output creativi e insoliti scompaiono. Tutto converge verso la media. I casi limite sono persi per sempre. "IA beige" Amplificazione delle allucinazioni Gli errori della Gen 1 diventano "fatti" nella Gen 2, poi conoscenza canonica. Le bugie diventano verità. "Bugie sicure" Omogeneizzazione dello stile Tutti gli output suonano uguali. Generici, sicuri, rifiniti ma senz'anima. La voce distintiva muore. "Roba IA" Distacco dalla realtà I modelli perdono il radicamento nella realtà fisica. Pura manipolazione di simboli senza significato. "Regresso infinito" Il collasso dei modelli non è un rischio teorico. Sta accadendo ora. Internet è già contaminato.
I rischi descritti in "The Habsburg Problem in Digital Form" diventano gestibili una volta che hanno un nome e un responsabile.

La matematica della regressione

Non è solo una preoccupazione filosofica. È una certezza matematica. Ricercatori di Oxford, Cambridge e dell'Università di Toronto hanno dimostrato questo effetto in rigorosi studi sottoposti a revisione paritaria. Lo chiamano "La maledizione della ricorsione".

La matematica è in realtà piuttosto elegante nella sua cupezza. Quando un modello probabilistico (Modello B) si addestra su dati generati da un altro modello probabilistico (Modello A), il Modello B apprende l'approssimazione della distribuzione reale fatta dal Modello A, non la distribuzione reale stessa. Impara gli errori insieme al segnale.

Ma peggiora. Il processo di addestramento del Modello B enfatizza intrinsecamente le regioni ad alta probabilità dell'output del Modello A. Gli eventi rari, i valori anomali creativi, le "code" della distribuzione, sono sottorappresentati nell'output sintetico del Modello A (perché, per definizione, sono rari). Quindi il Modello B vede ancora meno esempi di queste code di quanti ne abbia visti il Modello A. Perde varianza.

Ora addestra il Modello C sull'output del Modello B. Le code si restringono ulteriormente. Addestra il Modello D sull'output del Modello C. Ancora di più. Dopo un numero sufficiente di generazioni, la distribuzione collassa in un punto. Tutti gli output diventano uguali: la "media" della distribuzione originale, privata di ogni diversità.

Pensatela come fare una fotocopia di una fotocopia di una fotocopia. La prima copia sembra accettabile. La seconda è un po' sfocata. Alla decima copia, i bordi netti diventano rumore, i dettagli sono sbiaditi e l'immagine si trasforma in una melma grigia. Il segnale decade esponenzialmente a ogni generazione.

La perdita delle code

Nei modelli di IA, questo si manifesta come una perdita di creatività e sfumature. I modelli diventano "beige". I loro testi diventano generici, ripetitivi e sicuri. La loro arte converge su un'estetica specifica, lucida e iper-levigata, priva della ruvidità e della consistenza della realtà. Il loro codice diventa sintatticamente perfetto ma funzionalmente generico, privo degli ingegnosi trucchi di ottimizzazione che un esperto umano potrebbe impiegare.

Le "code" della distribuzione sono il luogo in cui vive l'innovazione. Shakespeare è nelle code. Einstein è nelle code. Le strane idee di startup che diventano aziende da miliardi di dollari sono nelle code. Quando elimini le code, elimini la possibilità del genio. Ottieni un mondo di mediocrità competente.

Amplificazione delle allucinazioni

Forse peggio che perdere la creatività è acquisire una sicurezza sbagliata. Man mano che i modelli si addestrano sulle allucinazioni dei loro predecessori, quegli errori vengono rafforzati. Una bugia detta una volta è un'anomalia. Una bugia ripetuta un milione di volte nel set di addestramento diventa un fatto.

Consideriamo un'ipotesi: GPT-5 allucina che un certo farmaco sia sicuro durante la gravidanza (non lo è). Questa allucinazione viene pubblicata in migliaia di articoli sanitari generati dall'IA. GPT-6 si addestra su quegli articoli. Ora "crede" a questo falso fatto con una sicurezza ancora maggiore, perché lo ha visto così tante volte. GPT-7 lo tratta come conoscenza medica consolidata.

Il Collasso del Modello non riguarda solo il diventare noiosi; riguarda il diventare scollegati dalla realtà. Riguarda la creazione di un'IA estremamente sicura di sé in un universo di fatti che non esistono.

Le prove sono già qui

Non stiamo aspettando che il Collasso del Modello accada. Lo stiamo osservando svolgersi in tempo reale.

Stack Overflow ha visto un calo massiccio del traffico umano, mentre il volume di codice generato dall'IA su GitHub è esploso. Se addestri un modello di codifica sui dati GitHub del 2025, lo stai addestrando su codice che probabilmente è stato scritto (o almeno assistito) da Copilot nel 2024. Se quel codice del 2024 aveva un bug sottile (ad esempio, una vulnerabilità di sicurezza che l'IA tende a suggerire), il modello del 2025 imparerà quel bug come una best practice. Lo amplificherà.

I ricercatori di Google hanno osservato che i risultati di ricerca più recenti contengono schemi di fraseggio sempre più ripetitivi, caratteristici dell'output LLM. Le stesse frasi compaiono ancora e ancora: "È importante notare che...", "Nel mondo frenetico di oggi...", "Entriamo nel vivo...". Questi tic linguistici si stanno diffondendo nel corpus come un virus.

Amazon ha riferito che una percentuale significativa delle recensioni dei clienti sulla loro piattaforma è ora generata dall'IA. Le descrizioni dei prodotti sono generate dall'IA. Le recensioni di quei prodotti sono generate dall'IA. Presto, i riepiloghi di quelle recensioni saranno generati dall'IA. Sono tartarughe fino in fondo.

Le "Leggi di Scala" che hanno guidato il boom dell'IA (l'idea che semplicemente aggiungere più dati e più potenza di calcolo porti sempre a prestazioni migliori) stanno colpendo un muro. I dati non sono più il vincolo; la realtà è il vincolo. Abbiamo esaurito i dati umani puliti. Abbiamo avvelenato il nostro stesso pozzo.

Dweve Spindle: Difesa epistemologica in sette fasi Trasformare le informazioni grezze in conoscenza verificata e pronta per l'IA Pipeline epistemologica in sette fasi 1. CANDIDATO Info grezza identificata Scraping web segnalato 2. ESTRATTO Info strutturata analizzata Estrazione di entità/fatti 3. ANALIZZATO Scomposto in fatti atomici Scomposizione delle affermazioni 4. COLLEGATO Collegato alla rete di conoscenza Integrazione nel grafo 5. VERIFICATO Validazione multi-fonte Controlli incrociati 6. CERTIFICATO QA completata Confidenza >0.7 Qualità garantita 7. CANONICO Autoritativo Pronto per l'IA Verità di base per l'addestramento Sei dimensioni di qualità (valutate in ogni fase) Verificabilità L'affermazione può essere confermata in modo indipendente? Obiettività È un fatto o un'opinione? Rilevamento bias. Completezza Il contesto critico è incluso? Coerenza È in conflitto con fatti noti? Attualità È ancora attuale e rilevante? Diversità delle fonti Conferme indipendenti multiple? Gerarchia militare a 32 agenti (elabora ogni unità di conoscenza) Brigata di scoperta 6 agenti: trovano fonti Corpo di estrazione 5 agenti: analizzano dati Divisione di analisi 6 agenti: scompongono Guardia di qualità 4 agenti: verificano la verità Consiglio di governance 12 agenti: certificano

La soluzione Dweve: rigore epistemologico

In Dweve abbiamo previsto questa crisi. Ci siamo resi conto fin da subito che la strategia del "raschiare tutto" non era sostenibile. Per costruire sistemi robusti che non crollino nell'allucinazione, è necessario dare priorità alla provenienza dei dati: sapere esattamente da dove arrivano i tuoi dati e se rappresentano la realtà.

È per questo che abbiamo creato Dweve Spindle: la nostra piattaforma di governance della conoscenza aziendale. Spindle non è solo una pipeline di dati. È un sistema epistemologico. Trasforma le informazioni grezze in conoscenza verificata e pronta per l'IA attraverso un rigoroso processo in sette fasi.

La pipeline epistemologica in sette fasi

Ogni informazione che entra nell'ecosistema Dweve passa attraverso questa pipeline:

Fase 1: Candidato. Le informazioni grezze vengono identificate e contrassegnate per l'elaborazione. Può trattarsi di una pagina web, un documento, un record di database o una lettura di un sensore. In questa fase sappiamo solo che l'informazione esiste, non se sia vera o utile.

Fase 2: Estratto. Le informazioni strutturate vengono analizzate dalla fonte grezza. Le entità vengono identificate. I fatti vengono estratti. Il caos non strutturato diventa un candidato per un grafo di conoscenza strutturato.

Fase 3: Analizzato. Le affermazioni vengono scomposte in fatti atomici. Una frase come "Einstein ha vinto il Premio Nobel per la relatività" viene suddivisa in componenti verificabili: "Einstein è esistito", "Einstein ha vinto un Premio Nobel", "Il premio era per la fisica", "Il premio è stato assegnato per il lavoro sulla relatività". (Nota: quest'ultima affermazione è in realtà falsa, e la pipeline la rileverebbe.)

Fase 4: Connesso. I fatti atomici vengono collegati alla nostra rete di conoscenza esistente. Questa nuova informazione contraddice fatti consolidati? Li conferma? Colma delle lacune? L'integrazione nel grafo rivela coerenze e conflitti.

Fase 5: Verificato. Avviene la validazione multi-fonte. Riusciamo a trovare conferme indipendenti da fonti autorevoli? L'affermazione supera i controlli di coerenza logica? Qual è la provenienza della fonte originale?

Fase 6: Certificato. Il controllo qualità è completo. L'informazione ha raggiunto un punteggio di affidabilità superiore a 0,7 sulle nostre sei dimensioni di qualità. Viene contrassegnata come affidabile per l'uso nelle applicazioni a valle.

Fase 7: Canonico. L'informazione diventa conoscenza autorevole e pronta per l'IA. Può essere utilizzata per l'addestramento, per l'inferenza, per il recupero. È la verità di riferimento.

La gerarchia militare dei 32 agenti

Questa pipeline non è eseguita da un singolo algoritmo. È orchestrata da un team specializzato di 32 agenti IA, organizzati in una gerarchia in stile militare:

  • Brigata di scoperta (6 agenti): esploratori che identificano e recuperano potenziali fonti di conoscenza
  • Corpo di estrazione (5 agenti): specialisti nell'analisi, nel NER e nella strutturazione dei dati grezzi
  • Divisione di analisi (6 agenti): logici che scompongono le affermazioni e identificano le dipendenze
  • Rete di connessione (4 agenti): specialisti del grafo che integrano nuova conoscenza
  • Guardia di qualità (4 agenti): validatori che incrociano i riferimenti e rilevano le incongruenze
  • Consiglio di governance (12 agenti): agenti senior che prendono le decisioni finali di certificazione

Ogni agente ha competenze specializzate. Discutono. Mettono in discussione le conclusioni degli altri. Richiedono il consenso prima che l'informazione passi alla fase successiva. Questo processo di verifica multi-agente è molto più robusto di qualsiasi approccio a modello singolo per il fact-checking.

Rilevare 47 tipi di bias

Spindle è progettato specificamente per rilevare e segnalare i bias nei dati di addestramento. Il nostro sistema identifica 47 tipi distinti di bias in quattro categorie:

  • Pregiudizio statistico: bias di campionamento, bias di selezione, bias di sopravvivenza, bias di conferma nella raccolta dei dati
  • Pregiudizio cognitivo: ancoraggio, euristica della disponibilità, effetti di framing nel materiale di partenza
  • Pregiudizio linguistico: linguaggio carico, eufemismi, parole ambiguo, framing persuasivo
  • Pregiudizio sistemico: lacune nella rappresentazione, pregiudizi storici codificati nel testo, punti ciechi culturali

Quando viene rilevato un pregiudizio, l'informazione viene corretta (se possibile), segnalata (se la correzione è incerta) o respinta (se il pregiudizio è fondamentale e non correggibile). Questo impedisce l'amplificazione dei pregiudizi che affligge i modelli addestrati su dati grezzi raccolti dal web.

Strategia di Provenienza dei Dati su Quattro Pilastri Come Dweve mantiene l'integrità dei dati di addestramento nell'era dei contenuti sintetici 1 WEB PRISTINO Archivi Pre-2023 Contenuti scritti da umani prima di ChatGPT: - Libri digitalizzati pre-2022 - Articoli accademici - Repository di codice (2010-2021) - Archivi di forum - Giornalismo editoriale Fondamento di Verità 2 FONTI CERTIFICATE Dati Umani su Licenza Partnership dirette con creatori umani verificati: - Editori accademici - Editori di libri - Codice con test CI/CD - Partner aziendali - Scrittori professionisti Provenienza Verificata 3 FILTRO SIMBOLICO Verifica Basata sulla Logica Controlli basati su vincoli respingono spazzatura sintetica: - Verifica della sintassi - Analisi statica - Coerenza logica - Riferimenti incrociati dei fatti - Rilevamento delle allucinazioni Sistema Immunitario 4 PRESERVAZIONE DELLE CODE Protezione della Diversità Cura attiva delle anomalie creative: - Sovracampionare le anomalie - Preservare i casi limite - Curare dati insoliti - Proteggere la creatività - Valorizzare le opinioni di minoranza Fonte di Innovazione La Provenienza dei Dati è il nuovo fossato competitivo. Qualità sulla quantità. Realtà sulla simulazione.
"The Dweve Solution: Epistemological Rigor" è un ciclo: osserva, scegli, agisci e verifica di nuovo.

I Quattro Pilastri della Provenienza dei Dati

Oltre alla pipeline Spindle, la nostra strategia dati complessiva si fonda su quattro pilastri:

1. Il Web Vergine (Archivi Pre-2023)

Attribuiamo un valore enorme ai dati creati prima della diffusione capillare dell'IA generativa (all'incirca tra la fine del 2022 e l'inizio del 2023). Consideriamo quest'epoca come il "Web Vergine". Questi dati d'archivio sono il fondamento del nostro addestramento. Sono la verità di base della produzione umana prima che iniziasse la contaminazione.

Abbiamo investito molto nell'acquisizione e nella cura di dataset precedenti al 2022: libri digitalizzati, archivi accademici, repository di codice con cronologie dei commit che attestano la paternità umana, archivi di forum di un'epoca in cui ogni post era scritto da un essere umano.

Questi dati sono insostituibili. Una volta contaminato il web, non abbiamo potuto decontaminarlo. Ma possiamo preservare e dare priorità agli archivi puliti.

2. Fonti Umane Certificate

Per i dati moderni, non ci affidiamo al web scraping indiscriminato. Collaboriamo direttamente con istituzioni fidate. Acquistiamo licenze per i dati da:

  • Editori Accademici: Gli articoli sottoposti a revisione paritaria sono (per lo più) scritti da esseri umani e vagliati da esseri umani. Il processo di revisione fornisce un filtro di qualità.
  • Editori di Libri: I processi editoriali garantiscono un livello di supervisione umana che i contenuti web non hanno.
  • Repository di Codice con CI/CD: Questo è fondamentale. Non ci limitiamo a fare scraping del codice. Facciamo scraping del codice che supera i test. Se una funzione non compila, la scartiamo. Se fallisce la sua suite di test, la scartiamo. Il codice funzionante ha molte più probabilità di essere scritto da un essere umano (o almeno verificato da un essere umano) rispetto a frammenti casuali.
  • Partner Aziendali: Le aziende ci forniscono dati proprietari in cambio di modelli personalizzati. Questi dati sono per definizione generati da esseri umani e rilevanti per il business.

3. Verifica Simbolica come Sistema Immunitario

Questo è unico nel nostro approccio neuro-simbolico. Poiché il nostro sistema comprende la logica e la struttura del codice attraverso la nostra architettura basata su vincoli, possiamo usare la verifica simbolica per filtrare i dati di addestramento.

Se stiamo addestrando un modello a scrivere Python, non gli forniamo semplicemente file di testo grezzi. Eseguiamo il codice con un compilatore. Se ci sono errori di sintassi, lo scartiamo. Lo eseguiamo con un analizzatore statico. Se ci sono evidenti falle di sicurezza, lo scartiamo. Lo eseguiamo contro casi di test. Se fallisce, lo scartiamo.

Per i contenuti fattuali, incrociamo le affermazioni con il nostro knowledge graph verificato. Se un documento afferma che Parigi è la capitale della Germania, il livello simbolico rileva l'incoerenza e segnala il documento come inaffidabile.

Questo funziona come un sistema immunitario contro il Collasso dei Modelli. Le allucinazioni e il codice difettoso generati da altre IA falliscono i nostri controlli di verifica e vengono filtrati prima di poter contaminare il nostro addestramento.

4. La Strategia di Preservazione delle Code

Campioniamo esplicitamente in eccesso le "code" della distribuzione. Cerchiamo dati di alta qualità ma non convenzionali. Non vogliamo che il nostro modello sia "nella media". Vogliamo che comprenda i casi limite, i salti creativi, le eccezioni brillanti.

La maggior parte delle pipeline di addestramento degli LLM filtra aggressivamente i "valori anomali" per stabilizzare l'addestramento. Noi li curiamo con attenzione. L'innovazione non avviene nella media; avviene ai margini. La prossima idea rivoluzionaria non somiglierà a tutte le altre. Sembrerà strana. Vogliamo preservare quella stranezza.

"The Four Pillars of Data Provenance" è un ciclo: osserva, scegli, agisci e verifica di nuovo.

Il Valore della Realtà

Nel prossimo futuro, i "dati generati da esseri umani" diventeranno una classe di asset premium. Il vasto oceano di internet pubblico sarà considerato "dati spazzatura": utili come riempitivo, forse, o per imparare la grammatica di base, ma pericolosi per la conoscenza fondamentale.

Le aziende che hanno accesso a dati proprietari del mondo reale (log dei sensori di fabbriche reali, cartelle cliniche di medici veri, dati transazionali di economie reali) avranno un enorme vantaggio competitivo. Possiedono la "verità di base".

Il Collasso dei Modelli è la minaccia esistenziale per la bolla dell'IA generativa. Suggerisce che non possiamo semplicemente scalare all'infinito. Non possiamo simulare la nostra strada verso la superintelligenza. Dobbiamo restare con i piedi per terra. Dobbiamo curare. Dobbiamo valorizzare la qualità rispetto alla quantità.

L'IA del futuro non sarà costruita sull'intero internet. Sarà costruita sull'internet verificato. Sarà costruita sulla verità.

La Dimensione Regolatoria

Non è solo una questione tecnica. I regolatori si stanno svegliando rispetto alle implicazioni della contaminazione dei dati sintetici.

L'AI Act dell'UE richiede esplicitamente la documentazione della provenienza dei dati di addestramento per i sistemi di IA ad alto rischio. Se il tuo modello è stato addestrato su dati contaminati e produce output dannosi, devi essere in grado di dimostrare di aver adottato misure ragionevoli per garantire la qualità dei dati. "Abbiamo fatto scraping del web" non sarà una risposta accettabile.

Il GDPR richiede già alle organizzazioni di conservare registri delle attività di trattamento dei dati. Estendere questo requisito ai dati di addestramento dell'IA è un'evoluzione naturale. Da dove provengono i tuoi dati di addestramento? Puoi dimostrare che sono stati raccolti legalmente? Puoi dimostrare che rappresentano la realtà e non allucinazioni dell'IA?

Le aziende che non sanno rispondere a queste domande dovranno affrontare un controllo normativo sempre più rigoroso. Le aziende che possono dimostrare una provenienza rigorosa dei dati (come quelle che utilizzano Dweve Spindle) avranno un vantaggio in termini di conformità.

Lo spazio attorno a "The Regulatory Dimension" si restringe quando regole, ricerca e prove si incontrano.

La strada da percorrere

Il Model Collapse non è inevitabile. È una conseguenza di pratiche negligenti nella gestione dei dati. Se continuiamo a raccogliere dati dal web contaminato e a fornirli a modelli sempre più grandi, otterremo un'IA alla Habsburg: sicura di sé, dall'aspetto capace, ma fondamentalmente degenerata.

Ma se investiamo nella qualità dei dati, se costruiamo sistemi epistemologici in grado di distinguere la verità dall'allucinazione, se preserviamo la diversità del pensiero umano invece di comprimerla in una poltiglia sintetica, possiamo costruire un'IA che rimane ancorata alla realtà.

Questo richiede un lavoro più impegnativo. Richiede maggiori investimenti. Richiede di trattare i dati come una risorsa preziosa e non come una merce da estrarre senza limiti. Ma è l'unica strada verso sistemi di IA che rimangano utili, accurati e affidabili nel lungo termine.

In Dweve abbiamo scelto questa strada. La nostra combinazione di dati d'archivio incontaminati, fonti umane certificate, verifica simbolica e preservazione della diversità garantisce che i nostri modelli rimangano connessi al mondo reale. Stiamo costruendo il filtro tra realtà e simulazione.

La strada facile porta al Model Collapse. La strada difficile porta a un'intelligenza che funziona davvero. Sappiamo quale stiamo percorrendo.