La grande illusione dell'IA: perché "più dati" non ci salverà
L'illusione dei mille miliardi di parametri
C'è una corsa in corso nell'AI. Non una corsa a costruire sistemi migliori. Non una corsa a risolvere problemi reali. Una corsa a costruire numeri più grandi.
Cento miliardi di parametri. Cinquecento miliardi. Un trilione. Dieci trilioni. Ogni annuncio accolto da comunicati stampa senza fiato e prezzi azionari alle stelle. Ogni modello commercializzato come il prossimo passo avanti nell'intelligenza artificiale.
Ma non sono passi avanti. Sono solo più grandi.
E da qualche parte lungo il percorso, l'intero settore si è convinto che più grande equivale a migliore. Che più parametri significano più intelligenza. Che se continuiamo a scalare, a aggiungere zeri, a consumare più dati e più potenza di calcolo, alla fine inciamperemo nell'intelligenza artificiale generale.
È la più grande illusione della tecnologia moderna. E sta crollando.
Il vangelo delle leggi di scala
Nel 2020 i ricercatori scoprirono quelle che chiamarono "leggi di scala". Dai a una rete neurale più parametri e più dati, e le sue prestazioni migliorano in modo prevedibile. Raddoppia i parametri, dimezza il tasso di errore. Era bellissimo. Matematico. Ripetibile.
Le leggi di scala diventarono un vangelo. Stai pianificando ricerca sull'AI? Basta aumentare la scala. Vuoi prestazioni migliori? Aggiungi parametri. Devi competere? Costruisci modelli più grandi.
Ogni grande laboratorio adottò la stessa strategia: modelli più grandi, più dati, più potenza di calcolo. GPT-3 aveva 175 miliardi di parametri. GPT-4 è andato oltre. Gemini ha spinto ancora più avanti. Furono annunciati modelli con mille miliardi di parametri. Si parlò di diecimila miliardi.
La logica sembrava inattaccabile: se la scala ha funzionato finora, perché dovrebbe smettere di funzionare?
E invece sta smettendo. Proprio ora.
Il muro che nessuno aveva previsto
A fine 2024 è successo qualcosa di inaspettato. La nuova generazione di modelli di punta non ha mostrato i miglioramenti attesi.
Il doppio dei parametri. Il triplo dei dati di addestramento. Dieci volte la potenza di calcolo. E le prestazioni si sono mosse appena. In alcuni casi sono peggiorate.
Le leggi di scala, che avevano retto così a lungo in modo affidabile, stavano cedendo. I rendimenti decrescenti non erano più teoria. Erano qui.
TechCrunch ha riportato a novembre 2024 che le leggi di scala dell'AI stanno "mostrando rendimenti decrescenti, costringendo i laboratori di AI a cambiare rotta". DeepLearning.AI ha documentato come le grandi aziende abbiano riconosciuto che "la nuova generazione di modelli di alto profilo non ha mostrato i miglioramenti attesi nonostante architetture più grandi, più dati di addestramento e più potenza di elaborazione".
L'evidenza è chiara: la scala ha colpito un muro. Anzi, più muri.
Il muro dei dati
Primo muro: stiamo finendo i dati di addestramento di qualità.
I grandi modelli linguistici consumano internet. Letteralmente. GPT-3 è stato addestrato su centinaia di miliardi di parole estratte da siti web, libri, articoli, forum. Ogni testo umano ragionevolmente accessibile online.
Ma internet ha un limite. Una ricerca pubblicata nel 2022 prevedeva che avremmo esaurito i dati testuali di alta qualità tra il 2026 e il 2032 se le tendenze attuali fossero continuate. L'analisi di Epoch AI ha rilevato che, mentre le stime precedenti indicavano un esaurimento entro il 2024, una metodologia più raffinata suggerisce ora che potrebbe accadere entro il 2028.
In ogni caso, il tempo scorre. Il testo di alta qualità generato dagli esseri umani è finito.
La risposta? I dati sintetici. Modelli che generano testo per addestrare altri modelli. Sembra ingegnoso, finché non ti rendi conto che è come fare fotocopie di fotocopie. Ogni generazione degrada. Gli errori si accumulano. I pregiudizi si amplificano.
Nature ha pubblicato una ricerca nel 2024 che dimostra come i modelli addestrati su dati generati ricorsivamente vadano incontro al "collasso del modello". Lo studio ha mostrato che addestrare indiscriminatamente su contenuti sintetici porta a un peggioramento delle prestazioni, a una riduzione della diversità e, in ultima analisi, a modelli di IA che producono output sempre più generici.
Non puoi scalare all'infinito quando la tua fonte di carburante è limitata. E i dati di qualità, la vera conoscenza umana, sono davvero molto limitati.
Il collasso della qualità
Secondo muro: più dati non significa dati migliori.
Il documento Chinchilla del 2022 ha rivelato qualcosa di cruciale: il modello ottimale non è il più grande. È quello con il miglior rapporto tra parametri e token di addestramento. Per ogni aumento di 4× del calcolo, serve un aumento di 2× delle dimensioni del modello E un aumento di 2× della qualità dei dati.
Ma cosa succede quando hai già usato tutti i dati buoni? Inizi a raccogliere fonti di qualità inferiore. Forum pieni di disinformazione. Contenuti tradotti automaticamente. Spam generato dall'IA. La feccia di internet.
Più dati di addestramento. Prestazioni peggiori. Perché "spazzatura dentro, spazzatura fuori" non smette di essere vero solo perché hai un trilione di parametri.
Uno studio del 2024 ha rilevato che la qualità dei dati conta più della quantità per i modelli linguistici di piccole dimensioni. Un altro ha scoperto che set di dati curati con cura di 1 milione di esempi superano set di dati raccolti casualmente di 100 milioni di esempi.
La risposta del settore? Continuare a scalare comunque. Gettare più potenza di calcolo sul problema. Sperare che la forza bruta superi i dati scadenti.
Non funziona.
Il tetto del calcolo
Terzo muro: la fisica del calcolo.
Addestrare un modello con un trilione di parametri richiede una quantità assurda di potenza di calcolo. Parliamo di decine di migliaia di GPU in esecuzione per mesi. Un consumo energetico che rivaleggia con quello di piccoli paesi. Costi infrastrutturali nell'ordine delle centinaia di milioni.
E per cosa? Miglioramenti marginali. Guadagni di prestazioni che giustificano a malapena l'aumento esponenziale dei costi.
Una stima suggerisce che addestrare un ipotetico modello da 10 trilioni di parametri consumerebbe più elettricità di quanta ne usino annualmente alcune nazioni europee. Per una singola sessione di addestramento. Che probabilmente dovrà essere ripetuta dozzine di volte prima di funzionare.
I rendimenti economici non giustificano più i costi di calcolo. Le leggi di scaling promettevano miglioramenti lineari con investimenti lineari. La realtà sta offrendo miglioramenti logaritmici con investimenti esponenziali.
Non è un modello di business. È una bolla pronta a scoppiare.
L'illusione dell'intelligenza
Ma ecco il problema più profondo: anche quando lo scaling funzionava, non stava creando intelligenza. Stava creando pattern matching statistico su scala enorme.
Un trilione di parametri non pensa. Non ragiona. Non comprende. Predice il token successivo basandosi sui pattern nei dati di addestramento. È una cosa profondamente diversa dall'intelligenza.
L'illusione è convincente perché la scala può avvicinarsi alla comprensione. Dai a un modello abbastanza esempi, e può usare il pattern matching per arrivare a risposte apparentemente intelligenti. Ma è imitazione, non comprensione.
È per questo che i modelli falliscono sui problemi nuovi. Perché non riescono a fare ragionamenti multi-step in modo affidabile. Perché allucinano fatti incorretti con sicurezza. Non stanno pensando. Stanno recuperando e ricombinando pattern.
E nessuna quantità di scaling risolve questo problema. Aggiungere più parametri a un pattern matcher ti dà solo un pattern matcher più grande.
La trappola europea
Per l'Europa, il paradigma dello scaling crea una situazione impossibile.
I giganti tecnologici americani hanno la potenza di calcolo. Hanno i dati. Hanno l'infrastruttura per addestrare modelli da un trilione di parametri. Le aziende europee no.
Cercare di competere nella corsa allo scaling significa che l'AI europea sarà sempre a rincorrere. Sempre una generazione indietro. Sempre superata sul calcolo e superata in spesa per la raccolta dati.
È un gioco truccato fin dall'inizio. Le regole favoriscono chi ha più risorse, non chi ha le idee migliori.
E ora, mentre le leggi di scaling crollano, lo svantaggio dell'Europa in quella corsa diventa irrilevante. Perché la corsa stessa sta finendo.
L'alternativa più intelligente
Quindi qual è l'alternativa? Se più grande non significa migliore, cosa significa?
La risposta è eleganza. Efficienza. Rigore matematico.
In Dweve, non abbiamo mai creduto all'illusione dello scaling. Non abbiamo cercato di costruire modelli più grandi. Ne abbiamo costruiti più intelligenti.
Reti neurali binarie con 456 specialisti di dominio. Ogni specialista di dominio si concentra su tipi specifici di ragionamento. L'attivazione sparsa fa sì che solo gli specialisti di dominio rilevanti si attivino per ogni compito. Nessun calcolo sprecato. Nessun parametro superfluo.
Il risultato? Prestazioni all'avanguardia con una frazione dei parametri. Ragionamento migliore con meno dati. Sistemi distribuibili che non richiedono infrastrutture su scala data center.
Loom 456 non cerca di memorizzare internet. È progettato per ragionare con vincoli, per pensare attraverso i problemi, per comprendere davvero la struttura.
Questa è intelligenza attraverso l'architettura, non attraverso l'accumulo.
Qualità prima della quantità
Il paper Chinchilla ha capito una cosa giusta: il rapporto conta più dei numeri grezzi.
Ma l'intuizione vera va più in profondità: modelli progettati con cura e regimi di addestramento curati superano modelli enormi con accumulo indiscriminato di dati.
Pensa all'apprendimento umano. Non diventi intelligente leggendo tutto. Diventi intelligente leggendo le cose giuste, nell'ordine giusto, con la guida giusta. La qualità dell'apprendimento conta più della quantità di informazioni.
L'AI non è diversa. Un modello addestrato su dati ben strutturati e accuratamente curati supererà un modello sommerso da testo internet casuale. Anche se il secondo modello ha 100× più parametri.
È qui che l'Europa può competere. Non costruendo più grande, ma costruendo meglio. Non raccogliendo più dati, ma usando regimi di addestramento più intelligenti.
Dweve Core dimostra questo principio. Il nostro framework di reti neurali binarie raggiunge prestazioni competitive con ordini di grandezza in meno di parametri rispetto ai modelli standard. Perché ci siamo concentrati sull'eleganza matematica invece che sul potenziamento bruto.
Il vantaggio dell'architettura
Ecco cosa sfugge a chi insegue la scala: l'architettura conta più della dimensione.
Puoi avere mille miliardi di parametri disposti male, o un miliardo di parametri disposti con intelligenza. La disposizione intelligente vince sempre.
Le architetture Mixture of Experts (MoE) lo dimostrano. Invece di attivare tutti i parametri per ogni compito, attiva solo il sottoinsieme pertinente. All'improvviso ottieni prestazioni da mille miliardi di parametri con costi di calcolo da un miliardo.
Le reti neurali binarie spingono oltre. Ogni operazione è matematicamente più semplice, ma l'architettura complessiva è più sofisticata. Ragionamento basato su vincoli invece di approssimazione probabilistica. Logica discreta invece di congetture in virgola mobile.
Il risultato sono sistemi che ragionano invece di recuperare. Che comprendono la struttura invece di memorizzare schemi. Che funzionano in modo affidabile invece di allucinare in modo plausibile.
Questo è il futuro che le leggi di scala non possono raggiungere: intelligenza vera, non solo imitazione più grande.
Oltre l'illusione
L'era dello scaling sta finendo. Non con un crollo drammatico, ma con una lenta consapevolezza: gettare più potenza di calcolo sul problema non funziona più.
Muri dei dati. Collasso della qualità. Tetti di calcolo. Rendimenti decrescenti. Non sono battute d'arresto temporanee. Sono limiti fondamentali del paradigma dello scaling.
Ma per chi non ha mai creduto all'illusione, questa non è una crisi. È un'opportunità.
L'opportunità di costruire un'IA basata su veri principi di intelligenza, non sulla correlazione statistica. Di creare sistemi che lavorano in modo efficiente, non dispendioso. Di sviluppare una tecnologia accessibile, che non richieda budget da miliardi di dollari.
La corsa ai trilioni di parametri è sempre stata un vicolo cieco. Dovevamo solo aspettare che tutti gli altri sbattessero contro il muro per dimostrarlo.
Il vero progresso
Ecco l'ironia: il vero progresso nell'IA non sarà un modello più grande. Sarà la consapevolezza che abbiamo ottimizzato la cosa sbagliata.
Non più parametri. Architettura migliore.
Non più dati. Apprendimento migliore.
Non più calcolo. Matematica più intelligente.
Le reti neurali binarie rappresentano questo cambiamento. Dall'accumulo all'eleganza. Dalla forza bruta al rigore matematico. Dai mostri da trilioni di parametri a sistemi da miliardi di parametri che pensano davvero.
La piattaforma di Dweve dimostra che funziona: Core come framework algoritmico binario, Loom come modello di intelligenza specializzato in 456 domini, Nexus come framework di intelligenza multi-agente, Aura come piattaforma di orchestrazione di agenti autonomi, Fabric come dashboard unificato e centro di controllo, Mesh come layer infrastrutturale decentralizzato.
Tutto costruito sul principio che l'intelligenza deriva dalla struttura, non dalla dimensione.
La scelta che ci attende
L'industria dell'IA deve fare una scelta. Continuare a inseguire l'illusione dello scaling, buttando buon denaro dopo cattivo, sperando che l'ordine di grandezza successivo sfondi i muri. Oppure accettare che il paradigma ha dei limiti e passare a qualcosa di meglio.
I dati dicono che lo scaling è finito. La fisica dice che i costi di calcolo sono insostenibili. La matematica dice che esistono approcci più intelligenti.
L'Europa non deve vincere la corsa allo scaling. L'Europa deve renderla obsoleta. Costruire un'IA che non richieda modelli da trilioni di parametri. Creare sistemi che lavorano in modo efficiente, non dispendioso. Sviluppare una tecnologia basata sulla comprensione, non sulla memorizzazione.
La grande illusione dell'AI sta crollando. Più dati non la salveranno. Modelli più grandi non la salveranno. Più potenza di calcolo non la salverà.
Cosa spezza l'illusione? Riconoscere che l'intelligenza non è mai stata una questione di dimensioni.
Il futuro dell'AI non sono i trilioni di parametri. Sono architetture intelligenti, calcolo efficiente ed eleganza matematica. Sono sistemi progettati per comprendere, non per memorizzare. Intelligenza attraverso la struttura, non l'accumulo.
Il paradigma dello scaling ha svolto il suo ruolo. Ci ha mostrato cosa può ottenere la forza bruta. Ma ora ne abbiamo raggiunto i limiti. Il prossimo capitolo dell'AI richiede un pensiero diverso: precisione invece di scala, architettura invece di parametri, intelligenza invece di dimensioni.
Questo futuro si sta costruendo ora. Da ricercatori che puntano sull'efficienza. Da ingegneri che danno priorità alla spiegabilità. Da aziende che sviluppano AI in grado di funzionare senza richiedere infrastrutture da data center. L'Europa ha l'opportunità di guidare questo cambiamento, non vincendo la corsa allo scaling, ma rendendola irrilevante.
La grande illusione dell'AI sta crollando. Più dati non la salveranno. Ciò che verrà dopo sarà più intelligente.
Dweve costruisce AI su reti a vincoli binari e architetture mixture-of-domain-specialists. Loom utilizza 456 specialisti di dominio per un ragionamento efficiente. Sviluppo nei Paesi Bassi, al servizio delle organizzazioni europee. Il futuro dell'AI è elegante, non solo grande.