Marea iluzie a inteligenței artificiale: de ce „mai multe date” nu ne vor salva
Iluzia trilioanelor de parametri
Există o cursă în domeniul AI. Nu o cursă pentru a construi sisteme mai bune. Nu o cursă pentru a rezolva probleme reale. O cursă pentru a construi numere mai mari.
O sută de miliarde de parametri. Cinci sute de miliarde. Un trilion. Zece trilioane. Fiecare anunț este întâmpinat cu comunicate de presă entuziaste și prețuri ale acțiunilor în creștere. Fiecare model este comercializat ca următorul progres în inteligența artificială.
Doar că nu sunt progrese. Sunt doar mai mari.
Și undeva pe parcurs, întreaga industrie s-a convins că mai mare înseamnă mai bun. Că mai mulți parametri înseamnă mai multă inteligență. Că dacă doar continuăm să creștem scala, să adăugăm zerouri, să consumăm mai multe date și mai multă putere de calcul, vom ajunge în cele din urmă la inteligența artificială generală.
Este cea mai mare iluzie din tehnologia modernă. Și începe să se spargă.
Evanghelia legilor scalării
În 2020, cercetătorii au descoperit ceea ce au numit „legi ale scalării". Hrănește o rețea neuronală cu mai mulți parametri și mai multe date, iar performanța ei se îmbunătățește previzibil. Dublezi parametrii, înjumătățești rata de eroare. Era frumos. Matematic. Repetabil.
Legile scalării au devenit evanghelie. Planifici cercetarea în domeniul AI? Doar scalează. Vrei performanțe mai bune? Adaugă mai mulți parametri. Trebuie să concurezi? Construiește modele mai mari.
Fiecare laborator important a adoptat aceeași strategie: modele mai mari, mai multe date, mai multă putere de calcul. GPT-3 avea 175 de miliarde de parametri. GPT-4 a mers mai departe. Gemini a împins și mai mult. Au fost anunțate modele cu un trilion de parametri. S-a discutat despre zece trilioane.
Logica părea de netăgăduit: dacă scalarea a funcționat până acum, de ce s-ar opri?
Doar că se oprește. Chiar acum.
Peretele pe care nimeni nu l-a prezis
La sfârșitul anului 2024, s-a întâmplat ceva neașteptat. Noua generație de modele emblematice nu a arătat îmbunătățirile așteptate.
De două ori mai mulți parametri. De trei ori mai multe date de antrenament. De zece ori mai multă putere de calcul. Și performanța abia s-a mișcat. În unele cazuri, chiar s-a înrăutățit.
Legile scalării, care rezistaseră atât de fiabil ani de zile, începeau să se prăbușească. Randamentele descrescătoare nu mai erau teoretice. Erau aici.
TechCrunch a raportat în noiembrie 2024 că legile scalării în domeniul AI „arată randamente descrescătoare, forțând laboratoarele de AI să își schimbe direcția". DeepLearning.AI a documentat modul în care marile companii au recunoscut că „noua generație de modele de profil înalt nu a arătat îmbunătățirile așteptate, în ciuda arhitecturilor mai mari, a mai multor date de antrenament și a mai multă putere de procesare".
Dovezile sunt clare: scalarea a lovit un perete. De fapt, mai mulți pereți.
Peretele datelor
Primul perete: rămânem fără date de antrenament de calitate.
Modelele lingvistice mari consumă internetul. Literalmente. GPT-3 a fost antrenat pe sute de miliarde de cuvinte răzuite de pe site-uri web, din cărți, articole, forumuri. Fiecare text uman rezonabil de accesibil de pe internet.
Dar internetul are o limită. Cercetări publicate în 2022 au prezis că vom epuiza datele text de înaltă calitate între 2026 și 2032, dacă tendințele actuale continuă. Analiza Epoch AI a constatat că, deși estimările anterioare sugerau epuizarea până în 2024, o metodologie rafinată indică acum că acest lucru s-ar putea întâmpla până în 2028.
Oricum ar fi, ceasul ticăie. Textul generat de oameni, de înaltă calitate, este finit.
Răspunsul? Date sintetice. Modele care generează text pentru a antrena alte modele. Sună inteligent până îți dai seama că e ca și cum ai face fotocopii după fotocopii. Fiecare generație degradează. Erorile se acumulează. Prejudecățile se amplifică.
Nature a publicat în 2024 o cercetare care demonstrează că modelele antrenate pe date generate recursiv suferă de „colaps al modelului". Studiul a arătat că antrenarea nediscriminatorie pe conținut sintetic duce la performanțe în degradare, diversitate redusă și, în cele din urmă, la modele AI care produc rezultate din ce în ce mai generice.
Nu poți scala la nesfârșit când sursa ta de combustibil este finită. Iar datele de calitate, cunoașterea umană reală, sunt foarte finite, într-adevăr.
Colapsul calității
Al doilea zid: mai multe date nu înseamnă date mai bune.
Lucrarea Chinchilla din 2022 a scos la iveală ceva crucial: modelul optim nu este cel mai mare model. Este cel cu cel mai bun raport dintre parametri și tokeni de antrenare. Pentru fiecare creștere de 4× a puterii de calcul, ai nevoie de o creștere de 2× a dimensiunii modelului ȘI de o creștere de 2× a calității datelor.
Dar ce se întâmplă când ai folosit deja toate datele bune? Începi să răzuiești surse de calitate inferioară. Forumuri cu dezinformare. Conținut tradus automat. Spam generat de AI. Rămășițele internetului.
Mai multe date de antrenare. Performanțe mai slabe. Pentru că „gunoi la intrare, gunoi la ieșire" nu încetează să fie adevărat doar pentru că ai un trilion de parametri.
Un studiu din 2024 a constatat că pentru modelele lingvistice mici, calitatea datelor contează mai mult decât cantitatea. Altul a descoperit că seturile de date atent selecționate, cu 1 milion de exemple, depășesc seturile de date colectate aleatoriu, cu 100 de milioane de exemple.
Răspunsul industriei? Continuă să scalezi oricum. Aruncă mai multă putere de calcul asupra problemei. Speră că forța brută va învinge datele proaste.
Nu o face.
Plafonul puterii de calcul
Al treilea zid: fizica calculului.
Antrenarea unui model cu un trilion de parametri necesită cantități inimaginabile de putere de calcul. Vorbim despre zeci de mii de GPU-uri care rulează luni întregi. Un consum de energie care rivalizează cu cel al unor țări mici. Costuri de infrastructură de sute de milioane.
Și pentru ce? Îmbunătățiri marginale. Câștiguri de performanță care abia justifică creșterea exponențială a costurilor.
O estimare sugerează că antrenarea unui model ipotetic cu 10 trilioane de parametri ar consuma mai multă electricitate decât consumă anual unele națiuni europene. Pentru o singură rundă de antrenare. Care va trebui probabil repetată de zeci de ori înainte să funcționeze.
Randamentele economice nu mai justifică costurile de calcul. Legile scalării promiteau îmbunătățiri liniare cu investiții liniare. Realitatea livrează îmbunătățiri logaritmice cu investiții exponențiale.
Acesta nu este un model de afaceri. Este o bulă gata să spargă.
Iluzia inteligenței
Dar iată problema mai profundă: chiar și atunci când scalarea funcționa, nu crea inteligență. Crea potrivire statistică de tipare la o scară enormă.
Un trilion de parametri nu gândesc. Nu raționează. Nu înțeleg. Prezic următorul token pe baza tiparelor din datele de antrenare. Este un lucru fundamental diferit de inteligență.
Iluzia este convingătoare pentru că scala poate aproxima înțelegerea. Oferă unui model suficiente exemple, iar acesta poate potrivi tipare pentru a produce răspunsuri aparent inteligente. Dar este imitație, nu comprehensiune.
De aceea modelele eșuează la probleme noi. De aceea nu pot face în mod fiabil raționamente în mai mulți pași. De aceea halucinează fapte incorecte cu încredere. Nu gândesc. Recuperează și recombinează tipare.
Și nicio cantitate de scalare nu rezolvă această problemă. Adăugarea mai multor parametri unui potrivitor de tipare îți oferă doar un potrivitor de tipare mai mare.
Capcana europeană
Pentru Europa, paradigma scalării creează o situație imposibilă.
Giganții tehnologici americani au puterea de calcul. Au datele. Au infrastructura pentru a antrena modele cu un trilion de parametri. Companiile europene nu au.
Încercarea de a concura în cursa scalării înseamnă că IA europeană va juca mereu rolul de recuperare. Mereu cu o generație în urmă. Mereu depășită la putere de calcul și depășită la cheltuieli pentru colectarea datelor.
Este un joc aranjat de la început. Regulile favorizează pe cei cu cele mai multe resurse, nu pe cei cu cele mai bune idei.
Iar acum, pe măsură ce legile scalării se prăbușesc, dezavantajul Europei în acea cursă devine irelevant. Pentru că cursa însăși se termină.
Alternativa mai inteligentă
Deci care este alternativa? Dacă mai mare nu înseamnă mai bun, atunci ce înseamnă?
Răspunsul este eleganța. Eficiența. Rigurozitatea matematică.
La Dweve, nu am cumpărat niciodată iluzia scalării. Nu am încercat să construim modele mai mari. Am construit modele mai inteligente.
Rețele neuronale binare cu 456 de specialiști pe domenii. Fiecare specialist pe domenii este concentrat pe tipuri specifice de raționament. Activarea rară înseamnă că doar specialiștii relevanți se activează pentru fiecare sarcină. Fără calcul risipit. Fără parametri inutili.
Rezultatul? Performanță de ultimă generație cu o fracțiune din parametri. Raționament mai bun cu mai puține date. Sisteme implementabile care nu necesită infrastructură la scară de centru de date.
Loom 456 nu încearcă să memoreze internetul. Este proiectat să raționeze cu constrângeri, să gândească prin probleme, să înțeleagă cu adevărat structura.
Acesta este inteligență prin arhitectură, nu prin acumulare.
Calitate peste cantitate
Lucrarea Chinchilla a înțeles corect un lucru: raportul contează mai mult decât numerele brute.
Dar adevărata perspectivă merge mai profund: modelele proiectate cu atenție, cu regimuri de antrenare curate, depășesc modelele masive cu acumulare nediscriminată de date.
Gândește-te la învățarea umană. Nu devii inteligent citind totul. Devii inteligent citind lucrurile potrivite, în ordinea potrivită, cu îndrumarea potrivită. Calitatea învățării contează mai mult decât cantitatea de informații.
IA nu este diferită. Un model antrenat pe date bine structurate, atent selecționate, va depăși un model înecat în text aleatoriu de pe internet. Chiar dacă al doilea model are de 100× mai mulți parametri.
Aici poate concura Europa. Nu construind mai mare, ci construind mai bine. Nu răzuind mai multe date, ci folosind regimuri de antrenare mai inteligente.
Dweve Core demonstrează acest principiu. Cadrul nostru de rețele neuronale binare obține performanțe competitive cu un număr de parametri cu ordine de mărime mai mic decât modelele standard. Pentru că ne-am concentrat pe eleganța matematică, nu pe scalarea prin forță brută.
Avantajul arhitecturii
Iată ce le scapă celor din tabăra scalării: arhitectura contează mai mult decât dimensiunea.
Poți avea un trilion de parametri aranjați prost sau un miliard de parametri aranjați inteligent. Aranjamentul inteligent câștigă de fiecare dată.
Arhitecturile Mixture of Experts (MoE) demonstrează acest lucru. În loc să activezi toți parametrii pentru fiecare sarcină, activezi doar subsetul relevant. Dintr-o dată obții performanță de trilion de parametri cu costuri de calcul de miliard de parametri.
Rețelele neuronale binare duc acest lucru mai departe. Fiecare operație este matematic mai simplă, dar arhitectura generală este mai sofisticată. Raționament bazat pe constrângeri în loc de aproximare probabilistică. Logică discretă în loc de ghiceli în virgulă mobilă.
Rezultatul sunt sisteme care raționează, nu doar recuperează informații. Care înțeleg structura, nu doar memorează tipare. Care funcționează fiabil, nu halucinează plauzibil.
Acesta este viitorul pe care legile scalării nu îl pot atinge: inteligență reală, nu doar imitație la scară mai mare.
Dincolo de iluzie
Epoca scalării se apropie de final. Nu printr-un prăbușire dramatică, ci printr-o recunoaștere lentă că aruncarea a tot mai multă putere de calcul asupra problemei nu mai funcționează.
Ziduri de date. Prăbușirea calității. Plafoane de calcul. Randamente în scădere. Acestea nu sunt eșecuri temporare. Sunt limite fundamentale ale paradigmei scalării.
Dar pentru cei care nu au crezut niciodată în iluzie, aceasta nu este o criză. Este o oportunitate.
O oportunitate de a construi inteligență artificială bazată pe principii reale de inteligență, nu pe corelații statistice. De a crea sisteme care funcționează eficient, nu risipitor. De a dezvolta tehnologie accesibilă, nu una care necesită bugete de miliarde de dolari.
Cursa pentru trilioane de parametri a fost dintotdeauna o fundătură. A trebuit doar să așteptăm ca toți ceilalți să lovească zidul ca să o dovedim.
Adevăratul progres
Iată ironia: adevăratul progres în inteligența artificială nu va fi un model mai mare. Va fi conștientizarea că am optimizat pentru lucrul greșit.
Nu mai mulți parametri. O arhitectură mai bună.
Nu mai multe date. O învățare mai bună.
Nu mai mult calcul. O matematică mai inteligentă.
Rețelele neuronale binare reprezintă această schimbare. De la acumulare la eleganță. De la forță brută la rigoare matematică. De la monștri cu trilioane de parametri la sisteme cu miliarde de parametri care chiar gândesc.
Platforma Dweve demonstrează că funcționează: Core ca framework binar pentru algoritmi, Loom ca model de inteligență specializat pe 456 de domenii, Nexus ca framework de inteligență multi-agent, Aura ca platformă de orchestrare a agenților autonomi, Fabric ca panou de control unificat, Mesh ca strat de infrastructură descentralizată.
Toate construite pe principiul că inteligența vine din structură, nu din dimensiune.
Alegerea din față
Industria inteligenței artificiale se confruntă cu o alegere. Să continue să urmărească iluzia scalării, aruncând bani buni după bani răi, sperând că următorul ordin de mărime va sparge cumva zidurile. Sau să accepte că paradigma are limite și să treacă la ceva mai bun.
Datele spun că scalarea s-a încheiat. Fizica spune că costurile de calcul sunt nesustenabile. Matematica spune că există abordări mai inteligente.
Europa nu trebuie să câștige cursa scalării. Europa trebuie să o facă irelevantă. Să construiască inteligență artificială care nu necesită modele cu trilioane de parametri. Să creeze sisteme care funcționează eficient, nu risipitor. Să dezvolte tehnologie bazată pe înțelegere, nu pe memorare.
Marea iluzie a inteligenței artificiale se sparge. Mai multe date nu o vor salva. Modele mai mari nu o vor salva. Mai multă putere de calcul nu o va salva.
Ce sparge iluzia? Recunoașterea faptului că inteligența nu a fost niciodată despre dimensiune.
Viitorul inteligenței artificiale nu înseamnă trilioane de parametri. Înseamnă arhitecturi inteligente, calcul eficient și eleganță matematică. Înseamnă sisteme proiectate pentru înțelegere, nu pentru memorare. Inteligență prin structură, nu prin acumulare.
Paradigma scalării și-a îndeplinit scopul. Ne-a arătat ce poate realiza forța brută. Dar acum am atins limitele ei. Următorul capitol al inteligenței artificiale cere o altă gândire: precizie în loc de scară, arhitectură în loc de parametri, inteligență în loc de dimensiune.
Acest viitor se construiește acum. De cercetători care se concentrează pe eficiență. De ingineri care prioritizează explicabilitatea. De companii care dezvoltă inteligență artificială ce funcționează fără a necesita infrastructură de centre de date. Europa are ocazia să conducă această schimbare, nu câștigând cursa scalării, ci făcând-o irelevantă.
Marea iluzie a inteligenței artificiale se sparge. Mai multe date nu o vor salva. Ce urmează va fi mai inteligent.
Dweve construiește inteligență artificială pe rețele binare de constrângeri și arhitecturi de specialiști pe domenii mixte. Loom folosește 456 de specialiști pe domenii pentru raționament eficient. Dezvoltare în Țările de Jos, deservind organizații europene. Viitorul inteligenței artificiale este elegant, nu doar mare.