Velika AI iluzija: zašto nas "više podataka" neće spasiti
Zabluda o trilijun parametara
U svijetu umjetne inteligencije odvija se utrka. Ne utrka za izgradnju boljih sustava. Ne utrka za rješavanje stvarnih problema. Utrka za veće brojke.
Stotinu milijardi parametara. Petsto milijardi. Trilijun. Deset trilijuna. Svaka najava popraćena je pompeznim priopćenjima za medije i rastućim cijenama dionica. Svaki se model prodaje kao sljedeći iskorak u umjetnoj inteligenciji.
Samo što to nisu iskoraci. Samo su veći.
I negdje usput, cijela se industrija uvjerila da veće znači bolje. Da više parametara znači više inteligencije. Da ćemo, ako samo nastavimo povećavati, dodavati nule, trošiti sve više podataka i računalne snage, na kraju slučajno naletjeti na opću umjetnu inteligenciju.
To je najveća iluzija moderne tehnologije. I puca.
Evangelij zakona skaliranja
Godine 2020. istraživači su otkrili ono što su nazvali "zakoni skaliranja". Nahranite neuronsku mrežu s više parametara i više podataka, a njezina se izvedba poboljšava predvidljivo. Udvostručite parametre, prepolovite stopu pogreške. Bilo je to prekrasno. Matematički. Ponovljivo.
Zakoni skaliranja postali su evangelij. Planirate istraživanje umjetne inteligencije? Samo povećajte razmjere. Želite bolju izvedbu? Dodajte više parametara. Trebate se natjecati? Gradite veće modele.
Svaki veliki laboratorij usvojio je istu strategiju: veći modeli, više podataka, više računalne snage. GPT-3 imao je 175 milijardi parametara. GPT-4 otišao je dalje. Gemini je gurnuo još dalje. Najavljeni su modeli s trilijun parametara. Raspravljalo se o deset trilijuna.
Logika se činila nepobjedivom: ako je skaliranje dosad funkcioniralo, zašto bi prestalo?
Osim što prestaje. Upravo sada.
Zid koji nitko nije predvidio
Krajem 2024. dogodilo se nešto neočekivano. Sljedeća generacija vodećih modela nije pokazala očekivana poboljšanja.
Dvostruko više parametara. Trostruko više podataka za obuku. Deseterostruko više računalne snage. A izvedba se jedva pomaknula. U nekim slučajevima postala je i lošija.
Zakoni skaliranja, koji su godinama tako pouzdano držali, počeli su se urušavati. Opadajući prinosi više nisu bili teorija. Bili su tu.
TechCrunch je u studenom 2024. izvijestio da zakoni skaliranja umjetne inteligencije "pokazuju opadajuće prinose, prisiljavajući laboratorije za umjetnu inteligenciju da promijene smjer". DeepLearning.AI dokumentirao je kako su velike tvrtke priznale da "sljedeća generacija istaknutih modela nije pokazala očekivana poboljšanja unatoč većim arhitekturama, više podataka za obuku i većoj procesorskoj snazi".
Dokazi su jasni: skaliranje je udarilo u zid. Zapravo, u više zidova.
Zid podataka
Prvi zid: ponestaje nam kvalitetnih podataka za obuku.
Veliki jezični modeli proždiru internet. Doslovno. GPT-3 obučen je na stotinama milijardi riječi prikupljenih s web stranica, iz knjiga, članaka, foruma. Na svakom razumno dostupnom ljudskom tekstu na internetu.
Ali interneta ima samo toliko. Istraživanje objavljeno 2022. predvidjelo je da ćemo iscrpiti visokokvalitetne tekstualne podatke između 2026. i 2032. ako se sadašnji trendovi nastave. Analiza Epoch AI pokazala je da, iako su ranije procjene upućivale na iscrpljenje do 2024., rafinirana metodologija sada upućuje na to da bi se to moglo dogoditi do 2028.
U svakom slučaju, vrijeme istječe. Visokokvalitetnog ljudski generiranog teksta je konačno.
Odgovor? Sintetički podaci. Modeli koji generiraju tekst kako bi trenirali druge modele. Zvuči pametno dok ne shvatiš da je to poput fotokopiranja fotokopija. Svaka generacija degradira. Pogreške se gomilaju. Pristranosti se pojačavaju.
Nature je 2024. objavio istraživanje koje pokazuje da modeli trenirani na rekurzivno generiranim podacima doživljavaju "model collapse". Studija je pokazala da neselektivno treniranje na sintetičkom sadržaju dovodi do pogoršanja performansi, smanjene raznolikosti i u konačnici AI modela koji proizvode sve generičnije rezultate.
Ne možeš skalirati beskonačno kada je tvoj izvor goriva konačan. A kvalitetni podaci, stvarno ljudsko znanje, doista su vrlo konačni.
Kolaps kvalitete
Drugi zid: više podataka ne znači bolje podatke.
Chinchilla rad iz 2022. otkrio je nešto ključno: optimalni model nije najveći model. To je onaj s najboljim omjerom parametara i tokena za treniranje. Za svako povećanje računalne snage od 4×, trebate povećanje veličine modela od 2× I povećanje kvalitete podataka od 2×.
Ali što se događa kada ste već iskoristili sve dobre podatke? Počnete prikupljati izvore niže kvalitete. Forume s dezinformacijama. Strojno preveden sadržaj. AI-generirani spam. Talog interneta.
Više podataka za treniranje. Lošije performanse. Jer "smeće unutra, smeće van" ne prestaje biti istinito samo zato što imate trilijun parametara.
Studija iz 2024. otkrila je da kvaliteta podataka znači više od količine za male jezične modele. Druga je otkrila da pažljivo odabrani skupovi podataka od milijun primjera nadmašuju nasumično prikupljene skupove od 100 milijuna primjera.
Odgovor industrije? Nastaviti skalirati svejedno. Baciti više računalne snage na problem. Nadati se da će gruba sila nadvladati loše podatke.
Neće.
Računalni strop
Treći zid: fizika računanja.
Treniranje modela s trilijun parametara zahtijeva nevjerojatne količine računalne snage. Govorimo o desecima tisuća GPU-ova koji rade mjesecima. Potrošnja energije koja se mjeri s malim zemljama. Infrastrukturni troškovi u stotinama milijuna.
I za što? Marginalna poboljšanja. Poboljšanja performansi koja jedva opravdavaju eksponencijalno povećanje troškova.
Jedna procjena sugerira da bi treniranje hipotetskog modela s 10 trilijuna parametara potrošilo više električne energije nego što neke europske nacije potroše godišnje. Za jedno treniranje. Koje će vjerojatno trebati ponoviti desetke puta prije nego što proradi.
Ekonomski povrati više ne opravdavaju računalne troškove. Zakoni skaliranja obećavali su linearna poboljšanja uz linearna ulaganja. Stvarnost donosi logaritamska poboljšanja uz eksponencijalna ulaganja.
To nije poslovni model. To je balon koji čeka da pukne.
Iluzija inteligencije
Ali evo dubljeg problema: čak i kad je skaliranje funkcioniralo, nije stvaralo inteligenciju. Stvaralo je statističko prepoznavanje uzoraka u golemim razmjerima.
Bilijun parametara ne misli. Ne rasuđuje. Ne razumije. Predviđa sljedeći token na temelju uzoraka u podacima za treniranje. To je bitno drugačija stvar od inteligencije.
Iluzija je uvjerljiva jer skaliranje može približiti razumijevanje. Nahranite model dovoljnim brojem primjera i on može prepoznavanjem uzoraka doći do naizgled inteligentnih odgovora. Ali to je oponašanje, ne razumijevanje.
Zato modeli ne uspijevaju na novim problemima. Zato ne mogu pouzdano provoditi višestupanjsko rasuđivanje. Zato haluciniraju samouvjereno netočne činjenice. Ne misle. Dohvaćaju i ponovno kombiniraju uzorke.
I nikakvo skaliranje to ne rješava. Dodavanje više parametara stroju za prepoznavanje uzoraka samo vam daje veći stroj za prepoznavanje uzoraka.
Europska zamka
Za Europu paradigma skaliranja stvara nemoguću situaciju.
Američki tehnološki divovi imaju računalnu snagu. Imaju podatke. Imaju infrastrukturu za treniranje modela s bilijun parametara. Europske tvrtke nemaju.
Pokušaj natjecanja u utrci skaliranja znači da će europska umjetna inteligencija uvijek sustizati. Uvijek jednu generaciju iza. Uvijek nadjačana u računalnoj snazi i nadmašena u prikupljanju podataka.
To je igra namještena od početka. Pravila idu u prilog onima s najviše resursa, ne onima s najboljim idejama.
A sada, kako se zakoni skaliranja ruše, europski zaostatak u toj utrci postaje nebitan. Jer sama utrka završava.
Pametnija alternativa
Dakle, koja je alternativa? Ako veće nije bolje, što jest?
Odgovor je elegancija. Učinkovitost. Matematička strogost.
U Dweveu nikad nismo povjerovali u iluziju skaliranja. Nismo pokušavali graditi veće modele. Gradili smo pametnije.
Binarne neuronske mreže sa 456 domenskih stručnjaka. Svaki domenski stručnjak usredotočen je na specifične vrste rasuđivanja. Rijetka aktivacija znači da se za svaki zadatak angažiraju samo relevantni domenski stručnjaci. Bez izgubljenog računanja. Bez nepotrebnih parametara.
Rezultat? Vrhunska izvedba s djelićem parametara. Bolje rasuđivanje s manje podataka. Sustavi koji se mogu implementirati bez infrastrukture veličine podatkovnog centra.
Loom 456 ne pokušava zapamtiti internet. Dizajniran je za rasuđivanje s ograničenjima, za promišljanje problema, za stvarno razumijevanje strukture.
To je inteligencija kroz arhitekturu, ne kroz gomilanje.
Kvaliteta umjesto kvantitete
Chinchilla rad je u jednoj stvari bio u pravu: omjer je važniji od sirovih brojeva.
Ali pravi uvid ide dublje: pažljivo dizajnirani modeli s odabranim režimima treniranja nadmašuju goleme modele s neselektivnim gomilanjem podataka.
Razmislite o ljudskom učenju. Ne postajete pametni čitajući sve. Postajete pametni čitajući prave stvari, pravim redoslijedom, uz pravo vodstvo. Kvaliteta učenja važnija je od količine informacija.
Umjetna inteligencija nije drugačija. Model treniran na dobro strukturiranim, pažljivo odabranim podacima nadmašit će model koji se utapa u nasumičnom internetskom tekstu. Čak i ako drugi model ima 100× više parametara.
Tu se Europa može natjecati. Ne gradeći veće, nego gradeći bolje. Ne prikupljajući više podataka, nego koristeći pametnije režime treniranja.
Dweve Core dokazuje ovaj princip. Naš okvir za binarne neuronske mreže postiže konkurentne rezultate s nekoliko redova veličine manje parametara od standardnih modela. Jer smo se usredotočili na matematičku eleganciju umjesto na grubo povećavanje resursa.
Prednost arhitekture
Evo što zagovornici skaliranja propuštaju: arhitektura je važnija od veličine.
Možete imati trilijun parametara glupo raspoređenih ili milijardu parametara inteligentno raspoređenih. Inteligentni raspored pobjeđuje svaki put.
Arhitekture Mixture of Experts (MoE) to dokazuju. Umjesto aktiviranja svih parametara za svaki zadatak, aktivira se samo relevantni podskup. Odjednom dobivate performanse trilijuna parametara uz troškove računanja milijarde parametara.
Binarne neuronske mreže idu korak dalje. Svaka je operacija matematički jednostavnija, ali je cjelokupna arhitektura sofisticiranija. Zaključivanje temeljeno na ograničenjima umjesto probabilističke aproksimacije. Diskretna logika umjesto nagađanja s pomičnim zarezom.
Rezultat su sustavi koji razmišljaju umjesto da dohvaćaju. Koji razumiju strukturu umjesto da pamte obrasce. Koji pouzdano rade umjesto da uvjerljivo haluciniraju.
To je budućnost do koje zakoni skaliranja ne mogu doprijeti: stvarna inteligencija, a ne samo veće oponašanje.
Onkraj iluzije
Era skaliranja završava. Ne dramatičnim kolapsom, već sporim uvidom da bacanje još računalne snage na problem više ne funkcionira.
Zidovi podataka. Kolaps kvalitete. Ograničenja računalne snage. Opadajući prinosi. To nisu privremeni zastoj. To su temeljna ograničenja paradigme skaliranja.
No za one koji nikada nisu povjerovali u iluziju, ovo nije kriza. To je prilika.
Prilika da se AI izgradi na stvarnim načelima inteligencije, a ne na statističkoj korelaciji. Da se stvore sustavi koji rade učinkovito, a ne rasipno. Da se razvije tehnologija koja je dostupna, a ne ona koja zahtijeva proračune od milijardu dolara.
Utrka za trilijun parametara oduvijek je bila slijepa ulica. Samo smo morali pričekati da svi ostali udare u zid kako bismo to dokazali.
Pravi napredak
Ironija je u ovome: pravi napredak u AI-ju neće biti veći model. Bit će to spoznaja da smo optimizirali pogrešnu stvar.
Ne više parametara. Bolja arhitektura.
Ne više podataka. Bolje učenje.
Ne više računalne snage. Pametnija matematika.
Binarne neuronske mreže predstavljaju taj pomak. Od gomilanja prema eleganciji. Od grube sile prema matematičkoj strogosti. Od čudovišta s trilijun parametara prema sustavima s milijardu parametara koji doista misle.
Dweveova platforma dokazuje da to funkcionira: Core kao okvir za binarne algoritme, Loom kao inteligentni model specijaliziran za 456 domena, Nexus kao okvir za inteligenciju s više agenata, Aura kao platforma za orkestraciju autonomnih agenata, Fabric kao jedinstvena nadzorna ploča i upravljačko središte, Mesh kao decentralizirani infrastrukturni sloj.
Sve izgrađeno na načelu da inteligencija proizlazi iz strukture, a ne iz veličine.
Izbor koji je pred nama
AI industrija suočava se s izborom. Nastaviti juriti iluziju skaliranja, bacati dobro novce za loše, nadajući se da će sljedeći red veličine nekako probiti zidove. Ili prihvatiti da paradigma ima ograničenja i prijeći na nešto bolje.
Podaci govore da je skaliranje gotovo. Fizika govori da su troškovi računalne snage neodrživi. Matematika govori da postoje pametniji pristupi.
Europa ne treba pobijediti u utrci skaliranja. Europa je treba učiniti zastarjelom. Izgraditi AI koji ne zahtijeva modele s trilijun parametara. Stvoriti sustave koji rade učinkovito umjesto rasipno. Razviti tehnologiju utemeljenu na razumijevanju, a ne na pamćenju.
Velika AI iluzija se raspada. Više podataka je neće spasiti. Veći modeli je neće spasiti. Više računalne snage je neće spasiti.
Što razbija iluziju? Spoznaja da inteligencija zapravo nikada nije bila o veličini.
Budućnost umjetne inteligencije nisu trilijuni parametara. To su pametne arhitekture, učinkovito računanje i matematička elegancija. To su sustavi dizajnirani za razumijevanje, a ne za pamćenje. Inteligencija kroz strukturu, a ne kroz gomilanje.
Paradigma skaliranja odradila je svoju svrhu. Pokazala nam je što gruba sila može postići. No sada smo dosegli njezine granice. Sljedeće poglavlje umjetne inteligencije zahtijeva drugačije razmišljanje: preciznost umjesto veličine, arhitekturu umjesto parametara, inteligenciju umjesto veličine.
Ta se budućnost gradi upravo sada. Istraživači koji se fokusiraju na učinkovitost. Inženjeri koji daju prednost objašnjivosti. Tvrtke koje razvijaju umjetnu inteligenciju koja radi bez potrebe za infrastrukturom podatkovnih centara. Europa ima priliku predvoditi ovu promjenu, ne pobjedom u utrci skaliranja, već čineći je nevažnom.
Velika AI iluzija se raspada. Više podataka je neće spasiti. Ono što dolazi bit će pametnije.
Dweve gradi umjetnu inteligenciju na mrežama binarnih ograničenja i arhitekturama mješavine domenskih stručnjaka. Loom koristi 456 domenskih stručnjaka za učinkovito zaključivanje. Razvoj u Nizozemskoj, u službi europskih organizacija. Budućnost umjetne inteligencije je elegantna, a ne samo velika.