Velika AI iluzija: zakaj nas "več podatkov" ne bo rešilo
Zabloda o trilijonu parametrov
V umetni inteligenci poteka tekma. Ne tekma za boljše sisteme. Ne tekma za reševanje resničnih problemov. Tekma za večje številke.
Sto milijard parametrov. Petsto milijard. Trilijon. Deset trilijonov. Vsako objavo spremljajo navdušena sporočila za javnost in rastoče cene delnic. Vsak model se trži kot naslednji napredek umetne inteligence.
Ampak to niso napredki. So samo večji.
In nekje na tej poti se je celotna industrija prepričala, da večje pomeni boljše. Da več parametrov pomeni več inteligence. Da bomo, če bomo samo še povečevali obseg, dodajali ničle in porabljali vedno več podatkov in računske moči, sčasoma naleteli na splošno umetno inteligenco.
To je največja iluzija sodobne tehnologije. In razpada.
Evangelij zakonov skaliranja
Leta 2020 so raziskovalci odkrili nekaj, kar so poimenovali "zakoni skaliranja." Če nevronsko mrežo nahranite z več parametri in več podatki, se njena zmogljivost predvidljivo izboljša. Podvojite parametre, prepolovite stopnjo napak. Bilo je lepo. Matematično. Ponovljivo.
Zakoni skaliranja so postali evangelij. Načrtujete raziskave umetne inteligence? Samo povečajte obseg. Želite boljšo zmogljivost? Dodajte več parametrov. Morate konkurirati? Zgradite večje modele.
Vsak večji laboratorij je sprejel isto strategijo: večji modeli, več podatkov, več računske moči. GPT-3 je imel 175 milijard parametrov. GPT-4 je šel še dlje. Gemini je potisnil še naprej. Napovedani so bili modeli s trilijonom parametrov. O desetih trilijonih se je razpravljalo.
Logika se je zdela neizpodbitna: če je skaliranje delovalo doslej, zakaj bi se ustavilo?
Ampak ustavlja se. Prav zdaj.
Stena, ki je nihče ni napovedal
Konec leta 2024 se je zgodilo nekaj nepričakovanega. Naslednja generacija vodilnih modelov ni pokazala pričakovanih izboljšav.
Dvakrat več parametrov. Trojni obseg učnih podatkov. Desetkrat več računske moči. In zmogljivost se je komaj premaknila. V nekaterih primerih je bila slabša.
Zakoni skaliranja, ki so tako zanesljivo držali leta, so se začeli rušiti. Padajoči donosi niso bili več teoretični. Bili so tukaj.
TechCrunch je novembra 2024 poročal, da zakoni skaliranja umetne inteligence "kažejo padajoče donose, kar sili laboratorije za umetno inteligenco k spremembi smeri." DeepLearning.AI je dokumentiral, kako so velika podjetja priznala, da "naslednja generacija odmevnih modelov ni pokazala pričakovanih izboljšav kljub večjim arhitekturam, več učnim podatkom in večji procesorski moči."
Dokazi so jasni: skaliranje je zadela stena. Pravzaprav več sten.
Podatkovna stena
Prva stena: zmanjkuje nam kakovostnih učnih podatkov.
Veliki jezikovni modeli požirajo internet. Dobesedno. GPT-3 je bil naučen na stotinah milijard besed, pridobljenih s spletnih strani, knjig, člankov, forumov. Na vsakem razumno dostopnem kosu človeškega besedila na spletu.
Ampak interneta je le toliko. Raziskava, objavljena leta 2022, je napovedala, da bomo kakovostna besedilna podatke izčrpali med letoma 2026 in 2032, če se bodo sedanji trendi nadaljevali. Analiza Epoch AI je pokazala, da čeprav so zgodnejše ocene napovedovale izčrpanje do leta 2024, izpopolnjena metodologija zdaj kaže, da bi se to lahko zgodilo do leta 2028.
Kakorkoli že, ura tiktaka. Kakovostno človeško ustvarjeno besedilo je končno.
Odgovor? Sintetični podatki. Modeli, ki ustvarjajo besedila za usposabljanje drugih modelov. Sliši se pametno, dokler ne ugotoviš, da je to kot fotokopiranje fotokopij. Vsaka generacija se poslabša. Napake se kopičijo. Pristranskosti se krepijo.
Nature je leta 2024 objavil raziskavo, ki dokazuje, da modeli, usposobljeni na rekurzivno ustvarjenih podatkih, doživijo "model collapse". Študija je pokazala, da neselektivno usposabljanje na sintetičnih vsebinah vodi v slabše delovanje, manjšo raznolikost in na koncu v modele umetne inteligence, ki ustvarjajo vse bolj generične rezultate.
Ne moreš se neskončno širiti, če je tvoj vir goriva omejen. In kakovostni podatki, resnično človeško znanje, so zelo omejeni.
Propad kakovosti
Druga stena: več podatkov ne pomeni boljših podatkov.
Članek Chinchilla iz leta 2022 je razkril nekaj ključnega: optimalni model ni največji model. Je tisti z najboljšim razmerjem med parametri in učnimi žetoni. Za vsako 4-kratno povečanje računske moči potrebuješ 2-kratno povečanje velikosti modela IN 2-kratno povečanje kakovosti podatkov.
A kaj se zgodi, ko si že porabil vse dobre podatke? Začneš zajemati manj kakovostne vire. Forume z dezinformacijami. Strojno prevedene vsebine. Spam, ki ga ustvarja umetna inteligenca. Dno interneta.
Več učnih podatkov. Slabše delovanje. Ker to, da smeti noter, smeti ven, ne preneha veljati samo zato, ker imaš trilijon parametrov.
Študija iz leta 2024 je ugotovila, da je kakovost podatkov pomembnejša od količine pri majhnih jezikovnih modelih. Druga je pokazala, da skrbno pripravljeni nabori podatkov z 1 milijonom primerov prekašajo naključno zbrane nabore s 100 milijoni primerov.
Odziv industrije? Vseeno nadaljuj s širitvijo. Vrzi več računske moči v problem. Upaš, da bo surova sila premagala slabe podatke.
Ne bo.
Zgornja meja računske moči
Tretja stena: fizika računanja.
Usposabljanje modela s trilijonom parametrov zahteva neverjetne količine računske moči. Govorimo o desettisočih grafičnih procesorjih, ki delujejo mesece. Poraba energije, ki se kosa z majhnimi državami. Stroški infrastrukture v stotinah milijonov.
In za kaj? Za minimalne izboljšave. Povečanja zmogljivosti, ki komaj upravičijo eksponentno rast stroškov.
Ena ocena pravi, da bi usposabljanje hipotetičnega modela z 10 trilijoni parametrov porabilo več elektrike, kot je letno porabijo nekatere evropske države. Za eno samo usposabljanje. Ki ga bo verjetno treba ponoviti na desetine krat, preden bo delovalo.
Ekonomski donosi ne upravičujejo več stroškov računanja. Zakoni skaliranja so obljubljali linearne izboljšave z linearnimi naložbami. Realnost prinaša logaritemske izboljšave z eksponentnimi naložbami.
To ni poslovni model. To je mehurček, ki čaka, da poči.
Iluzija inteligence
Toda tu je globlji problem: tudi ko je skaliranje delovalo, ni ustvarjalo inteligence. Ustvarjalo je statistično prepoznavanje vzorcev v ogromnem obsegu.
Bilijon parametrov ne misli. Ne razmišlja. Ne razume. Napoveduje naslednji žeton na podlagi vzorcev v učnih podatkih. To je povsem druga stvar kot inteligenca.
Iluzija je prepričljiva, ker lahko obseg približa razumevanje. Nahranite model z dovolj primeri in lahko s prepoznavanjem vzorcev pride do navidez inteligentnih odgovorov. Toda to je posnemanje, ne razumevanje.
Zato modeli odpovedujejo pri novih problemih. Zato ne morejo zanesljivo izvajati večstopenjskega sklepanja. Zato samozavestno halucinirajo napačna dejstva. Ne mislijo. Pridobivajo in ponovno sestavljajo vzorce.
In nobena količina skaliranja tega ne popravi. Dodajanje več parametrov prepoznavalcu vzorcev vam da le večjega prepoznavalca vzorcev.
Evropska past
Za Evropo paradigma skaliranja ustvarja nemogoč položaj.
Ameriški tehnološki velikani imajo računsko moč. Imajo podatke. Imajo infrastrukturo za usposabljanje modelov z bilijoni parametrov. Evropska podjetja je nimajo.
Poskus tekmovanja v tekmi skaliranja pomeni, da bo evropska umetna inteligenca vedno lovila zaostanek. Vedno eno generacijo zadaj. Vedno prešibka pri računski moči in preveč zapravljiva pri zbiranju podatkov.
To je igra, prirejena od začetka. Pravila dajejo prednost tistim z največ viri, ne tistim z najboljšimi idejami.
In zdaj, ko se zakoni skaliranja rušijo, postane evropska slabost v tej tekmi nepomembna. Ker se tekma sama končuje.
Pametnejša alternativa
Kaj je torej alternativa? Če večje ni boljše, kaj je?
Odgovor je eleganca. Učinkovitost. Matematična strogost.
Pri Dweve se nikoli nismo ujeli v iluzijo skaliranja. Nismo poskušali zgraditi večjih modelov. Zgradili smo pametnejše.
Binarne nevronske mreže s 456 domenskimi specialisti. Vsak domenski specialist je osredotočen na posebne vrste sklepanja. Redka aktivacija pomeni, da se za vsako nalogo vključijo le ustrezni domenski specialisti. Brez zapravljenega računanja. Brez nepotrebnih parametrov.
Rezultat? Vrhunska zmogljivost z delčkom parametrov. Boljše sklepanje z manj podatki. Sistemi, ki jih je mogoče uvesti brez infrastrukture v obsegu podatkovnega centra.
Loom 456 ne poskuša zapomniti interneta. Zasnovan je za sklepanje z omejitvami, za premišljeno reševanje problemov, za dejansko razumevanje strukture.
To je inteligenca skozi arhitekturo, ne skozi kopičenje.
Kakovost pred količino
Članek o Chinchilli je imel eno stvar prav: razmerje je pomembnejše od golih številk.
Toda pravi vpogled sega globlje: skrbno zasnovani modeli s skrbno oblikovanimi režimi usposabljanja prekašajo velikanske modele z brezglavim kopičenjem podatkov.
Pomislite na človeško učenje. Ne postanete pametni s tem, da preberete vse. Postanete pametni s tem, da preberete prave stvari, v pravem vrstnem redu, s pravim vodstvom. Kakovost učenja je pomembnejša od količine informacij.
Umetna inteligenca ni nič drugačna. Model, usposobljen na dobro strukturiranih, skrbno izbranih podatkih, bo prekašal model, ki se utaplja v naključnem internetnem besedilu. Tudi če ima drugi model 100× več parametrov.
Tu lahko Evropa tekmuje. Ne z gradnjo večjega, ampak z gradnjo boljšega. Ne s strganjem več podatkov, ampak z uporabo pametnejših režimov usposabljanja.
Načelo Dweve Core to dokazuje. Naš ogrodje binarne nevronske mreže dosega konkurenčno zmogljivost z za več velikostnih redov manj parametri kot standardni modeli. Ker smo se osredotočili na matematično eleganco namesto na silovito povečevanje obsega.
Prednost arhitekture
Kar zagovorniki povečevanja obsega spregledajo: arhitektura je pomembnejša od velikosti.
Lahko imate trilijon parametrov, razporejenih neumno, ali milijardo parametrov, razporejenih inteligentno. Inteligentna razporeditev zmaga vsakič.
Arhitekture mešanice strokovnjakov (MoE) to dokazujejo. Namesto da bi za vsako nalogo aktivirali vse parametre, aktivirate le ustrezen podniz. Nenadoma dobite zmogljivost trilijona parametrov s stroški računanja milijarde parametrov.
Binarne nevronske mreže gredo še dlje. Vsaka operacija je matematično preprostejša, a celotna arhitektura je bolj prefinjena. Skllepanje na podlagi omejitev namesto verjetnostnega približevanja. Diskretna logika namesto ugibanja s plavajočo vejico.
Rezultat so sistemi, ki sklepajo namesto da priklicujejo. Ki razumejo strukturo namesto da si zapomnijo vzorce. Ki delujejo zanesljivo namesto da verjetno halucinirajo.
To je prihodnost, ki je zakoni povečevanja obsega ne morejo doseči: prava inteligenca, ne le večje posnemanje.
Onkraj iluzije
Obdobje skaliranja se končuje. Ne z dramatičnim zlomom, temveč s počasnim spoznanjem, da metanje vedno več računske moči v problem ne deluje več.
Podatkovni zidovi. Sesutje kakovosti. Računski stropovi. Padajoči donosi. To niso začasne težave. To so temeljne meje paradigme skaliranja.
Toda za tiste, ki v iluzijo nikoli niso verjeli, to ni kriza. To je priložnost.
Priložnost, da zgradimo umetno inteligenco na načelih dejanske inteligence in ne na statistični korelaciji. Da ustvarimo sisteme, ki delujejo učinkovito in ne potratno. Da razvijemo tehnologijo, ki je dostopna in ne zahteva milijardnih proračunov.
Dirka za trilijon parametrov je bila vedno slepa ulica. Le počakati smo morali, da so vsi ostali zadeli ob zid, da se je to dokazalo.
Pravi napredek
Ironija je v tem: pravi napredek umetne inteligence ne bo večji model. Bo spoznanje, da smo optimizirali za napačno stvar.
Ne več parametrov. Boljša arhitektura.
Ne več podatkov. Boljše učenje.
Ne več računske moči. Pametnejša matematika.
Binarne nevronske mreže predstavljajo ta premik. Od kopičenja k eleganci. Od surove sile k matematični strogosti. Od pošasti s trilijon parametrov k sistemom z milijardo parametrov, ki dejansko razmišljajo.
Platforma Dweve dokazuje, da deluje: Core kot ogrodje za binarne algoritme, Loom kot inteligentni model s 456 specializiranimi področji, Nexus kot ogrodje za inteligenco več agentov, Aura kot platforma za orkestracijo avtonomnih agentov, Fabric kot poenotena nadzorna plošča in center vodenja, Mesh kot decentralizirana infrastrukturna plast.
Vse temelji na načelu, da inteligenca izvira iz strukture, ne iz velikosti.
Odločitev pred nami
Industrija umetne inteligence je pred odločitvijo. Nadaljevati zasledovanje iluzije skaliranja, metati dober denar za slabim, upati, da bo naslednji red velikosti nekako prebil zidove. Ali pa sprejeti, da ima paradigma meje, in preiti na nekaj boljšega.
Podatki pravijo, da je skaliranje končano. Fizika pravi, da so računski stroški nevzdržni. Matematika pravi, da obstajajo pametnejši pristopi.
Evropi ni treba zmagati v dirki skaliranja. Evropa jo mora narediti zastarelo. Zgraditi umetno inteligenco, ki ne zahteva modelov s trilijon parametrov. Ustvariti sisteme, ki delujejo učinkovito in ne potratno. Razviti tehnologijo, ki temelji na razumevanju, ne na pomnjenju.
Velika iluzija umetne inteligence se ruši. Več podatkov je ne bo rešilo. Večji modeli je ne bodo rešili. Več računske moči je ne bo rešilo.
Kaj ruši iluzijo? Spoznanje, da inteligenca nikoli ni bila odvisna od velikosti.
Prihodnost umetne inteligence niso bilijoni parametrov. So pametne arhitekture, učinkovito računanje in matematična eleganca. Sistemi, zasnovani za razumevanje, ne za pomnjenje. Inteligenca skozi strukturo, ne skozi kopičenje.
Paradigma povečevanja je služila svojemu namenu. Pokazala nam je, kaj zmore surova sila. A zdaj smo dosegli njene meje. Naslednje poglavje umetne inteligence zahteva drugačno razmišljanje: natančnost namesto obsega, arhitektura namesto parametrov, inteligenca namesto velikosti.
Ta prihodnost se gradi zdaj. Raziskovalci se osredotočajo na učinkovitost. Inženirji dajejo prednost razložljivosti. Podjetja razvijajo umetno inteligenco, ki ne potrebuje infrastrukture podatkovnih centrov. Evropa ima priložnost voditi ta premik, ne z zmago v tekmi povečevanja, temveč s tem, da jo naredi nepomembno.
Velika iluzija umetne inteligence se ruši. Več podatkov je ne bo rešilo. Kar prihaja, bo pametnejše.
Dweve gradi umetno inteligenco na binarnih omejitvenih omrežjih in arhitekturah s specialisti za posamezna področja. Loom uporablja 456 področnih specialistov za učinkovito sklepanje. Razvoj na Nizozemskem, namenjen evropskim organizacijam. Prihodnost umetne inteligence je elegantna, ne le velika.