Suur AI-illusioon: miks "rohkem andmeid" meid ei päästa
Triljoni parameetri pettekujutlus
AI valdkonnas toimub võidujooks. Mitte võidujooks paremate süsteemide loomiseks. Mitte võidujooks reaalsete probleemide lahendamiseks. Võidujooks suuremate numbrite ehitamiseks.
Sada miljardit parameetrit. Viissada miljardit. Triljon. Kümme triljonit. Iga teadaanne saabub hingetuks jätvate pressiteadete ja tõusvate aktsiahindade saatel. Iga mudelit turundatakse kui järgmist sammu tehisintellekti arengus.
Ainult et need ei ole arengusammud. Need on lihtsalt suuremad.
Ja kusagil selle tee peal veenis terve tööstus end, et suurem tähendab paremat. Et rohkem parameetreid tähendab rohkem intelligentsust. Et kui me lihtsalt jätkame skaleerimist, jätkame nullide lisamist, tarbime üha rohkem andmeid ja arvutusvõimsust, siis me lõpuks komistame üldise tehisintellekti otsa.
See on kaasaegse tehnoloogia suurim illusioon. Ja see hakkab murenema.
The scaling law gospel
In 2020, researchers discovered what they called "scaling laws." Feed a neural network more parameters and more data, and its performance improves predictably. Double the parameters, halve the error rate. It was beautiful. Mathematical. Repeatable.
The scaling laws became gospel. Planning AI research? Just scale up. Want better performance? Add more parameters. Need to compete? Build bigger models.
Every major lab adopted the same strategy: bigger models, more data, more compute. GPT-3 had 175 billion parameters. GPT-4 went larger. Gemini pushed further. Models with a trillion parameters were announced. Ten trillion were discussed.
The logic seemed unassailable: if scaling has worked so far, why would it stop?
Except it is stopping. Right now.
The wall nobody predicted
In late 2024, something unexpected happened. The next generation of flagship models didn't show the expected improvements.
Twice the parameters. Triple the training data. Ten times the compute. And performance barely moved. In some cases, it got worse.
The scaling laws, which had held so reliably for years, were breaking down. Diminishing returns weren't theoretical anymore. They were here.
TechCrunch reported in November 2024 that AI scaling laws are "showing diminishing returns, forcing AI labs to change course." DeepLearning.AI documented how major companies acknowledged that "the next generation of high-profile models has not shown the expected improvements despite larger architectures, more training data, and more processing power."
The evidence is clear: scaling hit a wall. Multiple walls, actually.
The data wall
First wall: we're running out of quality training data.
Large language models consume the internet. Literally. GPT-3 was trained on hundreds of billions of words scraped from websites, books, articles, forums. Every reasonably accessible piece of human text online.
But there's only so much internet. Research published in 2022 predicted we'll exhaust high-quality text data between 2026 and 2032 if current trends continue. Epoch AI's analysis found that while earlier estimates suggested depletion by 2024, refined methodology now indicates this might happen by 2028.
Either way, the clock is ticking. High-quality human-generated text is finite.
Vastus? Sünteetilised andmed. Mudelid genereerivad teksti, et treenida teisi mudeleid. See kõlab nutikalt, kuni mõistad, et see on nagu koopiatest koopiate tegemine. Iga põlvkond halveneb. Vead kuhjuvad. Eelarvamused võimenduvad.
Nature avaldas 2024. aastal uurimuse, mis näitas, et mudelid, mida treenitakse rekursiivselt genereeritud andmetel, kogevad "mudeli kokkuvarisemist". Uuring näitas, et pimesi sünteetilise sisu peal treenimine viib halveneva jõudluse, vähenenud mitmekesisuse ja lõpuks AI-mudeliteni, mis toodavad üha üldisemaid väljundeid.
Sa ei saa lõputult skaleerida, kui su kütuseallikas on piiratud. Ja kvaliteetsed andmed, tõeline inimteadmus, on tõepoolest väga piiratud.
Kvaliteedi kokkuvarisemine
Teine sein: rohkem andmeid ei tähenda paremaid andmeid.
2022. aasta Chinchilla artikkel paljastas midagi olulist: optimaalne mudel ei ole kõige suurem mudel. See on mudel, millel on parim parameetrite ja treeningtokenite suhe. Iga 4× arvutusvõimsuse kasvu kohta vajad 2× suuremat mudelit JA 2× paremat andmekvaliteeti.
Aga mis juhtub siis, kui oled juba kogu hea andmestiku ära kasutanud? Hakkad kraapima madalama kvaliteediga allikaid. Foorumeid väärinfoga. Masintõlgitud sisu. AI-genereeritud rämpsu. Interneti põhja.
Rohkem treeningandmeid. Halvem jõudlus. Sest "prügi sisse, prügi välja" ei lakka olemast tõsi lihtsalt sellepärast, et sul on triljon parameetrit.
2024. aasta uuring leidis, et andmekvaliteet on väikeste keelemudelite puhul olulisem kui hulk. Teine leidis, et hoolikalt kureeritud andmekogumid 1 miljoni näitega ületavad juhuslikult kogutud andmekogumeid 100 miljoni näitega.
Tööstuse vastus? Skaleerida ikkagi edasi. Visata probleemi peale rohkem arvutusvõimsust. Loota, et toores jõud alistab halvad andmed.
Ei alista.
Arvutusvõimsuse lagi
Kolmas sein: arvutuse füüsika.
Triljoni parameetriga mudeli treenimine nõuab uskumatult palju arvutusvõimsust. Räägime kümnetest tuhandetest GPU-dest, mis töötavad kuid. Energiatarve, mis konkureerib väikeste riikide omaga. Infrastruktuuri kulud sadades miljonites.
Ja mille nimel? Marginaalsed paranemised. Jõudluse kasv, mis vaevu õigustab eksponentsiaalset kulude kasvu.
Üks hinnang viitab sellele, et hüpoteetilise 10 triljoni parameetriga mudeli treenimine tarbiks rohkem elektrit, kui mõni Euroopa riik aastas kasutab. Ühe treeningkorra jaoks. Mida tõenäoliselt tuleb korrata kümneid kordi, enne kui see töötab.
Majanduslik tasuvus ei õigusta enam arvutusvõimsuse kulusid. Skaalumisseadused lubasid lineaarseid paranemisi lineaarse investeeringu eest. Tegelikkus pakub logaritmilisi paranemisi eksponentsiaalse investeeringu eest.
See ei ole ärimudel. See on mull, mis ootab lõhkemist.
Intelligentsuse illusioon
Aga siin on sügavam probleem: isegi kui skaleerimine töötas, ei loonud see intelligentsust. See lõi tohutus mastaabis statistilist mustrituvastust.
Triljon parameetrit ei mõtle. Nad ei arutle. Nad ei mõista. Nad ennustavad järgmist tokenit treeningandmete mustrite põhjal. See on intelligentsusest põhimõtteliselt erinev asi.
Illusioon on veenev, sest mastaap suudab mõistmist ligikaudselt jäljendada. Sööda mudelile piisavalt näiteid ja see suudab mustrituvastuse teel jõuda pealtnäha intelligentsete vastusteni. Aga see on matkimine, mitte mõistmine.
Sellepärast mudelid uudsete probleemide puhul ebaõnnestuvad. Sellepärast nad ei suuda usaldusväärselt teha mitmeastmelist arutlust. Sellepärast nad hallutsineerivad enesekindlalt valesid fakte. Nad ei mõtle. Nad otsivad ja kombineerivad mustreid.
Ja ükski skaleerimine seda ei paranda. Mustrituvastajale parameetrite lisamine annab sulle lihtsalt suurema mustrituvastaja.
Euroopa lõks
Euroopa jaoks loob skaleerimisparadigma võimatu olukorra.
Ameerika tehnoloogiahiidudel on arvutusvõimsus. Neil on andmed. Neil on infrastruktuur triljoni parameetriga mudelite treenimiseks. Euroopa ettevõtetel seda pole.
Skaleerimisvõidujooksus konkureerimine tähendab, et Euroopa tehisintellekt mängib alati järelejõudmist. Alati ühe põlvkonna võrra maas. Alati alla jäämas arvutusvõimsuses ja üle trumbatud andmekogumise kuludes.
See on mäng, mis on algusest peale võltsitud. Reeglid soosivad neid, kellel on kõige rohkem ressursse, mitte neid, kellel on parimad ideed.
Ja nüüd, kui skaalumisseadused lagunevad, muutub Euroopa puudus selles võidujooksus ebaoluliseks. Sest võidujooks ise on lõppemas.
Targem alternatiiv
Mis siis on alternatiiv? Kui suurem ei ole parem, mis on?
Vastus on elegants. Tõhusus. Matemaatiline rangus.
Dweve'is me ei ostnud kunagi skaleerimise illusiooni. Me ei püüdnud ehitada suuremaid mudeleid. Me ehitasime targemaid.
Binaarsed närvivõrgud 456 valdkonnaspetsialistiga. Iga valdkonnaspetsialist keskendus kindlatele arutlustüüpidele. Hõre aktiveerimine tähendab, et iga ülesande jaoks lülituvad sisse ainult asjakohased valdkonnaspetsialistid. Ei mingit raisatud arvutust. Ei mingit tarbetut parameetrit.
Tulemus? Tipptasemel jõudlus murdosa parameetritega. Parem arutlus vähemate andmetega. Kasutuselevõetavad süsteemid, mis ei vaja andmekeskuse mastaabis infrastruktuuri.
Loom 456 ei püüa internetti pähe õppida. See on loodud arutlema piirangutega, probleeme läbi mõtlema, struktuuri tegelikult mõistma.
See on intelligentsus arhitektuuri kaudu, mitte kuhjamise kaudu.
Kvaliteet üle kvantiteedi
Chinchilla paber sai ühe asja õigesti: suhe on olulisem kui toored numbrid.
Aga tõeline arusaam läheb sügavamale: hoolikalt kavandatud mudelid kureeritud treeningrežiimidega ületavad suuri mudeleid, mis upuvad valimatusse andmekogumisse.
Mõtle inimese õppimisele. Sa ei muutu targaks kõike lugedes. Sa muutud targaks lugedes õigeid asju, õiges järjekorras, õige juhendamisega. Õppimise kvaliteet on olulisem kui info hulk.
Tehisintellekt pole erinev. Hästi struktureeritud, hoolikalt kureeritud andmetel treenitud mudel ületab mudeli, mis upub juhuslikus internetitekstis. Isegi kui teisel mudelil on 100× rohkem parameetreid.
Siin saab Euroopa konkureerida. Mitte suuremat ehitades, vaid paremat ehitades. Mitte rohkem andmeid kraapides, vaid targemaid treeningrežiime kasutades.
Dweve Core demonstreerib seda põhimõtet. Meie binaarne närvivõrgu raamistik saavutab konkurentsivõimelise jõudluse, kasutades standardmudelitest mitu suurusjärku vähem parameetreid. Sest me keskendusime matemaatilisele elegantsile, mitte toorele jõule mastaabi suurendamisel.
Arhitektuuri eelis
Siin on see, millest mastaabi pooldajad mööda vaatavad: arhitektuur loeb rohkem kui suurus.
Sul võib olla triljon parameetrit rumalalt paigutatud või miljard parameetrit arukalt paigutatud. Arukas paigutus võidab alati.
Ekspertide segu (Mixture of Experts, MoE) arhitektuurid tõestavad seda. Selle asemel, et aktiveerida kõiki parameetreid iga ülesande jaoks, aktiveeritakse ainult asjakohane alamhulk. Järsku saad triljoni parameetri jõudluse miljardi parameetri arvutusmaksumusega.
Binaarsed närvivõrgud viivad selle veelgi kaugemale. Iga tehe on matemaatiliselt lihtsam, kuid üldine arhitektuur on keerukam. Piirangutel põhinev arutlus tõenäosusliku lähendamise asemel. Diskreetne loogika ujukomaarvude oletamise asemel.
Tulemuseks on süsteemid, mis arutlevad, mitte ei otsi mälust. Mis mõistavad struktuuri, mitte ei jäta mustreid pähe. Mis töötavad usaldusväärselt, mitte ei hallutsineeru veenvalt.
See on tulevik, milleni mastaabiseadused ei ulatu: tegelik intelligentsus, mitte lihtsalt suurem matkimine.
Illusioonist kaugemale
Skaleerimise ajastu lõpeb. Mitte dramaatilise kokkuvarisemisega, vaid aeglase mõistmisega, et rohkem arvutusvõimsust probleemi kallale visata enam ei toimi.
Andmete seinad. Kvaliteedi kokkuvarisemine. Arvutuse laed. Kahanev tulu. Need pole ajutised tagasilöögid. Need on skaleerimisparadigma põhimõttelised piirid.
Kuid neile, kes illusiooni kunagi ei uskunud, pole see kriis. See on võimalus.
Võimalus ehitada AI-d tegelikele intelligentsuse põhimõtetele, mitte statistilisele korrelatsioonile. Luua süsteeme, mis töötavad tõhusalt, mitte raiskavalt. Arendada tehnoloogiat, mis on kättesaadav, mitte ei nõua miljardite dollarite eelarveid.
Triljoniparameetriline võidujooks oli algusest peale ummiktee. Meil tuli lihtsalt oodata, kuni kõik teised seina jooksevad, et seda tõestada.
Tegelik edasiminek
Siin on iroonia: tegelik edasiminek AI-s ei ole suurem mudel. See on mõistmine, et oleme optimeerinud vale asja.
Mitte rohkem parameetreid. Parem arhitektuur.
Mitte rohkem andmeid. Parem õppimine.
Mitte rohkem arvutusvõimsust. Nutikam matemaatika.
Binaarsed närvivõrgud esindavad seda nihet. Akumulatsioonilt elegantsile. Toorelt jõult matemaatilisele rangusele. Triljoniparameetrilistelt koletistelt miljardiparameetrilistele süsteemidele, mis tegelikult mõtlevad.
Dweve platvorm tõestab, et see toimib: Core kui binaarne algoritmiraamistik, Loom kui 456-valdkonna spetsialistide intelligentsusmudel, Nexus kui multiagendi intelligentsusraamistik, Aura kui autonoomse agendi orkestreerimisplatvorm, Fabric kui ühtne juhtpaneel ja kontrollikeskus, Mesh kui detsentraliseeritud infrastruktuuri kiht.
Kõik on üles ehitatud põhimõttele, et intelligentsus tuleb struktuurist, mitte suurusest.
Ees ootav valik
AI-tööstus seisab valiku ees. Kas jätkata skaleerimisillusiooni tagaajamist, visates head raha halva järel, lootes, et järgmine suurusjärk murrab kuidagi läbi seinte. Või tunnistada, et paradigmal on piirid, ja liikuda millegi parema juurde.
Andmed ütlevad, et skaleerimine on läbi. Füüsika ütleb, et arvutuskulud on jätkusuutmatud. Matemaatika ütleb, et on olemas nutikamad lähenemised.
Euroopa ei pea skaleerimisvõidujooksu võitma. Euroopa peab selle vananema panema. Ehitada AI-d, mis ei nõua triljoniparameetrilisi mudeleid. Luua süsteeme, mis töötavad tõhusalt, mitte raiskavalt. Arendada tehnoloogiat, mis põhineb mõistmisel, mitte päheõppimisel.
Suur tehisintellekti illusioon on purunemas. Rohkem andmeid ei päästa seda. Suuremad mudelid ei päästa seda. Rohkem arvutusvõimsust ei päästa seda.
Mis illusiooni purustab? Mõistmine, et intelligentsus ei seisnenud kunagi suuruses.
Tehisintellekti tulevik ei ole triljonites parameetrites. See on nutikates arhitektuurides, tõhusas arvutuses ja matemaatilises elegantsis. See on süsteemides, mis on loodud mõistmiseks, mitte päheõppimiseks. Intelligentsus struktuuri kaudu, mitte kuhjamise kaudu.
Skaleerimise paradigma täitis oma eesmärgi. See näitas meile, mida toore jõud suudab saavutada. Kuid nüüd oleme jõudnud selle piirideni. Tehisintellekti järgmine peatükk nõuab teistsugust mõtlemist: täpsust mastaabi asemel, arhitektuuri parameetrite asemel, intelligentsust suuruse asemel.
Seda tulevikku ehitatakse just praegu. Teadlaste poolt, kes keskenduvad tõhususele. Inseneride poolt, kes seavad esikohale selgitatavuse. Ettevõtete poolt, kes arendavad tehisintellekti, mis töötab ilma andmekeskuse infrastruktuuri nõudmata. Euroopal on võimalus seda nihet juhtida, mitte skaleerimisvõidujooksu võites, vaid muutes selle ebaoluliseks.
Suur tehisintellekti illusioon on purunemas. Rohkem andmeid ei päästa seda. See, mis järgneb, on targem.
Dweve ehitab tehisintellekti binaarsete piirangute võrgustikele ja mitme valdkonna spetsialistide arhitektuuridele. Loom kasutab tõhusaks arutlemiseks 456 valdkonna spetsialisti. Arendus Hollandis, teenindades Euroopa organisatsioone. Tehisintellekti tulevik on elegantne, mitte ainult suur.