Suur AI-illusioon: miks "rohkem andmeid" meid ei päästa
Triljoni parameetri pettekujutlus
AI valdkonnas toimub võidujooks. Mitte võidujooks paremate süsteemide loomiseks. Mitte võidujooks reaalsete probleemide lahendamiseks. Võidujooks suuremate numbrite ehitamiseks.
Sada miljardit parameetrit. Viissada miljardit. Triljon. Kümme triljonit. Iga teadaanne saabub hingetuks jätvate pressiteadete ja tõusvate aktsiahindade saatel. Iga mudelit turundatakse kui järgmist sammu tehisintellekti arengus.
Ainult et need ei ole arengusammud. Need on lihtsalt suuremad.
Ja kusagil selle tee peal veenis terve tööstus end, et suurem tähendab paremat. Et rohkem parameetreid tähendab rohkem intelligentsust. Et kui me lihtsalt jätkame skaleerimist, jätkame nullide lisamist, tarbime üha rohkem andmeid ja arvutusvõimsust, siis me lõpuks komistame üldise tehisintellekti otsa.
See on kaasaegse tehnoloogia suurim illusioon. Ja see hakkab murenema.
Skaleerimisseaduse evangeelium
In 2020 ontdekten onderzoekers wat zij "schaalwetten" noemden. Geef een neuraal netwerk meer parameters en meer data, en de prestaties verbeteren voorspelbaar. Verdubbel de parameters, halveer de foutmarge. Het was prachtig. Wiskundig. Herhaalbaar.
De schaalwetten werden evangelie. AI-onderzoek plannen? Gewoon opschalen. Betere prestaties willen? Meer parameters toevoegen. Moet je concurreren? Grotere modellen bouwen.
Elke groot laboratorium koos dezelfde strategie: grotere modellen, meer data, meer rekenkracht. GPT-3 had 175 miljard parameters. GPT-4 ging groter. Gemini ging verder. Modellen met een biljoen parameters werden aangekondigd. Tien biljoen werden besproken.
Loogika tundus kõikumatu: kui skaleerimine on seni toiminud, miks peaks see lakkama?
Ainult et see peatub. Just praegu.
Sein, mida keegi ei ennustanud
In late 2024 gebeurde er iets onverwachts. De volgende generatie vlaggenschipmodellen liet niet de verwachte verbeteringen zien.
Twee keer zoveel parameters. Drie keer zoveel trainingsdata. Tien keer zoveel rekenkracht. En de prestaties bewogen nauwelijks. In sommige gevallen werden ze slechter.
De schaalwetten, die jarenlang zo betrouwbaar waren gebleken, begonnen te haperen. Afnemende meeropbrengsten waren niet langer theoretisch. Ze waren er nu.
TechCrunch meldde in november 2024 dat AI-schaalwetten "afnemende meeropbrengsten laten zien, waardoor AI-labs gedwongen worden van koers te veranderen." DeepLearning.AI documenteerde hoe grote bedrijven erkenden dat "de volgende generatie spraakmakende modellen niet de verwachte verbeteringen heeft laten zien, ondanks grotere architecturen, meer trainingsdata en meer rekenkracht."
Tõendid on selged: skaleerimine põrkas vastu seina. Tegelikult mitme seina vastu.
De data muur
Eerste muur: we raken door kwalitatieve trainingsdata heen.
Grote taalmodellen consumeren het internet. Letterlijk. GPT-3 is getraind op honderden miljarden woorden die van websites, boeken, artikelen en forums zijn geschraapt. Elk redelijk toegankelijk stuk menselijke tekst online.
Kuid internetti on siiski piiratud hulk. 2022. aastal avaldatud uurimus ennustas, et kui praegused suundumused jätkuvad, ammendame kvaliteetsed tekstlandmed aastatel 2026–2032. Epoch AI analüüs leidis, et kuigi varasemad hinnangud viitasid ammendumisele 2024. aastaks, osutab täpsustatud metoodika nüüd, et see võib juhtuda 2028. aastaks.
Ühel või teisel moel tiksub kell. Kvaliteetne inimeste loodud tekst on piiratud.
Vastus? Sünteetilised andmed. Mudelid genereerivad teksti, et treenida teisi mudeleid. See kõlab nutikalt, kuni mõistad, et see on nagu koopiatest koopiate tegemine. Iga põlvkond halveneb. Vead kuhjuvad. Eelarvamused võimenduvad.
Nature avaldas 2024. aastal uurimuse, mis näitas, et mudelid, mida treenitakse rekursiivselt genereeritud andmetel, kogevad "mudeli kokkuvarisemist". Uuring näitas, et pimesi sünteetilise sisu peal treenimine viib halveneva jõudluse, vähenenud mitmekesisuse ja lõpuks AI-mudeliteni, mis toodavad üha üldisemaid väljundeid.
Sa ei saa lõputult skaleerida, kui su kütuseallikas on piiratud. Ja kvaliteetsed andmed, tõeline inimteadmus, on tõepoolest väga piiratud.
Kvaliteedi kokkuvarisemine
Teine sein: rohkem andmeid ei tähenda paremaid andmeid.
2022. aasta Chinchilla artikkel paljastas midagi olulist: optimaalne mudel ei ole kõige suurem mudel. See on mudel, millel on parim parameetrite ja treeningtokenite suhe. Iga 4× arvutusvõimsuse kasvu kohta vajad 2× suuremat mudelit JA 2× paremat andmekvaliteeti.
Aga mis juhtub siis, kui oled juba kogu hea andmestiku ära kasutanud? Hakkad kraapima madalama kvaliteediga allikaid. Foorumeid väärinfoga. Masintõlgitud sisu. AI-genereeritud rämpsu. Interneti põhja.
Rohkem treeningandmeid. Halvem jõudlus. Sest "prügi sisse, prügi välja" ei lakka olemast tõsi lihtsalt sellepärast, et sul on triljon parameetrit.
2024. aasta uuring leidis, et andmekvaliteet on väikeste keelemudelite puhul olulisem kui hulk. Teine leidis, et hoolikalt kureeritud andmekogumid 1 miljoni näitega ületavad juhuslikult kogutud andmekogumeid 100 miljoni näitega.
Tööstuse vastus? Skaleerida ikkagi edasi. Visata probleemi peale rohkem arvutusvõimsust. Loota, et toores jõud alistab halvad andmed.
Ei alista.
Arvutusvõimsuse lagi
Kolmas sein: arvutuse füüsika.
Triljoni parameetriga mudeli treenimine nõuab uskumatult palju arvutusvõimsust. Räägime kümnetest tuhandetest GPU-dest, mis töötavad kuid. Energiatarve, mis konkureerib väikeste riikide omaga. Infrastruktuuri kulud sadades miljonites.
Ja mille nimel? Marginaalsed paranemised. Jõudluse kasv, mis vaevu õigustab eksponentsiaalset kulude kasvu.
Üks hinnang viitab sellele, et hüpoteetilise 10 triljoni parameetriga mudeli treenimine tarbiks rohkem elektrit, kui mõni Euroopa riik aastas kasutab. Ühe treeningkorra jaoks. Mida tõenäoliselt tuleb korrata kümneid kordi, enne kui see töötab.
Majanduslik tasuvus ei õigusta enam arvutusvõimsuse kulusid. Skaalumisseadused lubasid lineaarseid paranemisi lineaarse investeeringu eest. Tegelikkus pakub logaritmilisi paranemisi eksponentsiaalse investeeringu eest.
See ei ole ärimudel. See on mull, mis ootab lõhkemist.
Intelligentsuse illusioon
Aga siin on sügavam probleem: isegi kui skaleerimine töötas, ei loonud see intelligentsust. See lõi tohutus mastaabis statistilist mustrituvastust.
Triljon parameetrit ei mõtle. Nad ei arutle. Nad ei mõista. Nad ennustavad järgmist tokenit treeningandmete mustrite põhjal. See on intelligentsusest põhimõtteliselt erinev asi.
Illusioon on veenev, sest mastaap suudab mõistmist ligikaudselt jäljendada. Sööda mudelile piisavalt näiteid ja see suudab mustrituvastuse teel jõuda pealtnäha intelligentsete vastusteni. Aga see on matkimine, mitte mõistmine.
Sellepärast mudelid uudsete probleemide puhul ebaõnnestuvad. Sellepärast nad ei suuda usaldusväärselt teha mitmeastmelist arutlust. Sellepärast nad hallutsineerivad enesekindlalt valesid fakte. Nad ei mõtle. Nad otsivad ja kombineerivad mustreid.
Ja ükski skaleerimine seda ei paranda. Mustrituvastajale parameetrite lisamine annab sulle lihtsalt suurema mustrituvastaja.
Euroopa lõks
Euroopa jaoks loob skaleerimisparadigma võimatu olukorra.
Ameerika tehnoloogiahiidudel on arvutusvõimsus. Neil on andmed. Neil on infrastruktuur triljoni parameetriga mudelite treenimiseks. Euroopa ettevõtetel seda pole.
Skaleerimisvõidujooksus konkureerimine tähendab, et Euroopa tehisintellekt mängib alati järelejõudmist. Alati ühe põlvkonna võrra maas. Alati alla jäämas arvutusvõimsuses ja üle trumbatud andmekogumise kuludes.
See on mäng, mis on algusest peale võltsitud. Reeglid soosivad neid, kellel on kõige rohkem ressursse, mitte neid, kellel on parimad ideed.
Ja nüüd, kui skaalumisseadused lagunevad, muutub Euroopa puudus selles võidujooksus ebaoluliseks. Sest võidujooks ise on lõppemas.
Targem alternatiiv
Mis siis on alternatiiv? Kui suurem ei ole parem, mis on?
Vastus on elegants. Tõhusus. Matemaatiline rangus.
Dweve'is me ei ostnud kunagi skaleerimise illusiooni. Me ei püüdnud ehitada suuremaid mudeleid. Me ehitasime targemaid.
Binaarsed närvivõrgud 528 valdkonnaspetsialistiga. Iga valdkonnaspetsialist keskendus kindlatele arutlustüüpidele. Hõre aktiveerimine tähendab, et iga ülesande jaoks lülituvad sisse ainult asjakohased valdkonnaspetsialistid. Ei mingit raisatud arvutust. Ei mingit tarbetut parameetrit.
Tulemus? Tipptasemel jõudlus murdosa parameetritega. Parem arutlus vähemate andmetega. Kasutuselevõetavad süsteemid, mis ei vaja andmekeskuse mastaabis infrastruktuuri.
Loom ei püüa internetti pähe õppida. See on loodud arutlema piirangutega, probleeme läbi mõtlema, struktuuri tegelikult mõistma.
See on intelligentsus arhitektuuri kaudu, mitte kuhjamise kaudu.
Kvaliteet üle kvantiteedi
Chinchilla paber sai ühe asja õigesti: suhe on olulisem kui toored numbrid.
Aga tõeline arusaam läheb sügavamale: hoolikalt kavandatud mudelid kureeritud treeningrežiimidega ületavad suuri mudeleid, mis upuvad valimatusse andmekogumisse.
Mõtle inimese õppimisele. Sa ei muutu targaks kõike lugedes. Sa muutud targaks lugedes õigeid asju, õiges järjekorras, õige juhendamisega. Õppimise kvaliteet on olulisem kui info hulk.
Tehisintellekt pole erinev. Hästi struktureeritud, hoolikalt kureeritud andmetel treenitud mudel ületab mudeli, mis upub juhuslikus internetitekstis. Isegi kui teisel mudelil on 100× rohkem parameetreid.
Siin saab Euroopa konkureerida. Mitte suuremat ehitades, vaid paremat ehitades. Mitte rohkem andmeid kraapides, vaid targemaid treeningrežiime kasutades.
Dweve Core demonstreerib seda põhimõtet. Meie binaarne närvivõrgu raamistik saavutab konkurentsivõimelise jõudluse, kasutades standardmudelitest mitu suurusjärku vähem parameetreid. Sest me keskendusime matemaatilisele elegantsile, mitte toorele jõule mastaabi suurendamisel.
Arhitektuuri eelis
Siin on see, millest mastaabi pooldajad mööda vaatavad: arhitektuur loeb rohkem kui suurus.
Sul võib olla triljon parameetrit rumalalt paigutatud või miljard parameetrit arukalt paigutatud. Arukas paigutus võidab alati.
Ekspertide segu (Mixture of Experts, MoE) arhitektuurid tõestavad seda. Selle asemel, et aktiveerida kõiki parameetreid iga ülesande jaoks, aktiveeritakse ainult asjakohane alamhulk. Järsku saad triljoni parameetri jõudluse miljardi parameetri arvutusmaksumusega.
Binaarsed närvivõrgud viivad selle veelgi kaugemale. Iga tehe on matemaatiliselt lihtsam, kuid üldine arhitektuur on keerukam. Piirangutel põhinev arutlus tõenäosusliku lähendamise asemel. Diskreetne loogika ujukomaarvude oletamise asemel.
Tulemuseks on süsteemid, mis arutlevad, mitte ei otsi mälust. Mis mõistavad struktuuri, mitte ei jäta mustreid pähe. Mis töötavad usaldusväärselt, mitte ei hallutsineeru veenvalt.
See on tulevik, milleni mastaabiseadused ei ulatu: tegelik intelligentsus, mitte lihtsalt suurem matkimine.
Illusioonist kaugemale
Skaleerimise ajastu lõpeb. Mitte dramaatilise kokkuvarisemisega, vaid aeglase mõistmisega, et rohkem arvutusvõimsust probleemi kallale visata enam ei toimi.
Andmete seinad. Kvaliteedi kokkuvarisemine. Arvutuse laed. Kahanev tulu. Need pole ajutised tagasilöögid. Need on skaleerimisparadigma põhimõttelised piirid.
Kuid neile, kes illusiooni kunagi ei uskunud, pole see kriis. See on võimalus.
Võimalus ehitada AI-d tegelikele intelligentsuse põhimõtetele, mitte statistilisele korrelatsioonile. Luua süsteeme, mis töötavad tõhusalt, mitte raiskavalt. Arendada tehnoloogiat, mis on kättesaadav, mitte ei nõua miljardite dollarite eelarveid.
Triljoniparameetriline võidujooks oli algusest peale ummiktee. Meil tuli lihtsalt oodata, kuni kõik teised seina jooksevad, et seda tõestada.
Tegelik edasiminek
Siin on iroonia: tegelik edasiminek AI-s ei ole suurem mudel. See on mõistmine, et oleme optimeerinud vale asja.
Mitte rohkem parameetreid. Parem arhitektuur.
Mitte rohkem andmeid. Parem õppimine.
Mitte rohkem arvutusvõimsust. Nutikam matemaatika.
Binaarsed närvivõrgud esindavad seda nihet. Akumulatsioonilt elegantsile. Toorelt jõult matemaatilisele rangusele. Triljoniparameetrilistelt koletistelt miljardiparameetrilistele süsteemidele, mis tegelikult mõtlevad.
Dweve platvorm tõestab, et see toimib: Core kui binaarne algoritmiraamistik, Loom kui 528-valdkonna spetsialistide intelligentsusmudel, Nexus kui multiagendi intelligentsusraamistik, Aura kui autonoomse agendi orkestreerimisplatvorm, Fabric kui ühtne juhtpaneel ja kontrollikeskus, Mesh kui detsentraliseeritud infrastruktuuri kiht.
Kõik on üles ehitatud põhimõttele, et intelligentsus tuleb struktuurist, mitte suurusest.
Ees ootav valik
AI-tööstus seisab valiku ees. Kas jätkata skaleerimisillusiooni tagaajamist, visates head raha halva järel, lootes, et järgmine suurusjärk murrab kuidagi läbi seinte. Või tunnistada, et paradigmal on piirid, ja liikuda millegi parema juurde.
Andmed ütlevad, et skaleerimine on läbi. Füüsika ütleb, et arvutuskulud on jätkusuutmatud. Matemaatika ütleb, et on olemas nutikamad lähenemised.
Euroopa ei pea skaleerimisvõidujooksu võitma. Euroopa peab selle vananema panema. Ehitada AI-d, mis ei nõua triljoniparameetrilisi mudeleid. Luua süsteeme, mis töötavad tõhusalt, mitte raiskavalt. Arendada tehnoloogiat, mis põhineb mõistmisel, mitte päheõppimisel.
Suur tehisintellekti illusioon on purunemas. Rohkem andmeid ei päästa seda. Suuremad mudelid ei päästa seda. Rohkem arvutusvõimsust ei päästa seda.
Mis illusiooni purustab? Mõistmine, et intelligentsus ei seisnenud kunagi suuruses.
Tehisintellekti tulevik ei ole triljonites parameetrites. See on nutikates arhitektuurides, tõhusas arvutuses ja matemaatilises elegantsis. See on süsteemides, mis on loodud mõistmiseks, mitte päheõppimiseks. Intelligentsus struktuuri kaudu, mitte kuhjamise kaudu.
Skaleerimise paradigma täitis oma eesmärgi. See näitas meile, mida toore jõud suudab saavutada. Kuid nüüd oleme jõudnud selle piirideni. Tehisintellekti järgmine peatükk nõuab teistsugust mõtlemist: täpsust mastaabi asemel, arhitektuuri parameetrite asemel, intelligentsust suuruse asemel.
Seda tulevikku ehitatakse just praegu. Teadlaste poolt, kes keskenduvad tõhususele. Inseneride poolt, kes seavad esikohale selgitatavuse. Ettevõtete poolt, kes arendavad tehisintellekti, mis töötab ilma andmekeskuse infrastruktuuri nõudmata. Euroopal on võimalus seda nihet juhtida, mitte skaleerimisvõidujooksu võites, vaid muutes selle ebaoluliseks.
Suur tehisintellekti illusioon on purunemas. Rohkem andmeid ei päästa seda. See, mis järgneb, on targem.
Dweve ehitab tehisintellekti binaarsete piirangute võrgustikele ja mitme valdkonna spetsialistide arhitektuuridele. Loom kasutab tõhusaks arutlemiseks 528 valdkonna spetsialisti. Arendus Hollandis, teenindades Euroopa organisatsioone. Tehisintellekti tulevik on elegantne, mitte ainult suur.