Didžioji dirbtinio intelekto iliuzija: kodėl „daugiau duomenų“ mūsų neišgelbės
Biliardo parametrų iliuzija
Vyksta lenktynės dirbtinio intelekto srityje. Ne lenktynės kurti geresnes sistemas. Ne lenktynės spręsti realias problemas. Lenktynės dėl didesnių skaičių.
Šimtas milijardų parametrų. Penki šimtai milijardų. Biliardas. Dešimt biliardų. Kiekvienas pranešimas sutinkamas su užgniaužtos kvėpavimo spaudos pranešimais ir kylančiomis akcijų kainomis. Kiekvienas modelis reklamuojamas kaip kitas dirbtinio intelekto proveržis.
Tik jie nėra proveržiai. Jie tiesiog didesni.
Ir kažkur pakeliui visa pramonė įtikino save, kad didesnis reiškia geresnį. Kad daugiau parametrų reiškia daugiau intelekto. Kad jei tik ir toliau didinsime mastą, pridėti nulius, vartoti vis daugiau duomenų ir skaičiavimo galios, galiausiai atsitiktinai pasieksime bendrąjį dirbtinį intelektą.
Tai didžiausia šiuolaikinių technologijų iliuzija. Ir ji ima byrėti.
Skalavimo dėsnių evangelija
2020 m. mokslininkai atrado tai, ką pavadino „skalavimo dėsniais“. Duokite neuroniniam tinklui daugiau parametrų ir duomenų, ir jo veikimas pagerės nuspėjamai. Padvigubinkite parametrus, perpus sumažinkite klaidų dažnį. Tai buvo gražu. Matematiška. Pakartojama.
Skalavimo dėsniai tapo evangelija. Planuojate dirbtinio intelekto tyrimus? Tiesiog didinkite mastą. Norite geresnio veikimo? Pridėkite daugiau parametrų. Reikia konkuruoti? Kurkite didesnius modelius.
Kiekviena didžioji laboratorija pasirinko tą pačią strategiją: didesni modeliai, daugiau duomenų, daugiau skaičiavimo galios. GPT-3 turėjo 175 milijardus parametrų. GPT-4 buvo didesnis. Gemini nuėjo dar toliau. Buvo paskelbta apie modelius su trilijonu parametrų. Buvo svarstoma apie dešimt trilijonų.
Atrodė, kad ši logika nepalaužiama: jei skalavimas veikė iki šiol, kodėl jis turėtų sustoti?
Tačiau jis stoja. Dabar pat.
Siena, kurios niekas nenumatė
2024 m. pabaigoje įvyko kažkas netikėto. Naujos kartos flagmanų modeliai nepademonstravo lauktų patobulinimų.
Dvigubai daugiau parametrų. Trigubai daugiau mokymo duomenų. Dešimt kartų daugiau skaičiavimo galios. O veikimas vos pajudėjo. Kai kuriais atvejais jis pablogėjo.
Skalavimo dėsniai, kurie taip patikimai galiojo metų metus, ėmė irti. Mažėjanti grąža nebebuvo tik teorija. Ji atėjo.
„TechCrunch“ 2024 m. lapkritį pranešė, kad dirbtinio intelekto skalavimo dėsniai „rodo mažėjančią grąžą, todėl DI laboratorijos priverstos keisti kursą“. „DeepLearning.AI“ dokumentavo, kaip didžiosios įmonės pripažino, kad „naujos kartos aukšto profilio modeliai nepademonstravo lauktų patobulinimų nepaisant didesnių architektūrų, daugiau mokymo duomenų ir didesnės apdorojimo galios“.
Įrodymai aiškūs: skalavimas atsitrenkė į sieną. Tiesą sakant, į kelias sienas.
Duomenų siena
Pirmoji siena: mums baigiasi kokybiški mokymo duomenys.
Didieji kalbos modeliai suryja internetą. Pažodžiui. GPT-3 buvo mokomas iš šimtų milijardų žodžių, nukrapštytų iš svetainių, knygų, straipsnių, forumų. Iš kiekvieno pakankamai prieinamo žmogaus teksto internete.
Bet interneto yra tik tiek, kiek yra. 2022 m. paskelbti tyrimai prognozavo, kad kokybiško teksto duomenys bus išsemti tarp 2026 ir 2032 m., jei dabartinės tendencijos išliks. „Epoch AI“ analizė parodė, kad nors ankstesni vertinimai rodė išsemimą iki 2024 m., patobulinta metodika dabar rodo, kad tai gali įvykti iki 2028 m.
Kad ir kaip būtų, laikrodis tiksi. Aukštos kokybės žmogaus sukurto teksto yra baigtinis kiekis.
Atsakymas? Sintetiniai duomenys. Modeliai generuoja tekstą, kad apmokytų kitus modelius. Skamba protingai, kol nesupranti, kad tai tarsi kopijų kopijavimas. Kiekviena karta prastėja. Klaidos kaupiasi. Šališkumai stiprėja.
„Nature“ 2024 m. paskelbė tyrimą, įrodantį, kad modeliai, mokomi iš rekursyviai generuotų duomenų, patiria „modelio žlugimą“. Tyrimas parodė, kad beatodairiškas mokymas iš sintetinio turinio lemia prastėjantį našumą, mažesnę įvairovę ir galiausiai AI modelius, kurie generuoja vis labiau nuasmenintus rezultatus.
Negali mastytis be galo, kai tavo kuro šaltinis yra ribotas. O kokybiškų duomenų, tikrų žmogiškų žinių, iš tiesų yra labai nedaug.
Kokybės žlugimas
Antroji siena: daugiau duomenų nereiškia geresnių duomenų.
2022 m. „Chinchilla“ straipsnis atskleidė esminį dalyką: optimalus modelis nėra didžiausias modelis. Tai tas, kurio parametrų ir mokymo žetonų santykis geriausias. Kiekvienam 4× skaičiavimų padidėjimui reikia 2× didesnio modelio IR 2× geresnės duomenų kokybės.
Bet kas nutinka, kai jau išnaudojai visus gerus duomenis? Pradedi rinkti žemesnės kokybės šaltinius. Forumus su dezinformacija. Mašininio vertimo turinį. AI generuotą šlamštą. Interneto nuosėdas.
Daugiau mokymo duomenų. Prastesnis našumas. Nes „šiukšlės į vidų, šiukšlės į lauką“ nenustoja galioti vien todėl, kad turi trilijoną parametrų.
2024 m. tyrimas parodė, kad mažiems kalbos modeliams duomenų kokybė svarbesnė už kiekį. Kitas tyrimas nustatė, kad kruopščiai atrinkti 1 milijono pavyzdžių duomenų rinkiniai pranoksta atsitiktinai surinktus 100 milijonų pavyzdžių rinkinius.
Pramonės atsakymas? Vis tiek mastytis toliau. Mesti daugiau skaičiavimų į problemą. Tikėtis, kad brutali jėga įveiks prastus duomenis.
Neįveikia.
Skaičiavimų lubos
Trečioji siena: skaičiavimų fizika.
Trilijono parametrų modelio mokymas reikalauja neįtikėtino skaičiavimų kiekio. Kalbame apie dešimtis tūkstančių GPU, veikiančių mėnesius. Energijos suvartojimą, prilygstantį mažoms šalims. Infrastruktūros išlaidas, siekiančias šimtus milijonų.
Ir dėl ko? Riboto pagerėjimo. Našumo prieaugio, kuris vos pateisina eksponentinį išlaidų didėjimą.
Vienas vertinimas teigia, kad hipotetinio 10 trilijonų parametrų modelio mokymas sunaudotų daugiau elektros nei kai kurios Europos šalys per metus. Vienam mokymo ciklui. Kurį tikriausiai teks kartoti dešimtis kartų, kol pavyks.
Ekonominė grąža nebeatperka skaičiavimo kaštų. Skalės dėsniai žadėjo tiesinę pažangą už tiesines investicijas. Realybė teikia logaritminę pažangą už eksponentines investicijas.
Tai ne verslo modelis. Tai burbulas, kuriam lemta sprogti.
Intelekto iliuzija
Tačiau štai gilesnė problema: net ir tada, kai skalė veikė, ji nekūrė intelekto. Ji kūrė statistinį šablonų atpažinimą milžinišku mastu.
Trilijonas parametrų nemąsto. Jie neprotauja. Jie nesupranta. Jie nuspėja kitą ženklą pagal mokymo duomenų šablonus. Tai iš esmės kitoks dalykas nei intelektas.
Iliuzija įtikinama, nes mastas gali imituoti supratimą. Duokite modeliui pakankamai pavyzdžių, ir jis gali, atpažindamas šablonus, pateikti iš pažiūros protingus atsakymus. Tačiau tai mėgdžiojimas, o ne suvokimas.
Štai kodėl modeliai žlunga sprendžiant naujas problemas. Kodėl jie negali patikimai atlikti kelių žingsnių samprotavimų. Kodėl jie užtikrintai haliucinuoja neteisingus faktus. Jie nemąsto. Jie atgauna ir perkomponuoja šablonus.
Ir joks masto didinimas to neištaisys. Pridėjus daugiau parametrų šablonų atpažinimo įrenginiui, gausite tik didesnį šablonų atpažinimo įrenginį.
Europos spąstai
Europai skalės paradigma sukuria neįmanomą situaciją.
Amerikos technologijų milžinai turi skaičiavimo galią. Jie turi duomenis. Jie turi infrastruktūrą trilijono parametrų modeliams treniruoti. Europos įmonės jos neturi.
Bandymas konkuruoti skalės lenktynėse reiškia, kad Europos dirbtinis intelektas visada bus pasivijantis. Visada viena karta atsilikęs. Visada pralaimintis skaičiavimo galia ir išleidžiantis mažiau duomenų rinkimui.
Tai žaidimas, suklastotas nuo pat pradžių. Taisyklės palankios tiems, kurie turi daugiausiai išteklių, o ne tiems, kurie turi geriausias idėjas.
O dabar, skalės dėsniams žlungant, Europos nepalanki padėtis tose lenktynėse tampa nesvarbi. Nes pačios lenktynės baigiasi.
Protingesnė alternatyva
Taigi kokia yra alternatyva? Jei didesnis nėra geresnis, kas tada yra?
Atsakymas yra elegancija. Efektyvumas. Matematinis griežtumas.
„Dweve“ niekada netikėjome skalės iliuzija. Mes nebandėme kurti didesnių modelių. Mes kūrėme protingesnius.
Dvejetainiai neuroniniai tinklai su 456 srities specialistais. Kiekvienas srities specialistas orientuotas į konkrečias samprotavimo rūšis. Retas aktyvavimas reiškia, kad kiekvienai užduočiai įsijungia tik atitinkami srities specialistai. Jokio švaistomo skaičiavimo. Jokių nereikalingų parametrų.
Rezultatas? Geriausias našumas su trupmena parametrų. Geresnis samprotavimas su mažiau duomenų. Diegiamos sistemos, kurioms nereikia duomenų centro masto infrastruktūros.
„Loom 456“ nebando įsiminti interneto. Jis sukurtas samprotauti su apribojimais, mąstyti per problemas, iš tikrųjų suprasti struktūrą.
Tai intelektas per architektūrą, o ne per kaupimą.
Kokybė prieš kiekybę
Chinchilla straipsnis vieną dalyką įvertino teisingai: santykis svarbesnis už žalius skaičius.
Tačiau tikroji įžvalga yra gilesnė: kruopščiai sukurti modeliai su apgalvotais mokymo režimais pranoksta masyvius modelius su beatodairišku duomenų kaupimu.
Pagalvokite apie žmogaus mokymąsi. Jūs netampate protingi skaitydami viską. Jūs tampate protingi skaitydami tinkamus dalykus, tinkama tvarka, su tinkama pagalba. Mokymosi kokybė svarbesnė už informacijos kiekį.
DI nesiskiria. Modelis, treniruotas su gerai struktūruotais, kruopščiai atrinktais duomenimis, pranoks modelį, skęstantį atsitiktiniame interneto tekste. Net jei antrasis modelis turi 100× daugiau parametrų.
Štai kur Europa gali konkuruoti. Ne statydama didesnį, o statydama geriau. Ne semdama daugiau duomenų, o naudodama protingesnius mokymo režimus.
Dweve Core demonstrates this principle. Our binary neural network framework achieves competitive performance with orders of magnitude fewer parameters than standard models. Because we focused on mathematical elegance instead of brute force scaling.
The architecture advantage
Here's what the scaling crowd misses: architecture matters more than size.
You can have a trillion parameters arranged stupidly, or a billion parameters arranged intelligently. The intelligent arrangement wins every time.
Mixture of Experts (MoE) architectures prove this. Instead of activating all parameters for every task, activate only the relevant subset. Suddenly you get trillion-parameter performance with billion-parameter compute costs.
Binary neural networks take this further. Each operation is mathematically simpler, but the overall architecture is more sophisticated. Constraint-based reasoning instead of probabilistic approximation. Discrete logic instead of floating-point guesswork.
The result is systems that reason rather than retrieve. That understand structure rather than memorize patterns. That work reliably instead of hallucinating plausibly.
This is the future scaling laws can't reach: actual intelligence, not just bigger mimicry.
Anapus iliuzijos
Skalavimo era baigiasi. Ne dramatišku žlugimu, o lėtu supratimu, kad mesti daugiau skaičiavimo galios į problemą nebėra išeitis.
Duomenų sienos. Kokybės žlugimas. Skaičiavimo lubos. Mažėjanti grąža. Tai ne laikinos nesėkmės. Tai esminės skalavimo paradigmos ribos.
Bet tiems, kurie niekada netikėjo iliuzija, tai ne krizė. Tai galimybė.
Galimybė kurti dirbtinį intelektą, pagrįstą tikrais intelekto principais, o ne statistinėmis koreliacijomis. Sukurti sistemas, kurios veiktų efektyviai, o ne švaistytų išteklius. Plėtoti technologijas, kurios būtų prieinamos, o ne reikalautų milijardinių biudžetų.
Lenktynės dėl trilijono parametrų visada buvo aklavietė. Tiesiog reikėjo palaukti, kol visi kiti atsitrenks į sieną, kad tai įrodytume.
Tikroji pažanga
Štai ironija: tikroji dirbtinio intelekto pažanga nebus didesnis modelis. Tai bus supratimas, kad optimizavome ne tą dalyką.
Ne daugiau parametrų. Geresnė architektūra.
Ne daugiau duomenų. Geresnis mokymasis.
Ne daugiau skaičiavimo galios. Protingesnė matematika.
Dvejetainiai neuroniniai tinklai įkūnija šį pokytį. Nuo kaupimo prie elegancijos. Nuo brutaliaus jėgos prie matematinio griežtumo. Nuo trilijono parametrų monstrų prie milijardo parametrų sistemų, kurios iš tikrųjų mąsto.
Dweve platforma įrodo, kad tai veikia: Core kaip dvejetainių algoritmų sistema, Loom kaip 456 sričių specialistų intelekto modelis, Nexus kaip daugiaagentė intelekto sistema, Aura kaip autonominio agentų orkestravimo platforma, Fabric kaip vieninga valdymo skydelis ir valdymo centras, Mesh kaip decentralizuota infrastruktūros sluoksnis.
Visa tai paremta principu, kad intelektas kyla iš struktūros, o ne iš dydžio.
Laukiamas pasirinkimas
Dirbtinio intelekto pramonė susiduria su pasirinkimu. Tęsti skalavimo iliuzijos vaikymąsi, mesti gerus pinigus po blogų, tikintis, kad kita eilės tvarka kažkaip pralaužs sienas. Arba pripažinti, kad paradigma turi ribas, ir pereiti prie ko nors geresnio.
Duomenys rodo, kad skalavimas baigtas. Fizika rodo, kad skaičiavimo kaštai yra netvarūs. Matematika rodo, kad yra protingesnių būdų.
Europai nereikia laimėti skalavimo lenktynių. Europai reikia jas pasenti. Kurti dirbtinį intelektą, kuriam nereikia trilijono parametrų modelių. Sukurti sistemas, kurios veiktų efektyviai, o ne švaistytų išteklius. Plėtoti technologijas, pagrįstas supratimu, o ne įsiminimu.
The great AI illusion is breaking. More data won't save it. Bigger models won't save it. More compute won't save it.
What breaks the illusion? Recognizing that intelligence was never about size in the first place.
The future of AI isn't trillion parameters. It's smart architectures, efficient computation, and mathematical elegance. It's systems designed for understanding, not memorization. Intelligence through structure, not accumulation.
The scaling paradigm served its purpose. It showed us what brute force can achieve. But now we've hit its limits. The next chapter of AI requires different thinking: precision over scale, architecture over parameters, intelligence over size.
That future is being built now. By researchers focusing on efficiency. By engineers prioritizing explainability. By companies developing AI that works without requiring data centre infrastructure. Europe has an opportunity to lead this shift, not by winning the scaling race, but by making it irrelevant.
The great AI illusion is breaking. More data won't save it. What comes next will be smarter.
Dweve builds AI on binary constraint networks and mixture-of-domain-specialists architectures. Loom uses 456 domain specialists for efficient reasoning. Development in the Netherlands, serving European organizations. The future of AI is elegant, not just big.