Didžioji dirbtinio intelekto iliuzija: kodėl „daugiau duomenų“ mūsų neišgelbės
Biliardo parametrų iliuzija
Vyksta lenktynės dirbtinio intelekto srityje. Ne lenktynės kurti geresnes sistemas. Ne lenktynės spręsti realias problemas. Lenktynės dėl didesnių skaičių.
Šimtas milijardų parametrų. Penki šimtai milijardų. Biliardas. Dešimt biliardų. Kiekvienas pranešimas sutinkamas su užgniaužtos kvėpavimo spaudos pranešimais ir kylančiomis akcijų kainomis. Kiekvienas modelis reklamuojamas kaip kitas dirbtinio intelekto proveržis.
Tik jie nėra proveržiai. Jie tiesiog didesni.
Ir kažkur pakeliui visa pramonė įtikino save, kad didesnis reiškia geresnį. Kad daugiau parametrų reiškia daugiau intelekto. Kad jei tik ir toliau didinsime mastą, pridėti nulius, vartoti vis daugiau duomenų ir skaičiavimo galios, galiausiai atsitiktinai pasieksime bendrąjį dirbtinį intelektą.
Tai didžiausia šiuolaikinių technologijų iliuzija. Ir ji ima byrėti.
Skalavimo dėsnių evangelija
2020 m. mokslininkai atrado tai, ką pavadino „skalavimo dėsniais“. Duokite neuroniniam tinklui daugiau parametrų ir duomenų, ir jo veikimas pagerės nuspėjamai. Padvigubinkite parametrus, perpus sumažinkite klaidų dažnį. Tai buvo gražu. Matematiška. Pakartojama.
Skalavimo dėsniai tapo evangelija. Planuojate dirbtinio intelekto tyrimus? Tiesiog didinkite mastą. Norite geresnio veikimo? Pridėkite daugiau parametrų. Reikia konkuruoti? Kurkite didesnius modelius.
Kiekviena didžioji laboratorija pasirinko tą pačią strategiją: didesni modeliai, daugiau duomenų, daugiau skaičiavimo galios. GPT-3 turėjo 175 milijardus parametrų. GPT-4 buvo didesnis. Gemini nuėjo dar toliau. Buvo paskelbta apie modelius su trilijonu parametrų. Buvo svarstoma apie dešimt trilijonų.
Atrodė, kad ši logika nepalaužiama: jei skalavimas veikė iki šiol, kodėl jis turėtų sustoti?
Tačiau jis stoja. Dabar pat.
Siena, kurios niekas nenumatė
2024 m. pabaigoje įvyko kažkas netikėto. Naujos kartos flagmanų modeliai nepademonstravo lauktų patobulinimų.
Dvigubai daugiau parametrų. Trigubai daugiau mokymo duomenų. Dešimt kartų daugiau skaičiavimo galios. O veikimas vos pajudėjo. Kai kuriais atvejais jis pablogėjo.
Skalavimo dėsniai, kurie taip patikimai galiojo metų metus, ėmė irti. Mažėjanti grąža nebebuvo tik teorija. Ji atėjo.
„TechCrunch“ 2024 m. lapkritį pranešė, kad dirbtinio intelekto skalavimo dėsniai „rodo mažėjančią grąžą, todėl DI laboratorijos priverstos keisti kursą“. „DeepLearning.AI“ dokumentavo, kaip didžiosios įmonės pripažino, kad „naujos kartos aukšto profilio modeliai nepademonstravo lauktų patobulinimų nepaisant didesnių architektūrų, daugiau mokymo duomenų ir didesnės apdorojimo galios“.
Įrodymai aiškūs: skalavimas atsitrenkė į sieną. Tiesą sakant, į kelias sienas.
Duomenų siena
Pirmoji siena: mums baigiasi kokybiški mokymo duomenys.
Didieji kalbos modeliai suryja internetą. Pažodžiui. GPT-3 buvo mokomas iš šimtų milijardų žodžių, nukrapštytų iš svetainių, knygų, straipsnių, forumų. Iš kiekvieno pakankamai prieinamo žmogaus teksto internete.
Bet interneto yra tik tiek, kiek yra. 2022 m. paskelbti tyrimai prognozavo, kad kokybiško teksto duomenys bus išsemti tarp 2026 ir 2032 m., jei dabartinės tendencijos išliks. „Epoch AI“ analizė parodė, kad nors ankstesni vertinimai rodė išsemimą iki 2024 m., patobulinta metodika dabar rodo, kad tai gali įvykti iki 2028 m.
Kad ir kaip būtų, laikrodis tiksi. Aukštos kokybės žmogaus sukurto teksto yra baigtinis kiekis.
Atsakymas? Sintetiniai duomenys. Modeliai generuoja tekstą, kad apmokytų kitus modelius. Skamba protingai, kol nesupranti, kad tai tarsi kopijų kopijavimas. Kiekviena karta prastėja. Klaidos kaupiasi. Šališkumai stiprėja.
„Nature“ 2024 m. paskelbė tyrimą, įrodantį, kad modeliai, mokomi iš rekursyviai generuotų duomenų, patiria „modelio žlugimą“. Tyrimas parodė, kad beatodairiškas mokymas iš sintetinio turinio lemia prastėjantį našumą, mažesnę įvairovę ir galiausiai AI modelius, kurie generuoja vis labiau nuasmenintus rezultatus.
Negali mastytis be galo, kai tavo kuro šaltinis yra ribotas. O kokybiškų duomenų, tikrų žmogiškų žinių, iš tiesų yra labai nedaug.
Kokybės žlugimas
Antroji siena: daugiau duomenų nereiškia geresnių duomenų.
2022 m. „Chinchilla“ straipsnis atskleidė esminį dalyką: optimalus modelis nėra didžiausias modelis. Tai tas, kurio parametrų ir mokymo žetonų santykis geriausias. Kiekvienam 4× skaičiavimų padidėjimui reikia 2× didesnio modelio IR 2× geresnės duomenų kokybės.
Bet kas nutinka, kai jau išnaudojai visus gerus duomenis? Pradedi rinkti žemesnės kokybės šaltinius. Forumus su dezinformacija. Mašininio vertimo turinį. AI generuotą šlamštą. Interneto nuosėdas.
Daugiau mokymo duomenų. Prastesnis našumas. Nes „šiukšlės į vidų, šiukšlės į lauką“ nenustoja galioti vien todėl, kad turi trilijoną parametrų.
2024 m. tyrimas parodė, kad mažiems kalbos modeliams duomenų kokybė svarbesnė už kiekį. Kitas tyrimas nustatė, kad kruopščiai atrinkti 1 milijono pavyzdžių duomenų rinkiniai pranoksta atsitiktinai surinktus 100 milijonų pavyzdžių rinkinius.
Pramonės atsakymas? Vis tiek mastytis toliau. Mesti daugiau skaičiavimų į problemą. Tikėtis, kad brutali jėga įveiks prastus duomenis.
Neįveikia.
Skaičiavimų lubos
Trečioji siena: skaičiavimų fizika.
Trilijono parametrų modelio mokymas reikalauja neįtikėtino skaičiavimų kiekio. Kalbame apie dešimtis tūkstančių GPU, veikiančių mėnesius. Energijos suvartojimą, prilygstantį mažoms šalims. Infrastruktūros išlaidas, siekiančias šimtus milijonų.
Ir dėl ko? Riboto pagerėjimo. Našumo prieaugio, kuris vos pateisina eksponentinį išlaidų didėjimą.
Vienas vertinimas teigia, kad hipotetinio 10 trilijonų parametrų modelio mokymas sunaudotų daugiau elektros nei kai kurios Europos šalys per metus. Vienam mokymo ciklui. Kurį tikriausiai teks kartoti dešimtis kartų, kol pavyks.
Ekonominė grąža nebeatperka skaičiavimo kaštų. Skalės dėsniai žadėjo tiesinę pažangą už tiesines investicijas. Realybė teikia logaritminę pažangą už eksponentines investicijas.
Tai ne verslo modelis. Tai burbulas, kuriam lemta sprogti.
Intelekto iliuzija
Tačiau štai gilesnė problema: net ir tada, kai skalė veikė, ji nekūrė intelekto. Ji kūrė statistinį šablonų atpažinimą milžinišku mastu.
Trilijonas parametrų nemąsto. Jie neprotauja. Jie nesupranta. Jie nuspėja kitą ženklą pagal mokymo duomenų šablonus. Tai iš esmės kitoks dalykas nei intelektas.
Iliuzija įtikinama, nes mastas gali imituoti supratimą. Duokite modeliui pakankamai pavyzdžių, ir jis gali, atpažindamas šablonus, pateikti iš pažiūros protingus atsakymus. Tačiau tai mėgdžiojimas, o ne suvokimas.
Štai kodėl modeliai žlunga sprendžiant naujas problemas. Kodėl jie negali patikimai atlikti kelių žingsnių samprotavimų. Kodėl jie užtikrintai haliucinuoja neteisingus faktus. Jie nemąsto. Jie atgauna ir perkomponuoja šablonus.
Ir joks masto didinimas to neištaisys. Pridėjus daugiau parametrų šablonų atpažinimo įrenginiui, gausite tik didesnį šablonų atpažinimo įrenginį.
Europos spąstai
Europai skalės paradigma sukuria neįmanomą situaciją.
Amerikos technologijų milžinai turi skaičiavimo galią. Jie turi duomenis. Jie turi infrastruktūrą trilijono parametrų modeliams treniruoti. Europos įmonės jos neturi.
Bandymas konkuruoti skalės lenktynėse reiškia, kad Europos dirbtinis intelektas visada bus pasivijantis. Visada viena karta atsilikęs. Visada pralaimintis skaičiavimo galia ir išleidžiantis mažiau duomenų rinkimui.
Tai žaidimas, suklastotas nuo pat pradžių. Taisyklės palankios tiems, kurie turi daugiausiai išteklių, o ne tiems, kurie turi geriausias idėjas.
O dabar, skalės dėsniams žlungant, Europos nepalanki padėtis tose lenktynėse tampa nesvarbi. Nes pačios lenktynės baigiasi.
Protingesnė alternatyva
Taigi kokia yra alternatyva? Jei didesnis nėra geresnis, kas tada yra?
Atsakymas yra elegancija. Efektyvumas. Matematinis griežtumas.
„Dweve“ niekada netikėjome skalės iliuzija. Mes nebandėme kurti didesnių modelių. Mes kūrėme protingesnius.
Dvejetainiai neuroniniai tinklai su 528 srities specialistais. Kiekvienas srities specialistas orientuotas į konkrečias samprotavimo rūšis. Retas aktyvavimas reiškia, kad kiekvienai užduočiai įsijungia tik atitinkami srities specialistai. Jokio švaistomo skaičiavimo. Jokių nereikalingų parametrų.
Rezultatas? Geriausias našumas su trupmena parametrų. Geresnis samprotavimas su mažiau duomenų. Diegiamos sistemos, kurioms nereikia duomenų centro masto infrastruktūros.
„Loom“ nebando įsiminti interneto. Jis sukurtas samprotauti su apribojimais, mąstyti per problemas, iš tikrųjų suprasti struktūrą.
Tai intelektas per architektūrą, o ne per kaupimą.
Kokybė prieš kiekybę
Chinchilla straipsnis vieną dalyką įvertino teisingai: santykis svarbesnis už žalius skaičius.
Tačiau tikroji įžvalga yra gilesnė: kruopščiai sukurti modeliai su apgalvotais mokymo režimais pranoksta masyvius modelius su beatodairišku duomenų kaupimu.
Pagalvokite apie žmogaus mokymąsi. Jūs netampate protingi skaitydami viską. Jūs tampate protingi skaitydami tinkamus dalykus, tinkama tvarka, su tinkama pagalba. Mokymosi kokybė svarbesnė už informacijos kiekį.
DI nesiskiria. Modelis, treniruotas su gerai struktūruotais, kruopščiai atrinktais duomenimis, pranoks modelį, skęstantį atsitiktiniame interneto tekste. Net jei antrasis modelis turi 100× daugiau parametrų.
Štai kur Europa gali konkuruoti. Ne statydama didesnį, o statydama geriau. Ne semdama daugiau duomenų, o naudodama protingesnius mokymo režimus.
Dweve Core demonstruoja šį principą. Mūsų dvejetainio neuroninio tinklo sistema pasiekia konkurencingą našumą su daugybe kartų mažiau parametrų nei standartiniai modeliai. Nes sutelkėme dėmesį į matematinę eleganciją, o ne į brutalią masto didinimą.
Architektūros pranašumas
Štai ko praleidžia mastelio didinimo šalininkai: architektūra svarbesnė nei dydis.
Galite turėti trilijoną parametrų, išdėstytų kvailai, arba milijardą parametrų, išdėstytų protingai. Protingas išdėstymas laimi visada.
Mišrių ekspertų (MoE) architektūros tai įrodo. Užuot aktyvinus visus parametrus kiekvienai užduočiai, aktyvinamas tik atitinkamas pogrupis. Staiga gaunate trilijono parametrų našumą su milijardo parametrų skaičiavimo sąnaudomis.
Dvejetainiai neuroniniai tinklai žengia dar toliau. Kiekviena operacija matematiškai paprastesnė, tačiau bendra architektūra sudėtingesnė. Pagrįstas apribojimais samprotavimas vietoj tikimybinio apytikslio skaičiavimo. Diskreti logika vietoj slankiojo kablelio spėlionių.
Rezultatas - sistemos, kurios samprotauja, o ne tik ieško informacijos. Jos supranta struktūrą, o ne įsimena šablonus. Jos veikia patikimai, o ne įtikinamai fantazuoja.
Tai ateitis, kurios mastelio dėsniai nepasieks: tikras intelektas, o ne tik didesnis mėgdžiojimas.
Anapus iliuzijos
Skalavimo era baigiasi. Ne dramatišku žlugimu, o lėtu supratimu, kad mesti daugiau skaičiavimo galios į problemą nebėra išeitis.
Duomenų sienos. Kokybės žlugimas. Skaičiavimo lubos. Mažėjanti grąža. Tai ne laikinos nesėkmės. Tai esminės skalavimo paradigmos ribos.
Bet tiems, kurie niekada netikėjo iliuzija, tai ne krizė. Tai galimybė.
Galimybė kurti dirbtinį intelektą, pagrįstą tikrais intelekto principais, o ne statistinėmis koreliacijomis. Sukurti sistemas, kurios veiktų efektyviai, o ne švaistytų išteklius. Plėtoti technologijas, kurios būtų prieinamos, o ne reikalautų milijardinių biudžetų.
Lenktynės dėl trilijono parametrų visada buvo aklavietė. Tiesiog reikėjo palaukti, kol visi kiti atsitrenks į sieną, kad tai įrodytume.
Tikroji pažanga
Štai ironija: tikroji dirbtinio intelekto pažanga nebus didesnis modelis. Tai bus supratimas, kad optimizavome ne tą dalyką.
Ne daugiau parametrų. Geresnė architektūra.
Ne daugiau duomenų. Geresnis mokymasis.
Ne daugiau skaičiavimo galios. Protingesnė matematika.
Dvejetainiai neuroniniai tinklai įkūnija šį pokytį. Nuo kaupimo prie elegancijos. Nuo brutaliaus jėgos prie matematinio griežtumo. Nuo trilijono parametrų monstrų prie milijardo parametrų sistemų, kurios iš tikrųjų mąsto.
Dweve platforma įrodo, kad tai veikia: Core kaip dvejetainių algoritmų sistema, Loom kaip 528 sričių specialistų intelekto modelis, Nexus kaip daugiaagentė intelekto sistema, Aura kaip autonominio agentų orkestravimo platforma, Fabric kaip vieninga valdymo skydelis ir valdymo centras, Mesh kaip decentralizuota infrastruktūros sluoksnis.
Visa tai paremta principu, kad intelektas kyla iš struktūros, o ne iš dydžio.
Laukiamas pasirinkimas
Dirbtinio intelekto pramonė susiduria su pasirinkimu. Tęsti skalavimo iliuzijos vaikymąsi, mesti gerus pinigus po blogų, tikintis, kad kita eilės tvarka kažkaip pralaužs sienas. Arba pripažinti, kad paradigma turi ribas, ir pereiti prie ko nors geresnio.
Duomenys rodo, kad skalavimas baigtas. Fizika rodo, kad skaičiavimo kaštai yra netvarūs. Matematika rodo, kad yra protingesnių būdų.
Europai nereikia laimėti skalavimo lenktynių. Europai reikia jas pasenti. Kurti dirbtinį intelektą, kuriam nereikia trilijono parametrų modelių. Sukurti sistemas, kurios veiktų efektyviai, o ne švaistytų išteklius. Plėtoti technologijas, pagrįstas supratimu, o ne įsiminimu.
Didžioji dirbtinio intelekto iliuzija žlunga. Daugiau duomenų jos neišgelbės. Didesni modeliai jos neišgelbės. Daugiau skaičiavimo galios jos neišgelbės.
Kas sugriauna iliuziją? Supratimas, kad intelektas niekada ir nebuvo susijęs su dydžiu.
AI ateitis nėra trilijonai parametrų. Tai protingos architektūros, efektyvus skaičiavimas ir matematinė elegancija. Tai sistemos, sukurtos supratimui, o ne įsiminimui. Intelektas per struktūrą, o ne kaupimą.
Skalavimo paradigma atliko savo paskirtį. Ji parodė, ką gali pasiekti brutali jėga. Tačiau dabar pasiekėme jos ribas. Kitam dirbtinio intelekto etapui reikia kitokio mąstymo: tikslumo, o ne masto, architektūros, o ne parametrų, intelekto, o ne dydžio.
Ta ateitis kuriama dabar. Tyrėjų, kurie sutelkia dėmesį į efektyvumą. Inžinierių, kurie teikia pirmenybę paaiškinamumui. Įmonių, kuriančių dirbtinį intelektą, kuris veikia be duomenų centrų infrastruktūros. Europa turi galimybę vadovauti šiam pokyčiui, ne laimėdama masto lenktynes, o padarydama jas nesvarbias.
Didžioji dirbtinio intelekto iliuzija žlunga. Daugiau duomenų jos neišgelbės. Tai, kas ateis toliau, bus protingiau.
„Dweve“ kuria dirbtinį intelektą dvejetainių apribojimų tinkluose ir mišrių sričių specialistų architektūrose. „Loom“ efektyviam samprotavimui naudoja 528 sričių specialistus. Kuriama Nyderlanduose, aptarnaujant Europos organizacijas. Dirbtinio intelekto ateitis yra elegantiška, o ne tik didelė.