A nagy AI-illúzió: miért nem ment meg minket a „több adat”
A billió paraméter illúziója
Verseny zajlik a mesterséges intelligencia területén. Nem a jobb rendszerek építéséért. Nem a valós problémák megoldásáért. Hanem a nagyobb számokért.
Százmilliárd paraméter. Ötszázmilliárd. Egy billió. Tíz billió. Minden bejelentést lélegzetelállító sajtóközlemények és szárnyaló részvényárak fogadnak. Minden modellt úgy reklámoznak, mint a mesterséges intelligencia következő nagy áttörését.
Csakhogy ezek nem áttörések. Csak nagyobbak.
És valahol az út során az egész iparág meggyőzte magát arról, hogy a nagyobb egyenlő a jobbal. Hogy több paraméter több intelligenciát jelent. Hogy ha csak folyamatosan skálázunk, folyamatosan nullákat adunk hozzá, folyamatosan több adatot és több számítási kapacitást fogyasztunk, akkor végül belebotlunk az általános mesterséges intelligenciába.
Ez a modern technológia legnagyobb illúziója. És repedezik.
A skálázási törvények evangéliuma
2020-ban a kutatók felfedeztek valamit, amit "skálázási törvényeknek" neveztek el. Táplálj egy neurális hálózatot több paraméterrel és több adattal, és a teljesítménye kiszámíthatóan javul. Duplázd meg a paramétereket, és felezd meg a hibaarányt. Gyönyörű volt. Matematikai. Megismételhető.
A skálázási törvények evangéliummá váltak. Mesterséges intelligencia kutatást tervezel? Csak skálázz fel. Jobb teljesítményt szeretnél? Adj hozzá több paramétert. Versenyezni kell? Építs nagyobb modelleket.
Minden nagy laboratórium ugyanazt a stratégiát követte: nagyobb modellek, több adat, több számítási kapacitás. A GPT-3-nak 175 milliárd paramétere volt. A GPT-4 még nagyobbra ment. A Gemini tovább tolta a határokat. Bejelentettek egymilliárd paraméteres modelleket. Tízmilliárdról is tárgyaltak.
A logika megdönthetetlennek tűnt: ha a skálázás eddig működött, miért állna le?
Csakhogy éppen most áll le.
A fal, amelyet senki sem jósolt meg
2024 végén valami váratlan történt. A következő generációs zászlóshajó modellek nem mutatták a várt javulást.
Kétszer annyi paraméter. Háromszor annyi tanítási adat. Tízszer annyi számítási kapacitás. És a teljesítmény alig mozdult. Egyes esetekben rosszabb lett.
A skálázási törvények, amelyek olyan megbízhatóan működtek évekig, kezdtek összeomlani. A csökkenő hozadék már nem volt elméleti. Itt volt.
A TechCrunch 2024 novemberében arról számolt be, hogy a mesterséges intelligencia skálázási törvényei "csökkenő hozadékot mutatnak, ami arra kényszeríti az MI-laborokat, hogy irányt váltsanak". A DeepLearning.AI dokumentálta, hogyan ismerték el a nagyvállalatok, hogy "a következő generációs, nagy hírveréssel övezett modellek nem mutatták a várt javulást a nagyobb architektúrák, a több tanítási adat és a nagyobb feldolgozási teljesítmény ellenére sem".
A bizonyíték egyértelmű: a skálázás falba ütközött. Valójában több falba is.
Az adatfal
Az első fal: kifogyunk a minőségi tanítási adatokból.
A nagy nyelvi modellek felemésztik az internetet. Szó szerint. A GPT-3-at több százmilliárdnyi, weboldalakról, könyvekből, cikkekből és fórumokról összegyűjtött szón tanították. Gyakorlatilag minden hozzáférhető emberi szöveg az interneten.
De az internetnek is van határa. A 2022-ben publikált kutatások azt jósolták, hogy 2026 és 2032 között kimerítjük a kiváló minőségű szöveges adatokat, ha a jelenlegi trendek folytatódnak. Az Epoch AI elemzése megállapította, hogy bár a korábbi becslések 2024-re jósolták a kimerülést, a finomított módszertan szerint ez 2028-ra következhet be.
Akárhogy is, az idő ketyeg. A kiváló minőségű, ember által generált szöveg véges.
A válasz? Szintetikus adatok. Modellek, amelyek szöveget generálnak más modellek betanításához. Okosnak hangzik, amíg rá nem jössz, hogy ez olyan, mintha fénymásolatokat fénymásolnál. Minden generáció romlik. A hibák halmozódnak. Az elfogultságok felerősödnek.
A Nature 2024-ben publikált kutatást, amely kimutatta, hogy a rekurzívan generált adatokon tanított modellek „modellösszeomlást" tapasztalnak. A tanulmány szerint a szintetikus tartalmakon való válogatás nélküli tanítás teljesítményromláshoz, csökkent változatossághoz és végső soron egyre általánosabb kimeneteket produkáló MI-modellekhez vezet.
Nem skálázhatsz a végtelenségig, ha az üzemanyagforrásod véges. A minőségi adat, az igazi emberi tudás pedig nagyon is véges.
A minőség összeomlása
Második fal: a több adat nem feltétlenül jelent jobb adatot.
A 2022-es Chinchilla-tanulmány valami alapvető dolgot tárt fel: az optimális modell nem a legnagyobb modell. Hanem az, amelyiknél a legjobb a paraméterek és a tanítási tokenek aránya. Minden 4-szeres számítási kapacitásnövekedéshez 2-szeres modellméret-növekedés ÉS 2-szeres adatminőség-javulás szükséges.
De mi történik, ha már az összes jó adatot felhasználtad? Elkezdesz alacsonyabb minőségű forrásokból gyűjteni. Félreinformációt tartalmazó fórumok. Gépi fordítású tartalmak. MI-generálta spam. Az internet söpredéke.
Több tanítási adat. Rosszabb teljesítmény. Mert a szemét be, szemét ki elv akkor sem szűnik meg igaznak lenni, ha egy billió paramétered van.
Egy 2024-es tanulmány megállapította, hogy kis nyelvi modellek esetében az adatminőség fontosabb, mint a mennyiség. Egy másik azt találta, hogy a gondosan összeválogatott, 1 millió példát tartalmazó adatkészletek jobban teljesítenek, mint a véletlenszerűen összegyűjtött, 100 millió példát tartalmazó adatkészletek.
Az iparág válasza? Akkor is skálázunk tovább. Dobjunk még több számítási kapacitást a problémára. Reméljük, hogy a nyers erő legyőzi a rossz adatokat.
Nem győzi.
A számítási kapacitás plafonja
Harmadik fal: a számítás fizikája.
Egy billió paraméteres modell betanítása iszonyatos mennyiségű számítási kapacitást igényel. Több tízezer GPU-ról beszélünk, amelyek hónapokig futnak. Energiafogyasztás, amely kis országokéval vetekszik. Infrastruktúraköltségek a több száz milliós nagyságrendben.
És miért? Marginális javulásért. Teljesítménybeli nyereségért, amely alig indokolja az exponenciálisan növekvő költségeket.
Az egyik becslés szerint egy feltételezett 10 billió paraméteres modell betanítása több áramot fogyasztana, mint amennyit néhány európai ország egy év alatt felhasznál. Egyetlen tanítási folyamatért. Amelyet valószínűleg több tucatszor meg kell majd ismételni, mielőtt működne.
A gazdasági megtérülés már nem indokolja a számítási költségeket. A skálázási törvények lineáris javulást ígértek lineáris befektetésért. A valóság logaritmikus javulást hoz exponenciális befektetésért.
Ez nem üzleti modell. Ez egy buborék, ami arra vár, hogy kipukkanjon.
Az intelligencia illúziója
De itt van a mélyebb probléma: még amikor a skálázás működött is, nem intelligenciát hozott létre. Statisztikai mintafelismerést hozott létre óriási méretekben.
Egy billió paraméter nem gondolkodik. Nem érvel. Nem ért. Megjósolja a következő tokent a tanítóadatok mintái alapján. Ez alapvetően más dolog, mint az intelligencia.
Az illúzió azért meggyőző, mert a méret képes megközelíteni a megértést. Adj a modellnek elég példát, és képes lesz mintafelismeréssel intelligensnek tűnő válaszokat adni. De ez utánzás, nem megértés.
Ezért buknak el a modellek új problémákon. Ezért nem tudnak megbízhatóan többlépéses érvelést végezni. Ezért hallucinálnak magabiztosan téves tényeket. Nem gondolkodnak. Mintákat keresnek és kombinálnak újra.
És ezt semmilyen skálázás nem oldja meg. Ha több paramétert adsz egy mintafelismerőhöz, csak egy nagyobb mintafelismerőt kapsz.
Az európai csapda
Európa számára a skálázási paradigma lehetetlen helyzetet teremt.
Az amerikai technológiai óriásoknak megvan a számítási kapacitásuk. Megvan az adatuk. Megvan az infrastruktúrájuk a billió paraméteres modellek betanításához. Az európai cégeknek nincs.
Aki a skálázási versenyben próbál versenyezni, az azt jelenti, hogy az európai MI mindig is felzárkózni fog. Mindig egy generációval lemaradva. Mindig alulmaradva számítási kapacitásban és túlköltekezve adatgyűjtésben.
Ez egy eleve manipulált játék. A szabályok azokat kedvezik, akiknek a legtöbb erőforrásuk van, nem azokat, akiknek a legjobb ötleteik vannak.
És most, ahogy a skálázási törvények összeomlanak, Európa hátránya ebben a versenyben irrelevánssá válik. Mert maga a verseny ér véget.
Az okosabb alternatíva
Szóval mi az alternatíva? Ha a nagyobb nem jobb, akkor mi az?
A válasz az elegancia. A hatékonyság. A matematikai szigor.
A Dweve-nél soha nem hittünk a skálázási illúzióban. Nem próbáltunk nagyobb modelleket építeni. Okosabbakat építettünk.
Bináris neurális hálózatok 456 domain-szakértővel. Minden domain-szakértő az érvelés meghatározott típusaira összpontosít. A ritka aktiváció azt jelenti, hogy csak a releváns domain-szakértők kapcsolódnak be minden feladatnál. Nincs felesleges számítás. Nincsenek szükségtelen paraméterek.
Az eredmény? A legmodernebb teljesítmény a paraméterek töredékével. Jobb érvelés kevesebb adattal. Telepíthető rendszerek, amelyek nem igényelnek adatközponti méretű infrastruktúrát.
A Loom 456 nem az internet memorizálására törekszik. Arra tervezték, hogy korlátokkal érveljen, hogy átgondolja a problémákat, hogy valóban megértse a struktúrát.
Ez az intelligencia architektúrán keresztül, nem felhalmozáson keresztül.
Minőség a mennyiség felett
A Chinchilla-tanulmány egy dolgot jól értett: az arány számít többet, mint a nyers számok.
De a valódi felismerés mélyebbre megy: a gondosan megtervezett modellek, kurált tanítási rendekkel, felülmúlják a hatalmas modelleket, amelyek válogatás nélkül halmozzák az adatokat.
Gondolj az emberi tanulásra. Nem attól leszel okos, hogy mindent elolvasol. Attól leszel okos, hogy a megfelelő dolgokat olvasod, a megfelelő sorrendben, a megfelelő iránymutatással. A tanulás minősége többet számít, mint az információ mennyisége.
Az MI sem különbözik. A jól strukturált, gondosan kurált adatokon tanított modell felülmúlja a véletlenszerű internetes szövegben fuldokló modellt. Még akkor is, ha a második modellnek 100× több paramétere van.
Itt versenyezhet Európa. Nem azzal, hogy nagyobbat épít, hanem azzal, hogy jobbat épít. Nem azzal, hogy több adatot kapar össze, hanem azzal, hogy okosabb tanítási rendeket használ.
A Dweve Core elve ezt demonstrálja. A bináris neurális hálózati keretrendszerünk nagyságrendekkel kevesebb paraméterrel ér el versenyképes teljesítményt, mint a szokványos modellek. Mindezt azért, mert a matematikai eleganciára összpontosítottunk a nyers erővel történő méretezés helyett.
Az architektúra előnye
Íme, amit a méretezés hívei nem látnak: az architektúra fontosabb, mint a méret.
Lehet egy billió paramétered ostobán elrendezve, vagy egy milliárd paramétered intelligensen elrendezve. Az intelligens elrendezés minden alkalommal győz.
A Mixture of Experts (MoE) architektúrák ezt bizonyítják. Ahelyett, hogy minden feladatnál az összes paramétert aktiválnánk, csak a releváns részhalmazt aktiváljuk. Hirtelen billió paraméteres teljesítményt kapsz milliárd paraméteres számítási költséggel.
A bináris neurális hálózatok ezt tovább viszik. Minden művelet matematikailag egyszerűbb, de a teljes architektúra kifinomultabb. Kényszeralapú érvelés a valószínűségi közelítés helyett. Diszkrét logika a lebegőpontos találgatás helyett.
Az eredmény olyan rendszerek, amelyek érvelnek, nem pedig előhívnak. Amelyek megértik a struktúrát, nem pedig mintákat memorizálnak. Amelyek megbízhatóan működnek, nem pedig hihetően hallucinálnak.
Ezt nem éri el a méretezési törvények jövője: valódi intelligenciát, nem csak nagyobb utánzást.
Túl az illúzión
A skálázás korszaka véget ér. Nem drámai összeomlással, hanem lassú felismeréssel, hogy több számítási kapacitást dobni a problémára már nem működik.
Adatfalak. Minőségromlás. Számítási plafonok. Csökkenő hozamok. Ezek nem átmeneti akadályok. Ezek a skálázási paradigma alapvető korlátai.
De azoknak, akik soha nem hittek az illúzióban, ez nem válság. Ez lehetőség.
Lehetőség arra, hogy valódi intelligenciaelvekre épülő mesterséges intelligenciát építsünk statisztikai korreláció helyett. Olyan rendszereket hozzunk létre, amelyek hatékonyan működnek, nem pazarlóan. Olyan technológiát fejlesszünk, amely elérhető, nem pedig milliárdos költségvetést igényel.
A billió paraméteres verseny mindig is zsákutca volt. Csak meg kellett várnunk, hogy mindenki más is falnak ütközzön, hogy ez bebizonyosodjon.
Az igazi előrelépés
Itt az irónia: az AI igazi előrelépése nem egy nagyobb modell lesz. Hanem annak felismerése, hogy eddig rossz dologra optimalizáltunk.
Nem több paraméter. Jobb architektúra.
Nem több adat. Jobb tanulás.
Nem több számítási kapacitás. Okosabb matematika.
A bináris neurális hálózatok ezt a váltást képviselik. A felhalmozástól az eleganciáig. A nyers erőtől a matematikai igényességig. A billió paraméteres szörnyektől a milliárd paraméteres rendszerekig, amelyek valóban gondolkodnak.
A Dweve platformja bizonyítja, hogy működik: a Core a bináris algoritmuskeretrendszer, a Loom a 456 tartományi szakértő intelligencia modell, a Nexus a többágens intelligencia keretrendszer, az Aura az autonóm ágens orkesztrációs platform, a Fabric az egységes irányítópult és vezérlőközpont, a Mesh a decentralizált infrastruktúra réteg.
Mindez arra az elvre épül, hogy az intelligencia a struktúrából származik, nem a méretből.
A választás előtt
Az AI ipar választás előtt áll. Folytatja a skálázási illúzió hajszolását, jó pénzt dobva a rossz után, remélve, hogy a következő nagyságrend valahogy áttöri a falakat. Vagy elfogadja, hogy a paradigmának korlátai vannak, és továbblép valami jobbra.
Az adatok azt mondják, a skálázásnak vége. A fizika azt mondja, a számítási költségek fenntarthatatlanok. A matematika azt mondja, vannak okosabb megközelítések.
Európának nem kell megnyernie a skálázási versenyt. Európának el kell avultatnia azt. Olyan AI-t kell építenie, amely nem igényel billió paraméteres modelleket. Olyan rendszereket kell létrehoznia, amelyek hatékonyan működnek a pazarlás helyett. Olyan technológiát kell fejlesztenie, amely megértésen alapul, nem memorizáláson.
A nagy AI-illúzió szertefoszlik. Több adat nem menti meg. Nagyobb modellek nem mentik meg. Több számítási kapacitás sem menti meg.
Mi töri meg az illúziót? Az a felismerés, hogy az intelligencia soha nem is a méretről szólt.
Az AI jövője nem billió paraméter. Hanem okos architektúrák, hatékony számítás és matematikai elegancia. Olyan rendszerek, amelyeket megértésre terveztek, nem memorizálásra. Intelligencia struktúra által, nem felhalmozás által.
A skálázási paradigma betöltötte szerepét. Megmutatta, mire képes a nyers erő. De most elértük a korlátait. Az AI következő fejezete más gondolkodást igényel: pontosságot a méret helyett, architektúrát a paraméterek helyett, intelligenciát a méret helyett.
Ezt a jövőt most építik. Kutatók, akik a hatékonyságra összpontosítanak. Mérnökök, akik az értelmezhetőséget helyezik előtérbe. Vállalatok, amelyek olyan AI-t fejlesztenek, amely adatközponti infrastruktúra nélkül is működik. Európának lehetősége van ennek a váltásnak az élére állni, nem azzal, hogy megnyeri a skálázási versenyt, hanem azzal, hogy feleslegessé teszi.
A nagy AI-illúzió szertefoszlik. Több adat nem menti meg. Ami ezután jön, okosabb lesz.
A Dweve bináris kényszerhálózatokon és tartomány-specialista keverék architektúrákon épít AI-t. A Loom 456 tartomány-specialistát használ a hatékony érveléshez. Fejlesztés Hollandiában, európai szervezetek kiszolgálására. Az AI jövője elegáns, nem csak nagy.