Veľká ilúzia umelej inteligencie: prečo nás „viac dát“ nezachráni
Blud o biliónoch parametrov
V oblasti umelej inteligencie prebieha preteky. Nie preteky o to, kto postaví lepšie systémy. Nie preteky o to, kto vyrieši skutočné problémy. Preteky o to, kto dosiahne väčšie čísla.
Sto miliárd parametrov. Päťsto miliárd. Bilión. Desať biliónov. Každé oznámenie je vítané zatajeným dychom v tlačových správach a rastúcimi cenami akcií. Každý model je prezentovaný ako ďalší pokrok v umelej inteligencii.
Lenže to nie sú pokroky. Sú len väčšie.
A niekde po ceste si celý priemysel namluvil, že väčšie znamená lepšie. Že viac parametrov znamená viac inteligencie. Že ak budeme len škálovať, pridávať nuly, spotrebúvať viac dát a viac výpočtového výkonu, nakoniec náhodou narazíme na všeobecnú umelú inteligenciu.
Je to najväčšia ilúzia modernej technológie. A začína praskať.
Evanjelium škálovacích zákonov
V roku 2020 výskumníci objavili to, čo nazvali „škálovacie zákony“. Ak neurónovej sieti dodáte viac parametrov a viac dát, jej výkon sa zlepšuje predvídateľne. Zdvojnásobte parametre, chybovosť klesne na polovicu. Bolo to krásne. Matematické. Opakovateľné.
Škálovacie zákony sa stali evanjeliom. Plánujete výskum umelej inteligencie? Stačí škálovať. Chcete lepší výkon? Pridajte parametre. Potrebujete konkurovať? Stavajte väčšie modely.
Každé veľké laboratórium zvolilo rovnakú stratégiu: väčšie modely, viac dát, viac výpočtového výkonu. GPT-3 mal 175 miliárd parametrov. GPT-4 išiel vyššie. Gemini tlačil ďalej. Modely s biliónom parametrov boli ohlásené. O desiatich biliónoch sa diskutovalo.
Logika sa zdala nepriestrelná: ak škálovanie fungovalo doteraz, prečo by malo prestať?
Lenže ono prestáva. Práve teraz.
Stena, ktorú nikto nepredpovedal
Koncom roka 2024 sa stalo niečo neočakávané. Ďalšia generácia vlajkových modelov nevykázala očakávané zlepšenia.
Dvojnásobok parametrov. Trojnásobok tréningových dát. Desaťnásobok výpočtového výkonu. A výkon sa takmer nepohol. V niektorých prípadoch sa dokonca zhoršil.
Škálovacie zákony, ktoré tak spoľahlivo platili celé roky, sa začali rozpadať. Klesajúce výnosy už neboli len teóriou. Boli tu.
TechCrunch v novembri 2024 informoval, že škálovacie zákony umelej inteligencie „vykazujú klesajúce výnosy, čo núti laboratóriá umelej inteligencie zmeniť kurz“. DeepLearning.AI zdokumentoval, ako veľké spoločnosti priznali, že „ďalšia generácia vysoko profilovaných modelov nevykázala očakávané zlepšenia napriek väčším architektúram, väčšiemu množstvu tréningových dát a väčšiemu výpočtovému výkonu“.
Dôkazy sú jasné: škálovanie narazilo na stenu. Vlastne na viacero stien.
Dátová stena
Prvá stena: dochádzajú nám kvalitné tréningové dáta.
Veľké jazykové modely konzumujú internet. Doslova. GPT-3 bol trénovaný na stovkách miliárd slov zoškrabaných z webových stránok, kníh, článkov, fór. Na prakticky každom dostupnom ľudskom texte online.
Ale internetu je len toľko. Výskum publikovaný v roku 2022 predpovedal, že kvalitné textové dáta vyčerpáme medzi rokmi 2026 a 2032, ak budú súčasné trendy pokračovať. Analýza Epoch AI zistila, že hoci skoršie odhady naznačovali vyčerpanie do roku 2024, spresnená metodológia teraz ukazuje, že by sa tak mohlo stať do roku 2028.
Či tak či onak, hodiny tikajú. Kvalitný človekom vytvorený text je konečný.
Odpoveď? Syntetické dáta. Modely generujúce text na trénovanie iných modelov. Znie to múdro, kým si neuvedomíte, že je to ako robiť kópie z kópií. Každá generácia degraduje. Chyby sa kumulujú. Predsudky sa zosilňujú.
Časopis Nature v roku 2024 publikoval výskum dokazujúci, že modely trénované na rekurzívne generovaných dátach zažívajú „model collapse". Štúdia ukázala, že nerozlišujúce trénovanie na syntetickom obsahu vedie k zhoršujúcemu sa výkonu, zníženej rozmanitosti a v konečnom dôsledku k modelom umelej inteligencie, ktoré produkujú čoraz generickejšie výstupy.
Nemôžete škálovať do nekonečna, keď je váš zdroj paliva konečný. A kvalitné dáta, skutočné ľudské poznanie, sú naozaj veľmi konečné.
Kolaps kvality
Druhá stena: viac dát neznamená lepšie dáta.
Štúdia Chinchilla z roku 2022 odhalila niečo zásadné: optimálny model nie je najväčší model. Je to ten s najlepším pomerom parametrov k trénovacím tokenom. Na každé 4-násobné zvýšenie výpočtového výkonu potrebujete 2-násobné zvýšenie veľkosti modelu A 2-násobné zvýšenie kvality dát.
Ale čo sa stane, keď už použijete všetky dobré dáta? Začnete získavať dáta z menej kvalitných zdrojov. Fóra s dezinformáciami. Strojovo preložený obsah. Spam generovaný umelou inteligenciou. To najhoršie z internetu.
Viac trénovacích dát. Horší výkon. Pretože to, že „odpad v, odpad von", neprestane platiť len preto, že máte bilión parametrov.
Štúdia z roku 2024 zistila, že pre malé jazykové modely záleží na kvalite dát viac ako na ich množstve. Ďalšia zistila, že starostlivo zostavené dátové sady s 1 miliónom príkladov prekonávajú náhodne zhromaždené dátové sady so 100 miliónmi príkladov.
Reakcia odvetvia? Pokračovať v škálovaní. Hodiť na problém viac výpočtového výkonu. Dúfať, že hrubá sila prekoná zlé dáta.
Neprekoná.
Strop výpočtového výkonu
Tretia stena: fyzika výpočtov.
Trénovanie modelu s biliónom parametrov si vyžaduje neskutočné množstvo výpočtového výkonu. Hovoríme o desiatkach tisíc GPU bežiacich celé mesiace. Spotreba energie porovnateľná s malými krajinami. Náklady na infraštruktúru v stovkách miliónov.
A za čo? Marginálne zlepšenia. Zvýšenie výkonu, ktoré len ťažko ospravedlňuje exponenciálny nárast nákladov.
Jeden odhad naznačuje, že trénovanie hypotetického modelu s 10 biliónmi parametrov by spotrebovalo viac elektriny, než ročne spotrebujú niektoré európske krajiny. Na jedno trénovanie. Ktoré bude pravdepodobne potrebné zopakovať desiatky krát, kým bude fungovať.
Ekonomické výnosy už neodôvodňujú náklady na výpočtový výkon. Škálovacie zákony sľubovali lineárne zlepšenia pri lineárnych investíciách. Realita prináša logaritmické zlepšenia pri exponenciálnych investíciách.
To nie je obchodný model. To je bublina, ktorá čaká na prasknutie.
Ilúzia inteligencie
Ale tu je hlbší problém: aj keď škálovanie fungovalo, nevytváralo inteligenciu. Vytváralo štatistické porovnávanie vzorov v obrovskom rozsahu.
Bilión parametrov nemyslí. Neuvažuje. Nerozumie. Predpovedá ďalší token na základe vzorov v tréningových dátach. To je zásadne iná vec než inteligencia.
Ilúzia je presvedčivá, pretože rozsah dokáže priblížiť porozumenie. Dajte modelu dostatok príkladov a dokáže sa vzormi prepracovať k zdanlivo inteligentným odpovediam. Ale je to napodobňovanie, nie chápanie.
Preto modely zlyhávajú pri nových problémoch. Preto nedokážu spoľahlivo vykonávať viackrokové uvažovanie. Preto si s istotou vymýšľajú nesprávne fakty. Nemyslia. Vyhľadávajú a spájajú vzory.
A žiadne škálovanie to nezmení. Pridanie ďalších parametrov nástroju na porovnávanie vzorov vám dá len väčší nástroj na porovnávanie vzorov.
Európska pasca
Pre Európu vytvára škálovacia paradigma nemožnú situáciu.
Americké technologické giganty majú výpočtový výkon. Majú dáta. Majú infraštruktúru na trénovanie modelov s biliónmi parametrov. Európske spoločnosti nie.
Pokúšať sa konkurovať v škálovacích pretekoch znamená, že európska AI bude vždy doháňať stratu. Vždy o generáciu pozadu. Vždy so slabším výpočtovým výkonom a menšími výdavkami na zber dát.
Je to hra zmanipulovaná od začiatku. Pravidlá zvýhodňujú tých, ktorí majú najviac zdrojov, nie tých, ktorí majú najlepšie nápady.
A teraz, keď sa škálovacie zákony rozpadávajú, sa európska nevýhoda v týchto pretekoch stáva irelevantnou. Pretože samotné preteky sa končia.
Múdrejšia alternatíva
Takže aká je alternatíva? Ak väčšie nie je lepšie, čo je?
Odpoveďou je elegancia. Efektívnosť. Matematická presnosť.
V Dweve sme nikdy neverili v ilúziu škálovania. Nesnažili sme sa stavať väčšie modely. Stavali sme múdrejšie.
Binárne neurónové siete so 456 doménovými špecialistami. Každý doménový špecialista sa zameriava na špecifické typy uvažovania. Riedka aktivácia znamená, že pre každú úlohu sa zapoja len relevantní doménoví špecialisti. Žiadny zbytočný výpočtový výkon. Žiadne zbytočné parametre.
Výsledok? Špičkový výkon so zlomkom parametrov. Lepšie uvažovanie s menším množstvom dát. Nasaditeľné systémy, ktoré nevyžadujú infraštruktúru v rozsahu dátového centra.
Loom 456 sa nesnaží zapamätať si internet. Je navrhnutý tak, aby uvažoval s obmedzeniami, premýšľal nad problémami a skutočne chápal štruktúru.
Toto je inteligencia prostredníctvom architektúry, nie prostredníctvom hromadenia.
Kvalita nad kvantitou
Článok o Chinchille mal v jednej veci pravdu: pomer záleží viac než samotné čísla.
Ale skutočný poznatok ide hlbšie: starostlivo navrhnuté modely s kurátorskými tréningovými režimami prekonávajú obrovské modely s bezhlavým hromadením dát.
Zamyslite sa nad tým, ako sa učí človek. Nestanete sa múdrym tým, že prečítate všetko. Stanete sa múdrym tým, že čítate správne veci, v správnom poradí, so správnym vedením. Kvalita učenia záleží viac než množstvo informácií.
AI nie je iná. Model trénovaný na dobre štruktúrovaných, starostlivo vybraných dátach prekoná model topiaci sa v náhodnom internetovom texte. Aj keby mal druhý model 100× viac parametrov.
Tu môže Európa konkurovať. Nie tým, že bude stavať väčšie, ale tým, že bude stavať lepšie. Nie tým, že bude zhrabávať viac dát, ale tým, že bude používať múdrejšie tréningové režimy.
Princíp Dweve Core demonštruje tento koncept. Náš rámec binárnych neurónových sietí dosahuje konkurencieschopný výkon s rádovo menším počtom parametrov ako štandardné modely. Pretože sme sa zamerali na matematickú eleganciu namiesto hrubej sily škálovania.
Výhoda architektúry
Tu je to, čo dav škálovania prehliada: architektúra je dôležitejšia ako veľkosť.
Môžete mať bilión parametrov usporiadaných hlúpo, alebo miliardu parametrov usporiadaných inteligentne. Inteligentné usporiadanie vyhrá vždy.
Architektúry Mixture of Experts (MoE) to dokazujú. Namiesto aktivácie všetkých parametrov pre každú úlohu aktivujte iba relevantnú podmnožinu. Zrazu získate výkon bilióna parametrov s nákladmi na výpočet miliardy parametrov.
Binárne neurónové siete to posúvajú ďalej. Každá operácia je matematicky jednoduchšia, ale celková architektúra je sofistikovanejšia. Uvažovanie založené na obmedzeniach namiesto pravdepodobnostnej aproximácie. Diskrétna logika namiesto hádania s pohyblivou rádovou čiarkou.
Výsledkom sú systémy, ktoré uvažujú, nie len vyhľadávajú. Ktoré chápu štruktúru, nie len memorujú vzory. Ktoré fungujú spoľahlivo, nie len vierohodne halucinujú.
Toto je budúcnosť, ktorú škálovacie zákony nedosiahnu: skutočná inteligencia, nie len väčšia napodobenina.
Za ilúziou
Éra škálovania sa končí. Nie dramatickým pádom, ale pomalým poznaním, že hádzať na problém stále viac výpočtového výkonu už nefunguje.
Dátové steny. Kolaps kvality. Stropy výpočtového výkonu. Klesajúce výnosy. Toto nie sú dočasné neúspechy. Sú to základné limity paradigmy škálovania.
Ale pre tých, ktorí ilúzii nikdy neverili, to nie je kríza. Je to príležitosť.
Príležitosť postaviť AI na skutočných princípoch inteligencie, nie na štatistickej korelácii. Vytvoriť systémy, ktoré fungujú efektívne, nie plytvo. Vyvinúť technológie, ktoré sú dostupné, nie také, ktoré si vyžadujú rozpočty v miliardách.
Preteky o bilión parametrov boli vždy slepou uličkou. Stačilo počkať, kým na stenu narazia všetci ostatní, aby sa to dokázalo.
Skutočný pokrok
Iróniou je, že skutočný pokrok v AI nebude väčší model. Bude to poznanie, že sme optimalizovali nesprávnu vec.
Nie viac parametrov. Lepšia architektúra.
Nie viac dát. Lepšie učenie.
Nie viac výpočtového výkonu. Múdrejšia matematika.
Binárne neurónové siete predstavujú tento posun. Od akumulácie k elegancii. Od hrubej sily k matematickej presnosti. Od monštier s biliónom parametrov k systémom s miliardou parametrov, ktoré skutočne myslia.
Platforma Dweve dokazuje, že to funguje: Core ako rámec binárnych algoritmov, Loom ako model inteligencie špecializovaný na 456 domén, Nexus ako rámec multiagentovej inteligencie, Aura ako platforma na orchestráciu autonómnych agentov, Fabric ako jednotný dashboard a riadiace centrum, Mesh ako decentralizovaná infraštruktúrna vrstva.
Všetko postavené na princípe, že inteligencia pochádza zo štruktúry, nie z veľkosti.
Voľba, ktorá nás čaká
Odvetvie AI stojí pred voľbou. Pokračovať v honbe za ilúziou škálovania, hádzať dobré peniaze za zlé a dúfať, že ďalší rádovo vyšší výkon nejako prerazí steny. Alebo prijať, že paradigma má limity, a prejsť na niečo lepšie.
Dáta hovoria, že škálovanie sa skončilo. Fyzika hovorí, že náklady na výpočtový výkon sú neudržateľné. Matematika hovorí, že existujú múdrejšie prístupy.
Európa nemusí vyhrať preteky v škálovaní. Európa ich musí urobiť zastaranými. Vybudovať AI, ktorá nevyžaduje modely s biliónom parametrov. Vytvoriť systémy, ktoré fungujú efektívne namiesto plytvania. Vyvinúť technológie založené na porozumení, nie na memorovaní.
Veľká ilúzia umelej inteligencie sa rozpadá. Viac dát ju nezachráni. Väčšie modely ju nezachránia. Viac výpočtového výkonu ju nezachráni.
Čo tú ilúziu rozbije? Uznanie, že inteligencia nikdy nebola o veľkosti.
Budúcnosť umelej inteligencie nie je o biliónoch parametrov. Je o inteligentných architektúrach, efektívnom výpočte a matematickej elegancii. Je o systémoch navrhnutých na porozumenie, nie na memorovanie. Inteligencia cez štruktúru, nie cez hromadenie.
Paradigma škálovania splnila svoj účel. Ukázala nám, čo dokáže hrubá sila. Ale teraz sme narazili na jej limity. Ďalšia kapitola umelej inteligencie si vyžaduje iné myslenie: presnosť nad rozsahom, architektúru nad parametrami, inteligenciu nad veľkosťou.
Takáto budúcnosť sa buduje práve teraz. Výskumníkmi, ktorí sa zameriavajú na efektívnosť. Inžiniermi, ktorí uprednostňujú vysvetliteľnosť. Spoločnosťami, ktoré vyvíjajú AI fungujúcu bez potreby dátovej infraštruktúry. Európa má príležitosť viesť túto zmenu, nie víťazstvom v pretekoch o škálovanie, ale tým, že ich urobí irelevantnými.
Veľká ilúzia umelej inteligencie sa rozpadá. Viac dát ju nezachráni. To, čo príde, bude múdrejšie.
Dweve stavia AI na binárnych obmedzovacích sieťach a architektúrach so špecialistami na domény. Loom používa 456 doménových špecialistov na efektívne uvažovanie. Vývoj v Holandsku, slúži európskym organizáciám. Budúcnosť umelej inteligencie je elegantná, nielen veľká.