Velká iluze umělé inteligence: proč nás „více dat“ nezachrání
Blud o bilionu parametrů
V oblasti umělé inteligence probíhá závod. Ne závod o lepší systémy. Ne závod o řešení skutečných problémů. Závod o větší čísla.
Sto miliard parametrů. Pět set miliard. Bilion. Deset bilionů. Každé oznámení je vítáno zatajeným dechem v tiskových zprávách a rostoucími cenami akcií. Každý model je prezentován jako další pokrok v umělé inteligenci.
Jenže to nejsou pokroky. Jsou jen větší.
A někde po cestě si celý průmysl namluvil, že větší znamená lepší. Že více parametrů znamená více inteligence. Že když budeme jen škálovat, přidávat nuly, spotřebovávat více dat a výpočetního výkonu, nakonec narazíme na umělou obecnou inteligenci.
Je to největší iluze moderních technologií. A začíná praskat.
Evangelium škálovacích zákonů
V roce 2020 výzkumníci objevili to, čemu říkali „škálovací zákony“. Dejte neuronové síti více parametrů a více dat a její výkon se bude předvídatelně zlepšovat. Zdvojnásobte parametry, poloviční chybovost. Bylo to krásné. Matematické. Opakovatelné.
Škálovací zákony se staly evangeliem. Plánujete výzkum umělé inteligence? Prostě škálujte. Chcete lepší výkon? Přidejte více parametrů. Potřebujete konkurovat? Postavte větší modely.
Každá velká laboratoř přijala stejnou strategii: větší modely, více dat, více výpočetního výkonu. GPT-3 měl 175 miliard parametrů. GPT-4 šel dál. Gemini tlačil ještě dál. Byly oznámeny modely s bilionem parametrů. Diskutovalo se o deseti bilionech.
Logika se zdála neotřesitelná: pokud škálování dosud fungovalo, proč by mělo přestat?
Jenže ono přestává. Právě teď.
Zeď, kterou nikdo nepředpověděl
Koncem roku 2024 se stalo něco neočekávaného. Další generace vlajkových modelů nevykázala očekávaná zlepšení.
Dvojnásobek parametrů. Trojnásobek trénovacích dat. Desetinásobek výpočetního výkonu. A výkon se sotva pohnul. V některých případech se dokonce zhoršil.
Škálovací zákony, které tak spolehlivě platily léta, se začaly hroutit. Klesající výnosy už nebyly jen teorií. Byly tady.
TechCrunch v listopadu 2024 informoval, že škálovací zákony umělé inteligence „vykazují klesající výnosy, což nutí laboratoře umělé inteligence změnit kurz“. DeepLearning.AI zdokumentoval, jak velké společnosti připustily, že „další generace vysoce profilovaných modelů nevykázala očekávaná zlepšení navzdory větším architekturám, většímu množství trénovacích dat a většímu výpočetnímu výkonu“.
Důkazy jsou jasné: škálování narazilo na zeď. Na několik zdí, abych byl přesný.
Datová zeď
První zeď: docházejí nám kvalitní trénovací data.
Velké jazykové modely konzumují internet. Doslova. GPT-3 byl trénován na stovkách miliard slov seškrábaných z webových stránek, knih, článků a fór. Na každém rozumně dostupném kousku lidského textu online.
Jenže internetu je jen omezené množství. Výzkum publikovaný v roce 2022 předpověděl, že vyčerpáme kvalitní textová data mezi lety 2026 a 2032, pokud budou současné trendy pokračovat. Analýza Epoch AI zjistila, že zatímco dřívější odhady naznačovaly vyčerpání do roku 2024, zpřesněná metodika nyní ukazuje, že by k tomu mohlo dojít do roku 2028.
Ať tak či onak, hodiny tikají. Kvalitního lidsky vytvořeného textu je konečné množství.
Odpověď? Syntetická data. Modely generující text, aby jimi trénovaly jiné modely. Zní to chytře, dokud si neuvědomíte, že je to jako pořizovat kopie kopií. Každá generace degraduje. Chyby se kumulují. Předpojatosti se zesilují.
Časopis Nature v roce 2024 publikoval výzkum, který prokázal, že u modelů trénovaných na rekurzivně generovaných datech dochází k „model collapse". Studie ukázala, že bezhlavé trénování na syntetickém obsahu vede ke zhoršujícímu se výkonu, menší rozmanitosti a v konečném důsledku k modelům umělé inteligence, které produkují stále generičtější výstupy.
Nemůžete škálovat do nekonečna, když je váš zdroj paliva konečný. A kvalitních dat, skutečných lidských znalostí, je opravdu jen velmi málo.
Kolaps kvality
Druhá zeď: více dat neznamená lepší data.
Studie Chinchilla z roku 2022 odhalila něco zásadního: optimální model není ten největší. Je to ten s nejlepším poměrem parametrů k trénovacím tokenům. Na každé 4× zvýšení výpočetního výkonu potřebujete 2× větší model A 2× vyšší kvalitu dat.
Ale co se stane, když už jste všechna dobrá data použili? Začnete stahovat zdroje nižší kvality. Fóra s dezinformacemi. Strojově přeložený obsah. Spam generovaný umělou inteligencí. Odpady internetu.
Více trénovacích dat. Horší výkon. Protože pravda o tom, že co do toho dáte, to z toho dostanete, nepřestává platit jen proto, že máte bilion parametrů.
Studie z roku 2024 zjistila, že u malých jazykových modelů záleží na kvalitě dat více než na jejich množství. Jiná zjistila, že pečlivě sestavené datové sady s 1 milionem příkladů překonají náhodně sesbírané datové sady se 100 miliony příkladů.
Reakce odvětví? Stejně dál škálovat. Hodit na problém více výpočetního výkonu. Doufat, že hrubá síla překoná špatná data.
Nepřekoná.
Strop výpočetního výkonu
Třetí zeď: fyzika výpočtů.
Trénování modelu s bilionem parametrů vyžaduje neskutečné množství výpočetního výkonu. Bavíme se o desítkách tisíc GPU běžících měsíce. Spotřeba energie, která se vyrovná malým zemím. Náklady na infrastrukturu ve stovkách milionů.
A za co? Marginální zlepšení. Nárůsty výkonu, které jen stěží ospravedlňují exponenciální růst nákladů.
Jeden odhad naznačuje, že trénování hypotetického modelu s 10 biliony parametrů by spotřebovalo více elektřiny, než kolik některé evropské země spotřebují za rok. Na jedno trénování. Které bude pravděpodobně nutné zopakovat desítkykrát, než začne fungovat.
Ekonomické výnosy už nepodporují náklady na výpočetní výkon. Škálovací zákony slibovaly lineární zlepšení za lineární investice. Realita přináší logaritmické zlepšení za exponenciální investice.
To není obchodní model. To je bublina čekající na prasknutí.
Iluze inteligence
Ale tady je hlubší problém: i když škálování fungovalo, nevytvářelo inteligenci. Vytvářelo statistické přiřazování vzorů v obrovském měřítku.
Bilion parametrů nemyslí. Neuvažuje. Nerozumí. Předpovídá další token na základě vzorů v trénovacích datech. To je něco zásadně jiného než inteligence.
Iluze je přesvědčivá, protože měřítko dokáže přiblížit porozumění. Dejte modelu dostatek příkladů a dokáže přiřazováním vzorů dospět ke zdánlivě inteligentním odpovědím. Ale to je napodobování, ne porozumění.
Proto modely selhávají u nových problémů. Proto nedokážou spolehlivě provádět vícekrokové uvažování. Proto si sebejistě vymýšlejí nesprávná fakta. Nemyslí. Vyhledávají a znovu kombinují vzory.
A žádné škálování to nevyřeší. Přidání dalších parametrů do přiřazovače vzorů vám dá jen větší přiřazovač vzorů.
Evropská past
Pro Evropu vytváří škálovací paradigma nemožnou situaci.
Američtí technologičtí giganti mají výpočetní výkon. Mají data. Mají infrastrukturu pro trénování modelů s bilionem parametrů. Evropské společnosti ne.
Snaha konkurovat ve škálovacím závodě znamená, že evropská AI bude vždy dohánět. Vždy o generaci pozadu. Vždy s horším výpočetním výkonem a vyššími náklady na sběr dat.
Je to hra zmanipulovaná od začátku. Pravidla zvýhodňují ty s největšími zdroji, ne ty s nejlepšími nápady.
A teď, když se škálovací zákony hroutí, se evropská nevýhoda v tomto závodě stává irelevantní. Protože samotný závod končí.
Chytřejší alternativa
Takže jaká je alternativa? Pokud větší neznamená lepší, co znamená?
Odpovědí je elegance. Efektivita. Matematická přísnost.
Ve společnosti Dweve jsme nikdy neuvěřili škálovací iluzi. Nesnažili jsme se stavět větší modely. Postavili jsme chytřejší.
Binární neuronové sítě se 456 doménovými specialisty. Každý doménový specialista se zaměřuje na konkrétní typy uvažování. Řídká aktivace znamená, že se pro každý úkol zapojí pouze relevantní doménoví specialisté. Žádný zbytečný výpočet. Žádné nepotřebné parametry.
Výsledek? Špičkový výkon se zlomkem parametrů. Lepší uvažování s méně daty. Nasaditelné systémy, které nevyžadují infrastrukturu v měřítku datového centra.
Loom 456 se nesnaží zapamatovat si internet. Je navržen tak, aby uvažoval v rámci omezení, promýšlel problémy a skutečně rozuměl struktuře.
To je inteligence prostřednictvím architektury, ne prostřednictvím akumulace.
Kvalita nad kvantitou
Článek Chinchilla měl v jedné věci pravdu: poměr záleží víc než surová čísla.
Ale skutečný vhled jde hlouběji: pečlivě navržené modely s kurátorovanými trénovacími režimy překonávají masivní modely s bezhlavým hromaděním dat.
Přemýšlejte o tom, jak se učí lidé. Nezmoudříte tím, že přečtete všechno. Zmoudříte tím, že čtete správné věci, ve správném pořadí, se správným vedením. Kvalita učení záleží víc než množství informací.
AI není jiná. Model trénovaný na dobře strukturovaných, pečlivě kurátorovaných datech překoná model tonoucí v náhodném internetovém textu. I když má druhý model 100× více parametrů.
Tady může Evropa konkurovat. Ne stavěním většího, ale stavěním lepšího. Ne stahováním více dat, ale používáním chytřejších trénovacích režimů.
Princip Dweve Core to dokládá. Náš rámec binárních neuronových sítí dosahuje srovnatelného výkonu s řádově menším počtem parametrů než standardní modely. Protože jsme se zaměřili na matematickou eleganci místo hrubého škálování.
Výhoda architektury
Zastánci škálování přehlížejí toto: na architektuře záleží víc než na velikosti.
Můžete mít bilion parametrů uspořádaných hloupě, nebo miliardu parametrů uspořádaných inteligentně. Inteligentní uspořádání vyhraje pokaždé.
Architektury Mixture of Experts (MoE) to dokazují. Místo aktivace všech parametrů pro každý úkol aktivujte pouze relevantní podmnožinu. Najednou získáte výkon bilionu parametrů s náklady na výpočet miliardy parametrů.
Binární neuronové sítě to posouvají dál. Každá operace je matematicky jednodušší, ale celková architektura je sofistikovanější. Uvažování založené na omezeních místo pravděpodobnostní aproximace. Diskrétní logika místo odhadů s plovoucí řádovou čárkou.
Výsledkem jsou systémy, které uvažují, ne jen vyhledávají. Které chápou strukturu, ne jen memorují vzorce. Které pracují spolehlivě, ne jen věrohodně halucinují.
Tohle je budoucnost, kam se škálovací zákony nedostanou: skutečná inteligence, ne jen větší napodobování.
Za iluzí
Éra škálování končí. Ne dramatickým pádem, ale pomalým poznáním, že házet na problém další výpočetní výkon už nefunguje.
Datové zdi. Kolaps kvality. Limity výpočetního výkonu. Klesající výnosy. Tohle nejsou dočasné překážky. Jsou to základní limity paradigmatu škálování.
Ale pro ty, kteří iluzi nikdy nevěřili, tohle není krize. Je to příležitost.
Příležitost postavit AI na skutečných principech inteligence místo statistické korelace. Vytvořit systémy, které pracují efektivně, ne plýtvavě. Vyvinout technologie, které jsou dostupné, ne ty, co vyžadují rozpočty v miliardách dolarů.
Závod o biliony parametrů byl vždy slepou uličkou. Jen jsme museli počkat, až na zeď narazí všichni ostatní, aby se to dokázalo.
Skutečný pokrok
Ironií je, že skutečný pokrok v AI nebude větší model. Bude to poznání, že jsme optimalizovali špatnou věc.
Ne více parametrů. Lepší architektura.
Ne více dat. Lepší učení.
Ne více výpočetního výkonu. Chytřejší matematika.
Binární neuronové sítě představují tento posun. Od akumulace k eleganci. Od hrubé síly k matematické přesnosti. Od příšer s biliony parametrů k systémům s miliardami parametrů, které skutečně přemýšlejí.
Platforma Dweve dokazuje, že to funguje: Core jako rámec pro binární algoritmy, Loom jako inteligentní model specializovaný na 456 domén, Nexus jako rámec pro multiagentní inteligenci, Aura jako platforma pro orchestráci autonomních agentů, Fabric jako jednotný dashboard a řídicí centrum, Mesh jako decentralizovaná infrastrukturní vrstva.
Vše postavené na principu, že inteligence pochází ze struktury, ne z velikosti.
Volba, která nás čeká
Odvětví AI stojí před volbou. Buď bude dál honit iluzi škálování, házet dobré peníze za špatné a doufat, že další řádová velikost konečně prolomí zdi. Nebo přijme, že paradigma má své limity, a přejde k něčemu lepšímu.
Data říkají, že škálování skončilo. Fyzika říká, že náklady na výpočetní výkon jsou neudržitelné. Matematika říká, že existují chytřejší přístupy.
Evropa nemusí vyhrát závod ve škálování. Evropa ho musí učinit zastaralým. Postavit AI, která nevyžaduje modely s biliony parametrů. Vytvořit systémy, které pracují efektivně místo plýtvání. Vyvinout technologie založené na porozumění, ne na memorování.
Velká iluze umělé inteligence se hroutí. Více dat ji nezachrání. Větší modely ji nezachrání. Více výpočetního výkonu ji nezachrání.
Co iluzi prolomí? Poznání, že inteligence nikdy nebyla o velikosti.
Budoucnost umělé inteligence není o bilionech parametrů. Je o chytrých architekturách, efektivním výpočtu a matematické eleganci. Je o systémech navržených pro porozumění, ne pro memorování. Inteligence skrze strukturu, ne skrze hromadění.
Paradigma škálování splnilo svůj účel. Ukázalo nám, čeho lze dosáhnout hrubou silou. Ale nyní jsme narazili na jeho limity. Další kapitola umělé inteligence vyžaduje jiné myšlení: přesnost nad rozsahem, architekturu nad parametry, inteligenci nad velikostí.
Tato budoucnost se buduje právě teď. Výzkumníky, kteří se zaměřují na efektivitu. Inženýry, kteří upřednostňují vysvětlitelnost. Společnostmi, které vyvíjejí umělou inteligenci fungující bez potřeby datacentrové infrastruktury. Evropa má příležitost tuto změnu vést, ne tím, že vyhraje závod ve škálování, ale tím, že ho učiní irelevantním.
Velká iluze umělé inteligence se hroutí. Více dat ji nezachrání. To, co přijde dál, bude chytřejší.
Dweve staví umělou inteligenci na binárních omezujících sítích a architekturách směsi doménových specialistů. Loom používá 456 doménových specialistů pro efektivní uvažování. Vývoj v Nizozemsku, služby evropským organizacím. Budoucnost umělé inteligence je elegantní, ne jen velká.