Wielka iluzja AI: dlaczego „więcej danych” nas nie uratuje
Urojenie biliona parametrów
W AI trwa wyścig. Nie wyścig o budowanie lepszych systemów. Nie wyścig o rozwiązywanie prawdziwych problemów. Wyścig o budowanie większych liczb.
Sto miliardów parametrów. Pięćset miliardów. Bilion. Dziesięć bilionów. Każde ogłoszenie witane pełnymi zachwytu komunikatami prasowymi i szybującymi cenami akcji. Każdy model sprzedawany jako kolejny przełom w sztucznej inteligencji.
Tyle że to nie są przełomy. Są po prostu większe.
I gdzieś po drodze cała branża przekonała samą siebie, że większe znaczy lepsze. Że więcej parametrów to więcej inteligencji. Że jeśli tylko będziemy zwiększać skalę, dodawać zera, pochłaniać coraz więcej danych i mocy obliczeniowej, w końcu przypadkiem trafimy na sztuczną inteligencję ogólną.
To największa iluzja współczesnej technologii. I właśnie pęka.
Ewangelia praw skalowania
W 2020 roku naukowcy odkryli coś, co nazwali „prawami skalowania". Podaj sieci neuronowej więcej parametrów i więcej danych, a jej wydajność poprawia się w przewidywalny sposób. Podwój parametry, zmniejsz o połowę wskaźnik błędów. To było piękne. Matematyczne. Powtarzalne.
Prawa skalowania stały się ewangelią. Planujesz badania nad AI? Po prostu skaluj. Chcesz lepszą wydajność? Dodaj więcej parametrów. Musisz konkurować? Buduj większe modele.
Każde duże laboratorium przyjęło tę samą strategię: większe modele, więcej danych, więcej mocy obliczeniowej. GPT-3 miał 175 miliardów parametrów. GPT-4 poszedł dalej. Gemini jeszcze dalej. Ogłoszono modele z bilionem parametrów. Dyskutowano o dziesięciu bilionach.
Ta logika wydawała się nie do podważenia: skoro skalowanie działało do tej pory, dlaczego miałoby przestać?
Tylko że przestaje. Właśnie teraz.
Ściana, której nikt nie przewidział
Pod koniec 2024 roku wydarzyło się coś nieoczekiwanego. Następna generacja flagowych modeli nie wykazała oczekiwanych popraw.
Dwa razy więcej parametrów. Trzy razy więcej danych treningowych. Dziesięć razy więcej mocy obliczeniowej. A wydajność ledwo drgnęła. W niektórych przypadkach pogorszyła się.
Prawa skalowania, które tak niezawodnie działały przez lata, zaczęły się załamywać. Malejące zyski nie były już tylko teorią. Były tutaj.
TechCrunch poinformował w listopadzie 2024 roku, że prawa skalowania AI „wykazują malejące zyski, zmuszając laboratoria AI do zmiany kursu". DeepLearning.AI udokumentował, jak duże firmy przyznały, że „następna generacja głośnych modeli nie wykazała oczekiwanych popraw pomimo większych architektur, większej ilości danych treningowych i większej mocy obliczeniowej".
Dowody są jasne: skalowanie uderzyło w ścianę. Właściwie w kilka ścian.
Ściana danych
Pierwsza ściana: kończą nam się wysokiej jakości dane treningowe.
Duże modele językowe konsumują internet. Dosłownie. GPT-3 był trenowany na setkach miliardów słów zebranych ze stron internetowych, książek, artykułów, forów. Na każdym w miarę dostępnym fragmencie ludzkiego tekstu w sieci.
Ale internet ma swoje granice. Badania opublikowane w 2022 roku przewidywały, że wyczerpiemy wysokiej jakości dane tekstowe między 2026 a 2032 rokiem, jeśli obecne trendy się utrzymają. Analiza Epoch AI wykazała, że choć wcześniejsze szacunki sugerowały wyczerpanie do 2024 roku, udoskonalona metodologia wskazuje teraz, że może to nastąpić do 2028 roku.
Tak czy inaczej, czas ucieka. Wysokiej jakości tekst tworzony przez ludzi jest skończony.
Odpowiedź? Dane syntetyczne. Modele generujące tekst, aby trenować inne modele. Brzmi sprytnie, dopóki nie uświadomisz sobie, że to jak robienie kserokopii z kserokopii. Każda kolejna generacja się pogarsza. Błędy się kumulują. Uprzedzenia się wzmacniają.
W 2024 roku czasopismo Nature opublikowało badania pokazujące, że modele trenowane na rekurencyjnie generowanych danych doświadczają „załamania modelu". Badanie wykazało, że bezrefleksyjne trenowanie na treściach syntetycznych prowadzi do pogarszającej się wydajności, mniejszej różnorodności, a ostatecznie do modeli AI generujących coraz bardziej schematyczne wyniki.
Nie możesz skalować w nieskończoność, gdy twoje źródło paliwa jest skończone. A dane wysokiej jakości, prawdziwa ludzka wiedza, są naprawdę bardzo ograniczone.
Załamanie jakości
Druga ściana: więcej danych nie oznacza lepszych danych.
Opublikowany w 2022 roku artykuł o modelu Chinchilla ujawnił coś kluczowego: optymalny model to nie największy model. To ten z najlepszym stosunkiem parametrów do tokenów treningowych. Na każde 4-krotne zwiększenie mocy obliczeniowej potrzebujesz 2-krotnego zwiększenia rozmiaru modelu ORAZ 2-krotnego zwiększenia jakości danych.
Ale co się dzieje, gdy wykorzystałeś już wszystkie dobre dane? Zaczynasz pozyskiwać źródła niższej jakości. Fora z dezinformacją. Treści tłumaczone maszynowo. Spam generowany przez AI. Resztki internetu.
Więcej danych treningowych. Gorsza wydajność. Bo zasada „śmieci na wejściu, śmieci na wyjściu" nie przestaje być prawdziwa tylko dlatego, że masz bilion parametrów.
Badanie z 2024 roku wykazało, że dla małych modeli językowych jakość danych ma większe znaczenie niż ich ilość. Inne wykazało, że starannie dobrane zbiory danych liczące 1 milion przykładów osiągają lepsze wyniki niż losowo zebrane zbiory liczące 100 milionów przykładów.
Reakcja branży? I tak dalej skalować. Rzucać więcej mocy obliczeniowej na problem. Mieć nadzieję, że brutalna siła pokona złe dane.
Nie pokona.
Sufit mocy obliczeniowej
Trzecia ściana: fizyka obliczeń.
Wytrenowanie modelu z bilionem parametrów wymaga niewyobrażalnych ilości mocy obliczeniowej. Mówimy o dziesiątkach tysięcy procesorów graficznych pracujących przez miesiące. Zużycie energii dorównujące małym krajom. Koszty infrastruktury sięgające setek milionów.
I po co? Marginalne ulepszenia. Zyski wydajnościowe, które ledwo uzasadniają wykładniczy wzrost kosztów.
Jedno z szacunków sugeruje, że wytrenowanie hipotetycznego modelu z 10 bilionami parametrów zużyłoby więcej energii elektrycznej niż niektóre państwa europejskie zużywają rocznie. Na jeden cykl treningowy. Który prawdopodobnie trzeba będzie powtórzyć dziesiątki razy, zanim zadziała.
Zwroty ekonomiczne nie uzasadniają już kosztów obliczeniowych. Prawa skalowania obiecywały liniową poprawę przy liniowych inwestycjach. Rzeczywistość dostarcza logarytmiczną poprawę przy wykładniczych inwestycjach.
To nie jest model biznesowy. To bańka, która czeka, aż pęknie.
Iluzja inteligencji
Ale jest głębszy problem: nawet gdy skalowanie działało, nie tworzyło inteligencji. Tworzyło statystyczne dopasowywanie wzorców na ogromną skalę.
Bilion parametrów nie myśli. Nie rozumuje. Nie rozumie. Przewiduje następny token na podstawie wzorców w danych treningowych. To coś fundamentalnie innego niż inteligencja.
Iluzja jest przekonująca, ponieważ skala może przybliżać zrozumienie. Podaj modelowi wystarczająco dużo przykładów, a dopasuje wzorce do pozornie inteligentnych odpowiedzi. Ale to naśladownictwo, nie rozumienie.
Dlatego modele zawodzą przy nowych problemach. Dlatego nie potrafią niezawodnie prowadzić wieloetapowego rozumowania. Dlatego z pewnością siebie halucynują nieprawdziwe fakty. Nie myślą. Pobierają i łączą wzorce.
I żadne skalowanie tego nie naprawi. Dodanie większej liczby parametrów do dopasowywacza wzorców daje tylko większy dopasowywacz wzorców.
Europejska pułapka
Dla Europy paradygmat skalowania tworzy niemożliwą sytuację.
Amerykańskie giganty technologiczne mają moc obliczeniową. Mają dane. Mają infrastrukturę do trenowania modeli z bilionami parametrów. Europejskie firmy nie mają.
Próba konkurowania w wyścigu skalowania oznacza, że europejska AI zawsze będzie gonić. Zawsze o pokolenie z tyłu. Zawsze słabsza pod względem mocy obliczeniowej i wydatków na zbieranie danych.
To gra ustawiona od początku. Zasady faworyzują tych, którzy mają najwięcej zasobów, nie tych, którzy mają najlepsze pomysły.
A teraz, gdy prawa skalowania się załamują, przewaga Europy w tym wyścigu staje się nieistotna. Bo sam wyścig się kończy.
Mądrzejsza alternatywa
Więc jaka jest alternatywa? Jeśli większe nie znaczy lepsze, to co znaczy?
Odpowiedzią jest elegancja. Efektywność. Matematyczny rygor.
W Dweve nigdy nie kupiliśmy iluzji skalowania. Nie próbowaliśmy budować większych modeli. Zbudowaliśmy mądrzejsze.
Binarne sieci neuronowe z 456 specjalistami domenowymi. Każdy specjalista domenowy skupia się na określonych typach rozumowania. Rzadka aktywacja oznacza, że dla każdego zadania angażują się tylko odpowiedni specjaliści domenowi. Żadnych zmarnowanych obliczeń. Żadnych niepotrzebnych parametrów.
Efekt? Najnowocześniejsza wydajność przy ułamku parametrów. Lepsze rozumowanie przy mniejszych danych. Systemy wdrażalne, które nie wymagają infrastruktury na skalę centrum danych.
Loom 456 nie próbuje zapamiętać internetu. Jest zaprojektowany, aby rozumować w ramach ograniczeń, przemyśliwać problemy, faktycznie rozumieć strukturę.
To inteligencja przez architekturę, nie przez akumulację.
Jakość ponad ilość
Artykuł Chinchilla miał jedną rację: proporcje mają znaczenie bardziej niż surowe liczby.
Ale prawdziwy wgląd sięga głębiej: starannie zaprojektowane modele z dopracowanymi reżimami treningowymi przewyższają ogromne modele z bezładnym gromadzeniem danych.
Pomyśl o ludzkim uczeniu się. Nie stajesz się mądry przez czytanie wszystkiego. Stajesz się mądry przez czytanie właściwych rzeczy, we właściwej kolejności, z właściwym prowadzeniem. Jakość uczenia się ma większe znaczenie niż ilość informacji.
AI nie jest inne. Model wytrenowany na dobrze ustrukturyzowanych, starannie dobranych danych przewyższy model tonący w przypadkowym tekście z internetu. Nawet jeśli drugi model ma 100× więcej parametrów.
To tutaj Europa może konkurować. Nie przez budowanie większego, ale przez budowanie lepszego. Nie przez zbieranie większej ilości danych, ale przez stosowanie mądrzejszych reżimów treningowych.
Dweve Core demonstruje tę zasadę. Nasz framework sieci neuronowych binarnej osiąga konkurencyjną wydajność przy o rzędy wielkości mniejszej liczbie parametrów niż standardowe modele. Ponieważ skupiliśmy się na elegancji matematycznej zamiast na skalowaniu siłowego.
Przewaga architektury
Oto, co umyka zwolennikom skalowania: architektura znaczy więcej niż rozmiar.
Możesz mieć bilion parametrów ułożonych głupio albo miliard parametrów ułożonych inteligentnie. Inteligentne ułożenie wygrywa za każdym razem.
Architektury Mixture of Experts (MoE) to udowadniają. Zamiast aktywować wszystkie parametry dla każdego zadania, aktywuj tylko istotny podzbiór. Nagle osiągasz wydajność biliona parametrów przy kosztach obliczeniowych miliarda.
Binarne sieci neuronowe idą o krok dalej. Każda operacja jest matematycznie prostsza, ale cała architektura jest bardziej wyrafinowana. Rozumowanie oparte na ograniczeniach zamiast probabilistycznego przybliżania. Logika dyskretna zamiast zgadywania na liczbach zmiennoprzecinkowych.
Efekt to systemy, które rozumują, a nie wyszukują. Które rozumieją strukturę, a nie zapamiętują wzorce. Które działają niezawodnie, zamiast halucynować wiarygodnie.
To przyszłość, do której prawa skalowania nie sięgają: prawdziwa inteligencja, nie tylko większe naśladownictwo.
Poza iluzją
Era skalowania dobiega końca. Nie przez dramatyczny upadek, ale przez powolne uświadomienie sobie, że rzucanie większej mocy obliczeniowej na problem już nie działa.
Ściany danych. Załamanie jakości. Sufity obliczeniowe. Malejące zyski. To nie są chwilowe przeszkody. To fundamentalne ograniczenia paradygmatu skalowania.
Ale dla tych, którzy nigdy nie uwierzyli w iluzję, to nie jest kryzys. To szansa.
Szansa na zbudowanie sztucznej inteligencji opartej na rzeczywistych zasadach inteligencji, a nie na korelacji statystycznej. Na stworzenie systemów, które działają wydajnie, a nie marnotrawnie. Na opracowanie technologii, która jest dostępna, a nie wymaga budżetów liczonych w miliardach dolarów.
Wyścig o bilion parametrów zawsze był ślepą uliczką. Musieliśmy tylko poczekać, aż wszyscy inni uderzą w ścianę, żeby to udowodnić.
Prawdziwy postęp
I tu jest ironia: prawdziwy postęp w AI nie będzie polegał na większym modelu. Będzie polegał na uświadomieniu sobie, że optymalizowaliśmy pod kątem niewłaściwej rzeczy.
Nie więcej parametrów. Lepsza architektura.
Nie więcej danych. Lepsze uczenie.
Nie więcej mocy obliczeniowej. Mądrzejsza matematyka.
Binarne sieci neuronowe reprezentują tę zmianę. Od akumulacji do elegancji. Od brutalnej siły do matematycznego rygoru. Od potworów z bilionem parametrów do systemów z miliardem parametrów, które naprawdę myślą.
Platforma Dweve udowadnia, że to działa: Core jako platforma algorytmów binarnych, Loom jako model inteligencji specjalizujący się w 456 domenach, Nexus jako platforma inteligencji wieloagentowej, Aura jako platforma orkiestracji autonomicznych agentów, Fabric jako ujednolicony pulpit i centrum sterowania, Mesh jako zdecentralizowana warstwa infrastruktury.
Wszystko zbudowane na zasadzie, że inteligencja pochodzi ze struktury, a nie z rozmiaru.
Wybór przed nami
Branża AI stoi przed wyborem. Kontynuować pogoń za iluzją skalowania, dokładając złego do złego, mając nadzieję, że kolejny rząd wielkości jakoś przebije się przez ściany. Albo zaakceptować, że paradygmat ma ograniczenia, i przejść do czegoś lepszego.
Dane mówią, że skalowanie się skończyło. Fizyka mówi, że koszty obliczeniowe są nie do utrzymania. Matematyka mówi, że istnieją mądrzejsze podejścia.
Europa nie musi wygrać wyścigu o skalowanie. Europa musi go unieważnić. Zbudować AI, która nie wymaga modeli z bilionem parametrów. Stworzyć systemy, które działają wydajnie, a nie marnotrawnie. Opracować technologię opartą na zrozumieniu, a nie na zapamiętywaniu.
Wielka iluzja AI pęka. Więcej danych jej nie uratuje. Większe modele jej nie uratują. Większa moc obliczeniowa jej nie uratuje.
Co przełamuje tę iluzję? Uświadomienie sobie, że inteligencja nigdy nie polegała na rozmiarze.
Przyszłość AI to nie biliony parametrów. To inteligentne architektury, wydajne obliczenia i matematyczna elegancja. To systemy zaprojektowane do rozumienia, nie do zapamiętywania. Inteligencja poprzez strukturę, nie przez akumulację.
Paradygmat skalowania spełnił swoje zadanie. Pokazał nam, co może osiągnąć brute force. Ale teraz dotarliśmy do jego granic. Następny rozdział AI wymaga innego myślenia: precyzja zamiast skali, architektura zamiast parametrów, inteligencja zamiast rozmiaru.
Ta przyszłość powstaje już teraz. Tworzą ją naukowcy skupieni na wydajności. Inżynierowie stawiający na wyjaśnialność. Firmy rozwijające AI, które działa bez infrastruktury centrów danych. Europa ma szansę przewodzić tej zmianie, nie wygrywając wyścigu skalowania, ale czyniąc go nieistotnym.
Wielka iluzja AI pęka. Więcej danych jej nie uratuje. To, co nadejdzie, będzie mądrzejsze.
Dweve buduje AI na binarnych sieciach ograniczeń i architekturach mieszanych specjalistów domenowych. Loom wykorzystuje 456 specjalistów domenowych do wydajnego rozumowania. Rozwój w Holandii, obsługa europejskich organizacji. Przyszłość AI jest elegancka, nie tylko wielka.