Den stora AI-illusionen: varför "mer data" inte räddar oss
Trillionparametervillan
Det pågår ett kapplöpning inom AI. Inte ett lopp för att bygga bättre system. Inte ett lopp för att lösa verkliga problem. Ett lopp för att bygga större siffror.
Hundra miljarder parametrar. Femhundra miljarder. En biljon. Tio biljoner. Varje tillkännagivande möts av andlösa pressmeddelanden och stigande aktiekurser. Varje modell marknadsförs som nästa framsteg inom artificiell intelligens.
Men de är inte framsteg. De är bara större.
Och någonstans på vägen övertygade hela branschen sig själv om att större är lika med bättre. Att fler parametrar innebär mer intelligens. Att om vi bara fortsätter skala upp, fortsätter lägga till nollor, fortsätter konsumera mer data och mer beräkningskraft, kommer vi så småningom att snubbla in i artificiell allmän intelligens.
Det är den största illusionen inom modern teknik. Och den håller på att spricka.
Skalningslagens evangelium
År 2020 upptäckte forskare det de kallade "skalningslagar". Mata ett neuralt nätverk med fler parametrar och mer data, så förbättras prestandan förutsägbart. Fördubbla parametrarna, halvera felfrekvensen. Det var vackert. Matematiskt. Repeterbart.
Skalningslagarna blev evangelium. Planerar du AI-forskning? Skala bara upp. Vill du ha bättre prestanda? Lägg till fler parametrar. Behöver du konkurrera? Bygg större modeller.
Varje stort labb antog samma strategi: större modeller, mer data, mer beräkningskraft. GPT-3 hade 175 miljarder parametrar. GPT-4 gick längre. Gemini pressade vidare. Modeller med en biljon parametrar tillkännagavs. Tio biljoner diskuterades.
Logiken verkade oantastlig: om skalning har fungerat hittills, varför skulle den sluta fungera?
Men den slutar fungera. Just nu.
Väggen ingen förutspådde
I slutet av 2024 hände något oväntat. Nästa generation flaggskeppsmodeller visade inte de förväntade förbättringarna.
Dubbelt så många parametrar. Tredubblad träningsdata. Tio gånger mer beräkningskraft. Och prestandan rörde sig knappt. I vissa fall blev den sämre.
Skalningslagarna, som hade hållit så tillförlitligt i åratal, började brytas ner. Avtagande avkastning var inte längre teoretiskt. Den var här.
TechCrunch rapporterade i november 2024 att AI:s skalningslagar "visar avtagande avkastning, vilket tvingar AI-labb att ändra kurs." DeepLearning.AI dokumenterade hur stora företag medgav att "nästa generation av uppmärksammade modeller inte har visat de förväntade förbättringarna trots större arkitekturer, mer träningsdata och mer processorkraft."
Bevisen är tydliga: skalningen har nått en vägg. Flera väggar, faktiskt.
Dataväggen
Första väggen: vi håller på att ta slut på kvalitativ träningsdata.
Stora språkmodeller konsumerar internet. Bokstavligen. GPT-3 tränades på hundratals miljarder ord skrapade från webbplatser, böcker, artiklar och forum. Varje någorlunda tillgänglig mänsklig text på nätet.
Men det finns bara så mycket internet. Forskning publicerad 2022 förutspådde att vi kommer att uttömma högkvalitativ textdata mellan 2026 och 2032 om nuvarande trender fortsätter. Epoch AI:s analys visade att även om tidigare uppskattningar antydde uttömning till 2024, indikerar förfinad metodik nu att detta kan ske till 2028.
Oavsett vilket tickar klockan. Högkvalitativ mänskligt genererad text är ändlig.
Svaret? Syntetisk data. Modeller som genererar text för att träna andra modeller. Det låter smart tills du inser att det är som att kopiera kopior. Varje generation försämras. Fel ackumuleras. Bias förstärks.
Nature publicerade forskning 2024 som visade att modeller som tränats på rekursivt genererad data drabbas av "model collapse". Studien visade att oselektiv träning på syntetiskt innehåll leder till försämrad prestanda, minskad mångfald och i slutändan AI-modeller som producerar allt mer generiska resultat.
Du kan inte skala oändligt när din bränslekälla är ändlig. Och kvalitetsdata, riktig mänsklig kunskap, är mycket ändlig.
Kvalitetskollapsen
Andra väggen: mer data betyder inte bättre data.
Chinchilla-pappret från 2022 avslöjade något avgörande: den optimala modellen är inte den största modellen. Det är den med bäst förhållande mellan parametrar och träningstokens. För varje 4× ökning av beräkningskraft behöver du en 2× ökning av modellstorlek OCH en 2× ökning av datakvalitet.
Men vad händer när du redan har använt all bra data? Du börjar skrapa källor av lägre kvalitet. Forum med desinformation. Maskinöversatt innehåll. AI-genererad spam. Internetets bottenskrap.
Mer träningsdata. Sämre prestanda. För att skräp in, skräp ut slutar inte vara sant bara för att du har en biljon parametrar.
En studie från 2024 visade att datakvalitet betyder mer än kvantitet för små språkmodeller. En annan visade att noggrant kurerade dataset med 1 miljon exempel överträffar slumpmässigt insamlade dataset med 100 miljoner exempel.
Branschens svar? Fortsätt skala ändå. Kasta mer beräkningskraft på problemet. Hoppas att råstyrka övervinner dålig data.
Det gör den inte.
Beräkningskraftens tak
Tredje väggen: fysiken bakom beräkning.
Att träna en modell med en biljon parametrar kräver ofattbara mängder beräkningskraft. Vi pratar om tiotusentals GPU:er som körs i månader. Energiförbrukning som konkurrerar med små länder. Infrastrukturkostnader i hundratals miljoner.
Och för vad? Marginella förbättringar. Prestandavinster som knappt rättfärdigar den exponentiella kostnadsökningen.
En uppskattning tyder på att träning av en hypotetisk modell med 10 biljoner parametrar skulle förbruka mer el än vissa europeiska nationer använder årligen. För en enda träningskörning. Som troligen måste upprepas dussintals gånger innan det fungerar.
De ekonomiska avkastningarna motiverar inte längre beräkningskostnaderna. Skalningslagarna lovade linjära förbättringar med linjära investeringar. Verkligheten levererar logaritmiska förbättringar med exponentiella investeringar.
Det är ingen affärsmodell. Det är en bubbla som väntar på att spricka.
Intelligensillusionen
Men här är det djupare problemet: även när skalningen fungerade skapade den inte intelligens. Den skapade statistisk mönstermatchning i enorm skala.
En biljon parametrar tänker inte. De resonerar inte. De förstår inte. De förutsäger nästa token baserat på mönster i träningsdata. Det är något fundamentalt annorlunda än intelligens.
Illusionen är övertygande eftersom skala kan närma sig förståelse. Mata en modell med tillräckligt många exempel, så kan den mönstermatcha sig fram till till synes intelligenta svar. Men det är imitation, inte förståelse.
Det är därför modeller misslyckas med nya problem. Varför de inte på ett tillförlitligt sätt kan utföra flerstegsresonemang. Varför de hallucinerar självsäkert felaktiga fakta. De tänker inte. De hämtar och kombinerar mönster.
Och ingen mängd skalning åtgärdar detta. Att lägga till fler parametrar till en mönstermatchningsmaskin ger dig bara en större mönstermatchningsmaskin.
Den europeiska fällan
För Europa skapar skalningsparadigmet en omöjlig situation.
Amerikanska techjättar har beräkningskraften. De har datan. De har infrastrukturen för att träna modeller med en biljon parametrar. Europeiska företag har det inte.
Att försöka konkurrera i skalningsracet innebär att europeisk AI alltid kommer att jaga ifatt. Alltid en generation efter. Alltid underlägsna i beräkningskraft och överspelade i datainsamling.
Det är ett spel riggat från början. Reglerna gynnar dem med mest resurser, inte dem med bäst idéer.
Och nu, när skalningslagarna bryter samman, blir Europas nackdel i det racet irrelevant. För racet i sig är på väg att ta slut.
Det smartare alternativet
Så vad är alternativet? Om större inte är bättre, vad är då det?
Svaret är elegans. Effektivitet. Matematisk stringens.
På Dweve köpte vi aldrig skalningsillusionen. Vi försökte inte bygga större modeller. Vi byggde smartare sådana.
Binära neurala nätverk med 456 domänexperter. Varje domänexpert fokuserar på specifika typer av resonemang. Sparse aktivering innebär att endast de relevanta domänexperterna engageras för varje uppgift. Inget bortkastat beräkningsarbete. Inga onödiga parametrar.
Resultatet? Toppmodern prestanda med en bråkdel av parametrarna. Bättre resonemang med mindre data. Distribuerbara system som inte kräver infrastruktur i datacenterklass.
Loom 456 försöker inte memorera internet. Det är designat för att resonera med begränsningar, att tänka igenom problem, att faktiskt förstå struktur.
Detta är intelligens genom arkitektur, inte genom ackumulering.
Kvalitet framför kvantitet
Chinchilla-artikeln fick en sak rätt: förhållandet spelar större roll än råsiffrorna.
Men den verkliga insikten går djupare: noggrant designade modeller med kurerade träningsregimer överträffar massiva modeller med urskillningslös datahamstring.
Tänk på mänskligt lärande. Du blir inte smart av att läsa allt. Du blir smart av att läsa rätt saker, i rätt ordning, med rätt vägledning. Kvaliteten på lärandet spelar större roll än mängden information.
AI är inte annorlunda. En modell tränad på välstrukturerad, noggrant kurerad data kommer att överträffa en modell som drunknar i slumpmässig internettext. Även om den andra modellen har 100× fler parametrar.
Det är här Europa kan konkurrera. Inte genom att bygga större, utan genom att bygga bättre. Inte genom att skrapa mer data, utan genom att använda smartare träningsregimer.
Dweve Core demonstrerar denna princip. Vårt ramverk för binära neurala nätverk uppnår konkurrenskraftig prestanda med storleksordningar färre parametrar än standardmodeller. Eftersom vi fokuserade på matematisk elegans i stället för brute force-skalning.
Arkitekturens fördel
Det här är vad skalningsförespråkarna missar: arkitekturen betyder mer än storleken.
Du kan ha en biljon parametrar arrangerade dumt, eller en miljard parametrar arrangerade intelligent. Den intelligenta arrangemanget vinner varje gång.
Mixture of Experts-arkitekturer (MoE) bevisar detta. I stället för att aktivera alla parametrar för varje uppgift aktiveras bara den relevanta delmängden. Plötsligt får du prestanda i paritet med en biljon parametrar till beräkningskostnaden för en miljard.
Binära neurala nätverk tar detta längre. Varje operation är matematiskt enklare, men den övergripande arkitekturen är mer sofistikerad. Begränsningsbaserat resonemang i stället för probabilistisk approximation. Diskret logik i stället för flyttalsgissningar.
Resultatet är system som resonerar i stället för att hämta. Som förstår struktur i stället för att memorera mönster. Som arbetar tillförlitligt i stället för att hallucinera trovärdigt.
Det här är framtiden som skalningslagarna inte kan nå: verklig intelligens, inte bara större imitation.
Bortom illusionen
Skalans era är över. Inte med en dramatisk krasch, utan med en långsam insikt om att kasta mer beräkningskraft på problemet inte längre fungerar.
Dataväggar. Kvalitetskollaps. Beräkningsgränser. Avtagande avkastning. Det här är inte tillfälliga motgångar. Det är grundläggande gränser för skalningsparadigmet.
Men för dem som aldrig trodde på illusionen är detta inte en kris. Det är en möjlighet.
En möjlighet att bygga AI baserad på faktiska intelligensprinciper snarare än statistisk korrelation. Att skapa system som fungerar effektivt snarare än slösaktigt. Att utveckla teknik som är tillgänglig snarare än att kräva miljardbudgetar.
Kapplöpningen mot en biljon parametrar var alltid en återvändsgränd. Vi behövde bara vänta på att alla andra skulle slå i väggen för att bevisa det.
Det verkliga framsteget
Här är ironin: det verkliga framsteget inom AI kommer inte att vara en större modell. Det kommer att vara en insikt om att vi har optimerat för fel sak.
Inte fler parametrar. Bättre arkitektur.
Inte mer data. Bättre lärande.
Inte mer beräkningskraft. Smartare matematik.
Binära neurala nätverk representerar detta skifte. Från ackumulering till elegans. Från brute force till matematisk rigor. Från monster med en biljon parametrar till system med en miljard parametrar som faktiskt tänker.
Dweves plattform bevisar att det fungerar: Core som ramverket för binära algoritmer, Loom som intelligensmodellen specialiserad på 456 domäner, Nexus som ramverket för multi-agent-intelligens, Aura som orkestreringsplattformen för autonoma agenter, Fabric som den enhetliga instrumentpanelen och kontrollcentret, Mesh som det decentraliserade infrastrukturlagret.
Allt byggt på principen att intelligens kommer från struktur, inte storlek.
Valet framför oss
AI-branschen står inför ett val. Fortsätta jaga skalningsillusionen, kasta goda pengar efter dåliga, hoppas att nästa storleksordning på något sätt ska bryta igenom väggarna. Eller acceptera att paradigmet har gränser och gå vidare till något bättre.
Datan säger att skalningen är över. Fysiken säger att beräkningskostnaderna är ohållbara. Matematiken säger att det finns smartare tillvägagångssätt.
Europa behöver inte vinna skalningskapplöpningen. Europa behöver göra den föråldrad. Bygg AI som inte kräver modeller med en biljon parametrar. Skapa system som fungerar effektivt istället för slösaktigt. Utveckla teknik som bygger på förståelse, inte memorering.
Den stora AI-illusionen håller på att brista. Mer data kommer inte att rädda den. Större modeller kommer inte att rädda den. Mer beräkningskraft kommer inte att rädda den.
Vad är det som bryter illusionen? Insikten att intelligens aldrig handlade om storlek från första början.
AI:ns framtid handlar inte om biljoner parametrar. Den handlar om smarta arkitekturer, effektiv beräkning och matematisk elegans. System som är designade för förståelse, inte memorering. Intelligens genom struktur, inte ackumulering.
Skalningsparadigmet fyllde sin funktion. Det visade oss vad råstyrka kan åstadkomma. Men nu har vi nått dess gränser. Nästa kapitel för AI kräver ett annat tänkande: precision framför skala, arkitektur framför parametrar, intelligens framför storlek.
Den framtiden byggs just nu. Av forskare som fokuserar på effektivitet. Av ingenjörer som prioriterar förklarbarhet. Av företag som utvecklar AI som fungerar utan att kräva datacenterinfrastruktur. Europa har en möjlighet att leda denna förändring, inte genom att vinna skalningsracet, utan genom att göra det irrelevant.
Den stora AI-illusionen håller på att brista. Mer data kommer inte att rädda den. Det som kommer härnäst kommer att vara smartare.
Dweve bygger AI på binära begränsningsnätverk och arkitekturer med blandade domänexperter. Loom använder 456 domänexperter för effektivt resonerande. Utveckling i Nederländerna, som betjänar europeiska organisationer. AI:ns framtid är elegant, inte bara stor.