Den store AI-illusion: hvorfor "mere data" ikke redder os
Vrangforestillingen om billioner af parametre
Der foregår et kapløb i AI-verdenen. Ikke et kapløb om at bygge bedre systemer. Ikke et kapløb om at løse reelle problemer. Et kapløb om at bygge større tal.
Hundrede milliarder parametre. Fem hundrede milliarder. En billion. Ti billioner. Hver meddelelse bliver mødt med åndeløse pressemeddelelser og stigende aktiekurser. Hver model markedsføres som det næste fremskridt inden for kunstig intelligens.
Men de er ikke fremskridt. De er bare større.
Og et sted undervejs overbeviste hele branchen sig selv om, at større er lig med bedre. At flere parametre betyder mere intelligens. At hvis vi bare bliver ved med at skalere op, blive ved med at lægge nuller til, blive ved med at forbruge mere data og mere regnekraft, vil vi til sidst snuble ind i kunstig generel intelligens.
Det er den største illusion i moderne teknologi. Og den er ved at revne.
Skaleringslovenes evangelium
I 2020 opdagede forskere det, de kaldte "skaleringslove." Giv et neuralt netværk flere parametre og mere data, og dets ydeevne forbedres forudsigeligt. Fordobl parametrene, halvér fejlraten. Det var smukt. Matematisk. Gentageligt.
Skaleringslovene blev et evangelium. Planlægger du AI-forskning? Bare skaler op. Vil du have bedre ydeevne? Tilføj flere parametre. Skal du konkurrere? Byg større modeller.
Ethvert større laboratorium tog samme strategi i brug: større modeller, mere data, mere regnekraft. GPT-3 havde 175 milliarder parametre. GPT-4 blev større. Gemini gik længere. Modeller med en billion parametre blev annonceret. Ti billioner blev diskuteret.
Logikken forekom uangribelig: hvis skalering har virket indtil nu, hvorfor skulle den så stoppe?
Men den stopper. Lige nu.
Muren ingen forudså
I slutningen af 2024 skete der noget uventet. Næste generation af flagskibsmodeller viste ikke de forventede forbedringer.
Dobbelt så mange parametre. Tredobbelt så meget træningsdata. Ti gange så meget regnekraft. Og ydeevnen flyttede sig næsten ikke. I nogle tilfælde blev den dårligere.
Skaleringslovene, som havde holdt så pålideligt i årevis, brød sammen. Aftagende udbytte var ikke længere teoretisk. Det var her.
TechCrunch rapporterede i november 2024, at AI-skaleringslove "viser aftagende udbytte, hvilket tvinger AI-laboratorier til at ændre kurs." DeepLearning.AI dokumenterede, hvordan store virksomheder erkendte, at "næste generation af højtprofilerede modeller ikke har vist de forventede forbedringer på trods af større arkitekturer, mere træningsdata og mere processorkraft."
Beviserne er klare: skalering ramte en mur. Faktisk flere mure.
Datamuren
Første mur: vi er ved at løbe tør for kvalitetsdata til træning.
Store sprogmodeller fortærer internettet. Bogstaveligt talt. GPT-3 blev trænet på hundreder af milliarder af ord skrabet fra websteder, bøger, artikler og fora. Alt rimeligt tilgængeligt menneskeskrevet tekst på nettet.
Men der er kun så meget internet. Forskning offentliggjort i 2022 forudsagde, at vi vil opbruge tekster af høj kvalitet mellem 2026 og 2032, hvis de nuværende tendenser fortsætter. Epoch AIs analyse viste, at selvom tidligere estimater pegede på udtømning i 2024, tyder en forfinet metode nu på, at det kan ske i 2028.
Uanset hvad, så tikker uret. Menneskeskrevne tekster af høj kvalitet er en begrænset ressource.
Svaret? Syntetiske data. Modeller, der genererer tekst til at træne andre modeller. Det lyder smart, indtil du indser, at det er som at lave fotokopier af fotokopier. Hver generation forringes. Fejl hober sig op. Bias forstærkes.
Nature publicerede forskning i 2024, der viste, at modeller trænet på rekursivt genererede data oplever "model collapse". Undersøgelsen viste, at vilkårlig træning på syntetisk indhold fører til forringet ydeevne, reduceret diversitet og i sidste ende AI-modeller, der producerer stadig mere generiske output.
Du kan ikke skalere uendeligt, når din brændstofkilde er endelig. Og kvalitetsdata, ægte menneskelig viden, er i høj grad endelig.
Kvalitetskollapset
Anden mur: mere data betyder ikke bedre data.
Chinchilla-artiklen fra 2022 afslørede noget afgørende: den optimale model er ikke den største model. Det er den med det bedste forhold mellem parametre og træningstokens. For hver 4× stigning i compute har du brug for en 2× stigning i modelstørrelse OG en 2× stigning i datakvalitet.
Men hvad sker der, når du allerede har brugt alle de gode data? Du begynder at skrabe lavere kvalitetsdata sammen. Fora med misinformation. Maskinoversat indhold. AI-genereret spam. Resten af internettet.
Mere træningsdata. Dårligere ydeevne. For "garbage in, garbage out" holder op med at være sandt, bare fordi du har en billion parametre.
En undersøgelse fra 2024 viste, at datakvalitet betyder mere end mængde for små sprogmodeller. En anden viste, at nøje kuraterede datasæt med 1 million eksempler overgår tilfældigt indsamlede datasæt med 100 millioner eksempler.
Branchens svar? Bliv ved med at skalere alligevel. Smid mere compute på problemet. Håb, at råstyrke overvinder dårlige data.
Det gør den ikke.
Compute-loftet
Tredje mur: fysikken bag beregning.
At træne en model med en billion parametre kræver ufattelige mængder compute. Vi taler om titusindvis af GPU'er, der kører i måneder. Energiforbrug, der kan sammenlignes med små landes. Infrastrukturomkostninger i hundredvis af millioner.
Og til hvad? Marginal forbedring. Ydeevnegevinster, der knap nok retfærdiggør den eksponentielle omkostningsstigning.
Et estimat antyder, at træning af en hypotetisk model med 10 billioner parametre ville forbruge mere elektricitet, end nogle europæiske nationer bruger årligt. For én træningskørsel. Som formentlig skal gentages dusinvis af gange, før den virker.
De økonomiske afkast retfærdiggør ikke længere beregningsomkostningerne. Skaleringslovene lovede lineære forbedringer med lineære investeringer. Virkeligheden leverer logaritmiske forbedringer med eksponentielle investeringer.
Det er ikke en forretningsmodel. Det er en boble, der venter på at sprække.
Intelligensillusionen
Men her er det dybere problem: Selv når skalering virkede, skabte det ikke intelligens. Det skabte statistisk mønstergenkendelse i enorm skala.
En billion parametre tænker ikke. De ræsonnerer ikke. De forstår ikke. De forudsiger den næste token baseret på mønstre i træningsdata. Det er noget fundamentalt andet end intelligens.
Illusionen er overbevisende, fordi skala kan tilnærme forståelse. Fodr en model med nok eksempler, og den kan mønstergenkende sig frem til tilsyneladende intelligente svar. Men det er efterligning, ikke forståelse.
Det er derfor, modeller fejler på nye problemer. Derfor de ikke pålideligt kan udføre flertrinsræsonnement. Derfor de hallucinerer selvsikkert forkerte fakta. De tænker ikke. De henter og kombinerer mønstre.
Og ingen mængde skalering løser dette. At tilføje flere parametre til en mønstergenkender giver dig blot en større mønstergenkender.
Den europæiske fælde
For Europa skaber skaleringsparadigmet en umulig situation.
Amerikanske tech-giganter har beregningskraften. De har dataene. De har infrastrukturen til at træne modeller med en billion parametre. Europæiske virksomheder har det ikke.
At forsøge at konkurrere i skaleringskapløbet betyder, at europæisk AI altid vil være bagud. Altid en generation bagefter. Altid underlegen på beregningskraft og overgået på dataopsamling.
Det er et spil, der er manipuleret fra starten. Reglerne favoriserer dem med flest ressourcer, ikke dem med de bedste idéer.
Og nu, hvor skaleringslovene bryder sammen, bliver Europas ulempe i det kapløb irrelevant. For selve kapløbet er ved at slutte.
Det smartere alternativ
Så hvad er alternativet? Hvis større ikke er bedre, hvad er så?
Svaret er elegance. Effektivitet. Matematisk stringens.
Hos Dweve købte vi aldrig ind på skaleringsillusionen. Vi forsøgte ikke at bygge større modeller. Vi byggede smartere.
Binære neurale netværk med 456 domænespecialister. Hver domænespecialist fokuseret på specifikke typer af ræsonnement. Sparsom aktivering betyder, at kun de relevante domænespecialister aktiveres for hver opgave. Ingen spildt beregning. Ingen unødvendige parametre.
Resultatet? State-of-the-art ydeevne med en brøkdel af parametrene. Bedre ræsonnement med mindre data. Implementerbare systemer, der ikke kræver infrastruktur i datacenter-skala.
Loom 456 forsøger ikke at huske internettet. Det er designet til at ræsonnere med begrænsninger, til at tænke problemer igennem, til faktisk at forstå struktur.
Dette er intelligens gennem arkitektur, ikke gennem akkumulering.
Kvalitet frem for kvantitet
Chinchilla-artiklen fik én ting rigtigt: Forholdet betyder mere end de rå tal.
Men den egentlige indsigt går dybere: Omhyggeligt designede modeller med kuraterede træningsregimer overgår massive modeller med vilkårlig datahamstring.
Tænk på menneskelig læring. Du bliver ikke klog af at læse alt. Du bliver klog af at læse de rigtige ting, i den rigtige rækkefølge, med den rigtige vejledning. Kvaliteten af læring betyder mere end mængden af information.
AI er ingen undtagelse. En model trænet på velstrukturerede, omhyggeligt kuraterede data vil overgå en model, der drukner i tilfældig internettekst. Selv hvis den anden model har 100× flere parametre.
Det er her, Europa kan konkurrere. Ikke ved at bygge større, men ved at bygge bedre. Ikke ved at indsamle flere data, men ved at bruge smartere træningsregimer.
Dweve Core demonstrerer dette princip. Vores binære neurale netværksramme opnår konkurrencedygtig ydeevne med størrelsesordener færre parametre end standardmodeller. Fordi vi fokuserede på matematisk elegance i stedet for brute force-skalering.
Arkitekturfordelen
Her er, hvad skaleringsfolkene overser: arkitektur betyder mere end størrelse.
Du kan have en billion parametre arrangeret dumt, eller en milliard parametre arrangeret intelligent. Det intelligente arrangement vinder hver gang.
Mixture of Experts (MoE)-arkitekturer beviser dette. I stedet for at aktivere alle parametre til hver opgave, aktiveres kun den relevante delmængde. Pludselig får du ydeevne som en billion parametre med beregningsomkostninger som en milliard.
Binære neurale netværk tager dette videre. Hver operation er matematisk enklere, men den overordnede arkitektur er mere sofistikeret. Begrænsningsbaseret ræsonnering i stedet for probabilistisk tilnærmelse. Diskret logik i stedet for floating-point-gætværk.
Resultatet er systemer, der ræsonnerer frem for at hente. Der forstår struktur frem for at memorere mønstre. Der arbejder pålideligt i stedet for at hallucinere troværdigt.
Dette er den fremtid, skaleringslove ikke kan nå: ægte intelligens, ikke bare større efterligning.
Bag illusionen
Skaleringsæraen er ved at slutte. Ikke med et dramatisk krak, men med en langsom erkendelse af, at det ikke længere virker at kaste mere regnekraft efter problemet.
Datavægge. Kvalitetskollaps. Beregningslofter. Aftagende afkast. Det er ikke midlertidige tilbageslag. Det er fundamentale grænser for skaleringsparadigmet.
Men for dem, der aldrig troede på illusionen, er dette ikke en krise. Det er en mulighed.
En mulighed for at bygge AI baseret på faktiske intelligensprincipper frem for statistisk korrelation. For at skabe systemer, der arbejder effektivt frem for spildende. For at udvikle teknologi, der er tilgængelig frem for at kræve milliardbudgetter.
Kapløbet om billioner af parametre var altid en blindgyde. Vi skulle bare vente på, at alle andre ramte væggen for at bevise det.
Det egentlige fremskridt
Ironien er denne: det egentlige fremskridt inden for AI bliver ikke en større model. Det bliver en erkendelse af, at vi har optimeret på det forkerte.
Ikke flere parametre. Bedre arkitektur.
Ikke mere data. Bedre læring.
Ikke mere regnekraft. Smartere matematik.
Binære neurale netværk repræsenterer dette skift. Fra ophobning til elegance. Fra rå styrke til matematisk stringens. Fra monstre med billioner af parametre til systemer med milliarder af parametre, der faktisk tænker.
Dweves platform beviser, at det virker: Core som rammen for binære algoritmer, Loom som intelligensmodellen med specialisering i 456 domæner, Nexus som rammen for multi-agent intelligens, Aura som orkestreringsplatformen for autonome agenter, Fabric som det samlede dashboard og kontrolcenter, Mesh som det decentrale infrastrukturlag.
Alt sammen bygget på princippet om, at intelligens kommer fra struktur, ikke størrelse.
Valget forude
AI-branchen står over for et valg. Fortsætte med at jagte skaleringsillusionen, kaste gode penge efter dårlige, håbe på at den næste størrelsesorden på en eller anden måde bryder gennem væggene. Eller acceptere, at paradigmet har grænser, og bevæge sig mod noget bedre.
Dataene siger, at skalering er færdig. Fysikken siger, at beregningsomkostningerne er uholdbare. Matematikken siger, at der findes smartere tilgange.
Europa behøver ikke at vinde skaleringskapløbet. Europa skal gøre det forældet. Byg AI, der ikke kræver modeller med billioner af parametre. Skab systemer, der arbejder effektivt i stedet for spildende. Udvikl teknologi, der er baseret på forståelse, ikke på udenadslære.
Den store AI-illusion er ved at briste. Mere data redder den ikke. Større modeller redder den ikke. Mere regnekraft redder den ikke.
Hvad får illusionen til at briste? Erkendelsen af, at intelligens aldrig handlede om størrelse i første omgang.
Fremtidens AI handler ikke om billioner af parametre. Den handler om intelligente arkitekturer, effektiv beregning og matematisk elegance. Om systemer designet til forståelse, ikke til genkendelse. Intelligens gennem struktur, ikke gennem ophobning.
Skaleringsparadigmet tjente sin rolle. Det viste os, hvad rå styrke kan opnå. Men nu har vi ramt dets grænser. Det næste kapitel i AI kræver en anden tilgang: præcision frem for skala, arkitektur frem for parametre, intelligens frem for størrelse.
Den fremtid bliver bygget lige nu. Af forskere, der fokuserer på effektivitet. Af ingeniører, der prioriterer forklarbarhed. Af virksomheder, der udvikler AI, som fungerer uden at kræve datacenterinfrastruktur. Europa har en mulighed for at lede dette skifte, ikke ved at vinde skaleringskapløbet, men ved at gøre det irrelevant.
Den store AI-illusion er ved at briste. Mere data redder den ikke. Det, der kommer nu, bliver smartere.
Dweve bygger AI på binære begrænsningsnetværk og arkitekturer med domænespecialister. Loom bruger 456 domænespecialister til effektiv ræsonnering. Udvikling i Nederlandene, der betjener europæiske organisationer. Fremtidens AI er elegant, ikke bare stor.