Suuri tekoälyharha: miksi "lisää dataa" ei pelasta meitä
Biljoonan parametrin harhakuvitelma
Tekoälyssä käynnissä on kilpajuoksu. Ei kilpailu parempien järjestelmien rakentamisesta. Ei kilpailu oikeiden ongelmien ratkaisemisesta. Kilpailu suurempien lukujen rakentamisesta.
Sata miljardia parametria. Viisisataa miljardia. Biljoona. Kymmenen biljoonaa. Jokaisesta ilmoituksesta seuraa hengästyneitä lehdistötiedotteita ja nousevia osakekursseja. Jokaista mallia markkinoidaan seuraavana edistysaskeleena tekoälyssä.
Paitsi etteivät ne ole edistysaskeleita. Ne ovat vain suurempia.
Ja jossain matkan varrella koko ala vakuuttui siitä, että suurempi tarkoittaa parempaa. Että useammat parametrit tarkoittavat enemmän älykkyyttä. Että jos vain jatkamme skaalaamista, lisäämme nollia, kulutamme yhä enemmän dataa ja laskentatehoa, törmäämme lopulta yleiseen tekoälyyn.
Se on nykyteknologian suurin illuusio. Ja se on murtumassa.
Skalaarilakien evankeliumi
Vuonna 2020 tutkijat löysivät ilmiön, jota he kutsuivat "skalaarilaiksi". Syötä neuroverkolle lisää parametreja ja lisää dataa, niin sen suorituskyky paranee ennustettavasti. Tuplaa parametrit, puolita virheprosentti. Se oli kaunista. Matemaattista. Toistettavaa.
Skalaarilaista tuli evankeliumi. Suunnitteletko tekoälytutkimusta? Skaalaa vain. Haluatko paremman suorituskyvyn? Lisää parametreja. Pitääkö pysyä kilpailussa mukana? Rakenna suurempia malleja.
Jokainen suuri laboratorio omaksui saman strategian: suurempia malleja, enemmän dataa, enemmän laskentatehoa. GPT-3:ssa oli 175 miljardia parametria. GPT-4 meni suuremmaksi. Gemini työnsi pidemmälle. Malleja, joissa on biljoona parametria, julkistettiin. Kymmenestä biljoonasta keskusteltiin.
Logiikka vaikutti kiistämättömältä: jos skaalaus on toiminut tähän asti, miksi se pysähtyisi?
Paitsi että se pysähtyy. Juuri nyt.
Seinä, jota kukaan ei ennustanut
Vuoden 2024 lopulla tapahtui jotain odottamatonta. Seuraavan sukupolven lippulaivamallit eivät osoittaneet odotettuja parannuksia.
Kaksinkertaiset parametrit. Kolminkertainen harjoitusdata. Kymmenkertainen laskentateho. Ja suorituskyky tuskin liikkui. Joissakin tapauksissa se huononi.
Skalaarilait, jotka olivat pitäneet niin luotettavasti vuosien ajan, olivat murtumassa. Laskevat tuotot eivät olleet enää teoreettisia. Ne olivat täällä.
TechCrunch raportoi marraskuussa 2024, että tekoälyn skalaarilait "osoittavat laskevia tuottoja, mikä pakottaa tekoälylaboratoriot muuttamaan suuntaa". DeepLearning.AI dokumentoi, miten suuret yritykset myönsivät, että "seuraavan sukupolven korkean profiilin mallit eivät ole osoittaneet odotettuja parannuksia suuremmista arkkitehtuureista, suuremmasta harjoitusdatasta ja suuremmasta laskentatehosta huolimatta".
Näyttö on selvää: skaalaus osui seinään. Oikeastaan moneen seinään.
Datan seinä
Ensimmäinen seinä: laadukas harjoitusdata on loppumassa.
Suuret kielimallit kuluttavat internetin. Kirjaimellisesti. GPT-3 harjoitettiin sadoilla miljardeilla sanoilla, jotka oli kaavittu verkkosivuilta, kirjoista, artikkeleista ja foorumeilta. Käytännössä kaikki kohtuullisesti saatavilla oleva ihmisen tuottama teksti verkossa.
Mutta internetiä on vain rajallinen määrä. Vuonna 2022 julkaistu tutkimus ennusti, että laadukas tekstiaineisto ehtyy vuosien 2026 ja 2032 välillä, jos nykyinen kehitys jatkuu. Epoch AI:n analyysi osoitti, että vaikka aiemmat arviot ennustivat ehtymistä vuoteen 2024 mennessä, tarkennettu metodologia viittaa nyt siihen, että näin voi käydä vuoteen 2028 mennessä.
Kumpi tahansa, kello tikittää. Laadukas ihmisen tuottama teksti on rajallista.
Vastaus? Synteettinen data. Mallit tuottavat tekstiä muiden mallien kouluttamiseen. Se kuulostaa fiksulta, kunnes tajuat, että se on kuin kopioiden kopioimista. Jokainen sukupolvi heikkenee. Virheet kasautuvat. Harhat vahvistuvat.
Nature julkaisi vuonna 2024 tutkimuksen, joka osoitti, että rekursiivisesti tuotetulla datalla koulutetut mallit kokevat "mallin romahduksen". Tutkimus osoitti, että synteettisen sisällön sokea käyttö koulutuksessa johtaa heikkenevään suorituskykyyn, vähentyneeseen monimuotoisuuteen ja lopulta tekoälymalleihin, jotka tuottavat yhä yleismaallisempaa sisältöä.
Et voi skaalata loputtomasti, kun polttoainelähteesi on rajallinen. Ja laadukas data, oikea inhimillinen tieto, on hyvin rajallista.
Laadun romahdus
Toinen seinä: enemmän dataa ei tarkoita parempaa dataa.
Vuoden 2022 Chinchilla-tutkimus paljasti jotakin olennaista: optimaalinen malli ei ole suurin malli. Se on malli, jolla on paras parametrien ja koulutustokenien suhde. Jokaista 4× laskennan lisäystä kohden tarvitset 2× kasvun mallin koossa JA 2× kasvun datan laadussa.
Mutta mitä tapahtuu, kun kaikki hyvä data on jo käytetty? Alat kaapia heikkolaatuisempia lähteitä. Foorumeita, joilla on väärää tietoa. Konekäännettyä sisältöä. Tekoälyn tuottamaa roskapostia. Internetin pohjasakkaa.
Enemmän koulutusdataa. Huonompi suorituskyky. Koska roskaa sisään, roskaa ulos ei lakkaa olemasta totta vain siksi, että sinulla on biljoona parametria.
Vuoden 2024 tutkimus osoitti, että datan laatu merkitsee enemmän kuin määrä pienissä kielimalleissa. Toinen tutkimus osoitti, että huolellisesti kuratoidut 1 miljoonan esimerkin datasetit päihittävät satunnaisesti kerätyt 100 miljoonan esimerkin datasetit.
Toimialan vastaus? Skaalataan silti. Heitetään lisää laskentatehoa ongelmaan. Toivotaan, että raaka voima voittaa huonon datan.
Se ei voita.
Laskennan katto
Kolmas seinä: laskennan fysiikka.
Biljoonan parametrin mallin kouluttaminen vaatii järjettömän määrän laskentatehoa. Puhumme kymmenistä tuhansista GPU:ista, jotka pyörivät kuukausia. Energiankulutus, joka kilpailee pienten maiden kanssa. Infrastruktuurikustannukset sadoissa miljoonissa.
Ja minkä takia? Marginaalisia parannuksia. Suorituskyvyn kasvua, joka tuskin oikeuttaa eksponentiaalisen kustannusten nousun.
Erään arvion mukaan hypoteettisen 10 biljoonan parametrin mallin kouluttaminen kuluttaisi enemmän sähköä kuin jotkut Euroopan valtiot käyttävät vuodessa. Yhdestä koulutusajosta. Joka todennäköisesti joudutaan toistamaan kymmeniä kertoja ennen kuin se toimii.
Taloudelliset tuotot eivät enää tue laskentakustannuksia. Skaalauslait lupasivat lineaarista kehitystä lineaarisella investoinnilla. Todellisuus tuottaa logaritmista kehitystä eksponentiaalisella investoinnilla.
Se ei ole liiketoimintamalli. Se on kupla, joka odottaa puhkeamistaan.
Älykkyyden illuusio
Mutta tässä on syvempi ongelma: vaikka skaalaus toimi, se ei luonut älykkyyttä. Se loi valtavan mittakaavan tilastollista hahmontunnistusta.
Biljoona parametria ei ajattele. Ne eivät päätele. Ne eivät ymmärrä. Ne ennustavat seuraavan tokenin koulutusdatan malleista. Se on perustavanlaatuisesti eri asia kuin älykkyys.
Illuusio on vakuuttava, koska skaala voi jäljitellä ymmärrystä. Syötä mallille tarpeeksi esimerkkejä, ja se voi hahmontunnistuksen avulla tuottaa näennäisen älykkäitä vastauksia. Mutta se on matkimista, ei ymmärtämistä.
Siksi mallit epäonnistuvat uusissa ongelmissa. Siksi ne eivät luotettavasti kykene monivaiheiseen päättelyyn. Siksi ne hallusinoivat itsevarmasti vääriä faktoja. Ne eivät ajattele. Ne hakevat ja yhdistelevät malleja.
Eikä mikään määrä skaalausta korjaa tätä. Lisäämällä parametreja hahmontunnistimeen saat vain suuremman hahmontunnistimen.
Euroopan ansa
Euroopalle skaalausparadigma luo mahdottoman tilanteen.
Amerikkalaisilla teknologiajäteillä on laskentateho. Heillä on data. Heillä on infrastruktuuri biljoonan parametrin mallien kouluttamiseen. Eurooppalaisilla yrityksillä ei ole.
Yrittäminen kilpailla skaalauskisassa tarkoittaa, että eurooppalainen tekoäly jää aina jahkaamaan. Aina yhden sukupolven jälkeen. Aina alakynnessä laskentatehossa ja ylikuluttaen datankeruussa.
Se on peli, joka on rigattu alusta alkaen. Säännöt suosivat niitä, joilla on eniten resursseja, eivät niitä, joilla on parhaat ideat.
Ja nyt, kun skaalauslait murtuvat, Euroopan heikkous tässä kisassa muuttuu merkityksettömäksi. Koska itse kisa on päättymässä.
Älykkäämpi vaihtoehto
Joten mikä on vaihtoehto? Jos isompi ei ole parempi, mikä on?
Vastaus on eleganssi. Tehokkuus. Matemaattinen tarkkuus.
Dwevessä emme koskaan ostaneet skaalausilluusiota. Emme yrittäneet rakentaa suurempia malleja. Rakensimme älykkäämpiä.
Binaariset neuroverkot, joissa on 456 alan asiantuntijaa. Jokainen alan asiantuntija keskittyy tiettyihin päättelytyyppeihin. Harva aktivointi tarkoittaa, että vain relevantit alan asiantuntijat osallistuvat kuhunkin tehtävään. Ei hukattua laskentaa. Ei tarpeettomia parametreja.
Tulos? Huipputason suorituskyky murto-osalla parametreista. Parempi päättely vähemmällä datalla. Käyttöönottokelpoisia järjestelmiä, jotka eivät vaadi datakeskusmittakaavan infrastruktuuria.
Loom 456 ei yritä muistaa internetiä. Se on suunniteltu päättelyyn rajoitteiden kanssa, ongelmien läpikäymiseen, rakenteen todelliseen ymmärtämiseen.
Tämä on älykkyyttä arkkitehtuurin kautta, ei kertymisen kautta.
Laatu määrän sijaan
Chinchilla-artikkeli sai yhden asian oikein: suhde on tärkeämpi kuin raa'at luvut.
Mutta todellinen oivallus menee syvemmälle: huolellisesti suunnitellut mallit kuratoiduilla koulutusohjelmilla päihittävät massiiviset mallit, jotka hamstraavat dataa sattumanvaraisesti.
Ajattele ihmisen oppimista. Et tule älykkääksi lukemalla kaiken. Tulet älykkääksi lukemalla oikeat asiat, oikeassa järjestyksessä, oikealla ohjauksella. Oppimisen laatu on tärkeämpää kuin tiedon määrä.
Tekoäly ei ole erilainen. Malli, joka on koulutettu hyvin jäsennellyllä, huolellisesti kuratoidulla datalla, päihittää mallin, joka hukkuu satunnaiseen internettekstiin. Vaikka toisella mallilla olisi 100× enemmän parametreja.
Tässä Eurooppa voi kilpailla. Ei rakentamalla isompaa, vaan rakentamalla parempaa. Ei kaapimalla enemmän dataa, vaan käyttämällä älykkäämpiä koulutusohjelmia.
Dweve Core osoittaa tämän periaatteen. Binäärinen neuroverkkoalustamme saavuttaa kilpailukykyisen suorituskyvyn huomattavasti pienemmällä parametrimäärällä kuin tavalliset mallit. Koska keskityimme matemaattiseen eleganssiin raa'an laskentatehon lisäämisen sijaan.
Arkkitehtuurin etu
Tässä on se, minkä skaalaamisen kannattajat unohtavat: arkkitehtuurilla on enemmän merkitystä kuin koolla.
Sinulla voi olla biljoona parametria typerästi järjestettynä tai miljardi parametria älykkäästi järjestettynä. Älykäs järjestely voittaa joka kerta.
Mixture of Experts (MoE) -arkkitehtuurit todistavat tämän. Sen sijaan, että aktivoitaisiin kaikki parametrit jokaista tehtävää varten, aktivoidaan vain olennainen osajoukko. Yhtäkkiä saat biljoonan parametrin suorituskyvyn miljardin parametrin laskentakustannuksilla.
Binääriset neuroverkot vievät tämän pidemmälle. Jokainen operaatio on matemaattisesti yksinkertaisempi, mutta kokonaisarkkitehtuuri on kehittyneempi. Rajoitteisiin perustuva päättely todennäköisyysarvioiden sijaan. Diskreetti logiikka liukulukuarvailun sijaan.
Tuloksena on järjestelmiä, jotka päättävät hakemisen sijaan. Ymmärtävät rakenteen ulkoa opettelun sijaan. Toimivat luotettavasti uskottavan hallusinoinnin sijaan.
Tämä on tulevaisuus, johon skaalauslait eivät yllä: todellinen älykkyys, ei vain suurempi matkiminen.
Illuusion tuolle puolen
Skalaamisen aikakausi on päättymässä. Ei dramaattisella romahduksella, vaan hitaalla oivalluksella siitä, että yhä suuremman laskentatehon heittäminen ongelmaan ei enää toimi.
Datan rajat. Laadun romahdus. Laskennan katot. Vähenevät tuotot. Nämä eivät ole väliaikaisia takaiskuja. Ne ovat skaalausparadigman perustavanlaatuisia rajoja.
Mutta niille, jotka eivät koskaan uskoneet illuusioon, tämä ei ole kriisi. Se on mahdollisuus.
Mahdollisuus rakentaa tekoälyä, joka perustuu todellisiin älykkyyden periaatteisiin tilastollisen korrelaation sijaan. Luoda järjestelmiä, jotka toimivat tehokkaasti tuhlailevasti toimimisen sijaan. Kehittää teknologiaa, joka on saavutettavaa eikä vaadi miljardiluokan budjetteja.
Biljoonan parametrin kilpajuoksu oli aina umpikuja. Meidän piti vain odottaa, että kaikki muut osuvat seinään, jotta se todistettaisiin.
Varsinainen edistysaskel
Tässä on ironia: tekoälyn varsinainen edistysaskel ei ole suurempi malli. Se on oivallus siitä, että olemme optimoineet väärää asiaa.
Ei lisää parametreja. Parempi arkkitehtuuri.
Ei lisää dataa. Parempi oppiminen.
Ei lisää laskentatehoa. Älykkäämpää matematiikkaa.
Binaariset neuroverkot edustavat tätä muutosta. Kasautumisesta eleganssiin. Raakavoimasta matemaattiseen tarkkuuteen. Biljoonan parametrin hirviöistä miljardin parametrin järjestelmiin, jotka todella ajattelevat.
Dweven alusta todistaa, että se toimii: Core binaarialgoritmien viitekehyksenä, Loom 456-osaamisalueen erikoistuneena älykkyysmallina, Nexus monitoimija-agenttien älykkyysviitekehyksenä, Aura autonomisten agenttien orkestrointialustana, Fabric yhtenäisenä kojelautana ja hallintakeskuksena sekä Mesh hajautettuna infrastruktuurikerroksena.
Kaikki rakennettu periaatteelle, jonka mukaan älykkyys syntyy rakenteesta, ei koosta.
Edessä oleva valinta
Tekoälyteollisuus seisoo valinnan edessä. Jatkaako skaalausilluusion tavoittelua, heittääkö hyvät rahat huonojen perään ja toivoa, että seuraava suuruusluokka murtaa seinät jotenkin. Vai hyväksyä, että paradigmalla on rajansa, ja siirtyä johonkin parempaan.
Data kertoo, että skaalaaminen on tehty. Fysiikka kertoo, että laskentakustannukset ovat kestämättömiä. Matematiikka kertoo, että on olemassa älykkäämpiä lähestymistapoja.
Euroopan ei tarvitse voittaa skaalauskilpailua. Euroopan täytyy tehdä siitä vanhentunut. Rakentaa tekoälyä, joka ei vaadi biljoonan parametrin malleja. Luoda järjestelmiä, jotka toimivat tehokkaasti tuhlailevasti toimimisen sijaan. Kehittää teknologiaa, joka perustuu ymmärrykseen, ei ulkoa opetteluun.
Suuri tekoälyn illuusio on murenemassa. Enemmän dataa ei pelasta sitä. Suuremmat mallit eivät pelasta sitä. Enemmän laskentatehoa ei pelasta sitä.
Mikä rikkoo illuusion? Sen tunnistaminen, että älykkyys ei ollut koskaan ensisijaisesti koosta kiinni.
Tekoälyn tulevaisuus ei ole biljoonissa parametreissa. Se on älykkäissä arkkitehtuureissa, tehokkaassa laskennassa ja matemaattisessa eleganssissa. Se on järjestelmissä, jotka on suunniteltu ymmärtämiseen, ei ulkoa opetteluun. Älykkyyttä rakenteen kautta, ei kasaamisen kautta.
Skaalausparadigma palveli tarkoituksensa. Se osoitti, mihin raaka voima pystyy. Mutta nyt olemme saavuttaneet sen rajat. Tekoälyn seuraava luku vaatii erilaista ajattelua: tarkkuutta skaalan sijaan, arkkitehtuuria parametrien sijaan, älykkyyttä koon sijaan.
Sitä tulevaisuutta rakennetaan nyt. Tutkijoiden toimesta, jotka keskittyvät tehokkuuteen. Insinöörien toimesta, jotka asettavat etusijalle selitettävyyden. Yritysten toimesta, jotka kehittävät tekoälyä, joka toimii ilman datakeskusinfrastruktuuria. Euroopalla on mahdollisuus johtaa tätä muutosta, ei voittamalla skaalauskilpailua, vaan tekemällä siitä merkityksettömän.
Suuri tekoälyn illuusio on murenemassa. Enemmän dataa ei pelasta sitä. Se, mikä tulee seuraavaksi, on älykkäämpää.
Dweve rakentaa tekoälyä binääristen rajoiteverkkojen ja usean toimialueen asiantuntija-arkkitehtuurien varaan. Loom käyttää 456 toimialueen asiantuntijaa tehokkaaseen päättelyyn. Kehitys Alankomaissa, palvellen eurooppalaisia organisaatioita. Tekoälyn tulevaisuus on elegantti, ei pelkästään suuri.