L-illużjoni l-kbira tal-AI: għaliex "aktar data" mhux se ssalvana
Il-Ħrafa tat-Triljun Parametru
Qed issir tellieqa fl-AI. Mhux tellieqa biex jinbnew sistemi aħjar. Mhux tellieqa biex jissolvew problemi reali. Tellieqa biex jinbnew numri akbar.
Mitt biljun parametru. Ħames mitt biljun. Triljun. Għaxar triljuni. Kull avviż milqugħ b'komunikati mimlija eċċitament u prezzijiet tal-istokks li qed jogħlew. Kull mudell mibjugħ bħala l-avvanz li jmiss fl-intelliġenza artifiċjali.
Ħlief li mhumiex avvanzi. Huma biss akbar.
U x'imkien tul it-triq, l-industrija kollha kkonvinċiet ruħha li akbar ifisser aħjar. Li aktar parametri jfissru aktar intelliġenza. Li jekk nibqgħu nkabbru, nibqgħu nżidu ż-żerijiet, nibqgħu nikkunsmaw aktar dejta u aktar komputazzjoni, eventwalment se naslu b'kumbinazzjoni għall-intelliġenza artifiċjali ġenerali.
Din hija l-akbar illużjoni fit-teknoloġija moderna. U qed titkisser.
L-evanġelju tal-liġijiet tal-iskalar
Fl-2020, ir-riċerkaturi skoprew dak li sejħu "liġijiet tal-iskalar." Itma' netwerk newrali aktar parametri u aktar dejta, u l-prestazzjoni tiegħu titjieb b'mod prevedibbli. Irdoppja l-parametri, naqqas ir-rata tal-iżbalji bin-nofs. Kienet sabiħa. Matematika. Ripetibbli.
Il-liġijiet tal-iskalar saru evanġelju. Qed tippjana riċerka dwar l-AI? Sempliċement skala 'l fuq. Trid prestazzjoni aħjar? Żid aktar parametri. Għandek bżonn tikkompeti? Bni mudelli akbar.
Kull laboratorju ewlieni adotta l-istess strateġija: mudelli akbar, aktar dejta, aktar kompjuters. GPT-3 kellu 175-il biljun parametru. GPT-4 mar akbar. Gemini imbuttat aktar 'il quddiem. Tħabbru mudelli b'triljun parametru. Diskussjoni dwar għaxart ijiem triljuni.
Il-loġika deher li ma setgħetx tiġi kkontestata: jekk l-iskalar ħadem s'issa, għaliex kellu jieqaf?
Ħlief li qed jieqaf. Proprju issa.
Il-ħajt li ħadd ma bassar
Fl-aħħar tal-2024, ġara xi ħaġa mhux mistennija. Il-ġenerazzjoni li jmiss ta' mudelli ewlenin ma wrietx it-titjib mistenni.
Id-doppju tal-parametri. It-triplu tad-dejta tat-taħriġ. Għaxar darbiet il-kompjuters. U l-prestazzjoni bilkemm ċċaqalqet. F'xi każijiet, marret għall-agħar.
Il-liġijiet tal-iskalar, li kienu żammu b'mod tant affidabbli għal snin, kienu qed jinkisru. Ir-redditu dejjem jonqos ma kienx aktar teoretiku. Kien hawn.
TechCrunch irrapporta f'Novembru 2024 li l-liġijiet tal-iskalar tal-AI qed "juru redditu dejjem jonqos, u jġiegħlu lill-laboratorji tal-AI jibdlu l-kors." DeepLearning.AI iddokumentat kif kumpaniji ewlenin ammettew li "l-ġenerazzjoni li jmiss ta' mudelli ta' profil għoli ma wrietx it-titjib mistenni minkejja arkitetturi akbar, aktar dejta ta' taħriġ, u aktar qawwa ta' pproċessar."
L-evidenza hija ċara: l-iskalar laqat ħajt. Diversi ħitan, fil-fatt.
Il-ħajt tad-dejta
L-ewwel ħajt: qed neħilsu mid-dejta ta' taħriġ ta' kwalità.
Il-mudelli tal-lingwa kbar jikkunsmaw l-internet. Letteralment. GPT-3 ġie mħarreġ fuq mijiet ta' biljuni ta' kliem miġbura minn websajts, kotba, artikli, fora. Kull biċċa test uman raġonevolment aċċessibbli onlajn.
Iżda hemm biss daqstant internet. Riċerka ppubblikata fl-2022 bassret li se neżawrixxu d-dejta testwali ta' kwalità għolja bejn l-2026 u l-2032 jekk ix-xejriet attwali jkomplu. L-analiżi ta' Epoch AI sabet li filwaqt li stimi preċedenti ssugġerew tnaqqis sal-2024, metodoloġija rfinata issa tindika li dan jista' jseħħ sal-2028.
Fi kwalunkwe każ, l-arloġġ qed itik tik. It-test uman iġġenerat ta' kwalità għolja huwa finit.
It-tweġiba? Data sintetika. Mudelli jiġġeneraw test biex iħarrġu mudelli oħra. Jinstema' intelliġenti sakemm tirrealizza li qisu qed tagħmel fotokopji ta' fotokopji. Kull ġenerazzjoni tiddegrada. L-iżbalji jakkumulaw. Il-preġudizzji jissaħħu.
Nature ppubblikat riċerka fl-2024 li turi li mudelli mħarrġa fuq data ġġenerata b'mod rikursiv jesperjenzaw "kollass tal-mudell." L-istudju wera li t-taħriġ mingħajr diskriminazzjoni fuq kontenut sintetiku jwassal għal prestazzjoni li tmur għall-agħar, diversità mnaqqsa, u fl-aħħar mill-aħħar mudelli ta' AI li jipproduċu riżultati dejjem aktar ġeneriċi.
Ma tistax tiskala b'mod infinit meta s-sors tal-fjuwil tiegħek huwa finit. U data ta' kwalità, għarfien uman reali, hija finita tassew.
Il-kollass tal-kwalità
It-tieni ħajt: aktar data ma tfissirx data aħjar.
Id-dokument ta' Chinchilla tal-2022 żvela xi ħaġa kruċjali: l-aħjar mudell mhuwiex l-akbar mudell. Huwa dak bl-aħjar proporzjon ta' parametri għal tokens ta' taħriġ. Għal kull żieda ta' 4× fil-komputazzjoni, għandek bżonn żieda ta' 2× fid-daqs tal-mudell U żieda ta' 2× fil-kwalità tad-data.
Imma x'jiġri meta diġà użajt id-data tajba kollha? Tibda tiġbor sorsi ta' kwalità aktar baxxa. Forums b'informazzjoni żbaljata. Kontenut tradott bil-magni. Spam iġġenerat mill-AI. Il-fdalijiet tal-internet.
Aktar data ta' taħriġ. Prestazzjoni agħar. Għax "jekk iddaħħal skart, toħroġ skart" ma jieqafx ikun veru sempliċement għax għandek triljun parametru.
Studju tal-2024 sab li l-kwalità tad-data timporta aktar mill-kwantità għal mudelli żgħar tal-lingwa. Ieħor sab li settijiet ta' data magħżula bir-reqqa ta' miljun eżempju jaqbżu settijiet ta' data miġbura b'mod każwali ta' 100 miljun eżempju.
Ir-rispons tal-industrija? Kompli skala xorta waħda. Itfa' aktar komputazzjoni fuq il-problema. Ittama li l-forza bruta tegħleb id-data ħażina.
Ma tegħlibhiex.
Is-saqaf tal-komputazzjoni
It-tielet ħajt: il-fiżika tal-komputazzjoni.
It-taħriġ ta' mudell ta' triljun parametru jeħtieġ ammonti kbar ta' komputazzjoni. Qed nitkellmu dwar għexieren ta' eluf ta' GPUs jaħdmu għal xhur. Konsum ta' enerġija li jixbah lil pajjiżi żgħar. Spejjeż ta' infrastruttura ta' mijiet ta' miljuni.
U għalxiex? Titjib marġinali. Qligħ fil-prestazzjoni li bil-kemm jiġġustifika ż-żieda esponenzjali fl-ispiża.
Stima waħda tissuġġerixxi li t-taħriġ ta' mudell ipotetiku ta' 10 triljuni parametri jikkonsma aktar elettriku minn dak li jużaw xi nazzjonijiet Ewropej f'sena. Għal sessjoni waħda ta' taħriġ. Li probabbilment ikollha bżonn tiġi ripetuta għexieren ta' drabi qabel ma taħdem.
Il-qligħ ekonomiku ma jibqax jappoġġa l-ispejjeż tal-kompjuters. Il-liġijiet tal-iskalar wiegħdu titjib lineari b'investiment lineari. Ir-realtà qed tagħti titjib logaritmiku b'investiment esponenzjali.
Dak mhux mudell ta' negozju. Dik bużżieqa li se tisfa' meta jmissha.
L-illużjoni tal-intelliġenza
Imma hawn il-problema aktar profonda: anki meta l-iskalar ħadem, ma kienx qed joħloq intelliġenza. Kien qed joħloq tqabbil statistiku ta' mudelli fuq skala enormi.
Triljun parametru ma jaħsbux. Ma jirraġunawx. Ma jifhmux. Huma jbassru t-token li jmiss ibbażat fuq mudelli fid-dejta tat-taħriġ. Din hija ħaġa fundamentalment differenti mill-intelliġenza.
L-illużjoni hija konvinċenti għax l-iskala tista' toqrob lejn il-fehim. Agħti lill-mudell biżżejjed eżempji, u jista' jqabbel il-mudelli biex jagħti tweġibiet li jidhru intelliġenti. Imma hija imitazzjoni, mhux komprensjoni.
Għalhekk il-mudelli jfallu fuq problemi ġodda. Għalhekk ma jistgħux jagħmlu raġunament b'ħafna passi b'mod affidabbli. Għalhekk jivvintaw fatti żbaljati b'kunfidenza kbira. Mhumiex jaħsbu. Qed jirkupraw u jerġgħu jgħaqqdu mudelli.
U l-ebda ammont ta' skalar ma jsewwi dan. Iżżid aktar parametri lil min iqabbel il-mudelli u jkollok biss min iqabbel il-mudelli akbar.
In-nasba Ewropea
Għall-Ewropa, il-paradigma tal-iskalar toħloq sitwazzjoni impossibbli.
Il-ġganti tat-teknoloġija Amerikani għandhom il-kompjuters. Għandhom id-dejta. Għandhom l-infrastruttura biex iħarrġu mudelli ta' triljun parametru. Il-kumpaniji Ewropej le.
Li tipprova tikkompeti fit-tellieqa tal-iskalar ifisser li l-AI Ewropea dejjem se tkun qed taħbat biex taqbad. Dejjem ġenerazzjoni lura. Dejjem b'inqas kompjuters u b'inqas flus għall-ġbir tad-dejta.
Hija logħba mfassla biex tirbaħ minn qabel. Ir-regoli jiffavorixxu lil dawk bl-aktar riżorsi, mhux lil dawk bl-aħjar ideat.
U issa, hekk kif il-liġijiet tal-iskalar qed jinkisru, l-iżvantaġġ tal-Ewropa f'dik it-tellieqa qed isir irrilevanti. Għax it-tellieqa nfisha qed tispiċċa.
L-alternattiva aktar intelliġenti
Allura x'inhi l-alternattiva? Jekk akbar mhux aħjar, x'inhu?
It-tweġiba hija l-eleganti. L-effiċjenza. Ir-rigorożità matematika.
F'Dweve, qatt ma konna nemmnu fl-illużjoni tal-iskalar. Ma ppruvajniex nibnu mudelli akbar. Bnejna mudelli aktar intelliġenti.
Netwerks newrali binarji b'456 speċjalist tad-dominju. Kull speċjalist tad-dominju jiffoka fuq tipi speċifiċi ta' raġunament. L-attivazzjoni skarsa tfisser li biss l-ispeċjalisti tad-dominju rilevanti jinvolvu ruħhom f'kull kompitu. L-ebda kompjuters moħlija. L-ebda parametri bla bżonn.
Ir-riżultat? Prestazzjoni tal-aktar avvanzata b'frazzjoni tal-parametri. Raġunament aħjar b'inqas dejta. Sistemi li jistgħu jitqiegħdu fis-seħħ mingħajr infrastruttura fuq skala ta' ċentru tad-dejta.
Loom 456 mhux qed jipprova jimmemorizza l-internet. Huwa ddisinjat biex jirraġuna b'vinkoli, biex jaħseb permezz tal-problemi, biex verament jifhem l-istruttura.
Din hija intelliġenza permezz tal-arkitettura, mhux permezz tal-akkumulazzjoni.
Il-kwalità fuq il-kwantità
Id-dokument ta' Chinchilla qabad ħaġa waħda sew: il-proporzjon jgħodd aktar min-numri mhux ipproċessati.
Imma l-għarfien veru huwa aktar profond: mudelli ddisinjati bir-reqqa b'reġimi ta' taħriġ ikkurati jaqbżu mudelli kbar b'ġbir ta' dejta bla diskriminazzjoni.
Ħseb fit-tagħlim tal-bniedem. Ma ssirx intelliġenti billi taqra kollox. Issir intelliġenti billi taqra l-affarijiet it-tajba, fl-ordni t-tajba, bil-gwida t-tajba. Il-kwalità tat-tagħlim tgħodd aktar mill-kwantità tal-informazzjoni.
L-AI mhijiex differenti. Mudell imħarreġ fuq dejta strutturata tajjeb u kkurata bir-reqqa se jaqbeż mudell li qed jegħreq f'test każwali mill-internet. Anki jekk it-tieni mudell ikollu 100× aktar parametri.
Hawnhekk l-Ewropa tista' tikkompeti. Mhux billi tibni akbar, imma billi tibni aħjar. Mhux billi tiġbor aktar dejta, imma billi tuża reġimi ta' taħriġ aktar intelliġenti.
Dweve Core juri dan il-prinċipju. Il-qafas tan-netwerks newrali binarji tagħna jikseb prestazzjoni kompetittiva b'ordnijiet ta' kobor inqas parametri minn mudelli standard. Għax iffukajna fuq l-eleganti matematika minflok fuq skalar bil-forza.
Il-vantaġġ tal-arkitettura
Hawn dak li jitlef il-folla tal-iskalar: l-arkitettura tiswa aktar mid-daqs.
Tista' jkollok triljun parametru rranġati bl-iblah, jew biljun parametru rranġati bl-intelliġenza. L-arranġament intelliġenti jirbaħ kull darba.
L-arkitetturi Mixture of Experts (MoE) juru dan. Minflok tattiva l-parametri kollha għal kull kompitu, attiva biss is-sottogrupp rilevanti. F'daqqa waħda tikseb prestazzjoni ta' triljun parametru bl-ispiża ta' komputazzjoni ta' biljun parametru.
In-netwerks newrali binarji jieħdu dan aktar 'il quddiem. Kull operazzjoni hija matematikament aktar sempliċi, iżda l-arkitettura ġenerali hija aktar sofistikata. Raġunament ibbażat fuq il-vinkoli minflok approssimazzjoni probablistika. Loġika diskreta minflok suppożizzjonijiet b'punt li jvarja.
Ir-riżultat huma sistemi li jirraġunaw minflok jirkupraw. Li jifhmu l-istruttura minflok jimmemorizzaw mudelli. Li jaħdmu b'mod affidabbli minflok jalluċinaw b'mod plawsibbli.
Dan huwa l-futur li l-liġijiet tal-iskalar ma jistgħux jilħqu: intelliġenza vera, mhux biss imitazzjoni akbar.
Lil hinn mill-illużjoni
L-era tal-iskalar qed tispiċċa. Mhux b'kollass drammatiku, iżda b'rikonoxximent bil-mod li li jitfgħu aktar kompjuters fuq il-problema m'għadux jaħdem.
Ħitan tad-dejta. Kollass tal-kwalità. Limiti tal-kompjuters. Qligħ li qed jonqos. Dawn mhumiex intoppi temporanji. Huma limiti fundamentali tal-paradigma tal-iskalar.
Iżda għal dawk li qatt ma emmnu l-illużjoni, din mhix kriżi. Hija opportunità.
Opportunità biex nibnu AI bbażata fuq prinċipji ta' intelliġenza reali minflok korrelazzjoni statistika. Biex noħolqu sistemi li jaħdmu b'mod effiċjenti minflok b'mod ħerqan. Biex niżviluppaw teknoloġija li tkun aċċessibbli minflok teħtieġ baġits ta' biljuni ta' dollari.
It-tellieqa tat-triljun ta' parametri dejjem kienet triq bla ħruġ. Kellna biss nistennew li kulħadd jolqot il-ħajt biex nippruvawha.
Il-progress reali
Hawn l-ironija: il-progress reali fl-AI mhux se jkun mudell akbar. Se jkun realizzazzjoni li konna qed nottimizzaw għall-ħaġa ħażina.
Mhux aktar parametri. Arkitettura aħjar.
Mhux aktar dejta. Tagħlim aħjar.
Mhux aktar kompjuters. Matematika aktar intelliġenti.
Netwerks newrali binarji jirrappreżentaw dan il-bidla. Mill-akkumulazzjoni għall-eleganti. Mill-forza bruta għar-rigorożità matematika. Minn mostri ta' triljun parametri għal sistemi ta' biljun parametri li tassew jaħsbu.
Il-pjattaforma ta' Dweve tipprova li jaħdem: Core bħala l-qafas tal-algoritmu binarju, Loom bħala l-mudell ta' intelliġenza speċjalizzat f'456 dominji, Nexus bħala l-qafas ta' intelliġenza multi-aġent, Aura bħala l-pjattaforma ta' orkestrazzjoni ta' aġenti awtonomi, Fabric bħala d-dashboard unifikat u ċ-ċentru ta' kontroll, Mesh bħala s-saff tal-infrastruttura deċentralizzata.
Kollha mibnija fuq il-prinċipju li l-intelliġenza ġejja mill-istruttura, mhux mid-daqs.
L-għażla li ġejja
L-industrija tal-AI tiffaċċja għażla. Kompli tiġri wara l-illużjoni tal-iskalar, tarmi flus tajbin wara ħżiena, bit-tama li l-ordni ta' kobor li jmiss b'xi mod jikser il-ħitan. Jew aċċetta li l-paradigma għandha limiti u imxi lejn xi ħaġa aħjar.
Id-dejta tgħid li l-iskalar spiċċa. Il-fiżika tgħid li l-ispejjeż tal-kompjuters mhumiex sostenibbli. Il-matematika tgħid li hemm approċċi aktar intelliġenti.
L-Ewropa m'għandhiex bżonn tirbaħ it-tellieqa tal-iskalar. L-Ewropa għandha bżonn tagħmilha skaduta. Ibni AI li ma teħtieġx mudelli ta' triljun parametri. Oħloq sistemi li jaħdmu b'mod effiċjenti minflok b'mod ħerqan. Żviluppa teknoloġija bbażata fuq il-fehim, mhux fuq il-memorizzazzjoni.
Il-illużjoni l-kbira tal-AI qed tinkiser. Aktar data mhux se ssalvaha. Mudelli akbar mhux se jsalvawha. Aktar komputazzjoni mhux se ssalvaha.
X'jikser l-illużjoni? Li nirrikonoxxu li l-intelliġenza qatt ma kienet dwar id-daqs.
Il-futur tal-AI mhuwiex triljuni ta' parametri. Huwa arkitetturi intelliġenti, komputazzjoni effiċjenti, u eleganti matematika. Huwa sistemi mfassla għall-fehim, mhux għall-memorizzazzjoni. Intelliġenza permezz tal-istruttura, mhux tal-akkumulazzjoni.
Il-paradigma tal-iskalar serviet l-iskop tagħha. Urithielna x'tista' tikseb il-forza bruta. Imma issa laħaqna l-limiti tagħha. Il-kapitlu li jmiss tal-AI jeħtieġ ħsieb differenti: preċiżjoni fuq l-iskala, arkitettura fuq il-parametri, intelliġenza fuq id-daqs.
Dak il-futur qed jinbena issa. Mir-riċerkaturi li jiffokaw fuq l-effiċjenza. Mill-inġiniera li jagħtu prijorità lill-ispjegabbiltà. Minn kumpaniji li qed jiżviluppaw AI li taħdem mingħajr il-ħtieġa ta' infrastruttura ta' ċentru tad-data. L-Ewropa għandha l-opportunità li tmexxi din il-bidla, mhux billi tirbaħ it-tellieqa tal-iskalar, imma billi tagħmilha irrilevanti.
L-illużjoni l-kbira tal-AI qed tinkiser. Aktar data mhux se ssalvaha. Dak li jmiss se jkun aktar intelliġenti.
Dweve tibni l-AI fuq networks ta' restrizzjonijiet binarji u arkitetturi ta' speċjalisti f'diversi oqsma. Loom juża 456 speċjalisti f'diversi oqsma għal raġunament effiċjenti. Żvilupp fl-Olanda, li jaqdi organizzazzjonijiet Ewropej. Il-futur tal-AI huwa eleganti, mhux biss kbir.