Lielā mākslīgā intelekta ilūzija: kāpēc "vairāk datu" mūs neglābs
Triljonu parametru maldi
Mākslīgajā intelektā notiek sacensība. Ne sacensība, lai izveidotu labākas sistēmas. Ne sacensība, lai atrisinātu reālas problēmas. Sacensība, lai radītu lielākus skaitļus.
Simts miljardi parametru. Pieci simti miljardi. Triljons. Desmit triljoni. Katrs paziņojums tiek sagaidīts ar elpu aizraujošiem preses relīzēm un augošām akciju cenām. Katrs modelis tiek reklamēts kā nākamais mākslīgā intelekta sasniegums.
Tikai tie nav sasniegumi. Tie ir tikai lielāki.
Un kaut kur pa ceļam visa nozare pārliecināja sevi, ka lielāks nozīmē labāks. Ka vairāk parametru nozīmē vairāk inteliģences. Ka, ja mēs tikai turpināsim palielināt mērogu, turpināsim pievienot nulles, turpināsim patērēt vairāk datu un vairāk skaitļošanas jaudas, mēs galu galā paklupsim uz vispārējo mākslīgo intelektu.
Tas ir lielākais malds mūsdienu tehnoloģijās. Un tas sāk brukt.
Mērogošanas likumu evaņģēlijs
2020. gadā pētnieki atklāja to, ko nosauca par "mērogošanas likumiem". Padodiet neironu tīklam vairāk parametru un vairāk datu, un tā veiktspēja uzlabojas paredzami. Divkāršojiet parametrus, un kļūdu īpatsvars samazinās uz pusi. Tas bija skaisti. Matemātiski. Atkārtojami.
Mērogošanas likumi kļuva par evaņģēliju. Plānojat AI pētniecību? Vienkārši mērogojiet. Vēlaties labāku veiktspēju? Pievienojiet vairāk parametru. Jākonkurē? Būvējiet lielākus modeļus.
Katra lielā laboratorija pieņēma vienu un to pašu stratēģiju: lielāki modeļi, vairāk datu, vairāk skaitļošanas jaudas. GPT-3 bija 175 miljardi parametru. GPT-4 gāja vēl tālāk. Gemini spieda vēl vairāk. Tika paziņots par modeļiem ar triljonu parametru. Tika apspriesti desmit triljoni.
Šī loģika šķita neapgāžama: ja mērogošana līdz šim ir strādājusi, kāpēc tai vajadzētu apstāties?
Taču tā apstājas. Tieši tagad.
Siena, kuru neviens neparedzēja
2024. gada beigās notika kaut kas negaidīts. Nākamās paaudzes flagmaņu modeļi neuzrādīja gaidītos uzlabojumus.
Divreiz vairāk parametru. Trīsreiz vairāk treniņdatu. Desmitreiz vairāk skaitļošanas jaudas. Un veiktspēja gandrīz nemainījās. Dažos gadījumos tā pasliktinājās.
Mērogošanas likumi, kas tik uzticami bija turējušies gadiem, sāka sabrukt. Samazinošā atdeve vairs nebija tikai teorija. Tā bija klāt.
TechCrunch 2024. gada novembrī ziņoja, ka AI mērogošanas likumi "uzrāda samazinošu atdevi, liekot AI laboratorijām mainīt kursu". DeepLearning.AI dokumentēja, kā lielie uzņēmumi atzina, ka "nākamās paaudzes augsta profila modeļi nav uzrādījuši gaidītos uzlabojumus, neskatoties uz lielākām arhitektūrām, vairāk treniņdatu un lielāku apstrādes jaudu".
Pierādījumi ir skaidri: mērogošana atdūrās pret sienu. Patiesībā pret vairākām sienām.
Datu siena
Pirmā siena: mums beidzas kvalitatīvi treniņdati.
Lielie valodas modeļi patērē internetu. Burtiski. GPT-3 tika trenēts uz simtiem miljardu vārdu, kas nokasīti no tīmekļa vietnēm, grāmatām, rakstiem, forumiem. Uz gandrīz visu saprātīgi pieejamo cilvēku tekstu tiešsaistē.
Bet interneta ir tikai tik daudz. 2022. gadā publicētie pētījumi prognozēja, ka kvalitatīvu teksta datu mums pietrūks laikā no 2026. līdz 2032. gadam, ja pašreizējās tendences turpināsies. Epoch AI analīze atklāja, ka, lai gan agrāki aprēķini liecināja par izsīkšanu līdz 2024. gadam, precizētā metodoloģija tagad norāda, ka tas varētu notikt līdz 2028. gadam.
Lai kā, pulkstenis tikšķ. Augstas kvalitātes cilvēku radīta teksta ir ierobežotā daudzumā.
Atbilde? Sintētiskie dati. Modeļi, kas ģenerē tekstu, lai apmācītu citus modeļus. Tas izklausās gudri, līdz saproti, ka tas ir kā kopiju kopēšana. Katra paaudze degradējas. Kļūdas uzkrājas. Aizspriedumi pastiprinās.
Žurnāls Nature 2024. gadā publicēja pētījumu, kas pierādīja, ka modeļiem, kuri apmācīti uz rekursīvi ģenerētiem datiem, novērojams "modeļa sabrukums". Pētījums parādīja, ka nesaudzīga apmācība uz sintētisku saturu noved pie pasliktinātas veiktspējas, samazinātas daudzveidības un galu galā mākslīgā intelekta modeļiem, kas rada arvien vispārīgākus rezultātus.
Nevar mērogot bezgalīgi, ja degvielas avots ir ierobežots. Un kvalitatīvi dati, īstas cilvēku zināšanas, patiešām ir ļoti ierobežotas.
Kvalitātes sabrukums
Otrā siena: vairāk datu nenozīmē labākus datus.
2022. gada Chinchilla raksts atklāja kaut ko būtisku: optimālais modelis nav lielākais modelis. Tas ir modelis ar vislabāko parametru un apmācības žetonu attiecību. Par katru 4× skaitļošanas jaudas pieaugumu nepieciešams 2× lielāks modeļa izmērs UN 2× lielāka datu kvalitāte.
Bet kas notiek, kad visi labie dati jau ir izmantoti? Sāc vākt zemākas kvalitātes avotus. Forumus ar dezinformāciju. Mašīntulkotu saturu. Mākslīgā intelekta ģenerētu surogātpastu. Interneta atliekas.
Vairāk apmācības datu. Sliktāka veiktspēja. Jo princips "atkritumi iekšā, atkritumi ārā" nepārstāj būt patiess tikai tāpēc, ka tev ir triljons parametru.
2024. gada pētījums atklāja, ka maziem valodas modeļiem datu kvalitāte ir svarīgāka par kvantitāti. Cits pētījums parādīja, ka rūpīgi atlasītas datu kopas ar 1 miljonu piemēru pārspēj nejauši savāktas datu kopas ar 100 miljoniem piemēru.
Nozares atbilde? Turpināt mērogot tik un tā. Mest problēmai virsū vairāk skaitļošanas jaudas. Cerēt, ka brutālais spēks pārvarēs sliktos datus.
Tas nepalīdz.
Skaitļošanas griesti
Trešā siena: skaitļošanas fizika.
Triljonu parametru modeļa apmācībai nepieciešams neiedomājams skaitļošanas apjoms. Runa ir par desmitiem tūkstošu GPU, kas darbojas mēnešiem ilgi. Enerģijas patēriņš, kas līdzinās mazu valstu patēriņam. Infrastruktūras izmaksas simtos miljonu.
Un par ko? Niecīgiem uzlabojumiem. Veiktspējas pieaugumu, kas tik tikko attaisno eksponenciālo izmaksu pieaugumu.
Viena aplēse liecina, ka hipotētiska 10 triljonu parametru modeļa apmācība patērētu vairāk elektroenerģijas nekā dažas Eiropas valstis patērē gadā. Par vienu apmācības reizi. Kuru, visticamāk, vajadzēs atkārtot desmitiem reižu, pirms tā izdosies.
Ekonomiskā atdeve vairs neattaisno skaitļošanas izmaksas. Mērogošanas likumi solīja lineārus uzlabojumus par lineāru ieguldījumu. Realitāte sniedz logaritmiskus uzlabojumus par eksponenciālu ieguldījumu.
Tas nav biznesa modelis. Tas ir burbulis, kas gaida, kad pārplīsīs.
Intelekta ilūzija
Bet šeit ir dziļākā problēma: pat tad, kad mērogošana darbojās, tā neradīja intelektu. Tā radīja statistisko modeļu atpazīšanu milzīgā mērogā.
Biljons parametru nedomā. Tie nespriež. Tie nesaprot. Tie prognozē nākamo žetonu, balstoties uz modeļiem apmācības datos. Tā ir pavisam cita lieta nekā intelekts.
Ilūzija ir pārliecinoša, jo mērogs var aptuveni atdarināt sapratni. Iedodiet modelim pietiekami daudz piemēru, un tas var atpazīt modeļus līdz šķietami inteliģentām atbildēm. Bet tā ir atdarināšana, nevis izpratne.
Tāpēc modeļi cieš neveiksmi jaunu problēmu risināšanā. Tāpēc tie nevar droši veikt daudzsoļu spriešanu. Tāpēc tie pārliecinoši halucinē nepareizus faktus. Tie nedomā. Tie izgūst un apvieno modeļus.
Un nekāda mērogošana to nelabos. Pievienojot vairāk parametru modeļu atpazītājam, jūs vienkārši iegūstat lielāku modeļu atpazītāju.
Eiropas slazds
Eiropai mērogošanas paradigma rada neiespējamu situāciju.
Amerikas tehnoloģiju gigantiem ir skaitļošanas jauda. Viņiem ir dati. Viņiem ir infrastruktūra, lai apmācītu biljonu parametru modeļus. Eiropas uzņēmumiem tās nav.
Mēģināt konkurēt mērogošanas sacensībā nozīmē, ka Eiropas mākslīgais intelekts vienmēr būs panācēja lomā. Vienmēr vienu paaudzi atpalicis. Vienmēr ar mazāku skaitļošanas jaudu un mazāk līdzekļu datu vākšanai.
Tā ir spēle, kas ir sarīkota jau no paša sākuma. Noteikumi dod priekšroku tiem, kam ir visvairāk resursu, nevis tiem, kam ir labākās idejas.
Un tagad, kad mērogošanas likumi sabrūk, Eiropas neizdevīgais stāvoklis šajā sacensībā kļūst mazsvarīgs. Jo pati sacensība beidzas.
Gudrākā alternatīva
Tātad, kāda ir alternatīva? Ja lielāks nav labāks, tad kas ir?
Atbilde ir elegance. Efektivitāte. Matemātiskā stingrība.
Uzņēmumā Dweve mēs nekad neticējām mērogošanas ilūzijai. Mēs nemēģinājām būvēt lielākus modeļus. Mēs būvējām gudrākus.
Binārie neironu tīkli ar 456 nozares speciālistiem. Katrs nozares speciālists ir vērsts uz konkrētiem spriešanas veidiem. Retā aktivizācija nozīmē, ka katram uzdevumam tiek iesaistīti tikai attiecīgie nozares speciālisti. Nekādas izšķērdētas skaitļošanas. Nekādu lieku parametru.
Rezultāts? Jaunākās paaudzes veiktspēja ar nelielu daļu parametru. Labāka spriešana ar mazāk datu. Ieviešamas sistēmas, kurām nav nepieciešama datu centra mēroga infrastruktūra.
Loom 456 nemēģina iegaumēt internetu. Tas ir veidots, lai spriestu ar ierobežojumiem, lai izdomātu problēmas, lai patiešām saprastu struktūru.
Šis ir intelekts caur arhitektūru, nevis caur uzkrāšanu.
Kvalitāte pār kvantitāti
Chinchilla rakstā viena lieta bija pareiza: attiecība ir svarīgāka par neapstrādātiem skaitļiem.
Bet patiesā atziņa ir dziļāka: rūpīgi izstrādāti modeļi ar pārdomātām apmācības programmām pārspēj milzīgus modeļus ar nesaudzīgu datu uzkrāšanu.
Padomājiet par cilvēka mācīšanos. Jūs nekļūstat gudrs, izlasot visu. Jūs kļūstat gudrs, lasot pareizās lietas, pareizā secībā, ar pareizu vadību. Mācīšanās kvalitāte ir svarīgāka par informācijas daudzumu.
Mākslīgais intelekts nav citādāks. Modelis, kas apmācīts uz labi strukturētiem, rūpīgi atlasītiem datiem, pārspēs modeli, kas slīkst nejaušā interneta tekstā. Pat ja otrajam modelim ir 100× vairāk parametru.
Šeit Eiropa var konkurēt. Nevis būvējot lielāku, bet būvējot labāku. Nevis savācot vairāk datu, bet izmantojot gudrākas apmācības programmas.
Dweve Core demonstrē šo principu. Mūsu bināro neironu tīklu sistēma sasniedz konkurētspējīgu veiktspēju ar vairākām kārtām mazāku parametru skaitu nekā standarta modeļi. Jo mēs koncentrējāmies uz matemātisku eleganci, nevis brutālu mērogošanu.
Arhitektūras priekšrocība
Lūk, ko mērogošanas piekritēji palaiž garām: arhitektūra ir svarīgāka par izmēru.
Var būt triljons parametru sakārtotu muļķīgi, vai miljards parametru sakārtotu inteliģenti. Inteliģentais izkārtojums uzvar katru reizi.
Mixture of Experts (MoE) arhitektūras to pierāda. Tā vietā, lai aktivizētu visus parametrus katram uzdevumam, aktivizē tikai atbilstošo apakškopu. Pēkšņi iegūstat triljonu parametru veiktspēju ar miljarda parametru aprēķinu izmaksām.
Binārie neironu tīkli to attīsta tālāk. Katra darbība ir matemātiski vienkāršāka, bet kopējā arhitektūra ir sarežģītāka. Uz ierobežojumiem balstīta spriešana, nevis varbūtību tuvināšana. Diskrēta loģika, nevis peldošā komata minējumi.
Rezultāts ir sistēmas, kas spriež, nevis izgūst. Kas saprot struktūru, nevis iegaumē modeļus. Kas strādā uzticami, nevis ticami halucinē.
Šī ir nākotne, ko mērogošanas likumi nespēj sasniegt: īsta inteliģence, nevis tikai lielāka atdarināšana.
Pāri ilūzijai
Mērogošanas laikmets beidzas. Ne ar dramatisku sabrukumu, bet ar lēnu apzināšanos, ka vairāk skaitļošanas jaudas problēmai vairs nepalīdz.
Datu sienas. Kvalitātes sabrukums. Skaitļošanas griesti. Samazinoša atdeve. Tie nav īslaicīgi šķēršļi. Tās ir mērogošanas paradigmas pamatrobežas.
Bet tiem, kas ilūzijai nekad neticēja, šī nav krīze. Tā ir iespēja.
Iespēja veidot mākslīgo intelektu, kas balstīts uz patiesiem intelekta principiem, nevis statistisko korelāciju. Radīt sistēmas, kas strādā efektīvi, nevis izšķērdīgi. Attīstīt tehnoloģiju, kas ir pieejama, nevis prasa miljardu dolāru budžetus.
Triljonu parametru sacensība vienmēr bija strupceļš. Mums tikai vajadzēja pagaidīt, līdz visi pārējie atduras pret sienu, lai to pierādītu.
Īstais sasniegums
Lūk, ironija: īstais sasniegums mākslīgajā intelektā nebūs lielāks modelis. Tā būs apziņa, ka esam optimizējuši nepareizo lietu.
Ne vairāk parametru. Labāka arhitektūra.
Ne vairāk datu. Labāka mācīšanās.
Ne vairāk skaitļošanas jaudas. Gudrāka matemātika.
Binārie neironu tīkli atspoguļo šo pārmaiņu. No uzkrāšanas uz eleganci. No brutāla spēka uz matemātisku stingrību. No triljonu parametru monstriem uz miljardu parametru sistēmām, kas patiešām domā.
Dweve platforma pierāda, ka tas darbojas: Core kā bināro algoritmu ietvars, Loom kā 456 jomu speciālistu intelekta modelis, Nexus kā vairāku aģentu intelekta ietvars, Aura kā autonomu aģentu orķestrācijas platforma, Fabric kā vienots informācijas panelis un vadības centrs, Mesh kā decentralizētas infrastruktūras slānis.
Viss balstīts uz principu, ka intelekts nāk no struktūras, nevis izmēra.
Izvēle priekšā
Mākslīgā intelekta nozare stāv izvēles priekšā. Turpināt dzīties pēc mērogošanas ilūzijas, mest labu naudu pēc sliktas, cerot, ka nākamā lieluma kārta kaut kā izlauzīsies cauri sienām. Vai atzīt, ka paradigmai ir robežas, un pāriet uz kaut ko labāku.
Dati liecina, ka mērogošana ir beigusies. Fizika saka, ka skaitļošanas izmaksas nav ilgtspējīgas. Matemātika saka, ka ir gudrākas pieejas.
Eiropai nav jāuzvar mērogošanas sacensībā. Eiropai tā jāpadara novecojusi. Jāveido mākslīgais intelekts, kam nav vajadzīgi triljonu parametru modeļi. Jārada sistēmas, kas strādā efektīvi, nevis izšķērdīgi. Jāattīsta tehnoloģija, kas balstīta izpratnē, nevis iegaumēšanā.
Lielā mākslīgā intelekta ilūzija sabrūk. Vairāk datu to neglābs. Lielāki modeļi to neglābs. Vairāk skaitļošanas jaudas to neglābs.
Kas sagrauj ilūziju? Apziņa, ka inteliģence nekad nav bijusi par apjomu.
Mākslīgā intelekta nākotne nav triljoni parametru. Tā ir gudra arhitektūra, efektīva skaitļošana un matemātiska elegance. Sistēmas, kas veidotas izpratnei, nevis iegaumēšanai. Inteliģence caur struktūru, nevis uzkrāšanu.
Mērogošanas paradigma ir nokalpojusi savu mērķi. Tā parādīja, ko spēj brutāls spēks. Taču tagad esam sasnieguši tās robežas. Nākamā mākslīgā intelekta nodaļa prasa citu domāšanu: precizitāti apjoma vietā, arhitektūru parametru vietā, inteliģenci lieluma vietā.
Šī nākotne tiek būvēta jau tagad. Pētnieki, kas pievēršas efektivitātei. Inženieri, kas prioritizē izskaidrojamību. Uzņēmumi, kas izstrādā mākslīgo intelektu, kuram nav vajadzīga datu centru infrastruktūra. Eiropai ir iespēja vadīt šīs pārmaiņas, nevis uzvarot mērogošanas sacensībā, bet gan padarot to nebūtisku.
Lielā mākslīgā intelekta ilūzija sabrūk. Vairāk datu to neglābs. Tas, kas nāks tālāk, būs gudrāks.
Dweve veido mākslīgo intelektu uz bināro ierobežojumu tīkliem un jomu speciālistu maisījuma arhitektūrām. Loom izmanto 456 jomu speciālistus efektīvai spriešanai. Izstrāde Nīderlandē, apkalpojot Eiropas organizācijas. Mākslīgā intelekta nākotne ir eleganta, ne tikai liela.