An tseiftseoil mhór AI: cén fáth nach sábhálfaidh "níos mó sonraí" sinn
An tseafóid trilliún paraiméadar
Tá rás ar siúl in AI. Ní rás chun córais níos fearr a thógáil. Ní rás chun fíorfhadhbanna a réiteach. Rás chun uimhreacha níos mó a thógáil.
Céad billiún paraiméadar. Cúig chéad billiún. Trilliún. Deich dtrilliún. Fáiltítear roimh gach fógra le preaseisiúintí gáirsiúla agus praghsanna scaireanna ag ardú go hard. Margaítear gach múnla mar an chéad dul chun cinn eile in intleacht shaorga.
Ach ní dul chun cinn iad. Níl iontu ach méid níos mó.
Agus áit éigin ar an mbealach, chuir an tionscal iomlán ina luí air féin go bhfuil níos mó cothrom le níos fearr. Go gciallaíonn níos mó paraiméadair níos mó intleachta. Go dtiocfaimid ar intleacht shaorga ghinearálta sa deireadh má choinnímid ag méadú, ag cur nialais leis, ag ithe níos mó sonraí agus níos mó ríomhchumhachta.
Is é an seafóid is mó i dteicneolaíocht nua-aimseartha é. Agus tá sé ag briseadh.
Soiscéal na ndlíthe scálaithe
In 2020, fuair taighdeoirí amach rud ar a thug siad "dlíthe scálaithe." Beathaigh líonra néarach le níos mó paraiméadar agus níos mó sonraí, agus feabhsaíonn a fheidhmíocht go intuartha. Déan na paraiméadair a dhúbailt, agus laghdaigh an ráta earráide faoina leath. Bhí sé álainn. Matamaiticiúil. In-athdhéanta.
Rinneadh soiscéal de na dlíthe scálaithe. Ag pleanáil taighde AI? Ní gá ach scálú suas. Ag iarraidh feidhmíocht níos fearr? Cuir níos mó paraiméadar leis. Ní mór iomaíocht a dhéanamh? Tóg samhlacha níos mó.
Ghlac gach saotharlann mhór an straitéis chéanna: samhlacha níos mó, níos mó sonraí, níos mó ríomhchumhachta. Bhí 175 billiún paraiméadar ag GPT-3. Chuaigh GPT-4 níos faide. Bhrúigh Gemini níos faide fós. Fógraíodh samhlacha le trilliún paraiméadar. Pléadh deich dtrilliún.
Ba chosúil go raibh an loighic dosháraithe: má d'oibrigh an scálú chomh fada seo, cén fáth a stopfadh sé?
Ach tá sé ag stopadh. Anois díreach.
An balla nár thuar aon duine
Go déanach in 2024, tharla rud éigin gan choinne. Níor léirigh an chéad ghlúin eile de shamhlacha suaitheanta na feabhsuithe a rabhthas ag súil leo.
Dhá oiread na bparaiméadar. Triple an méid sonraí oiliúna. Deich n-uaire an ríomhchumhacht. Agus is ar éigean a bhog an fheidhmíocht. I gcásanna áirithe, chuaigh sé in olcas.
Bhí na dlíthe scálaithe, a bhí chomh hiontaofa sin ar feadh na mblianta, ag teip. Ní raibh torthaí laghdaitheacha teoiriciúil a thuilleadh. Bhí siad anseo.
Thuairiscigh TechCrunch i Samhain 2024 go bhfuil dlíthe scálaithe AI "ag taispeáint torthaí laghdaitheacha, ag cur iallach ar shaotharlanna AI cúrsa a athrú." Dhoiciméadaigh DeepLearning.AI conas a d'admhaigh cuideachtaí móra nach raibh "an chéad ghlúin eile de shamhlacha ardphróifíle tar éis na feabhsuithe a rabhthas ag súil leo a thaispeáint d'ainneoin ailtireachtaí níos mó, níos mó sonraí oiliúna, agus níos mó cumhachta próiseála."
Tá an fhianaise soiléir: bhuail an scálú balla. Roinnt ballaí, i ndáiríre.
An balla sonraí
Céad balla: táimid ag rith as sonraí oiliúna ardchaighdeáin.
Ídíonn samhlacha teanga móra an t-idirlíon. Go litriúil. Oileadh GPT-3 ar na céadta billiún focal a bailíodh ó shuíomhanna gréasáin, leabhair, ailt, fóraim. Gach píosa téacs daonna réasúnta inrochtana ar líne.
Ach níl san idirlíon ach an méid atá ann. Thuar taighde a foilsíodh in 2022 go n-ídeoidh muid sonraí téacs ardchaighdeáin idir 2026 agus 2032 má leanann na treochtaí reatha. Fuair anailís Epoch AI amach, cé go raibh meastacháin níos luaithe ag tuar ídiú faoi 2024, go dtugann modheolaíocht scagtha le fios anois go bhféadfadh sé seo tarlú faoi 2028.
Ach amháin nó a eile, tá an clog ag tic. Tá téacs ardchaighdeáin a ghineann an duine críochta.
An freagra? Sonraí sintéiseacha. Samhlacha ag giniúint téacs chun samhlacha eile a oiliúint. Fuaimeann sé cliste go dtí go dtuigeann tú go bhfuil sé cosúil le cóipeanna de chóipeanna a dhéanamh. Meathlaíonn gach glúin. Carnann earráidí. Méadaítear claontaí.
D'fhoilsigh Nature taighde in 2024 ag léiriú go dtarlaíonn "titim samhla" do shamhlacha a oiliúntear ar shonraí a ghintear go hathchúrsach. Léirigh an staidéar go mbíonn feidhmíocht ag dul in olcas, éagsúlacht laghdaithe, agus ar deireadh samhlacha AI a tháirgeann aschuir atá ag éirí níos ginearálta mar thoradh ar oiliúint gan idirdhealú ar ábhar sintéiseach.
Ní féidir leat scálú go héigríoch nuair atá d'fhoinse breosla críochta. Agus tá sonraí ardchaighdeáin, fíor-eolas daonna, an-chríochta go deimhin.
An titim cháilíochta
An dara balla: ní chiallaíonn níos mó sonraí sonraí níos fearr.
Nocht páipéar Chinchilla 2022 rud ríthábhachtach: ní hé an tsamhail is mó an tsamhail is fearr. Is é an ceann a bhfuil an cóimheas is fearr idir paraiméadair agus thóicíní oiliúna aige. I gcás gach méadú 4× ar ríomh, teastaíonn méadú 2× ar mhéid na samhla AGUS méadú 2× ar cháilíocht na sonraí.
Ach cad a tharlaíonn nuair a d'úsáid tú na sonraí maithe go léir cheana féin? Tosaíonn tú ag scríobadh foinse ar chaighdeán níos ísle. Fóraim le mífhaisnéis. Ábhar aistrithe ag meaisín. Turscar ginte ag AI. Fuíoll an idirlín.
Níos mó sonraí oiliúna. Feidhmíocht níos measa. Mar ní stopann "dramhaíl isteach, dramhaíl amach" a bheith fíor díreach toisc go bhfuil trilliún paraiméadair agat.
Fuair staidéar in 2024 go bhfuil cáilíocht na sonraí níos tábhachtaí ná cainníocht do shamhlacha beaga teanga. Fuair ceann eile go sáraíonn tacair sonraí a roghnaíodh go cúramach de 1 mhilliún sampla tacair sonraí a bailíodh go randamach de 100 milliún sampla.
Freagra an tionscail? Coinnigh ag scálú ar aon nós. Caith níos mó ríomhaireachta ar an bhfadhb. Bíodh súil agat go sáróidh fórsa brúidiúil drochshonraí.
Ní sháraíonn.
An uasteorainn ríomhaireachta
An tríú balla: fisic na ríomhaireachta.
Teastaíonn méideanna dochreidte ríomhaireachta chun samhail trilliún-paraiméadar a oiliúint. Táimid ag caint faoi na mílte GPU ag rith ar feadh míonna. Tomhaltas fuinnimh a théann in iomaíocht le tíortha beaga. Costais bhonneagair sna céadta milliún.
Agus ar son cad é? Feabhsuithe imeallacha. Gnóthachain feidhmíochta ar ar éigean a chosnaíonn an méadú easpónantúil ar chostas.
Measann meastachán amháin go n-ídeodh oiliúint samhail hipitéiseach 10-trilliún-paraiméadar níos mó leictreachais ná mar a úsáideann roinnt náisiún Eorpach in aghaidh na bliana. Le haghaidh aon rith oiliúna amháin. A mbeidh gá is dócha é a athdhéanamh scórtha uaire sula n-oibreoidh sé.
Ní thacaíonn na torthaí eacnamaíocha leis na costais ríomhaireachta a thuilleadh. Gheall dlíthe scálaithe feabhsuithe líneacha le hinfheistíocht líneach. Is é atá á sheachadadh ag an réaltacht ná feabhsuithe logartamacha le hinfheistíocht easpónantúil.
Ní samhail ghnó é sin. Is mboilgeog é atá ag fanacht le pléascadh.
An seachmall intleachta
Ach seo an fhadhb is doimhne: fiú nuair a d'oibrigh an scálú, ní raibh sé ag cruthú intleachta. Bhí sé ag cruthú meaitseáil patrún staitistiúil ar scála ollmhór.
Ní shíleann trilliún paraiméadar. Ní réasúnaíonn siad. Ní thuigeann siad. Tuarann siad an chéad token eile bunaithe ar phatrúin sna sonraí oiliúna. Is rud go hiomlán difriúil é sin ó intleacht.
Tá an seachmall inchreidte mar gheall gur féidir le scála tuiscint a chomhfhogasú. Tabhair go leor samplaí do mhúnla, agus is féidir leis meaitseáil patrún a dhéanamh ar a bhealach chuig freagraí atá cosúil le bheith cliste. Ach is aithris é, ní tuiscint.
Sin an fáth go dteipeann ar mhúnlaí le fadhbanna núíosacha. Sin an fáth nach féidir leo réasúnú ilchéime a dhéanamh go hiontaofa. Sin an fáth go ndéanann siad fíricí míchearta a shamhlú go muiníneach. Níl siad ag smaoineamh. Tá siad ag aisghabháil agus ag athchumadh patrún.
Agus ní réitíonn aon mhéid scálaithe é seo. Má chuirtear níos mó paraiméadair le meaitseálaí patrún, gheobhaidh tú meaitseálaí patrún níos mó.
Gaiste na hEorpa
Maidir leis an Eoraip, cruthaíonn an pharaidím scálaithe cás dodhéanta.
Tá an ríomhaireacht ag na mórchuideachtaí teicneolaíochta Meiriceánacha. Tá na sonraí acu. Tá an bonneagar acu chun múnlaí trilliún-paraiméadar a oiliúint. Níl sé ag cuideachtaí Eorpacha.
Má dhéantar iarracht dul san iomaíocht sa rás scálaithe, ciallaíonn sé go mbeidh AI na hEorpa i gcónaí ag seinm suas. I gcónaí glúin amháin taobh thiar. I gcónaí faoi mhíbhuntáiste ar ríomhaireacht agus róchaiteach ar bhailiú sonraí.
Is cluiche é atá rigáilte ón tús. Bíonn na rialacha i bhfabhar na ndaoine a bhfuil na hacmhainní is mó acu, ní na daoine a bhfuil na smaointe is fearr acu.
Agus anois, de réir mar a thagann meath ar dhlíthe scálaithe, éiríonn míbhuntáiste na hEorpa sa rás sin neamhábhartha. Toisc go bhfuil an rás féin ag teacht chun deiridh.
An rogha eile níos cliste
Mar sin, cad é an rogha eile? Mura fearr an rud is mó, cad é?
Is é an freagra ná galántacht. Éifeachtúlacht. Déine mhatamaiticiúil.
Ag Dweve, níor cheannaíomar riamh isteach sa seachmall scálaithe. Níor thriail muid múnlaí níos mó a thógáil. Thóg muid cinn níos cliste.
Líonraí néaracha dénártha le 456 saineolaí fearainn. Gach saineolaí fearainn dírithe ar chineálacha sonracha réasúnaíochta. Ciallaíonn gníomhachtú scáinte nach mbíonn ach na saineolaithe fearainn ábhartha ag gabháil do gach tasc. Gan aon ríomhaireacht amú. Gan aon pharaiméadair neamhriachtanacha.
An toradh? Feidhmíocht ar thús cadhnaíochta le codán de na paraiméadair. Réasúnaíocht níos fearr le níos lú sonraí. Córais in-imscartha nach dteastaíonn bonneagar ar scála ionad sonraí uathu.
Níl Loom 456 ag iarraidh an t-idirlíon a chur de ghlanmheabhair. Tá sé deartha chun réasúnú le srianta, chun smaoineamh trí fhadhbanna, chun struchtúr a thuiscint i ndáiríre.
Is intleacht trí ailtireacht é seo, ní trí charnadh.
Cáilíocht thar chainníocht
Fuair páipéar Chinchilla rud amháin i gceart: is cuma níos mó faoin gcóimheas ná na huimhreacha amha.
Ach téann an léargas fíor níos doimhne: sáraíonn múnlaí deartha go cúramach le réimis oiliúna coimeádta múnlaí ollmhóra le carnadh sonraí gan idirdhealú.
Smaoinigh ar fhoghlaim an duine. Ní éiríonn tú cliste trí gach rud a léamh. Éiríonn tú cliste trí na rudaí cearta a léamh, san ord ceart, leis an treoir cheart. Is cuma níos mó faoi cháilíocht na foghlama ná cainníocht na faisnéise.
Níl AI aon difriúil. Sáróidh múnla atá oilte ar shonraí dea-struchtúrtha, coimeádta go cúramach, múnla atá báite i dtéacs randamach idirlín. Fiú má tá 100× níos mó paraiméadair ag an dara múnla.
Seo an áit ar féidir leis an Eoraip dul san iomaíocht. Ní trí níos mó a thógáil, ach trí níos fearr a thógáil. Ní trí níos mó sonraí a scríobadh, ach trí réimis oiliúna níos cliste a úsáid.
Léiríonn Dweve Core an prionsabal seo. Baineann ár gcreat líonra néarach dénártha feidhmíocht iomaíoch amach le hordú méide níos lú paraiméadar ná gnáthmhúnlaí. Toisc gur dhírigh muid ar áilleacht mhatamaiticiúil seachas ar scálú trí fhórsa brúidiúil.
Buntáiste na hailtireachta
Seo a chailleann an slua scálaithe: is cuma níos mó faoin ailtireacht ná faoin méid.
Is féidir trilliún paraiméadar a bheith agat socraithe go dúr, nó billiún paraiméadar socraithe go hintleachtúil. Buaileann an socrú hintleachtúil gach uair.
Cruthaíonn ailtireachtaí MoE (Saineolaithe Meascáin) é seo. In ionad gach paraiméadar a ghníomhachtú do gach tasc, gníomhachtaigh ach an fothacar ábhartha. Go tobann, faigheann tú feidhmíocht trilliún-paraiméadar le costais ríomha billiún-paraiméadar.
Tógann líonraí néarach dénártha é seo níos faide. Tá gach oibríocht níos simplí go matamaiticiúil, ach tá an ailtireacht iomlán níos sofaisticiúla. Réasúnaíocht bhunaithe ar shrianta in ionad meastachán dóchiúlach. Loighic scoite in ionad buille faoi thuairim snámhphointe.
Is é an toradh ná córais a réasúnaíonn seachas a aisghabhálann. A thuigeann struchtúr seachas a mheabhraíonn patrúin. A oibríonn go hiontaofa in ionad seachmall a dhéanamh go inchreidte.
Seo an todhchaí nach féidir le dlíthe scálaithe a bhaint amach: fíor-intleacht, ní hamháin aithris níos mó.
Thar an seachmall
Tá ré an scálaithe ag teacht chun deiridh. Ní le titim mhór drámatúil, ach le haithint mhall nach bhfuil sé ag obair a thuilleadh níos mó ríomhchumhachta a chaitheamh ar an bhfadhb.
Ballaí sonraí. Titim cáilíochta. Uasteorainneacha ríomha. Torthaí ag dul i laghad. Ní constaicí sealadacha iad seo. Is teorainneacha bunúsacha iad le paraidím an scálaithe.
Ach dóibh siúd nár chreid an seachmall riamh, ní géarchéim é seo. Is deis é.
Deis AI a thógáil atá bunaithe ar fhíorphrionsabail intleachta seachas ar chomhghaol staitistiúil. Córais a chruthú a oibríonn go héifeachtúil seachas go hamscaí. Teicneolaíocht a fhorbairt atá inrochtana seachas a éilíonn buiséid billiún dollar.
Ba chríoch gan mhaith i gcónaí an rás trilliún paraiméadar. Ní raibh le déanamh againn ach fanacht go mbuailfeadh gach duine eile an balla chun é sin a chruthú.
An fhíor-ghnóthachtáil
Seo an íoróin: ní samhail níos mó a bheidh san fhíor-ghnóthachtáil in AI. Tuiscint a bheidh ann go rabhamar ag barrfheabhsú don rud mícheart.
Ní paraiméadair níos mó. Ailtireacht níos fearr.
Ní sonraí níos mó. Foghlaim níos fearr.
Ní ríomh níos mó. Matamaitic níos cliste.
Léiríonn líonraí néaracha dénártha an t-athrú seo. Ó charnadh go heagantacht. Ó fhórsa brúidiúil go dochtúlacht mhatamaiticiúil. Ó ollphéisteanna trilliún paraiméadar go córais billiún paraiméadar a smaoiníonn i ndáiríre.
Cruthaíonn ardán Dweve go n-oibríonn sé: Core mar an creat algartam dénártha, Loom mar an tsamhail intleachta a bhfuil saineolas aici ar 456 réimse, Nexus mar an creat intleachta ilghníomhaireach, Aura mar an t-ardán um cheannasaíocht ghníomhairí uathrialacha, Fabric mar an deais aontaithe agus an t-ionad rialaithe, Mesh mar an ciseal bonneagair dhíláraithe.
Go léir tógtha ar an bprionsabal go dtagann intleacht ó struchtúr, ní ó mhéid.
An rogha atá romhainn
Tá rogha le déanamh ag tionscal an AI. Leanúint ar aghaidh ag tóraíocht an tseachmaill scálaithe, airgead maith a chaitheamh i ndiaidh droch-airgid, ag súil go mbriseann an chéad ord méide eile trí na ballaí ar bhealach éigin. Nó glacadh leis go bhfuil teorainneacha leis an bparaidím agus bogadh go dtí rud éigin níos fearr.
Deir na sonraí go bhfuil an scálú thart. Deir an fhisic go bhfuil costais ríomha neamh-inbhuanaithe. Deir an mhatamaitic go bhfuil cur chuige níos cliste ann.
Ní gá don Eoraip an rás scálaithe a bhuachan. Is gá di é a dhéanamh as dáta. AI a thógáil nach n-éilíonn samhlacha trilliún paraiméadar. Córais a chruthú a oibríonn go héifeachtúil seachas go hamscaí. Teicneolaíocht a fhorbairt atá bunaithe ar thuiscint, ní ar chur de ghlanmheabhair.
Tá an seachmall mór AI ag briseadh. Ní shábhálfaidh níos mó sonraí é. Ní shábhálfaidh samhlacha níos mó é. Ní shábhálfaidh níos mó ríomhachumhachta é.
Cad a bhriseann an seachmall? Aithint nach raibh an fhaisnéis riamh faoi mhéid sa chéad áit.
Ní trilliún paraiméadair atá i dtodhchaí an AI. Is ailtireachtaí cliste, ríomh éifeachtúil, agus galántacht mhatamaiticiúil atá ann. Is córais iad atá deartha le haghaidh tuisceana, ní le haghaidh meabhrúcháin. Faisnéis trí struchtúr, ní trí charnadh.
Rinne an paraidím scálaithe a chuspóir a chomhlíonadh. Thaispeáin sé dúinn cad is féidir le fórsa brúidiúil a bhaint amach. Ach anois tá a theorainneacha bainte amach againn. Éilíonn an chéad chaibidil eile den AI smaointeoireacht dhifriúil: cruinneas thar scála, ailtireacht thar pharaiméadair, faisnéis thar mhéid.
Tá an todhchaí sin á tógáil anois. Ag taighdeoirí atá ag díriú ar éifeachtúlacht. Ag innealtóirí atá ag tabhairt tosaíochta do shoiléiritheacht. Ag cuideachtaí atá ag forbairt AI a oibríonn gan bonneagar ionad sonraí a bheith ag teastáil. Tá deis ag an Eoraip ceannaireacht a ghlacadh san athrú seo, ní trí rás an scálaithe a bhuachan, ach trí é a dhéanamh neamhábhartha.
Tá an seachmall mór AI ag briseadh. Ní shábhálfaidh níos mó sonraí é. Beidh an méid a thiocfaidh ina dhiaidh níos cliste.
Tógann Dweve AI ar líonraí srianta dénártha agus ailtireachtaí meascán-saineolaithe fearainn. Úsáideann Loom 456 saineolaithe fearainn le haghaidh réasúnaíocht éifeachtúil. Forbairt san Ísiltír, ag freastal ar eagraíochtaí Eorpacha. Tá todhchaí an AI galánta, ní hamháin mór.