Agus é á rith i gcomparáid lena thraenáil: cén fáth a bhfuil difríocht idir AI a rith agus AI a thógáil
Dhá Fhadhb atá Go Hiomlán Difriúil
Labhraíonn gach duine faoi mhúnlaí AI. ChatGPT. Gineadóirí íomhánna. Cúntóirí gutha. Ach tá scoilt bhunúsach ann nach míníonn aon duine:
Is oibríochtaí go hiomlán difriúla iad an múnla a thógáil (traenáil) agus an múnla a úsáid (inference). Crua-earraí difriúla. Spriocanna optamaithe difriúla. Costais dhifriúla. Dúshláin dhifriúla.
Tá sé ríthábhachtach an scoilt seo a thuiscint. Mar ní fhéadfadh na ceanglais a bheith níos difriúla.
Cad is Traenáil i ndáiríre
Is éard is traenáil ann an próiseas aonuaire (nó tréimhsiúil) chun an múnla a thógáil.
Tá sonraí agat. Go leor díobh. Tá ailtireacht mhúnla agat. Le meáchain randamacha ar dtús. Coigeartaíonn traenáil na meáchain sin go dtí go n-oibríonn an múnla.
Tréithe na Traenála:
- Iarracht Aonuaire: Traenálann tú uair amháin (nó aththraenálann tú go tréimhsiúil). Ní leanúnach. Próiseas baisc.
- Dian ó thaobh Ríomhaireachta: Na billiúin oibríochtaí. Laethanta nó seachtainí d'am GPU. Buiséad ríomhaireachta ollmhór.
- Caoinfhulaingt ar Am: Má thógann traenáil seachtain seachas lá, tá sin ceart go leor. Fanann tú. Níl aon cheanglais fíor-ama ann.
- Caonfhulaingt ar Chostas: D'fhéadfadh traenáil na milliúin a chostas. Ach tá sé á amortáil thar gach úsáid amach anseo den mhúnla. Tá an costas in aghaidh an tuar deiridh beag bídeach.
- Andúil sa Cháilíocht: Is cúram duit cáilíocht an mhúnla. Cruinneas. Feidhmíocht. Caithfidh tú ríomh breise chun cruinneas 0.1% níos fearr a fháil. Is fiú é.
Is próiseas baisc í an traenáil. As líne. Daor. Caoinfhulangach ar am. Dírithe ar cháilíocht.
Cad is Inference i ndáiríre
Is éard is inference ann an múnla traenáilte a úsáid chun tuar a dhéanamh. Tarlaíonn sé seo gach uair a úsáideann duine éigin do AI.
Seolann an t-úsáideoir ceist. Próiseálann an múnla í. Filleann sé tuar. Déan arís na milliúin uaire in aghaidh an lae.
Tréithe an Inference:
- Oibriú Leanúnach: Ní uair amháin é. Tarlaíonn sé na milliúin nó na billiúin uaire. Gach idirghníomhú úsáideora. Gach glao API.
- Ríthábhachtach ó thaobh Moille: Bíonn úsáideoirí ag súil le freagraí láithreacha. Is cuma le milliméadair. Ní féidir glacadh le moilleanna.
- Costas in aghaidh an Tuartha: Cosnaíonn gach tuar airgead. Ríomh. Cumhacht. Ar scála mór, méadaíonn costais bheaga. Tá barrfheabhsú éigeantach.
- Teoranta ó thaobh Acmhainní: Is minic a ritheann sé ar ghléasanna imeallacha. Fóin. IoT. Cumhacht theoranta. Cuimhne theoranta. Ríomh teoranta.
- Comhréiteach Cáilíochta vs. Luais: B'fhéidir go nglacfá le cruinneas beagán níos ísle ar mhaithe le hinferáil i bhfad níos tapúla. Is cuma le húsáideoirí faoi fhreagrúlacht.
Tá inferáil ar líne. Fíor-ama. Íogair ó thaobh costais. Ríthábhachtach ó thaobh moille. Teoranta ó thaobh acmhainní.
An Scoilt Crua-earraí
Is minic a ritheann oiliúint agus inferáil ar chrua-earraí go hiomlán difriúil:
Crua-earraí Oiliúna:
GPUanna ionad sonraí. Ardleibhéal. Na mílte euro an t-aonad. Optamaithe le haghaidh tréchur. Comhthreomhaireacht ollmhór. Gan aon srianta moille.
NVIDIA A100, H100. TPUanna Google. Luasaire AI saincheaptha. Is cuma faoi thomhaltas cumhachta. Is é feidhmíocht atá tábhachtach.
Crua-earraí Inferála:
LAPanna. Gléasanna imeallacha. Fóin. Córais leabaithe. Optamaithe le haghaidh éifeachtúlachta. Moill. Tomhaltas cumhachta.
LAPanna Intel Xeon. Próiseálaithe ARM. Inneall Néarach Apple. TPUanna imeallacha. Saor. Éifeachtúil. I ngach áit.
Tá spriocanna barrfheabhsaithe crua-earraí contrártha. Oiliúint: uas-thréchur. Inferáil: íos-mhoill agus cumhacht.
Difríochtaí Ríomhaireachtúla
Tá difríocht bhunúsach idir an méid a dhéanann na crua-earraí i ndáiríre:
Ríomh Oiliúna:
Pas ar aghaidh: tuar a ríomh. Pas ar gcúl: grádáin a ríomh. Nuashonruithe meáchain: paraiméadair a choigeartú. Déan arís na milliúin uaire.
Pasanna ar aghaidh agus ar gcúl araon. Riachtanais chuimhne ollmhóra. Stóráil na gníomhachtaithe go léir le haghaidh iarchraolta. Stóráil grádáin. Stóráil staid optamóra.
Tá an lorg cuimhne 3-4× mhéid na samhla. Tá an ríomh 2× (ar aghaidh agus ar gcúl). Tá gach rud trom.
Ríomh Inferála:
Pas ar aghaidh amháin. Gan aon phas ar gcúl. Gan aon ríomh grádán. Gan aon nuashonruithe meáchain. Díreach: ionchur → samhail → aschur.
Is é méid an mhúnla méid an chuimhne a theastaíonn (na meáchain amháin). Is é 1× an ríomh a theastaíonn (an pas chun cinn amháin). I bhfad níos éadroime.
An múnla céanna. Patrún ríomhaireachta go hiomlán difriúil.
Spriocanna Leasaithe (An Rud is Cúram Leat i ndáiríre)
Déanann oiliúint agus tátal leas iomlán a bhaint as rudaí éagsúla:
Leasú Oiliúna:
- Cruinneas: An phríomhsprioc. Faigh an múnla is fearr is féidir. Caith níos mó ríomhaireachta má fheabhsaíonn sé cruinneas.
- Luas Comhthionóil: Ciallaíonn oiliúint níos tapúla atriall níos tapúla. Hipearpharaiméadair níos fearr. Tuilleadh turgnaimh. Ach tá cruinneas níos tábhachtaí.
- Cobhsaíocht: Ní mór nach dtiocfadh oiliúint anuas. Ní mór nach bpléascfadh grádáin. Ní mór go mbeadh comhthionól iontaofa. Tá sé do-ghlactha laethanta ríomhaireachta a chur amú ar rith ar theip air.
Leasú Tátail:
- Latency: Is cuma faoin am freagartha. Fanann úsáideoirí. Áirítear milleasoicindí. Seo an príomh-mhéadrach.
- Tréchur: Tuartha in aghaidh an tsoicind. Ar scála mór, cinneann sé seo cé mhéad freastalaí a theastaíonn uait. Méadaíonn costas go líneach.
- Éifeachtúlacht: Tomhaltas cumhachta. Go háirithe ar fheistí imeallacha. Is cuma faoi shaol na ceallraí. Is cuma faoi theorainneacha teirmeacha.
- Cuimhne: Luíonn múnlaí níos lú ar fheistí níos lú. Ciallaíonn cuimhne níos ísle imscaradh níos leithne.
Spriocanna éagsúla. Leasuithe éagsúla. Comhréitigh éagsúla.
An Chothromóid Chostais
Tá an geilleagar go hiomlán difriúil:
Costais Oiliúna:
Costas aonuaire (nó tréimhsiúil). Na milliúin euro do mhúnlaí móra. Ach amúrtálaithe trasna na mbilliún tátal. Costas in aghaidh an tuar ó oiliúint: codáin de cent.
Is féidir leat buiséid ollmhóra oiliúna a chosaint má úsáidfear an múnla go forleathan.
Costais Tátail:
Costas in aghaidh an tuar. Méadaithe faoi na billiúin tuartha. Éiríonn fiú costais bheaga ollmhóra ar scála.
Má laghdaítear costas tátail faoi 10%, sábhálfar na milliúin go bliantúil. Tá ROI láithreach ag leasú.
Sampla Mata:
Oiliúint: €10 milliún costas aonuaire
Tátal: 1 billiún tuar in aghaidh an lae
Costas tátail: €0.001 in aghaidh an tuar = €1 milliún in aghaidh an lae = €365 milliún in aghaidh na bliana
Scoránaíonn costais tátail costais oiliúna ar scála. Sin an fáth a bhfuil leasú tátail chomh tábhachtach sin.
Athraíonn Líonraí Dénártha Gach Rud
Seo an áit a n-aistríonn líonraí dénártha an chothromóid go bunúsach:
Oiliúint le Dénártha:
Cur chuige hibrideach. Grádáin lánbheachtais. Pas chun cinn dénártha. 2× níos tapúla ná oiliúint snámhphointe. Ach fós dian ó thaobh ríomhaireachta de.
Tá feabhsuithe oiliúna deas. Ach tá oiliúint aonuaire. Is é an fíor-thairbhe ná tátal.
Tátal le Dénártha:
XNOR agus popcount in ionad iolrú-suimiú. 6 trasraitheoir in ionad na mílte. Luasghéarú ollmhór ar LAPanna.
Tátal 40× níos tapúla ar LAPanna i gcomparáid le snámhphointe ar GPUanna. Laghdú 96% ar chumhacht. Méadaíonn laghdú costais go líneach.
Ag billiún tuar in aghaidh an lae, sábhálann sé seo na céadta milliún go bliantúil. Tá an cás gnó doshéanta.
Cur Chuige Dweve:
Traenáil múnlaí srianta dénártha. Imscar ar LAPanna. Níl GPUanna ag teastáil le haghaidh tátail. Rith ar aon fheiste. Áit ar bith.
Is é leasú tátail an áit a lonraíonn líonraí dénártha. Tá tairbhí oiliúna tánaisteach. Is é imscaradh an claochlóir cluiche.
Comhbhrú Múnla (An Bhearna a Dhúnadh)
Go minic traenálann tú mór, imscarann tú beag. Droicheadann teicnící comhbhrú oiliúint agus tátal:
- Cainníochtú: Traenáil ar snámhphointe. Tiontaigh go beachtas níos ísle (INT8, INT4). Imlonnaigh cainníochtaithe. Níos lú, níos tapúla, cruinneas céanna (den chuid is mó).
- Bearradh: Bain meáchain nach bhfuil gá leo. Múnlaí scáinte. Cruinneas céanna, codán den mhéid. Tátal níos tapúla.
- Driogadh: Traenáil múnla mór múinteora. Traenáil múnla beag dalta chun aithris a dhéanamh ar an múinteoir. Imlonnaigh an dalta. Eolas comhbhrúite.
- Tiontú Dénártha: Traenáil le teicnící dénárth-fheasacha. Imlonnaigh dénártha íon. Comhbhrú foircneach. Luas tátail uasta.
Déanann na teicnící seo optamú don tátal agus solúbthacht oiliúna á coinneáil. An chuid is fearr den dá shaol.
Patrúin Imlonnaithe Fíordhomhanda
Conas a oibríonn sé seo i ndáiríre i dtáirgeadh:
- Tátal Scamall: Traenáil ar GPUanna ardleibhéil. Imlonnaigh ar chnuasaigh LAP don tátal. Scálú cothrománach. Optamú costais. Seo an patrún caighdeánach.
- Tátal Imeall: Traenáil sa scamall. Comhbhrúigh an múnla. Imlonnaigh ar ghléasanna imeall. Fóin, IoT, leabaithe. Latency íseal. Príobháideacht. Cumas as líne.
- Cur Chuige Hibrid: Ceisteanna simplí ar an imeall. Ceisteanna casta chuig an scamall. An latency is fearr do chásanna coitianta. Titim ar ais chuig an scamall do chásanna imeallacha.
- Patrún Dweve: Traenáil múnlaí srianta (cuardach éabhlóideach, ní grádán-íslithe). Imlonnaigh réasúnaíocht dhénártha ar aon LAP. Ailtireacht imeall-ar dtús. Scamall roghnach.
Monatóireacht agus Cothabháil
Traenáil: socraigh é agus déan monatóireacht. Tátal: déan monatóireacht i gcónaí.
- Monatóireacht Oiliúna: Cuair chaillteanais. Normanna grádáin. Cruinneas bailíochtaithe. Seiceáil go tréimhsiúil. Coigeartaigh más gá. Ní fíor-ama.
- Monatóireacht Tátail: Peircintílí latency. Rátaí earráide. Tréchur. Úsáid acmhainní. Deais fíor-ama. Foláirimh ar mheathlú.
Is táirgeadh é an tátal. Is forbairt í an oiliúint. Tá monatóireacht táirgthe 24/7. Tá monatóireacht forbartha eatramhach.
Cad is Gá duit a Mheabhrú
Mura dtógann tú rud ar bith eile as seo, cuimhnigh:
- 1. Tá oiliúint agus tátal go bunúsach difriúil. Oiliúint: baisce, as líne, costasach, dírithe ar cháilíocht. Tátal: ar líne, fíor-ama, íogair ó thaobh costais, ríthábhachtach ó thaobh latency.
- 2. Tá riachtanais chrua-earraí contrártha. Oiliúint: uas-thréchur, gan srian ar chumhacht. Tátal: íos-latency, srianta ag cumhacht, imscaradh imeallach.
- 3. Ar scála mór, is é an tátal a sháraíonn na costais. D'fhéadfadh oiliúint costas na milliúin. Cosnaíonn tátal na céadta milliún go bliantúil. Tá toradh láithreach ar an leas iomlán a bhaint as.
- 4. Sármhaith atá líonraí dénártha ag tátal. Is deas na buntáistí oiliúna. Is suntasach na buntáistí tátail. 40× níos tapúla, 96% níos lú cumhachta, in-imscartha áit ar bith.
- 5. Droichead is ea comhbhrú. Oiliúint ar scála mór. Imscaradh ar scála beag. Chandú, bearradh, driogadh. Leas iomlán a bhaint as tátal agus solúbthacht oiliúna á coinneáil.
- 6. Teastaíonn monatóireacht ó thátal táirgeachta. Méadracht fíor-ama. Latency, earráidí, tréchur. Infheictheacht 24/7. Is eatramhach í monatóireacht oiliúna.
- 7. Athraíonn patrúin imscartha. Scamall, imeall, hibrideach. Roghnaigh bunaithe ar latency, príobháideacht, costas, riachtanais nascachta.
An Bunlíne
Faigheann an oiliúint an aird. Páipéir foilsithe. Tagarmharcanna i gcomparáid. Cruinneas ceannródaíoch ceiliúrtha.
Ach is é an tátal an áit a gcaitear an t-airgead. An áit a mbíonn idirghníomhú ag úsáideoirí. An áit a mbíonn latency tábhachtach. An áit a n-iolraíonn costais. An áit a gcinnfidh éifeachtúlacht rath.
Is cuma faoin bpróiseas oiliúna is fearr má tá tátal mall, costasach, nó ocrach ar chumhacht. Is é an t-imscaradh an seiceáil réaltachta.
Cabhraíonn tuiscint ar an deighilt oiliúna-tátail leat leas iomlán a bhaint as i gceart. Ná déan leas iomlán a bhaint as oiliúint ar chostas an tátail. Is ann atá an fíordhúshlán: ualach an tátail.
Aithníonn líonraí dénártha é seo. Is deas éifeachtúlacht oiliúna. Is riachtanach éifeachtúlacht tátail. Sin an áit a dtéann an iarracht leas iomlánaithe. Sin an áit a bhfuil an luach gnó.
Tógann oiliúint an tsamhail. Seachadann tátal an luach. Ná mearbhall riamh ar an dá rud.
An bhfuil AI atá optamaithe le haghaidh tátail uait? Féach ar Dweve Loom. Réasúnaíocht srianta dénártha deartha le haghaidh imscaradh. Tátal 40× níos tapúla ar LAPanna. Laghdú cumhachta 96%. Imscar áit ar bith. An cineál AI a tógadh le haghaidh táirgeachta ón gcéad lá.