Conas a oibríonn oiliúint AI i ndáiríre: ó chaos randamach go hintleacht úsáideach

Conas a oibríonn oiliúint AI i ndáiríre: ó chaos randamach go hintleacht úsáideach

An Claochlú Nach bhFeiceann Aon Duine

Cloiseann tú trácht ar shamhlacha AI oilte an t-am ar fad. ChatGPT. Gineadóirí íomhánna. Córais féintiomána. Oibríonn siad. Tá siad úsáideach. Uaireanta bíonn siad iontach fiú.

Ach ní mar sin a thosaigh siad. Thosaigh siad go hiomlán gan úsáid. Randamach. Ag déanamh tuartha gan chiall. Ag táirgeadh aschuir ghránna.

Is é an traenáil an próiseas a athraíonn an chaos randamach sin ina fhaisnéis úsáideach. Agus tá sé níos fiáine ná mar a shílfeá.

Cad is Traenáil i ndáiríre

Is éard atá i gceist le traenáil samhail AI go bunúsach ná na huimhreacha cearta a aimsiú.

Cuimhnigh ón alt faoi líonraí néaracha: tá samhail lán de pharaiméadair (meáchain). Randamach ar dtús. Déanann an tsamhail tuartha randamacha. Coigeartaíonn an traenáil na paraiméadair sin go dtí go n-éiríonn na tuartha maith.

Sin é. Coigeartaigh na huimhreacha. Seiceáil an bhfuil sé níos fearr. Coigeartaigh arís. Déan arís é na milliúin uair. Faoi dheireadh, tá samhail úsáideach agat.

Coincheap simplí. Forghníomhú thar a bheith casta.

An Próiseas Traenála (Céim ar Chéim)

Siúlfaimid tríd an méid a tharlaíonn le linn na traenála go díreach:

• Céim 1: Tionscnamh Randamach Tosaigh le meáchain randamacha. Go hiomlán randamach. Níl a fhios ag an tsamhail faic. Tá a tuartha gránna. Sin é an pointe tosaigh.
• Céim 2: Déan Tuartha (Pas Ar Aghaidh) Cuir sonraí traenála isteach. Próiseálann an tsamhail iad lena meáchain reatha (randamacha). Táirgeann sí tuartha. Tá siad mícheart. An-mhícheart. Ach tá a fhios againn na freagraí cearta.
• Céim 3: Tomhais an Mhíchruinneas (Ríomh Caillteanais) Déan comparáid idir na tuartha agus na freagraí cearta. Ríomh uimhir a sheasann do mhíchruinneas iomlán. Is é seo an "caillteanas" nó an "earráid." Ciallaíonn uimhir níos airde níos measa.
• Céim 4: Ríomh Conas Feabhas a Chur (Pas Ar Ais) Ag baint úsáide as calcalas, ríomh go díreach conas gach meáchan a choigeartú chun an caillteanas a laghdú. Cén treo ina aistreofaí gach uimhir. Cé mhéad. Is é seo an grádán: treo an fháis ghéire síos i dtreo tuartha níos fearr.
• Céim 5: Nuashonraigh na Meáchain Coigeartaigh na meáchain go léir beagán sa treo a laghdaíonn an caillteanas. Gan an iomarca (éagobhsaí). Gan an iomarca beagáinín (mall). Díreach ceart (ráta foghlama).
• Céim 6: Déan Arís Fill ar chéim 2. Baisc eile sonraí. Pas ar aghaidh eile, ríomh caillteanais, pas ar ais, nuashonrú meáchain. Déan arís na mílte nó na milliúin uaire.

De réir a chéile, laghdaíonn an caillteanas. Feabhsaíonn na tuartha. Faoi dheireadh, tá an tsamhail úsáideach.

Seo é an traenáil. Leas iomlán a bhaint as coigeartú arís agus arís eile. Simplí i gcoincheap. Ollmhór i scála.

Am Traenála: Cén Fáth a Thógann Sé Chomh Fada Sin

Samhlacha beaga ar thacair shonraí bheaga? Uaireanta. Samhlacha móra ar thacair shonraí mhóra? Seachtainí. Uaireanta míonna. Cén fáth chomh fada sin?

• Na Billiúin Paraiméadar: Tá na céadta billiún paraiméadar i samhlacha teanga móra. Caithfear gach ceann acu a choigeartú. Go minic. Na billiúin ríomhanna in aghaidh an chéim traenála. Na milliúin céimeanna traenála. Méadaíonn an mhatamaitic.
• Na Tacair Shonraí Ollmhóra: Traenáil ar na billiúin samplaí. Iad go léir a phróiseáil, arís agus arís eile (eipeachaí). Sreabhann gach sampla tríd an tsamhail iomlán. Ar aghaidh agus ar gcúl. Ríomh ollmhór.
• Feabhsú Atriallach: Ní féidir leat na meáchain a choigeartú uair amháin agus é sin a dhéanamh. Coigeartuithe beaga, arís agus arís eile na milliúin uair, ag teacht le chéile go mall chuig luachanna maithe. Tá sé de réir a chéile. Gan aon ghearrbhealaí.
• Teorainneacha Crua-earraí: Tá teorainneacha fiú ag GPUanna cumhachtacha. Bandaleithead cuimhne. Tréchur ríomhaireachta. Ualach cumarsáide i socruithe il-GPU. Cuireann na scrogaill seo moill ar gach rud.

Is fíor go bhfuil traenáil samhlacha móra ar cheann de na tascanna is déine ó thaobh ríomhaireachta de a dhéanann daoine. Ríomhaireacht exascale. Peataibhearta sonraí. Seachtainí d'am GPU leanúnach. Tá an scála áiféiseach.

An Costas (Airgead agus Fuinneamh)

Ní hamháin am atá i gceist le traenáil. Tá sé costasach. Costasach i ndáiríre.

• Costais Ríomhaireachta: Cosnaíonn GPUanna na mílte euro in aghaidh na míosa le cíos. Úsáideann traenáil samhail mhór na céadta nó na mílte GPU ag an am céanna. Ar feadh seachtainí. Téann an bille isteach sna milliúin euro. Díreach don ríomhaireacht.
• Tomhaltas Fuinnimh: Ídíonn gach GPU 300-500 vata. Méadaigh faoi na mílte. Rith ar feadh seachtainí. Tá tú ag ídiú leictreachais ar scála stáisiún cumhachta. Tá an lorg carbóin ollmhór.
• Costais Sonraí: Níl sonraí traenála ardchaighdeáin saor in aisce. Bailiú. Glanadh. Lipéadú. Stóráil. Aistriú. Costas ar fad. Uaireanta níos mó ná an ríomhaireacht.
• Costais Dhaonna: Eolaithe sonraí. Innealtóirí ML. Foirne bonneagair. Monatóireacht 24/7. Fabhtcheartú teipeanna. Paraiméadair hipear a bharrfheabhsú. Suimíonn costais saothair.

Is féidir le traenáil samhail den scoth €10-100 milliún a chostas. Díreach le haghaidh rith traenála amháin. Má théann rud éigin mícheart leath bealaigh tríd? Tosaigh arís. Caill seachtainí de ríomhaireacht agus na milliúin euro.

Sin an fáth nach féidir ach le heagraíochtaí dea-mhaoinithe na samhlacha is mó a thraenáil. Ní hea, an t-eolas an bac. Is acmhainní atá i gceist.

Cad is Féidir Dul Mícheart (Agus Is Minic a Dhéanann)

Tá traenáil leochaileach. Go leor modhanna teipe:

• Grádáin ag Dul i Léig: I líonraí an-domhain, is féidir le grádáin a bheith an-bheag agus iad ag iomadú ar gcúl. Faoi dheireadh, bíonn siad chomh beag sin gur ar éigean a nuashonraítear na meáchain. Stoptar an traenáil. Éiríonn an tsamhail as foghlaim.
• Grádáin ag Pléascadh: An fhadhb eile ar fad. Éiríonn grádáin an-mhór. Bíonn nuashonruithe meáchain ollmhóra. Imíonn an tsamhail ó chéile. Scaoileann an caillteanas go dtí an éigríocht. Tuairteálann an traenáil.
• Rófheistiú: Déanann an tsamhail na sonraí traenála a mheabhrú in ionad patrúin a fhoghlaim. Feidhmíonn sé go foirfe ar shamplaí traenála. Teipeann ar shonraí nua. Modh teipe clasaiceach.
• Comhthitimh Mód: I samhlacha áirithe (cosúil le GANanna), is féidir le traenáil titim le chéile chun gan ach cineál amháin aschuir a tháirgeadh. Cailleann sé éagsúlacht. Éiríonn sé gan úsáid.
• Dearmad Tubhaisteach: Agus é ag traenáil ar shonraí nua, déanann an tsamhail dearmad ar a bhfuil foghlamtha aici ó shean-sonraí. Scriostar an t-eolas roimhe seo. Coitianta i gcásanna foghlama leanúnaí.
• Teipeanna Crua-earraí: Faigheann GPU bás. Titim nasc líonra. Gearradh cumhachta. Tuairteálann an traenáil. Caill uaireanta nó laethanta de dhul chun cinn. Tá súil agam gur shábháil tú seicphointí.

Éilíonn oiliúint monatóireacht leanúnach. Fadhbanna a aimsiú go luath. Coigeartuithe a dhéanamh. Uaireanta tosú arís ón tús nuair a théann rudaí amú go doleigheasach.

Oiliúint Dhénártha vs. Oiliúint Snámhphointe

Úsáideann an gnáthchur chuige oibríochtaí snámhphointe. Beacht. Solúbtha. Dian ar acmhainní.

Tá oiliúint dhénártha difriúil. Seo mar a oibríonn sé:

Beachtas Hibrid:

Le linn an chéim ar aghaidh: déan meáchain agus gníomhachtaithe a dhénárú. Úsáid oibríochtaí saora XNOR agus popcount. Tapa.

Le linn an chéim ar gcúl: coinnigh grádáin lánbheachtais. Nuashonraigh meáchain lánbheachtais. Ansin déan dhénárú arís don chéad chéim ar aghaidh eile.

Dénártha le haghaidh luais. Lánbheachtais le haghaidh foghlama. An chuid is fearr den dá shaol.

• Meastóirí Díreacha Tríd: Níl an dénárú in-idirdhealaithe. Ní féidir grádáin a ríomh tríd de ghnáthbhealach. Réiteach: lig ort go bhfuil sé in-idirdhealaithe le linn an chéim ar gcúl. Seol grádáin díreach tríd. Oibríonn sé. Níl sé foirfe go teoiriciúil, ach tá sé éifeachtach go praiticiúil.
• Dénárú Stochastic: In ionad dénárú cinntitheach (feidhm chomhartha), úsáid ceann dóchúlach. Cuidíonn sé le híosmhéideanna áitiúla a sheachaint. Cuireann sé torann tairbheach le linn oiliúna. Feabhsaíonn sé cruinneas deiridh.
• Cur Chuige Dweve: Úsáideann ár gcreat Core na teicníochtaí seo le haghaidh oiliúint líonra néarach dhénártha. Toradh: oiliúint 2× níos tapúla i gcomparáid le snámhphointe, agus cruinneas comhionann á choinneáil. Ní draíocht é. Ach úsáid éifeachtach oibríochtaí dénártha nuair a oibríonn siad.

Fionnachtain Srianta vs. Foghlaim Meáchain

Coigeartaíonn oiliúint thraidisiúnta meáchain. Déanann Dweve Loom rud éigin difriúil: aimsíonn sé srianta.

• Cuardach Éabhlóideach: In ionad grádghráinne íslitheach, bain úsáid as halgartaim éabhlóideacha. Gin tacair iarrthóra coinníollacha. Déan meastóireacht ar a bhfeidhmíocht. Coinnigh na cinn mhaithe. Sóch agus comhcheangail iad. Déan arís é.
• Criostalú Coinníollacha: Nuair a chruthaíonn coinníoll go bhfuil sé iontaofa thar go leor cásanna, "criostalaíonn" sé ina eolas buan. Bíonn sé do-athraithe. Ní bhíonn sé faoi réir athraithe a thuilleadh. Ráthaithe go gcuirfear i bhfeidhm é.
• Inmhínithe de Dhearadh: Is gaol loighciúil gach coinníoll. Inléite ag daoine. Iniúchta. Inrianaithe. Gan bhosca dubh. Leanann gach cinneadh slabhraí coinníollacha sainráite.

Paradigm foghlama difriúil. Próiseas oiliúna difriúil. Ráthaíochtaí difriúla. Do thascanna áirithe (réasúnú loighciúil, sásamh coinníollacha), is minic gur fearr é ná foghlaim meáchain thraidisiúnta.

Tiúnadh Hipearpharaiméadar (An Chastaíocht Rúnda)

Ní hé "reáchtáil an algartam" amháin atá i gceist le hoiliúint. Éilíonn sé hipearpharaiméadair a shocrú. Go leor acu.

• Ráta Foghlama: Cé chomh mór is atá na nuashonruithe meáchain? Ró-ard: éagobhsaí. Ró-íseal: mall.
• Méid Baisc: Cé mhéad sampla in aghaidh an nuashonraithe? Bíonn tionchar aige ar chóineasú agus ar éifeachtúlacht crua-earraí.
• Rogha Optamóra: SGD? Adam? RMSprop? Iompraíonn gach ceann go difriúil.
• Rialú: Cé mhéad pionós a ghearradh ar chastacht? Coscann sé rófheistiú ach is féidir leis dochar a dhéanamh don fheidhmíocht.
• Ailtireacht Líonra: Cé mhéad sraith? Cé chomh leathan? Cad iad na feidhmeanna gníomhachtaithe? Roghanna easpónantúla.
• Méadú Sonraí: Cad iad na claochluithe atá le cur i bhfeidhm? Cé chomh ionsaitheach?

Bíonn tionchar ag gach rogha ar an oiliúint. Éilíonn aimsiú hipearpharaiméadair mhaithe turgnamhaíocht. Go leor rith trialach. Tógann gach ceann uaireanta nó laethanta. Tá sé costasach. Tógann sé am. Is minic gur ealaín níos mó ná eolaíocht é.

Sin an fáth go bhfuil innealtóirí ML a bhfuil taithí acu luachmhar. Chonaic siad go leor rith oiliúna le go mbeadh intuition acu faoi roghanna hipearpharaiméadar. Caitheann siad níos lú ama ar chumraíochtaí dona.

Foghlaim Aistrithe (An Aicearra Praiticiúil)

Tá oiliúint ón tús costasach. Is é foghlaim aistrithe an rogha eile.

• Tosaigh le Samhail Réamh-oilte: D'oibrigh duine éigin eile samhail ar shonraí ollmhóra cheana. ImageNet le haghaidh fís. Leabhair agus sonraí gréasáin le haghaidh teanga. Tosaíonn tú lena meáchain oilte.
• Mionchoigeartaigh ar Do Shonraí Féin: Coigeartaigh na meáchain réamh-oilte sin beagán do do thasc ar leith. I bhfad níos lú sonraí ag teastáil. I bhfad níos tapúla. I bhfad níos saoire.
• Cén Fáth a n-Oibríonn sé: Foghlaimíonn sraitheanna luatha gnéithe ginearálta (imeall, uigeachtaí, patrúin bhunúsacha). Aistrítear iad sin trasna tascanna. Ní gá ach sraitheanna deiridh a choigeartú do thasc ar leith.

In ionad seachtainí agus na milliúin dollar, tugann foghlaim aistritheach ann thú i gceann uaireanta nó laethanta ar chostas íosta. Seo mar a thógtar an chuid is mó den AI phraiticiúil i ndáiríre.

Monatóireacht ar Oiliúint (Bíodh a Fhios Agat Cathain a Stadfaidh)

Cén chaoi a bhfuil a fhios agat go bhfuil an oiliúint ag obair? Monatóireacht.

• Caillteanas Oiliúna: Ba cheart go laghdódh sé le himeacht ama. Má shroicheann sé ardchlár nó má mhéadaíonn sé, tá rud éigin cearr.
• Caillteanas Bailíochtaithe: Feidhmíocht ar shonraí coimeádta. Má mhéadaíonn sé agus caillteanas oiliúna ag laghdú, tá tú ag rófheistiú.
• Normanna Grádán: Ró-mhór? Grádáin phléascacha. Ró-bheag? Grádáin imithe i léig.
• Nuashonruithe Meáchain: Níor cheart go mbeidís ró-mhór ná ró-bheag. Crios Goldilocks.
• Scéideal Ráta Foghlama: Is minic a laghdaítear an ráta foghlama le himeacht ama. Níos tapúla go luath, coigeartuithe níos míne níos déanaí.

Breathnaíonn cleachtóirí a bhfuil taithí acu ar na méadrachtaí seo i gcónaí. Gabh fadhbanna go luath. Coigeartaigh hipear-pharaiméadair i lár na hoiliúna nuair is gá. Is bainistíocht ghníomhach é, ní socraigh-agus-déan-dearmad.

Cathain a Stadfaidh an Oiliúint

Ní chabhraíonn oiliúint go deo. Teastaíonn critéir stadta uait:

• Stad Luath: Caillteanas bailíochtaithe ag stopadh le feabhsú ar feadh N eipeacha as a chéile? Stad. Tá tú críochnaithe.
• Sprioc-Chruinneas: Shroich tú do sprioc cruinnis? Stad. Cuireann tuilleadh oiliúna amú acmhainní.
• Teorainn Bhuiséid: As am nó as airgead? Stad. Úsáid a bhfuil agat.
• Comhchruinniú: Caillteanas ar éigean ag athrú? Tuairisceáin ag laghdú. Stad.

Tá sé ríthábhachtach go mbeadh a fhios agat cathain a stadfaidh tú. Ró-luath: tearcfheistiú. Ró-mhall: rófheistiú agus ríomh amú. Éilíonn aimsir an láthair milis taithí agus breithiúnas.

Cad is Gá duit a Mheabhrú

Mura dtógann tú rud ar bith eile as seo, cuimhnigh:

• 1. Is leas iomadú é an oiliúint. Coigeartaigh paraiméadair chun earráid tuartha a íoslaghdú. Déan arís na milliúin uaire. Comhchruinniú de réir a chéile go samhail úsáideach.
• 2. Tá scála thar a bheith tábhachtach. Na billiúin paraiméadar. Na billiúin samplaí. Na milliúin céimeanna nuashonraithe. Tá an ríomh fíor-ollmhór.
• 3. Tá oiliúint costasach. Na milliúin i gcostais ríomhaireachta. Tomhaltas fuinnimh ollmhór. Seachtainí ama. Infheistíocht mhór acmhainní.
• 4. Is féidir le go leor rudaí dul amú. Grádáin imithe i léig/pléascacha. Rófheistiú. Titim mhód. Teipeanna crua-earraí. Éilíonn sé monatóireacht leanúnach.
• 5. Tá hipear-pharaiméadair ríthábhachtach. Ráta foghlama, méid baisc, roghanna ailtireachta. Éilíonn aimsir luachanna maithe turgnamh. Níl aon fhoirmlí ráthaithe.
• 6. Tá foghlaim aistritheach praiticiúil. Tosaigh le samhlacha réamh-oilte. Mionchoigeartaigh do do thasc. Orduithe méide níos saoire agus níos tapúla ná oiliúint ón tús.
• 7. Tairgeann oiliúint dhénártha éifeachtúlacht. Beachtas hibrideach. Meastóirí díreacha. 2× níos tapúla le cruinneas comhionann. Praiticiúil do go leor tascanna.

An Bunlíne

Athraíonn an traenáil paraiméadair randamacha ina fhaisnéis úsáideach trí na milliúin coigeartuithe beaga.

Tá sé dian ó thaobh ríomhaireachta de. Daor. Tógann sé am. Leochaileach. Éilíonn sé saineolas. Ach oibríonn sé.

Chuaigh gach samhail AI úsáideach tríd an bpróiseas seo. Ó chaos randamach go fóntas praiticiúil. Sin é an áit a dtarlaíonn an draíocht. Ach ní draíocht é. Is leas iomadú é. Leas iomadú ollmhór, daor, agus monatóireacht chúramach air.

Cuidíonn tuiscint ar an traenáil leat teorainneacha an AI a thuiscint. Cén fáth a bhfuil samhlacha móra daor. Cén fáth a bhfuil claontacht sna sonraí tábhachtach. Cén fáth a mbíonn hipearpharaiméadair piocach. Cén fáth a dtéann rudaí amú.

Is é an tsamhail thraenáilte an chuid ghleoite den AI. Is é an chuid dheacair an turas a dhéanamh ann. Anois tuigeann tú cad a tharlaíonn i ndáiríre le linn na n-uaireanta, na laethanta, nó na seachtainí sin de thraenáil. Níl ann ach matamaitic. Méideanna ollmhóra matamaitice. Ach matamaitic amháin.

Ar mhaith leat traenáil éifeachtach a fheiceáil i mbun oibre? Fiosraigh Dweve Core. Traenáil líonra néarach dénártha le meastóirí díreacha agus dénárthú seachantach. Comhthionól 2× níos tapúla. An cruinneas céanna. An cineál traenála a thugann meas do bhuiséad ríomha agus d'amchlár.