Conbheartaíocht: conas a dhéanann AI uimhreacha de gach rud

Seo mar a oibríonn leabaithe: ní thuigeann AI focail ná íomhánna, ach oibríonn sé le huimhreacha.

Conbheartaíocht: conas a dhéanann AI uimhreacha de gach rud

An Fhadhb Uimhreacha

Oibríonn ríomhairí le huimhreacha. Díreach uimhreacha. Líonraí néaracha? Mar an gcéanna. Díreach matamaitic ar uimhreacha.

Ach ní uimhreacha é an domhan. Focail. Íomhánna. Fuaimeanna. Coincheapa. Conas a phróiseálann AI iad seo?

Leabuithe. Tiontaíonn siad gach rud ina uimhreacha ar bhealach a chaomhnaíonn brí. Coincheap ríthábhachtach. Mar bhunús le gach AI nua-aimseartha.

Cad iad Leabuithe i ndáiríre

Is veicteoir dlúth uimhreacha é leabú a sheasann do rud éigin.

Leabú focal: athraíonn "cat" go [0.2, -0.5, 0.8, ...] (na céadta uimhir).

Leabú íomhá: athraíonn grianghraf go [0.1, 0.9, -0.3, ...] (na mílte uimhir).

Ní uimhreacha randamacha iad seo. Foghlaimítear iad chun brí a ghabháil. Faigheann rudaí comhchosúla leabuithe comhchosúla. Faigheann rudaí éagsúla leabuithe éagsúla.

Sin an eochair: bíonn cosúlacht i mbrí ina cosúlacht in uimhreacha. Léiríonn oibríochtaí matamaiticiúla ar leabuithe caidrimh shéimeantacha.

Comhbhrúíonn leabuithe focail agus íomhánna ina gcomhordanáidí foghlamtha ina mbíonn brí chomhchosúil fós ag uimhreacha cóngaracha.

Cén Fáth a dTeastaíonn Leabuithe Uainn

D'fhéadfá focail a léiriú mar veicteoirí aon-te. "Cat" = [1,0,0,...,0]. "Dog" = [0,1,0,...,0]. Uimhir uathúil do gach focal.

Fadhb: ní ghabhtar aon chaidreamh. Tá "cat" agus "dog" chomh difriúil le "cat" agus "airplane." Tá na veicteoirí go léir orthagánach. Gan aon bhrí shéimeantach.

Réitíonn leabuithe é seo. Faigheann "cat" agus "dog" leabuithe comhchosúla (ainmhithe iad araon). Faigheann "cat" agus "airplane" leabuithe éagsúla. Léiríonn cosúlacht i spás veicteora cosúlacht i mbrí.

Anois tá ciall le hoibríochtaí matamaiticiúla. Freagraíonn uimhríocht ar leabuithe do réasúnaíocht faoi bhrí.

Conas a Fhoghlaimítear Leabuithe

Ní leabuithe lámhdhéanta iad. Foghlaimítear iad ó shonraí.

Leabuithe Focal (cur chuige Word2Vec):

Oiliúin líonra néarach ar thasc simplí: tuar focail chomhthéacsúla ó fhocal sprice. Nó a mhalairt.

Sampla: abairt "The cat sat on the mat." Don fhocal sprice "cat," tuar "the," "sat," "on."

Foghlaimíonn an líonra: chun comhthéacs a thuar go maith, ní mór dó focail chomhchosúla a léiriú ar bhealach comhchosúil. Bíonn "cat" agus "dog" le feiceáil i gcomhthéacsanna comhchosúla. Faigheann siad leabuithe comhchosúla.

Is seachthoradh iad na leabuithe. Ní sprioc an tasc. Ach gabhann siad brí shéimeantach.

Cur Chuige Nua-aimseartha (Transformers):

Foghlaimítear leabuithe mar chuid de mhúnla níos mó. Tuarann múnla teanga an chéad fhocal eile. Aicmíonn múnla íomhá rudaí. Tagann leabuithe chun cinn mar léirithe inmheánacha.

Tá siad seo comhthéacsúil. Faigheann an focal céanna leabuithe éagsúla i gcomhthéacsanna éagsúla. Faigheann "bank" (airgeadais) agus "bank" (abhann) léirithe éagsúla.

An Spás Séimeantach

Cruthaíonn leabuithe spás geoiméadrach ina bhfuil brí mar gheoiméadracht.

  • Cosúlacht = Cóngaracht: Tagann coincheapa comhchosúla le chéile. Tagann ainmhithe le chéile. Tagann feithiclí le chéile. Tagann coincheapa teibí le chéile. Tomhaiseann an fad an chosúlacht.
  • Caidrimh = Treonna: Sampla cáiliúil: rí - fear + bean ≈ banríon

Gabann uimhríocht veicteoirí na caidrimh. Tá an treo ó "fhear" go "rí" (inscne go ríogacht) cosúil leis an treo ó "bhean" go "banríon."

Bíonn analaíocha ina n-oibríochtaí veicteoirí. Tá sé iontach ach oibríonn sé.

Toisí = Tréithe:

Gabann gach toise tréith éigin. D'fhéadfadh toise amháin a bheith "beogacht" (beo vs neamhbheo). D'fhéadfadh toise eile a bheith "méid." Toise eile fós "teibíocht."

Gabann na céadta toise na céadta tréith. Le chéile, léiríonn siad brí.

Casann an spás séimeantach an bhrí ina thíreolaíocht: taispeánann braislí cosúlacht, taispeánann saigheada caidrimh, agus coinníonn aiseanna tréithe.

Cineálacha Éagsúla Leabaithe

  • Leabuithe Focal: Focail go veicteoirí. Word2Vec, GloVe, FastText. Bunús na NPL.
  • Leabuithe Abairtí: Abairtí iomlána go veicteoirí. Gabhann siad brí na n-abairtí iomlána, ní hamháin na bhfocal. Úsáidtear iad le haghaidh cuardaigh shéimeantaigh.
  • Leabuithe Íomhánna: Íomhánna go veicteoirí. Gnéithe CNN. Aschuir trasfhoirmeoirí fís. Cumasaíonn siad cuardach íomhánna, comparáid chosúlachta.
  • Leabuithe Ilmhódúla: Módúlachtaí éagsúla go dtí an spás céanna. Faigheann téacs agus íomhánna leabuithe inchomparáide. Déanann CLIP é seo. Cumasaíonn sé cuardach tras-mhódúil.
  • Leabuithe Ghraif: Nóid i ngraif go veicteoirí. Gabhann siad struchtúr an líonra. Úsáidtear iad i líonraí sóisialta, graif eolais.
Is céanna ionchuir ar leith iad na teaghlaigh éagsúla leabaithe a chothaíonn an cineál céanna innealra veicteoirí.

Conas a Úsáidtear Leabuithe

  • Cuardach Comhchosúlachta: Aimsigh míreanna comhchosúla. Na comharsana is gaire sa spás leabaithe. Córais chuardaigh, córais mholta.
  • Aicmiú: Úsáid leabuithe mar ghnéithe d'aicmiú. Gnéithe séimeantacha, ní amhshonraí. Ginearálú níos fearr.
  • Grúpáil: Grúpáil míreanna comhchosúla. K-means ar leabuithe. Múnlú ábhar, deighilt custaiméirí.
  • Foghlaim Aistrithe: Úsáid leabuithe ó mhúnla mór i dtasc beag. Aistríonn eolas réamhthraenáilte. Coitianta i bhfís agus i bpróiseáil teanga nádúrtha.
  • Giniúint Mhéadaithe Aisghabhála: Leabaigh ceisteanna agus doiciméid. Aisghabh doiciméid ábhartha. Cuir ar fáil don mhúnla teanga. Freagraí AI fíorasacha.

Leabuithe Dénártha (An Rogha Éifeachtúil)

Leabuithe traidisiúnta: veicteoirí snámhphointe. 32 giotán in aghaidh an toise. Lorg mór cuimhne.

Leabuithe dénártha: 1 giotán in aghaidh an toise. Is é +1 nó -1 gach toise. 32× níos lú cuimhne.

Conas a Oibríonn Siad:

Foghlaim leabuithe de ghnáth. Ansin dénárthaigh: bíonn +1 i dtoisí dearfacha, -1 i dtoisí diúltacha.

Comhchosúlacht: in ionad táirge ponc, úsáid achar Hamming nó XNOR-popcount. I bhfad níos tapúla.

Comhréitigh:

Cailltear beagán cruinnis. Ach do go leor tascanna, is cuma. Oibríonn aisghabháil agus cuardach comharsan is gaire go maith le dénártha.

Gnóthachan: éifeachtúlacht ollmhór luais agus cuimhne. Imlonnaigh ar fheistí imeallacha. Próiseáil billiúin veicteoirí go tapa.

Cur Chuige Dweve:

Is patrúin dhénártha iad srianta. Leabuithe dénártha go bunúsach. Hipearveicteoirí 65,536-giotán. Stóráil éifeachtúil, oibríochtaí tapa.

Meaitseáil patrún trí XNOR agus popcount. Comhchosúlacht trí chomhaireamh comhaontaithe. Dénártha an bealach ar fad síos.

Is Cuma faoi Thoisí

Cé mhéad toise? Ní fearr níos mó i gcónaí.

An Iomarca Toise: Ní féidir castacht a ghabháil. Imbhuailtear coincheapa éagsúla. Cailltear idirdhealuithe tábhachtacha.

An Iomarca Toise: Costas ríomhaireachtúil. Úsáid cuimhne. Rófheistiú. Mallacht na toise (bíonn gach rud ar comhfhad i dtoisí arda).

Méideanna Tipiciúla:

Leabuithe focal: 100-300 toise

Leabuithe abairtí: 384-1024 toise

Leabuithe íomhánna: 512-2048 toise

Hipearveicteoirí dénártha: 1024-65536 giotán (le haghaidh airíonna láidre)

Braitheann an rogha ar chastacht an tasc agus ar an mbuiséad ríomhaireachtúil.

Cad is Gá duit a Mheabhrú

  • 1. Tiontaíonn leabuithe gach rud go huimhreacha. Bíonn focail, íomhánna, coincheapa ina veicteoirí. Cumasaíonn próiseáil AI.
  • 2. Bíonn brí ina chéimseata. Faigheann coincheapa comhchosúla veicteoirí comhchosúla. Tomhaiseann fad comhchosúlacht. Gabhann treonna caidrimh.
  • 3. Foghlaimítear ó shonraí, ní déantar de láimh iad. Foghlaimíonn líonraí néaracha leabuithe mar chuid den traenáil. Cinneann patrúin sna sonraí an ionadaíocht.
  • 4. Cumasaíonn oibríochtaí séimeantacha. Léiríonn matamaitic ar veicteoirí réasúnaíocht faoi bhrí. Déanann uimhríocht veicteoirí analachtaí.
  • 5. Cineálacha iolracha do shonraí éagsúla. Focail, abairtí, íomhánna, graif. Tá modhanna leabaithe speisialaithe ag gach ceann.
  • 6. Tairgeann leabuithe dénártha éifeachtúlacht. 1 giotán in aghaidh an toise in ionad 32. Gnóthachain ollmhóra cuimhne agus luais. Oibríonn do go leor tascanna.
  • 7. Is comhréiteach é an toiseacht. Gabhann níos mó toise níos mó castachta. Ach cosnaíonn siad acmhainní ríomhaireachtúla. Tá cothromaíocht ag teastáil.
Ritheann leabuithe dénártha an veicteoir trí cheárta: coinnigh an comhartha, comhair an chomhaontú, agus faigh cuimhne agus luas ar ais.

An Bunlíne

Is éard atá i leabuithe ná an bealach a ndéanann AI an bhearna idir coincheapa daonna agus ríomh meaisín a dhroicheadú. Déantar gach rud a bhfuil brí leis a thiontú ina veicteoirí i spás ina mbíonn cosúlacht bhrí ina cosúlacht gheoiméadrach.

Ní ionadaíocht amháin é seo. Is é bunús an AI nua-aimseartha é. Cuardach, moladh, giniúint, tuiscint. Braitheann siad uile ar leabuithe.

Ní treallach na veicteoirí. Foghlaimítear iad chun struchtúr shéimeantach a ghabháil. Léiríonn an gheoiméadracht brí. Freagraíonn oibríochtaí matamaitice do réasúnú.

Léiríonn leabuithe dénártha nach gá cruinneas snámhphointe le haghaidh brí shéimeantach. Oibríonn ionadaíochtaí 1-giotán. Go héifeachtúil. Ar scála. Imlonnaithe in áit ar bith.

Ciallaíonn tuiscint ar leabuithe tuiscint ar an gcaoi a bhfeiceann AI an domhan. Ní mar fhocail nó mar íomhánna. Ach mar veicteoirí i spás ardtoiseach ina bhfuil brí mar mhatamaitic.

An dteastaíonn leabuithe éifeachtúla uait? Déan iniúchadh ar chur chuige hipearveicteora Dweve. Patrúin dhénártha 65,536-giotán. Cosúlacht bunaithe ar XNOR. Brí shéimeantach i spás dénártha. An cineál ionadaíochta a oibríonn ar luas crua-earraí.