Airdirdh aird: conas a chinneann AI cad is tábhachtaí
An Fhorbairt Nár Fheic Aon Duine Ag Teacht
In 2017, d'athraigh páipéar dar teideal "Attention Is All You Need" an AI go suntasach. Ní trí mhatamaitic nua iontach éigin. Trí smaoineamh simplí: lig don tsamhail cinneadh a dhéanamh faoi cad atá tábhachtach.
Meicníochtaí aird. Fuaimeann siad teibí. Tá siad i ndáiríre simplí. Agus chumasaigh siad ChatGPT, gineadóirí íomhánna, gach AI nua-aimseartha a úsáideann tú.
Cabhraíonn tuiscint ar aird leat tuiscint a fháil ar AI nua-aimseartha. Déanaimis é a bhriseadh síos.
An Fhadhb a Réitíonn Aird
Bhí AI sean (líonraí athfhillteacha) ag próiseáil ionchuir go seicheamhach. Focal ar fhocal. Ag cothabháil staid fholaithe. Bhí faisnéis ag sreabhadh go líneach.
Fadhb: tháinig meath ar sheichimh fhada. D'imigh faisnéis ón tús i léig faoin deireadh. "Rinne" an tsamhail dearmad ar chomhthéacs luath. Chuir sé sin teorainn le cad a d'fhéadfadh AI a dhéanamh.
Réitigh aird é seo. Coincheap simplí: féach ar na hionchuir go léir ag an am céanna. Cinntigh cé na codanna atá tábhachtach do na haschuir céanna. Meáigh iad dá réir.
Gan próiseáil sheicheamhach. Gan meath faisnéise. Comhthéacs iomlán ar fáil i gcónaí. Réabhlóideach.
Cad a Dhéanann Aird i ndáiríre
Is meánú meáite é aird. Sin é.
Tá ionchuir agat. Ba mhaith leat ceann acu a phróiseáil. Ach braitheann an bealach ceart chun é a phróiseáil ar na hionchuir eile go léir. Oibríonn aird amach cé mhéad ábhar atá i ngach ionchur chun an ceann reatha a phróiseáil.
Sampla: Aistriúchán
Ag aistriú "The cat sat on the mat" go Fraincis. Agus "sat" á aistriú, cé na focail Bhéarla is tábhachtaí?
Is beag ábhar atá i "The" (inscne). Tá go leor ábhar i "Cat" (ainmní). Is mó ábhar atá i "Sat" (an focal féin). Tá roinnt ábhar i "On" (comhthéacs). Níos lú an chuid eile.
Ríomhann aird na meáchain seo. Ansin comhcheanglaíonn sé ionchuir de réir na meáchan sin. Tugann an meán meáite an ionadaíocht is fearr duit chun "sat" a aistriú.
Déan é seo do gach focal. Gach ciseal. Sin é aird.
Conas a Oibríonn Aird i ndáiríre
Trí chéim: Query, Key, Value. Fuaimeann sé casta. Níl sé.
Céim 1: Cruthaigh Queries, Keys, Values
Do gach ionchur, cruthaigh trí veicteoir:
- Query: "Cad atá á lorg agam?"
- Key: "Cad a thairgim?"
- Value: "Seo m'fhaisnéis iarbhír"
Níl iontu seo ach claochluithe líneacha ar an ionchur. Iolrú maitríse. Rud ar bith mhaisiúil.
Céim 2: Ríomh Meáchain Aird
Do gach query, déan comparáid idir é agus na keys go léir. Tomhaiseann táirge ponc cosúlacht. Query agus key cosúil = scór ard. Difriúil = scór íseal.
Cuir softmax i bhfeidhm. Casann sé scóir ina dóchúlachtaí. Anois tá meáchain aird agat. Suimíonn siad go 1.
Céim 3: Meán Meáite na Values
Úsáid meáchain aird chun na values a mheánú. Meáchan ard = níos mó tionchair. Meáchan íseal = níos lú tionchair.
Toradh: ionadaíocht nua do gach ionchur, arna chur ar an eolas ag na hionchuir eile go léir, meáite de réir ábharthachta.
Sin é an t-aird. Cineálacht cheist-eochair a chinneann na meáchain. Na meáchain a chomhcheanglaíonn na luachanna. Sin é.
Féin-Aird vs Tras-Aird
Freastalaíonn dhá chineál airde ar chuspóirí éagsúla:
Féin-Aird:
Freastalaíonn na hionchuir orthu féin. Féachann gach focal ar gach focal eile san abairt chéanna. Cinneann sé cé na focail is tábhachtaí chun gach focal a thuiscint.
Sampla: "Níor thrasnaigh an t-ainmhí an tsráid mar bhí sé ró-thuirseach." Cad é an rud a bhfuil "sé" ag tagairt dó? Réitíonn féin-aird é seo trí aird láidir a dhíriú ar "ainmhí".
Tras-Aird:
Freastalaíonn seicheamh amháin ar sheicheamh eile. Aistriúchán: freastalaíonn focail Fhraincise ar fhocail Bhéarla. Fotheidil íomhánna: freastalaíonn focail na bhfotheideal ar réigiúin na híomhá.
Seicheamh éagsúla. Ceisteanna ó cheann amháin, eochracha agus luachanna ó cheann eile. Ceanglaíonn sé modhanna nó teangacha éagsúla.
Ilcheann-Aird (Peirspictíochtaí Iolracha)
Ceann aird amháin = peirspictíocht amháin. Ilcheann = peirspictíochtaí iolracha ag an am céanna.
In ionad sraith amháin ceisteanna/eochracha/luachanna, cruthaigh sraitheanna iolracha. Foghlaimíonn gach ceann patrúin éagsúla.
D'fhéadfadh Ceann 1 caidrimh shintéiseacha a fhoghlaim (ainmní-briathar). D'fhéadfadh Ceann 2 caidrimh shéimeantacha a fhoghlaim (bríonna focal). D'fhéadfadh Ceann 3 patrúin shuímh a fhoghlaim.
Comhcheangail na ceanna go léir. Anois tá peirspictíochtaí iolracha agat ar na hionchuir chéanna. Léiriú níos saibhre. Tuiscint níos fearr.
Úsáideann trasfhoirmeoirí 8-16 ceann de ghnáth. Tá gach ceann 1/8 nó 1/16 de mhéid thoise iomlán an mhúnla. Fanann an costas ríomhaireachtúil soláimhsithe.
An Costas Ríomhaireachtúil
Tá an aird cumhachtach. Costasach freisin.
Coimpléascacht: O(n²)
Freastalaíonn gach ionchur ar gach ionchur eile. I gcás n ionchur, sin n² comparáidí. Coimpléascacht chearnach.
Déan fad an tseichimh a dhúbailt, agus déan an ríomh a cheathrú. Sin an fáth go bhfuil teorainn le fuinneoga comhthéacs. Ní cuimhne amháin atá i gceist. Pléascann an ríomh.
Sampla:
1,000 comhartha: 1 milliún oibríocht
10,000 comhartha: 100 milliún oibríocht
100,000 comhartha: 10 billiún oibríocht
Is í an aird an scrogaill do chomhthéacsanna fada. Déanann teicnící éagsúla (aird scaipthe, aird líneach) iarracht dul i ngleic leis seo. Réitigh pháirteacha ar a laghad is ea iad.
An Fáth ar Athraigh an Aird Gach Rud
Roimh an aird: próiseáil sheicheamhach, comhthéacs teoranta, meath faisnéise.
Tar éis na hairde: próiseáil chomhthreomhar, comhthéacs iomlán, gan aon mheath.
Chuir sé seo ar chumas:
- Samhlacha Teanga Feabhsaithe: In ann doiciméid fhada a thuiscint. Gan aon teorainn chomhthéacs ó phróiseáil sheicheamhach. BERT, GPT, úsáideann siad go léir aird.
- Aistriúchán Feabhsaithe: In ann freastal ar na focail fhoinse ábhartha. Is cuma cé chomh fada ó chéile iad. Tháinig feabhas suntasach ar cháilíocht.
- Trasfhoirmeoirí Físe: Oibríonn an aird ar phaistí íomhá. Iomaíoch le CNNa do go leor tascanna. Ailtireacht aontaithe don fhís agus don teanga.
- Samhlacha Ilmhódúla: Freastalaíonn téacs ar íomhánna. Freastalaíonn íomhánna ar théacs. Tuiscint thrasmhódúil. CLIP, DALL-E, úsáideann siad go léir aird.
Is í an aird bunús na hintleachta saorga nua-aimseartha. Tógtar gach rud uirthi.
Aird in Ailtireacht Dweve
Is aid air snámhphointe an t-aire thraidisiúnta. Daor. Ach baineann an coincheap le córais atá bunaithe ar shrianta freisin.
PAP (Permuted Agreement Popcount):
An leagan atá againne den aire do phatrúin dhénártha. In ionad táirgí ponc, úsáidimid XNOR agus popcount. In ionad softmax, úsáidimid teorainneacha staitistiúla.
An coincheap céanna: cinneadh cé na patrúin is tábhachtaí. Cur i bhfeidhm difriúil: oibríochtaí dénártha in ionad snámhphointe.
Toradh: roghnú cosúil le haire ar chodán den chostas ríomhaireachtúil. Cé na saineolaithe atá ábhartha? Is é PAP a chinneann é seo. Go héifeachtúil.
Cad is Gá duit a Mheabhrú
- 1. Is meánú ualaithe é an t-aire. Cinntigh ábharthacht, ualaigh na hionchuir dá réir, comhcheangail. Coincheap simplí, torthaí cumhachtacha.
- 2. Meicníocht Query-Key-Value. Fiafraíonn Query, freagraíonn Keys, soláthraíonn Values faisnéis. Cinneann cosúlacht na hualaí.
- 3. Féin-aire vs tras-aire. Féin: freastalaíonn ionchuir orthu féin. Tras: freastalaíonn seicheamh amháin ar sheicheamh eile.
- 4. Gabhann ilcheann pheirspictíochtaí iolracha. Foghlaimíonn ceannanna éagsúla patrúin éagsúla. Comhcheangailte, soláthraíonn siad tuiscint shaibhir.
- 5. Is é O(n²) an costas ríomhaireachtúil. Cuireann castacht chearnach teorainn le fad an chomhthéacs. An bac is mó ar sheichimh fhada.
- 6. Chumasaigh an t-aire AI nua-aimseartha. Transformers, GPT, BERT, claochladáin fís. Go léir tógtha ar an aire.
- 7. Tá roghanna dénártha ann. Soláthraíonn PAP roghnú cosúil le haire le hoibríochtaí dénártha. An coincheap céanna, cur i bhfeidhm difriúil.
An Bunlíne
Is é an t-aire an nuálaíocht AI is tábhachtaí den deich mbliana seo caite. Smaoineamh simplí: lig don tsamhail cinneadh a dhéanamh ar cad is tábhachtaí. Tionchar as cuimse: chumasaigh sé gach córas AI nua-aimseartha a úsáideann tú.
Ní draíocht é. Is meánú ualaithe é bunaithe ar chosúlacht fhoghlaimthe. Cinneann meaitseáil query-key na hualaí. Comhcheanglaíonn ualaí luachanna. Déan arís é do gach ionchur, do gach ciseal.
Tá an costas ríomhaireachtúil fíor. Cuireann O(n²) teorainn le fad na seicheamh. Ach laistigh de na teorainneacha sin, soláthraíonn an t-aire cumas gan fasach chun comhthéacs a thuiscint.
An t-aire a thuiscint is ea ailtireacht AI nua-aimseartha a thuiscint. Tógtar gach rud eile ar an mbunsraith seo. Má mháistríonn tú é seo, beidh an chuid eile soiléir.
An dteastaíonn roghnú éifeachtúil cosúil le haire? Déan iniúchadh ar mheicníocht PAP de chuid Dweve. Meaitseáil phatrún dhénártha le teorainneacha staitistiúla. Roghnú saineolaithe ar chodán de chostas an aire thraidisiúnta. An cineál cinntithe ábharthachta a oibríonn ar scála mór.