Mehanizmi pažnje: kako AI odlučuje što je važno

Attention je revolucionirao umjetnu inteligenciju. Ali što je on zapravo? Evo kako mehanizmi pažnje funkcioniraju i zašto su promijenili sve.

Mehanizmi pažnje: kako AI odlučuje što je važno

Razvoj koji nitko nije vidio

Godine 2017. rad pod naslovom "Attention Is All You Need" značajno je promijenio umjetnu inteligenciju. Ne egzotičnom novom matematikom. Jednostavnom idejom: neka model odluči što je važno.

Mehanizmi pažnje. Zvuče apstraktno. Zapravo su jednostavni. I omogućili su ChatGPT, generatore slika, svu modernu umjetnu inteligenciju koju koristite.

Razumijevanje pažnje pomaže vam razumjeti modernu umjetnu inteligenciju. Objasnimo to.

Problem koji pažnja rješava

Stara umjetna inteligencija (rekurentne mreže) obrađivala je ulazne podatke sekvencijalno. Riječ po riječ. Održavajući skriveno stanje. Informacije su tekle linearno.

Problem: duge sekvence su se degradirale. Informacije s početka izblijedjele su do kraja. Model je "zaboravljao" rani kontekst. To je ograničavalo mogućnosti umjetne inteligencije.

Pažnja je to riješila. Jednostavan koncept: gledaj sve ulazne podatke istovremeno. Odredi koji su dijelovi važni za koje izlazne podatke. Pridaj im odgovarajuću težinu.

Nema sekvencijalne obrade. Nema degradacije informacija. Puni kontekst uvijek dostupan. Revolucionarno.

Pažnja uklanja rekurentno usko grlo: trenutni token može pregledati cijelu rečenicu umjesto da naslijedi izblijedjeli sažetak.

Što pažnja zapravo radi

Pažnja je ponderirano usrednjavanje. To je sve.

Imate ulazne podatke. Želite obraditi jedan od njih. Ali ispravan način obrade ovisi o svim ostalim ulaznim podacima. Pažnja utvrđuje koliko je svaki ulazni podatak važan za obradu trenutnog.

Primjer: prevođenje

Prevođenje "The cat sat on the mat" na francuski. Pri prevođenju "sat", koje engleske riječi su najvažnije?

"The" je pomalo važna (rod). "Cat" je vrlo važna (subjekt). "Sat" je najvažnija (sama riječ). "On" je ponešto važna (kontekst). Ostale manje.

Pažnja izračunava te težine. Zatim kombinira ulazne podatke prema tim težinama. Ponderirani prosjek daje najbolju reprezentaciju za prevođenje "sat".

Učinite to za svaku riječ. U svakom sloju. To je pažnja.

Za jednu ciljnu riječ, pažnja je ponderirana mješavina vrijednosti: "cat" i "sat" dominiraju, dok okolne riječi i dalje doprinose kontekstu.

Kako pažnja zapravo funkcionira

Tri koraka: upit, ključ, vrijednost. Zvuči komplicirano. Nije.

Korak 1: stvaranje upita, ključeva i vrijednosti

Za svaki ulazni podatak stvorite tri vektora:

- Upit: "Što tražim?"

- Ključ: "Što nudim?"

- Vrijednost: "Evo mojih stvarnih informacija"

To su samo linearne transformacije ulaznog podatka. Množenje matrica. Ništa posebno.

Korak 2: izračun težina pažnje

Za svaki upit usporedite ga sa svim ključevima. Skalarni produkt mjeri sličnost. Sličan upit i ključ = visok rezultat. Različiti = nizak rezultat.

Primijenite softmax. Pretvara rezultate u vjerojatnosti. Sada imate težine pažnje. Njihov zbroj je 1.

Korak 3: ponderirani prosjek vrijednosti

Upotrijebite težine pažnje za usrednjavanje vrijednosti. Visoka težina = veći utjecaj. Niska težina = manji utjecaj.

Rezultat: nova reprezentacija za svaki ulazni podatak, oblikovana svim ostalim ulaznim podacima, ponderirana prema relevantnosti.

To je pažnja. Sličnost upita i ključa određuje težine. Težine kombiniraju vrijednosti. Gotovo.

Samo-pažnja naspram unakrsne pažnje

Dvije vrste pažnje služe različitim svrhama:

Samo-pažnja:

Ulazi posvećuju pažnju samima sebi. Svaka riječ gleda sve ostale riječi u istoj rečenici. Određuje koje su riječi važne za razumijevanje svake pojedine riječi.

Primjer: "Životinja nije prešla ulicu jer je bila preumorna." Na što se odnosi "ona"? Samo-pažnja to rješava tako što snažno posvećuje pažnju riječi "životinja".

Unakrsna pažnja:

Jedna sekvenca posvećuje pažnju drugoj. Prijevod: francuske riječi posvećuju pažnju engleskima. Opisivanje slika: riječi opisa posvećuju pažnju regijama slike.

Različite sekvence. Upiti iz jedne, ključevi i vrijednosti iz druge. Povezuje različite modalitete ili jezike.

Višeglava pažnja (više perspektiva)

Jedna glava pažnje = jedna perspektiva. Više glava = više perspektiva istovremeno.

Umjesto jednog skupa upita/ključeva/vrijednosti, stvara se više skupova. Svaka glava uči različite obrasce.

Glava 1 možda uči sintaktičke odnose (subjekt-glagol). Glava 2 možda uči semantičke odnose (značenja riječi). Glava 3 možda uči položajne obrasce.

Kombinirajte sve glave. Sada imate više perspektiva na iste ulaze. Bogatija reprezentacija. Bolje razumijevanje.

Transformatori obično koriste 8-16 glava. Svaka glava veličine je 1/8 ili 1/16 pune dimenzije modela. Računalni trošak ostaje podnošljiv.

Računalni trošak

Pažnja je moćna. Ali i skupa.

Složenost: O(n²)

Svaki ulaz posvećuje pažnju svakom drugom ulazu. Za n ulaza, to je n² usporedbi. Kvadratna složenost.

Udvostručite duljinu sekvence, računanje se učetverostruči. Zato su kontekstni prozori ograničeni. Nije samo memorija. Računanje eksplodira.

Primjer:

1.000 tokena: 1 milijun operacija

10.000 tokena: 100 milijuna operacija

100.000 tokena: 10 milijardi operacija

Pažnja je usko grlo za duge kontekste. Razne tehnike (rijetka pažnja, linearna pažnja) pokušavaju to riješiti. Djelomična rješenja u najboljem slučaju.

Zašto je pažnja promijenila sve

Prije pažnje: sekvencijalna obrada, ograničen kontekst, degradacija informacija.

Nakon pažnje: paralelna obrada, pun kontekst, bez degradacije.

To je omogućilo:

  • Poboljšani jezični modeli: Mogu razumjeti duge dokumente. Nema ograničenja konteksta zbog sekvencijalne obrade. BERT, GPT, svi koriste pažnju.
  • Poboljšani prijevod: Mogu posvetiti pažnju relevantnim riječima izvornika. Bez obzira na udaljenost. Kvaliteta se znatno poboljšala.
  • Transformatori za vid: Pažnja radi na slikovnim pločicama. Konkurentni CNN-ovima za mnoge zadatke. Jedinstvena arhitektura za vid i jezik.
  • Multimodalni modeli: Tekst posvećuje pažnju slikama. Slike posvećuju pažnju tekstu. Razumijevanje među modalitetima. CLIP, DALL-E, svi koriste pažnju.

Pažnja je temelj moderne umjetne inteligencije. Sve se na njoj gradi.

Proboj je bila arhitektonska ponovna upotreba: kada je pun kontekst postao paralelan, jezik, prijevod, vid i multimodalni sustavi mogli su dijeliti istu stazu.

Pažnja u Dweveovoj arhitekturi

Tradicionalna pozornost temelji se na brojevima s pomičnim zarezom. Skupa je. No koncept se primjenjuje i na sustave temeljene na ograničenjima.

PAP (Permuted Agreement Popcount):

Naša inačica pozornosti za binarne uzorke. Umjesto skalarnih produkata koristimo XNOR i popcount. Umjesto softmaxa koristimo statističke granice.

Isti koncept: odrediti koji su uzorci važni. Drugačija provedba: binarne operacije umjesto brojeva s pomičnim zarezom.

Rezultat: selekcija slična pozornosti uz djelić računalnih troškova. Koji su stručnjaci relevantni? PAP to određuje. Učinkovito.

Što trebate zapamtiti

  • 1. Pozornost je ponderirano usrednjavanje. Odredite relevantnost, ponderirajte ulaze u skladu s tim, kombinirajte. Jednostavan koncept, moćni rezultati.
  • 2. Mehanizam upit-ključ-vrijednost. Upit pita, ključevi odgovaraju, vrijednosti pružaju informacije. Sličnost određuje pondere.
  • 3. Samopozornost naspram unakrsne pozornosti. Samopozornost: ulazi posvećuju pozornost samima sebi. Unakrsna: jedna sekvenca posvećuje pozornost drugoj.
  • 4. Višeglavost bilježi više perspektiva. Različite glave uče različite uzorke. Kombinirane pružaju bogato razumijevanje.
  • 5. Računalni trošak iznosi O(n²). Kvadratna složenost ograničava duljinu konteksta. Uska grla za duge sekvence.
  • 6. Pozornost je omogućila modernu umjetnu inteligenciju. Transformeri, GPT, BERT, vizualni transformeri. Sve se temelji na pozornosti.
  • 7. Postoje binarne alternative. PAP pruža selekciju sličnu pozornosti pomoću binarnih operacija. Isti koncept, drugačija provedba.
PAP zadržava ideju selekcije relevantnosti iz pozornosti, ali zamjenjuje skalarne produkte i softmax binarnim slaganjem i statističkim granicama.

Zaključak

Pozornost je najvažnija inovacija u umjetnoj inteligenciji u posljednjem desetljeću. Jednostavna ideja: dopustite modelu da odluči što je važno. Dubok utjecaj: omogućila je svaki moderni sustav umjetne inteligencije koji koristite.

Nije magija. To je ponderirano usrednjavanje temeljeno na naučenoj sličnosti. Podudaranje upita i ključa određuje pondere. Ponderi kombiniraju vrijednosti. Ponovite za svaki ulaz, svaki sloj.

Računalni trošak je stvaran. O(n²) ograničava duljinu sekvenci. No unutar tih ograničenja pozornost pruža dosad neviđenu sposobnost razumijevanja konteksta.

Razumjeti pozornost znači razumjeti modernu arhitekturu umjetne inteligencije. Sve ostalo gradi se na tom temelju. Savladajte ovo i ostatak će imati smisla.

Želite učinkovitu selekciju sličnu pozornosti? Istražite PAP mehanizam tvrtke Dweve. Binarno podudaranje uzoraka sa statističkim granicama. Odabir stručnjaka uz djelić troškova tradicionalne pozornosti. Vrsta određivanja relevantnosti koja funkcionira u velikim razmjerima.