Μηχανισμοί προσοχής: πώς αποφασίζει η τεχνητή νοημοσύνη

Η προσοχή έφερε επανάσταση στην τεχνητή νοημοσύνη. Τι είναι όμως στην πραγματικότητα; Να πώς λειτουργούν οι μηχανισμοί προσοχής και γιατί τα άλλαξαν όλα.

Μηχανισμοί προσοχής: πώς αποφασίζει η τεχνητή νοημοσύνη τι έχει σημασία

Η εξέλιξη που κανείς δεν περίμενε

Το 2017, μια εργασία με τίτλο "Attention Is All You Need" άλλαξε σημαντικά τον τομέα της τεχνητής νοημοσύνης. Όχι μέσω κάποιας εξωτικής νέας μαθηματικής θεωρίας. Αλλά μέσω μιας απλής ιδέας: να αφήσουμε το μοντέλο να αποφασίσει τι είναι σημαντικό.

Οι μηχανισμοί προσοχής. Ακούγονται αφηρημένοι. Στην πραγματικότητα είναι απλοί. Και κατέστησαν δυνατά το ChatGPT, τις γεννήτριες εικόνων και κάθε σύγχρονη τεχνητή νοημοσύνη που χρησιμοποιείς.

Η κατανόηση της προσοχής σε βοηθά να κατανοήσεις τη σύγχρονη τεχνητή νοημοσύνη. Ας την αναλύσουμε.

Το πρόβλημα που λύνει η προσοχή

Η παλιά τεχνητή νοημοσύνη (τα αναδρομικά δίκτυα) επεξεργαζόταν τα δεδομένα εισόδου διαδοχικά. Λέξη προς λέξη. Διατηρώντας μια κρυφή κατάσταση. Η πληροφορία ρέει γραμμικά.

Πρόβλημα: οι μεγάλες ακολουθίες υποβαθμίζονταν. Η πληροφορία από την αρχή εξασθενούσε μέχρι το τέλος. Το μοντέλο "ξεχνούσε" το αρχικό πλαίσιο. Αυτό περιόριζε το τι μπορούσε να κάνει η τεχνητή νοημοσύνη.

Η προσοχή έλυσε αυτό το πρόβλημα. Μια απλή έννοια: κοίτα όλα τα δεδομένα εισόδου ταυτόχρονα. Προσδιόρισε ποια μέρη είναι σημαντικά για ποια αποτελέσματα. Βάρεσέ τα ανάλογα.

Καμία διαδοχική επεξεργασία. Καμία υποβάθμιση πληροφορίας. Το πλήρες πλαίσιο είναι πάντα διαθέσιμο. Επαναστατικό.

Η προσοχή καταργεί το σημείο συμφόρησης των αναδρομικών δικτύων: το τρέχον token μπορεί να εξετάσει ολόκληρη την πρόταση αντί να κληρονομήσει μια εξασθενημένη σύνοψη.

Τι κάνει στην πραγματικότητα η προσοχή

Η προσοχή είναι σταθμισμένος μέσος όρος. Αυτό είναι όλο.

Έχεις δεδομένα εισόδου. Θέλεις να επεξεργαστείς ένα από αυτά. Αλλά ο σωστός τρόπος επεξεργασίας εξαρτάται από όλα τα άλλα δεδομένα. Η προσοχή υπολογίζει πόσο σημαντικό είναι κάθε δεδομένο για την επεξεργασία του τρέχοντος.

Παράδειγμα: Μετάφραση

Μεταφράζοντας το "The cat sat on the mat" στα γαλλικά. Όταν μεταφράζουμε το "sat", ποιες αγγλικές λέξεις έχουν τη μεγαλύτερη σημασία;

Το "The" έχει λίγη σημασία (γένος). Το "Cat" έχει μεγάλη σημασία (υποκείμενο). Το "Sat" έχει τη μεγαλύτερη σημασία (η ίδια η λέξη). Το "On" έχει κάποια σημασία (πλαίσιο). Τα υπόλοιπα λιγότερη.

Η προσοχή υπολογίζει αυτά τα βάρη. Στη συνέχεια συνδυάζει τα δεδομένα εισόδου σύμφωνα με αυτά τα βάρη. Ο σταθμισμένος μέσος όρος σου δίνει την καλύτερη αναπαράσταση για τη μετάφραση του "sat".

Κάνε αυτό για κάθε λέξη. Σε κάθε επίπεδο. Αυτή είναι η προσοχή.

Για μία λέξη-στόχο, η προσοχή είναι ένα σταθμισμένο μείγμα τιμών: το "cat" και το "sat" κυριαρχούν, ενώ οι γύρω λέξεις εξακολουθούν να συνεισφέρουν πλαίσιο.

Πώς λειτουργεί στην πραγματικότητα η προσοχή

Τρία βήματα: Query, Key, Value. Ακούγεται περίπλοκο. Δεν είναι.

Βήμα 1: Δημιουργία Queries, Keys, Values

Για κάθε δεδομένο εισόδου, δημιουργούνται τρία διανύσματα:

- Query: "Τι ψάχνω;"

- Key: "Τι προσφέρω;"

- Value: "Ορίστε οι πραγματικές μου πληροφορίες"

Αυτά είναι απλώς γραμμικοί μετασχηματισμοί των δεδομένων εισόδου. Πολλαπλασιασμοί πινάκων. Τίποτα το ιδιαίτερο.

Βήμα 2: Υπολογισμός των βαρών προσοχής

Για κάθε query, σύγκρινέ το με όλα τα keys. Το εσωτερικό γινόμενο μετρά την ομοιότητα. Παρόμοιο query και key = υψηλή βαθμολογία. Διαφορετικά = χαμηλή βαθμολογία.

Εφάρμοσε softmax. Μετατρέπει τις βαθμολογίες σε πιθανότητες. Τώρα έχεις τα βάρη προσοχής. Το άθροισμά τους είναι 1.

Βήμα 3: Σταθμισμένος μέσος όρος των Values

Χρησιμοποίησε τα βάρη προσοχής για να υπολογίσεις τον μέσο όρο των values. Υψηλό βάρος = μεγαλύτερη επιρροή. Χαμηλό βάρος = μικρότερη επιρροή.

Αποτέλεσμα: μια νέα αναπαράσταση για κάθε δεδομένο εισόδου, ενημερωμένη από όλα τα άλλα δεδομένα, σταθμισμένη ανάλογα με τη συνάφεια.

Αυτή είναι η προσοχή. Η ομοιότητα ερωτήματος-κλειδιού καθορίζει τα βάρη. Τα βάρη συνδυάζουν τις τιμές. Τέλος.

Αυτο-προσοχή έναντι Διασταυρούμενης Προσοχής

Δύο τύποι προσοχής εξυπηρετούν διαφορετικούς σκοπούς:

Αυτο-προσοχή:

Οι είσοδοι προσέχουν τον εαυτό τους. Κάθε λέξη κοιτάζει όλες τις άλλες λέξεις στην ίδια πρόταση. Καθορίζει ποιες λέξεις έχουν σημασία για την κατανόηση κάθε λέξης.

Παράδειγμα: «Το ζώο δεν διέσχισε τον δρόμο γιατί ήταν πολύ κουρασμένο.» Σε τι αναφέρεται το «αυτό»; Η αυτο-προσοχή το ανακαλύπτει προσέχοντας έντονα το «ζώο».

Διασταυρούμενη Προσοχή:

Μια ακολουθία προσέχει μια άλλη. Μετάφραση: οι γαλλικές λέξεις προσέχουν τις αγγλικές λέξεις. Δημιουργία λεζάντας εικόνας: οι λέξεις της λεζάντας προσέχουν τις περιοχές της εικόνας.

Διαφορετικές ακολουθίες. Ερωτήματα από τη μία, κλειδιά και τιμές από την άλλη. Συνδέει διαφορετικούς τύπους δεδομένων ή γλώσσες.

Πολυ-κεφαλή Προσοχή (Πολλαπλές Οπτικές)

Μία κεφαλή προσοχής = μία οπτική. Πολυ-κεφαλή = πολλαπλές οπτικές ταυτόχρονα.

Αντί για ένα σύνολο ερωτημάτων/κλειδιών/τιμών, δημιουργούνται πολλαπλά σύνολα. Κάθε κεφαλή μαθαίνει διαφορετικά μοτίβα.

Η Κεφαλή 1 μπορεί να μάθει συντακτικές σχέσεις (υποκείμενο-ρήμα). Η Κεφαλή 2 μπορεί να μάθει σημασιολογικές σχέσεις (σημασίες λέξεων). Η Κεφαλή 3 μπορεί να μάθει μοτίβα θέσης.

Συνδυάστε όλες τις κεφαλές. Τώρα έχετε πολλαπλές οπτικές για τις ίδιες εισόδους. Πλουσιότερη αναπαράσταση. Καλύτερη κατανόηση.

Οι μετασχηματιστές χρησιμοποιούν συνήθως 8-16 κεφαλές. Κάθε κεφαλή είναι 1/8 ή 1/16 του μεγέθους της πλήρους διάστασης του μοντέλου. Το υπολογιστικό κόστος παραμένει διαχειρίσιμο.

Το Υπολογιστικό Κόστος

Η προσοχή είναι ισχυρή. Επίσης ακριβή.

Πολυπλοκότητα: O(n²)

Κάθε είσοδος προσέχει κάθε άλλη είσοδο. Για n εισόδους, αυτό σημαίνει n² συγκρίσεις. Τετραγωνική πολυπλοκότητα.

Διπλασιάστε το μήκος της ακολουθίας, τετραπλασιάστε τον υπολογισμό. Γι' αυτό τα περιθώρια περιβάλλοντος είναι περιορισμένα. Όχι μόνο μνήμη. Ο υπολογισμός εκρήγνυται.

Παράδειγμα:

1.000 διακριτικά: 1 εκατομμύριο πράξεις

10.000 διακριτικά: 100 εκατομμύρια πράξεις

100.000 διακριτικά: 10 δισεκατομμύρια πράξεις

Η προσοχή είναι το σημείο συμφόρησης για μεγάλα περιβάλλοντα. Διάφορες τεχνικές (αραιή προσοχή, γραμμική προσοχή) προσπαθούν να το αντιμετωπίσουν. Μερικές λύσεις στην καλύτερη περίπτωση.

Γιατί η Προσοχή Άλλαξε τα Πάντα

Πριν από την προσοχή: σειριακή επεξεργασία, περιορισμένο περιβάλλον, υποβάθμιση πληροφορίας.

Μετά την προσοχή: παράλληλη επεξεργασία, πλήρες περιβάλλον, καμία υποβάθμιση.

Αυτό επέτρεψε:

Βελτιωμένα Γλωσσικά Μοντέλα: Μπορούν να κατανοήσουν μεγάλα έγγραφα. Χωρίς όριο περιβάλλοντος από τη σειριακή επεξεργασία. Το BERT, το GPT, όλα χρησιμοποιούν προσοχή.
Βελτιωμένη Μετάφραση: Μπορούν να προσέξουν σχετικές λέξεις της πηγής. Ανεξάρτητα από το πόσο μακριά βρίσκονται. Η ποιότητα βελτιώθηκε σημαντικά.
Μετασχηματιστές Όρασης: Η προσοχή λειτουργεί σε τμήματα εικόνας. Ανταγωνιστικοί με τα CNN σε πολλές εργασίες. Ενοποιημένη αρχιτεκτονική για όραση και γλώσσα.
Πολυτροπικά Μοντέλα: Το κείμενο προσέχει τις εικόνες. Οι εικόνες προσέχουν το κείμενο. Διατροπική κατανόηση. Το CLIP, το DALL-E, όλα χρησιμοποιούν προσοχή.

Η προσοχή είναι το θεμέλιο της σύγχρονης τεχνητής νοημοσύνης. Όλα βασίζονται σε αυτήν.

Η καινοτομία ήταν η αρχιτεκτονική επαναχρησιμοποίηση: μόλις το πλήρες περιβάλλον έγινε παράλληλο, η γλώσσα, η μετάφραση, η όραση και τα πολυτροπικά συστήματα μπορούσαν να μοιραστούν τον ίδιο διάδρομο.

Η Προσοχή στην Αρχιτεκτονική του Dweve

Η παραδοσιακή προσοχή βασίζεται σε κινητή υποδιαστολή. Είναι ακριβή. Αλλά η έννοια εφαρμόζεται και σε συστήματα που βασίζονται σε περιορισμούς.

PAP (Permuted Agreement Popcount):

Η δική μας εκδοχή προσοχής για δυαδικά μοτίβα. Αντί για γινόμενα κουκκίδων, χρησιμοποιούμε XNOR και popcount. Αντί για softmax, χρησιμοποιούμε στατιστικά όρια.

Ίδια έννοια: προσδιορίστε ποια μοτίβα έχουν σημασία. Διαφορετική υλοποίηση: δυαδικές πράξεις αντί για κινητή υποδιαστολή.

Αποτέλεσμα: επιλογή τύπου προσοχής με κλάσμα του υπολογιστικού κόστους. Ποιοι ειδικοί είναι σχετικοί; Το PAP το καθορίζει. Αποτελεσματικά.

Τι Πρέπει να Θυμάστε

1. Η προσοχή είναι σταθμισμένος μέσος όρος. Προσδιορίστε τη συνάφεια, σταθμίστε τις εισόδους αναλόγως, συνδυάστε. Απλή έννοια, ισχυρά αποτελέσματα.
2. Μηχανισμός Query-Key-Value. Το Query ρωτά, τα Keys απαντούν, τα Values παρέχουν πληροφορία. Η ομοιότητα καθορίζει τα βάρη.
3. Self-attention έναντι cross-attention. Self: οι είσοδοι προσέχουν τον εαυτό τους. Cross: μια ακολουθία προσέχει μια άλλη.
4. Οι πολλαπλές κεφαλές συλλαμβάνουν πολλαπλές οπτικές. Διαφορετικές κεφαλές μαθαίνουν διαφορετικά μοτίβα. Σε συνδυασμό, παρέχουν πλούσια κατανόηση.
5. Το υπολογιστικό κόστος είναι O(n²). Η τετραγωνική πολυπλοκότητα περιορίζει το μήκος περιβάλλοντος. Το σημείο συμφόρησης για μεγάλες ακολουθίες.
6. Η προσοχή κατέστησε δυνατή τη σύγχρονη AI. Transformers, GPT, BERT, vision transformers. Όλα βασίζονται στην προσοχή.
7. Υπάρχουν δυαδικές εναλλακτικές. Το PAP παρέχει επιλογή τύπου προσοχής με δυαδικές πράξεις. Ίδια έννοια, διαφορετική υλοποίηση.

Το PAP διατηρεί την ιδέα επιλογής συνάφειας της προσοχής, αλλά αντικαθιστά τα γινόμενα κουκκίδων και το softmax με δυαδική συμφωνία και στατιστικά όρια.

Η Ουσία

Η προσοχή είναι η σημαντικότερη καινοτομία στην AI της τελευταίας δεκαετίας. Απλή ιδέα: αφήστε το μοντέλο να αποφασίσει τι έχει σημασία. Βαθύ αντίκτυπο: κατέστησε δυνατά όλα τα σύγχρονα συστήματα AI που χρησιμοποιείτε.

Δεν είναι μαγεία. Είναι σταθμισμένος μέσος όρος που βασίζεται στη μαθημένη ομοιότητα. Η αντιστοίχιση query-key καθορίζει τα βάρη. Τα βάρη συνδυάζουν τιμές. Επαναλάβετε για κάθε είσοδο, κάθε επίπεδο.

Το υπολογιστικό κόστος είναι πραγματικό. Το O(n²) περιορίζει το πόσο μεγάλες μπορούν να είναι οι ακολουθίες. Αλλά εντός αυτών των ορίων, η προσοχή παρέχει πρωτοφανή ικανότητα κατανόησης του περιβάλλοντος.

Η κατανόηση της προσοχής σημαίνει κατανόηση της σύγχρονης αρχιτεκτονικής AI. Όλα τα υπόλοιπα χτίζονται πάνω σε αυτό το θεμέλιο. Κατακτήστε το και τα υπόλοιπα αποκτούν νόημα.

Θέλετε αποτελεσματική επιλογή τύπου προσοχής; Εξερευνήστε τον μηχανισμό PAP της Dweve. Δυαδική αντιστοίχιση μοτίβων με στατιστικά όρια. Επιλογή ειδικών με κλάσμα του κόστους της παραδοσιακής προσοχής. Το είδος προσδιορισμού συνάφειας που λειτουργεί σε κλίμακα.