Mécanismes d'attention : comment l'IA décide ce qui compte

La percée que personne n'avait vue venir

En 2017, un article intitulé "Attention Is All You Need" a changé l'IA pour toujours. Non pas grâce à des mathématiques exotiques. Mais grâce à une idée simple : laisser le modèle décider ce qui est important.

Les mécanismes d'attention. Ils semblent abstraits. Ils sont en fait simples. Et ils ont permis ChatGPT, les générateurs d'images, toutes les IA modernes que vous utilisez.

Comprendre l'attention vous aide à comprendre l'IA moderne. Décomposons-la.

Le problème que l'attention résout

Les anciennes IA (réseaux récurrents) traitaient les entrées séquentiellement. Mot par mot. Maintenant un état caché. L'information circulait linéairement.

Problème : les longues séquences se dégradaient. L'information du début s'estompait à la fin. Le modèle "oubliait" le contexte initial. Cela limitait ce que l'IA pouvait faire.

L'attention a résolu ce problème. Concept simple : regarder toutes les entrées simultanément. Déterminer quelles parties sont importantes pour quelles sorties. Les pondérer en conséquence.

Pas de traitement séquentiel. Pas de dégradation de l'information. Contexte complet toujours disponible. Révolutionnaire.

Ce que l'attention fait réellement

L'attention est une moyenne pondérée. C'est tout.

Vous avez des entrées. Vous voulez en traiter une. Mais la bonne façon de la traiter dépend de toutes les autres entrées. L'attention détermine l'importance de chaque entrée pour le traitement de l'entrée actuelle.

Exemple : Traduction

Traduction de "The cat sat on the mat" en français. Lors de la traduction de "sat", quels mots anglais sont les plus importants ?

"The" compte un peu (genre). "Cat" compte beaucoup (sujet). "Sat" compte le plus (le mot lui-même). "On" compte un peu (contexte). Le reste moins.

L'attention calcule ces poids. Puis combine les entrées en fonction de ces poids. La moyenne pondérée vous donne la meilleure représentation pour traduire "sat".

Faites cela pour chaque mot. Chaque couche. C'est l'attention.

Comment l'attention fonctionne réellement

Trois étapes : Query, Key, Value. Cela semble compliqué. Ça ne l'est pas.

Étape 1 : Créer des Queries, Keys, Values

Pour chaque entrée, créez trois vecteurs :

- Query : "Que suis-je en train de chercher ?"

- Key : "Qu'est-ce que j'offre ?"

- Value : "Voici mon information réelle"

Ce ne sont que des transformations linéaires de l'entrée. Des multiplications matricielles. Rien de fantaisiste.

Étape 2 : Calculer les poids d'attention

Pour chaque query, comparez-la à toutes les keys. Le produit scalaire mesure la similarité. Query et key similaires = score élevé. Différents = score faible.

Appliquez softmax. Transforme les scores en probabilités. Vous avez maintenant des poids d'attention. Ils totalisent 1.

Étape 3 : Moyenne pondérée des Values

Utilisez les poids d'attention pour faire la moyenne des values. Poids élevé = plus d'influence. Poids faible = moins d'influence.

Résultat : une nouvelle représentation pour chaque entrée, informée par toutes les autres entrées, pondérée par la pertinence.

C'est l'attention. La similarité Query-Key détermine les poids. Les poids combinent les values. Terminé.

Self-Attention vs Cross-Attention

Deux types d'attention servent des objectifs différents :

Self-Attention :

Les entrées s'auto-attendent. Chaque mot regarde tous les autres mots de la même phrase. Détermine quels mots sont importants pour comprendre chaque mot.

Exemple : "The animal didn't cross the street because it was too tired." À quoi "it" fait-il référence ? La self-attention le découvre en s'attendant fortement à "animal".

Cross-Attention :

Une séquence s'attend à une autre. Traduction : les mots français s'attendent aux mots anglais. Légendage d'images : les mots de la légende s'attendent aux régions de l'image.

Séquences différentes. Queries d'une, keys et values d'une autre. Connecte différentes modalités ou langues.

Multi-Head Attention (Perspectives multiples)

Tête d'attention unique = une perspective. Multi-têtes = plusieurs perspectives simultanément.

Au lieu d'un ensemble de queries/keys/values, créez plusieurs ensembles. Chaque tête apprend des motifs différents.

La tête 1 pourrait apprendre les relations syntaxiques (sujet-verbe). La tête 2 pourrait apprendre les relations sémantiques (significations des mots). La tête 3 pourrait apprendre les motifs positionnels.

Combinez toutes les têtes. Vous avez maintenant plusieurs perspectives sur les mêmes entrées. Représentation plus riche. Meilleure compréhension.

Les Transformers utilisent généralement 8 à 16 têtes. Chaque tête représente 1/8 ou 1/16 de la taille de la dimension complète du modèle. Le coût de calcul reste gérable.

Le coût de calcul

L'attention est puissante. Aussi coûteuse.

Complexité : O(n²)

Chaque entrée s'attend à chaque autre entrée. Pour n entrées, cela représente n² comparaisons. Complexité quadratique.

Doublez la longueur de la séquence, quadruplez le calcul. C'est pourquoi les fenêtres contextuelles sont limitées. Pas seulement la mémoire. Le calcul explose.

Exemple :

1 000 tokens : 1 million d'opérations

10 000 tokens : 100 millions d'opérations

100 000 tokens : 10 milliards d'opérations

L'attention est le goulot d'étranglement pour les contextes longs. Diverses techniques (attention sparse, attention linéaire) tentent d'y remédier. Des solutions partielles au mieux.

Pourquoi l'attention a tout changé

Avant l'attention : traitement séquentiel, contexte limité, dégradation de l'information.

Après l'attention : traitement parallèle, contexte complet, pas de dégradation.

Cela a permis :

• Meilleurs modèles linguistiques : Peuvent comprendre de longs documents. Aucune limite de contexte due au traitement séquentiel. BERT, GPT, tous utilisent l'attention.
• Meilleure traduction : Peut s'attendre aux mots sources pertinents. Peu importe leur éloignement. La qualité a considérablement augmenté.
• Vision Transformers : L'attention fonctionne sur des patchs d'image. Meilleur que les CNNs pour de nombreuses tâches. Architecture unifiée pour la vision et le langage.
• Modèles multimodaux : Le texte s'attend aux images. Les images s'attendent au texte. Compréhension intermodale. CLIP, DALL-E, tous utilisent l'attention.

L'attention est le fondement de l'IA moderne. Tout s'y construit.

L'attention dans l'architecture de Dweve

L'attention traditionnelle est en virgule flottante. Coûteuse. Mais le concept s'applique aussi aux systèmes basés sur des contraintes.

PAP (Permuted Agreement Popcount) :

Notre version de l'attention pour les motifs binaires. Au lieu de produits scalaires, nous utilisons XNOR et popcount. Au lieu de softmax, nous utilisons des bornes statistiques.

Même concept : déterminer quels motifs sont importants. Implémentation différente : opérations binaires au lieu de virgule flottante.

Résultat : une sélection de type attention à une fraction du coût de calcul. Quels experts sont pertinents ? PAP le détermine. Efficacement.

Ce que vous devez retenir

• 1. L'attention est une moyenne pondérée. Déterminer la pertinence, pondérer les entrées en conséquence, combiner. Concept simple, résultats puissants.
• 2. Mécanisme Query-Key-Value. Query demande, Keys répondent, Values fournissent des informations. La similarité détermine les poids.
• 3. Self-attention vs cross-attention. Self : les entrées s'auto-attendent. Cross : une séquence s'attend à une autre.
• 4. Multi-têtes capture plusieurs perspectives. Différentes têtes apprennent des motifs différents. Combinées, elles offrent une compréhension riche.
• 5. Le coût de calcul est O(n²). La complexité quadratique limite la longueur du contexte. Le goulot d'étranglement pour les longues séquences.
• 6. L'attention a permis l'IA moderne. Transformers, GPT, BERT, vision transformers. Tous construits sur l'attention.
• 7. Des alternatives binaires existent. PAP fournit une sélection de type attention avec des opérations binaires. Même concept, implémentation différente.

Le résultat final

L'attention est l'innovation la plus importante de l'IA de la dernière décennie. Idée simple : laisser le modèle décider ce qui compte. Impact profond : a permis tous les systèmes d'IA modernes que vous utilisez.

Ce n'est pas de la magie. C'est une moyenne pondérée basée sur une similarité apprise. La correspondance Query-Key détermine les poids. Les poids combinent les values. Répétez pour chaque entrée, chaque couche.

Le coût de calcul est réel. O(n²) limite la longueur des séquences. Mais dans ces limites, l'attention offre une capacité sans précédent à comprendre le contexte.

Comprendre l'attention signifie comprendre l'architecture de l'IA moderne. Tout le reste se construit sur cette fondation. Maîtrisez cela, et le reste prendra sens.

Vous voulez une sélection efficace de type attention ? Explorez le mécanisme PAP de Dweve. Correspondance de motifs binaires avec des bornes statistiques. Sélection d'experts à une fraction du coût de l'attention traditionnelle. Le type de détermination de la pertinence qui fonctionne à grande échelle.