Self-attention (auto-attention)
Définition : La self-attention est une forme d'attention où chaque élément d'une séquence se compare à tous les autres éléments de la même séquence, pour enrichir sa représentation par le contexte.
C'est le cœur du Transformer : elle capture les dépendances entre mots, même éloignés, en une seule étape. Les modèles empilent plusieurs « têtes » d'attention pour saisir différents types de relations.