Attention (mécanisme d')
Définition : L'attention est le mécanisme qui permet à un modèle de pondérer l'importance de chaque mot d'une séquence par rapport aux autres, pour décider lesquels comptent le plus à un instant donné.
Plutôt que de traiter les mots isolément, le modèle relie chaque élément à tous les autres pour saisir le contexte. C'est l'idée fondatrice des Transformers et des LLM modernes.