Mixture of Experts (mélange d'experts)
Définition : Un modèle Mixture of Experts (MoE) n'active qu'une partie de ses paramètres (des « experts ») à chaque requête, pour plus de puissance à coût de calcul réduit.
C'est une architecture populaire pour passer à l'échelle efficacement, utilisée par plusieurs grands modèles récents.