Lois d'échelle (scaling laws)
Définition : Les lois d'échelle décrivent comment la performance d'un modèle s'améliore, de façon régulière, avec l'augmentation des données, des paramètres et de la puissance de calcul.
Elles ont guidé la course à des modèles toujours plus grands. Elles restent empiriques et ne promettent pas que la simple mise à l'échelle suffise à tout résoudre.