Pré-entraînement (pretraining)
Définition : Le pré-entraînement est la première phase d'apprentissage d'un modèle, sur d'immenses corpus, pour acquérir une compréhension générale du langage.
C'est l'étape la plus coûteuse en calcul. Elle est ensuite suivie d'un affinage et d'un alignement (comme le RLHF) qui rendent le modèle utile et sûr.