Token (jeton)
Définition : Un token est l'unité de base que traite un LLM : un morceau de mot (souvent ~4 caractères en anglais). Le texte est découpé en tokens avant traitement.
Les modèles facturent et limitent l'usage au token (entrée + sortie). Plus un texte est long, plus il consomme de tokens.
Questions fréquentes
Combien de tokens dans un mot ?
En anglais, ~1 token ≈ 4 caractères, soit ~0,75 mot. En français, un mot vaut souvent 1 à 3 tokens. Repère : 1000 mots ≈ 1300–1600 tokens.
Pourquoi facture-t-on au token ?
Le coût de calcul d'un modèle est proportionnel au nombre de tokens traités (entrée + sortie). Les API facturent donc au token, avec des tarifs distincts en entrée et en sortie.