Fenêtre de contexte vs RAG
Définition : Tout mettre dans la fenêtre de contexte signifie fournir directement au modèle l'ensemble des documents ; le RAG, lui, ne récupère que les passages pertinents à la demande.
Le contexte long est simple mais coûte des tokens à chaque appel et peut diluer l'information utile ; le RAG passe à l'échelle sur d'énormes bases mais dépend de la qualité de la récupération. Les deux approches sont souvent combinées plutôt qu'opposées.