Définition
La fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un grand modèle de langage peut prendre en compte en une fois : instructions, historique de la conversation, documents fournis et réponse en cours. Les modèles actuels acceptent de quelques centaines de milliers à plus d'un million de tokens, soit plusieurs livres. Tout ce qui dépasse est oublié, et un contexte très long coûte plus cher et peut dégrader l'attention du modèle aux détails.
Dans la pratique
Une grande fenêtre de contexte ne dispense pas d'une architecture RAG : envoyer tous les documents de l'entreprise à chaque question coûte cher et noie l'information utile. Le profil doit savoir gérer ce budget, résumer l'historique et sélectionner ce qui compte. Le piège est de croire qu'un modèle « lit » un document de 300 pages avec la même attention du début à la fin.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.