Définition
Un token est l'unité de texte que manipule un grand modèle de langage : un mot court, un morceau de mot long, un signe de ponctuation. Un mot français représente en moyenne un token et demi à deux tokens, davantage qu'en anglais. Les éditeurs facturent leurs modèles au million de tokens lus et générés, et la fenêtre de contexte se mesure en tokens.
Dans la pratique
Le token est l'unité de coût et de capacité de toute application d'IA générative : un prompt bavard, un historique de conversation non résumé ou des documents envoyés en entier se paient à chaque appel. Le profil recherché mesure la consommation par fonctionnalité et l'optimise. Le piège est de découvrir le coût réel au premier mois de production.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.