Définition
Le LLMOps regroupe les pratiques qui permettent d'exploiter une application fondée sur un grand modèle de langage de façon fiable en production. Ces pratiques : tracer chaque appel au modèle (prompt, réponse, outils utilisés, tokens, latence, coût), versionner les prompts, rejouer les évaluations à chaque changement et surveiller la qualité des réponses dans le temps. C'est la déclinaison du MLOps au monde des LLM, avec une attention particulière à l'observabilité, car un modèle probabiliste ne se débogue pas en lisant son code. Des outils comme Langfuse, LangSmith, Arize Phoenix ou Braintrust s'en sont fait une spécialité.
Dans la pratique
Une application d'IA générative sans traçabilité des appels est impossible à améliorer et à défendre en cas d'incident. Le profil recherché instrumente dès le prototype, relie les traces aux évaluations et suit le coût par fonctionnalité. Le piège classique est de découvrir les dérives de qualité par les plaintes des utilisateurs plutôt que par les tableaux de bord.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.