Définition
L'évaluation de modèles, ou evals, est l'ensemble des tests qui mesurent la qualité des réponses d'un système d'IA sur un jeu de cas représentatifs, avant et après chaque modification. Pour un modèle de prédiction classique, ce sont des métriques comme la précision ou le rappel. Pour un grand modèle de langage ou un agent, ce sont des questions de référence avec des réponses attendues, notées par des règles, par un humain ou par un autre modèle (« LLM as a judge »). Les evals sont aux applications d'IA ce que les tests automatisés sont au logiciel.
Dans la pratique
Un projet d'IA générative sans jeu d'évaluation avance à l'aveugle : chaque changement de prompt ou de modèle peut améliorer un cas et en casser dix autres. Nous considérons la capacité à construire ces evals comme le premier marqueur d'un AI engineer sérieux. Le piège est de se fier aux démonstrations sur quelques exemples choisis.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.