Définition
L'inférence est l'utilisation d'un modèle déjà entraîné pour produire un résultat sur de nouvelles données : classer un e-mail, estimer un prix, générer une réponse. C'est la phase de production, par opposition à l'entraînement. Pour les grands modèles de langage, elle est facturée au token par les éditeurs ou nécessite des serveurs GPU si le modèle est hébergé en interne.
Dans la pratique
Le coût d'inférence devient le premier poste budgétaire d'une application d'IA générative à l'échelle, et guide le choix du modèle (un modèle plus petit suffit souvent), la mise en cache et la longueur des prompts. Le profil doit savoir mesurer latence et coût par requête. Le piège est de valider un prototype avec le modèle le plus puissant sans regarder la facture à mille utilisateurs.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.