Définition
Le fine-tuning consiste à poursuivre l'entraînement d'un modèle de fondation déjà entraîné sur un jeu d'exemples propres à un usage, pour en spécialiser le comportement : adopter le ton d'une marque, classer des documents selon une nomenclature interne, respecter un format de sortie strict. Il modifie les paramètres du modèle, contrairement au prompt ou au RAG qui ne touchent qu'à ce qui lui est fourni en entrée. Des techniques comme LoRA permettent de l'effectuer à moindre coût sur des modèles open source.
Dans la pratique
Le fine-tuning arrive en dernier recours, quand le prompt engineering et le RAG ont montré leurs limites, car il exige des centaines d'exemples de qualité et doit être refait à chaque changement de modèle. Il convient aux tâches répétitives et bien définies, pas pour « apprendre » les documents de l'entreprise au modèle. Le piège classique est de l'utiliser pour injecter des connaissances : le RAG fait cela mieux et reste à jour.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.