Définition
Les garde-fous sont les contrôles placés autour d'un modèle d'IA pour empêcher les comportements indésirables : filtrer les demandes hors sujet ou malveillantes en entrée, vérifier les réponses en sortie (données personnelles, propos inappropriés, format incorrect), limiter les actions qu'un agent peut déclencher. Ils combinent des règles simples, des classifieurs et parfois un second modèle qui relit le premier. Ils complètent les protections intégrées aux modèles par les éditeurs sans les remplacer.
Dans la pratique
Un assistant client ou un agent qui agit sur des systèmes n'est pas déployable sans garde-fous explicites, testés et journalisés. Le profil recherché sait les concevoir en couches et mesurer leur taux de faux positifs, car des filtres trop stricts rendent l'outil inutilisable. Le piège est de compter sur le prompt système seul pour interdire un comportement.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.