Étude de cas · AI Engineer
Structurer un assistant conversationnel de support client fondé sur un LLM dans une ETI du e-commerce
Une ETI du e-commerce avait placé un agent IA fondé sur un grand modèle de langage en première ligne de son support client, sur plusieurs marchés et dans plusieurs langues. L'agent répondait, mais ses consignes s'étaient accumulées sans structure et ses parcours n'étaient pas documentés. Un AI Engineer freelance, à temps partiel, a repris la conception des conversations, consolidé les consignes, formalisé l'escalade vers les humains et posé les bases de l'évaluation.
Par L'équipe Top Profil · Mis à jour le · 6 min de lecture
01
Un agent IA déjà en production, mais sans conception d'ensemble
Le client, une ETI du e-commerce présente sur plusieurs marchés, avait confié la première ligne de son support client à l'agent IA natif de sa plateforme de service client. Cet agent, fondé sur un grand modèle de langage, répond à partir d'une base de connaissances et d'un ensemble de consignes comportementales, puis transfère à un agent humain lorsqu'il ne sait pas répondre. Il traitait déjà des questions avant achat, du suivi de commande et des demandes de dépannage.
Le déploiement avait été rapide et les consignes s'étaient accumulées au fil des besoins : des dizaines de règles rédigées par des personnes différentes, parfois redondantes, sans journal de modifications. L'organisation voulait passer d'un outil paramétré au coup par coup à un dispositif conçu, documenté et mesurable, sans mobiliser ses développeurs sur un périmètre qui relève du contenu et des processus.
Le besoin appelait un profil hybride, entre conception conversationnelle, prompt engineering et opérations de support. Nous avons sélectionné un AI Engineer dont la pratique des agents conversationnels fondés sur des LLM avait été vérifiée en entretien. La mission a démarré à temps partiel, sur un périmètre non technique.
02
Les enjeux
Cohérence des réponses
Des consignes nombreuses et non hiérarchisées produisent des réponses variables d'une conversation à l'autre, parfois éloignées des politiques après-vente. L'enjeu était un comportement prévisible, aligné avec les procédures des agents humains et le ton de la marque.
Passage de main vers l'humain
Un agent qui transfère trop tôt ne résout rien ; un agent qui retient le client trop longtemps dégrade la satisfaction. Les règles d'escalade devaient être explicites : quand relancer, quoi demander avant un transfert, quels cas transférer sans attendre.
Organisation entre équipes
Le contenu de l'agent dépendait de plusieurs équipes (base de connaissances, responsables de processus, content design, tech) sans processus commun. Il fallait un cadre de conception partagé, pour que les évolutions ne reposent pas sur une seule personne.
Mesure de la qualité
Les indicateurs cibles existaient (résolution, escalade, part des demandes entièrement automatisées, satisfaction), mais l'agent n'était pas évalué de façon reproductible avant chaque changement.
03
De l'état des lieux aux jeux d'évaluation
- 01
État des lieux et premiers gains rapides
Le freelance a commencé par un rapport d'étonnement recensant les premiers gains rapides, puis par une analyse des consignes consacrées au suivi de commande, assortie de recommandations. Il a mené les tests de validation d'un lancement en cours, avec une restitution détaillée, et s'est formé aux procédures de dépannage pour traiter les premiers incidents.
- 02
Blueprints conversationnels et première consolidation des consignes
Dès le deuxième mois, les parcours ont été formalisés en blueprints : expérience avant achat, questions générales, suivi de commande, puis dépannage. En parallèle, les consignes ont été regroupées par thématique et testées en bac à sable avant toute mise en production, avec un journal de modifications tenu sur Confluence.
- 03
Feuille de route, processus de création et mise en production
Au troisième mois, une feuille de route trimestrielle a été validée et présentée à l'équipe content design et aux responsables de processus. Le processus de création d'un blueprint a été documenté (rôles, étapes, responsabilités). Les consignes consolidées sont passées en production, réduites d'environ moitié, et le freelance a rédigé les procédures d'escalade pour la relance des clients inactifs et la collecte d'informations avant transfert.
- 04
Refonte des consignes comportementales et dépannage technique
Le quatrième mois a vu la mise en production d'une version revue des consignes comportementales, avec des critères actualisés pour les escalades, suivie d'un monitoring sans problème majeur. Une demi-douzaine de blueprints ont été finalisés et documentés, de l'avant-achat à la résolution d'un problème technique, et la procédure de dépannage technique a été transmise pour déploiement. Le freelance a aussi participé à l'annotation des conversations, en détectant et en corrigeant les hallucinations de l'agent.
- 05
Évaluation, routage et indicateurs
Le cinquième mois a été consacré au suivi du lancement du dépannage technique, avec une revue des conversations problématiques, et à deux jeux de données de référence pour évaluer la pertinence des réponses et le respect des consignes. La qualité linguistique des consignes a été testée pour repérer les doublons. Le freelance a contribué à la cartographie du routage entre l'agent de support et un second assistant de la plateforme, au plan qualité du trimestre suivant, et a défini une vision des indicateurs conversationnels (bouclage, escalade, satisfaction). De nouveaux blueprints (compte client, commande sans compte, retour complet) sont en cours.
04 · IA
L'IA dans la mission : un LLM en production, piloté par ses consignes et son évaluation
L'IA est ici l'objet même de la mission. L'agent repose sur un grand modèle de langage fourni par la plateforme de service client ; le freelance n'a pas touché au modèle, mais à tout ce qui le gouverne. Les consignes comportementales jouent le rôle d'instructions système : les consolider, les hiérarchiser et les reformuler relève du prompt engineering appliqué à un produit en production.
Les garde-fous ont été traités comme des règles de conception : conditions de transfert vers un humain, informations à collecter avant un transfert, relance des clients inactifs, routage entre deux assistants. Chaque changement de consigne est passé par un bac à sable, puis par un monitoring des conversations. L'annotation des conversations a permis de détecter des hallucinations et de corriger les consignes à l'origine des erreurs.
La dernière brique est l'évaluation reproductible : deux jeux de données de référence, l'un sur la pertinence des réponses, l'autre sur le respect des instructions, pour mesurer l'agent avant et après chaque évolution. Avant la mission, nous avions évalué ce profil sur sa pratique réelle de l'IA, critère éliminatoire chez nous : sa capacité à expliquer comment il spécifie un comportement attendu, comment il le teste et comment il détecte les erreurs d'un modèle.
05
Ce que l'équipe a obtenu
- Des consignes consolidées par thématique, réduites d'environ moitié et mises en production avec un monitoring sans problème majeur.
- Une demi-douzaine de parcours conversationnels documentés, et un processus de création des blueprints qui fixe rôles, étapes et responsabilités.
- Des règles d'escalade formalisées : relance des clients inactifs, collecte d'informations avant transfert, procédures de transfert vers un agent humain.
- Une procédure de dépannage technique déployée dans l'agent, suivie d'une revue des conversations problématiques.
- Deux jeux de données de référence pour évaluer l'agent, une feuille de route trimestrielle validée et un plan qualité pour le trimestre suivant.
FAQ
Vos questions sur cette mission
Pas dans ce cas. Le périmètre était non technique : consignes, parcours, règles d'escalade, documentation, évaluation. Les connecteurs de données et les intégrations ont été traités avec les équipes tech du client. Le profil recherché est un AI Engineer orienté produit, ou un prompt engineer avec une culture du support client.
Commencer par un état des lieux des consignes existantes et des parcours réellement suivis, puis consolider les consignes par thématique et les tester en bac à sable avant la production. Documenter chaque parcours dans un blueprint avec un propriétaire identifié, formaliser les règles d'escalade et construire un jeu de données de référence avant de mesurer quoi que ce soit. Les premiers gains rapides apparaissent dès le premier mois ; la structuration complète demande plusieurs mois.
Nous avons vérifié en entretien sa pratique réelle des agents conversationnels fondés sur des LLM : comment il spécifie un comportement attendu, comment il teste une consigne avant de s'y fier, comment il détecte et corrige une hallucination. Cette pratique de l'IA est un critère éliminatoire dans notre sélection.
Les indicateurs de la commande étaient le taux de résolution, le taux d'escalade, la part des demandes entièrement automatisées et la satisfaction client. La mission y a ajouté des indicateurs conversationnels plus fins, comme le bouclage (l'agent qui tourne en rond) et la qualité des escalades, encore en cours de définition.
Étude rédigée par L'équipe Top Profil.
Publiée le , mise à jour le .
Un besoin proche de cette mission ?
Précisez votre contexte. Un expert Top Profil vous rappelle sous 1 jour ouvré.