Étude de cas · AI Engineer
Industrialiser l'extraction documentaire par IA et déployer des agents métier dans une scale-up
Une scale-up de services aux entreprises traitait à la main un volume croissant de devis, de factures et d'échanges clients. Elle cherchait un AI Engineer capable de faire passer ses premiers services d'extraction par LLM à l'échelle, puis de construire un orchestrateur d'agents pour ses équipes opérations. Le freelance que nous avons présenté a livré ces briques en production, instrumentées et mesurées, en quelques mois.
Par L'équipe Top Profil · Mis à jour le · 6 min de lecture
01
Une scale-up qui veut sortir du traitement manuel
L'entreprise met en relation ses clients avec un réseau de prestataires référencés. Chaque prestation génère des devis, des factures et des bons de commande, que les équipes opérations, ventes et finance ressaisissaient à la main. Un premier service d'extraction de devis par LLM existait, mais sa couverture et sa performance ne suivaient plus la croissance des volumes. Le CRM, lui, accumulait des emails et des appels que personne n'exploitait.
La commande portait sur cinq chantiers : un orchestrateur d'agents IA multi-étapes avec appels d'outils et validation humaine, déployé sur AWS ; l'automatisation du flux documentaire de bout en bout (OCR et LLM, validation, création des transactions, intégration au SI) ; une fondation de données fiable sur MongoDB ; des assistants métier exposés en FastAPI ; un monitoring des agents couvrant qualité, latence, erreurs et coûts.
Le client voulait un profil qui avait déjà mis des pipelines LLM en production, pas un spécialiste du prototype. Nous lui avons présenté en moins de 48h un AI Engineer évalué sur sa pratique réelle de l'IA : conception d'agents, mesure de la qualité des sorties, maîtrise des coûts.
02
Les enjeux
Fiabilité de l'extraction sur des documents hétérogènes
Devis et factures arrivent de prestataires variés, dans des formats différents, avec ou sans texte exploitable. Le service doit classer chaque document, en extraire les lignes et inférer la catégorie de chaque prestation, à un niveau de qualité mesurable et dans un temps acceptable.
Confiance des équipes dans les actions générées
Un email d'introduction ou une passation générés par un LLM n'ont de valeur que s'ils citent le bon interlocuteur, le bon prestataire et le bon prix. Une erreur suffit pour que les équipes opérations cessent d'utiliser l'outil.
Coût et observabilité des appels LLM
Avec plusieurs services qui appellent des modèles en production, l'équipe devait voir chaque appel, sa latence, ses erreurs et son coût, et pouvoir modifier un prompt ou changer de modèle sans régression.
03
La démarche, chantier après chantier
La mission suit une progression nette : fiabiliser et mesurer l'extraction, instrumenter, puis seulement construire les agents.
- 01
Étendre et accélérer l'extraction documentaire
Dès les premières semaines, le freelance a construit un service de classification des documents (facture, devis, autre) sur l'architecture de l'extracteur de devis existant, puis un service d'extraction des informations d'une facture. L'extracteur de devis a été étendu pour inférer la catégorie de chaque prestation. Un benchmark et une refonte du code ont nettement amélioré la performance, et une comparaison quantitative a tranché entre les approches avec et sans OCR.
- 02
Instrumenter tous les appels LLM avec LangSmith
En parallèle de l'intégration des nouveaux services, le freelance a mis en place LangSmith pour tracer l'ensemble des appels aux modèles, avec deux usages dès le départ : le monitoring en production et l'itération rapide pendant la phase de prompt engineering. L'intégration a été achevée au troisième mois.
- 03
Enrichir le catalogue par un pipeline mixte
Le catalogue des prestataires comportait des sections vides. Le freelance a livré une interface pour visualiser les fiches à enrichir et les résultats, puis un pipeline mêlant règles déterministes et LLM, alimenté par les prestations réellement vendues, pour compléter les sections manquantes (prix, activités proposées). Les résultats ont été intégrés en préproduction et en production par un script dédié, et remontés dans une interface de contrôle qualité.
- 04
Construire l'orchestrateur d'agents pour les opérations
À partir du quatrième mois, le chantier principal est devenu un système qui automatise les tâches récurrentes des chargés d'opérations. Le freelance a bâti un pipeline de données sur les emails et les appels du CRM, puis la génération par LLM d'actions adaptées au contexte : passations, emails d'introduction, détection des appels de découverte et emails de récapitulatif pour clients et partenaires. Une interface dédiée permettait aux équipes de revoir les actions générées. Le système de suggestion automatique, connecté au CRM et croisant plusieurs sources (appels passés, fils d'emails), a été mis en production au sixième mois, avec une passation à un second développeur.
- 05
Ancrer les réponses et tester chaque prompt en A/B
Les mois suivants ont été consacrés à la fiabilité : suggestions mieux ancrées (bon nom d'interlocuteur, sources citées, seules les pièces jointes pertinentes), emails d'introduction retravaillés à partir des retours des équipes, nouvelle API qui résout les fils d'emails d'une transaction. Un dispositif de tests A/B sur données de production a été installé avant tout changement de prompt, puis utilisé pour valider l'ancrage des réponses dans les documents des partenaires. Un nouveau modèle a été testé et adopté pour réduire le coût LLM.
- 06
Poursuivre l'extraction vers le rapprochement automatique
En fin de période, le freelance est revenu au flux documentaire : mise en production d'une règle de calcul fiscal propre au métier, rapprochement plus fiable entre bons de commande et réservations. Deux chantiers sont en cours : l'extraction de sous-types de prestations pour alimenter les règles de commission, et une nouvelle architecture d'extracteur de bons de commande qui prépare leur rapprochement automatique.
04 · IA
Comment l'IA a été intégrée à la production
L'IA est ici le produit lui-même. Les modèles de langage lisent les documents et rédigent les actions ; les règles déterministes calculent et contrôlent (catégories, prix, rapprochements). Chaque appel est tracé dans LangSmith, ce qui a permis de suivre qualité, latence et coût, et de faire évoluer les modèles au fil des mois. Les agents restent sous contrôle humain : les équipes revoient les actions proposées et leurs retours alimentent les itérations. Enfin, rien ne part en production sans mesure : benchmark avec et sans OCR, tests A/B sur données réelles pour chaque changement de prompt, comparaison de modèles pour le coût.
Avant la mission, nous avions évalué ce profil sur sa pratique de l'IA, critère éliminatoire chez nous : la façon dont il spécifie une tâche confiée à un modèle, vérifie ce qui en sort et mesure un agent avant de s'y fier. C'est cette pratique qui se retrouve dans la mission.
05
Ce que l'équipe a obtenu
- Services de classification et d'extraction de devis et de factures en production, intégrés à l'architecture existante, avec tests de qualité et de performance.
- Ensemble des appels LLM instrumentés dans LangSmith, couvrant qualité, latence, erreurs et coûts.
- Pipeline d'enrichissement du catalogue livré en préproduction et en production, avec interface de suivi.
- Orchestrateur d'agents en production pour les opérations : suggestions d'actions, emails d'introduction et de récapitulatif, passations, connectés au CRM et validés par les équipes.
- Tests A/B sur données de production avant chaque changement de prompt, et coût LLM réduit par un changement de modèle.
- Passation réalisée vers un développeur interne, qui contribue désormais au projet.
FAQ
Vos questions sur cette mission
Un AI Engineer qui a déjà exploité des LLM en production, pas seulement en démonstration. Concrètement : Python et FastAPI, un framework d'agents comme LangChain ou LangGraph, un cloud (ici AWS) et une base documentaire, mais surtout le réflexe de mesurer : benchmark, traçage des appels, tests A/B.
Ici, les premiers services d'extraction ont été étendus et mis en production en quelques semaines, parce qu'une architecture existait. L'orchestrateur d'agents a demandé quelques mois, du pipeline de données au système de suggestion en production. Nous présentons 1 ou 2 profils évalués en moins de 48h ; le démarrage dépend ensuite de la disponibilité du freelance.
Par trois mécanismes utilisés dans cette mission : l'ancrage des réponses dans des sources citées (documents des partenaires, fils d'emails, pièces jointes pertinentes), une interface de revue où les équipes valident et corrigent les actions, et des tests A/B sur données réelles avant chaque modification de prompt.
Sur des situations vécues : un pipeline LLM qu'il avait mis en production, la façon dont il en avait mesuré la qualité et le coût, une erreur de modèle qu'il avait détectée et corrigée, la manière dont il teste un agent avant de s'y fier. Cette pratique de l'IA est un critère éliminatoire chez nous, quel que soit le rôle.
Étude rédigée par L'équipe Top Profil.
Publiée le , mise à jour le .
Un besoin proche de cette mission ?
Précisez votre contexte. Un expert Top Profil vous rappelle sous 1 jour ouvré.