Définition
Un pipeline de données est une chaîne automatisée d'étapes qui déplacent et transforment des données d'une source vers une destination : extraire les commandes de l'ERP chaque nuit, les nettoyer, les enrichir et les charger dans l'entrepôt pour les tableaux de bord du matin. Chaque étape prend en entrée la sortie de la précédente, et un orchestrateur comme Airflow, Dagster ou Prefect en pilote l'exécution et les reprises sur erreur. C'est l'artisanat quotidien du data engineer.
Dans la pratique
La fiabilité des pipelines conditionne la confiance dans tous les chiffres de l'entreprise : un pipeline qui échoue en silence produit des rapports faux. Le profil recherché teste ses transformations, surveille les exécutions et documente les dépendances. Le piège est l'accumulation de scripts lancés par des tâches planifiées que personne n'ose toucher.
Termes liés
Définition rédigée par L'équipe Top Profil. Glossaire mis à jour le . Tous les termes du glossaire.