Le Data Engineer conçoit et exploite la plateforme qui rend la donnée disponible et fiable. Il ingère les données des applications, des API et des flux en temps réel, les transforme, les stocke et les expose aux analystes, aux data scientists et aux applications. Il travaille en batch avec Spark ou SQL, en streaming avec Kafka, et orchestre l'ensemble avec Airflow, Dagster ou les outils natifs du cloud.
Le métier s'est profondément transformé depuis l'époque de Hadoop et des ETL graphiques. Les entreprises s'appuient désormais sur des entrepôts et des lakehouses cloud (Snowflake, BigQuery, Redshift, Databricks), sur des formats de tables ouverts comme Delta Lake ou Apache Iceberg, et sur dbt pour versionner et tester les transformations comme du code. Talend et Informatica restent présents dans de nombreux grands comptes, souvent au cœur de projets de migration vers ces architectures modernes.
L'IA modifie aussi ce métier, de deux façons. D'abord dans la pratique : génération de code PySpark ou SQL, de tests, de documentation. Ensuite dans les besoins : les projets d'IA générative exigent des données propres, documentées et gouvernées, et de nouveaux pipelines pour alimenter les bases vectorielles. Un pipeline généré mais mal relu peut corrompre des données pendant des semaines sans alerte. La valeur tient donc à la relecture, aux tests et à l'observabilité. C'est ce que nous évaluons.
