Le Data Engineer est l'ingénieur qui construit et maintient l'infrastructure de données d'une entreprise : il collecte les données depuis les applications, outils et capteurs, les transforme, les stocke et les met à disposition, fiables et à jour, pour l'analyse et l'IA.
Concrètement, il conçoit des pipelines qui tournent chaque jour ou en temps réel, orchestrés par des outils comme Airflow, transformés avec dbt ou Spark, et stockés dans un entrepôt ou un lakehouse (Snowflake, BigQuery, Databricks). Il surveille la qualité des données, gère les coûts de calcul et la sécurité des accès.
Son travail est en amont de celui du Data Analyst et du Data Scientist : sans pipelines solides, leurs analyses et modèles reposent sur des données fausses ou incomplètes. Il est proche du développeur back-end par ses pratiques (code, tests, CI/CD) et de l'ingénieur infrastructure par ses outils cloud.
Pourquoi ça compte quand on recrute
C'est souvent le recrutement data le plus rentable, et le plus sous-estimé. Le bon profil a une vraie culture de génie logiciel : code versionné, tests, revues, monitoring. En entretien, demandez-lui comment il détecte une donnée corrompue avant qu'elle n'arrive dans un tableau de bord. Le piège : un analyste qui a écrit quelques scripts SQL et se présente comme Data Engineer.