Apache Airflow est une plateforme open source d'orchestration qui sert à planifier, exécuter et surveiller des enchaînements de tâches de données, appelés pipelines. Il a été créé chez Airbnb en 2014, puis confié à la fondation Apache.
Les pipelines sont décrits en Python sous forme de DAG (Directed Acyclic Graph) : un graphe de tâches avec leurs dépendances (extraire des données, les transformer, entraîner un modèle, produire un rapport). Airflow lance chaque tâche au bon moment, dans le bon ordre, relance celles qui échouent et offre une interface pour suivre l'ensemble.
C'est un outil de référence du data engineering, souvent associé à dbt pour les transformations et à un entrepôt comme Snowflake ou BigQuery. Il a des concurrents (Dagster, Prefect) et existe en version managée chez les grands fournisseurs cloud.
Pourquoi ça compte quand on recrute
Airflow est un savoir-faire de Data Engineer, et parfois de MLOps Engineer. Écrire un DAG simple s'apprend vite : le vrai niveau se voit sur l'exploitation (gestion des reprises, des tâches idempotentes, des alertes, du passage à l'échelle). En entretien, demandez comment le candidat a diagnostiqué un pipeline qui tombait la nuit. Ne pas l'exiger à tout prix : un profil qui maîtrise Dagster ou Prefect transpose facilement.