Airflow

Apache Airflow est une plateforme open source d'orchestration de workflows de données, créée chez Airbnb en 2014 puis confiée à la fondation Apache.

Elle permet de définir des pipelines (extraction, transformation, chargement, ML, reporting…) sous forme de DAGs (Directed Acyclic Graphs) en Python, puis de les planifier, exécuter, monitorer et gérer leurs dépendances et leurs reprises sur erreur.

C'est l'une des références du data engineering moderne, en concurrence avec Dagster, Prefect, Argo Workflows et les solutions managées (MWAA chez AWS, Cloud Composer chez GCP).