dbt (data build tool) est un outil open source qui permet de transformer les données directement dans un data warehouse en écrivant du SQL, avec les pratiques du développement logiciel : versionnement Git, tests, documentation et déploiement automatisé.
Un projet dbt est une série de models, des requêtes SQL qui construisent chacune une table ou une vue à partir d'autres. dbt déduit l'ordre d'exécution des dépendances entre modèles, compile le tout (avec des macros Jinja) et l'exécute dans l'entrepôt : Snowflake, BigQuery, Databricks, Redshift, PostgreSQL… Des tests vérifient la donnée (unicité, valeurs nulles, relations) et la documentation se génère à partir du projet.
Il est développé par dbt Labs, avec une version open source (dbt Core) et une offre cloud.
dbt est au cœur de ce qu'on appelle la modern data stack et a fait émerger le métier d'analytics engineer, entre le data engineer et le data analyst.
Pourquoi ça compte quand on recrute
dbt est devenu une compétence de base pour les data analysts avancés, analytics engineers et data engineers. Le niveau se voit à l'organisation du projet : découpage des modèles en couches, tests, gestion des modèles incrémentaux, temps d'exécution. Faites commenter un projet réel. Écrire des requêtes SQL dans dbt ne fait pas de quelqu'un un data engineer capable de construire des pipelines d'ingestion.