dbt

dbt (data build tool) est un framework open source qui permet aux data analysts et data engineers de transformer la donnée directement dans le data warehouse en SQL, en appliquant les bonnes pratiques du génie logiciel : versionning Git, tests, documentation, modularité et CI/CD.

Un projet dbt est composé de models (fichiers SQL versionnés), de tests (assertions sur la donnée), de sources (références aux tables brutes) et de macros (Jinja). Au lancement, dbt compile le tout en SQL natif et l'exécute dans Snowflake, BigQuery, Redshift, Databricks ou Postgres.

dbt est devenu le standard de fait du modern data stack, autour duquel s'organise une grande partie du métier d'analytics engineer.