Snowflake / BigQuery
Snowflake / BigQuery = les entrepôts de données du cloud
Snowflake et BigQuery sont des entrepôts de données cloud (cloud data warehouses) : des services managés qui stockent de très grands volumes de données et permettent de les interroger en SQL, avec un stockage et une puissance de calcul séparés et facturés à l'usage.
Snowflake est un éditeur indépendant dont la plateforme tourne sur AWS, Azure et Google Cloud. Il isole les charges de travail dans des virtual warehouses qu'on allume, éteint et dimensionne à la demande. BigQuery est le service de Google Cloud : entièrement serverless, il est facturé soit à la quantité de données lues par requête, soit en capacité réservée.
Les deux servent de socle à la modern data stack : des outils d'ingestion y chargent les données, dbt les transforme, un outil de BI les restitue. Ils sont en concurrence directe avec les architectures lakehouse, comme Databricks.
Pourquoi ça compte quand on recrute
Ces outils sont le quotidien des Data Engineers et Analytics Engineers. Écrire du SQL dessus est facile, les opérer proprement l'est moins. Demandez comment le candidat a maîtrisé la facture (partitionnement, clustering, requêtes coûteuses repérées et corrigées) et comment il organise les droits d'accès. Un profil qui n'a jamais regardé le coût d'une requête n'a pas encore travaillé à l'échelle.