L'A/B testing est une méthode d'expérimentation qui consiste à montrer deux versions d'un même élément (page, fonctionnalité, email, prix) à deux groupes d'utilisateurs tirés au hasard, puis à comparer laquelle atteint le mieux un objectif mesuré, comme le taux de conversion ou la rétention.
Le principe est simple, la rigueur l'est moins. Il faut définir l'indicateur avant de lancer le test, calculer la taille d'échantillon nécessaire et attendre d'avoir assez de données pour que l'écart observé soit statistiquement significatif, et pas dû au hasard. Arrêter un test dès qu'il « a l'air de gagner » est l'erreur la plus courante.
Techniquement, les tests s'appuient souvent sur des feature flags pour afficher une variante ou l'autre. Des outils comme Optimizely, GrowthBook ou Statsig gèrent la répartition et l'analyse. C'est un outil central des équipes produit et growth.
Pourquoi ça compte quand on recrute
L'A/B testing concerne surtout les Product Managers, Data Analysts et Growth Engineers. Le bon signal en entretien : un candidat qui parle de taille d'échantillon, de significativité et d'un test qui l'a surpris ou qu'il a invalidé. Le vernis, c'est celui qui cite des hausses de conversion sans pouvoir dire combien d'utilisateurs ni combien de temps a duré le test.