Cloud & sécurité
Test A/B
Un test A/B compare plusieurs variantes auprès de groupes répartis selon un protocole afin d’estimer l’effet d’un changement.
Comprendre la notion
Il faut définir à l’avance l’indicateur principal, la population et les conditions d’arrêt. Une répartition aléatoire aide à limiter les biais, mais des effets de calendrier ou des interactions entre utilisateurs peuvent compliquer l’analyse. Examiner aussi les effets indésirables, comme l’augmentation du support.
Exemple d’utilisation
Deux parcours de prise en main sont comparés sur la proportion d’équipes atteignant une première utilisation utile.
Point de vigilance
Arrêter le test dès qu’un résultat paraît favorable augmente le risque de conclusion trompeuse.
