Les 4 règles pour assurer la validité d’un A/B Testing des publicités sur Facebook

La validité statistique

Pourquoi se soucier de la validité statistique de vos A/B testing sur Facebook ? Pourquoi ne pouvez-vous pas simplement les exécuter et intégrer le résultat dans vos futures campagnes ? 

Eh bien, faire un A/B testing sur Facebook sans penser à la validité statistique est pire que de ne pas faire de test du tout. Une validité incorrecte, dérivée de données erronées, pourrait vous faire croire que vous savez ce qui fonctionne alors que vous ne le savez pas. 

Cependant, si vous ne le savez pas, dire qu’un test est significatif signifie qu’il est peu probable que le résultat soit dû à la chance ou à une coïncidence. La signification scientifique répond aux questions : « Dans quelle mesure ce résultat est-il surprenant ? Ou « Quelle est la probabilité que les résultats de mon test indiquent que j’ai un gagnant alors que ce n’est pas le cas ? »

La signification statistique ne nous indique pas la probabilité que B soit meilleur que A. Elle ne nous indique pas non plus la probabilité que nous fassions une erreur en sélectionnant B plutôt que A. C’est le même phénomène statistique que vous rencontrez lorsque vous lancez une pièce. Après dix essais, vous pourriez très bien obtenir pile neuf fois et pile une seule fois, juste par hasard. Dans ce cas, vous obtiendrez une indication que votre test est statistiquement significatif à 99 %. Cependant, avec seulement dix essais, cela ne veut rien dire.

Cette convention fournit également une norme permettant aux universitaires de rendre compte de leurs résultats. Des termes comme « ces résultats sont significatifs » et « ces résultats ne sont pas significatifs » sont utilisés pour faciliter la compréhension des rapports. 

Une mauvaise compréhension de la signification d’un « résultat de test significatif » fait que les personnes accordent plus d’importance aux résultats « significatifs » qu’ils ne le méritent. Parfois, la « significativité » est même interprétée comme une preuve mathématique, ce qui rend inutile la prise en compte de preuves supplémentaires. De plus, cela aide les dirigeants à se cacher derrière la « science » pour justifier leurs mauvaises décisions.

Ainsi, il y a une chose que vous ne devez jamais oublier : les données sont subjectives, pas objectives. C’est pourquoi, lorsqu’une personne vous montre des données, vous devez toujours demander quelle méthode a été utilisée pour les acquérir. 

Si vous faites des publicités Facebook, il y a de fortes chances que vous ayez effectué des A:B testing qui vous ont donnés des pistes d’amélioration de vos campagnes. Certains tests pourraient vous permettre d’augmenter vos revenus de 25 %, voire plus.

Pourtant, lorsque vous faites évoluer vos campagnes, les revenus n’augmentent pas de 25 %. Et 12 mois après avoir exécuté tous ces tests, le taux de conversion est toujours le même. Pourquoi ? C’est parce que vos gains observés lors de l’A/B testing n’étaient pas réelles, elles n’étaient que le fruit de votre imagination. 

Les 4 règles pour assurer la validité d’un A:B testing avec les publicités sur Facebook 

Maintenant que vous comprenez comment la signification statistique ne valide pas nécessairement un test A/B, discutons de quelques règles à suivre pour garantir la validité des deux variantes. Une fois que vous aurez appris cela, vous serez en mesure d’utiliser correctement les tests A/B et de donner à vos clients le meilleur rapport qualité prix.

Règle n°1 : aucun test A/B ne doit pas commencer sans hypothèse correctement définie

La première est de définir concrètement l’hypothèse que l’on cherche à tester avec les différentes variantes de publicités.

Le risque lorsque l’hypothèse est mal définie est de tester des publicités qui en réalité ne permettent pas de valider ou d’invalider votre hypothèse.

En effet, vos variantes de publicité vont se différencier par certains éléments qui ne sont pas de même dimension. Ce qui faussera les données que vous chercherez à analyser.

 Règle #2 : Atteindre la taille d’échantillon minimale

N’arrêtez pas votre test tant que vous n’avez pas atteint la taille minimale de l’échantillon qui rendra vos résultats de test statistiquement valides. 

Tout d’abord, il n’y a pas de taille d’échantillon minimale magique. Parfois, la bonne taille d’échantillon est de 100, tandis que d’autres fois, c’est 10 000. Si vous avez un site qui effectue 100 000 transactions par jour, 100 conversions ne peuvent pas représenter le trafic global. 

Le facteur suivant est la représentativité de votre échantillon. L’audience que vous sélectionnez dans l’échantillon doit refléter votre trafic habituel pour s’assurer qu’il se comporte exactement comme vos vrais acheteurs. Il est crucial de le faire et d’éviter d’être victime de l’effet de sélection dans lequel vous supposez à tort qu’une partie du trafic représente la totalité du trafic. Vous pouvez augmenter la conversion pour ce segment, mais ne confondez pas cela avec une augmentation sur tous les segments. 

Maintenant, la question est : comment savez-vous quelle taille d’échantillon minimale vous devez utiliser ?

Il est unique à chaque test et dépend des performances obtenues par votre variante gagnante par rapport à votre contrôle. Fondamentalement, plus votre ou vos variantes testées surpassent votre version de contrôle, plus la taille minimale de votre échantillon sera petite. 

Ainsi, avec un faible trafic, vous avez besoin de gains plus importants (plus grande augmentation ou plus grande différence entre le taux de conversion A/B) pour exécuter un test mensuel.

En d’autres termes, de nombreux sites ont un faible trafic et un faible nombre total de transactions mensuelles. Cela signifie que pour conclure un test dans les 30 jours, vous aurez besoin d’une différence plus grande.

Règle #3 : Exécutez le test pour un cycle économique complet

Vous ne devez pas arrêter votre test avant de l’avoir exécuté pendant au moins un cycle économique complet.

L’une des difficultés avec l’exécution des tests en ligne est que nous ne contrôlons pas nos cohortes d’utilisateurs. Cela peut être un problème si les utilisateurs se répartissent différemment selon l’heure et le jour de la semaine et même selon la saison.

Pour cette raison, vous devez vous assurer que vous collectez vos données sur tous les cycles de données pertinents. Cela expose vos publicités à un échantillon plus représentatif de la population moyenne des utilisateurs. 

Pour déterminer votre cycle économique, vous pouvez inclure les éléments suivants :

• Tous les jours de la semaine (et testé une semaine après l’autre, car votre trafic quotidien varie potentiellement beaucoup).
• Diverses sources de trafic (sauf si vous souhaitez personnaliser l’expérience pour une source dédiée).
• Le calendrier de publication de votre article de blog et de votre newsletter
• Tout événement externe susceptible d’affecter les achats (par exemple, le jour de paie) et ainsi de suite

Règle n°4 : ne pas arrêter les tests en cours de cycle

Arrêter un test en cours de cycle vous fait perdre du temps et de l’argent. Supposons que votre cycle économique soit de sept jours, mais que vous n’atteigniez la taille de votre échantillon que le dixième jour. Dans un tel cas, vous devriez continuer le test pendant quatre jours supplémentaire et ne l’arrêter qu’après deux cycles économiques complets (au lieu de l’arrêter au milieu d’un cycle). 

Conclusion

Les A/B testing sont nos frais de scolarité, et ce sont les frais que nous devons payer pour apprendre. Un échec n’est pas un échec, c’est une bénédiction. C’est quelque chose dont on peut tirer des leçons et ensuite améliorer la qualité et les résultats des campagnes à l’avenir. 

Voici un processus simple pour réaliser vos A/B Testing :

1. Fixer un objectif 
2. Définir un KPI (mesure)
3. Construire une hypothèse (Quelle expérience allez-vous tenter ?)
4. Exécutez une expérience et collectez des données
5. Analysez les données et transformez les données en informations
6. Communiquez les résultats de vos expériences
7. Ajustez en fonction de ce que vous avez appris et recommencez

Puis répétez ce processus à nouveau.