Focus sur les tests de groupes témoins : à faire et ne pas faire

Alors que l’évolution des technologies actuelles porte le CRM vers de nouveaux sommets, les tests de groupes témoins sont souvent vus comme un moyen efficace d’évaluer la qualité des solutions de ciblage mises en place par les entreprises. Mais comme nous allons le voir, cette pratique éprouvée n’est pas toujours la meilleure amie des marketeurs.

Dans le cadre de mon rôle de Data Product Manager chez Splio, je passe un temps considérable à analyser les performances à long terme des campagnes de nos clients. J’ai eu la chance de suivre et d’analyser un grand nombre de groupes témoins, afin de mesurer la valeur ajoutée que la solution AI-first de ciblage de Splio pouvait apporter à nos clients.

Le test par groupe témoin peut se révéler être un outil précieux, qui pourra produire des résultats bien plus fiables que n’importe quelle méthode d’attribution. Mais il est important de comprendre ses limites. Après l’avoir éprouvé et étudié sous tous ses angles pendant plusieurs années, je me suis dit qu’il pourrait être intéressant de vous partager quelques-unes de mes observations.

Que sont les tests de groupes témoins ?

Commençons par le début. Que sont au juste les tests de groupes témoins ?

Pour faire simple, ils consistent à sélectionner une fraction représentative de sa base de clients (généralement aux alentours de 10 %), à l’isoler des campagnes à tester, et à mesurer le delta de performance entre ce groupe témoin et l’ensemble des personnes sur lesquelles les campagnes test ont porté. Cela permettra ainsi de fournir une analyse objective de la performance des campagnes soumises au test.

La méthode des tests de groupes témoins permet l’analyse d’un grand nombre de paramètres : revenus supplémentaires générés par le groupe test sur une campagne, augmentation du nombre de commandes ou d’acheteurs, clics sur le site web…

À l’inverse, le test de groupes témoins ne vous sera d’aucune aide pour évaluer les campagnes pour lesquelles il vous sera difficile d’identifier avec précision quels clients ont été touchés par une campagne (publicités télé, affichage, publicités radio…), ou celles pour lesquelles les revenus ne pourront pas être mesurés par client.

La mesure des résultats de groupes témoins : significativité et exactitude

J’aimerais insister sur un point : “significativité” et “exactitude” sont les éléments clés du succès d’un test de groupes témoins. Laissez-moi m’expliquer.

Commençons par la “significativité”. Supposons que vous utilisiez un groupe témoin sur une campagne et que les résultats du groupe testé montrent 100 ventes additionnelles sur un total de 1 000 ventes pendant la campagne. Tout heureux, notre marketeur pourra considérer ce pourcentage comme significatif.

Mais qu’en sera-t-il de 100 ventes incrémentales sur une campagne de 10 millions ? Plus décevant.

L’important sera donc de déterminer si les résultats obtenus sont fiables, au-delà du “bruit statistique” lié au comportement aléatoire des consommateurs et à la répartition arbitraire des clients entre les différents groupes.

Au sujet de l’exactitude maintenant. Par ce terme, j’entends la fiabilité des résultats mesurés, qui n’est pas toujours simple à déterminer.

L’intérêt des tests de groupes témoins étant justement leur degré de précision par rapport aux autres méthodes d’attribution, ils n’ont de valeur que si leur degré critique d’exactitude est atteint.

Vous me suivez ?

La pertinence statistique peut être illustrée grâce à une série de résultats à un niveau d’exactitude donné. Par exemple, sur le graphique ci-dessous, 90 % de certitude que le nombre de ventes additionnelles sera compris sur une fourchette de revenus entre 75 et 125.

Statistiquement, cela signifie donc qu’il y a 9 chances sur 10 que le nombre de ventes additionnelles se situe dans cette fourchette. Malheureusement, plus la fourchette est étroite, plus le niveau d’exactitude est faible.

Avec toutes ces données à l’esprit, il est temps de nous pencher sur les erreurs les plus courantes commises lors de la mise en place et l’analyse d’un test de groupe témoin…

Attention aux aberrations

Pour les campagnes où votre base comprendrait un nombre important de “gros” acheteurs (à l’exemple d’acheteurs professionnels qui commanderaient en gros), les résultats de vos tests pourront être faussés, et il vous sera difficile de savoir comment.

C’est par exemple le cas chez l’un de nos clients : ses 100 premiers acheteurs représentent plus de 10 millions d’euros de revenus annuels… ce qui équivaut à peu près aux revenus additionnels générés par Splio.

Il est impossible d’équilibrer ces valeurs “aberrantes” entre les groupes test et témoin. L’unique solution est de les éliminer complètement afin d’éviter de déséquilibrer les résultats de vos tests.

Il est critique d’atteindre une masse… critique

Peu importe la campagne, la fiabilité de vos résultats dépendra d’un nombre suffisant de ventes testées. Je sais d’expérience qu’il y a parfois confusion sur ce qui constitue un volume “suffisant” de ventes, alors je vais être clair : 30 ventes ne suffisent pas.

Pour que les résultats de vos tests soient fiables, le nombre de ventes testées doit être d’au moins plusieurs centaines. Il en va de même pour le test de vos campagnes : faible volume d’envoi = faible fiabilité des tests.

Cette règle s’applique pour tous les revendeurs, petits et grands, y compris ceux dont le chiffre d’affaires est élevé, mais dont le volume de ventes et de messages envoyés est faible. À l’exemple de l’un de nos clients qui commercialise des forfaits de voyage à prix élevé.

Tests à la carte : résistez à la tentation

Sans surprise, les marketeurs adoreraient savoir lesquelles de leurs campagnes génèrent des revenus additionnels et développer des tests spécifiques pour mesurer leur impact. Mais cette intuition est parfois trompeuse, car les résultats de mesure de campagnes individuelles n’ont la plupart du temps que peu de sens, car peu fiables.

En effet, une campagne isolée n’aura que peu d’impact sur les ventes, trop limité pour franchir le seuil de pertinence nécessaire à une mesure de qualité.

Voilà un autre point que j’aimerais mentionner : nombre de marketeurs commettent l’erreur d’utiliser des groupes témoins différents d’une campagne à l’autre, ce qui enlève toute pertinence à la comparaison des résultats obtenus. Il est essentiel d’adopter une approche globale sur le long terme. En planifiant ses tests sur la durée, avec un groupe témoin fixé, vous obtiendrez au final une vision beaucoup plus réaliste de vos initiatives.

Le management de la pression marketing peut brouiller les pistes

L’autre facteur qui pourrait fausser les résultats de vos tests de groupes témoins est la gestion de la fatigue marketing de vos clients, surtout pour les plus grands distributeurs, envoyant un grand nombre de messages, et qui dépendent fortement d’une bonne stratégie de planification pour éviter de saturer leur audience.

Le système de gestion de la pression développé par Splio intègre les groupes témoins, mais nombre de commerçants ne sont pas encore équipés de solutions similaires, pourtant essentielles pour une mesure efficace.

En effet, votre outil de planification pourra exclure une partie de votre groupe test et votre groupe témoin finira par être sursollicité en comparaison. Ce déséquilibre pourra être encore plus marqué dans le cas des campagnes “call-to-action”, ces campagnes spéciales envoyées à vos meilleurs clients, qui pourront ainsi se trouver surreprésentés dans votre groupe témoin.

Alors, on se contrôle ?

Malgré l’attrait que peuvent représenter les tests de groupes témoins, nous vous recommandons de ne pas essayer de les mettre en place vous-mêmes. La tâche est complexe, et il vous sera très difficile d’obtenir des résultats significatifs.

De plus, n’oublions pas qu’ils ont un coût non négligeable : en isolant une partie conséquente de votre base clients, vous vous privez des revenus additionnels que pourraient générer ces utilisateurs.

Chez Splio, nous sommes fiers des résultats obtenus par nos algorithmes de deep learning, et nous ne sommes pas les seuls. Notre solution a été mise à rude épreuve par les data scientists des plus grandes entreprises e-commerce du monde entier. Des centaines de tests ont prouvé que notre solution de ciblage améliore les revenus de campagne de manière significative.

Et ce n’est pas tout : Splio permet aux marketeurs de mieux organiser leurs calendriers de campagne, souvent complexes. Nos clients aiment notre solution pour la pertinence mesurable de ses recommandations, mais aussi parce qu’elle introduit une véritable dimension de marketing intelligence à leurs campagnes et leur permet d’optimiser l’ensemble de leur stratégie marketing – avantages certes plus difficiles à mesurer, mais tout aussi précieux.