View
1.157
Download
1
Category
Preview:
Citation preview
http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/
http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/
Étape 1: déterminer ce qu’il faut améliorer.
• Peut-être en augmentant votre taux de conversion;
• Ou augmenter le nombre d’utilisateurs qui s’inscrivent;
• Ou avoir un plus de partage des contenus;
• Ou diminuer le taux de désabonnement de votre service;
Étape 2. Formuler une hypothèse.
• Une campagne de marketing
• La refonte d’une application
• Un changement dans la façon de pricer
• Revoir les frais d’expédition selon les achats
• Changer la façon d’attirer l’attention
• L’utilisation d’une autre plate-forme
• Modification les libellés des boutons
• Tester une nouvelle fonctionnalité
Définir le test
• Premièrement: Quelle est votre audience cible ?
• Deuxièmement: Que voulez-vous qu’ils fassent ?
• Troisièmement: Pourquoi devraient-ils le faire ?
« Cherchez à savoir si [QUI] fera [QUOI] parce que [POURQUOI], suffisamment pour améliorer le KPI ciblé. »
Mesurer et décider quoi faire
• 1. Si le test a été un succès, vous êtes un héros. Trouver la prochaine métrique cruciale à tester.
• 2. Si le test est un véritable échec, nous devons revoir votre hypothèse.
• 3. Si le test déplace la ligne, mais pas assez pour modifier les règles du jeu, vous pouvez exécuter un autre test en modifiant l’hypothèse d’après ce que le test vous a appris
Quelle est la meilleure version ?
100 100
14% 20%
Impossible de dire ! Les différences ne sont statistiquement significatives.
Qu’est-ce que cela veut dire ?
100 100
14% 20%
8.5% – 22.1% 13.3% – 28.9%
On a 95% de chance que la réalité soit dans les fourchettes suivantes :
Quelle est la meilleure version ?
1000 1000
14% 20%
La version 2 est meilleure !
12.0% – 16.3% 17.6% – 22.6%
Mon résultat est-il significatif ?
http://www.evanmiller.org/ab-testing/chi-squared.html
Quelle est la meilleure version ?
1000 100
14% 30%
La version 2 est meilleure !
12.0% – 16.3% 21.9% – 39.6%
Comment dimensionner un A/B test pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez de valider une différence > 10%?30 244 (par branche)
Comment dimensionner un A/B test pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez de valider une différence > 50%?
1273 (par branche)
Comment dimensionner un A/B test pour être statistiquement significatif ?
http://www.evanmiller.org/ab-testing/sample-size.html
• Toujours tester les deux versions simultanément. Auprès d’une population homogène.
• Ne pas tirer des conclusions trop tôt. Vérifier que le résultat est statistiquement significatif.
• Evitez de surprendre les visiteurs réguliers. Restez homogènes
• Privilégiez le deep-testing pour tirer des conclusions sur l’efficacité
• Ne laissez pas votre instinct infirmer les résultats des tests.
• Itérer, itérer, itérer http://www.optimisation-conversion.com/webanalytics/guide-du-test-ab-jouez-et-gagnez-a-tous-les-coups/
Synthèse sur les tests A/B
• Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie une hausse de 2% du taux de conversion ou bien une hausse de 20% du taux de conversion ?
!
• Q2. Pouvez-vous doubler vos ventes en doublant simplement votre budget marketing ?
!
• Q3. Si le taux de conversion de la campagne « A » est de 10% et le taux de conversion campagne « B » est de 20%, est-ce que cela signifie que la campagne « B » est plus performante que la campagne « A » ?
!
• Q4. Le temps moyen passé sur votre site web est de 5 minutes. Cela signifie-t-il que vos visiteurs sont restés en moyenne 5 minutes sur votre site ?
Questionnaire
Recommended