Tests de messages itératif IVR Mars 2017

2

Contexte

• En 2013, la Fondation William et Flora Hewlett avait chargé Camber collective de piloter l'élaboration d'une stratégie inspirée de la connaissance de la clientèle de PF, au Niger

• Un des résultats était une segmentation comportementale et attitudinale, qui est considérée comme plus précise dans la prédiction du comportement des consommateurs que dans les segmentations démographiques ou psycho graphiques

• Ce projet visait à utiliser les résultats de la segmentation pour tester les messages pour une campagne radio, à diffuser dans la région de Dosso, visant à accroître l'ouverture des jeunes femmes à la PF et / ou à l'utilisation des services PF

• La segmentation Camber a produit cinq segments de femmes: Les Elites Modernes, les Proactives en Santé, les Autonomes Traditionnelles, les Conservatives Passives et les Sceptiques Inexperimentées

• Dans le cadre de cette activité, Camber s'est concentré sur Proactives en Santé, segment qui, s'il est servi, est susceptible de représenter la plus grande possibilité de changement de comportement

• L'objectif de cette activité était de développer notre capacité collective à développer, diffuser, mesurer l'impact et affiner les messages clés de la PF de façon itérative, tout comme les entreprises dans les communications marketing

• Une caractéristique clé de cette approche était que nous avons utilisé une approche simple et agile pour les tests, qui permettait des changements rapides

• IVR (Interactive Voice Response) était la plate-­forme utilisée pour tester les messages potentiels de campagne;; Les femmes ont appelé un numéro de téléphone pour participer à un sondage via leurs téléphones mobiles

• L'hypothèse était que la plateforme IVR nous permettrait de tester les messages plus rapidement et efficacement que d'autres méthodes plus traditionnelles

3

Méthodologie

Enregistrement et diffusion d'une annonce radio pour encourager les femmes à appeler et répondre au sondage

Série 1 de tests : Les femmes répondent à un sondage de 10 minutes, les Proactives en santé sont identifiées en 5 questions, tes

de trois messages potentiels

Les résultats de la 1e série servent à améliorer les messages et à les re-­tester dans la 2e série

Réalisation de la série 2 de tests sur le terrain, comparaison des résultats de S1 et S2. Utilisation des résultats pour façonner la

campagne radio

2

3

4

5

Lancement de la campagne radio, évaluation de la par système IVR

6Nous

sommes ici

Oct -­ Nov 2016

Nov – Dec 2016

Dec -­ Jan 2017

Jan – Fev 2017

Mise en place du projet, passation de contrat avec VotoMobile, préparation des outils de sondage

1Avril -­ Sept 2016

4

Résumé analytique

Hypothèsetestée

Enjeux

Conclusions + Recommandations

• Coûts élevés, investissement de temps élevé pour la mise en place, particulièrement pour l'enregistrement de scripts

• Atteindre la taille d'échantillon désirée• Manque de familiarité pour utiliser le système, d’où un taux d'abandon élevé• Difficulté de compréhension de certaines questions (âge, appréciation des messages)

• Ce projet vise à faire la preuve de l'utilité d'avoir recours à un nouvel outil d’étude de tests les messages itératifs de campagne CCSC

• L'hypothèse était que la plateforme IVR nous permettrait de mener ces recherches plus rapidement et efficacement que d'autres méthodes plus traditionnelles

• Cette expérience en particulier s'est avérée ne pas être ce que nous attendions: un moyenplus rapide, moins coûteux et plus efficace d'itérer des messages au Niger

• L'IVR semble être un outil puissant pour mener des recherches quantitatives tout en maintenant un niveau élevé de contrôle de la procédure (par ex. possibilité d'arrêter l'enquête une fois la taille d'échantillon atteinte, de modifier les questions à tout moment)

• Cependant, les partenaires locaux et les femmes ne sont pas familiers avec la méthodologie, ce qui a mené à des retards importants dans la mise en place de l'enquête, et à un taux d'achèvement plus faible que prévu

• Après la mise en place initiale, IVR peut être beaucoup plus rapide par rapport à la recherche traditionnelle;; Cependant, en raison de faibles taux de réponse, il reste une option plus coûteuse

• Les partenaires locaux peuvent probablement améliorer leur capacité à utiliser cet outil, et les questions peuvent être simplifiées pour améliorer le taux de réponse au sondage parmi les femmes

5

Problèmes rencontrés: Investissement initial et taille de l'échantillon

Coûts élevés, investissement de temps de mise en place

élevé

• Mise en place du sondage très consommateur de temps et de ressources, t le coût par répondant de l'enquête était élevé en raison de taux d’abandon élevé

• Par ex., la mise en place du sondage a pris ~5 mois, y compris la passation de contrat avec le partenaire IVR (VotoMobile), la formation et le développement du sondage

• Le retard le plus important a été la préparation des enregistrements individuels des questions du sondage et le téléchargement sur la plateforme IVR, une composante de coûts et de temps unique au processus de recherche IVR

• Ces retards étaient partiellement prévus, l'équipe de projet ayant dû apprendre à utiliser une nouvelle méthode de recherche dans la 1e série de tests

• En comparaison, la 2e série de tests a été très rapide à mettre en place (moins d'un mois) et le coût par cible (les répondantes au sondage) considérablement inférieur, tout en restant plus élevé par rapport à des études marketing traditionnelles (voir l'analyse de coûts sur la prochaine diapositive)

Atteindre la taille

d'échantillon désirée

• Nous avions initialement prévu d'atteindre ~600 Proactives (PS) par série, ce qui semblait raisonnable étant donné notre estimation du nombre de PS vivant à Dosso1

• Cependant, la réussite de notre recrutement a été restreinte par plusieurs facteurs : 1) La capacité de l’annonce radio à encourager les femmes à appeler pour répondre au

sondage (100-­500 FCFA pour tout sondage terminé ou $0.20 -­ $1.00 pour 10 mn)2) La portée géographique des annonces radio qui ne couvrait pas l'intégralité de la

région de Dosso3) Le taux d'abandon élevé dû au manque de familiarité avec l'IVR, et la difficulté à

répondre aux questions filtres (voir informations complémentaires sur la diapositive 6)1) Les estimations initiales étaient 3000 femmes appelant pour participer, 40% PS (selon les données d'enquête de Camber pour Dosso), taux d'achèvement du sondage de 67%

6

Analyse de coûts

Enregistrement des messages et spots radio $1567 $308

Coût de diffusion des spots radio1 $1910 $1910

Incitatifs en crédit mobile pour les participantes $76 $54

VotoMobile : hébergement + ligne téléphonique2 $2100 $700

VotoMobile : formation3 $600 -­-­

VotoMobile : support équipe de service3 $3000 -­-­

VotoMobile : coûts d'antenne $278 $184

COÛT TOTAL $9531 $3156COÛT DU SONDAGE par Proactive en Santé $307 $150

COÛT DU SONDAGE PAR SONDAGE TERMINÉ $26 $20

Coût estimé pour étude similaire menée F2F4 $5000 $1000

SÉRIE 1 : SÉRIE 2 :

Remarque : les coûts de la 1e série ont été plus élevés dû aux coûts élevés d'enregistrement du premier sondage, + la

formation et le support IVR. Les coûts de la 2e série ont été moins élevés, mais les

diffusions radio ont été moins efficaces (mêmes coûts de diffusion pour un taux de

sondages terminés inférieur à 50%)

Les coûts de tests de messages par IVR, même pour la 2e série, restent considérablement plus élevés comparé aux méthodes plus traditionnelles, entretiens en face à face ou groupes de

discussion.

1) Pour chaque série, les spots radio ont été diffusés 436 fois pour un coût de $4,38 par diffusion ;; 2) coût pour 3 mois pour la S1, 1 mois pour la S2 ;; 3) Coût de la formation et du support utilisé pour la mise en place de la S2 ;; 4) Sur la base des estimations de l'entrepriseMR locale pour une enquêtesimilaire, le premier volet inclut les coûts de mise en place du projet, la formation des arpenteurs et la traduction de l'instrument d'enquête en plus des coûts de travail de terrain qui demeurent constants par rapport au deuxième tour

7

Problèmes rencontrés: Difficultés des répondants

Manque de familiarité des femmes avec

l’IVR

• Après le faible taux d'achèvement pour la série 1, nous avons mené plusieurs entretiens de suivi avec des femmes qui ont appelé sans terminer le sondage

• Nous avons découvert que de nombreuses femmes avaient des difficultés à alterner entre l'écoute des questions du sondage et l'utilisation des touches du téléphone pour saisir les réponses

Difficulté à comprendre les questions spécifiques

• Deux questions spécifiques ont causé de la confusion, la question sur l'âge et celle sur l'acceptabilité des différents messages

• Même si l'annonce radio demandait aux femmes de 15-­49 ans à appeler pour participer au sondage, nous avons souhaité inclure cette question filtre

• La question sur l'âge était la première question, et lors de la série 1, nous avons demandé aux femmes d'indiquer leur âge (2 chiffres) pour obtenir un chiffre aussi précis que possible pour la base de données de PSI

• Cela a causé beaucoup de confusion et pour la série 2, nous avons demandé aux femmes de choisir une tranche d'âge (par ex. 15-­24 ans), ce qui a considérablement amélioré le taux d'abandon pour cette question

• La deuxième question qui s'est avérée difficile à interpréter est le % élevé de femmes ayant rapporté que les messages étaient "faux, offensant ou irritant », malgré la grande majorité des répondants qui ont déclaré un accord élevé sur les messages

• Pour la série 2, nous avons ajouté une question d'approfondissement qui a révélé que la large majorité des répondantes avaient mal compris la question

8

ESSAI MAINTIENENVISAGESENSIBILI-SATION PLAIDOYERNON

SENSIBILISATION

Se sensibiliseà la FP

Envisaged'utiliser la FP

Adopte une MM

Utilisation efficace et durable

Partage avec les autres

Les Proactives en santé sont plus susceptibles d'interrompre leur parcours vers l'adoption de PF entre les étapes "Essai" et "Maintien". Les messages à l'intention des Proactives doivent encourager les femmes à poursuivre le continuum d'adoption de PF

Parcours d'adoption de PF

Aider les Proactives en Santé à trouver le soutien nécessaire pour gérer les effets

secondaires et maintenir leur utilisation de PF

Objectifs de Communication

La Proactive en Santé cherche des informations fiables sur la PF auprès de son agent de santé

Action Désirée

Développement de messages à tester (II/II)

9

Thèmes Exemples de Messages

Faire ses choix en plaçant la santé en priorité

Trouver une personne de confiance qui transmet les

bonnes informations

Avoir confiance dans des

choix éclairés

Nous constatons que les femmes éprouvent un « conflit interne » par rapport à l’utilisation de PF. Même si elles ont envie de l’utiliser, leur perception des normes sociales et des pressions de la part des autres les empêchent d’essayer ou de continuer l’utilisation. Il est important de transmettre le message que la santé devrait être priorisée avant tout. Si elle n’est pas en bonne santé, elle ne peut pas s’occuper de sa famille.

Dans notre recherche, nous avons entendu beaucoup d’inquiétudes sur l’impact des méthodes de PF sur la santé. Très souvent, les femmes manquent de sources d’informations fiables ou ne font pas confiance aux agents de santé. Il est important de renforcer l’idée qu’il faut trouver une personne de confiance pour avoir des bonnes informations sur la PF

Enfin, une femme sera plus à l’aise pour prendre une décision de PF si elle se sent informée et si la décision l’appartient. L’idée est de renforcer sa confiance dans ses choix et lui rappeler que c’est son choix

Développement de messages à tester (II/II)

10

PROACTIVES EN SANTÉAYANT TERMINÉ LE SONDAGE

Comparaison des taux d'abandon

Question âge non répondue N=104 (26%) N=14 (10%)

Pas 15-­49 ans N=78 (20%) N=22 (16%)

Arrêt à l'intro du sondage N=29 (7%) N=12 (9%)

Non sensibilisée à la PF N=55 (14%) N=20 (14%)

Non Proactive en santé N=16 (4%) N=72 (51%)

Arrêt à l'intro PS N=18 (5%) N=0 (0%)

N=31 (8%) N=21 (13%)

ÉCHANTILLON TOTAL N=365 ÉCHANTILLON TOTAL N=161

SÉRIE 1 SÉRIE 2

Les points d'abandon les plus importants varient selon la série de tests, principalement suite à la modification de la question

sur l'âge1

Au deuxième tour, nous constatons des taux

d’abandon plus élevés en raison du segment2, bien que toujours dans des proportions

compatibles avec les précédentes recherches

quantitatives

1) Dans la série 1 la question sur l'âge était ouverte, dans la série 2 les participantes devaient sélectionner une tranche d'âge, ce qui était plus facile à comprendre;; 2) Spécifiquement en raison de bcp plus de femmes citant l'importance des méthodes naturelles

Recommandations pour améliorer les taux d'achèvement des échantillons cibles inclusà la page 17

11

13% 19%29%

38%

58% 43%

Round 1 Round 2

FRANÇAIS

HAUSA

ZJERMA

LANGUE

15-­25

26-­35

36-­49

ÂGE

Comparaison de profil Proactive en santé

OUI

NON

42% 38%

19% 38%

39% 24%

Round 1 Round 2

UTILISATION DES MÉTHODES PF

13% 10%

Round 1 Round 2

87% 90%

Les profils des Proactives en santé sont similaires dans les deux séries de tests

N.B. Taille d'échantillon pour série 1 = 31 ;; taille d'échantillon pour série 2 = 21

12

MESSAGE 1 MESSAGE 2 MESSAGE 3

M1b.« Je n‘écoute pas les rumeurs sur les méthodes contraceptives,

j'échange avec mon agent de santé pour avoir la meilleure information »

M2b.« J’échange régulièrement avec mon agent de santé pour trouver la méthode qui me

convient le mieux. Elle m'a expliqué que les effets secondaires n'arrivent pas souvent,

et qu’ils sont gérables»

M3b.« Les prestataires de service de PF donnent beaucoup d'informations sur les méthodes de PF et je fais moi-­même mon choix, sans influence»

M1a. « Je n‘écoute pas les rumeurs et

préjugés sur les femmes qui utilisent les méthodes contraceptives car l’espacement des naissances

préserve ma santé et celle de mes enfants, ce qui est plus important que

tout »

M2a. « J'ai échangé avec mon agent de santé pour trouver la méthode qui me convient le mieux. S’il m’arrive d’avoir des effets secondaires, je retournerai à la formation sanitaire pour recevoir

des conseils »

M3a. « Les prestataires de service de PF accueillent très bien. Ils donnent beaucoup d'informations sur toutes

les méthodes modernes de contraception disponibles dans le pays et je fais moi-­même mon choix,

sans influence»

1. Simplification2. Concentration sur les rumeurs sur les méthodes, pas sur les femmes

1. Simplification2. Concentration sur le message sur les effets secondaires sont gérables

1. Simplification2. Concentration sur l'argument «Je prendsmes propres décisions »

MESSAGES TESTÉS ENSÉRIE1

CHANGEMENTS PROPOSÉS BASÉS SUR LES RÉSULTATS

MESSAGES TESTÉS ENSÉRIE2

Messages Testés

13

MESSAGES 2A + 2BMESSAGES 1A + 1B

Compréhension

MESSAGES 3A + 3B

La compréhension désirée pour M. 1 est : "Il ne faut pas écouter les rumeurs". Aucun des deux messages n'a bien fonctionné.

Entre 1a et 1b, l'interprétation de 1b est préférable car il appelle à l'action et est plus spécifique

À votre avis, quel est le message principal ?

Il est important de chercher de bonnes infos de PF

La PF est importante

42%29%

29% 52%

13%14%16%5%

M 1A M 1B

Autre choseIl ne faut pas écouter les rumeurs sur la PF

42%67%

52%

29%

6% 5%

M 2A M 2B

Les effets secondaires sont gérables

Je peux faire confiance aux AS

Il est important de chercher de bonnes infos de PF

42%24%

35%49%

23% 29%

M 3A M 3B

La PF, c'est ma décision

Les AS sont làpour nous aider

Je peux faire confiance aux AS

La compréhension désirée pour M. 2 est : “Les effets secondaires sont

gérables”. Aucun des deux messages n'a bien fonctionné.

Entre 2a et 2b, l'interprétation de 2b est préférable car il encourage les femmes à faire confiance aux AS

La compréhension désirée pour le M 3 est : “La PF, c'est ma décision”. Aucun des deux messages n'a bien

fonctionné.

Entre les 3a et 2b, l'interprétation de 3a est préférable car il

encourage les femmes à faire confiance aux AS

14

MESSAGES 2A + 2BMESSAGES 1A + 1B

Motivation

MESSAGES 3A + 3B

Dans l'idéal, le message devait motiver les femmes à utiliser une méthode, mais aucun n'y est parvenu très efficacement

On n'observe aucune différence statistique notable entre le

niveau de motivation entre M1a et M1b

A quoi ce message vous motive-­t-­il ?

Discuter de PF avec mon mari/partenaire

Parler avec un AS52% 48%

32%29%

10%14%

6% 10%

M 1A M 1B

Ne motive pasUtiliser une méthode

35% 38%

39% 38%

26% 14%10%

M 2A M 2B

Dans l'idéal, le message devait motiver les femmes à utiliser une

méthode, ce que M2a réussit à faire à peu près efficacement

Entre les messages 2a et 2b, le 2a est plus efficace pour motiver les

femmes à utiliser la PF

Dans l'idéal, le message devait motiver les femmes à utiliser une méthode, mais aucun n'y est parvenu très efficacement

On n'observe aucune différence statistique notable entre le

niveau de motivation entre M3a et M3b

Discuter de PF avec mon mari/partenaire

Parler avec un AS

Ne motive pasUtiliser une méthode

Discuter de PF avec mon mari/partenaire

Parler avec un ASC

Ne motive pasUtiliser une méthode

59%45%

30%

25%

7%

15%

3%15%

M 3A M 3B

15

Recommandations de sélection de messages

Message Compréhension Motivation Recommandation

M1a. Moyen Moyen laisserM1b. Bien Bien garderM2a. Moyen Bien garderM2b. Bien Moyen ? sauvegarderM3a. Moyen Faible laisserM3b. Moyen Moyen laisser

Recommandation de message radio principal : M1b.« Je n‘écoute pas les rumeurs sur les méthodes contraceptives, j'échange avec mon agent de santé pour avoir la meilleure information »

Recommandation de message d'appui : M2b.S’il m’arrive d’avoir des effets secondaires, je retournerai à la formation de santé pour recevoir des conseils »

M1b obtient des scores relativement élevés pour la compréhension et la

motivation

Le message 2a a été recommandé plutôt que M2b en raison du score plus élevé pour la motivation, jugé plus important que la

compréhension

Bien Moyen FaibleÉvaluation basée sur l'interprétation holistique des résultats1

1) Basé sur la moyenne pondérée de la compréhension réelle par rapport à la motivation souhaitée et réelle vs désiré, avec plus de poids derrière la motivation par rapport à la compréhension

16

Conclusions : Utilisation d’IVR pour test de messages

• Cette expérience en particulier s'est avérée ne pas être ce que nous attendions: un moyen plus rapide, moins coûteux et plus efficace d'itérer des messages au Niger

• L'IVR semble être un outil puissant pour mener des recherches quantitatives tout en maintenant un niveau élevé de contrôle de la procédure (par ex. possibilité d'arrêter l'enquête une fois la taille d'échantillon atteinte, de modifier les questions à tout moment)

• Spécifiquement pour le test de message itératif: o Après la mise en place initiale, les séries de tests ultérieurs peuvent être effectuées très

rapidement -­ encore plus rapidement par rapport aux études de marché traditionnelleso Comme les messages testés sont préenregistrés, l'IVR est une option plus fiable pour tester les

messages sans aucun biais introduit;; Ceci est particulièrement important pour les tests itératifs où la langue n'est que légèrement modifiée

• Cependant, les partenaires locaux et les femmes ne sont pas familiers avec la méthodologie, ce qui a mené à des retards importants dans la mise en place de l'enquête, et à un taux d'achèvement plus faible que prévu

• Après la mise en place initiale, IVR peut être beaucoup plus rapide par rapport à la recherche traditionnelle;; Cependant, en raison de faibles taux de réponse, il reste une option plus coûteuse

• Les partenaires locaux peuvent probablement améliorer leur capacité à utiliser cet outil, et les questions peuvent être simplifiées pour améliorer le taux de réponse au sondage parmi les femmes

17

Recommandations : Futur test message IVR

En nous basant sur cette expérience, nous ferions les recommandations suivantes pour l'utilisation future de plateforme IVT pour les tests itératifs de messages CCSC :

18

Recommandations : Futur test message IVR

En nous basant sur cette expérience, nous ferions les recommandations suivantes pour l'utilisation future de plateforme IVT pour les tests itératifs de messages CCSC :

• Anticiper des investissements importants en termes de temps et de ressources pour mettre à niveau l'équipe de projet pour une utilisation efficace de la plateforme

• Investir en un superviseur local dédié, surtout en phase de mise en place, qui puisse superviser les procédures potentiellement déroutantes comme l'enregistrement de q’re

Coûts élevés, investissement de mise en place élevé

Atteindre la taille

d'échantillon désirée

Difficultés des répondants

• Améliorer les taux de réponse en posant les questions les plus simples possibles (par ex. des réponses pré-­codées plutôt qu'ouvertes)

• À la fin du sondage, demander la permission de rappeler pour clarification si besoin afin d'améliorer la compréhension des résultats

• Anticiper des taux d'abandon bien plus importants en comparaison avec les études marketing en tête à tête

• Bien que cette méthodologie soit puissante pour identifier rapidement les segments cibles de population, les taux d'abandon peuvent être limités en utilisant des critères d'inclusion plus ouverts

• Améliorer les taux de réponse en améliorant les incitatifs de crédit mobile. Même si l'incitatif semble raisonnable par rapport au temps investi, les incitatifs doivent être suffisants pour motiver les femmes à essayer quelque chose d'inconnu et de nouveau

Autre• À la fin du sondage, demander la permission d'inclure la participante dans des études supplémentaires pour construire une base de données déjà identifiées par segment

19

Support

20

Résultats des tests : approbation et appréciation

MESSAGES 2A + 2BMESSAGES 1A + 1B MESSAGES 3A + 3B

Êtes-­vous d'accord avec ce message ?

MESSAGES 2A + 2BMESSAGES 1A + 1B MESSAGES 3A + 3B

Trouvez-­vous ce message faux, offensant ou irritant ?

M1A. = 97%M1B = 95%

M2A. = 94%M2B = 95%

M3A. = 100%M3B = 100%

Il n'y a aucune différence statistique de degré d'acceptation entre les messages, ni entre différentes versions du même message

87% 90%

M1A. = 61%M1B = 10%

M2A. = 65%M2B = 10%

M3A. = 61%M3B = 14%

La question a été modifiée entre la série 1 et 2 pour mieux comprendre le % élevé d'approbation dans la série 1. L'ajout d'une question de suivi a révélé que les répondantes

avaient mal compris la question

IVR Iterative Message Testing Mars 2017

2

Context

• In 2013, the William & Flora Hewlett Foundation commissioned Camber Collective to lead the development of a customer insights-­driven FP strategy in Niger

• One output of this was a behavioral and attitudinal segmentation, which is considered more accurate in predicting consumer behavior than demographic or psychographic segmentations

• This project aimed to use the segmentation results to test messages for radio spots broadcast in the Dosso region, aiming to increase young women’s openness to FP and/or use of FP services

• The Camber segmentation derived five segments of women: Modern Elites, Healthy Proactives, Traditional Autonomists, Conservative Passives, and Sheltered Skeptics

• In this activity, Camber focused on Healthy Proactives, the segment that, if served, is likely to represent the greatest possible opportunity for behavior change

• The emphasis of this activity was to build our collective ability to develop, broadcast, measure the impact of, and refine key FP messages iteratively—much as companies do in marketing communications

• The hallmarks of this approach are that we used a light, nimble approach to testing, which allowed us to make quick changes

• IVR (Interactive Voice Response) was the platform used to test the potential campaign messages;; women called a phone number to participate in a survey via their mobile phones

• The hypothesis was that the IVR platform would allow us to conduct message testing faster and more effectively compared to more traditional research methods

3

Methodology

Record and diffuse a radio Announcement to encouragewomen to dial into survey

Round 1 testing: Women take 10 minute survey, Healthy Proactives are identified in first 5 questions, three potential

campaign messages are tested

Results from Round 1 are used to improve messages and quickly re-­test in Round 2

Round 2 of survey is fielded, results from R1 and R2 are compared. Results used to help shape radio campaign

2

3

4

5

Radio campaign launched, evaluation of campaign conducted via IVR system

6We Are Here

Oct -­ Nov 2016

Nov – Dec 2016

Dec -­ Jan 2017

Jan – Feb 2017

Project set-­up, contracting with VotoMobile, preparation of survey tools

1April – Sept2016

4

Executive Summary

HypothesisTested

Challenges

Conclusions + Recommendations

• High cost and time investment set-­up, especially of recording scripts• Reaching desired sample size• Women’s lack of familiarity in using system, leading to high drop off rates• Difficulty in comprehension of certain questions (age, appreciation of messages)

• This project aimed to demonstrate the usefulness of using a new tool for iteratively testing potential SBCC campaign messages

• The hypotheses was that the IVR platform would allow us to conduct this message testing faster and more effectively compared to more traditional research methods

• This experiment in particular proved to not be what we expected: a quicker, less expensive, more effective way of iterating messages in Niger

• IVR does appear to have potential for conducting quantitative message testing, while maintaining a high level of control over the process (ex. can stop survey once sample size reached, can modify question at any time)

• However, local partners and women themselves are not familiar with this methodology, which has led to long delays in survey set up, and lower completion rates than those expected

• After initial set up, IVR can be much faster compared to traditional market research;; however, due to low response rates it remains a more expensive option

• Local partners are likely to improve upon their ability to use this tool, and questions can be further simplified to increase survey uptake amongst women

5

Challenges Encountered: Initial Investment and Sample Size

High Cost and Time

Investment for Set Up

• The set up for the survey very time and resource intensive, and cost per survey respondent was high due to high drop off rates

• For example, the initial set up of the survey took ~5 months to complete, including contracting with the IVR partner (VotoMobile), training, and development of the survey

• This delay was largely due to the process of preparing the individual recordings of each survey question, to be uploaded onto the IVR platform, which is a time and cost component unique to the IVR testing process

• Part of these delays were expected, as the project team learned to use a new method of testing in round 1 of testing

• Comparatively, round 2 of testing was very fast to implement (less than one month), and cost per target survey respondent was considerably lower;; however, still higher compared to traditional market research (see cost analysis on next slide)

Reaching Desired Sample

Size

• We had originally planned to reach ~600 Healthy Proactives (HP) per survey round, which seemed reasonable given our estimation of the number of HP living in Dosso1

• However, our recruitment success was hindered by several factors: 1) The ability of our radio advertisement to encourage women to dial into the survey

(offering 100-­500 FCFA for survey completes, or $0.20 -­ $1.00 for 10 minute survey)2) The geographic reach of the radio ads, which did not cover the entire region of Dosso3) The high drop off rates due to women’s lack of familiarity with IVR and difficulty in

responding to screener questions (see additional information on slide 6)

1) Initial assumptions were 3k women dialing in to participate, 40% HPs (per Camber survey data for Dosso), 67% survey completion rate

6

Cost Analysis

Recording of survey messages and radio spot $1567 $308

Cost of radio spot broadcasts1 $1910 $1910

Mobile credit incentive for participants $76 $54

VotoMobile hosting + phone line2 $2100 $700

VotoMobile training3 $600 -­-­

VotoMobile service team support3 $3000 -­-­

VotoMobile airtime cost $278 $184

TOTAL COST $9531 $3156SURVEY COST per Healthy Proactive $307 $150

SURVEY COST FOR ANY SURVEYCOMPLETE $26 $20

Est. cost for similar testing conducted F2F4 $5000 $1000

ROUND 1 ROUND 2

Note that round 1 costs were higher due to higher costs for recording initial survey, plus IVR training and support. Round 2 costs ere lower overall;; however radio broadcasts were less efficient (same diffusion costs for 50% fewer total survey

completes)

Costs for message testing via IVR, even in round 2, remain significantly higher compared to more ‘traditional’ methods of research such as face to face interviews or focus groups.

1) For each round, the radio spots were broadcast 436 times, for a cost of $4.38 per broadcast;; 2) cost for 3 months for R1, 1 month for R2;; 3) Cost of training and service support only used in round 1 for setup;; 4) Based on estimate from local MR firm for similar survey, round 1 includes project set up costs, surveyor training, and translation of the survey instrument in addition to the fieldwork costs which remain consistent versus round 2

7

Challenges Encountered: Respondent Difficulties

Women’s Lack of Familiarity with IVR

• After the low completion rates for round 1 of testing, we conducted several follow up interviews with women who dialed in, but did not complete the survey

• We discovered that many women had difficulty with the concept of alternating between listening to survey questions and using the dial pad to input responses

Difficulty in comprehension of specific questions

• There were two specific questions in the survey which created confusion;; the age question and the question on acceptability of the different messages

• Even though the radio advertisement called for women age 15-­49 to dial in and participate in the survey, we wanted to include this question as a screener in the survey

• The age question was the first question asked, and in round 1 we asked women to input their age (2 digits), as we wanted as much precision on age as possible for PSI’s database

• This proved to be very confusing to women, and so in round 2 we switched to asking women to choose an age grouping (ex. between 15-­24), which significantly reduced drop off rates for this question

• The second question that proved difficult to interpret was the high % of women who reported the campaign messages as being “false, offensive, or irritating” despite the vast majority of respondents reporting high agreement of the messages

• In round 2 we added a follow up probe for the reasons behind this response, which revealed that the vast majority of women had misunderstood the question

8

TRIALS CONTINUES USINGCONSIDERSAWARE ADVOCATESNOT AWARE

OF FP

Becomes aware of FP

Considers using FP

Tries a method

Sustained and effective use

Promotes use to others

Healthy Proactives are more likely to be stuck at the “trial” or “continued use” stage in the customer journey. Messages aimed at Healthy Proactives need to encourage them to

continue to progress along this journey

FP Customer Journey

Help Healthy Proactives find the support they need to overcome their fear of, or manage

actual side effects and continue their use of FP

Communication Objectives

Healthy Proactives will adopt an FP method, or continue using their FP method

Desired Action

Development of Messages for Testing (I/II)

9

Themes Exemples of Messages

Make difficult choices by prioritizing your health

Find a reliable person who can provide trust worthy

FP information

Have confidence to make informed choices

We have found that women often have an "internal conflict" in relation to the use of FP. Even if some women are interested and willing to use FP, their perceptions of social norms or pressure from others prevent them from trying or continuing to use them. It is important to get the message that their health should be prioritized first and foremost. If she is not healthy, she can not take care of her family.

In our research, we heard a lot of concerns about the impact of FP methods on health. Very often, women lack a reliable source of information, or they do not trust health workers. It is important to reinforce the idea of looking for a trusted person to have good information about FP

A woman will be more comfortable making FP decisions if she feels informed, and if the decision belongs to her. The idea is to strengthen her confidence in her choices, and to remind her that FP is her choice

Development of Messages for Testing (II/II)

10

HEALTHY PROACTIVES WHOCOMPLETED SURVEY

Comparison of drop out rates

Age question not answered N=104 (26%) N=14 (10%)

Not age 15-­49 N=78 (20%) N=22 (16%)

Stopped at survey intro N=29 (7%) N=12 (9%)

Not aware of Family Planning N=55 (14%) N=20 (14%)

Not Healthy Proactive N=16 (4%) N=72 (51%)

Stopped at HP intro N=18 (5%) N=0 (0%)

N=31 (8%) N=21 (13%)

TOTAL SAMPLE N=365 TOTAL SAMPLE N=161

ROUND 1 TESTING ROUND 2 TESTING

The most significant participant drop off

points vary by round of testing, mainly due to the change in the age question1

In round 2 we experiences higher drop off rates due to segment2, although still in proportions consistent with previous quantitative

research

1) In round 1 the age question was open ended, in round 2 participants were asked to select from a range of ages, which was easier to understand;; 2) specifically due to many more women citing importance of natural methods

Recommendations for improving target sample completion rates included on slide 17

11

13% 19%29%

38%

58% 43%

Round 1 Round 2

FRANÇAIS

HAUSA

ZJERMA

LANGUAGE

15-­25

26-­35

36-­49

AGE

Healthy Proactive Profile Comparison

YES

NO

42% 38%

19% 38%

39% 24%

Round 1 Round 2

USE OF FP METHOD

13% 10%

Round 1 Round 2

87% 90%

The profiles of the Healthy Proactive respondents are similar between round 1 and round 2 of testing

N.B. Sample size for round 1 = 31;; sample size for round 2 = 21

12

MESSAGE 1 MESSAGE 2 MESSAGE 3

M1b.« Je n‘écoute pas les rumeurs sur les méthodes contraceptives,

j'échange avec mon agent de santé pour avoir la meilleure information »

M2b.« J’échange régulièrement avec mon agent de santé pour trouver la méthode qui me

convient le mieux. Elle m'a expliqué que les effets secondaires n'arrivent pas souvent,

et ils sont gérables»

M3b.« Les prestataires de service de PF donnent d’amples informations sur les méthodes de PF et je fais moi-­même

mon choix sans influence»

M1a. « Je n‘écoute pas les rumeurs et

préjugés sur les femmes qui utilisent les méthodes contraceptives car l’espacement des naissances

préserve ma santé et même celle de mes enfants, qui est plus important

que tout »

M2a. « J'ai échangé à mon agent de santé pour trouver la méthode qui me

convient le mieux. S’il m’arrive d’avoir d'effets secondaires, je retournerai dans la formation sanitaire pour

recevoir des conseils »

M3a. « Les prestataires de service de PF accueillent très bien. Ils donnent d’amples informations sur toutes les méthodes modernes de contraception disponible dans le pays et je fais moi-­même mon choix sans influence»

1. Simplification2. Focus on rumors on methods, not women

1. Simplification2. Focus on the message that sideeffects are manageable

1. Simplification2. Focus on the point « I makemyown decision »

MESSAGES TESTED INROUND1

PROPOSED CHANGES BASED ON RESULTS

MESSAGES TESTED INROUND2

Messages Tested

13

MESSAGES 2A + 2BMESSAGES 1A + 1B

Comprehension

MESSAGES 3A + 3B

The desired comprehension on Message 1 is: “one shouldn’t listen to rumors” on which both messages did not perform well.

Between message 1a and 1b, message 1b has a preferred

interpretation as it calls to action and is more specific

In your opinion, what is the main message?

It’s important to seek good FP info

FP is important42%

29%

29% 52%

13%14%16%5%

M 1A M 1B

Something elseOne shouldn’t listen to FP rumors

42%67%

52%29%

6% 5%

M 2A M 2B

Side effects are manageable

I can trust HCWs

It’s important to seek good FP info

42%24%

35%49%

23% 29%

M 3A M 3B

FP is my decision

HCWs are there to help us

I can trust HCWs

The desired comprehension on Message 2 is: “side effects are manageable” on which both messages did not perform well.

Between message 2a and 2b, message 2b has a preferred

interpretation as it encourages women to trust HCW with regards to SEs

The desired comprehension on Message 3 is: “FP is my decision” on which both

messages did not perform well.

Between message 3a and 3b, message 3a has a preferred interpretation it encourages women to trust HCWs

14

MESSAGES 2A + 2BMESSAGES 1A + 1B

Motivation

MESSAGES 3A + 3B

Ideally, the message motivated women to use a method, but neither message does this very

successfully

There aren’t any statistically significant differences between the motivation levels for M1a and

M1b

What does this message motivate you to do?

Discuss FP with my husband / partner

Speak to a HCW52% 48%

32%29%

10%14%

6% 10%

M 1A M 1B

Doesn’t motivateUse a method

35% 38%

39% 38%

26% 14%10%

M 2A M 2B

Ideally, the message motivated women to use a method, which M2a

does somewhat successfully.

Between message 2a and 2b, message 2a is more effective in motivating women to use FP

Ideally, the message motivated women to use a method, but neither message does this very

successfully

There aren’t any statistically significant differences between the motivation levels for M3a and

M3b

Discuss FP with my husband / partner

Speak to a HCW

Doesn’t motivateUse a method

Discuss FP with my husband / partner

Speak to a HCW

Doesn’t motivateUse a method

59%45%

30%

25%

7%

15%

3%15%

M 3A M 3B

15

Recommendations for Message Selection

Message Comprehension Motivation Recommendation

M1a. Medium Medium dropM1b. Good Good keepM2a. Medium Good keepM2b. Good Medium ? back upM3a. Medium Poor dropM3b. Medium Medium drop

Good Medium Poor

Recommendation for the main radio message: M1b.« Je n‘écoute pas les rumeurs sur les méthodes contraceptives, j'échange avec mon agent de santé pour avoir la meilleure information »

Recommendation for a supporting message: M2b.« ...et s’il m’arrive d’avoir d'effets secondaires, je retournerai dans la formation sanitaire pour recevoir des conseils »

M1b. scored relatively high on comprehension and

motivation

Message 2a was recommended over M2b due to the higher score for motivation, which was deemed more important than comprehension

Ratings based on holistic interpretation of results1

1) Based on weighted average of actual comprehension vs. desired and actual motivation vs. desired, with greater weight behind motivation versus comprehansion

16

Conclusions: Relevance of IVR for Message Testing

• This experiment in particular proved to not be what we expected: a quicker, less expensive, more effective way of iterating messages in Niger

• IVR does appear to have potential for conducting quantitative message testing, while maintaining a high level of control over the process (ex. can stop survey once sample size reached, can modify question at any time)

• Specifically for iterative message testing:

o After initial set up, subsequent rounds of testing can be carried out very quickly – even faster compared to traditional market research

o Because the tested messages are pre-­recorded, IVR is a more reliable option for consistently testing messages without any bias introduced;; this is especially important for iterative testing where the language is only slightly modified

• However, local partners and women themselves are not familiar with this methodology, which has led to long delays in survey set up, and lower completion rates than those expected

• After initial set up, IVR can be much faster compared to traditional market research;; however, due to low response rates it remains a more expensive option

• Local partners are likely to improve upon their ability to use this tool, and questions can be further simplified to increase survey uptake amongst women

17

Recommendations: Future IVR Message Testing

Based on this project experience, we would make the following recommendations for the future use of the IVR platform for iterative SBCC message testing:

• Anticipate high initial time and resource investments to bring project team up to speed on efficient use of the platform

• Invest in a dedicated local project supervisor, and ensure local team’s commitment, especially for the survey set-­up phase, to oversee potentially confusing processes such as recording of survey questions

Improving High Cost and Time Investment for

Set Up

Reaching Desired Sample

Size

Addressing Lack of

Familiarity and User Error

• Improve response rates by consistently asking questions in the most simple form (i.e. pre-­coded responses as opposed to open ended)

• At the end of the survey, proactively ask for permission to call back in case of need for clarification, in order to improve comprehension of results

• Anticipate much higher drop off rates compared to face to face market research• Although this methodology is efficient for quickly identifying target segments of the population, drop off rates can be reduced by opening up survey inclusion criteria

• Improve response rates by increasing mobile credit incentives;; even though the incentive for time invested seems reasonable, the incentive needs to be sufficient to motivate women to try something new and unknown

Other• At the end of the survey, proactively ask for permission to include participant in future research, to build database of respondents, already identified by segment

18

Back Up

19

Testing Results: Agreement and Appreciation

MESSAGES 2A + 2BMESSAGES 1A + 1B MESSAGES 3A + 3B

Do you agree with this message?

MESSAGES 2A + 2BMESSAGES 1A + 1B MESSAGES 3A + 3B

Do you find any part of this message false, offensive, or irritating?

M1A. = 97%M1B = 95%

M2A. = 94%M2B = 95%

M3A. = 100%M3B = 100%

There is no statistical difference across the degree of acceptance between messages, or between versions of the same message

87% 90%

M1A. = 61%M1B = 10%

M2A. = 65%M2B = 10%

M3A. = 61%M3B = 14%

The question was changed between round 1 and round 2 to better understand the high % agreement in round 1. The addition of a follow up question revealed that respondents had

misunderstood the question