Baro Satis Image Sociologiciels

1 SOCIO Logiciels ©2008

«l’intelligence des données»

BaromBaromèètres de Satisfaction / Imagetres de Satisfaction / Image

-Ce à quoi on doit être attentif

- Ce qui est en train de changer

SEMO 2008


«l’intelligence des données»Ce que nous allons voir

Ce qui est en train de changer

Rappel des fondamentaux sur les enquêtes de satisfaction / Image

Ce à quoi vous devez être attentifs dans le cadre du :

Changement de périmètre

Changement du mode de recueil

Changement d’échelles

Modélisation



Ce qui est en train de changer

Le développement des études on line

Le développement des études téléphoniques en Outsourcing

Le développement des études internationales

Le développement des actions stratégiques et opérationnelles

Baisse significative des études postales



Rappel des fondamentaux

« Ce qu’on ne peut pas mesurer, on ne peut pas le gérer »

Priorité d’Amélioration (PRIAM)

Mesurer la satisfaction ou l’image, c’est :

Suivre constamment la satisfaction des clients ou l’imageIdentifier et résoudre très vite, tous problèmes nés d’évènements spécifiquesRéévaluer les attentes clientsIdentifier la performance dans l’esprit des clientsDéterminer et mettre en œuvre les axes de progrès

Sans oublier …



QUI INTERROGE-T-ON ?

COMBIEN ?

COMMENT ?

AVEC QUELLE PERIODICITE ?

AVEC QUEL(S) MODE(S) DE RECUEIL ?

AVEC QUELLES QUESTIONS ?

ET QUELS LIVRABLES ?

Et surtout…

POUR QUOI FAIRE ???...

Rappel des fondamentaux


«l’intelligence des données»QUI ? (ou unité de sondage)

B2C

L’acheteur primaire ou le renouvelant ?Le chef de famille ou le RDA ?Le conducteur principal d’une automobile ou l’acheteur, voire le(s) décideur(s) ?Le résident d’une zone primaire, secondaire ou de bascule ?...

B2B

Le responsable des achats ou le responsable informatique ?Le DGA ou l’Assistante Commerciale ?Le siège ou l’établissement ?Le chef de parc ou le DAF ou les utilisateurs


«l’intelligence des données»QUI ? (ou unité de sondage)

Le chercheur doit déterminer, en fonction de son champ d’interrogation, non seulement l’information dont il a besoin, mais également l’identité de celui qui la détient :

UNE ERREUR A CE NIVEAU BIAISE LES RESULTATS ET LES ANALYSES


«l’intelligence des données» Combien (ou taille de l’échantillon)La précision statistique d’un sondage est plus liée à la taille absolue de l’échantillon, qu’au rapport entre la taille de l’échantillon et celle de la population (taux de sondage)

La précision des estimations ne varie pas proportionnellement à la taille de l’échantillon, mais à la racine carrée de celle-ci

Variations de la précision des estimations

0

10

20

30

40

50

60

70

80

90

100

0 10 20 30 40 50 60 70 80 90 100 110 120 130 140 150 160 170 180 190 200

X

Y

Y=XY=racine de X



Dans des études de Satisfaction / Image, par expérience, il ne faut pas descendre en deçà d’une taille d’échantillon

Un exemple dans un réseau conséquent :

10-40 interviews par mois au niveau rayon/atelier/agence/...Analyse sur n mois glissant => suivi et primes annuels

300-500 interviews par mois au niveau magasin/concession/région/…Analyse mensuelle => suivi et incentives

Pour une cible particulière B2C, au moins 80 individus pour avoir une lecture pérenne dans l’instant, 200 pour une lecture rassurée dans le temps.

In fine ces études d’image ou de satisfaction dans un pays s’échelonnent entre 500 et 80.000

En B2B, les tailles d’échantillon sont beaucoup plus modestes, population mère limitée

Combien (ou taille de l’échantillon)


«l’intelligence des données»COMMENT ?

2 Méthodes principales :

1. Les méthodes aléatoires ou probabilistes (essentiellement fichiers)

2. Les méthodes non probabilistes ou empiriques (essentiellement méthode des quotas)

L’image se fait par quotas et la satisfaction généralement en aléatoire


«l’intelligence des données» Avec quelle périodicité ?

L’expérience montre une étendue de temps qui varie selon les secteurs ou produits :

Du mensuel à l’annuel pour les enquêtes de satisfactionD’une fois par an à toutes les n années pour l’image

sans oublier les études au fil de l’eau ....


«l’intelligence des données» Avec quel mode de recueil ?

Tous sont légitimes… en fonction du type d’études B2C, B2B, Interne, …

• CAPI• CAWI• CATI• Auto-administré papier

En optimisant bien sûr le mode d’administration où vous aurez le maximum de chance de toucher votre cible …


«l’intelligence des données» Avec quelles questions ?

5 postulats :

Comment vais-je les utiliser ?Qu’elles soient compréhensibles par tous (test : se mettre à la place de l’interviewé)Passer suffisamment de temps dans l’organisation du questionnaire et la formulation des variablesPas d’usine à gaz Faire preuve de bon sens

Et, à minima…..



Un quali avant … si l’outil de mesure n’existe pas, ou pour trouver d’autres axes de recherche

Un questionnement simple, par thème, puis globalisation

Avec quelles questions ?

Le choix en fruits et légumesLe prix des fruits et légumesLa qualité des fruits et légumesL’attente à la peséeAppréciation globale des fruits et légumes

15 Socio Logiciels ©2008


Un questionnaire …



Le recueil de la satisfaction

Les échelles de recueil

Echelles numériques : 0 – 101 – 10

Echelle sémantique LickertCentréDécentré

Encore « Très, Assez, Peu ou Pas du tout satisfait »Des notes (1 à 10 / 0 à 10) : attention à la sensibilité et à la notation entre différents pays (ajustement et pondération)Idéalement, des échelles sémantiques décentrées (bien pour l’international)

Extrêmement satisfaitTrès satisfaitAssez satisfaitPeu satisfaitPas du tout satisfait



Cette échelle respecte l’ordre décroissant de l’échelle sémantique utilisée dans le questionnaire et facilite les réponses des individus. Les études sur le sujet de la satisfaction montrent toutes :

La nécessité d’utiliser des échelles décroissantes, du positif au négatifL’importance de faciliter le travail de l’interviewé dans sa tâche d’estimation : plus l’échelle est étendue, plus le travail de notation est difficile

2 14 36 58 710 9Très insatisfaitPlutôt insatisfaitNi satisfait Ni insatisfaitPlutôt satisfaitTrès satisfait

Les échelles de recueil mixtes: à la fois numériques et leur traduction sémantique




Exemple : EDF

Enquête réalisée par téléphone sur un échantillon représentatif des clients d’EDF.L’analyse sur les 93436 réponses : (47 questions de satisfaction de 1 à 10 * 1988 interviewés) confirme :Les notes 5, 8 et 10 sont beaucoup plus utilisées que les autres :(59% de l’ensemble des réponses)On a pu identifier des types d’individus selon leur seuil cognitif aux profils socio-démo bien définis :

Les «10 purs» (13,4%)Les «Normaux» (26%) : amplitude de l’échelle bien utiliséeLes «Mono pic» (22.1%) : échelon de référence et modulation du

jugement autour de ce référentielLes «Plurimodaux» (33.3%) : Simplification de l’échelle en quelques

ancrages forts (1,5,8 et 10) et éventuelle modulation autour de ces pivots.Les «5» : (5%)




La satisfaction globale est recueillie en fin d’interview

Même échelle de recueil

Globalement, compte tenu de tous les thèmes que nous avons abordés, diriez-vous que vous êtes extrêmement, très, plutôt, peu ou pas du tout satisfait de votre …

La fidélité

Au cours des 12 derniers mois, avez-vous envisagé de quitter votre …Si vous deviez changer … :

Même produitAutre produit même marqueAutre marqueAbandon

Si vous aviez 10 points à répartir entre les 3 marques, …, combien en donneriez-vous à X ? Y ? Z




La recommandation

Avez-vous déjà recommandé votre …, à quelqu'un de votre entourage, à l'exception de vos enfants ?

Et recommanderiez-vous votre … à quelqu'un de votre entourage, à l'exception de vos enfants ?

Création d’un KPI



21

23

25

27

29

31

33

35

37

45 50 55 60 65 70

Médiane engagement (Base ensemble) (63.4)

Médiane surprise (Base ensemble)

(28.4)

CHARAL

LE GAULOIS

PERE DODU

BIGARD

COEUR DE LION

RUSTIQUE

PRESIDENT

BONDUELLED'AUCY

PETIT NAVIRESAUPIQUET AOSTE

FLEURY MICHON

HERTA

MADRANGE

SODEBO

WILLIAM SAURIN

PANZANI

RANA

LUSTUCRU

BARILLA

Base : EnsembleBase : Ensemble

Engagement

Surp

rise

Page 1

Mobilisation

Secteur : alimentaire 1Secteur : alimentaire 1

Médiane mobilisation (Base ensemble) 50.3

Quartile 1 : 44.1

Quartile 2 : 50.3

Quartile 3 : 55.3

Quartile 4 : 61.1



#

Marques 2005 2006 Marques 2005 2006 Marques 2005 2006 Marques 2005 2006 Marques 2005 2006Toyota 7.4 7.7 Toyota 7.0 7.1 BMW 8.2 7.8 Toyota 7.7 7.8 Audi 7.7 8.0Audi 7.0 7.5 Opel 6.2 7.0 Audi 7.7 7.7 Ford 7.7 7.6 3 premiers 7.7 7.83 premiers 7.4 7.5 3 premiers 7.0 6.9 3 premiers 8.0 7.7 3 premiers 7.7 7.6 BMW 7.7 7.8BMW 7.7 7.3 Volvo 7.0 6.6 Toyota 8.1 7.6 Audi 7.0 7.3 Toyota 7.7Mercedes 6.7 7.0 Peugeot 6.4 6.6 Land Rover 7.4 7.5 Mazda 7.6 7.1 Hyundai 7.6Citroën 6.7 7.0 Skoda 6.3 6.5 Skoda 7.2 7.4 BMW 7.6 7.1 Mercedes 7.4 7.5Volkswagen 5.9 6.8 BMW 6.5 6.3 Honda 7.2 Chevrolet 7.1 7.1 Skoda 7.3 7.3Peugeot 6.2 6.6 Ford 6.1 6.3 Vauxhall 7.0 7.1 Opel 7.1 7.1 Volkswagen 7.0 7.2Marché 6.3 6.6 Audi 6.0 6.2 Mercedes 6.0 7.0 Marché 6.5 6.4 Chevrolet 7.4 7.2Nissan 6.2 6.3 Marché 5.9 6.1 Volkswagen 6.3 7.0 Seat 5.0 6.4 Peugeot 7.4 6.8Renault 6.1 6.3 Citroën 4.9 5.9 Mazda 7.6 6.8 Alfa Roméo 5.6 6.3 Opel 7.0 6.8Ford 6.4 6.3 Mercedes 6.9 5.8 Marché 6.6 6.7 Citroën 6.2 6.2 Marché 7.0 6.6Seat 5.7 6.2 Volkswagen 5.2 5.7 Hyundai 6.7 Fiat 6.1 6.1 Citroën 6.3 6.6Fiat 5.4 5.7 Seat 5.9 5.5 Volvo 6.3 6.5 Peugeot 6.6 6.1 Renault 7.5 6.2Opel 6.1 5.3 Mazda 5.3 5.4 Nissan 6.6 6.5 Mercedes 5.4 6.0 Seat 6.7 6.1

Fiat 5.0 5.3 Peugeot 5.5 6.5 Lancia 6.0 5.9 Fiat 6.4 6.0Marques non cibles 2006 Renault 5.5 5.2 Jaguar 7.2 6.4 Nissan 5.9 5.8 Ford 6.5 5.9Volvo 7.4 7.4 Nissan 4.0 4.1 Seat 6.7 6.3 Volkswagen 5.9 5.7 Nissan 5.8 4.6Skoda 6.7 7.3 Fiat 5.9 6.2 Renault 5.9 5.2Mazda 7.7 7.3 Marques non cibles 2006 Renault 6.7 6.1 Marques non cibles 2006Land Rover 6.5 7.3 Jaguar 5.8 7.0 Ford 6.5 5.9 Marques non cibles 2006 Volvo 8.6 7.6Chrysler 6.0 6.8 Land Rover 6.0 6.6 Citroën 5.2 5.3 Land Rover 7.2 7.7 Chrysler 7.2 7.1Chevrolet 6.7 6.8 Chevrolet 6.5 6.6 Volvo 7.2 6.8 Jaguar 7.6 7.0Jaguar 6.2 6.5 Saab 5.2 5.8 Marques non cibles 2006 Jaguar 8.3 6.6 Land Rover 7.0 6.8Saab 5.4 Chrysler 5.1 5.0 Chevrolet 7.0 6.9 Chrysler 6.6 6.5 Mazda 7.0 6.6

Chrysler 6.6 6.8 Saab 6.3 Saab 6.4Saab 6.0 5.9 Skoda 6.3 6.0

EspagneFrance Allemagne Angleterre Italie

C1. Niveau de satisfaction générale à l'égard de la marque représentée - 5 grands

Significativement inférieur à la moyenne du marché

Amélioration significative // année précédenteDégradation significative // année précédente

Non significativement inférieur à la moyenne des 3 premiersSignificativement inférieur à la moyenne des 3 premiers et Non significativement inférieur à la moyenne du marché

Les 3 leaders sur la satisfaction générale



Ces baromètres de satisfaction ou d’image sur des produits ou services doivent permettre aujourd’hui des analyses de plus en plus fines, aussi bien en terme stratégique (identification des facteurs les plus importants) qu’opérationnels (axes de progrès pour améliorer la performance).

Pour quoi faire ?

Dans tous les cas, l’objectif central est d’optimiser les actions marketing (enseigne, produits, services …) et de plus en plus des performances au regard d’objectifs définis.

Selon les secteurs d’activité, l’objectif secondaire se décline sur le fait d’être bon sur toutes les composantes, ou, plus souvent, d’être bon et de le rester dans tels ou tels domaines prioritaires pour l’annonceur.



Changement de périmètreLe fait de passer d’une étude nationale à une étude internationale…G5, par exemple, peut ne pas être neutre dans la mesure de la satisfaction/image

Le système de référence sur des échelles numériques n’est pas le même selon le pays (souvent lié à des pratiques scolaires)

Solution: Echelle sémantique décentré en 5 points ou échelles mixtes plus difficile par téléphone …

Le modèle de Rasch permet de savoir si tous les pays ont compris l’échelle utilisée

Attention aux traductions …

2 14 36 58 710 9Très insatisfaitPlutôt insatisfaitNi satisfait Ni insatisfaitPlutôt satisfaitTrès satisfait




Global France Germany Italy Spain Britain Austria Switzerland Portugal RussiaGlobal 1.0000 0.9946 0.9963 0.9794 0.9931 0.9956 0.9965 0.9949 0.9970 0.9936

France 0.9946 1.0000 0.9864 0.9628 0.9960 0.9955 0.9877 0.9868 0.9907 0.9924Germany 0.9963 0.9864 1.0000 0.9698 0.9881 0.9890 0.9956 0.9888 0.9949 0.9902

Italy 0.9794 0.9628 0.9698 1.0000 0.9558 0.9684 0.9762 0.9862 0.9715 0.9615Spain 0.9931 0.9960 0.9881 0.9558 1.0000 0.9932 0.9893 0.9832 0.9905 0.9948Britain 0.9956 0.9955 0.9890 0.9684 0.9932 1.0000 0.9878 0.9890 0.9950 0.9874Austria 0.9965 0.9877 0.9956 0.9762 0.9893 0.9878 1.0000 0.9914 0.9911 0.9922

witzerland 0.9949 0.9868 0.9888 0.9862 0.9832 0.9890 0.9914 1.0000 0.9916 0.9827Portugal 0.9970 0.9907 0.9949 0.9715 0.9905 0.9950 0.9911 0.9916 1.0000 0.9890Russia 0.9936 0.9924 0.9902 0.9615 0.9948 0.9874 0.9922 0.9827 0.9890 1.0000

Le coefficient d’Escouffier – corrélation entre tableaux- montre des cohérences fortes entres les réponses aux batteries d’items




Le positionnement des pays selon leurs réponses aux batteries d’items, adaptable aux vagues

Portugal

Switzerland

Austria

Spain

Italy

Germany

France

-0.2

-0.1

0

0.1

0.2

0.3

0.4

-0.5 -0.3 -0.1 0.1 0.3 0.5



Changer d’institut si on a le même mode de recueil, le même questionnaire en fonction du type de variables (objectifs ou subjectifs) les différences, sur une échelle numérique, peuvent se situer entre +/- 0.5 sur une moyenne de 1 à 10, et sur une distribution à +/- 5% : des différences souvent significatives

Les enquêteurs ne sont pas les mêmes, les techniques de formation ne sont pas les mêmes, les briefing non plus…l’animation des Access Panel diffèrent…

Ce qui ne veut pas dire que l’institut A est plus mauvais ou meilleur que B !...

Changement d’Instituts



Dans le cadre d’un baromètre :

1. Passage du papier auto-administré au on line

2. Passage du téléphone au on line

3. Combinaison du papier auto-administré et du on line

Les conséquences

1. Souvent modification du taux de sans réponse [=> imputation de la SR sur la vague papier] , filtres automatiques

2. Changements importants, lissage souhaité, période transitoire

3. L’individu répond selon son mode préféré, peu de différence [=> on répond mieux dans son mode préféré]

Changement du mode de recueil



1. D’une échelle étendue vers une échelle réduite

L’effet Guttman – nuage de points paraboliques – permet d’affecter à une échelle réduite des valeurs observés dans une autre échelle

Discrétisation par quantile, par K-Means

2. D’une échelle réduite vers une échelle étendue

A partir d’analyses factorielles faites sur les individus de la vague on projette les individus de la vague 1, on étend la V1

Changements d’échelles



La monotonie

Dans les études d’image auto-administrées des individus peuvent être tentés de donner la même réponse à tous les items ou à une grande partie

Ils créent alors de la corrélation là où elle ne devrait pas exister

Le repérage peut se faire par simple comptage ou par analyse factorielle



Les « outliers » sont des individus aberrants ou atypiques par rapport à la quasi unanimité de la population. Cette différentiation peut provenir d’une mauvaise compréhension du questionnaire ou d’une singularité manifeste. Si elle est parfaitement valide sociologiquement – les tris classiques se font sur l’ensemble de la population - elle invalide la modélisation statistique.

Il convient donc préalablement à des calculs d’impacts, de repérer ces individus et de les mettre provisoirement de côté.

Le repérage se fait après une phase de normalisation par ACP et calcul des distances de Mahalanobis.

Les OutliersLes Outliers

En appliquant cette technique, on met en général de côté entre 6 et 7 % de l’effectif initial.

Cette mise à l’écart est validée par la comparaison de cet échantillon par rapport à l’échantillon initial si elle n’a pas montré la présence de biais significatifs.



Modélisation

L’impact des items dans le cadre d’études de satisfaction ou d’image

L’impact vise à déterminer, à partir des notes de satisfaction d’items, leur importance relative.

Le calcul peut se faire en une seule fois ou en cascade : on calcule l’importance des items dans chaque thème ou dimension, puis l’importance des thèmes. Ce mode en cascade nécessite de poser la question de satisfaction globale de la dimension.



L’impact

Les variables à expliquer peuvent être considérées sous forme de moyenne (on quantifie ce qui constitue la satisfaction moyenne) ou de variable binaire, satisfait ou non (on quantifie ce qui fait passer de l’état d’état de satisfait à celui d’insatisfait – ou inversement)

Une technique explicative, l’autre plus stratégique

D’une manière générale, plus les items sont indépendants, plus le calcul de l’impact est facilité.

Très souvent, les items sont assez liés et il convient d’utiliser des techniques de calculs d’impact qui tiennent compte des liens –corrélations – existants.



Le poids des dimensions

Nous conseillons la mise en œuvre de méthodes de mesure d'impact non linéaires car le coefficient de corrélation ne mesure que la présence d’un lien linéaire entre deux variables : si le lien existe et est très fort, s’il n’est pas linéaire, il est nul :

Y

1

2

3

4

00 1 2 3 4 X

CC = 0Y

1

2

3

4

00 1 2 3 4 X

CC = 0

Y

1

2

3

4

0 0 1 2 3 4 X

CC = 1Y

1

2

3

4

0 0 1 2 3 4 X

CC = 1Y

1

2

3

4

0 0 1 2 3 4 X

CC = 1

Lien linéaire, le coefficient vaut 1 Lien non linéaire, le coefficient est nul



Il est maintenant admis que la progression de la satisfaction se fait par sauts – effets de seuil - avec un palier infranchissable : au-delàd’un certain seuil, les améliorations de points spécifiques n’impactent plus sur la satisfaction globale.


Cette progression est bien en phase avec les méthodes non linéaires : Régressions logistiques, réseaux bayésiens peuvent donner des résultats des résultats stables et solides.



Le réseau de neurones présente l’avantage de mesurer les liaisons entre les dimensions et d’en indiquer le sens : l’accueil impacte sur la relation conseiller




Les réseaux ou régressions logistiques permettent de déterminer les impacts positifs et négatifs des items sur une dimension.

Ces modèles asymétriques permettent donc d’évaluer la satisfaction et d’établir l’importance des attributs du service, de hiérarchiser ces attributs et d’établir les priorités.

L’importance des items



Les modèles élaborés

Les équations structurelles permettent de conforter une structurationsupposée de l’image ou de la satisfaction et d’en quantifier les dimensions

Le questionnement ECSI

Avant achat•Attentes générales de qualité•Adaptation du produit•Fiabilité

Post achat•Attentes générales de qualité•Adaptation du produit•Fiabilité

Rapport qualitéprix

•Intention de réachat•Elasticité prix à la hausse

••Eventuelles Eventuelles rrééclamationsclamations



Conclusions

La satisfaction/L’image et sa mesure vivent un cycle qui les amène àune maturité avancée sur le marché

Pour réactiver la satisfaction ou l’image et la faire « changer » il faut croître en expertise :

Plan de sondageMode de recueilMise au point de nouvelles dimensions (attachement, implication…)Significativité des évolutionsModélisation

Etre le conseil de nos clients sur ces domaines c’est le but de SOCIO

Merci

Education

Baro Satis Image Sociologiciels