Upload
vigie-evaluation
View
276
Download
2
Embed Size (px)
DESCRIPTION
Communication au groupe Ile de France de la société française de l´évaluation, « L´enquête, les grandes oreilles de l´évaluation ? », le 25 novembre 2009
Citation preview
ContactPLURICITÉ
1 cours Verdun69002 Lyon
Tél. 04 78 28 15 00Fax. 04 78 28 17 56
L’ENQUÊTE : LES GRANDES OREILLES DE L'ÉVALUATION ?
Approches, techniques, pièges et intérêts de l'enquête pour l'évaluation
Nov. 2009
CLUB SFE D'ILE-DE-FRANCE – 25 NOVEMBRE 2009
Thibaut Desjonquères, Alix de Saint-Albin
2
Sommaire
1 - L’enquête : le futur de l’évaluation ?
2 - Vigilance pour l’enquête dans l’évaluation
3 -Aspects pratiques de l’enquête dans l’évaluation
4 - Conclusion
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
3
Thèmes traités lors de la présentation
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
4
► Une utilisation croissante des enquêtes: Dans l’évaluation :
une extension naturelle des outils de collecte
En dehors de l’évaluation : via les diagnostics, les tableaux de bord (qualité, satisfaction, etc.)
Au-delà de l’évaluation ? : pour l’aide directe à la décision (enquête d’image, de notoriété, sondages,
diagnostics, etc.)
Les pratiques d’enquêtes pour l’évaluation
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
5
L’enquête : le futur de l’évaluation ?
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
6
Une enquête suffit-elle à éclairer la décision publique ?
Champ de l’évaluation
Champ de l’enquête
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
Enseignements Expériences
L’évaluation impossible de la politique de la ville Vs l’enquête
« avec l’enquête, on fait de la participation des habitants ».Très forte appropriation de l’enquête par le politique (Pays viennois, Thonon)
Des enquêtes à forte valeur ajoutée analytique
Estimation des effets aubaine (Fastt), Matrice importance-performance (Fastt)Régressions multiples (écoute habitant)Analyse du non-recours (CRAM)
Quantifier l’inquantifiable Enquête sur la récidive, le no man’s land de la statistique judiciaire…une première base pour penser les causalités (DIV citoyenneté)
Une enquête porte-voix Auprès des opérateurs de politique publique (PLIE)
Une enquête « grandes oreilles » Repérage de signaux faibles, opinions originales et phénomènes émergents (CRRA)
Retour sur expérience
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09 7
8
Sommaire
1 - L’enquête : le futur de l’évaluation ?
2 - Vigilance pour l’enquête dans l’évaluation
3 -Aspects pratiques de l’enquête dans l’évaluation
4 - Conclusion
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
Avantages et inconvénients des formes d’enquêtes
Courrier Internet TéléphoneFace à face lieu public/domicile
Impact pour le questionnaire
Longueur possible ** *** * **Contrôle de l’échantillon * * *** *Taux de réponse * ** *** **
Impact sur la qualité de l’interview
Capacité à recueillir des données sensibles *** ** * *Contrôle de la compréhension par le sujet
* * ** ***
Réduction du biais de désirabilité sociale *** *** ** *
Impacts économiques
Facilité d’organisation ** **** *** **Coût *** **** ** *Délais de réalisation * **** *** **
D’après : S. Gnassali, « les enquêtes par quesionnaire »
10
Les enquêtes dans les études marketing, media et opinion
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
2007 : Source Syntec études
► Exemple d’enquêtes en ligne : Sollicitation par email ciblé Encart sur site Internet Pop-up sur site Internet Sollicitation sur access panels d’internautes Et bientôt sur les réseaus sociaux : Linkedln, viadeo, facebook ?
0%
5%
10%
15%
20%
25%
30%
2003 2004 2005 2006
Titr
e de
l'ax
e
Poids relatif des modes de collecte
Web
Face à face
Dépôt
Envoi postal
Appel tel
Source : ESOMAR
► 3 modes d’échantillonnages : aléatoire, par quotas, de convenance
► Echantillon et représentativité Pour un échantillon aléatoire : les
intervalles de confiance Pour un échantillon par quotas : comparaisons
à la population mère et redressements Les notions de représentativité et de
significativité
11
Principes de l’échantillonnage
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
12
► Les sources de données Les fichiers « maison » Les panels L’annuaire et les fichiers à l’achat
► En pratique, dans l’évaluation: L’enquête ciblée (bénéficiaires, partenaires) L’enquête territorialisée (quartier, ville) L’enquête globale (bénéficiaires potentiels, population générale)
Les fichiers de contact
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
13
Articulation de l’enquête dans les outils de l’éval (quanti/quali)
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
Entretiens exploratoires
Enquête confirmatoire
Enquête confirmatoireL’enchaînement
« classique »
Approche typologique
Le quali pour préciser les questions, l’enquête pour
quantifier les résultats
Etudes de cas confirmatoires
Enquête de « profilage »Enquête de « profilage »
Enquête pour cibler les publics, le quali pour
approfondir certains effets
Enquête exploratoire
Enquête exploratoire
Enquête confirmatoire
Enquête confirmatoire
Etudes de cas confirmatoires
D’autres approches…
Pour identifier des impacts non attendus, puis les
approfondir
14
Sommaire
1 - L’enquête : le futur de l’évaluation ?
2 - Vigilance pour l’enquête dans l’évaluation
3 -Aspects pratiques de l’enquête dans l’évaluation
4 - Conclusion
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
► Cadrage budgétaire
► Calendrier de l’enquête en évaluation Lancement à l’issue de la phase de cadrage
15
Prix au questionnaire Volume « classique » Nbr jours
Enquête en ligne ~5-10 € 50-5000 2-5 j consultant + frais techniques
Enquête par téléphone ~20-40 € 100-1000 2-5 j consultant + 5 jours enquêteur pour 100 réponses
Enquête postale ~15 € 50-300 2-5 j consultant + saisie
Conditions pratiques de mise en oeuvre
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
1 à 3 semaines 1 à 2 semaines 2 à 8 semaines 1 à 2 semaines
16
► L’enquête d’évaluation : une fausse bonne idée ? Un outil « spectateur » plutôt qu’une démarche
active Une fuite du politique par l’imposition d’un
référentiel unique… Et par la simplification du débat
► Mais toujours une forte pertinence de l’enquête pour l’évaluation ! Une formidable extension des capacités de
collecte… …dans des conditions pratiques de plus en plus
accessibles Une force de persuasion inégalée (qui a déjà lu une
monographie d’étude de cas?)
► Une faisabilité technique éprouvée, avec quelques points de vigilance: À condition de s’intéresser aussi aux non-
répondants! Des résultats à croiser pour « faire sens », sinon,
attention à la noyade!
Conclusions et hypothèses
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
Not everything thats counts can be counted, and not
everything that can be counted counts
Albert (1879 – 1955)
17
Merci de votre attention !
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
Fin de la présentation
18
Population accessible selon les modes de passation
L’enquête : les grandes oreilles de l'évaluation ? SFE Ile-de-France 25/11/09
Source : ARCEP, 2009