La Conception des questionnaires - Gestion Orientée vers ... · Jean Dumais, Université Lyon 2 Conception de questionnaires page 1 La Conception des questionnaires A. Introduction

Jean Dumais, Université Lyon 2 Conception de questionnaires page 1

La Conception des questionnairesLa Conception des questionnairesLa Conception des questionnairesLa Conception des questionnaires

A. Introduction

1. On peut définir le questionnaire comme une formule qui contient un ensemble de questions visant à recueillir des renseignements sur un ou plusieurs sujets auprès d’un répondant. 2. L’étape de conception du questionnaire n’est pas isolée des autres étapes d’une enquête: le questionnaire doit répondre aux définitions des objectifs, être rédigé de manière compatible au mode de collecte, se prêter facilement au traitement des données, et faciliter l’analyse des résultats. 3. Pour composer un « bon questionnaire » on doit respecter certaines règles capitales:

- le sondeur doit distinguer l’information que l’on veut recueillir des questions que l’on doit poser; - le questionnaire doit faciliter la tâche du répondant plutôt que celle de l’analyste; - le sondeur doit connaître l’utilité de chaque question posée; - utiliser un langage clair et sans ambiguïté (pour le répondant); - la rédaction des questions doit tenir compte de la méthode de recueil; - l’inscription des réponses sur le questionnaire doit simplifier la réponse et le traitement.

4. L’élaboration d’un questionnaire n’est pas un exercice académique ni une expérience de laboratoire menée dans des conditions contrôlées. C’est un exercice intuitif, consultatif et évolutif. On peut identifier cinq étapes principales menant à l’impression du questionnaire: la définition des besoins en données, la composition de la liste détaillée des informations à recueillir, la rédaction d’une épure, la mise à l’essai et, finalement, la correction et la rédaction du questionnaire dans sa forme finale. 5. La mise à l’essai du questionnaire peut être faite par consultation des experts du sujet, des enquêteurs et auprès de répondants potentiels. On peut aussi utiliser des groupes de discussion (focus groups) d’une dizaine de personnes pour prendre le pouls des répondants, tenter de sentir leurs réactions, leurs intérêts. Certaines équipes de recherche procèdent par enquêtes en profondeur (in-depth interview), ou à voix haute (think aloud interviews) ou encore en demandant au répondant de formuler la question dans ses propres mots. On réussit souvent à cerner les zones d’incompréhension, des sources de biais ou encore de refus. Dans la mesure où il s’agit d’un thème nouveau (pour le sondeur), il y a nécessité sinon obligation de tester le questionnaire. On pourra alors prendre des indications quant à la distribution des réponses possibles, le niveau de compréhension des concepts, de vérifier le flot des questions, la souplesse des aiguillages, mesurer la durée d’une entrevue... Ce type d’exercice est appelé pré-test; il ne s’étend qu’à une cinquantaine de répondants; on peut planifier plusieurs pré-tests de façon à mettre à l’essai certaines composantes du questionnaire. Quand on étend la mise à l’essai à l’ensemble des processus de l’enquête, on parle alors d’enquête-pilote. Il ne reste plus alors qu’à tout reprendre depuis le début...


B. La Structure de la questionB. La Structure de la questionB. La Structure de la questionB. La Structure de la question

1. Il est souvent difficile de séparer le texte de la question de l’information recherchée, la mesure et l’outil de mesure. C’est pourtant essentiel de faire la différence entre faits, opinions, attitudes, motivations, et connaissances. Le tableau suivant montre l’évolution des intérêts des sondeurs américains1.

Gallup

Autres

Ensemble

Attitudes

1948-49 1960-61 1972-73 1984-85

46,0% 50,7% 59,6% 39,1%

57,9% 53,3% 79,2% 62,9%

51,4% 51,6% 74,1% 60,1%

Comportements

1948-49 1960-61 1972-73 1984-85

7,7% 7,9% 0,9% 5,2%

3,3% 4,2% 1,1% 4,0%

5,7% 6,6% 1,0% 4,1%

Démographie et questions factuelles

1948-49 1960-61 1972-73 1984-85

37,5% 33,9% 33,5% 53,8%

27,9% 40,2% 17,9% 30,7%

33,1% 38,0% 22,0% 33,5%

Connaissances

1948-49 1960-61 1972-73 1984-85

8,9% 7,5% 6,0% 2,0%

10,9% 2,4% 1,8% 2,4%

9,8% 5,8% 2,9% 2,4%

2. De manière générale, les questions portant sur les faits sont moins sujettes à l’erreur de réponse que les questions d’opinion; mais ce qui constitue un fait pour l’un est l’opinion d’un autre (p.ex., origine ethnique, criminalité, chômage). 3. Les types de questions Les Questions ouvertes «Que pensez-vous des accords de Copenhague ?»

Le répondant choisit lui-même sa réponse qu’il formule à sa façon. Ces questions sont utiles lors d’études exploratoires, pour permettre au répondant d’exprimer plus fidèlement son opinion et pour obtenir des données numériques précises. Les questions ouvertes permettent un échange plus naturel entre enquêteur et enquêté. Par contre, répondre à une question ouverte demande plus d’effort de la part du répondant et qu’il prenne position. Pour l’équipe de projet, cela signifie des enquêteurs plus attentifs, un codage et une analyse plus complexes.

1 Smith, (1987), Public Opinion Quarterly, vol.51, pp 95-108


Les Questions fermées

« Quelle est votre attitude à l’égard des accords de Copenhague ? O a) Je suis favorable à cet accord O b) Je suis contre cet accord O c) Je n’ai pas d’opinion à ce sujet »

Le répondant choisit l’une des réponses qu’on lui fournit. On élimine alors les réponses illisibles, vagues ou difficiles à classer. On réduit le temps de collecte et les réponses sont plus faciles à coder et à analyser. Pour le répondant, trop de questions fermées lassent; elles peuvent aussi engendrer un sentiment de frustration parce qu’il devient impossible de dire ce que l’on pense. Il y a aussi un risque de favoriser les réponses souhaitables (tel que vu par le répondant) plutôt que souhaitées (tel que vu par l’enquêteur), ou de favoriser une réponse alors que le répondant n’a ni opinion ni connaissance. 8. On connaît plusieurs types de questions fermées:

dichotomiques, où le répondant doit choisir entre deux options conceptuellement opposées:

« Seuls les snobs s’intéressent à l’art contemporain O d’accord O pas d’accord »

à choix multiples: où le répondant choisit l’une des options mutuellement exclusives

« À quel groupe d’âge appartenez-vous? O moins de 20 ans O 20 à 59 ans O 60 ans et plus »

avec réponses à cocher: où le répondant choisit dans une liste toutes les réponses (ou un nombre prédéterminé de réponses) s’appliquant à son cas

« Qu’est-ce qui caractérise un « homme de gauche » ? O l’anticléricalisme O la défense des libertés individuelles O l’attention portée aux questions syndicales O le pacifisme O la préférence pour un gouvernement qui intervienne

dans l’orientation de l’économie O l’internationalisme O autre (précisez)__________ »

avec classement: où il faut ordonner une série d’options distinctes et indépendantes


« Voici une liste des façons les plus courantes de chercher un emploi. Veuillez classer ces méthodes par ordre d’efficacité en inscrivant “1” à côté de la méthode que vous jugez la plus efficace, “2” à côté de la seconde méthode la plus efficace, etc.

O envoyer son c.v. par la poste O annonces dans les journaux O visite à l’ANPE O relations personnelles O agence de placement privée O contact direct avec les employeurs »

avec échelle d’évaluation: question du type « choix multiples » où les catégories de réponse sont ordonnées. Le répondant doit choisir le nombre ou l’expression qui correspond le mieux à son évaluation ou à son opinion « Dans quelle mesure êtes-vous satisfait des équipements culturels de Lyon ?

O très satisfait O satisfait O insatisfait O très insatisfait »

« Comment décririez-vous les équipements culturels de Lyon? 1 2 3 4 5 6 7 8 9 10 lamentables exemplaires »

l’échelle de Thurstone: on propose au répondant une liste d’énoncés; le répondant doit indiquer s’il est d’accord ou en désaccord avec chacun d’eux; on choisit les énoncés de sorte qu’ils offrent une variété d’opinions sur le sujet à l’étude; chaque énoncé doit être bref, clair et facile à comprendre; l’ensemble des énoncés devrait couvrir l’étendue des opinions possibles face au sujet; on appelle échelle attitudinale l’ensemble que forment ces énoncés. « accord désaccord 1. mon lieu physique de travail est agréable O O 2. j’ai la liberté de choisir comment faire mon travail O O 3. mon travail est répétitif O O 4. mon travail demande des qualifications élevées O O 5. mon salaire est suffisant O O 6. mes chances d’avancement sont bonnes O O 7. seuls les amis du patron sont promus O O »

l’échelle de Likert: on propose au répondant une série d’énoncés; le répondant indique à quel point chacun des énoncés se rapproche de son opinion; à la différence de l’échelle de Thurstone qui n’offre que deux choix de réponse, l’échelle de Likert en offre au moins cinq ce qui permet d’indiquer à quel point on est d’accord ou non; on peut mesurer le niveau d’utilité, de satisfaction, ou d’importance.


« fortement en ni d’accord en fortement

en accord accord ni en désaccord désaccord en désaccord 1. La police fait bien son travail O O O O O 2. La police répond rapidement aux appels O O O O O 3. La police est souvent brutale O O O O O »


C. La Formulation des questions et les Sujets difficiles

I. La formulation des questions 1. Il faut voir les questions d’enquête comme une ligne de communication entre enquêteur et enquêté: transmettre le plus fidèlement possible au répondant les besoins spécifiques d’information et amener le répondant à fournir une réponse conforme à ces besoins. L’enquêté réagit aux questions d’enquête comme à tout autre mode de communication: compréhension de la question, recherche de l’information, jugement quant à l’acceptabilité et la justesse de la réponse, et enfin la formulation de la réponse. Le sondeur doit être sensible à ce processus mental lorsqu’il compose son questionnaire:

- le répondant connaît-il le sujet des questions? en a-t-il une connaissance immédiate ou lointaine? superficielle ou approfondie? passée ou présente ? - le répondant comprend-il le sens de la question? le niveau de langage utilisé est-il approprié au répondant ? - le répondant peut-il traduire fidèlement en paroles ce qu’il pense du sujet ?

2. Principes généraux guidant la composition des questions

a. Seul l’enquêteur sait ce dont il veut parler; il est donc important qu’il prenne avec lui les répondants en les rendant à l’aise, en les faisant se sentir utiles et concernés. b. L’enquêteur veillera à situer le répondant dans le temps et l’espace. Il utilisera un vocabulaire simple, clair et adapté tant au sujet qu’aux répondants. c. Il évitera de choquer les répondants en utilisant un vocabulaire neutre, et en présentant de façon symétrique les énoncés et les choix de réponse. d. L’enquêteur l’attention et l’intérêt des répondants en se souciant de la continuité, de la cohérence et de la pertinence (telles que perçues par les répondants) de son questionnaire: il faut demander des réponses que le répondant est en mesure de fournir, il faut prévoir toutes les catégories de réponses et de répondants.

3. On n’insistera jamais assez sur l’importance du vocabulaire utilisé. Les questions sont trop souvent rédigées par des experts du sujet à l’étude; il est plus fréquent de voir des questions surchargées, complexes et exigeantes que trop faciles, superficielles et insuffisantes. « Êtes-vous en accord ou en désaccord avec la proposition suivante: “les accords de Maastricht s’inscrivent dans le prolongement européen d’un néo-reaganisme incompatible avec la résurgence salutaire des régionalismes culturaux exacerbée par l’apparente hégémonie de la trash-tv” ? »

On facilite la tâche du répondant en utilisant un langage simple, direct et familier, surtout quand il s’agit de collecte par entrevues. Le répondant devrait réfléchir à sa réponse plutôt qu’à la question. On évitera les pièges des doubles négations, des acronymes, du jargon. 4. S’il est nécessaire de traduire le questionnaire, il faudra exercer la même vigilance à l’égard de toutes les versions du questionnaire. Certains concepts sont tellement enracinés dans une culture donnée qu’ils donnent naissance à un vocabulaire pour lequel il n’existe pas de traduction adéquate (p.ex. il existe plus d’une dizaine de façons de dire « neige » en inuktituk). Le principe de base qui doit guider le sondeur est de mesurer le même phénomène, de recueillir de l’information comparable dans toutes les langues utilisées. Il est souvent préférable d’utiliser une traduction incorrecte mais comprise de tous, plutôt qu’une traduction impeccable mais inusitée. Chaque version devrait faire l’objet d’un pré-test.


5. Afin de s’assurer que l’on mesure bien ce que l’on prétend mesurer, on placera chaque groupe de questions dans son propre cadre de référence, applicable et univoque pour tous les membres de la population cible. Pour ce faire, on peut décrire le cadre de référence dans le corps même de la question, ou dans une introduction à un groupe de questions.

« Les questions qui suivent portent sur le trimestre dernier, c’est-à-dire la période allant du 1er janvier au 31 mars derniers. » « Quel est votre revenu ? »

Pour rendre la question claire, il faudrait préciser:

- à quelles composantes du revenu on s’intéresse (salaire, commissions, revenus d’intérêt, dividendes, prestations sociales, revenus locatifs, part des profits d’entreprise...) - à qui la question fait-elle référence (au répondant, à son ménage, à sa famille) - quelle est la période de référence (la semaine, le mois, l’année civile, l’année fiscale).

6. Même les choses en apparence les plus simples peuvent se prêter à l’interprétation des répondants. Le sens de la question doit être clair et sans ambiguïté pour tous les répondants, et conforme à celui déterminé par le sondeur. Les exemples suivants sont adaptés de Fowler (1992)2. « Q1. Pratiquez-vous un sport ou faites-vous de l’exercice régulièrement?

OUI: 48% « Q1a. Pratiquez-vous un sport, un passe-temps demandant de l’activité physique, ou faites-vous de l’exercice, y compris la marche, de façon régulière? OUI:60% »

« Q2. En moyenne, combien de fois (jours) par semaine utilisez-vous

du beurre?

0: 33% 1 à 6: 42% 7: 23% « Q2a. La question suivante ne se rapporte qu’au beurre. Sans compter

la margarine, en moyenne, combien de fois (jours) par semaine utilisez-vous du beurre?

0: 55% 1 à 6: 36% 7: 9% » Le degré de précision demandé des répondants doit être raisonnable pour la grande majorité des répondants:

« Q1. Combien de livres avez-vous lu l’année dernière ? » « Q2. Combien de voyages aller-retour avez-vous fait au cours du dernier

trimestre ? »

« Q3. Pour quelle raison avez-vous choisi d’acheter la lessive ABC plutôt qu’une autre ? »

7. De même, les questions doivent rester pertinentes et correspondre au niveau de connaissance moyen des répondants:

2 Fowler, (1992), POQ, vol. 56, pp. 218-231


« Q1. Quel âge a votre conjoint ? » « Q2. Combien de fois par semaine conduisez-vous votre voiture pour vous

rendre au travail? »

« Q3. De façon générale, êtes-vous d’accord avec les politiques économiques du gouvernement guatémaltèque ? »

8. Les sondages omnibus touchent une grande quantité de sujets qui sont rarement liés les uns aux autres. Le passage rapide d’un thème (l’alimentation, par exemple) à un autre (la préférence pour un personnage politique) peut déstabiliser le répondant si on ne prend pas soin de bien souligner les passages et de donner une introduction suffisante au nouveau sujet. On doit aussi se méfier de pièges de rédaction: les questions doubles

« Êtes-vous en faveur de la légalisation de l’héroïne et de la marijuana?»

« Êtes-vous en faveur de la contraception et de l’avortement ? » (La Gazette des femmes, mars 1994)

les problèmes de prestige

« Êtes-vous d’accord avec la politique au Nicaragua du prés. Reagan ? »

(ABC News, mars 1986)

les négatives doubles

« Ne pensez-vous pas qu’on ne devrait pas assurer l’alternance à la présidence de l’Assemblée ? »

la double alternative

« D’après vous, le lait était-il meilleur ou moins bon l’an dernier ou il y a dix ans ? »

9. À moins répondre de un besoin particulier, il est préférable d’utiliser un vocabulaire et une formulation qui ne laisse pas transparaître vos intentions ou vos préférences.

« Les études scientifiques montrent que l’usage du tabac est nocif pour la santé et est à l’origine de coûts sociaux importants. Êtes-vous en faveur d’une législation interdisant l’usage du tabac dans les lieux publics ? » « Devrait-on enseigner à l’école comment avoir une alimentation saine et équilibrée ? »

Le libellé de la question peut influencer la direction de la réponse; il suffit parfois d’un seul mot pour changer les tendances apparentes.


« Devrait-on adopter une loi éliminant (eliminate) toute possibilité que les groupes de pression puissent donner d’immenses sommes d’argent à des candidats ? »

question de Ross Perrot, élections présidentielles américaines de 1992

autre formulation « Devrait-on adopter une loi qui interdise (prohibit) la contribution financière des groupes de pression, ou les groupes de pression ont-ils le droit de contribuer à la campagne du candidat de leur choix ? »

interdire ⇒ 40% en faveur éliminer ⇒ 99% en faveur,

10. Dans les questions à choix multiples, on s’assurera que les choix de réponse sont mutuellement exclusifs et exhaustifs. « Quel âge avez-vous?

O 20 à 30 ans O 30 à 40 ans O 40 à 50 ans O 50 et plus »

« Laquelle des catégories suivantes décrit le mieux votre emploi ?

O patron d’entreprise O professeur O manœuvre O fonctionnaire de l’Éducation nationale O fonctionnaire de l’État »

11. Quand on offre aux répondants des choix de réponse, il faut savoir qu’ils auront tendance à choisir:

- les éléments du centre dans une liste de nombres - les éléments extrêmes dans une liste de concepts - le second élément d’une liste de deux concepts.

Pour éviter ce genre de biais, on peut avoir recours à des questionnaires différents, assortis d’un plan de sondage adéquat. 12. Il peut y avoir une grande différence entre offrir au répondant le choix d’une de deux options, et n’en offrir qu’une seule au répondant. « Croyez-vous que la plupart des entreprises manufacturières qui mettent à pied des travailleurs dans les périodes de ralentissement pourraient faire en sorte d’éviter de telles mises à pied et de fournir du travail régulier à leurs employés pendant toute l’année ? »

les entreprises peuvent éviter les mises à pied 63% les entreprises ne peuvent pas éviter les mises à pied 22% sans opinion 15%

autre formulation


« Croyez-vous que la plupart des entreprises manufacturières qui mettent à pied des travailleurs dans les périodes de ralentissement pourraient faire en sorte d’éviter de telles mises à pied et de fournir du travail régulier à leurs employés pendant toute l’année , ou croyez-vous que les mises à pied sont inévitables ? »

les entreprises peuvent éviter les mises à pied 35% les entreprises ne peuvent pas éviter les mises à pied 41% sans opinion 21%

13. Les questions portant sur les opinions peuvent suggérer une réponse neutre, catégorie intermédiaire entre deux réponses opposées. Le fait de mentionner ou non la catégorie intermédiaire en offrant les choix de réponses a souvent un impact significatif sur les réponses collectées. Le principal effet de mentionner la catégorie intermédiaire est d’en augmenter la fréquence de réponse. Notons toutefois que l’augmentation des réponses à la catégorie intermédiaire ne provient pas de la non-réponse à l’opinion intermédiaire implicite (premier encadré ci-dessous). Il s’agirait plutôt d’un déplacement des « plus tièdes » qui avaient choisi de prendre une position extrême.

« Est-ce qu’il devrait être plus facile ou moins facile que maintenant d’obtenir le divorce dans ce pays ?

plus facile 28.9% moins facile 44.5% devrait rester comme maintenant 21.7% ne sait pas 4.9% »

« Est-ce qu’il devrait être plus facile ou moins facile que maintenant d’obtenir le divorce dans ce pays, ou est-ce que cela devrait rester comme maintenant ?"

plus facile 22.7% moins facile 32.7% devrait rester comme maintenant 40.2% ne sait pas 4.3% »

14. L’hypothèse fondamentale que fait le sondeur est que le répondant peut répondre à toutes les questions qui lui seront posées; le sondeur fait aussi l’hypothèse que le répondant acceptera de répondre! Il est alors naturel de ne pas proposer les options « Ne sait pas », « Sans opinion », ou « Refus ». Si les répondants ne se sentent pas libre de ne pas avoir d’opinion (et de le dire), on favorise alors des réponses artificielles susceptibles de varier avec les circonstances. Dans le cas d’enquêtes sur des sujets délicats, il est préférable de garder la confiance et la participation du répondant en lui offrant les « Ne sait pas », « Sans opinion », ou « Refus ».

« Voici une affirmation concernant les accords de Maastricht: Aujourd’hui, on peut voir l’effet bénéfique des accords de Maastricht sur l’économie française. Êtes-vous en accord, en désaccord ou sans opinion à ce sujet ? »

15. Une des formes les plus populaires de questions d’opinion est celle où l’on demande au répondant s’il est


en accord ou non avec une affirmation. C’est aussi la forme de question qui soulève le plus de critiques de la part des spécialistes de la conception des questionnaires. Le problème principal de cette forme de collecte de renseignements vient de la tendance qu’ont certaines personnes à toujours être d’accord, peu importe le sujet, surtout s’il y a plusieurs questions de ce type à la suite. Il est préférable de faire choisir le répondant parmi un ensemble de réponses relatives à l’affirmation elle-même, ou bien de graduer plus finement l’accord. 16. Pour mesurer les fréquences sans trop de peine, on a souvent recours à des échelles du type « effeuillage de marguerite ». Les catégories de réponse offertes au répondant sont trop floues et varient trop d’une personne à l’autre pour supporter l’analyse. Il est préférable de définir ce que l’on entend par « un peu » et « souvent ».

« On a souvent dit que l’abus de shampooing endommageait le cuir chevelu. À quelle fréquence vous lavez-vous les cheveux ?

O souvent O parfois O rarement O presque jamais »

« On a souvent dit que l’abus de shampooing endommageait le cuir chevelu. À quelle fréquence vous lavez-vous les cheveux ?

O presque tous les jours O au moins une fois par semaine, mais pas tous les jours O au moins une fois par mois, mais pas toutes les semaines O moins d’une fois par mois »

17. Le sens des questions peut varier avec le contexte où elles apparaissent dans un questionnaire. La réponse à une question peut dépendre de la question précédente si leur contenu est lié. Par exemple, des questions sur l’état de santé prendront une teinte différente selon qu’elles sont précédées ou non de questions sur des visites à des spécialistes de la santé, ou encore, une question portant sur le niveau apparent de l’impôt sur le revenu faisant suite à une série de questions portant sur le financement des programmes sociaux. On observe ces nuances dans les réponses parce que les répondants ont tendance à être cohérents (en dépit des intentions des sondeurs). On sait aussi que les questions en série sur un même sujet favorisent la remémoration. Les exemples suivants sont adaptés de Tourangeau (1989)3.

3 Tourangeau, (1989), POQ, vol. 53, pp. 495-524

la question sans « contexte » Est-ce que vous approuvez ou désapprouvez le fait que des vaisseaux de la U.S. Navy escortent des pétroliers koweïtiens dans le Golf persique ? (approuve ? désapprouve? )

la question dans un « contexte libanais » Croyez-vous, ou non, que les Américains ont commis une erreur en envoyant des Marines au Liban? (oui ? non ?) Croyez-vous qu’il est vraisemblable que la présence américaine en des endroits comme le Liban puisse devenir un autre Viêt-nam, avec une présence américaine de plus en plus importante? (oui ? non ?)


la question dans un « contexte iranien »

Croyez-vous que l’Iran est impliqué dans l’organisation et le financement du terrorisme? (oui ? non ?) Les États-Unis auraient-ils dû faire davantage contre l’Iran après la libération des otages pris durant le siège de l’ambassade, ou il n’y a rien que les États-Unis auraient pu faire ? (auraient dû faire plus ? rien de plus à faire ?)

Approbation de la politique américaine dans le Golf persique

sans contexte contexte libanais contexte iranien

43% 46% 54%

Le problème de l’ordre des questions reste entier. on recommande habituellement de passer des questions les plus générales aux questions les plus pointues et de séparer clairement les sujets. 18. Il est souvent nécessaire d’utiliser des exemples pour préciser ou expliquer un concept au répondant. Il faut cependant s’assurer que tous les exemples donnés sont pertinents et qu’ils induisent la représentation adéquate; on a tout avantage à passer par des groupes de discussion pour déterminer la pertinence des exemples. Si la question est difficile, il peut arriver que les exemples se retrouvent dans les réponses. Le travail peut être rémunéré ou non. La semaine dernière, combien d’heures de travail non rémunéré N.. a-t-il/elle effectué pour les membres de ce ménage ou pour d’autres personnes ? a. faire du bénévolat pour un organisme ou un groupe communautaire, par

ex. des organismes de jeunesse, des associations sportives pour les jeunes, des groupes religieux ou environnementaux.

b. faire des travaux ménagers, préparer les repas, faire les courses, etc.

c. effectuer des travaux d’entretien de la maison ou du terrain, ou des réparations à sa propre maison, par ex. peinturer ou décorer, etc.

Statistique Canada: Enquête sociale générale


Vous allez peut-être trouver les prochaines questions indiscrètes. Si vous ne voulez pas y répondre, dites-le moi, et nous passerons à la prochaine question. D3. À votre avis, quels sont les problèmes de santé les plus graves des

personnes de votre communauté ? Par exemple, le diabète, les allergies, le stress.

Ne sait pas O passer à D5 refuse O passer à D5

1.___________________________ 2.___________________________ 3.___________________________

D4. À votre avis, comment pourrait-on résoudre ces problèmes ? Par

exemple, en offrant des programmes de nutrition et davantage de services de santé.

Ne sait pas O refuse O

1.___________________________ 2.___________________________ 3.___________________________


C. La Formulation des questions et les Sujets difficiles

II. Les sujets difficiles Dans certains cas, la qualité du libellé et la forme de la question ne suffisent pas à assurer la précision de la réponse. Le problème réside dans le sujet même qu’aborde la question. C’est le cas des sujets délicats (victimisation, criminalité, intimité) ou des questions portant sur des événements passés. 1. Lorsqu’un répondant complète un questionnaire, que ce soit par lui-même (auto-dénombrement) ou en entrevue, il se sent toujours «jugé», et cela peut orienter sa réponse vers un choix qu’il considère «acceptable» ou «valorisant». Cette réaction se traduit par la brièveté des réponses, par le recours aux stéréotypes, ou de manière générale par des réponses que le répondant perçoit comme socialement désirables. De plus, ces questions peuvent contaminer les réponses à d’autres questions, soit par l’irritation ressentie, soit par un soucis d’entretenir une cohérence, même artificielle.

«Avez-vous déjà commis un vol à l’étalage ?»

«Au cours de l’année dernière, quel est le plus grand nombre de verres d’alcool que vous ayez consommé en une seule journée ?»

«Avez-vous voté aux dernières élections ?»

«Frappez-vous vos enfants pour les punir ?»

«Avez-vous déjà entendu parler de ... ?»

«Quelles émissions de télévision regardez-vous ?»

2. On a développé plusieurs techniques pour traiter les questions délicates:

- le recours à l’auto-dénombrement partiel ou complet - des garanties de confidentialité - l’anonymat des questionnaires - la justification suffisante des questions - l’approche graduelle du sujet:

A. Comme vous le savez peut-être, le vol à l’étalage est une question controversée dans notre communauté. Certains pensent qu’il s’agit d’un problème sérieux à propos duquel il faut absolument faire quelque chose, d’autres pensent qu’il ne s’agit pas d’un problème sérieux. Qu’en pensez-vous? Considérez-vous que le vol à l’étalage est un problème sérieux, modéré, léger, ou pas un problème du tout ? B. Au cours des dernières années, pensez-vous que la fréquence des vols à l’étalage a diminué, est restée la même ou a augmenté dans cette communauté ?


C. Reportez-vous au temps où vous étiez adolescent. Vous souvenez-vous avoir connu quelqu’un qui avait pris quelque chose dans un magasin sans l’avoir payé ? D. Dans votre cas, avez-vous déjà été tenté de prendre quelque chose dans un magasin sans le payer ? E. L’avez-vous pris ?

- dépersonnaliser les questions en recourant à des références à la communauté, aux voisins

- l’utilisation d’intervalles plutôt que de réponses libres pour le revenu

« À combien s’élève le revenu brut annuel pour l’ensemble des membres du ménage, toutes sources confondues ?

________,00FF


O moins de 75 000 FF O de 75 000 à 149 999 FF O de 150 000 à 299 999 FF O au moins 300 000 FF »

- l’approche indirecte ou sous divers angles avec les risques de confusion à l’analyse

- la méthode des réponses anonymisées (Warner, JASA, 1965): une proportion connue de l’échantillon

(disons la moitié) répond à une question balise du type «Êtes-vous né en juin?»; dans l’autre portion de l’échantillon, on demande au répondant de choisir au hasard l’une de deux enveloppes contenant ou bien la question balise, ou bien la question délicate; quelle que soit la question, on n’aura qu’à répondre par «oui» ou «non» sans avoir à dévoiler le libellé de la question choisie. On peut estimer le nombre de «oui» à la question délicate en invoquant le théorème de Bayes.

B) | iPr(B)Pr(Ou + A) | iPr(A)PR(Ou = Pr(OUI)

d’où:

3. Des recherches faites dans les vingt dernières années indiquent que les questions portant sur des événements passés présentent de nombreuses difficultés aux répondants. Ces difficultés sont d’autant plus grandes que les événements sont sans importance pour le répondant. Ces difficultés existent même pour des événements importants. (Cannel et al 1978).

«Au cours des douze derniers mois, combien de voyages aller-retour de plus de 50 km avez-vous fait ?»

Pr(A)

B)Pr(B) | Pr(Oui - Pr(Oui) = A) | Pr(Oui


«Quelles émissions de télévision avez-vous écouté la semaine dernière?»

4. Le sondeur fait face à deux types de problèmes de réponse: l’erreur de remémoration et l’erreur de télescopage. Dans le premier cas, le répondant peut ne pas se souvenir de certains événements ou les rapporter avec imprécision; plus la période de référence est longue, plus le répondant oubliera les détails. Dans le second, le répondant peut rapporter des événements survenus hors de la période de référence; en général, plus la période de référence est courte, plus le risque de télescopage est élevé. 5. Pour contrer les erreurs de mémoire, on peut:

- raccourcir la période de référence; cela aide la remémoration mais empire le télescopage; - utiliser une période délimitée par deux entrevues: les répondants sont interrogés au début et à la fin de la période de référence; les événements répétés à la fin de la période de référence sont écartés; - l’utilisation d’un carnet ou d’un registre comme dans les enquêtes de consommation ou de cotes d’écoute - aider la mémoire du répondant par l’utilisation d’indices; cela tend à augmenter le nombre d’événements rapportés, mais peut aussi entraîner une augmentation du télescopage; - guider le répondant par des questions préliminaires; l’exemple suivant est adapté de Loftus (1990)4

"Au cours des deux derniers mois, avez-vous fait mesurer votre pression sanguine? " (oui ? non ?) taux de télescopage 10.5%

Q1. Au cours des six derniers mois, avez-vous fait mesurer votre pression sanguine?

(oui ? non ?) Q2. Au cours des deux derniers mois, avez-vous fait mesurer votre pression sanguine?

(oui ? non ?) taux de télescopage 3.1%

4 Loftus, (1990), POQ, vol. 54, pp. 330-345


D. Agencement et Présentation d’un questionnaire

Une fois le contenu du questionnaire arrêté, if faut encore régler les problèmes de forme. Il s’agit de trouver une façon d’agencer efficacement les questions; il faut aussi disposer le tout sur la page: la question l’espace réponse, les introductions, les instructions, le découpage des sections, la page couverture...

I. L’Agencement des questions

1. Il faut déterminer le texte d’introduction, les données administratives, les questions préliminaires et les filtres, l’emplacement des questions délicates, l’emplacement des questions de classification, et l’enchaînement des questions. 2. L’introduction est le lieu où l’on doit réussir à convaincre le répondant de participer à l’enquête. Il faut donc donner le titre et le sujet de l’enquête, s’il y a lieu le nom de l’organisme qui commandite l’enquête. On donne une explication des objectifs de l’enquête et un aperçu de l’utilisation prévue des résultats. Indiquer comment l’enquête peut profiter au répondant est souvent un incitatif à la collaboration volontaire. On pourra indiquer le degré de confidentialité ou les accords de partage de renseignements; éventuellement, on pourra décrire sommairement la méthode de sélection des répondants. S’il s’agit d’une enquête postale, on indiquera où et quand retourner le questionnaire. 3. Toujours sur la page couverture, on trouvera les données administratives pertinentes: identification géographique, identification du répondant, confirmation de l’éligibilité du répondant pressenti, registre des contacts (jour, heure et résultat du contact), identité de l’enquêteur, état final du questionnaire (participation complète, partielle, refus, absence, ...), et la source des réponses (le répondant lui-même ou un substitut). 4. Les premières questions seront faciles, agréables, et s’appliqueront à tous. Elles se rapportent souvent à l’introduction et aux objectifs de l’enquête. 5. Les questions délicates apparaissent souvent à la fin de l’entrevue pour éviter qu’un refus à ces questions n’entraîne le rejet de tout le questionnaire. Cette pratique peut cependant favoriser un très faible taux de réponse à cause de l’effet cumulé de l’embarras et de la fatigue. Il vaut souvent mieux placer les questions délicates dans une section où elles ont le plus de signification par rapport aux autres questions. Si le sujet et la longueur du questionnaire le permettent, on pourra utiliser la technique de la progression expliquée à la section précédente. 6. Les données de classification servent à décrire les unités d’enquête en fonction de diverses caractéristiques sociales, économiques ou autres. Elles répondent principalement aux besoins des analyses et des tris croisés; elles peuvent aussi servir à la calibration des estimations. On place ces questions à la fin du questionnaire, sauf s’il s’agit d’un sujet d’enquête délicat. S’il s’agit de confirmer avec le répondant la valeur de ces variables, elles apparaîtront à la une pour confirmation rapide. 7. L’ordre des questions doit respecter la logique d’un répondant davantage que celle de l’analyste. On regroupera les questions traitant d’un même thème. On utilisera des questions préliminaires pour favoriser la remémoration. Afin de guider la réflexion du répondant, on utilisera de courts textes de transition


«Parlons maintenant de votre vie professionnelle...»

«Les prochaines questions se rapportent à ...»

«Maintenant que nous avons passé en revue...»

8. Les questionnaires commencent souvent par des questions filtres qui servent à choisir les répondants pertinents. Etes-vous un habitant du pays ou un visiteur ?"

O Visiteur � fin de l’entrevue O Habitant

Les aiguillages servent à éviter qu’un répondant se fasse poser une série de question qui ne le concernent pas.

«Q12. Avez-vous un permis de conduire valide ?"

O Non � passer à Q14 O Oui

"Q13. Conduisez-vous une automobile pour vous rendre au travail ?"

II. La Présentation du questionnaire 1. On parle ici de la mise en page, de la disposition du contenu en un ensemble homogène et pratique. Les règles qu’on propose ci-dessous s’appliquent bien sûr à tous les questionnaires d’enquête, mais elles sont encore plus importantes pour les questionnaires prévus pour l’auto-dénombrement. 2. La UNE: premier aperçu de l’enquête et première impression que laissera le sondeur, sa présentation doit donc être soignée. On trouvera donc à la une:

- le titre de l’enquête - le nom du sondeur, ou du promoteur - une brève introduction signée par un cadre de la maison de sondage ou par le commanditaire - des directives quant à la façon de remplir le questionnaire - la date à laquelle on doit remplir le questionnaire - la façon de retourner le questionnaire

3. Quand la manière de répondre à une question, ou à un bloc de questions, diffère des directives générales (par exemple «Pour les 3 questions suivantes, cochez toutes les cases qui s’appliquent à votre situation), on veillera à placer ces instructions particulières à proximité des questions où elles s’appliquent. Les messages au répondant, textes de transition et directives, sont souvent en encadré sur trame. On procède de la même façon avec les questionnaires pour enquêteurs. On indiquera les passages (aiguillages) par des flèches, de sorte que l’enchaînement des questions soit clair pour chacun. Quand c’est pertinent, on fournira au répondant une image ou un diagramme pour illustrer le concept qu’on tente de mesurer. 4. Dans la mesure du possible, la présentation et la formulation des questions doivent être uniformes. Ainsi, les conventions utilisées pour mettre en évidence les mots importants, pour indiquer les aiguillages, pour donner


des explications ou exemples, ou pour donner des directives, devraient demeurer constantes tout au long du questionnaire. 5. On veillera à regrouper les questions relatives à un sujet donné. Chaque section doit être précédée d’un titre et d’une brève introduction. 6. Les espaces réponse aux questions fermées doivent être disposés en colonne à gauche ou à droite des choix de réponse. Si on choisit de les placer à la droite, on voudra placer les espaces réponse près des choix de façon à faciliter la correspondance entre les premières et les seconds; un pointillé aidera souvent à s’y retrouver. « À combien s’élève le revenu brut annuel pour l’ensemble des membres du ménage, toutes sources confondues ?

O moins de 75 000 € O de 75 000 à 149 999 € O de 150 000 à 299 999 € O au moins 300 000 € »

On remarquera que la longueur de la réponse à une question ouverte dépend de l’espace réponse fourni. On veillera à laisser assez d’espace pour que les répondants puissent expliquer leur réponse. On veillera à ne pas les décourager en laissant une page vierge pour chaque question ouverte. Dans le cas de données numériques, on en facilitera la saisie en utilisant des cases plutôt que des espaces en blanc... « À combien s’élève le revenu brut annuel pour l’ensemble des membres du ménage, toutes sources confondues ? ____________________ € »


,00 € »

... en prenant soin de prévoir assez de cases! 7. Pour faciliter (et accélérer) la saisie des données, il est important de disposer les espaces réponse de façon uniforme à l’intérieur d’un même questionnaire. On inscrit les codes pour les réponses aux questions fermées près des cases réponse, si possible en utilisant une couleur ou une police différente de celle utilisée pour le corps du questionnaire. «À combien s’élève le revenu brut annuel pour l’ensemble des membres du ménage, toutes sources confondues ? moins de 75 000 € O1 de 75 000 à 149 999 € O2 de 150 000 à 299 999 € O3 au moins 300 000 € O4 »

Si on a prévu une opération de codage des réponses aux questions ouvertes avant la saisie, on peut prévoir un espace code près de l’espace réponse.


« Pour qui avez-vous travaillé l’an dernier (nom de l’entreprise, organisme)?

------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------

« Quelle était la nature de l’entreprise, de l’industrie ou du service?" ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------ ------------------------------------------------------------------------------------------------------------------

8. On laissera souvent à la fin du questionnaire un espace pour les commentaires du répondant ou de l’enquêteur. On pensera à remercier le répondant de sa collaboration. 9. Si on doit produire le questionnaire en plusieurs langues, on préférera une formule par langue. L’usage de plusieurs langues sur la même page est à éviter. 10. Il faut aussi penser au papier (son épaisseur, sa taille, sa couleur), à l’impression, aux couleurs, aux erreurs...


En résumé, pour réussir un questionnaire, il faut...

distinguer l’information que l’on veut recueillir des questions que l’on doit poser

que le questionnaire facilite la tâche du répondant plutôt que celle de l’analyste

connaître l’utilité de chaque question posée

utiliser un langage clair et sans ambiguïté (pour le

répondant)

tenir compte de la méthode de recueil

que l’inscription des réponses sur le questionnaire simplifie la réponse et le traitement

tester, tester,

tester,H

Documents

La Conception des questionnaires - Gestion Orientée vers ... · Jean Dumais, Université Lyon 2 Conception de questionnaires page 1 La Conception des questionnaires A. Introduction