77
Méthodes de sondage - SOL3017 Notes de cours, deuxième partie L'échantillonnage La gestion du terrain Département de sociologie Université de Montréal professeur : Claire Durand © Claire Durand 2002

Méthodes de sondage - SOL3017 Notes de cours, … · - permet l'utilisation de méthodes d'estimation et de méthodes d'inférence et d'analyse statistique qui toutes sont basées

  • Upload
    lytruc

  • View
    222

  • Download
    0

Embed Size (px)

Citation preview

Méthodes de sondage - SOL3017

Notes de cours, deuxième partie

L'échantillonnage

La gestion du terrain

Département de sociologie

Université de Montréal

professeur : Claire Durand

© Claire Durand 2002

Table des matières

1. Qu'est-ce qu'un échantillon, pourquoi un échantillon? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

2. Les divers types d'échantillons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.1 L’échantillon probabiliste: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

a) Il y a en gros deux “façons” de tirer un échantillon probabiliste. . . . . . . . . . . . . . . . . 2b) La probabilité de sélection peut être égale ou inégale; elle peut dépendre de divers

facteurs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2c) Un échantillon peut être stratifié, proportionnel ou non-proportionnel . . . . . . . . . . . . 3d) L’échantillon peut être tiré par groupes d’unités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4e) Un échantillon peut être apparié . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4f) Les méthodes de tirage, de regroupement, de stratification peuvent être combinées en

plusieurs étapes, degrés, etc. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52.2 L’échantillon non-probabiliste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

3. Marge d'erreur et taille requise de l’échantillon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.1 La distribution d'échantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73.2 Le calcul de la marge d'erreur en fonction du seuil de confiance recherché . . . . . . . . . . . . . . 83.3 La détermination de la taille de l'échantillon nécessaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

4. Échantillon théorique, échantillon de départ, base de sondage et gestion de la collecte . . . . . . . . . . . 124.1 La validité des unités sélectionnées ou la qualité de la liste. . . . . . . . . . . . . . . . . . . . . . . . . 124.2 L'éligibilité des unités sélectionnées ou la qualité des personnes . . . . . . . . . . . . . . . . . . . . 124.3 Le taux de réponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134.4 L'échantillon théorique, l'échantillon de départ et le rendement du plan échantillonnal . . . 144.5 La fraction de sélection, le pas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144.6 La pondération . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154.7 Synthèse des étapes à suivre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

5. Échantillonnage et planification des opérations; quelques principes de base . . . . . . . . . . . . . . . . . . . 195.1 La gestion du terrain- questionnaire par la poste: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205.2 La gestion du terrain - questionnaire par téléphone: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215.3 La gestion informatisée du terrain - avantages et inconvénients . . . . . . . . . . . . . . . . . . . . . 225.4 Le déroulement des opérations type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

6. La qualité des enquêtes par sondage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256.1 Les critères de qualité des sondages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

6.1.1 La base de sondage doit comprendre tous les éléments de la population . . . . . . . 256.1.2 Les membres de l'échantillon doivent être rejoints et accepter de répondre . . . . . 26

6.2 Les facteurs qui influencent la qualité des sondages et le taux de réponse . . . . . . . . . . . . . . 276.2.1 Effets de la base de sondage et de la sélection . . . . . . . . . . . . . . . . . . . . . . . . . . . 286.2.2 Effet de la gestion du personnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286.2.3 Effet du suivi de terrain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 296.2.4 Des déterminants de la conduite des pratiques méthodologiques . . . . . . . . . . . . . 29

6.3 Exemples : l’estimation de l’intention de vote . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316.3.1 La question des non rejoints et de leur possible intention de vote, éléments de

réflexion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 316.3.2. L’effet des facteurs méthodologiques sur la qualité de l’estimation des intentions

de vote : La non-réponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35Références . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 3

Appendice 1 Exemples de stratégies d’échantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45Exemple 1. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46Exemple 2. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

Appendice IIPetits problèmes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53Exercices à partir des données d’un sondage Som publié par La Presse les 8 et 9 mars 1997

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57

Appendice lII Les divers types de documents et de rapports . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58A. Proposition de service: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59B. Rapport de pré-test: . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60C. Rapport méthodologique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62D. Plan de code . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63E. Rapport d'analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

Appendice IV C. Durand et S. Vachon (1997), La gestion des appels et l’utilisation de logiciels ITAO par lesfirmes de sondage privées. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 1

1. Qu'est-ce qu'un échantillon, pourquoi un échantillon?

Un échantillon est constitué dès que l'on sélectionne un nombre restreint d'unités à partir d'unepopulation d'unités. Cette population doit être définie de telle manière que l'on peut toujours savoir siune unité fait partie de la population.

Pourquoi échantillonner

- réduire les coûts;- assurer un meilleur contrôle des opérations et une surveillance plus rigoureuse;- accélérer la cueillette et le traitement des données;- à long terme, réduire le fardeau des informateurs.

Note:"Les chercheurs universitaires effectuent souvent des sondages auprès des étudiants quisuivent des cours magistraux en grands groupes. La facilité et le coût moindre d'une telleméthode expliquent sa popularité mais elle donne rarement des résultats d'une quelconquevaleur. Ce type de méthode peut servir pour un pré-test mais ne devrait pas être utilisé pourune étude visant à décrire la population étudiante." Babbie, E. (1977) Survey researchmethods. p. 108

Définitions:

La population est donc constituée de l’ensemble des unités auxquelles les résultats de l'enquêtes'appliqueront.

La base d’échantillonnage ou base de sondage est constituée par la liste des unités d'échantillonnage(liste matérielle ou conceptuelle), c'est-à-dire liste des unités à partir de laquelle se fera la sélection. Cetteliste doit constituer la meilleure approximation possible de la population : Chaque membre de lapopulation doit y apparaître une fois et une seule fois.

Exemple: Si je prends les diplômés de bacc, maîtrise et doctorat des cinq dernières années, certainespersonnes peuvent apparaître deux ou même trois fois dans la liste, i.e. en tant que diplômés de 1 er, 2ème et 3 ème cycle; elles auront donc plus d'une chance d'être choisies; je devrais donc épurer la listede toutes les doubles ou les triples entrées avant de tirer l'échantillon.

L’unité d'échantillonnage est constituée de chaque "membre" de la base d’échantillonnage. Elle renvoieau niveau auquel se fait l'échantillonnage; l'unité d'échantillonnage peut être un ménage (un appartementou un numéro de téléphone), une école, un îlot, un étudiant.

A différencier de :- L’unité d'analyse - le niveau sur lequel porte l'analyse; on sélectionne des ménages mais l’analyse portesur des individus- L’unité déclarante - celle relative à l'informateur qui donne des informations sur d’autres personnes;par exemple, une mère interrogée sur ses enfants.- L’unité de référence - celle sur laquelle on demande des informations; par exemple, les enfants pourlesquels la mère a donné des informations.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 2

2. Les divers types d'échantillons

Après avoir constitué la base de sondage, la deuxième étape consiste à déterminer la meilleure façond’échantillonner. Plusieurs stratégies s’offrent à nous. Il faut déterminer laquelle sera la plus efficientetout en permettant de généraliser à la population.

2.1 L’échantillon probabiliste:

6 Chaque unité doit avoir une probabilité connue d'être choisie. Cette probabilité ne peut pas être nullemais elle n’est pas nécessairement égale pour toutes les unités.6 Cette probabilité ne doit pas dépendre de circonstances entraînant un biais (Ex. personnes répondanthabituellement au téléphone)

Pourquoi utiliser un échantillon de type probabiliste?

- permet l'utilisation de méthodes d'estimation et de méthodes d'inférence et d'analyse statistique quitoutes sont basées sur la théorie des probabilités.

- permet de connaître et donc de contrôler les biais.

Type d'échantillons probabilistes:

a) Il y a en gros deux “façons” de tirer un échantillon probabiliste.

- le tirage aléatoire simple C'est le hasard pur, l'équivalent de tirer des noms d'un chapeau ou du tirageau hasard à la loterie. Pour le réaliser, concrètement, il faut avoir une liste de la population – la based’échantillonnage-- et numéroter chaque unité de la liste; ensuite, il faut soit utiliser une table denombres aléatoires qui déterminera quelles unités sont choisies ou, si on a une liste sur fichierinformatique, utiliser une procédure informatique (BASIC, PASCAL, SPSS, etc.).

- le tirage aléatoire systématique : Il s'agit ici de tirer seulement la première unité de la liste au hasard,et de prendre ensuite les unités à un intervalle prédéterminé (une unité à toutes les X unités). Il faut faireou avoir une liste - au moins conceptuelle - de la population et donc savoir combien d'unités ellecomprend. Il faut ensuite déterminer l’intervalle en fonction du nombre d'unités requises dansl'échantillon et déterminer au hasard la première unité. Pour procéder, on choisit la première unité et onchoisit ensuite les unités en en prenant une à tous les intervalles. Ainsi, si l’intervalle est de 10 et que lenombre choisi au hasard est 7, on prendra les unités suivantes : 7, 17, 27, 37,...Note : La liste ne doit pas avoir un ordre qui pourrait entraîner un biais : Par exemple, si j'échantillonneun logement sur trois dans un îlot où il n'y a que des triplex, je n'aurais dans l'échantillon que despersonnes vivant au rez-de chaussée -- et relativement plus de proriétaires -- ou que des personnes vivantau deuxième étage et plus de locataires...

b) La probabilité de sélection peut être égale ou inégale; elle peut dépendre de divers facteurs.

Si l’échantillon est à probabilité égale, chaque unité a exactement la même probabilité d’être choisie.Par contre, dans l’échantillon à probabilité inégale, la probabilité de sélection pourrait dépendre, parexemple, de la fréquence d’occupation d’un lieu, du chiffre d’affaires de l’entreprise, du nombre d’élèvesdans l’établissement. Concrètement, je peux faire un échantillon des commissions scolaires au Québecoù chacune d’elles, quelque soit sa taille, a la même probabilité d’être choisie. La commission scolairede Montréal (CSDM) aurait donc la même probabilité d’être dans l’échantillon que celle de la Basse Côtenord. Par contre, dans un échantillon à probabilité inégale, la probabilité d’être dans l’échantillon étantfonction du nombre d’étudiants, la CSDM aurait nettement plus de chance d’être dans l’échantillon que

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 3

toute autre commission scolaire au Québec.

Échantillon aléatoire simple à probabilités égales, illustration tirée de Dussaix et Grosbras (1994):

• m • • m

• m m • •

• • • • m

c) Un échantillon peut être stratifié, proportionnel ou non-proportionnel

- échantillon stratifié On parle d'échantillon stratifié lorsque la fraction de sélection diffère en fonctionde certaines caractéristiques de la population (sexe, région, statut, âge, etc.). On stratifie pour permettreque toutes les catégories de la population qui nous intéressent soient représentées en nombre suffisant.Le tirage de l’échantillon proprement dit peut être aléatoire simple ou systématique mais se faitindépendamment pour chacune des sous-populations (strates) définies.

“La stratification est un regroupement des unités de la base de sondage en sections relativementhomogènes appelées strates. L’échantillon final est composé d’échantillons prélevés indépendammentdans chacune des strates.... On a recours à la stratification pour réduire l’erreur d’échantillonnage,... pourpermettre un meilleur contrôle des coûts, pour avoir des estimateurs par strate,...” Dussaix et Grosbras,1994).

Les échantillons stratifiés peuvent être proportionnels, c’est-à-dire que l’on tire proportionnellement lemême nombre d’unités dans chaque strate; il s’agit alors de s’assurer d’une bonne représentationproportionnelle des strates. Ils peuvent être non-proportionnels, c’est-à-dire que certaines strates sontsur-représentées par rapport à leur proportion réelle dans la population. Il s’agit alors de s’assurerd’avoir un échantillon suffisant dans chaque strate.

Ainsi, les échantillons utilisés pour les sondages électoraux au Québec sont à peu près toujours deséchantillons stratifiés non-proportionnels. Un exemple typique est la répartition en deux strates, unepour la région métropolitaine de Montréal, et une pour le reste du Québec. L’échantillon est constituéde telle sorte que les deux strates soient à peu près de même taille. En procédant ainsi, on “gonfle”l’échantillon de Montréal ce qui permet d’avoir une meilleure représentation de la diversité des pointsde vue et des origines (plus d’anglophones et d’allophones dans l’échantillon). En plus, on réduit lescoûts puisqu’il y a moins d’appels interurbains à faire (moins d’appels en province).

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 4

Échantillon aléatoire stratifié non-proportionnel, illustration tirée de Dussaix et Grosbras (1994) :

• m • • • • m • • • m •

m • m • m • • • • m • m

• m • • • m • m • • m •

m • • • • m • • • • m m

d) L’échantillon peut être tiré par groupes d’unités

- échantillon par grappes - aréolaire Il s’agit ici de sélectionner des ensembles (unités collectives dutype unités de recensement, pâtés de maison, écoles, classes). Dans l'échantillonnage par grappes, onsélectionnera un certain nombre d'unités puis les unités contiguës (grappes). Dans l'échantillonnagearéolaire, on sélectionne directement les ensembles. La base d’échantillonnage aréolaire est constituéede la liste des unités collectives à partir desquelles la sélection se fera.

Ainsi, par exemple, un échantillon en grappes serait constitué si on sélectionnait au hasard un certainnombre d’étudiants de l’université et qu’ensuite, on constitue l’échantillon en prenant tous les étudiantsqui suivent un cours en même temps que chacun des étudiants sélectionnés. Chaque groupe d’étudiantssuivant les cours choisis est une “grappe”. Dans un échantillon aréolaire, je sélectionne les groupesd’étudiants à partir d’une liste de cours. Chaque unité est constituée par l’ensemble des étudiants suivantles cours choisis.

Échantillon par grappes, illustration tirée de Dussaix et Grosbras (1994) :

m m m • • • • • m m • • •

m m m • • • • • m m • • •

• • m m m • • • • • • m m m

• • m m m • • • • • • m m m

• • • m m m m • • • • • •

• • • m m m m • • • • • •

e) Un échantillon peut être apparié.

- échantillon apparié : Il s'agit de sélectionner des échantillons de telle sorte qu'il y ait unerelation deux à deux entre les membres des deux échantillons au plan des caractéristiques ou decertaines relations. Exemple : un échantillon d'étudiants, un échantillon constitué des parentsdes étudiants sélectionnés et un autre constitué des professeurs des mêmes étudiants.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 5

f) Les méthodes de tirage, de regroupement, de stratification peuvent être combinées en plusieursétapes, degrés, etc.

- Toute combinaison de ces méthodes (plusieurs degrés, plusieurs phases) - plusieurs phases: sélection d'unités, prise d'information, sélection sur la base desinformations prises, nouvelle prise d'information, ...- plusieurs degrés: sélection de commissions scolaires, d'écoles à l'intérieur desCommissions scolaires, d'élèves et ou d'enseignants à l'intérieur des écoles. Le casclassique de l'échantillonnage à plusieurs degrés est celui de l'échantillonnage pour lessondages téléphoniques auprès de la population. On sélectionne un ménage (représentépar un numéro de téléphone) et ensuite, une personne à l'intérieur du ménage au moyend'une grille de sélection au hasard.

Échantillon à deux ou plusieurs degrés, illustration tirée de Dussaix et Grosbras (1994) :

• m • • m • • • • • • • m • •

m • • • • m • • • • • • • m m

• • m • • • • • • • • m •

• • • m • • • • • • • • •

• • • m • • • • • • m • m

• m • • • • • • • • m • • •

• • m • m • • • • m • • • •

On devra recourir à une hiérarchie de bases d’échantillonnage: Il peut y avoir des bases à plusieursniveaux lorsque l'on a une stratégie en plusieurs phases ou à plusieurs degrés. Par exemple, il y aura aupremier niveau une “liste” de numéros de téléphone à partir duquel sera tiré un échantillon renvoyantaux ménages. Au deuxième niveau, à l’intérieur des ménages choisis, il y aura une liste des membres duménage à partir de laquelle on choisira au hasard la personne qui répondra au sondage.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 6

2.2 L’échantillon non-probabiliste:

- L’échantillon raisonné - au jugé : Sélectionne les "unités considérées caractéristiques" duphénomène à l'étude. Souvent utilisé en méthodologie qualitative, ce type d'échantillon pourraitêtre justifié pour une étude en sociologie au premier niveau de sélection. Il s’agit ici de choisirdes unités (quartiers, îlots, écoles,...) en fonction de certaines caractéristiques. L'échantillonnageà l'intérieur de chacune des grandes unités se fait ensuite au hasard. On ne peut alors généraliserqu'aux unités choisies. L'avantage consiste à permettre de recueillir des caractéristiquesobjectives des grandes unités.

Par exemple, il pourrait être justifié de choisir des pâtés de maison (ilots) “types” en fonctiond’un certain nombre de caractéristiques de composition sociale que l’on veut contrôler. Par lasuite, on effectue une sélection au hasard des unités d’habitation dans chaque îlot.

- L’échantillon par quota : Il s’agit ici de déterminer le nombre de personnes possédant chaquecaractéristique de base que l'on veut dans l'échantillon et d’arrêter de recueillir les données dèsque ce nombre (le quota) est atteint. (Exemples: focus group, échantillon par quota "standard").L'échantillonnage par quota, encore pratiqué par certaines firmes de sondage, a été longtempsle principal mode d'échantillonnage. Strictement parlant, il ne permet pas l'inférence statistiqueet il est moins fiable en ce sens que les résultats sont plus variables d’un échantillon à l’autre(voir Vachon, Durand et Blais, 1999). Ce type d’échantillon est pratiquement le seul utilisé parles firmes de sondage dans plusieurs pays d’Europe, des considérations techniques, pratiques etsociologiques ayant retardé l’utilisation d’échantillons probabilistes.

- échantillon de volontaires : "Chercheur conduisant une étude sur ... cherche volontaires pourparticiper à une expérience; Centre de recherche sur le syndrome pré-menstruel cherche femmespour participer... si vous avez un ou plusieurs des symptômes suivants, prière de communiqueravec nous....". En aucun cas, l'échantillonnage de volontaires ne peut être considéré commereprésentatif d'une population. On l'utilise uniquement lorsque l'on peut prétendre que lesphénomènes étudiés sont intra-individuels et universels, lorsque l'on étudie des processus poureux-mêmes.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 7

3. Marge d'erreur et taille requise de l’échantillon

La troisième étape du processus consiste à déterminer la taille de l’échantillon nécessaire pour s’assurerd’une fiabilité acceptable des données. Les notions de distribution d’échantillonnage et de marged’erreur sont essentielles pour déterminer cette taille.

3.1 La distribution d'échantillonnage

Il y a trois types de distributions:

Deux sont bien connues:

- La distribution d’un échantillon à laquelle sont associées des statistiques

moyenne de l'échantillon : X6écart-type de l'échantillon : svariance de l'échantillon : s2

- La distribution de la population à laquelle sont associés des paramètres

moyenne de la population : :écart-type de la population : Fvariance de la population : F2

- Si on prenait tous les échantillons que l'on peut tirer d'une même population, on obtiendrait unedistribution des échantillons, distribution à laquelle sont associées les statistiques de la distributiond'échantillonnage:

La moyenne des échantillons : Elle s'approche de la moyenne de la population avec l'augmentation dunombre d'échantillons.

L’erreur-type (s/%n6) est l’écart-type de la distribution des moyennes des échantillons.

Pour une proportion, l'erreur-type=

Quelque soit le type de distribution de la population, la distribution des moyennes des échantillons tirésde la population tendra vers une distribution normale avec l'augmentation du nombre d'échantillons tirés.Cette distribution aura une moyenne : et une variance de F2/N : C'est le théorème central limite.

CECI CONSTITUE LA BASE DE TOUTES LES STATISTIQUES INFÉRENTIELLES.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 8

3.2 Le calcul de la marge d'erreur en fonction du seuil de confiance recherché

- SEUIL DE CONFIANCE "

La probabilité qu'un échantillon représente bien une population, étant donné les lois des probabilités senomme le seuil de confiance: C'est la certitude que l'on a quant à la justesse des résultats. Le critère quel'on retient habituellement est de 95%, c'est-à-dire que si on prend plusieurs échantillons d'une mêmepopulation, 19 fois sur 20 (95% des fois) l'échantillon constituera une représentation fidèle de cettepopulation. Cette proportion correspond à 1,96 écart-type sur la courbe normale. Cette valeur est leZ", c’est-à-dire la surface sous la courbe normale pour 1-" (i.e. ,95).

Si l’on désirait un seuil de confiance plus grand, 99% par exemple, cette proportion correspondrait à unZ" de 2,58 alors qu’à l’inverse, un seuil de confiance de 90% correspond à un Z" 1,67.

- MARGE D'ERREUR - INTERVALLE DE CONFIANCE :

La marge d'erreur, c'est la précision du résultat obtenu étant donné le seuil de confiance que l'on est prêtà accepter. La marge d'erreur est alors égale à Z" erreur-type et la formule est la suivante:

où Z" est la surface où l'on retrouve 1-" de la courbe normale (Z") et donc 1,96 lorsque le seuil deconfiance accepté est de 95%,p est la proportion de personnes ayant le comportement dont on estime la précision,

et n est la taille de l'échantillon.

Lorsque la population est infinie (plus grande que 20 fois "n") et que la proportion est maximale (.5),cette formule est équivalente à 1/%n6.

6 D'où la note dans la présentation des résultats de sondage tirés d'échantillon d'environ 1000 personnes:

“La marge d'erreur maximale est de 3,1%” i.e 1/%16060606 ou

et ce 19 fois sur 20 (i.e dans 95% des cas)

Note 1: On calcule habituellement pour les sondages la marge d’erreur maximale, c’est-à-direcelle qui correspond à une proportion de ,5. C’est en effet quand la population se divise moitiémoitié que la marge d’erreur des résultats est la plus grande. Par contre, pour chacun desrésultats présentés, il est possible de calculer la marge d’erreur spécifique. Pour ce faire, il suffitd’utiliser la formule présentée. Si la proportion dont on veut estimer la marge d’erreur est de32%, il suffit de remplacer (,5*(1-,5)) par (,32*(1-,32)), ce qui donne (,32*,68)

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 9

Note 2: Il y a une relation entre la certitude (le seuil de confiance) et la marge d’erreur. On peutconstater que plus on veut une grande certitude, plus la marge d’erreur est grande et moinsl'estimation apparaît précise; par contre, moins la certitude est grande, plus l'estimation apparaîtprécise.

- Lorsque la population est "finie" i.e. moins que 20 fois l'échantillon, on ajoute ce qu'on appelleune correction pour échantillon fini. La formule de la marge d'erreur devient la suivante:

où Z" est la surface où l'on retrouve 1-" de la courbe normale (Z") et donc 1,96 lorsque le seuil deconfiance accepté est de 95%,p est la proportion de personnes ayant le comportement dont on estime la précision,n est la taille de l'échantillon,

et N est la taille de la base échantillonnale.

Ainsi, pour un échantillon de 1000 personnes et une base échantillonnale comprenant 6,800noms, une seuil de confiance de 95% et une proportion maximale (,5), on aurait l’équationsuivante:

ce qui donne 2,86% (plutôt que 3,1% s’il s’agissait d’un échantillon provenant d’unepopulation infinie).

L’intervalle de confiance d’une proportion est égal à cette proportion ± la marge d’erreur. Ainsipour l’exemple précédent, la marge d’erreur est de 50% ± 2,86, c’est-à-dire que la proportiondans la population se situe vraisemblablement entre 47,14% et 52,86%. C’est ce qu’on appellel’intervalle de confiance.

3.3 La détermination de la taille de l'échantillon nécessaire :

C'est sur la même formule, la formule de la marge d'erreur pour population infinie, que l'on sebase pour, à l'inverse, déterminer la taille de l'échantillon nécessaire pour obtenir la précisionvoulue (marge d'erreur), au seuil de confiance déterminé, pour une proportion maximale (ou àl’occasion pour une proportion spécifique connue).

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 10

Pour connaître la taille "n" nécessaire pour avoir une marge d'erreur déterminée pour uneproportion déterminée à un seuil de confiance ", il suffit d'inverser l'équation de la marged'erreur. Pour une population infinie, la formule sera donc la suivante:

où Z" est la surface où l'on retrouve 1-" de la courbe normale (Z") et donc 1,96 lorsque le seuil deconfiance accepté est de 95%,p est la proportion de personnes ayant le comportement dont on estime la précision,

et e est la marge d’erreur que l’on est prêt à accepter en décimales i.e 2% s’inscrit ,02.

Dans le cas d'une proportion maximale de 50% (,5), d’un seuil de confiance de 95% et d'unemarge d'erreur acceptée de ± 5% (,05), on aura le calcul suivant:

Il faut donc un minimum de 384 répondants pour avoir une marge d’erreur maximale de 5% àun seuil de confiance de 95%.

Si la proportion attendue du comportement était de 45% et que l'on acceptait une marge d'erreurassez faible telle 2%, les résultats seraient les suivants :

Il faudrait au moins 2377 répondants pour obtenir une marge d’erreur aussi faible.

On voit que le nombre d'unités nécessaire augmente très vite lorsque l'on veut réduiresubstantiellement la marge d'erreur, surtout lorsque la population est répartie relativementégalement en deux groupes. Plus la proportion est faible, moins il faut d'unités pour obtenir unemarge d'erreur acceptable. Ainsi, si la proportion est de 10% et que l'on accepte une marged'erreur de 2%, l'échantillon nécessaire est de 864.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 11

Tout comme pour la marge d’erreur, il existe également une formule qui permet de corrigerpour les populations finies, c’est-à-dire lorsque l’on peut penser que l’échantillon sera plusgrand que un vingtième (1/20) de la population. Voici la formule. Elle peut paraître complexemais il suffit de mettre les bons chiffres au bon endroit et de faire les calculs!

où Z" est la surface où l'on retrouve 1-" de la courbe normale (Z") et donc 1,96 lorsque le seuil deconfiance accepté est de 95%,p est la proportion de personnes ayant le comportement dont on estime la précision,e est la marge d’erreur que l’on est prêt à accepter en décimales i.e 2% s’inscrit ,02,

et N est la taille de la base échantillonnale.

Note: Le tableau I en appendice donne les résultats approximatifs de ces calculs pour diversesproportions et marges d'erreur avec un seuil de confiance de 95%. On peut également consulterdifférents sites sur Internet qui donne le résultat de ces calculs. Il suffit alors de savoir quelchiffre mettre à quel endroit!

Note: A l’aide de ces formules, on aura déterminé la taille de l'échantillon final – que l’onappelle aussi l’échantillon théorique – que l'on veut obtenir. Cet échantillon serait équivalentà l'échantillon de départ dans un monde parfait, c'est-à-dire un monde où les listes necomportent aucune erreur, tout le monde peut être rejoint, est disponible, en bonne santé etintéressé à ma fabuleuse enquête. Mais... la vie n'est pas parfaite, d'où les pages suivantes.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 12

4. Échantillon théorique, échantillon de départ, base de sondage et gestion de la collecte

Après avoir déterminé l’échantillon théorique nécessaire, il faut déterminer combien d’unitésde départ il est nécessaire de tirer pour obtenir le nombre théorique voulu. Ceci constitue laquatrième étape du processus. La qualité de la liste de même que l'éligibilité des unités inscritessur la liste entraînent nécessairement que l’on doive tirer plus d’unités dans l’échantillon dedépart pour obtenir l’échantillon théorique. Par contre, on parlerait à l’inverse de biais de laliste lorsque l'on estime que certaines unités qui font partie de la population tel que définien'apparaissent pas dans la liste (Exemple : numéros de téléphones confidentiels ou nouveauxabonnés dans une liste prise dans le bottin téléphonique).

4.1 La validité des unités sélectionnées ou la qualité de la liste.

Il s'agit ici de tenir compte des erreurs et des imperfections de la liste utilisée comme based'échantillonnage. Les unités non valides sont celles qui ne devraient pas figurer sur la liste sicelle-ci était à jour et sans erreur et pouvait correspondre parfaitement à la population. Lorsque l'on utilise le GANT , c’est-à-dire la génération aléatoire de numéros de téléphones(RDD pour random digit dialing en anglais) pour générer des numéros de téléphone au hasard(en utilisant un programme informatique), une certaine proportion des numéros ainsi générésne sont pas attribués (Pas de service), sont des lignes FAX, DATA, commerciales (Nonrésidentiel). L'ensemble des numéros non-attribués et non-résidentiels constituent des numérosnon-valides.

En fait, quelque soit la base échantillonnale, il y a habituellement une proportion de la base quiest non-valide. On doit estimer cette proportion de façon à déterminer le plus précisémentpossible l'échantillon de départ requis.

De même, dans un sondage auprès des étudiants, les étudiants qui ont abandonné leurs étudesmais qui sont encore sur la liste seront considérés non-valides : si la liste était à jour, leurs nomsn'y apparaîtraient pas.

4.2 L'éligibilité des unités sélectionnées ou la qualité des personnes

En fonction de la définition de la population et de la base échantillonnale choisie, certainesunités peuvent être considérées comme non-éligibles. Ainsi, si la population d'intérêt est définiecomme l'ensemble des personnes de 18 ans et plus pouvant conduire une entrevue de 10 minutesen français ou en anglais, les personnes ne pouvant converser en français ou en anglais(problème de langue), les personnes malades ou confuses (Age, maladie) seront considéréescomme étant des unités valides mais non-éligibles. De même, les personnes n'ayant pas droitde vote sont non-éligibles dans un sondage sur l'intention de vote.

De même, si la population est définie comme celle des jeunes de 18 à 29 ans, les personnes demoins de 18 ans et de plus de 29 ans seront considérées comme non-éligibles. Dans ce cas, ondevra estimer la proportion des ménages comprenant un jeune de 18 à 29 ans, c’est-à-direl’incidence dans la population. L’éligibilité, c’est-à-dire la proportion des éligibles surl'ensemble des éligibles et des non-éligibles et donc sur l’ensemble des unités valides, doit tenircompte de l’incidence lorsque l’on échantillonne un sous-ensemble d’une population.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 13

Le taux d'éligibilité dans un sondage auprès de l’ensemble de la population est habituellementd'environ 95%. Le taux d’incidence varie en fonction de la population à l’étude.

4.3 Le taux de réponse

Parmi les personnes éligibles, certaines ne pourront pas être rejointes pour diverses raisons:Dans le cas des sondages auprès des ménages, on classe habituellement les non-réponses de lafaçon suivante:

refus du ménage: La personne qui répond au téléphone ou à la porte refuse que l'on fasse lasélection ou refuse de nous permettre de parler à la personne sélectionnée.

refus de la personne: La personne sélectionnée refuse de répondre au questionnaire.

pas de réponse: Personne ne répond après plusieurs appels téléphoniques ou visites effectuésà différentes heures.

absence prolongée: La personne sélectionnée est absente pour la durée de la collecte desdonnées (partie en voyage, en vacances, etc.).

incomplet: La personne sélectionnée a été rejointe et l'entrevue commencée mais l'entrevue n'apas pu être complétée avant la fin de la période de cueillette.

Dans les sondages téléphoniques, on vise un taux de réponse (nombre de questionnairescomplétés divisé par le nombre d'unités éligibles) de plus de 60%.

Dans le cas des sondages postaux, l'absence de retour de questionnaire et le retour dequestionnaires non remplis sont considérés comme des non-réponses. Les mauvaises adressessont habituellement considérées comme non-valides.

Dans les sondages postaux, un taux de réponse d'environ 50% (nombre de questionnairesretournés complétés divisé par le nombre d'unités éligibles) devrait être visé.

Si on peut difficilement contrôler le taux de validité et le taux d'éligibilité, le contrôle du tauxde réponse constitue le centre même de tous les efforts dans le déroulement d'un sondagepuisque, si le taux de réponse est trop bas, on pourrait penser que ceux qui ne répondent pasont des caractéristiques particulières susceptibles de modifier les résultats. On parle alors debiais de non-réponse.

Pour estimer les différents taux (de validité, d’éligibilité, de réponse) en vue de déterminerl’échantillon de départ, on recueille les informations aux sources disponibles. Un fournisseurd’échantillon de numéros de téléphone pourra habituellement nous indiquer la validité desnuméros fournis. D’autres sondages réalisés par des moyens similaires auprès de populationssimilaires nous donneront des indications sur la validité, l’éligibilité, le taux de réponse qu’ilest possible d’atteindre. Les données statistiques (StatCan, ISQ, etc) nous permettront d’estimerl’incidence.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 14

4.4 L'échantillon théorique, l'échantillon de départ et le rendement du plan échantillonnal

L'échantillon de départ nécessaire se calcule en prenant l'échantillon théorique (c'est-à-direla taille d'échantillon que l'on vise à obtenir lorsque l'enquête sera terminée) que l'on multiplie parl'inverse des taux de validité, d'éligibilité et de réponse estimés.

La formule est la suivante:

où ndépart est le nombre d'unités que je devrai tirer dans la base échantillonnale,nthéorique est l'échantillon théorique, le nombre d'unités sur lesquelles je veux que l'analyseporte,

et les différents taux sont en décimales (i.e. 0,6 pour 60%).

Exemple:

Si le taux de réponse prévu est de 60% (,6),le taux d'éligibilité est de 95% (,95),

et le taux de validité de 80% (,80)

et si je désire avoir un échantillon théorique de 384 répondants (marge d'erreur de 5% pour uneproportion de ,50 avec un seuil de confiance de 95%),

Je ferai le calcul suivant:

Je peux donc évaluer que je dois tirer 842 unités de la base échantillonnale pour obtenir unéchantillon théorique de 384 répondants dans les conditions citées plus haut.

L'ensemble des facteurs mentionnés plus haut (validité, éligibilité/incidence et taux de réponse)amène à parler du rendement du plan échantillonnal, c'est-à-dire la proportion attendue dequestionnaires complétés étant donné l'échantillon de départ. Ce nombre peut être trouvé endivisant l'échantillon théorique (celui que l'on veut obtenir) par l'échantillon de départ.

On dira que le rendement prévu du plan échantillonnal est de 384/842, c'est-à-dire 45,6%. On obtiendrait le même nombre en multipliant le taux de réponse par le taux de validité et parle taux d'éligibilité (0,6*0,95*0,8=0,456).

4.5 La fraction de sélection, le pas ou l’intervalle

Une fois que nous avons toutes les informations en main, soit la base échantillonnale et uneestimation de l’échantillon de départ nécessaire, il ne reste plus qu’à déterminer la fraction de

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 15

sélection ou, à l’inverse, le pas ou l’intervalle de sélection.

La fraction de sélection est la relation entre l'échantillon de départ et la base échantillonnale

Une fraction d'échantillonnage de 1/10 indique que l'on doit tirer une unité de la baseéchantillonnale à toutes les 10 unités. La fraction de sélection indique aussi le rapport entrel'échantillon éligible et valide et la population (voir pondération).

On utilise aussi la notion de "pas" ou d'intervalle. Il s'agit de l'inverse de la fractiond'échantillonnage:

Donc, une fraction de 1 sur 10 correspond à un pas de 10, ce qui veut dire que je doiséchantillonner une unité de la base échantillonnale à toutes les 10 unités. On utilise habituelle-ment le pas parce qu’on cherche une fraction "entière". On ne veut pas prendre une personnesur 2,7 personnes, ce qui est très difficile à faire, mais une personne sur 3 (on arrondithabituellement au nombre entier suivant. Toutefois lorsque l'échantillon est fait au moyen d'uneprocédure informatique, les fractions avec décimale peuvent être utilisées la plupart du temps.

Dans le processus pour préciser l’ensemble de ces opérations, certains allers-retours sont parfoisnécessaires. Ainsi, on estimera dans un premier temps que l’intervalle requis est de 9,8. Commeon veut arrondir pour être en mesure de tirer l’échantillon, on décidera d’un intervalle de 10.On recalculera alors l’échantillon de départ (N de la base divisé par 10) et donc, par la suite,l’échantillon théorique et la marge d’erreur. Il ne faut pas oublier également que dans le casd’un échantillon stratifié, on fera plusieurs sous-échantillons avec des fractions de sélectiondifférentes et que l’on devra donc faire les calculs pour chacune des strates.

4.6 La pondération

L’étape de la pondération arrive après la cueillette de données. Elle est nécessaire...

... lorsque les fractions de sélection varient selon certaines caractéristiques de départ (échantillonstratifié),

... lorsque les taux de réponse varient en fonction de certaines caractéristiques importantes quel'on peut et veut contrôler,

... lorsque l'on veut faire une estimation s'appliquant à la population de référence,

Les résultats sont pondérés en fonction des informations que l'on a de façon à ce que lesrésultats reflètent le poids réel de chaque unité dans la population.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 16

Le rapport entre le nombre d'unités éligibles et la population définie est le même que le rapportentre l'échantillon de départ et la base échantillonnale.

En pondérant, je cherche à estimer la population des unités auxquelles je veux généraliser mesrésultats.

Les poids que l'on doit appliquer sont les suivants:

- Poids d'échantillonnage: inverse de la fraction de sélection ou "pas".- Poids de non-réponse: inverse du taux de réponse

Ménages et individus

Remarque 1:

Notons que lorsque l'on sélectionne via un échantillon correspondant à des ménages (unités desélection) et que l'enquête vise des individus (unités d'analyse), il faut procéder à une sélectionà l'intérieur des ménages. Des grilles de sélection basées soit sur l'âge seul (grille de Kish), soitsur l'âge et le sexe (Troldahl-Carter), soit sur la date de naissance (non recommandée), sontutilisées.

Par la suite, on appliquera automatiquement un poids égal au nombre de personnes dans leménage où l'individu a été sélectionné; il s'agit du poids de sélection dans les ménages.

Remarque 2.

Lorsque l'on effectue une sélection dans les ménages, on utilise habituellement un facteur decorrection de 1.1 pour tenir compte de ce mode de sélection. Ce facteur s'applique autant à laformule de détermination de la taille qu'à la formule de détermination de la marge d'erreur. Aucours des dernières années, des méthodes statistiques très raffinées se sont développées pourtenir compte des biais entraînés par les divers modes de sélection.

Redressement

On effectue aussi parfois un redressement lorsque, après pondération, on s'aperçoit que larépartition selon certaines caractéristiques importantes dans l'échantillon final pondéré s'écarteencore significativement de la répartition dans la population.

poids de redressement: poids qu'il faut appliquer pour que chaque catégorie d'intérêt soitreprésentée en fonction de son poids réel dans la population

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 17

4.7 Synthèse des étapes à suivre:

1. Trouver les informations sur la base échantillonnale.

2. Déterminer le mode d’échantillonnage qui sera utilisé (mode de tirage, de collecte,stratification, etc.) 3. Déterminer la taille de l'échantillon théorique nécessaire (à partir des informations disponiblessur l'incidence du comportement ainsi que de la précision et du seuil de confiance voulus). Ilpeut s’agir de plusieurs sous-échantillons dans le cas d’un échantillon stratifié.

4. Estimer le taux de non-réponse attendu, le taux d’éligibilité (incluant le taux d’incidence lecas échéant) et le taux de validité de la liste. Déterminer la taille de l'échantillon de départrequis en fonction de ces informations.

5. Déterminer la fraction de sélection (échantillon de départ requis divisé par N de la baseéchantillonnale) ou le pas (N de la base échantillonnale divisé par l'échantillon de départ requis).Le pas est l'inverse de la fraction de sélection.

A partir de ces informations et des résultats finaux, on pourra déterminer les poids à appliquer pourla pondération de base.

A partir d'informations complémentaires sur la population on déterminera les poids deredressement.

Note: voir en appendice II des problèmes permettant de vérifier l’acquisition desconnaissances.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 18

Population Base échantillonale Échantillon

N de la liste n départ

qualité de la liste taux de validité

N valide N valide n valide

Qualité des individus taux d’éligibilité et tauxd’incidence

N éligible ³ ³ ³ ³ ³ ³ ³ ³ ³ ³ ³ ³ ³³ ³ ³(pondération)

n éligible

disponibilité et coopération des indiv. taux de réponse

n répondants (n théorique, n attendu)

MARGE D’ERREURü

SEUIL DE CONFIANCE

Informationsprovient de

StatCan, etc.

Information empiriqueBottin, liste de membres, etc.

Taux de réponse = n répondants effectifsn éligibles

Taux d’éligibilité = n unités éligiblesn unités valides

Taux de validité = n unités validesn de départ

Rendement du plan d’échantillonnage = Taux de réponse x Taux d’éligibilité x Taux devalidité

ndépart = nthéorique x 1/ %rep x 1/ %élig x 1/ %valid

f = n départN liste

pas = N liste = N populationn départ n valide

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 19

5. Échantillonnage et planification des opérations; quelques principes de base

Les taux de validité, d'éligibilité et de réponse affectent de façon importante les ressourcesque l'on doit affecter à la conduite des opérations de cueillette des données.

Les taux de validité et d'éligibilité dépendent de la base échantillonnale choisie, de la qualitéde cette base et de l'adéquation entre la base et la population étudiée.

Le taux de réponse dépend de plusieurs facteurs qui sont plus fortement sous le contrôle duchercheur et qu'il faut contrôler pour des raisons tant théoriques que pratiques.

Si un faible taux de personnes éligibles répond à l'enquête, il est plausible de penser que lespersonnes qui n'ont pas répondu ont des caractéristiques différentes, pensent différemmentdes personnes qui ont répondu. Un taux de réponse faible entache fortement la crédibilitédes résultats. Par ailleurs, un taux de réponse faible coûte cher en temps et en argent. Il fautdonc planifier le déroulement des opérations et former le personnel de façon à amener letaux de réponse au niveau le plus élevé possible et à faire tous les efforts possibles pourrejoindre toutes les personnes qui font partie de l'échantillon.

Quelque soit la méthode d'enquête choisie, il faut s'assurer d'être en mesure de contrôler letaux de réponse et donc de recueillir toute l'information pertinente (nombre de question-naires distribués, nombre de mauvaises adresses, nombre d'élèves absents,...). Cesinformations sont essentielles pour faire le rapport méthodologique

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 20

5.1 La gestion du terrain- questionnaire par la poste:

- Méthodes pour réduire le taux de non-réponse: 1) présentation, "facture" générale du questionnaire

- présentation de forme cahier

- qualité de l'impression

- présentation soignée en première page - rassurer le répondant sur la confidentialité;gagner sa coopération en suscitant son intérêt pour la recherche.

- s'identifier et donner au répondant un moyen de nous rejoindre (Nom et numéro detéléphone)

2) Rappels: - planification de rappels postaux, de préférence uniquement à ceux qui n'ont pasrenvoyé le questionnaire (lorsqu'il est possible de les identifier sans qu'il y ait bris deconfidentialité) : Minimum de deux rappels, un après 15 jours et un second 10 joursplus tard.

- Note: on peut penser à des rappels visibles (Carte postale rose, etc.)

- Lorsque les numéros de téléphone sont disponibles, planification de rappels télépho-niques (y compris possibilité de remplir le questionnaire au téléphone), plus efficacesque les rappels écrits.

Taux de validité et d'éligibilité:

- Attention à la qualité des listes qui servent de base d'échantillonnage et à l'adéqua-tion liste-population

- Problèmes les plus fréquents: Erreurs de transcription des adresses. On ne doit pashésiter à vérifier les adresses par d'autres moyens que ceux prévus au départ et àréexpédier le questionnaire.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 21

5.2 La gestion du terrain - questionnaire par téléphone:

Méthodes pour réduire le taux de non-réponse : la gestion du terrain

- Qualité des interviewers: Formation et sélection

- Gestion des appels : Formation du- de la responsable de terrain.

- On doit tenter de rejoindre la personne sélectionnée à diverses heures (jour, soir, souper,week-end) et ce à plusieurs reprises i.e. prendre tous les moyens possible pour rejoindre lapersonne. La gestion de ces appels se fait (se faisait) au moyen de ce qu'on appelait une"page couverture" (voir exemple). Maintenant, l'équivalent de la page couverture existe surlogiciel et la distribution des numéros de téléphone se fait via logiciel également. La page couverture comprend:

- Le numéro de téléphone et la grille de sélection en fonction du nombre de personnesdans le ménage- La ou les questions permettant de faire la sélection ou de déterminer l'éligibilité dela personne qui répond- L'espace suffisant pour inscrire les résultats de chaque appel (Pas de réponse,Rendez-vous pris avec xx, xy,)- Les codes de résultats (01=complété, 02= pas de service,...)

- On doit s'efforcer de prendre rendez-vous avec la personne si elle ne peut pas répondre auquestionnaire au moment où on l'appelle (Heure du repas, séries finales de hockey, lesenfants qui braillent...). Les gens ne sont pas obligés de répondre à nos questions mais pournous, il est essentiel que toute personne que l'on peut rejoindre réponde. Il faut doncconvaincre les gens, respecter leur disponibilité.

- Les interviewers doivent être convaincus de la nécessité d'obtenir la collaboration dechaque personne et ils doivent avoir les compétences pour obtenir cette collaboration.

- Le gestionnaire de terrain doit donc:

- gérer le personnel 6 former, motiver, encourager, répartir le travail équitablement,évaluer.

6 Évaluer les besoins en personnel en fonction du tempsd'entrevue, du rendement du plan échantillonnal,...

- gérer les appels 6 jour, soir, week-end; 6 Longue distance aux heures de réduction d'abord6 Langue des appels, région de Montréal6 Gestion des rendez-vous6 Récupérer les refus de répondre

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 22

5.3 La gestion informatisée du terrain - avantages et inconvénients

Avantages:- L'interviewer est libre pour la conversation

- Feed-back rapide au chercheur sur les mauvaises questions: on "pourrait" faire desmodifications en début de terrain? - Interaction rapide pour la modification du questionnaire.

- On peut faire des entrevues avec un "portable" - On peut mettre les entrevues sur disquette.- On peut avoir des questionnaires "auto-gérés", à la sortie de la cafétéria,etc.

- Coûts économisés : - impression du questionnaire- stockage des questionnaires- codification -vérification ?- Saisie des données

- Niveau de sophistication permis plus important- Contrôle de la gestion plus facile - chronométrage...

- sélection du répondant- par interviewer, par jour,...- monitoring - entrevues...?

Inconvénients:- Coûts d'installation, d'infrastructure- Fatigue visuelle - interviewer- Dépendance vis-à-vis l'outil 6 électricité, gestion de réseau informatique

- Temps de conception...

Pour certains systèmes:

- Impossibilité de reprendre un questionnaire non-terminé à un autre moment- Erreur dans la composition du numéro de téléphone toujours possible- Gestion des rendez-vous par l'interviewer un peu difficile.- Ergonomie de la présentation du questionnaire à l'écran.- On veut tout informatiser y compris faire faire de la codification par l'interviewer, ce quidonne habituellement des résultats faibles et parfois inutilisables et, dans tous les cas non-vérifiables...

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 23

5.4 Le déroulement des opérations type

a) Questionnaire: Première versionVersion pré-testVersion finaleTraduction?

b) cueillette- questionnaire téléphonique ou sur place

? heures interview - durée totale? copies du questionnaire dans chaque langue ? nombre d'interviewers dans chaque plage horaire

- questionnaire postal:? timbres aller; timbres retour? cartes, lettres de rappel

c) codification- Elaboration du plan de codification- codification

? nombre de codeurs - heures codage.

d) entrée des données? nombre de caractères

e) analyse et interprétation

Notez que l'analyse et l'interprétation, la rédaction du rapport d'analyse devrait être précédésde l'élaboration au départ d'un plan d'analyse. Notons aussi que cette opération prend presquetoujours, et d'autant plus lorsque l'on a moins d'expérience, nettement plus de temps que cequi est planifié au départ. Une bonne analyse, c'est du temps, du temps, de la réflexion, de larédaction, des tableaux et des graphiques. Un bon rapport d'analyse doit être compréhensiblepour le public-client à qui il s'adresse.

L'échantillonnage et la gestion du terrain - Claire Durand - 8 mars 2002- 24

1 2 3 4 5 6 7 (06)1 2 1 3 4 3 7

(514) 343-7447

Page couverture type (opération téléphonique):

Bonjour, je suis xx________________ de la firme XYZ. Nousconduisons présentement une étude sur.......

(Votre numéro de téléphone est choisi au hasard par ordina-teur)(Cette étude permettra d'établir..., d'aider à ...)

De façon à choisir au hasard la personne qui répondra aux questions, pouvez-vous m'indi-quer le nombre de personnes, en vous incluant, qui résident avec vous et qui ont 18 ans etplus? NB____________________

Pouvez-vous me donner l'âge de ces personnes en commençant par la plus âgée?

1._________ 5._______2._________ 6._______3. ________ 7._______4._________ 8._______

Puis-je parler à la personne qui a _______ ans.

Date et heurecontact

Résultat Commentaire (re-fus: (H F) ( - = +)

Ident. inter-viewer

Codes résultats:

01 complété02 Pas de service03 non-résidentiel04 non -éligible05 probl. de langue06 âge, maladie07 Refus du ménage08 Refus personne09 Abs. prolongée10 Pas de réponse 20 Autre

1 Ce n'est tout de même qu'en 1903 que le principe du recours à l'échantillon est acceptépar l'Institut international de statistique. A partir de 1925, le débat porte sur le meilleur moyend'échantillonner -- hasard aléatoire ou échantillon judicieux, c'est-à-dire par quota (Droesbeke,Fichet et Tassi, 1987).

Qualité des sondages - Claire Durand 27 mars 2000 - 25

6. La qualité des enquêtes par sondage

6.1 Les critères de qualité des sondages

Claire Durand - mars 2000.

Les critères de qualité des sondages sont relativement clairs au plan théorique. La capacitéd'inférer les résultats d'un sondage à la population représentée par un échantillon est basée sur les postulats de la théorie des probabilités et du théorème central limite de Laplaceprésenté en 1783. Pour estimer les paramètres d'une population quelconque, on peut tirer unéchantillon de façon aléatoire1. Les statistiques provenant de cet échantillon donnent unestimé des paramètres de la population avec une marge d'erreur qui dépend de la taille del'échantillon et de la variance estimée du paramètre.

Si, théoriquement, la situation semble relativement simple -- il s'agit de tirer un échantillonaléatoire -- en pratique, la situation devient un peu plus complexe pour plusieurs raisons. Labase de sondage, c'est-à-dire la liste dont on tire l'échantillon, doit idéalement comprendretous les membres de la population à représenter. Les membres de l'échantillon doiventpouvoir être rejoints et accepter de répondre au sondage et les personnes non rejointes nedoivent pas avoir des caractéristiques qui les distingueraient des personnes rejointes. Prenons ces éléments un à un.

6.1.1 La base de sondage doit comprendre tous les éléments de la population

Dans le cas des sondages téléphoniques, une fraction de la population ne peut pas êtrerejointe par téléphone pour un certain nombre de raisons, soit que les personnes visées n'ontpas le téléphone ou qu'elles ne résident pas dans un ménage privé (chambreurs, résidents decentres d'accueil). Ces personnes ne seront donc pas représentées.

Il faut aussi établir une liste des numéros de téléphone de tous les membres de la population. La base la plus utilisée au début des sondages téléphoniques était le bottin fourni par lescompagnies de téléphone. Toutefois, on estime que jusqu'à 20 p. cent des ménages (Trem-blay, 1981), particulièrement en milieu urbain, ne sont pas inscrits au bottin, volontairement(numéro confidentiel) ou involontairement (déménagement, erreur). Ces personnes ne sontdonc pas représentées dans l'échantillon lorsque l'on utilise le bottin comme base de sondage.

Deux types de bases de sondage ont été développées pour compenser la sous-représentationliée aux bottins. Le premier mode est constitué par la génération aléatoire de numéros detéléphone (habituellement appelée RDD pour random digit dialing) et le deuxième, appelé iciCD-ROM +, est basé sur les numéros de téléphone listés mais permet la génération denuméros de téléphone au hasard, sans égard à la présence dans la liste. Ces deux modespermettent de s'assurer que l'ensemble des personnes résidant dans un ménage privépossédant un téléphone ont une chance connue d'être choisies. On considérera donc que

2 Le problème des ménages à multiples numéros de téléphone (résidence secondaire,numéro spécifique pour les enfants) est volontairement laissé de côté. Le problème de lapossible surreprésentation de ces ménages commencent à peine à être abordé.

3 Les objectifs (quotas) pour chaque cellule sont fixés en fonction des données durecensement. Dans les entrevues sur place utilisant cette méthode, les quotas peuvent être trèsdétaillés et inclure des objectifs basés sur l'occupation des répondants.

Qualité des sondages - Claire Durand 27 mars 2000 - 26

l'utilisation du RDD ou du CD-Rom+ plutôt que des seuls numéros listés au bottin constitueun facteur de qualité en réduisant le biais associé à la base de sondage.

Un problème demeure toutefois. A un téléphone correspond un ménage2 pouvant com-prendre plusieurs personnes. Comment s'assurer que ces personnes ont une chance égaled'être choisies? L'utilisation d'une grille de sélection aléatoire -- la grille de Kish a été lapremière proposée et demeure sans doute la plus connue -- permet de préserver le principedu choix au hasard. D'autres modes de sélection sont apparus plus récemment : la grille deTroldahl-Carter, qui consiste à faire la sélection en fonction du nombre d'hommes et defemmes dans le ménage, et la méthode de la date de naissance, qui consiste à sélectionner lapersonne dont la date de naissance est, au moment du sondage, soit la plus rapprochée, soit laprochaine ou la dernière arrivée. Ces méthodes ne sont pas considérées comme strictementaléatoires mais elles préservent l'impossibilité, pour l'interviewer, de parler soit à la personnequi répond la première au téléphone, soit à celle qui apparaît plus sympathique ou qui seporte aisément volontaire.

Une autre manière de faire consiste à fixer des quotas basés sur la région, le sexe3 et parfoisle groupe d'âge dans la conduite des activités de cueillette (Marsh, 1990; Stephenson, 1979). Elle consiste à ne pas faire de sélection aléatoire dans les ménages jusqu'à ce que les quotassoient remplis; une fois certains quotas remplis, la sélection se fait en conservant seulementles personnes qui répondent aux critères permettant de remplir les quotas non remplis.

Cette méthode suscite un débat depuis les débuts des discussions sur la validité del'échantillonnage (Droesbeke, Fichet et Tassi, 1987; Marsh, 1990). La méthode des quotasn'étant pas strictement probabiliste, soulignent les uns, on ne peut utiliser les analyses baséessur la théorie des probabilités avec des échantillons recueillis de cette manière, ce à quoi lesutilisateurs de la méthode des quotas répondent que "En pratique, çà marche" (Marsh, 1990). Avec la méthode des quotas, le taux de réponse apparaît nettement moins pertinent puisquetout individu possédant les caractéristiques d'une cellule de quotas est considéré commereprésentatif. Il faut souligner que la méthode des quotas telle qu'appliquée par les firmes desondage utilise un échantillon de départ probabiliste.

6.1.2 Les membres de l'échantillon doivent être rejoints et accepter de répondre

L'objectif visé, l'idéal théorique, consiste à rejoindre toutes les personnes sélectionnées dansl'échantillon et à les sonder. En pratique, plusieurs problèmes peuvent survenir. D'une part,dans le ménage sélectionné, la ou les personnes peuvent ne pas être au domicile au momentde la tentative de contact. D'autre part, lorsqu'une personne est rejointe, elle peut refuser decollaborer avant même qu'il soit possible d'effectuer la sélection de la personne dans le

4 Deux livres réunissent une partie de ces travaux : Telephone survey methodology (1988)et Survey errors and survey costs(1989).

Qualité des sondages - Claire Durand 27 mars 2000 - 27

ménage -- on parle de refus du ménage. Enfin, la personne sélectionnée peut décliner elle-même de répondre -- on parle de refus de la personne -- ou ne pas pouvoir être rejointependant la durée du sondage (absence prolongée).

En pratique donc, toutes les personnes sélectionnées ne peuvent pas être rejointes. Si l'onveut être en mesure de postuler que l'échantillon est représentatif, deux critères apparaissent. D'une part, la proportion de l'échantillon non-rejoint, pour cause de refus ou de non-contact,doit être la plus réduite possible; d'autre part, il faut postuler que les non-rejoints ne sedistinguent pas des personnes rejointes. Comme ce postulat est difficilement vérifiable, ildemeure que plus la proportion de personnes non-rejointes est faible, plus l'impact de ladifférentiation des non-rejoints est minimisé.

Cette situation explique l'insistance mise sur le taux de réponse, la proportion de personnesrejointes dans l'échantillon des personnes à rejoindre, comme indicateur de l'absence ou de laréduction possible du biais dans l'échantillon. En pratique, des méthodes pour réduire la nonréponse sont utilisées. Il s'agit de faire un nombre suffisant de tentatives à des périodesdifférentes (jour, soir, week-end) pour rejoindre les ménages sélectionnés et de tenter deréduire les refus -- par la sélection et la formation du personnel interviewer, entre autres --sinon, de les récupérer, c'est-à-dire de rappeler dans les ménages qui ont refusé pour tenterde nouveau d'obtenir leur collaboration.

La méthode des quotas laisse habituellement l'utilisation de moyens pour rejoindre lesmembres de l'échantillon et les convaincre de répondre à la discrétion du responsable de lacueillette. L'échantillon peut être augmenté à la convenance de celui-ci selon les besoins. Le taux de réponse apparaît donc moins important, la qualité des données étant formellementmesurée par le fait que les quotas sont atteints.

6.2 Les facteurs qui influencent la qualité des sondages et le taux de réponse

Quels sont les facteurs qui, dans la recherche faite sur cette question, apparaissent pouvoirexpliquer les différences dans la non réponse? Une bonne partie de la recherche, et particu-lièrement celle faite par Groves, Couper et leurs collègues à l'Université du Michigan4, portesur les caractéristiques des répondants, particulièrement de ceux qui refusent leur collabora-tion. Ces recherches tentent entre autres d'expliquer théoriquement, selon un modèle dedécision postulant la rationalité du comportement, pourquoi certaines personnes refusent decollaborer, une meilleure connaissance des personnes non-rejointes devant permettre demieux estimer les biais dus à la non réponse (Groves, 1989, ch.5). Rien dans ces recherchesne permet toutefois d'expliquer les différences de taux de réponse pour une même populationdurant la même période. Tout au plus permettent-elles de trouver une explication auxdifférences de taux de réponse dans le temps (Steeh, 1981) ou auprès de populationsdifférentes (Maas et De Heer, 1995).

Un autre groupe de chercheurs s'est donc penché sur les causes de la non-réponse attribua-bles à la gestion de la base de sondage et à la gestion du personnel : le devis de sondage

Qualité des sondages - Claire Durand 27 mars 2000 - 28

(type de base de sondage et de sélection dans les ménages (Dillman, 1979; Lavrakas, 1993;Drew, Chowdhry et Hunter, 1988; Groves et Lyberg, 1988; Sebold, 1988), la sélection, laformation et la rémunération des interviewers (Steeh, 1981; De Heer, 1996; Cooper etGroves, 1992; Groves, Cialdini et Couper, 1992; Collins, Sykes et coll., 1988; Groves etLyberg, 1988; Smith et Dechter, 1993), la conduite des opérations -- séquences d'appels,récupération des refus (Maas et De Heer, 1995; De Heer, 1996; Hidiroglou, Drew et Gray,1993) de même que divers moyens d'inciter à la participation -- lettre présentant le sondage,présentation verbale, commandite, notoriété de la firme, etc (Presser, Blair et Triplett, 1992;De Heer, 1996; Groves, 1989 ch. 5; Traugott, Groves et Lepkowski, 1987). Ces études,quoique rarement réalisées pour des sondages effectués par des firmes privées, montrent unecertaine constance dans les effets.

6.2.1 Effets de la base de sondage et de la sélection

Il appert que la génération aléatoire de numéros de téléphone, à tout le moins par RDD, estassociée à un plus bas taux de réponse pour deux raisons : d'une part, l'augmentation desrefus due au fait que l'on aborde des ménages sans connaître le nom des personnes et quecertains de ces ménages ont des numéros confidentiels et, d'autre part, l'augmentation desnuméros considérés comme des non contacts due à la présence dans la banque de numérosnon valides ou non résidentiels qui ne sont pas détectables (Dillman, 1979; Lavrakas, 1993;Drew et coll., 1988).

Par ailleurs, l'utilisation de la grille de Kish pour la sélection dans les ménages peut aussifaire augmenter les refus puisqu'elle requiert de demander l'âge des personnes dans leménage pour faire la sélection. Cette demande peut être perçue comme une intrusion et doncaugmenter la résistance à la collaboration (Lavrakas, 1993; Groves et Lyberg, 1988). Parcontre, au moment où les sondeurs se plaignent du fait que le télémarketing fait augmenterles refus en entachant la crédibilité des sondages "sérieux", il est possible de penser que lerecours à la sélection aléatoire peut en contrepartie avoir l'avantage de permettre de distin-guer les "vrais" sondages des entreprises de vente.

6.2.2 Effet de la gestion du personnel

Les études faites sur la question montrent un effet important de l'expérience du personneld'entrevue sur le taux de réponse (De Heer, 1996; Smith et Dechter, 1993). Certaines étudesémettent l'hypothèse d'une interaction interviewer- zone de cueillette où l'effet de l'expérien-ce serait d'autant plus important en zone urbaine, là où la résistance est la plus élevée(Cooper et Groves, 1992). Les études tentent aussi de vérifier quelles sont les stratégiesutilisées par les interviewers qui auraient un impact sur le taux de réponse (Snijkers, Hox etDe Leeuw, 1996; Cooper et Groves, 1992). De même, les attentes des interviewers semblentjouer un rôle (Groves et Lyberg, 1988; Groves et coll., 1992; Singer, Frankel et Glassman,1983).

Enfin, la formation des interviewers sur la méthodologie de sondage et sur les tactiques decommunication (Groves et coll., 1992) de même que les modes de rémunération ont unimpact sur le taux de réponse. Entre autres, on s'entend pour dire que les meilleurs intervie-wers doivent être mieux rémunérés (De Heer, 1996) et que la rémunération horaire, qui nepénalise pas les interviewers qui prennent du temps pour convaincre et pour bien sélection-ner et rejoindre la personne sélectionnée, est la plus appropriée.

Qualité des sondages - Claire Durand 27 mars 2000 - 29

Qualité des sondages - Claire Durand 27 mars 2000 - 30

6.2.3 Effet du suivi de terrain

Les pratiques de suivi de terrain ont certainement l'impact le plus direct sur le taux deréponse (De Heer, 1996, Maas et De Heer, 1995; Hidiroglou et coll. 1993) puisqu'elles visentà réduire le non contact par la gestion des séquences d'appel et à réduire les refus principale-ment par la récupération des refus.

Le nombre de contacts est un élément essentiel du taux de réponse (Traugott, 1987; De Heer,1996; Maas et De Heer, 1995; Hidiroglou et coll., 1993; Smith et Dechter, 1993; Traugott etcoll., 1987). On considère qu'il faut au moins quatre tentatives de contact réparties à diversmoments de la journée et de la semaine (Traugott, 1987) et jusqu'à sept ou huit tentatives(Chevalier et Durand, 1997) pour s'assurer de minimiser efficacement les différences entrepersonnes non-rejointes et rejointes. Toutefois, après quatre ou cinq tentatives, l'augmenta-tion du taux de réponse devient relativement marginale (Traugott, 1987, Chevalier etDurand, 1997).

La récupération des refus est utilisée entre autres parce les refus sont plus nombreux endébut de période de cueillette et chez les interviewers débutants et parce que certains refuspeuvent être circonstanciels; ce type de refus peut dont être relativement facile à récupérer.L'impact de cette pratique tant sur le taux de réponse que sur le biais possible de l'échantillonapparaît important. D'une part, cette pratique peut amener une hausse assez substantielle dutaux de réponse (11,2 p. cent dans Chevalier et Durand, 1997); d'autre part, le profil desménages où se produisent les refus de collaborer est relativement typé: couples ou personnesseules vivant en banlieue, souvent propriétaires, ... (Chevalier et Durand, 1997; Collins etcoll., 1988; O' Neil, 1979; Cooper et Groves, 1996; Groves et Couper, 1992; Groves etcoll.,1992)

6.2.4 Des déterminants de la conduite des pratiques méthodologiques

La question posée dans cette recherche remonte un niveau plus haut la chaîne des détermi-nants du taux de réponse. Si les facteurs qui influencent le taux de réponse sont connus et lesmoyens de contrôler la qualité des données le sont aussi, qu'est-ce qui explique les différen-ces de pratiques sur ce plan. Les pratiques à privilégier sont-elles connues? Sont-ellesrespectées et dans quelles circonstances le sont-elles? L'existence postulée d'un écartimportant entre les pratiques ayant cours au Québec et dans le reste du Canada permetd'explorer plus avant ces facteurs. Alors que les études (Goyder, 1987) émettent plutôtl'hypothèse d'une culture liée au sondage influençant directement la population, cettehypothèse apparaît peu pertinente étant donné les faits énoncés précédemment. L'hypothèsea donc été faite d'un impact de la culture sur les organisations qui conduisent les sondages.

Marsh (1990) relate que le débat sur l'importance du taux de réponse et particulièrement surl'acceptabilité de la méthode des quotas divisait en Angleterre les firmes qui faisaient plus demarketing de celles qui faisaient du sondage socio-politique. Aux États-unis, le recours auxquotas chez ceux qu'on appelle les Pollsters est courante et les taux de réponse pour lessondages électoraux se situent souvent en bas de 30 p. cent ou même de 20 p. cent (Petti-grew, 1995). L'intérêt de la situation canadienne réside dans le fait que la différenciationsemble se faire de façon assez hermétique sur une base régionale et culturelle plutôt que surune base liée au type de clients.

Qualité des sondages - Claire Durand 27 mars 2000 - 31

Les facteurs retenus ici sont ceux qui apparaissent les plus pertinents dans les recherchesliées à la sociologie des organisations. On peut catégoriser ces facteurs selon deux axes. Unpremier axe est lié aux connaissances. Sur ce plan, on peut postuler que l'adoption depratiques définies dépend de la connaissance que l'on a des pratiques à adopter, de la volontéde les adopter (liée aux perceptions et attentes) et enfin, de la capacité à le faire (liée auxressources techniques et à la compétition entre les firmes). Un deuxième axe serait celui del'environnement interne et externe des organisations. Les pratiques à ce niveau dépendentdes comportements et des attitudes des acteurs. Sur ce plan, la direction de la firme est de laplus haute importance de même que le personnel professionnel (directeurs de recherche,analystes) et le personnel de terrain (superviseurs et interviewers). Leurs connaissances,leurs croyances et leurs attentes (Groves et Lyberg, 1988; Signer et coll., 1983) déterminenten partie leur comportement. Enfin, au plan de l'environnement externe, les clients (caracté-ristiques, attentes, comportements) et la société elle-même via entre autres ses médias (DeHeer, 1996; Lachapelle, 1991) influencent l'importance accordée à divers aspects de laméthodologie de sondage. L'ensemble de ces éléments influencent et déterminent au moinspartiellement la culture de la firme en ce qui a trait à l'importance accordée a la méthodo-logie et au taux de réponse. Sur ce dernier point, Lachapelle (1991) soutient que lessondages pré-électoraux sont plus nombreux au Québec et qu'il y aurait aussi proportionnel-lement plus de firmes de sondage au Québec que dans le reste du Canada.

Qualité des sondages - Claire Durand 27 mars 2000 - 32

6.3 Exemples : l’estimation de l’intention de vote

6.3.1 La question des non rejoints et de leur possible intention de vote, éléments deréflexion

par Claire Durand

Introduction...

Certains émettent l’hypothèse que la non réponse aux sondages, composée des personnesque l’on ne réussit pas à rejoindre et de celles qui refusent de répondre au sondage lui-même,puisse avoir autant d’importance dans le biais d’estimation des intentions de vote que larépartition des indécis, définis comme les personnes qui répondent au sondage mais non auxquestions sur l’intention de vote. Le texte qui suit tente de faire le point sur l’ensemble desbiais possibles des échantillons, c’est-à-dire ceux relatifs au mode de génération de la basede sondage et à la gestion de cette base.

La non réponse au sondage

Dans un sondage téléphonique, les non rejoints se répartissent en deux groupes : d’une partles personnes que l’on ne réussit pas à rejoindre après un certain nombre de tentatives etd’autre part celles qui refusent de répondre au sondage lui-même, réparties en deux groupes,les cas de refus du ménage où il est impossible de savoir si on a parlé à la personne qui auraiteu à répondre au sondage, et les cas appelés “refus de la personne sélectionnée” où c’est lapersonne qui devrait répondre qui refuse.

En gros, on estime que les personnes non rejointes après de nombreuses tentatives (au moinscinq, de préférence plus) ont un profil typé : Les personnes que l’on rejoint après cinqtentatives sont plus souvent des personnes de 25 à 34 ans, seules, de scolarité universitaire,en emploi ou en chômage, locataires, vivant plus souvent dans des édifices de 5 logementsou plus et dans le centre de la CUM (Chevalier et Durand, 1997). Ce sont aussi despersonnes qui ont une plus faible écoute télé et qui font plus de sorties (spectacles, cinéma,etc). On pourrait donc penser que les personnes non rejointes ont plus souvent un profil, soitde non-voteur, soit de voteur du PQ.

Quant aux personnes qui refusent, elles ont aussi un profil typé : Pour ce qui est des refus deménage, on parle plus de familles de la classe moyenne, vivant en maison unifamiliale, plussouvent dans l’Ouest de la CUM. Comme ce sont des refus “récupérés”, on peut difficile-ment conclure sur le profil de tous les refus de ménage. Dans ce cas-ci, les personnes quicollaboreront éventuellement au sondage sont plus souvent des jeunes (15 à 24 ans) auxétudes, ce qui laisse penser qu’au point de départ, ce sont les parents qui avaient refusé etque leurs enfants sont plus coopératifs. Par contre, pour ce qui est des refus de la personne,on parle plus souvent de personnes de 55 ans et plus, plus souvent retraitées, relativementpauvres et peu scolarisées, vivant en banlieue de Montréal. L’ensemble de ces personnesaurait un profil soit de non-voteur, soit de voteur PLQ.

Ces informations ont fait dire à certaines personnes que si on équilibrait les non rejoints etles refus, les profils typés des deux groupes risquaient de s’annuler et la non réponse auraitdonc peu d’influence sur l’estimation. A cet effet, il faut noter que plus on fait de tentatives

Qualité des sondages - Claire Durand 27 mars 2000 - 33

pour rejoindre les personnes difficiles à rejoindre, plus le taux de refus baisse, d’une partparce que les personnes difficiles à rejoindre ne refusent habituellement pas de collaborer(Chevalier et Durand, 1997) et d’autre part, probablement parce que les interviewers quel’on garde en dernier sont les plus expérimentés et que de toutes façons, après plusieurs joursde terrain, les interviewers maîtrisent mieux le questionnaire.

D’où, pour un sondage court où le nombre de tentatives faites pour rejoindre les personnesest restreint, le taux de refus aura tendance à être plus élevé mais le taux de non rejoint également. Ces éléments militent en faveur d’un impact minime sinon inexistant, particuliè-rement, après redressement, des non répondants au sondage.

Toutefois, on estime que le vrai pourcentage de personnes non rejointes se situerait plutôtautour de 6 p. cent et que le reste des numéros non rejoints, particulièrement quandl’échantillon a été généré par GANT (génération aléatoire de numéros de téléphone), sont enfait des numéros non valides (entrepôts, locaux vides, personnes parties à l’étranger,...). Cette portion de la non réponse aurait donc moins d’impact sur l’estimation que les refus. Comme il y a généralement plus de refus que de non rejoints dans l’échantillon final, ilpourrait y avoir légère sous représentation des voteurs PLQ dans l’échantillon.

Les biais des bases d’échantillonnage

Un deuxième type de raisons pourrait biaiser les échantillons et par conséquent, l’estimationde l’intention de vote, celle des biais de la base d’échantillonnage elle-même. Plusieursfirmes de sondage utilisent le bottin téléphonique plutôt que de la génération aléatoire denuméros de téléphone. On peut penser que les numéros absents du bottin téléphonique ne lesont pas au hasard : Il s’agit soit de personnes qui ont déménagé (jeunes urbains actifs,personnes en instance de séparation, asociaux), soit de personnes qui gardent leur numéroconfidentiel (soit plus riches, soit asociaux). Les données Statmedia 1998 montrent que lespersonnes rejointes dont le numéro n’était pas inscrit au bottin affirmaient qu’il était moinsprobable qu’elles aillent voter aux élections municipales, étaient plus souvent de languematernelle autre que francophone, étaient en moyenne plus jeunes et refusaient plus souventde répondre à la question sur le revenu.

On retrouve ici la même possible répartition de sous représentation que pour les nonrépondants au sondage. :Les personnes qui déménagent plus seraient plus souvent des nonvoteurs ou des voteurs PQ alors que les personnes dont le numéro est confidentiel sont soitdes non voteurs, soit des voteurs PLQ. Les sous représentations auraient donc tendance às’annuler à condition toutefois qu’elles s’équilibrent.

Deux autres raisons reliées à la base de sondage et à sa gestion doivent être prises en compte: D’une part, le fait que les résidences pour personnes âgées ne sont pas inclues dans la basede sondage puisqu’on ne garde que les ménages privés. Ces personnes sont souvent viséespar les candidats qui font des tournées de ces résidences. Il y aurait sous représentation despersonnes âgées en foyer collectif et cette sous représentation n’est pas corrigée par leredressement puisque les statistiques produites par Statistique Canada ne comprennent ellesaussi que les ménages privés. Comme il s’agit d’une portion de l’électorat plus libérale,cette situation pourrait expliquer en partie la sous représentation des intentions de vote PLQ.

Qualité des sondages - Claire Durand 27 mars 2000 - 34

Toujours dans les possibilités de sous représentation, les personnes incapables de répondreen français ou en anglais sont habituellement considérées comme non éligibles, ce quis’ajoute au fait que les anglophones auraient tendance à moins collaborer aux sondages. Ilest donc fort possible que ces groupes, normalement voteurs PLQ soient sous-représentés. Toutefois, le redressement par la langue d’usage corrige en partie cette sous représentation.

A l’inverse, il arrive très fréquemment que les échantillons comprennent une proportion defemmes nettement plus élevée que dans la population, soit parce les femmes collaborent plusfacilement aux sondages ou parce qu’elles sont plus faciles à rejoindre, ce qui auraittendance à entraîner une sur-représentation du PLQ. Certaines firmes prennent des mesurespour éviter que cette situation se produise en utilisant des grilles de sélection dans le ménagequi diminuent le problème. Il faut toutefois noter que, comme il y a redressement enfonction du sexe par la suite, cette sur-représentation est, au moins partiellement, corrigée.

Le redressement permet en effet de corriger les biais de représentation socio-démographiquede l’échantillon. On doit toutefois noter que le redressement a pour effet d’attribuer, d’unecertaine manière, la répartition de l’intention de vote d’un groupe d’âge/sexe/région/langue àtoutes les personnes de ce groupe alors qu’il est possible que les personnes moins faciles àjoindre ou moins collaboratrices aient de fait des opinions différentes des personnessemblables au plan socio-démographique mais qui sont faciles à rejoindre.

En résumé, un seul élément permet de penser de façon relativement certaine que, mêmelorsqu’un sondage est suffisamment bien fait -- taux de réponse acceptable, récupération derefus, sélection appropriée dans les ménages -- il y aura impact des non répondants ausondage sur l’estimation des discrets. Cet impact se ferait via une sous représentation despersonnes âgées résidant en foyer collectif. Il s’agit d’un impact sans doute minime.

Evidemment, ces considérations valent pour un sondage bien fait où tous les moyens sontpris pour minimiser les biais. Ainsi, un sondage Compas, publié par le Financial Post du 1eraoût, faisait état d’un revirement spectaculaire de l’intention de vote qui serait passée de 12points d’avance pour le PLQ en juin 1998 à 12 points d’avance pour le PQ, c’est-à-dire unchangement de 24 p. cent, et ceci sans qu’aucun événement ne justifie un tel revirement. Il ya lieu de penser qu’un tel revirement ne s’est pas produit. Une telle enquête n’aurait pas dûêtre réalisée pendant les vacances de la construction et en pleine canicule.

Qui sont les indécis ?

Posons nous maintenant la question des autres raisons, outre celles mentionnées précédem-ment, qui feraient que l’on doive faire une répartition non proportionnelle des indécis. Lemode de répartition proposé par Pierre Drouilly est d’abord et avant tout empirique. Il y alieu de se demander pourquoi cette répartition semble plus appropriée qu’une répartitionproportionnelle.

Il faut d’abord se pencher sur la possibilité que les “discrets” soient en fait des personnes quin’iront pas voter. Dans une analyse de questions d’un sondage réalisé en juin 1998 etportant sur la relation entre l’intention de vote aux élections municipales et l’intention d’allervoter, il est apparu que la relation entre ces deux mesures est la suivante : plus les personnesaffirment qu’il est probable qu’elles iront voter, moins elles sont indécises quant à leurintention de vote. Si cela s’avérait aussi au niveau provincial -- il faudrait poser la question

Qualité des sondages - Claire Durand 27 mars 2000 - 35

sur l’intention d’aller voter -- une répartition proportionnelle des indécis, restreinte auxpersonnes qui disent ne pas savoir pour qui elles voteront et à celles qui affirment ne pasvoter, serait appropriée. Les personnes qui refusent de révéler leur intention de vote seraientréparties selon d’autres critères.

De fait, comme l’article de La Presse du samedi 7 novembre le montre, les discrets sont plussouvent discrets sur plusieurs questions et il est possible de penser qu’il s’agit en bonnepartie de non voteurs. Toutefois, les discrets semblent plus souvent des femmes et, lors-qu’elles expriment des opinions sur d’autres questions que l’intention de vote, leur profil estplus près de celui des libéraux ou des adéquistes que de celui des péquistes.

En conclusion

En conclusion, une répartition proportionnelle des discrets serait adéquate si les discretsétaient dans l’ensemble des non voteurs ou si leur profil ne différait pas de celui des voteurs. La nécessité d’une répartition non proportionnelle s’explique sans doute en partie par desfacteurs relatifs à l’échantillon, caractéristiques des personnes qui refusent et non représenta-tion des personnes âgées en hébergement, mais cette partie apparaît relativement faible. Lamajeure partie de l’explication relève sans doute du fait que les voteurs discrets sont plussouvent des voteurs PLQ qui cachent leur intention de vote ou des personnes réellementindécises qui, dans l’isoloir, auront plus tendance à se replier sur un vote plus “sécurisant”.

5 «The magnitude of respondents bias is a fonction both of the difference in characteris-tics of respondents and nonrespondents, and of the nonresponse rate itself».

Qualité des sondages - Claire Durand 27 mars 2000 - 36

6.3.2. L’effet des facteurs méthodologiques sur la qualité de l’estimation des intentions de vote: La non-réponse

Par Vachon, Sébastien (1998), extrait de mémoire de maîtrise.

1.3 Représentativité de l’échantillon

Dans l’étude réalisée par Chevalier et Durand (1997), il apparaît que dans 9 p. centdes entrevues complétées, il y a eu précédemment refus du ménage et dans 10 p. cent, refusde la personne sélectionnée. Ainsi, dans 19 p. cent des entrevues finalement complétées, il ya eu un refus initial qui, subséquemment, a été récupéré. Sachant que les personnes moinscoopératives ont des caractéristiques socio-démographiques, des comportements et desattitudes propres (Chevalier et Durand, 1997; Groves et Lyberg, 1988; O’Neil, 1979;Triplett, 1997; Triplett, Blair, Hamilton et Kang, 1996), il apparaît évident que la récupéra-tion des refus peut avoir un effet important sur la représentativité de l’échantillon et àéchéance, sur la qualité des estimés. Il faut noter que le profil des répondants moins coopéra-tifs diffère selon le type de refus qui a été rencontré: refus du ménage ou refus de la personnesélectionnée (Chevalier et Durand, 1997).

Les répondants plus difficiles à joindre ont, eux aussi, un profil spécifique (Chevalieret Durand, 1997; Sebold, 1988; Traugott, 1987; Triplett, 1997). De plus, il apparaît que lesrépondants ayant initialement refusé ont un profil socio-démographique opposé à celui despersonnes plus difficiles à joindre (Chevalier et Durand, 1997; O’Neil, 1979). Bref, «l’am-pleur des biais de la non-réponse est fonction de la différence de caractéristiques entre lesrépondants et les non-répondants, et de la non-réponse elle-même5» (Groves et Lyberg, 1988dans Drew, Choudry et Hunter, 1988: 235).

1.3.1 Représentativité des personnes moins coopératives

Il est nécessaire de faire la distinction entre les refus ménage et les refus de lapersonne sélectionnée. Dans un premier temps, il sera question du profil des répondantsayant initialement refusé de participer et dans un deuxième temps, de ceux demeurant dansun ménage où il y a eu initialement refus.

Qualité des sondages - Claire Durand 27 mars 2000 - 37

Le tableau II présente les caractéristiques des répondants selon leur degré de coopération.

Tableau II. Profil du répondant coopératif et du répondant moins coopératif

Variable socio-démographique

Répondant coopératif(aucun refus)

Répondant moins coopératif (ayantinitialement refusé)

Occupation Professionnel(O’Neil, 1979)

Travailleur qualifié(O’Neil, 1979)

Scolarité Moins scolarisé(O’Neil, 1979; Triplett, 1997; Triplett et al., 1996;Chevalier et Durand, 1997; Groves et Lyberg,1988)

Race Noir(O’Neil, 1979)

Blanc(O’Neil, 1979)

Noir(Triplett et al., 1997)

Ethnicité Afro-américain(O’Neil, 1979)

Allemand et Polonais(O’Neil, 1979)

Âge 25-34 ans(O’Neil, 1979)

65-74 ans (retraité)(O’Neil, 1979; Triplett, 1997; Triplett et al., 1996;Chevalier et Durand, 1997; Groves et Lyberg,1988)

Ménage Présence d’enfants(O’Neil, 1979)

Absence d’enfant(O’Neil, 1979; Triplett, 1997)

Absence d’enfant de moins de 18ans(Triplett, 1997)

Une ou deux personnes(Chevalier et Durand, 1997)

Logement Autre type de loge-ment(O’Neil, 1979)

Locataire(O’Neil, 1979)

Bungalow(O’Neil, 1979)

Propriétaire(O’Neil, 1979)

Édifice cinq logements et plus(Chevalier et Durand, 1997)

Revenu Faible revenu (moins de 20 000$)(Chevalier et Durand, 1997)

Région Banlieue (ouest, est et nord de Mon-tréal)(Chevalier et Durand, 1997)

Plus en milieu urbain (p/r rural)(Groves et Lyberg, 1988; Triplett, 1997)

Malgré quelques divergences entre les auteurs, le profil des personnes moins coopérativesest assez cohérent. Il s’agit d’une personne âgées ayant plus souvent un faible niveau descolarité et un faible revenu. Travailleur qualifié à la retraite, il demeure en milieu urbain.Selon Groves et Lyberg (1988), ces personnes âgées refusent davantage de participer à causede problèmes auditifs et de leur désengagement social qui les amène à hésiter à interagir avecun étranger. Également, la peur d’être victimisé et une socialisation différente envers letéléphone peuvent être des facteurs explicatifs. Le profil socio-démographique de cespersonnes est assez typé.

Qualité des sondages - Claire Durand 27 mars 2000 - 38

Les personnes demeurant dans un ménage où il y a eu initialement refus, mais qui elles n’ontjamais refusées de collaborer, ont également un profil assez précis (tableau III).

Tableau III. Profil du répondant demeurant dans un ménage où il y a euinitialement refus (Chevalier et Durand, 1997)

Variable socio-démographique

Caractéristique du répondant

Âge 15-24 ans

Scolarité Secondaire ou cégep (aux étu-des)

Ménage Deux à quatre personnes

Revenu du ménage 40 000 à 60 000$

Logement Maison unifamiliale

Langue Anglophone, allophone

Région Ouest de l’île de Montréal

Selon les auteurs, «le profil type du refus ménage serait [...] celui où les parents, plus souventun ménage de la banlieue de Montréal, bloquent l’accès au jeune sélectionné».

1.3.2 Représentativité des personnes plus difficiles à joindre

Il est important de ne pas confondre le nombre de tentatives de contacts pour joindrele ménage, pour joindre le répondant et pour compléter l’entrevue. Sur le plan conceptuel,ces indicateurs sont différents. Cependant, sur le plan des caractéristiques des ménages, despersonnes plus difficiles à joindre, il y a une relative adéquation entre ces indicateurs. Defait, que l’on utilise l’un ou l’autre de ces indicateurs, il est nécessaire que, à échéance, lequestionnaire soit complété pour que ces informations soient disponibles.

Selon Sebold (1988), en utilisant la GANT (génération aléatoire de numéros detéléphone) pour générer l’échantillon, après 4 appels, 50% des numéros où il n’y a pasencore eu contact sont des ménages et après 20 appels, 5%. Ainsi, sans se rendre jusqu’à 20appels, il apparaît important, si l’on veut faire diminuer la non-réponse attribuable aux non-contacts, de faire un certain nombre de rappels pour joindre le ménage. De fait, le nombre detentatives de contact affecte, selon plusieurs chercheurs (Cantril, 1991; O’Neil, 1979;Sebold, 1988; Traugott, Groves et Lepkowski, 1987; Traugott, 1987; Triplett, 1997; Triplett,Blair, Hamilton et Kang, 1996), la taux de réponse et la représentativité de l’échantillon.Afin de faire les nuances qui s’imposent, le tableau IV présente les caractéristiques despersonnes plus difficiles à joindre en fonction du type d’indicateurs employés par leschercheurs.

Qualité des sondages - Claire Durand 27 mars 2000 - 39

Tableau IV. Profil du répondant plus difficile à joindre

Variable socio-démographique

Indicateur

Nombre de tentatives pourjoindre le ménage

Nombre de tentatives pourcompléter l’entrevue

Âge 25-34 ans(Chevalier et Durand, 1997)

Moins souvent âgé de 65ans et plus(Sebold, 1988)

25-34 ans(Chevalier et Durand, 1997*; Traugott,1987)

18-24 ans(Triplett, 1997)

Sexe Homme(Chevalier et Durand, 1997*; Traugott,1987; Triplett, 1997)

Race Noir(Triplett, 1997)

Ménage Une personne(Chevalier et Durand, 1997)

Célibataire(Sebold, 1988)

Célibataire(Triplett, 1997)

Scolarité Universitaire(Chevalier et Durand, 1997)

Universitaire(Chevalier et Durand, 1997*)

Statut En emploi ou au chômage(Chevalier et Durand, 1997)

Pas retraité(Chevalier et Durand, 1997*)

Revenu du mé-nage

80 000$ et plus(Chevalier et Durand, 1997*)

Logement Locataire(Chevalier et Durand, 1997)

Édifice de 5 logements etplus(Chevalier et Durand, 1997)

Région Centre de l’île de Montréal(Chevalier et Durand, 1997)

Centre et ouest de Montréal(Chevalier et Durand, 1997*)

Langue Anglophone, allophone,1997(Chevalier et Durand, 1997*)

*: Ces informations ne figurent pas dans la version finale du texte de Chevalier et Durand (1997).Elles ont été tirées d’une version de travail communiquée par les auteurs.

Malgré certaines différences, on peut constater qu’il y a une relative adéquation entre cesdeux indicateurs. Ainsi, il apparaît que les personnes plus difficiles à joindre sont plutôtjeunes, assez scolarisées, célibataires et vivent en appartement en milieu urbain.

1.4 Qualité des estimés

Il apparaît évident que les différentes pratiques méthodologiques ne s’équivalent pas,certaines sont meilleures, permettent d’obtenir un échantillon plus représentatif de lapopulation à l’étude et par le fait même, des résultats plus fiables. Des études ont été menées

6 Les informations portant sur les pratiques culturelles des personnes plus difficiles à joindre, sur la basedu nombre d’appels pour compléter l’entrevue, ne figurent pas dans la version finale du texte de Chevalier etDurand (1997). Ces informations proviennent d’une version de travail communiquée par les auteurs.

Qualité des sondages - Claire Durand 27 mars 2000 - 40

afin de mesurer l’impact de certaines pratiques, notamment celles entraînant la sous-représentation des personnes plus difficiles à joindre et moins coopératives, sur la qualité desestimés. Cependant, il faut noter que peu de recherches analysent les effets de la sous-représentation de ces groupes sur la qualité de la mesure des intentions de vote. Ainsi, pource type de sondage, il a été impossible de trouver une recherche analysant les effets de lasous-représentation des personnes moins coopératives. Pour ce qui est de la sous-représenta-tion des personnes plus difficiles à joindre, trois recherches américaines traitent de laquestion (Traugott, 1987; firme Harris, 1988 et firme Galup, 1988 dans Cantril, 1991). Deplus, sans que leurs recherches portent sur l’évaluation de l’estimation des intentions de vote,certains chercheurs (Chevalier et Durand, 1997; O’Neil, 1979; Triplett, 1997; Triplett, Blair,Hamilton et Kang, 1996) ont exploré les effets de la sous-représentation de ces groupes surla qualité des estimés.

Les personnes ayant initialement refusé sont en général moins impliquées sociale-ment, plus isolées (O’Neil, 1979).

D’autres variables qui ont été examinées mais qui ne sont pas explicitement prises encompte dans cette article permettent de penser que les personnes moins coopérativessont moins intégrées socialement que les autres répondants. Elles sont significativementmoins portées à participer à des activités ou à des organisations communautaires(activités et organisations interprétées au sens large) que les autres répondants. De plus,elles sont moins portées à indiquer soit leur volonté ou bien une occasion où elles ontappelé la police pour rapporter des crimes qu’elles ont observé dans leur quartier etcelles qui ont appelé l’ont fait moins fréquemment.

Chevalier et Durand (1997) arrivent à des résultats, bien que ne portant pas sur le mêmesujet, assez cohérents avec ces derniers. En effet, à propos des pratiques culturelles desQuébécois, il apparaît que les répondants ayant initialement refusés font moins de sorties(2,34 par semaine) que les répondants demeurant dans un ménage où il n’y a eu aucun refus(3,64 par semaine). Cependant, sur le plan de l’écoute télévisuelle, il n’y a pas de différencesignificative. Ainsi, en concordance avec leur profil socio-démographique, il apparaît queces derniers sortent moins, sont moins impliqués socialement. Ils fournissent moinsd’informations: plus fort taux de non-réponse partielle aux questions et entrevue plus courte(Triplett, 1997).

Où il y a eu refus du ménage, la qualité des données fournies par les répondants estcomparable à celle des autres (Ibid.). Ils écoutent davantage la télévision (31,1 heures parsemaine) que les autres (25,6 heures par semaine) (Chevalier et Durand, 1997). Sur le plandes sorties, il n’y a pas de différence significative (Ibid.).

Pour ce qui est des répondants plus difficiles à joindre, il faut tout d’abord distinguerles recherches disponibles en fonction du type d’indicateurs utilisés: le nombre d’appels pourjoindre le ménage ou pour compléter l’entrevue. La recherche de Chevalier et Durand (1997)a utilisé ces deux indicateurs6. Ainsi, que l’on utilise l’un ou l’autre des indicateurs, on peutconstater que les personnes plus difficiles à joindre écoutent moins la télévision et fontdavantage de sorties, ce qui est concordant avec leur profil socio-démographique.

Qualité des sondages - Claire Durand 27 mars 2000 - 41

Plus directement relié au sujet de cette étude, Traugott (1987), la firme Harris (1988) et lafirme Gallup (1988) (dans Cantril, 1991) ont démontré qu’un faible nombre de tentatives decontact (pour compléter l’entrevue) entraîne un biais en faveur des Démocrates (voir tableauV et VI), les répondants plus difficiles à joindre, c’est-à-dire les jeunes hommes célibataireset demeurant en milieu urbain (Chevalier et Durand, 1997; Sebold, 1988; Traugott, 1987;Triplett, 1997), étant davantage républicains.

Tableau V. Nombre d’appels faits pour compléter l’entrevue etintentions de vote (élection américaine de 1988)

Nombre d’ap-pels

Bush Dukakis

1er appel 47,8% (49,5%*) 44,8%

2e appel 48,9% 43,6%

3e appel 49,1% 43,4%

4e appel (50,9%*)

Gallup, 1988; *: Harris, 1988

Tableau VI. Nombre d’appels faits pour compléter l’entrevue etintentions de vote (élection américaine de 1984)

Nombre d’ap-pels

Rea-gan

Mondale

1er appel 48% 45%

2e appel 51% 45%

3e appel 51% 42%

4e appel 52% 40%

Traugott, 1987

Au premier appel, il y a surreprésentation, par rapport à l’échantillon final, des Démocrates.Après quatre appels, les paramètres démographiques sont plus fidèles de la réalité et laproportion de Démocrates a diminué, à l’avantage des Républicains (Traugott, 1987). Ainsi,le nombre d’appels faits pour compléter l’entrevue a un effet sur les paramètres démographi-ques de l’échantillon et à échéance, sur la qualité de l’estimation des intentions de vote.

.....

Il est à noter que l’importance relative de la sous-représentation des personnes moinscoopératives et plus difficiles à rejoindre est fonction de la maximisation de l’échantillon.L’absence de prise de rendez-vous, l’utilisation des quotas, la substitution de numéros detéléphone, etc., sont quelques unes des pratiques qui, pouvant être qualifiées de «nonorthodoxes», ne maximise pas l’échantillon et ainsi, risquent de faire augmenter les biais dusà la non-réponse. Ainsi, la maximisation peut être opérationnalisée, entre autre, par le taux

7 Bien qu’il n’y ait pas unanimité sur la manière de calculer ce taux, on s’entend généralement pour direqu’il s’agit du rapport entre le nombre d’entrevues complétées et le nombre de numéros dans l’échantillon, c’est-à-dire valides et éligibles.

Qualité des sondages - Claire Durand 27 mars 2000 - 42

de réponse7, une forte maximisation étant accompagnée d’un bon taux de réponse. Ainsi, ilapparaît que, quand un échantillon est fortement maximisé, les refus forment la plus grandepart de la non-réponse et inversement, s’il ne l’est que très peu, si un échantillon ouvert estutilisé, les non-contacts (pas de réponse) formeront la plus grande part.

Bref, certaines pratiques méthodologiques peuvent affecter la représentativité del’échantillon et à échéance, la qualité des estimés. De fait, si les répondants moins coopéra-tifs (Chevalier et Durand, 1997; Groves et Lyberg, 1988; O’Neil, 1979; Triplett, 1997;Triplett et al., 1997) et ceux plus difficiles à rejoindre (Chevalier et Durand, 1997; Harris,1988 dans Cantril, 1991; Gallup, 1988 dans Cantril, 1991; Sebold, 1988; Traugott, 1987;Triplett, 1997) ont un profil socio-démographique, des attitudes et des comportements typés,les pratiques méthodologiques qui entraînent leur sous-représentation risquent de causer desbiais dans les estimés. Ainsi, afin d’obtenir un échantillon représentatif et des résultatsfiables, il est préférable d’utiliser des pratiques méthodologiques permettant de réduire leplus possible la non-réponse, qu’elle soit liée à des problèmes de coopération ou à ladifficulté à rejoindre certains groupes de la population.

Qualité des sondages - Claire Durand 27 mars 2000 - 43

Références

Chevalier, S., et C. Durand. 1997. Le taux de réponse dans les sondages téléphoniques,déterminants et conséquences. 65 ème Congrès de l'ACFAS, Montréal, Université duQuébec à Trois-Rivières.

Collins, M., W. Sykes, P. Wilson, et N. Blackshaw, "Nonresponse: The UK Experience."dans: Robert M. Groves, Paul P. Biemer, Lars E. Lyberg, James T. Massey, W.L. NichollsII, et J. Wasberg. Telephone survey methodology. New York, Wiley, 213-231. 1988

Couper, Mick P., et Robert M. Groves. "Le rôle de l'intervieweur dans la participation auxenquêtes." Techniques d'enquêtes 18(2):279-294. 1992

Couper, M.P., et R.M. Groves. "Household-Level Determinants of Survey Nonresponse."New directions for evaluation, 70:63-79. 1996

De Heer, Wim. 1996. International response trends. 4th International social science metho-dology conference, july 1996, University of Essex, Colchester England.

Dillman, Don A. Mail and telephone surveys. New york, Wiley. 1978

Drew, Douglas J., Hussain G. Choudhry, et Lecily A. Hunter, "Nonresponse Issues inGovernment Telephone Surveys." dans: Robert M. Groves, Paul P. Biemer, Lars E. Lyberg,James T. Massey, William L. Nicholls II, et Joseph Waksberg. Telephone survey methodolo-gy. New York, Wiley, 233-246. 1988

Droesbeke, Jean-Jacques, Bernard Fichet, et Philippe Tassi, "La Place Des Sondages EnStatistique." dans: Jean-Jacques Droesbeke, Bernard Fichet, et Philippe Tassi, Les sondages.Paris, Economica, 3-28. 1987

Durand, C., "La Violence Envers Les Femmes, Questions Méthodologiques." dans: MaryseRinfret-Raynor. Violence envers les femmes: la controverse des chiffres. Montréal, CRI-VIFF,Actes du colloque tenu à Montréal le 17 mai 1994 dans le cadre du 62 ème Congrès del'ACFAS. Collections Réflexions no. 2, 71-80. 1994

Dussaix, A.M. et Grosbras, J.M. (1994). Sondage et qualité des données in. Grangé, D. EtLebart, L. Ed. Traitement statistique des enquêtes. Paris, Dunod, p.21-52.

Fowler, Floyd J. Survey research methods. Neybury Park, Sage. 1993

Goyder, John. The silent minority. Boulder, Colorado, Westview press. 1987

Groves, Robert M., "Probing the Causes of Nonresponse and Efforts to Reduce Nonres-ponse." dans: Robert M. Groves, Survey errors and survey costs. New York, Wiley, 1989

Groves, Robert M., Paul P. Biemer, Lars E. Lyberg, James T. Massey, William L. NichollsII, et Joseph Waksberg, eds. Telephone survey methodology. New York, Wiley. 1988

Qualité des sondages - Claire Durand 27 mars 2000 - 44

Groves, R.M., R.B. Cialdini, et M.P. Couper. "Understanding the Decision to Participate inSurveys." Public opinion quarterly 56(4):475-495. 1992

Groves, R.M., et L.E. Lyberg, "An Overview of Nonresponse Issues in Telephone Surveys."dans: Robert M. Groves, Paul P. Biemer, Lars E. Lyberg, JamesT. Massey, William L.Nicholls II, et Joseph Waksberg. Telephone survey methodology. New York, Wiley, 191-211.1988

Hidiroglou, Michael A., Douglas J. Drew, et Gerald B. Gray. "Cadre Pour L'évaluation LaRéduction De La Non-Réponse Dans Les Enquêtes." Techniques d'enquêtes 19(1):91-105.1993

Lachapelle, Guy. Les sondages et les médias lors des élections au Canada. Le pouls de l'opinionApprovisionnements et Services Canada ed., Vol. 16., Dundurn Press Limited & Wilson &Lafleur Limitée. 1991

Lavrakas, Paul J. Telephone survey methods: sampling, selection and supervision Appliedsocial research methods series ed., Vol. 7. Newbury Park, Sage. 1993

Maas, Cees, et Wim De Heer. "Response Developments and the Fieldwork Strategy."Bulletin de méthodologie sociologique(48):36-50. 1995

March, Catherine, et Elinor Scarbrough. "Testing Nine Hypotheses About Quota Sampling."Journal of the market research society 32(4):485-506. oct. 1990

O'Neil, Michael J. "Estimating the Non Response Bias Due to Refusals in TelephoneSurveys." Public opinion quarterly 43(2):218-232. 1979

Pettigrew, Thomas F. How to think like a social scientist? Santa Cruz, California, HarperCollins. 1995

Platek, R., et G.B. Gray. "Sur les définitions des taux de réponse." Techniques d'enquêtes12(1):19-30. 1986

Presser, Stanley, Johnny Blair, et Timothy Triplett. "Survey Sponsorship, Response Rates,and Response Effects." Social science quarterly 73(3):699-702. 1992

SCSP-ACSALF. Sondages politiques et politiques des sondages au Québec. Montréal, miméo.1979

Sebold, Janice, "Survey Period Length, Unanswered Numbers, and Nonresponse in Tele-phone Surveys." dans: Robert M. Groves, Paul P. Biemer, LarsE. Lyberg, James T. Massey,William L. Nicholls II, et Joseph Waksberg. Telephone survey methodology. New York,Wiley, 247-256. 1988

Singer, E., M.R. Frankel, et M.B. Glassman. "The Effect of Interviewer Characteristics andExpectations On Response." Public opinion quarterly 47:68-83. 1983

Smith, Herbert L., et Aimée Dechter, "Effect of Non Response On the Measurement of

Qualité des sondages - Claire Durand 27 mars 2000 - 45

Social Life Feelings." dans: Dagman Krebs, et Peter Schmidt. New directions in attitudesmesurement. New York, Walter de Gruyter, 1993

Snijkers, Ger, Joop Hox, et Edith D. De Leeuw, Interviewers' tactics for fighting surveynonresponse. 4th international social science methodology conference, july 1996, Universityof Essex, Colchester, England. 1996

Steeh, Charlotte G. "Trends in Nonresponses Rates, 1952-1979." Public opinion quarterly45(1):32-49. 1981

Stephenson, Bruce C.. "Probability Sampling With Quotas: An Experiment." Public opinionquarterly 43(4):477-496. 1979

Traugott, Michael W. "The Importance of Persistence in Respondent Selection for Preelec-tion Surveys." Public opinion quarterly 51:48-57. 1987

Traugott, Michael W., Robert M. Groves, et James M. Lepkowski. "Using Dual FrameDesigns to Reduce Nonresponse in Telephone Surveys." Public opinion quarterly 51:522-539. 1987

Tremblay, Victor. La sélection dans le bottins téléphoniques: ampleur et conséquences de lanon-inscription. Montréal, Centre de sondage, Université de Montréal. janvier 1981

Qualité des sondages - Claire Durand 27 mars 2000 - 46

Appendice 1 Exemples de stratégies d’échantillonnage

Qualité des sondages - Claire Durand 27 mars 2000 - 47

Exemple 1.

Population : Ensemble des étudiants âgés de 13 ans à 16 ans de Montréal

- Où les trouver de façon à ce que toute personne répondant à ce critère ait une chance connue etégale aux autres de faire partie de l'échantillon?

exemple: Écoles secondaires publiques et privées de l'Île de MontréalProblèmes: Est-ce que je considère les étudiants vivant à Montréal (même s'ils étudientailleurs) auquel cas ces personnes ne seront pas dans l'échantillon; il y aura donc un biais6réviser la définition de la population?Est-ce que je considère les étudiants étudiant à Montréal même s'ils vivent ailleurs? S'ils nefont pas partie de la population, je devrai filtrer pour les éliminer. Donc: Les étudiants de Montréal: pas assez précis. 6 choix: Les personnes âgées de 13 à 16ans étudiant dans une école publique ou privée située sur l'île de Montréal et résidant àMontréal.

Problème: Est-ce que j'inclus les handicapés mentaux qui sont dans des écoles spéciales oudans les écoles régulières, les handicapés physiques qui sont dans des écoles spéciales...

Donc: Les personnes de 13 à 16 ans fréquentant le cursus régulier d'une école secondairepublique ou privée...

Problème: de 13 à 16 ans: S'ils ont 12 ans et qu'ils sont en secondaire 1, je les exclus ou pas?et s'ils ont 16 ans et un mois et sont en Secondaire 5. En fait pourquoi est-ce que j'ai fixé cecritère d'âge...Problème: par ailleurs, si je maintiens le critère d'âge, est-ce inclusif ou exclusif? i.e 13, 14,15 et 16 ans ou 13, 14, 15...

Donc: Supposons que la population est définie comme l'ensemble des personnes étudiant ausecteur régulier dans une école secondaire privée ou publique située sur l'île de Montréal etvivant à Montréal.

Qualité des sondages - Claire Durand 27 mars 2000 - 48

Maintenant, regardons la base échantillonnale, c’est-à-dire la liste des unités à partir de laquelle onpeut tirer l’échantillon:

- Liste de tous les étudiants inscrits dans les écoles....

Problème 1: Les décrocheurs encore inscrits, est-ce que je les garde dans l'échantillon?- Normalement, si ma population est celle des personnes étudiant..., je vais les considérercomme non-éligibles.

Problème 2: Où je trouve la liste de tous les étudiants inscrits... Et la loi de protection des renseigne-ments personnels?

6Stratégie d'échantillonnage:

Stratégie 1: Échantillonnage de type aléatoire simple ou systématique

Pour utiliser cette stratégie, je dois obtenir la liste de tous les étudiants inscrits dans les écolessecondaires privées et publiques de l'île de Montréal.

- Je dois d'abord trouver la liste des commissions scolaires de l'île et la liste des collèges privésdispensant un enseignement secondaire. C'est une information publique que je peux obtenir dediverses sources. Exemple: S'adresser au Conseil scolaire de l'île; Trouver le répertoire descommissions scolaires : Bibliothèque EPC, Publications du Québec (Place Desjardins), ami auMinistère de l'Éducation, Association des collèges privés,...

- Il faudra ensuite obtenir la collaboration de chaque commission scolaire, de chaque collège privé.Je pourrais décider de convaincre le conseil scolaire de l'île et l'association des collèges privés pourqu'ils appuient ma recherche et invitent leurs membres à collaborer avec moi. (ATTENTION: tousces organismes sont très sollicités. A la CECM, il faut passer par le service de recherche qui filtre lesdemandes).

- Mon problème demeure toutefois. Ils ne peuvent pas légalement me fournir la liste de leursétudiants (Loi de protection des renseignements personnels). Je ne pourrais donc utiliser un échantil-lon complètement aléatoire à moins que toutes les unités décident de collaborer avec moi etreprennent l'étude à leur compte.

Si seulement certaines unités acceptent, je dois me demander si elles sont représentatives del'ensemble des étudiants. La réponse scientifique à cette question est non. Les étudiants de ces unitésont comme caractéristiques spécifiques de faire partie d'unités dont la direction est intéressée à monprojet. Si l'étude porte sur la perception que les étudiants ont de la direction de l'école, l'échantillonpeut apparaître très biaisé puisque les directions intéressées par mon projet ont de fortes chancesd'être ce type de direction qui est mieux perçu par les étudiants.

Stratégie 2 : Échantillon à plusieurs degrés.

Au premier degré, j'échantillonne les écoles à partir de la liste des écoles. 6Chaque école a uneprobabilité connue d'être choisie. L'unité d'échantillonnage, c'est l'école.

Je contacte ces écoles et j'essaie d'avoir la collaboration de toutes les directions d'écoles. Je leurdemande de me fournir la liste des foyers et du nombre d'étudiants par foyer.

Au deuxième degré, j'échantillonne des foyers; chaque foyer -- unité d'échantillonnage de deuxième

Qualité des sondages - Claire Durand 27 mars 2000 - 49

niveau -- a une probabilité connue d'être choisi.

Au troisième degré, je peux décider d'utiliser un échantillon de type aréolaire et prendre tous lesétudiants des foyers sélectionnés. Je pourrais aussi décider de sélectionner des étudiants à l'intérieurde chaque foyer (échantillon aléatoire ou systématique).

Note : Ce type d'échantillon a des désavantages dont celui d'entraîner possiblement une plus grandehomogénéité de l'échantillon. Il peut toutefois avoir des avantages énormes, particulièrement ensociologie, celui de permettre de recueillir des données sur les caractéristiques collectives des unitésde premier degré (niveau socio-économique du quartier où est situé l'école; proportion d'élèvesd'origine ethnique "autre",etc).

Stratégie 3: Échantillon à plusieurs phases.

J'échantillonne un nombre important d'écoles. J'adresse un questionnaire à la direction d'écoledemandant des informations quant à certaines caractéristiques. J'échantillonne par la suite denouveau les écoles mais sur la base des caractéristiques. Exemple: Je veux échantillonner les écolesselon le niveau d'activité du comité d'école. J'échantillonne d'abord 1,000 écoles; je leur expédie unquestionnaire demandant un certain nombre de questions me permettant de déterminer le niveaud'activités du comité d'école (fréquence des réunions, présence aux réunions, nombre d'activitésorganisées, etc). A partir de ces indicateurs, je détermine un indice d'activité. Les résultats montrentqu'il y a 300 écoles dont le comité est considéré comme très actif, 150 dont le comité est moyenne-ment actif et 150 dont le comité est peu actif. Je décide d'échantillonner 50 écoles très actives (f=1/6), 50 écoles moyennement actives (f=1/3) et 50 écoles peu actives (f=1/3). Je fais alors unéchantillon stratifié, i.e. la probabilité d'être choisi est déterminée par strate et peut différer selon lesstrates. A l'intérieur des écoles sélectionnées, je déciderai par la suite d'une sélection qui peutcomprendre diverses populations: enseignants, membres du comité d'école, parents d'élèves,élèves...).

Je pourrais faire un échantillon apparié...

La méthodologie, c'est l'art de poser toutes les questions.

Le choix de la stratégie d'échantillonnage dépend de divers critères:

- Efficacité de la stratégie : recueillir le maximum d'informations au moindre coût en temps et enargent.

- Disponibilité des informations : A-t-on accès à une liste d'adresses ou de numéros de téléphones, lecas échéant.

- Mode de cueillette :- Par la poste 6 liste d'adresses, hasard aléatoire ou systématique- Par téléphone 6 numéros de téléphone ou RDD, hasard aléatoire ou systématique.- Entrevues sur place 6 sélection d'ilôts, échantillons aréolaires ou en grappes.

L'IMAGINATION doit être au rendez-vous : Une stratégie originale permettant de combiner diversmodes d'enquêtes ou d'échantillonnage lorsque nécessaire permettra d'arriver à des résultats plusintéressants, permettant une meilleure analyse de la situation.

Qualité des sondages - Claire Durand 27 mars 2000 - 50

Exemple 2.

Supposons que je veux faire un échantillon d’écoles du Québec en vue de faire une enquête auprèsdes directeurs d’école.

La première étape consiste à identifier l’information dont j’ai besoin. Combien y a t-il d’écoles auQuébec. Comment l’enseignement est-il organisé : privé vs public, commissions scolaires, primairevs secondaire vs éducation des adultes, nombre d’élèves par école, etc. Normalement, je doispouvoir trouver l’ensemble de ces informations sur le site du ministère de l’éducation.

...

Une fois l’information recueillie, je dois tenter de voir quel type d’échantillon convient le mieux à maproblématique et quels sont les avantages et inconvénients de chaque type d’échantillon. A titred’exemple.

Echantillon aléatoire à probabilités égales:

Dans ce cas, je tire un échantillon d’écoles, sans me soucier de la taille des écoles, de leur type (privé,public, primaire, secondaire, etc). Je m’intéresse aux directeurs d’école et tous les directeurs, quelque soit le type d’école dont ils sont responsables sont équivalents.

Pour procéder, je dois me rappeler que je peux tirer un échantillon aléatoire simple...• je peux prendre une table de nombres aléatoires (que l’on trouve dans tout bon livre de

statistique), • je peux imprimer la liste de noms, découper la liste en un papier par école, mettre le tout dans

un chapeau et piger jusqu’à atteindre le nombre pré-défini (voir estimation de la taillerequise)

• je peux, plus simplement, récupérer la liste de noms dans une base de données (SPSS,Excel,...) et utiliser une procédure d’échantillonnage (SAMPLE dans SPSS).

ou aléatoire systématique:• J’imprime la liste et je m’assure qu’il n’y a pas un ordre dans la liste susceptible de biaiser le

hasard. Je tire au hasard un premier chiffre compris entre 1 et l’intervalle de sélection, ce quime permet de choisir la première école sélectionnée dans la liste. Je continue ensuite ensuivant la liste et en choisissant les écoles en fonction de l’intervalle de sélection. Concrète-ment, si je dois choisir une école sur dix, je prends au hasard aléatoire un nombre comprisentre un et dix inclusivement. S’il s’agit de 6 par exemple, je garderai dans l’échantillon lasixième école, puis la seizième, la vingt-sixième, etc. Cette procédure est très pratique etappropriée quand il faut procéder manuellement.

• Je peux encore là utiliser une base de données. Dans ce cas, il est habituellement possible defaire “mêler” la liste de noms pour s’assurer qu’elle n’ait pas d’ordre susceptible de biaiserl’échantillon. Ensuite, on peut sélectionner via des fonctions de sélection du type (MOD(ID,10) égale 6) où ID est le numéro séquentiel du cas. Concrètement, le MOD (pourmodulo) est le reste de la division de ID par 10 et donc cette procédure permettrait desélectionner le cas 6 (6/10=0, reste 6), le cas 16 (16/10=1, reste 6), le cas 26 (26/10=2, reste6) etc.

J’obtiendrai alors un échantillon de directeurs d’école. Je peux vérifier, à partir des données que j’aidéjà recueillies sur la “population” des écoles, que l’échantillon reflète assez bien cette population,sans trop de distorsions : Les répartitions public-privé, primaire-secondaire, selon les régionsadministratives, sont-elles similaires dans la population d’origine et dans l’échantillon? Ceci mepermet de m’assurer que le hasard n’a pas fait mal les choses, ce qui arrive parfois (au moins unechance sur 20).

Qualité des sondages - Claire Durand 27 mars 2000 - 51

Ceci ne m’assure pas d’une bonne représentation des caractéristiques des directeurs -- qui pourraientêtre influencées par d’autres paramètres que je ne peux pas contrôler puisque je n’ai pas l’informationde base -- mais, je peux affirmer que j’ai tenté dans la mesure du possible de m’assurer de contrôlertout ce qu’il est possible de contrôler. Les caractéristiques des directeurs dans l’échantillon risquentdonc de s’approcher fortement de celles de la population. Dans cet exercice, je ne connais pas lesparamètres de la population des directeurs et je tente de les estimer au mieux, i.e. avec une marged’erreur acceptable, à partir de l’échantillon.

L’inconvénient de cet échantillon est que les directeurs de petites écoles seront sur-représentés dansl’échantillon.

Echantillon aléatoire à probabilités inégales

Dans le cas de ce type d’échantillon, je voudrais que l’échantillon des directeurs reflète l’importancede leurs responsabilités. En d’autres termes, plutôt que de donner la même importance à un directeurd’école primaire de village et à un directeur de polyvalente, je veux que l’échantillon de directeursque je vais constituer reflète l’importance de la population scolaire dont ils ont la responsabilité.

Les données sur la population des écoles étant disponibles, l’idée est de constituer l’échantillon enaccordant aux directeurs une probabilité d’être choisi proportionnelle à l’importance de leursresponsabilités. Il s’agit donc de constituer le “chapeau” de telle manière que, par exemple, ledirecteur responsable d’une école de 100 élèves voit son nom apparaître une seule fois alors que ledirecteur d’une école de 600 élèves voit son nom apparaître six fois et ait donc six fois plus dechances d’apparaître dans l’échantillon. Avec un tel échantillon, les directeurs d’écoles plusimportantes seront représentés dans l’échantillon en fonction de l’importance de leurs clientèles. Comment procéder?

• Il faut d’abord que je constitue une liste “pondérée” en fonction du nombre d’élèves• Pour cela, si je veux procéder par tirage dans un chapeau (de type loto), je dois

doubler, tripler, etc. les noms en fonction du nombre d’élèves par école• Si j’ai récupéré la liste dans une base de données, je peux utiliser une procédure de

pondération. Dans SPSS, par exemple, la commande Weight (pondérer les observa-tions dans le menu Données) permet de définir que la variable donnant le nombred’élèves est utilisée pour pondérer.

• Ensuite, il suffit d’utiliser la même procédure (tirage au sort, SAMPLE, systématique) quepour l’échantillon aléatoire à probabilités égales.

L’avantage et l’inconvénient de cet échantillon réside dans ce qui est recherché, en fait: unesurreprésentation des directeurs de grosses écoles.

Echantillon aréolaire, échantillon en grappes

Rappelons que les deux termes sont parfois utilisés l’un pour l’autre mais recouvre des procédureslégèrement différentes. Dans le cas de l’échantillon aréolaire, exemple que nous allons donner, ils’agit de sélectionner des “aires” et de procéder ensuite si nécessaire à une sélection à l’intérieur deces aires. Dans le cas de l’échantillon en grappes, il s’agit de sélectionner des cas et de constituer lesgrappes en prenant un certain nombre de cas voisins des cas sélectionnés.

Supposons que l’enquête auprès des directeurs d’école me demande d’aller les rencontrer en face àface, soit pour conduire l’entrevue proprement dite, soit pour effectuer des observations sur le milieude l’école, ou pour d’autres raisons. Ce type de situation amène fréquemment à utiliser des échantil-lons aréolaires de façon à éviter les coûts associés à des déplacements indus. On pourrait ainsi, dansnotre cas, présélectionner des commissions scolaires, des régions ou sous-régions administratives,etc.

Qualité des sondages - Claire Durand 27 mars 2000 - 52

Supposons que je décide d’y aller par commissions scolaires, en incluant les écoles privées qui sontsur le territoire des dites commissions scolaires. En recueillant les informations, je m’aperçois qu’il ya 72 commissions scolaires, de taille toutefois très variable. La CSDM par exemple, regroupeenviron 6,8 pourcent de la clientèle scolaire du Québec. De plus, ses écoles sont proportionnellementplus grosses que celles des autres C.S. Il s’agit d’un problème important lorsque l’on veut constituerun échantillon aréolaire et que les unités de la population ne sont pas équivalentes. Imaginons ce quese passerait si, en sélectionnant au hasard, la CSDM ne se trouve pas incluse dans mon échantillon :6,8% de la population scolaire, des situations d’écoles, spécifiques au cnetre de l’île de Montréal setrouvent exclues de mon échantillon. Celui-ci se retrouve irrémédiablement biaisé. Par ailleurs, si laCSDM est sélectionnée et que j’ai décidé de prendre toutes les écoles des C.S. sélectionnées, je biaiseégalement l’échantillon en surreprésentant la région de Montréal et en constituant un échantilloncomprenant trop d’unités vivant des situations similaires non indépendantes (puisqu’elles sont dans lamême C.S. et sur un territoire ayant nombre de caractéristiques communes). Ceci illustre les dangersde l’utilisation irréfléchie d’un échantillon aréolaire.

Ayant donc réfléchi à l’ensemble des problèmes auxquels je risque de me heurter, et comme lapremière raison pour laquelle j’ai opté pour un échantillon aréolaire dans ce cas est la nécessité deréduire les coûts de transport, j’opte pour un échantillon mixte: Sur l’île de Montréal, je constitueraiun échantillon au hasard à probabilités égales parmi la liste de toutes les écoles. Hors de l’île deMontréal, je constituerai un échantillon de commissions scolaires au hasard à probabilités inégales,fonction de la taille des commissions scolaires. Ensuite, dans chacune des commissions scolairessélectionnées, je prends une fraction des écoles au hasard aléatoire.

Ce type d’échantillon me permettra normalement de m’assurer de représenter l’ensemble du Québec,l’ensemble des situations de la façon la plus efficiente possible, en réduisant les coûts associés à lanécessité de visiter chaque école.

Un des avantages de cet échantillon demeure la possibilité de recueillir des informations de deuxièmeniveau sur les unités -- caractéristique de la commission scolaire d’appartenance par exemple -- cequi pourrait permettre d’estimer si certaines relations ou certains comportements ou directives desdirecteurs d’école seraient dues à des politiques existant au niveau des commissions scolaires, plutôtqu’au niveau des écoles elles-mêmes

Ce faisant, j’ai toutefois, d’une certaine manière “stratifié ” mon échantillon en deux strates (Ile deMontréal, reste du Québec) en utilisant un mode de sélection différent dans chaque strate. Je pourraisstratifier davantage et différemment (voir suite).

Echantillon stratifié

Revenons au problème mentionné dans le premier type d’échantillon, à savoir la représentation enfonction de la taille des écoles. Il pourrait arriver que, étant donné le sujet de mon enquête, j’accordeune forte importance à ce qu’il y ait une bonne représentation des écoles selon leur taille ou selon, parexemple, qu’elles sont situées en milieu rural ou urbain. Je pourrais ainsi distinguer les écoles setrouvant dans des grands centres urbains -- Montréal, Québec, Hull-Gatineau,-- ou hors de cescentres. J’ai donc deux grandes strates pour lesquelles je pourrai décider d’appliquer des fractions desélection et même des modes de sélection différents de façon par exemple, à obtenir la même marged’erreur pour les deux strates.

Exemple:

Qualité des sondages - Claire Durand 27 mars 2000 - 53

Données 2001 du ministère de l’éducation du Québec:

Strate Nb écolestotales

Nb écoles publiques Nb écoles privées

primaires secon-daires

prim. etsecond.

primai-res

secon-daires

prim. etsecond.

Strate 1 Total 719 382 117 27 95 56 42

Montréal 597 316 103 23 75 43 37

Québec 86 40 12 2 17 11 4

Hull-Ga-tineau

36 26 2 2 3 2 1

Strate 2 Total 1175 1480 345 206 47 85 12

Total Province 2894 1862 462 233 142 141 54

Ainsi dans le cas précédent, pour tirer un échantillon d’écoles publiques égal dans les trois centres urbains etdans le reste du Québec, on pourrait décider de prendre une école sur 10 dans la strate 2 (reste du Québec), cequi donnerait 117 écoles, et de prendre une école sur 5 dans Hull-Gatineau (7 écoles), une sur 8 à Québec (10écoles) et une sur 6 à Montréal (100 écoles). On aurait donc un échantillon final comprenant 113 écoles dansles trois centres urbains et 117 écoles dans le reste du Québec. Une fois les données en main, on devrait lespondérer par l’inverse de la fraction d’échantillonnage lorsque l’on présenterait les données pour l’ensemble duQuébec.

Si on avait pris un échantillon proportionnel, on aurait, pour 117 écoles dans le reste du Québec (strate 2), 72écoles seulement en région urbaine (719 divisé par 10).

Qualité des sondages - Claire Durand 27 mars 2000 - 54

Appendice IIPetits problèmes

Qualité des sondages - Claire Durand 27 mars 2000 - 55

Petits problèmes

Problème 1.:

L'Université de Montréal veut construire une piste de ski sur la montagne. Vous faites partied'un groupe de pression qui veut empêcher cette construction. Un de vos arguments majeursest l'opposition tant de la population étudiante que de la population du quartier environnant àce projet.

La population étudiante est estimée à 30,000 personnes alors que la population du quartierest estimée à 50,000 personnes (15,000 ménages).

Vous décidez de mener deux sondages, un auprès des étudiants et un autre auprès de lapopulation du quartier. (Notez que les bases se recoupent!).

Si la proportion réelle d'étudiants opposés au projet est de 57%,

1) Quelle taille échantillonnale devez-vous avoir pour pouvoir affirmer avec 95% de chancesde ne pas vous tromper qu'une majorité d'étudiants (50% +1) est opposée au projet? (Estimez d'abord la marge d'erreur que vous pouvez vous permettre).

2) Quelle serait la marge d'erreur si le nombre de répondants de l'échantillon final était de a) 3,000b) 1,000c) 300

3) a) Combien de numéros de téléphone dois-je sélectionner au départ pour obtenir unéchantillon final de 600 personnes si le taux de réponse estimé est de 70%, le taux d'éligibili-té de 92% et le taux de validité des numéros de téléphone de 80%.

b) quelle sera la fraction de sélection? quel sera le pas? si N valide=2,330,000 (N valide étantle nombre de ménages avec numéros de téléphone).

c) Quel est le poids que vous devrez appliquer à chaque répondant (excluant le poids dû à lasélection dans le ménage)?

Qualité des sondages - Claire Durand 27 mars 2000 - 56

Autres petits problèmes

1. a) Une étude a été effectuée et 553 questionnaires ont été complétées. Lors de l'analyse,nous constatons que 53,7% des répondants affirment avoir lu au moins un livre durant lestrois derniers mois.Déterminez la marge d'erreur de cette proportion avec un seuil de confiance de 99%(Z"=.99=2.58).

b) De ces 553 questionnaires, 110 ont été complétés par des personnes dont la langue d'usageest l'anglais et 443 par des personnes dont la langue d'usage est le français.- Quelle est la proportion de personnes dans l'échantillon dont la langue d'usage est l'anglais?- Quelle est la marge d'erreur de cette proportion si j'accepte un seuil de confiance de 95%.

c) Parmi les 110 personnes de langue anglaise, 66 ont lu au moins un livre au cours des troisderniers mois. - Quelle est la proportion de personnes de langue anglaise dans l'échantillon qui ont lu aumoins un livre au cours des trois derniers mois?- Quelle est la marge d'erreur de cette proportion si j'accepte un seuil de confiance de 95%.- Dans la population de langue anglaise, avec un seuil de confiance de 95%, la proportion depersonnes qui ont lu au moins un livre se situerait dans quel intervalle de valeur (entrecombien p. cent au minimum et combien p. cent au maximum)?

d) Parmi les 443 personnes de langue française, 221 ont lu au moins un livre au cours destrois derniers mois. - Quelle est la proportion de personnes de langue française dans l'échantillon qui ont lu aumoins un livre au cours des trois derniers mois?- Quelle est la marge d'erreur de cette proportion si j'accepte un seuil de confiance de 95%.- Dans la population de langue française, avec un seuil de confiance de 95%, la proportion depersonnes qui ont lu au moins un livre se situerait dans quel intervalle de valeur (entrecombien p. cent au minimum et combien p. cent au maximum)?

Qualité des sondages - Claire Durand 27 mars 2000 - 57

2. Lors d'une étude portant sur la qualité de vie urbaine, nous voulions compléter 300questionnaires pour chacune des 4 régions désignées comme typiques. En estimant lerendement du plan échantillonnal à x%, nous avons décidé de sélectionner 500 personnes parrégion. Nous avons utilisé comme base échantillonnale les listes électorales. Chaque régionavait un nombre différent d'électeurs.

Région nb.électeurssur laliste

f -pas

nb départ(sélec-tionnés)

%validité

%éligibi-lité

% ré-ponse

nbrépon-dants

margeerreurà 95%

rende-mentéchantil-lonnal

1 16000 500 90% 95% 300

2 9000 500 90% 95% 325

3 13000 500 95% 95% 400

4 22000 500 85% 80% 225

Dans le tableau précédent, vous avez toutes les informations nécessaires pour remplir les casesblanches et toutes les notions que vous devez maitriser sont là ou presque... bonne chance. Pour leplaisir (SIC), ajouter une colonne pour la pondération.

Qualité des sondages - Claire Durand 27 mars 2000 - 58

Exercices à partir des données d’un sondage Som publié par La Presse les 8 et9 mars 1997: 1. Avec un seuil de confiance de 95 % a) Quelle est la proportion de personnes qui ont l’intention de voter PQ aux prochaines électionset quelle est la marge d’erreur de cette proportion ?

b) Quelle est la proportion de personnes qui ont l’intention de voter PQ aux prochaines électionset quelle est la marge d’erreur de cette proportion ?

c) Quelle est la proportion de personnes qui ont l’intention de ne pas aller voter aux prochainesélections et quelle est la marge d’erreur de cette proportion ?

2. Dans quelle(s) sous-population(s) pouvez-vous être certain à 95% que plus de 50% despersonnes appuie le oui (ou le non à votre choix) ?

3. Y a-t-il une différence significative entre les hommes et les femmes quant à l’intention devoter oui au référendum ?

Qualité des sondages - Claire Durand 27 mars 2000 - 59

Appendice lII Les divers types de documents et de rapports

Qualité des sondages - Claire Durand 27 mars 2000 - 60

A. Proposition de service:

La proposition de service, comme le projet de recherche mais dans un autre contexte, sert àétablir les services qui seront rendus, l'échéancier, le coût et le mode de paiement.

Une proposition de service type comprend habituellement les informations suivantes:

- Objectif de la recherche:On résume ici les objectifs premiers de la recherche (Ex. Connaître les facteurs quiinfluencent le décrochage scolaire chez les immigrants et chez les non-immigrants,...,connaître le taux de satisfaction ...), le mandat à exécuter.

- Stratégie d'échantillonnage proposéeOn note le mode de sélection, la présence de strates s'il y a lieu, les taux de validité,d'éligibilité et de réponse attendus, la marge d'erreur qui devrait en résulter.

- Outil de cueilletteOn présente les dimensions, sous-dimensions et indicateurs prévus de même que desinformations plus techniques (nombre approximatif de questions, durée approximativedu questionnaire, nombre de pré-test)

- Analyses statistiques prévues (en fonction du mandat et de la question de recherche). 6Esquisse du plan d'analyse.

- Échéancier prévu:Dans cette section, on notera les dates prévues pour chacune des grandes opérations:élaboration du questionnaire et pré-test, cueillette des données, entrée et premiertraitement des données, analyses et rapport d'analyse.

- Soumission quant au coût des opérations et au mode de paiement.Cette partie comprend les estimations de coût, habituellement détaillées pour chacunedes opérations (élaboration du questionnaire, frais d'impression, de traduction, decueillette des données, de gestion des opérations, d'entrée des données, de traitement,d'analyse,...)

- Présentation du soumissionnaire Cette partie présentée en annexe présente les principales réalisations dusoumissionnaire et un bref curriculum vitae

Qualité des sondages - Claire Durand 27 mars 2000 - 61

B. Rapport de pré-test:

But du pré-test:

1) Vérifier si les questions...- sont comprises (Est-ce que les gens font répéter la question?)- sont comprises de la même manière par tout le monde (donnent lieu au même type deréponses dans le cas des questions ouvertes)- sont "productives" - donnent lieu à des réponses "riches de sens"

- donnent lieu à des réponses (peu de "ne sais pas" pour les questionsd'opinion)

- les choix de réponses se répartissent de façon appropriée

2) Vérifier l'ordre des questions- Les filtres (Passez à question...) sont appropriés- Le questionnaire "coule bien".

3) Vérifier la durée du questionnaire

Pré-test effectué:

- de préférence auprès de gens faisant partie de la population cible mais non de l'échantillon- faciles à rejoindre- Le pré-test est effectué de la manière dont l'enquête se déroulera i.e. au téléphone pour unsondage téléphonique, anonymement pour un sondage postal,...

Le rapport de pré-test comprend:

1) Durée du questionnaire

Moyenne:Minimum:Maximum:Médiane:

Bref commentaire sur la durée.

Note: La durée du questionnaire inclut l'introduction, la prise de contact et la sélection del'individu s'il y a lieu (dans un ménage par exemple)

Qualité des sondages - Claire Durand 27 mars 2000 - 62

2) Les questions

Selon les résultats du pré-test et l'obligation de faire des modifications plus ou moins grandes,cette partie comprendra - soit des références à chaque question avec un bref commentaire et parfois la répartition deschoix de réponse- soit des références uniquement aux questions qui ont posé des problèmes (lorsqu'il y en apeu).

On notera ici le type de problème entraîné par les questions et le type de solution proposé.

La suggestion de modification de la question est soit insérée avec ces commentaires, soitréférée à la version finale du questionnaire.

3) Ordre des questions, déroulement de l'entrevue

On notera ici les problèmes amenés par les filtres, par l'ordre des questions. On notera lesajouts d'introduction à certaines séries de question, les modifications dans l'ordre d'unequestion ou d'un groupe de questions.

Note: Il est particulièrement important à ce niveau de porter attention aux premières questions.Si celles-ci constituent une entrée trop "vive" dans le coeur du sujet, il y a risque de provoquerdes refus ou des résistances à répondre à certaines questions.

Qualité des sondages - Claire Durand 27 mars 2000 - 63

C. Rapport méthodologique

Le rapport méthodologique est habituellement annexé au rapport d'analyse. Il comporte lesinformations suivantes:

- Définition de la population:- Information sur la base échantillonnale- Information sur le mode de sélection et la fraction de sélection (par strate s'il y a lieu)- Rapport de "terrain" i.e Informations sur la cueillette des données:

- Information sur le déroulement des opérations:- Date de début et date de fin- Présence d'événements perturbants- Postal, auto-administré : Nombre et date des rappels- Téléphonique : Nombre et moment des appels faits pour rejoindre lespersonnes

- Tableau des résultats du terrain (voir norme AIRMS):Échantillon de départ: N de départ

Non-valides (non-résidentiels et non attribués dans le cas d'un sondage téléphonique;généralement, non-membres de la base échantillonnale)

Échantillon valide: N valide, taux de validité

Non-éligibles (malades, confus, incapables deconverser en français ou en anglais, etc.)

Échantillon éligible: N éligible, taux éligibilité

Refus de répondre (ménage, individu)Absence prolongéeNon-réponse

Échantillon final: N répondants, taux de réponse

- Pondération et redressement appliqué selon les strates, le cas échéant

Qualité des sondages - Claire Durand 27 mars 2000 - 64

D. Plan de code

Le plan de code comprend les indications aux codeurs sur la manière dont les données doiventêtre codées. Il contient donc des informations du type:

Pour chaque question à laquelle la situation s'applique:

- Que faut-il faire lorsqu'une personne n'a pas répondu à une question (Attribuer un code pré-déterminé? laisser en blanc?

- Que faut-il faire lorsqu'une question n'a pas à être répondue par une personne (Attribuer uncode pour "Ne s'applique pas"? Laisser en blanc?

- comment doit-on coder les questions ouvertes (Lister les réponses, regrouper parcatégories,...)

- comment coder les occupations, les types d'organisations

- que faire lorsque les réponses à plusieurs questions ne "balancent" pas (Exemple: Ondemande aux gens la proportion de leur temps d'écoute télé qu'ils ont consacré à l'écoute desdiverses chaînes de télévision et le total ne donne pas 100%.

Livre de code:

Le livre de codes comprend les codes pour chacune des questions. Il est essentiel pour lesquestions ouvertes, à moins que les codes soient inscrits dans le programme informatique(Value labels). Il est annexé au rapport d'analyse.

Qualité des sondages - Claire Durand 27 mars 2000 - 65

E. Rapport d'analyse

Le rapport d'analyse est le texte final remis au "client".

Le "corps" du rapport comprend:

- Une introduction où on rappelle le mandat et où l'on présente les grandes parties du texte quisuivra.

- Les divers chapitres comprenant chacun l'analyse d'une partie des données (Un rapportpourrait, dans les cas soumis dans le cadre de ce cours, comprendre un chapitre sur lesconnaissances, un autre sur les comportements et un troisième sur les attitudes). Dans chaquechapitre, on présentera habituellement les tableaux des fréquences pour les questionspertinentes puis les croisements appropriés.

- Une conclusion qui fera le point sur la question de recherche et les réponses qui y ont étéapportées.

- Les rapports comprennent souvent, avant l'introduction, ce qu'on appelle les "faits saillants",c'est-à-dire les résultats les plus importants, les plus frappants, de l'étude.

Les annexes suivantes sont habituellement incluses:

- Rapport méthodologique

- Questionnaire (versions française et anglaise s'il y a lieu)

- Livre de codes

- Tableaux des fréquences pour chaque question (pondérées ou non-pondérées selon le cas)

Qualité des sondages - Claire Durand 27 mars 2000 - 66

Appendice IV C. Durand et S. Vachon (1997), La gestion des appels et l’utilisation de logiciels

ITAO par les firmes de sondage privées.

1 Claire Durand, dept. de sociologie, Université de Montréal, C.P. 6128, succ. Centre-ville, Montréal, (Québec), H3C 3J7, courrier électronique:[email protected].

2Les tableaux détaillés des résultats sont disponibles auprès de C. Durand.

Qualité des sondages - Claire Durand 27 mars 2000 - 67

Recueil du Symposium 97 de Statistique CanadaNouvelles orientations pour les enquêtes et les recensementsNovembre 1997

LA GESTION DES APPELS ET L’UTILISATION DE LOGICIELSITAO PAR LES FIRMES DE SONDAGE PRIVÉES

C. Durand8 et S. Vachon

RÉSUMÉ

La recherche présentée trace un bilan des logiciels d’interview téléphonique assistée par ordinateur(ITAO) et de leur utilisation actuelle dans les firmes de sondage privées. Trois sources de données sontutilisées: un sondage auprès des firmes de sondage, des observations sur place des opérations et ladocumentation fournie par les fabricants. Les résultats montrent qu’il y aurait lieu d’améliorer la capacitédes logiciels à gérer la répartition des tentatives de contact en fonction de l’historique des appels, dedéterminer la priorité dans la file d’attente aux numéros non-touchés ainsi que de faciliter le suivi desopérations en implantant des rapports-type appropriés. Enfin, la gestion des opérations pourrait êtreaméliorée en facilitant le pairage des caractéristiques des interviewers et de celles des sous-échantillonsde même qu’en améliorant la formation formelle en méthodologie de sondage des superviseurs.

MOTS CLÉS: ITAO; méthodologie de sondage; gestion des appels.

1. INTRODUCTION

Cette recherche s’intéresse à un aspect spécifiquede la gestion des opérations de sondage, celui del’utilisation des logiciels d’interview téléphoniqueassistée par ordinateur (ITAO) pour faire la gestionde la cueillette de données. La recherche a étévolontairement restreinte aux logiciels utilisés par lesfirmes privées. Elle vise à répondre principalementà deux questions. D’une part, les logiciels utilisés parles firmes permettent-ils faire une gestion de terrainappropriée et d’autre part, les firmes utilisent-ellesles logiciels de façon à opérer une gestion de terrainoptimale.

Les recherches sur les systèmes ITAO ont surtoutporté sur les avantages aux plans de la conceptiondu questionnaire et de la qualité des données. Lestextes portant sur ces questions datent de près de10 ans pour la plupart (Berry et O’Rourke 1988;Carpenter 1988; Connett 1990; Saris 1991; Weeks1988). Dès 1988, il apparaissait que les fonctionna-lités minimales de base étaient disponibles pourpresque tous les logiciels (Carpenter 1988) et lasituation ne peut que s’être améliorée depuis. Iln’apparaît donc pas nécessaire de refaire les mêmesévaluations relatives à la présence defonctionnalités. Cette recherche a visé à entre-prendre un bilan des logiciels 10 ans plus tard à unniveau plus qualitatif, au plan des évaluations et desutilisations effectives ainsi que des améliorations àapporter.

1.1 Contexte de la recherche

Tant Berry et O’Rourke (1988) que Weeks (1988)soulignent que la gestion des appels dans les sondagestéléphoniques est peu systématisée et relève encoresouvent du folklore et de l’intuition. Des questionsdemeurent encore non résolues (Weeks 1988): le meilleurmoment pour placer le premier appel, la meilleure méthodepour classer les rendez-vous, les systèmes de prioritéd’appels, la capacité de prévoir les heures de travailnécessaires pour compléter un sondage de même que desrapports permettant une estimation fiable du taux deréponse actuel et à prévoir.

Plusieurs éléments demandant des décisions d’ordreméthodologique et de gestion apparaissent dans ledéroulement des opérations de cueillette téléphoniqueassistées par ordinateur. On peut les répartir en deuxgrandes catégories, les fonctions liées au traitementautomatique des appels – priorité d’appels, protocolesd’appel, capacité de pairage des caractéristiques del’échantillon et du personnel – et les fonctions liées à lasupervision ! contrôle des opérations et suivi.

1.2 Méthodologie utiliséeCette recherche a demandé le recours à plusieurs

sources d’information. En premier lieu, des données ont étérecueillies auprès des firmes de sondage oeuvrant dansl’ensemble du Canada (voir Durand et coll. 1997) au moyend’entrevues sur place (Québec) et de questionnairespostaux (Reste du Canada). En tout, 29 des 38 firmessondées avaient des opérations informatisées de sondagepar téléphone et 28 directeurs de terrain ont répondu àl’ensemble des questions d’évaluation du logiciel enmentionnant le logiciel utilisé. En deuxième lieu, pour

Qualité des sondages - Claire Durand 27 mars 2000 - 68

chacun des logiciels utilisés, les manuels et ladocumentation fournis par les fabricants ont étéétudiés. En troisième lieu, pour chaque logiciel, auminimum une observation sur place a été réalisée,portant sur l’utilisation faite par le(s) superviseur(s) aumoment de la mise en place. Les logiciels évaluéssont Interviewer, Dash, Quantime, Sawtooth Ci3 etPulse Train.

1.3 Résultats2

Les évaluations quant à la flexibilité des logicielssont généralement positives sauf pour un logiciel oùles évaluations sont partagées. Lorsque l’on abordela facilité à maîtriser les logiciels, l’évaluation estmoins positive et les opinions sont partagées pourtrois logiciels. Les points forts mentionnés portentsurtout sur la fiabilité des logiciels et sur la facilité deprogrammation alors que les points faibles les plusfréquemment mentionnés sont la lenteur dusystème, la difficulté de programmation et la difficultéde réaffectation (surtout pour les logiciels surordinateur central). Il faut toutefois souligner que lesdirecteurs ne sont pas habituellement les utilisateursdes logiciels de gestion de terrain. Certainesfonctions sont effectuées par des programmeurs(programmation des règles de réaffectation, desquestionnaires), d’autres presque uniquement parles superviseurs de terrain.

2. LES FONCTIONS LIÉES AU TRAITEMENT AUTOMATIQUE DES APPELS

Pour ce qui est des quatre fonctions spécifiquessur lesquelles les directeurs ont été questionnés, lesévaluations varient. Elles sont ici mises en relationavec le potentiel réel des logiciels. L’affectation desrendez-vous aux interviewers qui les ont pris peut sefaire relativement facilement pour les logiciels surPC, nettement plus difficilement pour les logiciels surordinateur central; la perception des directeurs estrelativement conforme à la réalité. Pour ce qui estd’affecter automatiquement les horaires de contact,les évaluations sont généralement positives et lescapacités des logiciels existent si l’on comprend parlà uniquement la fonction générale de réaffectationautomatique selon des règles minimales (délaisentre tentatives). Enfin, la réaffectation à desinterviewers spécifiques n’apparaît pas poser deproblèmes au contraire de l’affectation de certainséchanges téléphoniques ayant des caractéristiquesspécifiques, qui apparaît difficile à réaliser pour unebonne partie des directeurs. Cette dernière fonctionpeut effectivement être difficile à réaliser avec laplupart des logiciels à moins d’avoir des informationsprécises sur les caractéristiques de certainséchanges.

2.1 Priorités et files d’attente:Les numéros non contactés doivent-ils avoir

priorité sur les numéros déjà contactés ? Si la priorité estaccordée à l’échantillon déjà contacté (PR), une partie del’échantillon ne pourra être rejointe une première fois quevers la fin du terrain et aura donc eu une moins grandechance d’être interrogée. Cette manière de procéderpostule que le fait que les échantillons sont mélangés audépart élimine les possibilités de biais systématiques.Lorsque la priorité est accordée à l’échantillon neuf,l’échantillon est généralement fermé (nombre pré-défini denuméros de téléphone) et l’on vise à ce que chaquenuméro ait la même chance d’être rejoint.

Trois logiciels permettent d’accorder la priorité auxnuméros non-touchés. Dans deux cas sur trois, l’utilisationd’une telle possibilité demande l’intervention du supervi-seur, soit dans la file d’attente (en changeant la prioritédonnée aux banques de résultats), soit par des consignesdifférenciées aux interviewers. Deux logiciels présumentd’une priorité aux numéros déjà touchés, difficilementmodifiable. Cette pratique apparaît liée à une certaineutilisation de la méthode des quotas où l’échantillon dedépart est pratiquement illimité, l’échantillon non touché enfin de terrain étant considéré comme ne faisant pas partiede l’échantillon de départ.

2.2 Les protocoles d’appelL’échantillon doit être touché à des périodes variées du

jour et de la semaine de façon à pouvoir détecter lesnuméros commerciaux et les résidences secondaires et às’assurer le plus possible de rejoindre les personnes quisont moins souvent présentes à la maison ou qui travaillentle soir. Weeks (1988) note quatre modes de gestion desappels: le every shift approach (un appel à chaque quartde travail), le scatter approach, approche où on fait varierles moments d’appel selon le jour et l’heure du jour, lecontact probabilities approach, où on détermine le momentdu prochain appel en tenant compte de la meilleureprobabilité de contact à un moment déterminé et enfin, lepriority score approach, où le score qui détermine lapriorité dans la file d’attente est basé sur des facteursmultiples tels le nombre de tentatives de contactantérieures, le moment de ces tentatives, la probabilité decontact, etc. Jusqu’à quel point est-il possible de répartirles appels de façon non seulement informatisée maisautomatisée?

Les logiciels ne permettent pas aisément deprogrammer et de vérifier une distribution des tentativesd’appel qui tienne compte de l’historique des appels. Ilspermettent aisément, sinon par défaut, de programmer uneapproche de type every shift (tentatives de contact enrotation à chaque quart de travail) et de déterminer cequ’est un quart de travail. La plupart des logicielspermettent également, de par la possibilité de programmerdes règles cumulatives, de faire varier l’intervalle de tempsentre les tentatives de contact en fonction du nombre detentatives. Il apparaît très difficile sinon impossible, avecles logiciels étudiés, de vérifier si tous les numéros ontreçu des tentatives à certaines heures (jour, soir) et àcertains moments de la semaine (sur semaine, week-end).L’approche de répartition des appels (jour, soir, week-end)

Qualité des sondages - Claire Durand 27 mars 2000 - 69

ou scatter approach est donc en ce moment trèsdifficile à implanter sur la plupart des logicielsétudiés sinon en ayant recours à une programmationcomplexe.9 Cette situation amène parfois les firmesà contourner la difficulté, en programmant des demi-quarts de travail ou en traitant les numéros non-rejoints comme des rendez-vous. Des approchesplus complexes, basées sur la probabilité de contactou sur des scores de priorité, ne sont pasdisponibles.

2.3 Les capacités de pairage des caractéristiques del’échantillon et du personnel

Une gestion fine de l’échantillon demande de tenircompte d’un certain nombre d’informations. Lesnuméros de téléphone sont habituellement distribuésau hasard alors qu’une gestion optimale desressources humaines commanderait plutôt quecertains échanges ou bottins soient distribuésd’abord, au début de la cueillette ou à certainsgroupes d’interviewers. Les logiciels permettent-ilsde bien gérer, facilement, l’ensemble des paramètresde gestion fine liés à la conduite des opérations?

Les logiciels permettent d’effectuer une gestionpar sous-échantillon, mais relativement difficilement.Les fonctionnalités qui y sont liées apparaissentsouvent complexes de telle sorte que les utilisateurspréfèrent oublier cette partie – en engageant, parexemple, uniquement des interviewers bilingues – ouutiliser des moyens détournés faute deconnaissance des moyens prévus. Trois deslogiciels ne permettent pas que les consignes soienttraduites ce qui oblige l’interviewer à faire face à unlibellé de question dans une langue avec desinstructions dans une autre langue.

Il serait possible d’implanter pour les sondagesauprès de la population un module permettantd’informer l’interviewer de l’endroit où il appelle et dela répartition linguistique à cet endroit par l’importati-on de variables système qui devraient alors êtreassociées au fichier d’échantillon. Cette possibilitéfaciliterait par la suite le pairage des caractéristiquesdes interviewers et de celles des sous-échantillons.La plupart des logiciels permettent de créer desgroupes d’interviewers en fonction decaractéristiques d’intérêt et de faire des affectationsqui tiennent compte de ces caractéristiques.Toutefois, probablement dû en partie à la mobilité dupersonnel d’entrevue ou à la difficulté dereprogrammer la composition des groupes, cesfonctions sont peu sinon pas du tout utilisées.

3. LA SUPERVISION, LE CONTRÔLE ET LE SUIVI DES OPÉRATIONS

3.1 Le contrôle des opérations

La conception même des logiciels de gestion d’entrevu-es téléphoniques vise nommément à éliminer la nécessitépour le superviseur d’intervenir dans la répartition desnuméros de téléphone. Le système idéal est entièrementautomatisé et les superviseurs peuvent se concentrer surl’écoute et la validation des entrevues. Il faut se demanderjusqu’à quel point, dans la pratique, l’intervention dusuperviseur est nécessaire ou fréquente, et jusqu’à quelpoint il est en mesure d’effectuer aisément les opérationsrequises et ce, avec l’ensemble de l’information nécessairepour prendre les décisions.

L’intervention du superviseur dans la file d’attente, c’est-à-dire l’affectation “manuelle” de parties d’échantillon dontles règles ne prévoient pas l’affectation à un momentdéterminé, semble être la norme plutôt que l’exception.Les superviseurs semblent maîtriser assez bien sinon trèsbien cet aspect de leur travail et cela, quelque soit lafacilité ou la difficulté à effectuer les opérations avec unlogiciel donné; cette observation accrédite l’idée quel’intervention du superviseur dans l’affectation des numérosde téléphone est habituelle.

Les superviseurs observés pouvaient présenter la trèsgrande majorité sinon toutes les fonctions de supervisiondu logiciel utilisé en sachant à quoi elles servaient. Ilssemblaient très à l’aise avec le logiciel, quel qu’il soit. Pourcertains logiciels très flexibles, il était étonnant deconstater la créativité des superviseurs et du personnel deterrain pour “forcer” le logiciel à faire ce qu’ils voulaient pardes moyens détournés si nécessaire (utilisation de codesspéciaux pour identifier les anglophones, de fuseauxhoraires pour fermer des strates de numéros commerciaux,de codes de rendez-vous spéciaux pour contrôler larépartition des appels).

Les superviseurs ont en général une certaine connais-sance, généralement assez superficielle, des règles quiprésident à l’affectation des appels dans la file d’attente; ilsn’interviennent toutefois pas habituellement dans cetteprogrammation même lorsqu’elle leur est accessible (nonprotégée contre les modifications). Dans les observationsréalisées, un seul superviseur avait la capacité d’intervenirdans la programmation et le faisait.

Etant donné la volonté avouée des fabricants delogiciels autant que des directeurs de terrain d’en arriver àune automatisation complète de la gestion de la cueillette,il est frappant de constater à quel point la plupart dessuperviseurs interviennent régulièrement dans la gestion“automatisée” des opérations, soit pour réactiver desnuméros classés, classifier et réattribuer les rendez-vous,vérifier le suivi des quotas et en modifier les pondérations,etc. La plupart de ces opérations sont renduesnécessaires par le fait que les règles relatives auxprotocoles d’appel ne sont pas assez précises ou assezsouples ou ne sont carrément pas appropriées au type de

99 3

Un logiciel avait été programmé pour qu’il y ait un compteur dunombre de tentatives par type de période (jour, soir, week-end) et desrègles quant au nombre maximum de tentatives, ce qui permettait àtout le moins de s’assurer d’une variation dans les moments destentatives. Un autre avait été programmé de telle sorte que l’intervie-wer indique le moment de la prochaine tentative à partir d’un menusuggérant des périodes appropriées.

Qualité des sondages - Claire Durand 27 mars 2000 - 70

gestion que les firmes désirent faire. Il faut aussi se demander si les superviseurs ne

préfèrent pas intervenir dans la file d’attente defaçon à garder l’impression d’un certain contrôle surles opérations. Si l’automatisation presque complètede l’attribution des numéros de téléphone demeureun objectif, elle devra permettre aux superviseurs degarder un certain contrôle, même subjectif, sur ledéroulement du terrain par une capacité amélioréed’être informé du déroulement des opérations.

3.2 La capacité de faire le suiviUne des opérations les plus importantes dans la

gestion du terrain est celle du suivi puisqu’ellepermet d’agir et de réagir au déroulement desopérations. C’est une fonction d’autant plusimportante que l’enquête se fait auprès d’unéchantillon dont les caractéristiques – taux devalidité et d’éligibilité de la base de sondage – nesont pas connues. Le suivi de terrain devraitpermettre, d’une part d’estimer le rendement du planéchantillonnal et d’autre part, de suivre le rendementdu personnel de même que de prévoir le personnelnécessaire.

Les rapports donnant l’information sur ledéroulement du terrain – état de l’échantillon, desrendez-vous à respecter et du taux de réponse,productivité des interviewers – demandent dans laplupart des cas, soit une programmation préliminaire,soit la connaissance d’un certain nombre decommandes plus ou moins complexes.L’implantation des logiciels, telle qu’observée, nepermet pas toujours un accès facile à ce typed’information. De fait, plusieurs firmes utilisent unebase de données de type Excel ou Lotus, danslesquelles elles entrent manuellement l’informationprovenant du logiciel ou provenant des statistiquestenues par les interviewers (notées sur papier). Leseul fait que les firmes aient recours à un autrelogiciel laisse penser que les logiciels de gestion nesont pas appropriés sur ce point ou que lessuperviseurs ou les programmeurs manquent deformation ou d’information.

4. CONCLUSION

Les logiciels ITAO ont certainement facilité letravail d’entrevue et amélioré la conception desquestionnaires ou du moins étendu les possibilitéssur ce plan. Toutefois, pour ce qui est de la gestiondes opérations de cueillette, des faiblessesimportantes apparaissent dans l’automatisation de larépartition des appels et dans la capacité à suivre ledéroulement des opérations. Ceci n’est passurprenant. D’une part, avant l’informatisation, lagestion de terrain n’était pas arrivée à unesystématisation des opérations (Weeks 1988; Berryet O’Rourke 1988). Les protocoles d’appel étaientvariables et relevaient de l’intuition (Weeks 1988).D’autre part, le recours aux quotas est fréquent dans

les firmes privées (Durand et coll. 1997). La plupart deslogiciels sinon tous semblent permettre une gestion parquota plus facile et raffinée que la gestion des tentatives decontact, nécessaire pour les échantillons avec rappels. Laquestion des rapports et du suivi est plus complexepuisque les logiciels semblent permettre un assez bon suiviet une flexibilité dans la détermination des informationscontenues dans les rapports. Le fait qu’une partie desfirmes ont recours à d’autres outils laisse penser que lesoutils fournis ne sont pas adéquats, qu’ils sont jugés tropcomplexes à utiliser ou encore, que la formation estdéficiente. Aucun logiciel ne semble pouvoir aider à laplanification des ressources nécessaires aux opérations decueillette. Enfin la gestion fine, permettant de couplercaractéristiques des interviewers et de l’échantillon, estdifficile à effectuer. Les logiciels permettraient de faire unemeilleure gestion sur ce plan mais les fonctions permettantde le faire sont peu utilisées. Ceci peut être dû en partie àl’instabilité du personnel d’interview et de leurs horairesmais aussi à une complexité certaine de ce type decouplage.

Quelles améliorations apporter? Les améliorations quiapparaissent prioritaires se situent sur deux plans. D’unepart, implanter des modules qui permettraient de réaliseraisément une répartition des appels de type variationsystématique (Scatter approach). De même, les fonctionsqui permettraient le pairage des caractéristiques desinterviewers et de celles de l’échantillon devraient êtreaméliorées. D’autre part, il y a lieu d’implanter des rapportstype qui, par défaut, donneraient un estimé du taux deréponse prévu ou du taux de collaboration, un estimé desrappels à effectuer à certains moments choisis ainsi quedes rapports de productivité dont les informationspourraient être transférables aisément sur les logiciels debase de données courants.

Les opérations de cueillette des données de sondagetéléphoniques sont entre les mains des superviseurs. Cesderniers semblaient bien connaître les objectifs qu’ilsdevaient atteindre et savoir comment les atteindre. Il fauttoutefois se demander si les superviseurs ont la formationthéorique qui leur permettrait de savoir pourquoi lesopérations se font d’une manière plutôt qu’une autre. Laséparation entre professionnels-méthodologues d’une partet techniciens d’autre part, maintenue sinon renforcéedepuis l’avènement des logiciels ITAO, constitue sansdoute un frein à l’amélioration de la gestion des appels. Laformation du personnel se fait généralement “sur le tas”,chaque firme produisant son cahier de référence pour lessuperviseurs et les interviewers. La formation apparaîtparcellaire et fragmentée, chacun ne connaissant que lesparties qu’il a à utiliser régulièrement. Le temps seraitsans doute venu de se doter d’outils de formationprofessionnelle du personnel de terrain. Ceci ne pourraitque profiter tant aux firmes qu’à l’industrie du sondage engénéral.

Enfin, on ne peut que réitérer que les recherchesdoivent se poursuivre pour améliorer et systématiser lesmanières de faire dans la gestion des appels de façon àmaximiser le taux de réponse.

Qualité des sondages - Claire Durand 27 mars 2000 - 71

REMERCIEMENTS

Cette recherche a été réalisée grace à unesubvention du Conseil de recherche en scienceshumaines du Canada (CRSHC) que nous tenons àremercier. Nous tenons également à remercier lesfirmes qui ont apporté leur collaborationparticulièrement pour la phase d'observation.

BIBLIOGRAPHIE

Berry, S.H., et O’Rourke, D. (1988). Administrative designs forcentralized telephone survey centers: implications of thetransition to CATI. (Éds.) R. M. Groves, P. P. Biemer, L. E.Lyberg, J. T. Massey, W. L. Nicholls II, et J. Waksberg,Telephone Survey Methodology, New York: John Wiley, 457-474.

Carpenter, E.H. (1988). Software tools for data collection:microcomputer-assisted interviewing. Social Science ComputerReview, 6, (3), 353-368.

Connett, W.E., Blackgurn, Z., Gebler, N., Greenwell, M., Hansen,S.E., et Price, P. (1990). A report on the evaluation of threeCATI systems. Survey Research Center, Institute for SocialResearch, University of Michigan, 99.

Durand, C., Tanguay, I., et Vachon, S. (1997). La gestion de laméthodologie dans les firmes de sondage au Québec et auCanada. 65 ème Congrès de l'ACFAS, Université du Québec àTrois-Rivières, 16 mai 1997.

Nicholls II, W.L. (1988). Computer-assisted telephoneinterviewing. (Éds.) R. M. Groves, P. P. Biemer, L. E. Lyberg,J. T. Massey, W. L. Nicholls II, et J. Waksberg TelephoneSurvey Methodology, New York: John Wiley, 377-385.

Saris, W.E. (1991). Computer-assisted interviewing. Newbury Park:Sage.

Weeks, M.F. (1988). Call scheduling with CATI: currentcapabilities and methods. (Éds.) R.M. Groves, P.P. Biemer, L.E. Lyberg, J. T. Massey, W.L. Nicholls II, et J. Waksberg,Telephone Survey Methodology, New York: John Wiley, 403-420.

Qualité des sondages - Claire Durand 27 mars 2000 - 72

Index

échantillon aléatoire à probabilités inégales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50aréolaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50en grappes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50stratifié . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

Base échantillonnale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1, 14, 15, 47Codification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63distribution

échantillonnage (d') . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7normale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7population (de la) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

écart-type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7, 8échantillon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

aléatoire à probabilités égales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49aléatoire simple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2, 49aléatoire systématique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2, 48, 49apparié . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4, 48aréolaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48départ (de) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11, 14-16, 62éligible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62final . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11, 62grappes (par) - aréolaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4non-probabiliste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6plusieurs degrés (à) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5, 47plusieurs phases (à) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5, 48probabiliste . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2quota (par) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6raisonné - au jugé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6stratifié . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3, 15, 48théorique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12, 14valide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62volontaires (de) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Echantillon stratifié non-proportionnels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3proportionnel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

échantillonner . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1éligibilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12, 14erreur-type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7facteur de correction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16fraction de sélection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14, 17gestion du terrain . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

informatisée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22poste (par la) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20téléphone (par) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Qualité des sondages - Claire Durand 27 mars 2000 - 73

incidence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12, 13inférence statistique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6, 7intervalle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14intervalle de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8intervalle de sélection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49marge d'erreur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8, 10, 11marge d’erreur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50Mode de cueillette . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48moyenne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7non-éligibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12non-réponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

absence prolongée . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13incomplet . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13pas de réponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

pas (le) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14, 17Poids

d'échantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16de non-réponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16de redressement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

pondération . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15Population . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1, 46

finie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9infinie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

random digit dialing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12Rapport

d'analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64de pré-test . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60méthodologique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

refusde la personne . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13du ménage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

rendement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14seuil de confiance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8, 9, 11

une chance sur 20 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49stratégie d'échantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47, 48taux

d'éligibilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13, 19, 20de non-réponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17, 20de réponse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13, 14, 19de validité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13, 19, 20

unités . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1d'analyse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1d'échantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1, 47de référence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1déclarante . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1non-éligibles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12, 47

Qualité des sondages - Claire Durand 27 mars 2000 - 74

non-valides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12valides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

validité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12, 14variance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7