L’interprétation des résultats de recherche dans le …web.umoncton.ca/umcm-longd02/TheorixDownload/inter1.pdfdo interpretation. » (Herbert M. Kritzer, 1996) 1. Introduction S’il

L’interprétation des résultats de recherche

dans le cadre de l’approche quantitative

Donald Long Centre de Recherche et de Développement en Éducation

(CRDE) Université de Moncton

Moncton, Nouveau-Brunswick, Canada E1A 3E9

[email protected]

Je tiens à remercier Michel Rousseau, professeur à la Faculté des sciences de

l’éducation de l’Université de Moncton, pour la révision du texte et pour ses judicieux conseils

Table des matières

1. Introduction .............................................................................................. 1 2. J’en perds mon latin ! ............................................................................... 7 3. Une approche confirmatoire, et non exploratoire .................................... 8 4. Un score individuel est à la fois unique et composé ................................ 9 5. Valeur mathématique versus valeur statistique...................................... 11 6. La statistique : la science des grands nombres....................................... 12 7. Le niveau de signification : une vedette en perte de popularité............. 14 8. La variance expliquée : une formule magique ....................................... 17 9. La fonction principale de la majorité des analyses statistiques ............. 22 10. Le caractère additif (ou non additif) des variables............................... 25 11. Les instruments de mesure dits valides et fidèles ................................ 27 12. Ces chers sujets volontaires.................................................................. 28 13. À la recherche d’un profil stable .......................................................... 30 14. La variable dépendante : le pivot de la recherche ................................ 35 15. Causalité versus corrélation ................................................................. 39 16. Les valeurs manquantes : ne les manquez pas !................................... 40 17. Conclusion............................................................................................ 41 18. Sources ................................................................................................. 44

L’interprétation des résultats de recherche dans le cadre de l’approche quantitative page 1 Donald Long CRDE Université de Moncton

L’interprétation des résultats de recherche

dans le cadre de l’approche quantitative

« Beyond the elementary process of understanding what a specific statistical result means, however, those of us who do quantitative social science seldom address the issue of how we do interpretation. » (Herbert M. Kritzer, 1996)

1. Introduction

S’il y a un terme qui est utilisé souvent par les chercheuses et les chercheurs, c’est bien

le mot analyse. Cependant, dans bien des situations, il devrait être remplacé par le mot synthèse qui conviendrait mieux. Ainsi, on parle de faire l’analyse des données, alors qu’il faudrait distinguer ce procédé de la synthèse des résultats issus des analyses statistiques. Derrière cette distinction se cache une confusion qui en dit long sur la conception générale d’une recherche quantitative. L’utilisation du mot analyse à toutes les sauces est symptomatique. Elle reflète une conception de l’interprétation des résultats de recherche axée sur un processus de découpage plutôt que d’assemblage. L’analyse des résultats de recherche ne se ramène pas seulement au dépeçage d’un ensemble. L’objectif ultime consiste plutôt à rattacher ces pièces ensemble de façon significative, surtout en relation avec un cadre conceptuel bien établi et abondamment documenté. Tout comme un casse-tête, chaque pièce n’est importante qu’en autant qu’elle contribue à un ensemble. La façon de réaliser une synthèse des résultats fait parfois défaut et entraîne malheureusement des conclusions douteuses, voire tirées par les cheveux. À tort, on croit qu’en multipliant les analyses statistiques, on améliore la compréhension de la problématique à l’étude. Certes, on doit identifier et décrire chacune des variables. Cependant, il est tout aussi important d’établir des relations prévues entre certaines variables.

L’approche quantitative représente un positionnement particulier envers la compréhension de l’univers : le

positivisme. S’il est vrai qu’elle sert bien les intérêts des sciences physiques, on ne peut en dire autant des sciences humaines et sociales. Par ailleurs, dans son ensemble, les humains semblent se comporter selon des règles universelles. Mais, s’ils partagent des traits communs que l’approche quantitative finit par

Analyse Synthèse

Positionnement


identifier, les caractéristiques spécifiques de chaque individu amènent des théoriciens à proposer d’autres approches pour expliquer le fonctionnement général de l’être humain. L’approche quantitative n’est qu’une façon empruntée aux sciences naturelles pour mieux saisir la réalité humaine.

Quoi qu’il en soit, afin de parvenir à une véritable

synthèse des résultats, il est préférable de regrouper le plus grand nombre de variables de l’étude sous le parapluie d’une seule analyse statistique, une analyse englobante. Une multitude d’analyses statistiques univariées exécutées sur des petits groupes de variables indépendants les uns des autres ne peut déboucher sur une vue d’ensemble du phénomène à l’étude. Les analyses multivariées, même si elles regorgent de complexité, s’avèrent extrêmement puissantes lorsqu’il s’agit de vérifier un modèle conceptuel dans sa totalité. Le tableau 1 illustre la différence fondamentale entre une analyse statistique univariée et une analyse multivariée. Onwuegbuzie & Daniel (2003) expriment la même idée en affirmant qu’une erreur sérieuse d’interprétation survient lorsqu’on omet de considérer les interactions potentielles entre des variables.

Tableau 1. Comparaison entre analyse univariée et analyse multivariée

VD

VD

VI1VI1 VI3VI4

VI4

VI2

VI1

VI3

VD

VD

VD

Analyse univariée Analyse multivariée

VI = Variable indépendante VD = Variable dépendante

La plupart des recherches veulent répondre à un nombre réduit de questions, parfois une seule. Il n’y a pas de raison, alors, de multiplier indéfiniment les analyses statistiques qui ne font que soulever de nouvelles questions inutilement et éloignent la raison d’être de la recherche.

Imaginez la situation où on vous remet un nombre

considérable de photographies, chacune portant sur une partie d’un objet complexe qui vous est totalement inconnu. En multipliant le nombre de ces photographies, vous risquez d’ajouter à la confusion. Pourtant,

Analyse univariée versus analyse multivariée

Description versus explication


une seule photo de l’ensemble de l’objet en question aurait suffi à vous donner une idée de la réalité de cet objet. Pourquoi devrait-il en être autrement quand il s’agit d’analyser des données et d’interpréter des résultats de recherche ?

Certes, il importe de décrire et d’isoler chacune des variables étudiées. Par contre, rarement cet exercice sera suffisant. La description des variables entraîne l’isolement des variables et non leur regroupement. La description détaillée des variables à

l’étude finit par inciter le lecteur à se former une idée personnelle de la signification des résultats, idée ne correspondra que rarement à une véritable synthèse appuyée par des analyses statistiques appropriées. À moins d’intégrer les variables dans une seule analyse statistique, la description de variables indépendantes les unes des autres n’équivaut pas à l’addition de ces variables : le caractère additif des variables n’est possible que lorsqu’elles sont intégrées dans une seule analyse. Nous élaborerons sur le caractère additif des analyses un peu plus loin à cause de l’importance de cette notion. Si on remplace des analyses univariées par une simple description, ou bien qu’on se contente d’analyses univariées alors que des analyses multivariées sont nécessaires, l’interprétation des résultats risque fort d’être incomplète, sinon erronée. De façon générale, les variables soumises à l’étude font partie intégrante d’un ensemble que nous connaissons comme la problématique de recherche qui renferme un cadre conceptuel. En réalité, le cadre conceptuel oriente les analyses statistiques en précisant les relations entre les variables. Dès qu’un modèle conceptuel est proposé et que des variables sont énumérées et mesurées, on déduit que ces variables font partie, pour la plupart, du modèle à vérifier. Un modèle se vérifie d’un seul coup et non par des analyses indépendantes qui ne font pas de rapprochement entre les variables.

Les variables

d’une étude existent par elles-mêmes. Soit. Mais, à vrai dire, elles n’existent pas pour elles-mêmes. Chaque variable a été introduite non pas tant pour sa valeur absolue, mais plutôt pour sa valeur relative. Cette affirmation est lourde de conséquences, à un point tel que je consacre ce document à bien vous montrer cette distinction et à faire valoir ma conception du sujet. Dans une recherche explicative, par opposition à recherche descriptive, c’est la valeur relative d’une variable qui compte avant tout, et non sa valeur absolue. Dans une recherche explicative, on fait bien plus que décrire les variables, ce qui

La valeur relative d’une variable ou d’un score


n’enlève rien à l’utilité d’une recherche descriptive. L’intention derrière chacune de ces deux grandes catégories de recherche diffère, c’est tout. En bout de ligne, les résultats d’une recherche descriptive finissent par être mis en relation avec des normes, des critères, des résultats quelconques tirés d’une autre source. À bien y penser, à quoi sert de savoir que votre échantillon se compose de 56,9 % de filles, si la variable genre n’est pas mis en relation ou en interaction avec d’autres variables de votre étude. Par contre, ce pourcentage pourrait être important à connaître lorsqu’il s’agit d’établir un parallèle avec une autre recherche. Ce faisant, une relation est créée.

On voit que la recherche ne consiste pas seulement à recueillir des données et à les

analyser ; l’interprétation des résultats fait partie intégrante du processus. Que signifient les résultats obtenus ? Je prétends même que le chercheur fait de l’interprétation tout au long du processus de la recherche, et ce, même avant de débuter sa recherche comme telle. Cette affirmation peut sembler paradoxale puisqu’on croit que l’approche quantitative est libre de toute subjectivité. Il n’existe pas moins de quatre niveaux d’interprétation auxquels s’adonne le chercheur. Je me contente de les décrire dans le tableau 2.

Tableau 2. Les niveaux d’interprétation dans une recherche Niveau Description

Conceptuel Compréhension que se fait le chercheur du sujet ou de la problématique de sa recherche

Méthodologique Définition des concepts Analytique Choix des analyses statistiques et interprétation des résultats Relationnel Liens entre les résultats obtenus et ceux des autres recherches

L’approche quantitative est autant une activité mathématique qu’intuitive. Elle est autant subjective qu’objective. Elle décrit des faits avec précision, mais elle les interprète parfois dans la confusion.

L’information véhiculée par une variable peut être statique (recherche descriptive), mais elle peut apporter, par surcroît, une valeur dynamique (recherche corrélationnelle et prédictive) à une recherche. Dès que vous mesurez une association entre deux variables, vous indiquez, ipso facto, que vous soupçonnez une

relation fonctionnelle quelconque entre ces variables : elle a, de ce fait, une valeur dynamique.

Objectivité versus subjectivité


Par exemple, vous souhaitez savoir qui, des filles ou des garçons (variable genre), reçoivent de l’aide financière de leurs parents à leur première année universitaire (tableau 3). À remarquer que ce sont deux variables discrètes. Même dans un tel cas, on cherche à établir une relation, ou une absence de relation. Il n’est pas nécessaire que les variables soient continues pour vérifier si une relation existe entre elles.

Tableau 3. Relation entre le genre et l’aide financière fournie par les parents

à leurs enfants inscrits en 1re année universitaire Genre Aide financière des parents

Oui Non Filles % % Garçons % %

Dans la partie descriptive de cette étude, on décrira la variable genre. On apprendra, dans un premier temps, que 56,9 % des participantes sont des filles, donc, 43,1 % sont des garçons. On apprendra, dans un deuxième temps, que 34 % des parents contribuent au financement des études de leur enfant au cours de la première année universitaire. Nous venons de décrire chacune des variables indépendamment l’une de l’autre. Cependant, nous ne savons rien de la relation entre le genre et le financement des parents ; autrement dit, les parents aident-ils davantage leur enfant lorsqu’il s’agit d’une fille plutôt que d’un garçon ? La façon de poser une question en recherche, ou de formuler une hypothèse, détermine la nature des analyses statistiques à faire. N’allez surtout pas croire qu’en décrivant un échantillon avec un nombre considérable de variables isolées il est possible de se faire une idée encore plus précise de la véritable nature de cet échantillon. Décrire plusieurs aspects de ce groupe n’apporte pas nécessairement de la lumière sur la dynamique et l’interaction entre ces divers aspects. En ajoutant à la description des variables, on augmente l’incertitude autant que l’éclaircissement. En fait, il ne faut pas confondre deux notions fondamentales : décrire et expliquer. Décrire plus abondamment ne permet pas nécessairement d’expliquer mieux.

Si votre étude se veut un simple sondage, chaque variable, en soi, possède une grande valeur informative. Décrire chacune de ces variables peut suffire. Tant mieux. Néanmoins, une simple description peut vous amener vers une fausse conception de la nature véritable de votre échantillon. Aussi bien dire qu’une étude

descriptive comporte des risques et des déficiences dont il importe d’être conscient, surtout lors de l’interprétation des résultats.

Par recherche prédictive nous entendons une recherche

L’encadrement


destinée à comprendre un phénomène quelconque de manière à être capable de le prédire : elle peut être corrélationnelle ou prédictive. Si la nature d’une tornade était bien connue ainsi que les conditions qui la font exister, nous pourrions prévoir son apparition dès que certaines conditions climatiques font leur apparition. Une recherche explicative comprend les quatre cadres de référence suivants :

1 Un cadre conceptuel qui identifie les concepts et leurs relations 2 Un cadre méthodologique qui précise comment les concepts sont mesurés 3 Un cadre analytique qui indique comment les données sont analysées 4 Un cadre interprétatif qui relie les résultats au cadre conceptuel établi

Ce cadre conceptuel peut posséder divers degrés de complexité. Avec l’avènement de nouveaux tests statistiques, les chercheuses et chercheurs tendent de plus en plus à proposer des conceptions complexes pour circonscrire un phénomène. Comme de nouvelles connaissances sur les phénomènes s’ajoutent de jour en jour, les chercheur.e.s ont une raison supplémentaire de vérifier des modèles conceptuels qui tiennent compte simultanément d’un plus grand nombre de variables. Malgré tout, la plupart des modèles complexes se fondent sur les mêmes principes que les autres plus simples. L’ajout de variables à un modèle conceptuel est motivé par la conviction qu’un phénomène arrive selon des conditions particulières et que le nombre et le dosage de ces conditions ont des propriétés précises et déterminées. Lorsqu’on ne peut prédire avec précision un phénomène, c’est que nous ne connaissons pas toutes les variables qui entrent en jeu ou bien que nous n’avons pas mesuré la contribution exacte de chacune d’elles. Même si votre recherche comprend de nombreuses variables, vous n’êtes pas assuré de mieux cerner votre sujet de recherche. Ce n’est pas tellement le nombre de variables qui importe, mais le cadre conceptuel qui attribue à chaque variable un rôle particulier. Les concepts de base doivent s’y trouver, mais aussi votre façon de les organiser en fonction d’un modèle explicatif quelconque. L’approche quantitative se caractérise surtout par une conception a priori d’un phénomène qui est soumise à un processus de vérification et de validation à travers une expérience dite scientifique. Quoiqu’il soit, nous croyons que plus un modèle est exhaustif plus il se rapproche de l’explication complète du phénomène.


? Question : Sans être ironique, comment peut-on mesurer le caractère

constant d’un phénomène par le biais de variables ? Réponse : Lorsque les variables sont constantes dans leurs variations.

Ouchhhhhhhhhhhhhhhhhhhhhhhh !

2. J’en perds mon latin ! Nos premiers cours de recherche nous convainquent fermement d’une chose : diantre, que c’est compliqué ! On rencontre des notions comme l’échantillonnage probabiliste impossible à réaliser, des règles d’éthique difficiles à respecter, des distributions de scores plus ou moins normales, des tests statistiques dont les noms font penser à des maladies incurables, des conditions d’expérimentation qui sont trop coûteuses à mettre en place, des instruments valides de mesure, mais dont on doit confirmer à partir des données de sa propre recherche, des logiciels qui gèrent nos données sans nous montrer comment sont faits tous ces savants calculs, des sorties d’ordinateur pouvant être lues aussi bien à l’envers qu’à l’endroit, et je vous fais grâce du reste. Pas étonnant qu’autant d’étudiantes et d’étudiants craignent les cours de recherche avant de s’y inscrire, et les craignent davantage après l’examen final. Pourtant, la recherche ne vise qu’à mieux comprendre ce que nous connaissons déjà. Ce module, tout comme les autres d’ailleurs, vise à simplifier des notions qui donnent du fil à retordre aux étudiantes et aux étudiants qui en sont à leurs premiers ébats en recherche. Je vous invite à être patiente et patient dans votre processus d’apprentissage. Bien des notions ne sont vraiment comprises qu’après de longues années d’expérience dans le domaine. Il serait plus juste de soutenir qu’avec le temps on gagne en confiance : la compréhension véritable n’est peut-être qu’une illusion. En fait, les notions ne seront pas vraiment simplifiées, mais plutôt ramenées à des éléments fondamentaux, à des principes de base. Vous ne trouverez pas dans ce module une recette magique pour interpréter une analyse discriminante, un chi carré ou tout autre test statistique. Par contre, le discours sera orienté de manière à vous faire comprendre, par exemple, comment toutes les analyses statistiques s’apparentent de telle sorte qu’on peut les ramener à une cellule souche. Si cette affirmation vous tombe sur la tête comme une tonne de briques, continuez votre lecture. Sinon, vous comprenez déjà la fonction essentielle et primordiale des tests statistiques et vous avez mieux à faire que lire le texte qui suit. Tout au long du texte vous serez en mesure de déduire ou de constater que ma compréhension de la recherche tient à certaines notions qui servent de


piliers. Je vous en donne un avant-goût. Nous allons même numéroter ces notions. J’y crois tellement à ces notions qu’en faire fi nous conduit tout droit dans un piège ; on doit donc les guetter. Pour plusieurs de ces notions importantes, je vous mettrai en garde contre un piège. Par ailleurs, les trois dessins suivants serviront de repère :

Notion que je juge fondamentale

Piège à éviter

? Une question que je pose

3. Une approche confirmatoire, et non exploratoire

1 On fait peu de découvertes imprévues

en recherche quantitative ; la recherche vient plutôt confirmer ou infirmer

ce qu’on a déjà découvert…dans notre caboche ! L’approche quantitative n’est pas une approche

exploratoire comme telle ; elle est plutôt confirmatoire. Si la recherche est structurée de façon à vérifier une idée déjà conçue, il va sans dire que cette idée s’inscrit dans un cadre conceptuel basé sur des recherches antérieures et sur un raisonnement implacable. Par exemple, vous voulez démontrer que les filles s’inscrivent en plus grand nombre dans les facultés universitaires de sciences selon qu’elles ont été exposées à des modèles familiaux apparentés. Les filles, dont une ou plusieurs femmes de leur famille immédiate font carrière dans un domaine scientifique, tendent-elles davantage que les autres à choisir elles aussi une carrière en science ? Voilà votre question de recherche.

Votre cadre conceptuel devra justifier le fait que le choix d’une carrière est généralement influencé par l’exposition à un modèle signifiant, un parent. À la suite d’une recension des écrits, vous serez en mesure de bâtir un cadre conceptuel justificatif parfois fort

élaboré. Votre recherche documentaire débouche sur un cadre conceptuel qui, à son tour, vous permettra de formuler une hypothèse de recherche. L’hypothèse constitue donc une prédiction ; vous prévoyez un résultat plutôt qu’un autre. Vous prétendez que le modelage familial influe sur le choix de carrière des filles. Vous ne cherchez pas à identifier les variables qui influencent le choix de


carrière des filles inscrites dans les facultés de sciences. Vous désirez plutôt obtenir une confirmation d’une certitude relative que vous avez quant au choix de carrière pour un groupe spécifique de filles.

Il est important d’analyser les données sous toutes leurs coutures. Des relations ont été prévues entre certaines variables et des tests doivent être exécutés à cet effet.

Personne ne vous empêche, par ailleurs, de scruter votre fichier en quête de relations qui peuvent améliorer la compréhension de votre problématique. Cette activité est connue comme le furetage des données (data snooping). Supposons que vous mettez à jour des relations entre certaines variables que vous jugez pertinentes et importantes. Si vous décidez d’incorporer ces résultats à votre document, vous devrez revenir sur votre recension des écrits, la conceptualisation de votre problématique et la formulation de nouvelles hypothèses. Pourquoi ? Il vous faudra non seulement expliquer ces nouveaux résultats statistiques, mais aussi les justifier au niveau conceptuel. La section des résultats dans une recherche n’a pas de mérite à être une boîte à surprises !

4. Un score individuel est à la fois unique et composé

2 Dans certains cas, nous pouvons prétendre

qu’un score individuel à une variable dépasse cette variable et constitue, en fait,

l’effet cumulatif d’autres variables. Certes, lorsqu’un individu, participant à votre recherche, indique qu’il a 32 ans, qu’il est du genre masculin, qu’il est enseignant de profession, qu’il est célibataire, ces informations ne dépendent pas d’autres variables. Par contre, son score sur une échelle d’attitude ou de satisfaction au travail, par exemple, n’est guère absolu. Ce score dépend de nombreux facteurs personnels, environnementaux, sociologiques, historiques, et j’en passe. Des variations dans ces sources de facteurs peuvent modifier son score sur l’échelle d’attitude ou de satisfaction (tableau 4). Ainsi, nous pouvons soutenir qu’un score précis dans le cadre d’une recherche n’arrive pas de lui-même ; il dépend plutôt de l’action et de la contribution d’autres variables qui interagissent entre elles. À bien y penser, les modèles conceptuels, qu’ils soient simples ou complexes, s’inspirent de ce principe qui représente, pour moi, une croyance fondamentale en recherche quantitative.


Tableau 4. Les multiples influences qui agissent sur une variable telle que la satisfaction au travail

SantéSalaireFamille

ÂgeStatut civil

EnvironnementEtc.

Satisfaction

1

2

3

4

5

Insatisfaction

Influence Échelle de satisfaction au travail

?

C’est à se demander si, dans l’univers, il y a des choses qui existent par elles-mêmes, complètement isolées des autres et libres de toute influence mutuelle. Par exemple, tout objet de l’univers subit la gravité d’un autre corps, et ce,

à divers degrés selon leur masse et leur distance respectives. En est-il de même pour les phénomènes dits humains ? Les variables d’une

recherche sont-elles, pour la plupart, reliées entre elles ? Des groupes de variables ont-ils une source commune d’influence ?

Si la valeur d’un score dépend de multiples variables, nous pouvons donc calculer la contribution de chacune de ces variables. De fait, des analyses statistiques permettent

de déterminer, pour une variable dépendante particulière, la variance expliquée par plusieurs variables indépendantes. Nous pouvons même organiser ces variables de façon hiérarchique selon la contribution de chacune. Toutes ces analyses fondées sur la corrélation s’avèrent excellentes pour dénicher des liens entre des variables. S’il est démontré que la satisfaction au travail dépend de l’atmosphère générale du milieu de travail, des bénéfices sociaux, de l’attitude envers le travail et le niveau d’éducation, par exemple, il reste à démontrer comment ces facteurs agissent sur la satisfaction au travail. Qu’en est-il de la relation entre ces facteurs ? À leur tour, ces facteurs dépendent de multiples autres facteurs. Sans un cadre conceptuel bien structuré, les résultats de tests statistiques ont peu de valeur en soi. Des relations de toutes sortes entre des variables peuvent être autant encombrantes qu’accommodantes. Lorsqu’on prétend qu’une variable est influencée par d’autres variables et qu’elle-même fait porter son influence sur diverses autres, il y a un effort considérable à faire pour organiser ces relations de façon fonctionnelle à l’intérieur d’un cadre conceptuel.


On ne doit pas s’attendre à identifier tous les facteurs qui expliquent la variance totale d’une variable dépendante. On constate souvent que l’emphase est mise sur la partie de la variable qui est, pour ainsi dire, expliquée par des variables indépendantes. On trouve, par exemple, que ces variables expliquent 13 % de la variance attribuée à la variable dépendante. Mais, où sont donc passés les autres 87 % de cette variance ?

5. Signification statistique versus signification pratique

Lorsque vos résultats proviennent d’un échantillon, les valeurs que vous obtenez ne sont pas nécessairement les vraies valeurs correspondant à la population totale. Aussi bien dire que, la plupart du temps, les valeurs d’une recherche ne sont pas exactes ! Pour vous en convaincre, répétez la même expérience avec plusieurs échantillons et vous constaterez que, si les résultats de chacun d’eux varient peu, il reste qu’ils ne sont pas tout à fait les mêmes. La moyenne de ces variations entre les échantillons vous fournira une idée de l’erreur d’échantillonnage ou de la différence entre les échantillons.

?

Peut-on corriger cette variation ou cette erreur d’estimation ? Puisque nous ne savons rien de la valeur réelle, il est utopique d’appliquer une correction à ces valeurs. On peut, par contre,

indiquer que la vraie valeur se situe entre des limites inférieures et supérieures de confiance.

C’est ainsi qu’on dira, par exemple, que, dans 95 échantillons sur 100, la valeur va se situer entre 29 et 35. Il y a donc 5 % de chance (p = 0,05) que le vrai score se trouve en dehors de cette zone ou étendue de valeurs. La vraie valeur est donc comprise entre des limites de confiance. Ce qui nous amène à conclure que :

3 Un score produit par un échantillon d’individus représente une valeur statistique et non une valeur mathématique. Un score de 5 ne représente pas nécessairement une quantité

absolue de 5 ; il représente plutôt une zone de valeurs dont 5 est le représentant le plus légitime.

La statistique est une science de probabilité davantage qu’une science d’exactitude. Les résultats statistiques d’une recherche sont, par conséquent, des valeurs estimées et non des valeurs exactes.


4 Les résultats de recherche sont, plus souvent qu’autrement,

des certitudes relatives plutôt que des certitudes absolues.

?

Comment une science approximative peut-elle déboucher sur des certitudes ?

Elle débouche, en fait, sur des certitudes relatives. Donc, il est certain que les résultats sont incertains !!!

Nous verrons bien, plus loin, que la statistique est un outil dont les chercheurs disposent afin de porter des jugements qualitatifs à partir de données quantitatives. La tradition dans toutes les sphères de la recherche montre que, même si les résultats de recherches comportent un degré d’incertitude et d’imprécision, il est possible de tirer des conclusions fermes, moyennant certaines conditions.

Les scores obtenus dans une recherche sont aussi exacts que l’échantillon est représentatif, lorsqu’il s’agit de généraliser des résultats à la population.

La taille et la représentativité de l’échantillon méritent une considération particulière lors de l’interprétation. Les variations peuvent être importantes à l’intérieur d’un échantillon de petite taille. Comme il est difficile de former un échantillon satisfaisant en taille et en représentativité, les résultats ne sont pas toujours ceux escomptés. Bien des chercheurs soulignent des biais qui ont pu agir sur les résultats. Pourtant, leur interprétation des résultats n’en tient pas compte. Dans tous ces cas, on doit se méfier de relations ou de différences mitigées, des résultats statistiquement significatifs mais arrachés par la peau des dents.

6. La statistique : la science des grands nombres

Une recherche faisant appel à un nombre restreint de sujets court le risque que les résultats qui s’en dégageront soient biaisés à cause d’un échantillon non représentatif, à moins, bien sûr, que des dispositions aient été prises pour assurer sa représentativité. Que signifie représentativité d’un échantillon ? Les caractéristiques principales et pertinentes à votre recherche doivent se retrouver dans votre échantillon en proportion équivalente avec la population à laquelle vous désirez généraliser vos résultats.


Les statisticiens ne se gênent pas pour affirmer qu’un échantillon tiré selon les règles de l’art est préférable à toute tentative de rejoindre la population générale visée. La raison est simple : il est pratiquement impossible de rejoindre une population au complet : plusieurs échapperont à l’enquête. L’échantillon, par contre, est moins sujet à des contraintes semblables.

L’inconvénient majeur d’un échantillon restreint réside dans la présence de sujets dont les caractéristiques pourraient s’écarter considérablement de la majorité. Certes, dans la population générale, ces sujets existent bel et bien. Lorsque l’échantillon est grand, l’influence de ces sujets est moindre. Lorsque l’échantillon est

petit, ils sont aisément repérables, car leurs scores sont perçus comme des scores extrêmes (outliers). Parce qu’ils font partie d’un échantillon restreint, on juge maintenant leurs scores comme non valides. En fait, ils déforment la représentativité de l’échantillon. Ces sujets seraient probablement acceptés si l’échantillon augmentait en taille. Leur importance est disproportionnée par rapport aux autres. La solution ? Transformer leurs scores ou éliminer carrément les individus de l’échantillon. Les scores extrêmes sont considérés comme outliers lorsque l’échantillon n’est pas aléatoire. En fait, un échantillon tiré sur le volet entraîne des biais de toutes sortes difficiles à contourner ou à corriger.

Pour le nettoyage des données, je vous réfère

à un autre module de ce présent site Internet.

Plusieurs auteurs (par ex. Keselman et al., 1998 ; Onwuegbuzie, 2002b) notent que la majorité des chercheurs ne vérifient pas adéquatement à quel point les

exigences de base d’un test statistique sont rencontrées. Certaines analyses statistiques exigent pour leur fonctionnement optimum de 5 à 10 sujets par variable introduite : un critère plancher, et non un critère plafond. Par exemple, vous prévoyez utiliser l’analyse factorielle afin de cerner et distinguer certains concepts d’importance capitale pour votre cadre conceptuel à partir d’un bassin de 28 variables. Il est bien évident que, dans un tel cas, la taille de votre échantillon constitue une préoccupation majeure ; la généralisation de votre recherche tient à l’échantillonnage. Assurez-vous d’être capable d’augmenter la taille de votre échantillon avec assez d’aisance. Une analyse factorielle ne s’exécute pas avec 2 sujets par variable, tout simplement pas. Les autres analyses multivariées s’avèrent tout aussi exigeantes à cet égard.


En éliminant des sujets (outliers), si votre échantillon est restreint,

vous faites de la place pour laisser entrer d’autres problèmes insipides dont il faut se méfier.

Entre autres, la variabilité diminue et vos analyses auront moins de dents…

Vous fermez la porte à un problème sévère pour en ouvrir une qui donne sur un problème sérieux !

Votre échantillon peut-il être de grande taille inutilement ? Non, s’il est représentatif. Un grand échantillon biaisé n’est guère plus valide qu’un petit échantillon biaisé. Cependant, plus votre échantillon se rapproche de la population totale, moins l’erreur d’échantillonnage est importante. Une comparaison entre les caractéristiques de l’échantillon et ceux de la population devrait vous permettre d’évaluer la représentativité de votre échantillon.

? Laquelle des deux situations suivantes est davantage tolérable :

un échantillon trop petit, ou un échantillon trop grand ? Un échantillon trop grand !

7. Le niveau de signification : une vedette en perte de popularité

Les tables de probabilité sont des outils pratiques, mais elles possèdent des faiblesses dont nous devons être conscients. Ces tables nous permettent d’estimer à quel point la réalité de l’échantillon est généralisable à la population. Par exemple, nous

sommes en droit de nous demander quelle est la vraie relation entre le niveau d’éducation formelle et le niveau socio-économique dans la population totale. L’analyse statistique de corrélation serait toute désignée pour répondre à cette question. Il faudrait, par ailleurs, mesurer cette relation dans la population entière. Même à cela, à travers les époques, elle varie. Pire encore, nous n’avons pas un document qui fournit les valeurs réelles de toutes les variables étudiées en recherche. Y rêver tient de l’utopie ! Voilà pourquoi la science des mathématiques est venue à la rescousse de la statistique en dressant des tables de probabilité. Ces tables ne nous indiquent pas à quel point ce que nous observons est fréquent, mais plutôt dans quelle mesure nous pouvons généraliser de l’échantillon à la population totale. C’est un cadre de référence qui fournit des probabilités. Ces tables ne font rien pour indiquer, par exemple, si la nature


d’une différence entre deux moyennes est valable ou non, ou si une association entre deux variables est signifiante.

Un résultat statistiquement significatif peut être, en fait,

insignifiant en pratique Les tests statistiques visent à accepter ou à rejeter une hypothèse nulle de recherche. Ils sont accompagnés d’une table particulière de probabilité. Malgré leur spécificité, ces tables partagent des traits communs. Chacune de ces tables est constituée de valeurs critiques différentes pour chaque taille d’échantillon ou pour chaque quantité d’observations. La valeur critique requise pour un groupe de 10 individus diffère énormément de celle associée à un groupe de 180 individus. Le tableau 5 montre les valeurs critiques pour 3 grandeurs d’échantillons différents :

Tableau 5. Les valeurs critiques associées à des échantillons de trois différentes tailles (Test t)

Taille de l’échantillon Valeurs critiques 6 2,45 25 2,06

Plus de 120 1,96

Si le nombre total d’observations ou de scores s’élèvent à 6 (deux groupes peu nombreux, en fait), il faudra obtenir, pour le Test t, une valeur critique d’au moins 2,45 pour que ces moyennes soient statistiquement différentes. S’il s’agit de 25 observations (groupes légèrement plus nombreux), votre résultat sera significatif s’il atteint la barre de 2,06. Enfin, si le nombre d’observations est fort élevé, disons 213 observations, il existera une différence statistiquement significative entre les deux moyennes à condition que la valeur critique atteigne 1,96. Vous imaginez bien, pour un petit échantillon, que la différence entre les moyennes de ces deux groupes devra être considérable. Cette valeur critique est-elle valable pour tous les niveaux de confiance ? Non. Les valeurs critiques inscrites dans le tableau précédent sont celles associées à un niveau de probabilité de 0,05 (p = 0,05). On peut s’attendre que ces valeurs soient vraies pour 95 échantillons sur 100 (19 chances sur 20) et fausses dans 5 % des échantillons. Lorsque nous ne sommes pas confortables avec ce niveau de probabilité et qu’on croit qu’il laisse trop de place à l’erreur d’échantillonnage, on fixe un autre


niveau de probabilité. Le tableau 6 inclut les trois niveaux de probabilité les plus populaires ; une question de tradition, cela va de soi. De nos jours, avec l’avènement de l’ordinateur, nous obtenons plutôt le niveau de probabilité exacte pour chacun des tests statistiques effectués.

Tableau 6. Les valeurs critiques pour trois niveaux de signification et pour des échantillons de trois différentes tailles (Test t)

Taille de l’échantillon Valeurs critiques p = 0,05 p = 0,01 p = 0,001 6 2,45 3,71 5,96 25 2,06 2,79 3,73

Plus de 120 1,96 2,58 3,29 Vous remarquez sans doute que si on raffermit la valeur critique en passant de 0,05 à 0,001, il y a moins de chances qu’une différence soit jugée comme statistiquement significative. Par ailleurs, si la taille de l’échantillon (ou des groupes) augmente, il y a plus de chances qu’une différence significative soit jugée comme étant statistiquement significative. Que pouvons-nous conclure ?

5 Le sort d’une hypothèse de recherche tient énormément à la taille de l’échantillon et

au choix du niveau de signification. Vous souhaitez à tout prix obtenir des résultats statistiquement significatifs ? Voilà deux trucs efficaces, n’est-ce pas ? Pas si vite ! Si ces trucs peuvent être efficaces pour déclarer des résultats comme étant significatifs, est-ce souhaitable d’adopter une telle approche en recherche ?

?

Au lieu de chercher par tous les moyens à obtenir des résultats significatifs ou des résultats en accord avec notre hypothèse de recherche, ne vaudrait-il pas mieux tout faire pour démontrer

que notre hypothèse est fausse ? Dans ce cas, si elle s’avérait vraie,

nos conclusions gagneraient en fermeté

En scrutant les tables de probabilité, on s’aperçoit vite que les valeurs critiques ne s’accroissent pas de façon linéaire avec le nombre d’observations. Le tableau 7

montre les valeurs critiques associées à 6 grandeurs d’échantillon.


Tableau 7. Les valeurs critiques pour des échantillons de six différentes tailles au niveau de signification 0,05 (Test t)

Nombre total d’observations (taille de l’échantillon)

Valeurs critiques

5 2,57 10 2,23 15 2,13 20 2,09 25 2,06 30 2,04

Si on augmente la taille de l’échantillon de 5 à 10, la valeur critique diminue de 0,34. Par contre, si on augmente la taille de l’échantillon de 25 à 30, la valeur critique ne diminue que de 0,02. Par conséquent, il n’y a pas de relation linéaire entre le nombre total d’observations et la valeur critique que nous pourrions aussi nommer valeur plancher ou valeur minimum. Comment ce manque de linéarité peut-il affecter les résultats d’une recherche ? Une importante différence a été constatée entre deux moyennes. Mais, si l’échantillon est restreint, cette différence réelle pourra ne pas être statistiquement significative. Ou encore. Si votre échantillon est considérable, une différence plutôt modérée pourrait être déclarée statistiquement significative.

À cause de cette déficience inhérente aux tables de probabilité, les chercheurs ajoutent un indicateur descriptif pour mieux décrire leurs résultats : la variance expliquée. Cet indicateur ne remplace pas un test d’hypothèse, cependant.

8. La variance expliquée : une formule magique !

À cause de l’importance de la notion de variance, je me permets quelques lignes sur le sujet.

Dans le présent site Internet, j’ai déjà élaboré un module sur le sujet. Je vous prie de le consulter.

La variance partagée ou expliquée n’est pas une nouvelle notion en statistique. On lui reconnaît davantage ses vertus. Elle gagne en popularité, si bien que plusieurs chercheuses et chercheurs accordent moins d’importance au niveau de probabilité qui servait jadis à trancher bien des décisions en science et dans la recherche en général à cause des particularités inhérentes aux tables de probabilité.


Il semble que la plupart des phénomènes que nous mesurons sont caractérisés par des variations, de là l’appellation variable. De plus, une variable influence et est influencée par d’autres variables, en règle générale. Une variable peut aussi bien être qualifiée de variable dépendante que de variable indépendante dépendamment de l’objectif poursuivi. Les variations que nous observons sont, pour la plupart, régulières ou systématiques. En fait, sans cette régularité dans les variations et dans les interactions de variables, ce serait le chaos. Or, si une variable est chaotique, on ne peut la prédire. Il n’y a pas d’intérêt véritable à étudier un phénomène qui dépend du hasard.

Allons jouer dans l’traffic ! La circulation des véhicules dans une ville augmente à certaines heures de la journée, si bien qu’on parle des heures de pointe. Cette augmentation de circulation est régulière durant les journées de la semaine.

Voici d’autres exemples. Les passants n’entrent pas tous dans un magasin ; il va sans dire que certains facteurs agissent différemment sur les consommateurs. Les élèves de 7e année n’ont pas tous la même note à l’examen ; on peut alléguer que ce résultat est conditionné par divers facteurs qui, eux également,

varient entre les élèves. Le nombre d’années d’expérience dans une institution fait varier l’attitude des employés envers les conditions de travail. Certaines variations sont donc prévisibles à un certain degré justement à cause d’une certaine régularité.

Un exemple de variations irrégulières ou imprévisibles serait la loterie. La sortie d’une boule particulière est déterminée par le hasard. Pour s’en convaincre, il s’agit de vérifier si (après un nombre infini de tirages…) la probabilité associée à chaque

numéro est la même. Comme la sortie d’une boule ne dépend pas des autres boules, la probabilité que chacune d’elles passe par la sortie est égale pour chacune des boules. Ces variations sont donc imprévisibles. Les variations à l’intérieur d’une variable se mesurent en calculant la différence entre chaque score de la distribution et la moyenne de cette distribution. Une fois que nous obtenons ce score déviation qui représente, en fait, une moyenne de tous les écarts à la moyenne, nous l’élevons au carré pour obtenir la variance totale de la variable.


? Pourquoi doit-on élever au carré l’écart type ?

Réponse : Sans cela, la somme des scores négatifs équivaudrait à la somme des scores positifs : la somme serait toujours égale à zéro. Vous pourriez calculer, pour tous les étudiants de votre classe, la

distance entre le campus universitaire et leur lieu respectif d’habitation. La moyenne de ces distances serait, en fait, l’écart type.

Par conséquent, il existe une variance pour chaque variable et il peut exister, aussi, une variance partagée entre des variables. Les variations entre plusieurs variables peuvent être régulières au point où une variation dans une variable est associée à une variation similaire dans une autre. Que veut-on dire par variations régulières ? Simplement, la position d’un individu sur une variable est conditionnée par sa position sur une autre variable. Dans le cas où la plupart des individus obtiennent un score de même taille sur les deux variables (variables A et B), on obtiendra une corrélation positive. Aussi, il est possible d’obtenir une corrélation négative ou inverse entre deux variables (variables A et C, B et C) lorsque la plupart des individus obtiennent un score inverse sur une variable par rapport à leur score sur une autre variable. Enfin, l’absence de relation entre deux variables est visible dans les trois cas suivants (A et B, B et D, C et D) : le score obtenu sur une variable n’est pas conditionné par le score sur une autre variable. Le tableau 8 montre les 4 distributions auxquelles nous venons de faire allusion, tandis que le tableau 9 montre les coefficients de corrélation obtenus entre les 4 variables fictives.

Tableau 8. Valeurs descriptives associées à quatre variables fictives

Cas A B C D 1 4 45 41 24 2 7 49 38 23 3 8 55 37 44 4 9 50 21 39 5 12 68 29 48 6 21 71 23 46 7 19 74 26 36 8 23 77 15 19

Moyenne 12,88 61,13 28,75 34,88 Écart type 7,16 12,71 9,21 11,39

Somme 103 489 230 279 Variance 51,27 161,55 84,79 129,84


Dans le tableau 8, les scores en dessous de la moyenne ont été placés en caractères gras. Nous tenons à faire une distinction des scores à partir de la moyenne. Pourquoi ? Le calcul de l’écart type s’obtient en élevant au carré les scores déviation. Mais qu’est-ce donc que l’écart type ? Il est calculé en soustrayant chaque score de la moyenne, pour ensuite élever cette différence au carré. Faisons un petit calcul à travers le cas où l’individu 4 et son score à la variable C. En soustrayant son score de 21 à la moyenne de la distribution, on obtient une différence de -7,75. Ce score s’écarte donc de 7,75 de la moyenne de sa distribution (28,75). Il contribue moins à la variance de cette distribution que le score de 41, mais contribue davantage que le score 15. Aussi, l’écart type s’agrandit, il va de soi, sous l’impulsion de scores éloignés de la moyenne. On constate, d’emblée, que la variance d’une simple variable est simplement le résultat de l’écart type élevé au carré (variable A : 7,16 x 7,16 = 51,27).

Tableau 9. Les coefficients de corrélation calculés entre les variables du tableau 4

A B C D A 1 ,94 ** -,82 * ,05 B 1 -,71 * ,18 C 1 -,062 D 1

** La corrélation est significative au niveau 0,01 * La corrélation est significative au niveau 0,05

? Que représente la variance partagée lorsqu’il s’agit de deux variables ?

Le coefficient de corrélation représente le degré d’association entre deux variables à cause de sa méthode de calcul. Si on élève au carré ce coefficient, on obtient le coefficient de détermination ou le pourcentage de variance partagée, c’est-à-dire la variance partagée par les deux variables en question. On peut aussi parler de la variance d’une variable expliquée par la variance d’une autre variable. La corrélation entre la variable A et C est de -,82. La variance partagée par ces deux variables est donc de : (-,82)2 = ,67 x 100 = 67 %. Il y a donc 33 % de variance que ces deux variables ne partagent pas. Comment cela s’explique-t-il ? D’abord, retenons que les deux variables sont en relation inverse, ce qui n’influence pas le pourcentage de variance.


Pour une relation inverse parfaite, ou un coefficient de corrélation égal à -1 ou presque, pour chaque cas, tous les scores sur une variable en bas de la moyenne

doivent correspondre aux scores en haut de la moyenne sur l’autre variable.

On voit que, pour la variable A, 5 scores se situent en bas de la moyenne, alors que pour la variable C, 4 scores se retrouvent au-dessus de la moyenne. La relation inverse n’est pas aussi parfaite que si les deux variables avaient eu le même nombre de cas où les scores sur les deux distributions auraient été situés en bas et en haut de leur moyenne respective. Le même raisonnement s’applique dans le cas d’une corrélation positive. On peut conclure en affirmant que, dans une relation positive entre deux variables, la variance expliquée ou partagée par les deux variables augmente lorsque, pour chaque cas, les scores sur les deux variables se retrouvent du même côté de la moyenne. On peut tout aussi bien conclure que, dans une relation négative entre deux variables, la variance expliquée par les deux variables augmente lorsque, pour chaque cas, les scores sur une variable sont en haut de la moyenne sur une variable et en bas de la moyenne sur l’autre variable.

☻La variance partagée augmente davantage lorsque chaque score de la paire occupe le même

rang sur chacune des deux variables : voilà le s e c r e t de la corrélation !

Réfléchissons

1 Le nombre de cas dans une analyse n’influence pas le calcul de la variance expliquée. 2 La variance expliquée découle d’une relation entre deux variables. 3 Les distributions doivent être le plus normales possible entre elles : si l’une des deux

distributions est sévèrement irrégulière, le coefficient de corrélation sera lourdement affecté.

4 À cet effet, on doit éviter d’écourter une distribution en formant des catégories. Une variable dont les valeurs sont regroupées en quelques catégories et mise en corrélation avec une autre variable verra son coefficient diminué par rapport à sa distribution originale.

5 Un effort particulier doit être fait pour dénicher les scores extrêmes et réduire leur influence. Un score extrême influence le calcul de la moyenne. Or, la variance découle de la comparaison des scores avec la moyenne. Une moyenne affectée par un score au détriment des autres affecte le coefficient de corrélation.


6 Les variables à l’étude n’ont pas besoin d’être sur la même échelle de mesure. Par exemple, le niveau d’éducation croisé avec le salaire. De par sa nature, le coefficient de corrélation comporte une standardisation des variables.

7 Une échelle de mesure plus longue ne se traduit pas, ipso facto, par une augmentation automatique du degré de relation entre des variables.

8 Le pourcentage de variance expliquée est un indice qui peut servir à comparer des résultats provenant d’études différentes.

9 Tout coefficient de corrélation se traduit en variance expliquée. 10 Le pourcentage de variance expliquée est une mesure relative, cependant. Rien

n’indique qu’un pourcentage de valeur x soit considérable ou insignifiant. 11 De nombreuses analyses statistiques utilisent le coefficient de corrélation comme

énergie vitale (par ex. la régression multiple, l’analyse factorielle, la corrélation canonique, l’analyse des pistes causales et l’analyse discriminante). Ces analyses, et d’autres, génèrent aussi de l’information quant à la variance expliquée.

6 La plupart des analyses statistiques visent à mesurer les variations entre des variables. La variance constitue un indicateur crucial et efficace de la relation fonctionnelle

qui peut exister entre des variables.

? La plupart des analyses statistiques mesurent-elles une association ou une différence entre deux ou plusieurs variables ?

9. La fonction principale de la majorité des analyses statistiques

En 2003, Onwuegbuzie et Daniel ont écrit: With respect to quantitative research methodologies, perhaps the most common analytical/interpretational error stems from a failure to realize that all parametric analyses (i.e., univariate and multivariate techniques), with the exception of predictive discriminant analyses, are subsumed by a general linear model (GLM), and that, consequently, all analyses are correlationnal (Cohen, 1968; Henson, 2000; Knapp, 1978; Roberts & Henson, 2002; Thompson, 1998a).

7 Il s’agit de réviser un manuel de tests statistiques

pour réaliser que la plupart des tests cherchent à mesurer à quel point deux ou plusieurs variables

sont reliées entre elles. On serait porter à croire, par exemple, qu’un test portant sur les fréquences, tel le chi carré, existe simplement pour déterminer une différence entre deux fréquences, chacune associée à une variable ou à une section d’une distribution. Nous nous en servons plus souvent, cependant, pour déterminer si deux variables dichotomiques, ou même ordinales, interagissent.


Un exemple fictif est présenté dans le tableau 10 qui suit. Nous voulons savoir si le même nombre d’élèves de 10e, 11e et 12e année utilisent un ordinateur à la maison pour réaliser leurs travaux scolaires. Nous voyons que l’utilisation de l’ordinateur varie d’une année à l’autre. En fait, le fait d’appartenir à une année scolaire plutôt qu’à une autre influe sur le nombre d’utilisateurs de l’ordinateur. On ne cherche pas, ici, à savoir si les élèves utilisent tous au même degré l’ordinateur. On souhaite plutôt compter les têtes de pipe : combien d’élèves utilisent ou n’utilisent pas l’ordinateur ?

Tableau 10. Pourcentage des élèves de 10e, 11e et 12e année qui utilisent ou n’utilisent pas l’ordinateur pour leurs devoirs

Année scolaire Utilisation de l’ordinateur Oui Non

10e année 18 % 82 % 11e année 29 % 71 % 12e année 43 % 57 %

Ce faisant, s’il y a une interaction significative (chi carré significatif), il y a donc une association entre l’année scolaire et l’utilisation de l’ordinateur. Dans ce cas-ci, à mesure qu’on avance en année scolaire, de plus en plus d’élèves utilisent l’ordinateur. Ce test, par conséquent, fait davantage que comparer deux états d’une chose (utilisent ou n’utilisent pas) ; il indique si les deux variables sont associées ou non. On aurait pu simplement exécuter trois tests du chi carré non paramétriques indépendants l’un de l’autre afin de comparer les deux états d’utilisation, un test pour chacune des trois années scolaires. En procédant ainsi, nous ne pourrions déterminer s’il existe ou non un lien entre les deux variables. En y réfléchissant davantage, même dans le cas du chi carré ou on désire mesurer une différence entre deux quantités (fréquences), nous devons admettre que si nous faisons cette comparaison entre deux choses, nous prétendons que ces deux choses peuvent être associées d’une quelconque façon. Je m’explique, sans trop tirer la chose par les cheveux... Comme la majorité des tests statistiques portent sur des variables ordinales, à intervalles et de proportion, plutôt que nominale comme nous venons de le voir, nous sommes en droit de nous interroger sur ce que tous ces tests cherchent à établir en bout de ligne : une relation ou une différence entre des variables ? Le Test t compare deux moyennes. On compare deux moyennes obtenues par un même groupe d’individus quant à deux variables. Ou bien. On compare la moyenne obtenue par deux groupes sur une seule variable. Ces variables doivent


être de nature continue : à intervalles ou de proportion. Le Test t ne fait rien pour établir une relation entre deux variables : il permet de rejeter ou d’accepter qu’une différence entre deux moyennes soit attribuée au hasard de l’échantillonnage. Vous avez compris qu’il existe deux différents Test t… Pourtant, en y réfléchissant davantage, lorsqu’on compare deux groupes entre eux quant à une moyenne, il sous-entend une relation quelconque. Par exemple, si je compare les avocates et les avocats quant à leur salaire, je sous-entends qu’il y a une relation entre le genre et le salaire, n’est-ce pas ? Pour ce qui est du Test F de la famille de l’analyse de la variance, il est clair qu’il s’agit non seulement de comparer des quantités, mais aussi de mesurer une relation. D’ailleurs, les logiciels d’analyses statistiques modernes calculent le montant de variance expliquée par la variable ou les variables indépendantes introduites dans une analyse de variance univariée ou multivariée. Plusieurs analyses statistiques nécessitent une matrice de corrélations ou un coefficient de corrélation pour démarrer. L’analyse factorielle, par exemple, débute ses opérations à partir d’une matrice de coefficients de corrélation. La régression multiple et la corrélation canonique ont besoin elles aussi de coefficients pour mettre en branle une série de calculs. L’analyse discriminante est connue comme l’analyse réciproque de l’analyse de variance. Cependant, la variable dépendante de cette analyse représente des catégories indépendantes les unes des autres. Par contre, les coefficients inhérents à cette analyse sont calculés à partir de corrélations entre les variables indépendantes. De toute évidence, l’analyse des pistes causales, si populaires dans la vérification de modèles conceptuels, est fondée sur des coefficients de corrélation. Vous pouvez continuer cette recherche de tests statistiques qui ne sont pas reliés à une mesure quelconque de relation entre deux ou plusieurs variables. Vous ne trouverez que quelques cas isolés tels que le Test t visant une paire de variables (paired t Test) portant sur deux variables et l’analyse discriminante. L’important, c’est de constater que, la plupart du temps, la recherche consiste à mesurer des liens existants entre des variables. Le plus souvent ces variables font partie d’un ensemble conceptuel que nous appelons cadre conceptuel. Si la majorité des tests statistiques ont été conçus pour répondre aux besoins des chercheuses et des chercheurs, c’est à croire que la majorité de leurs besoins porte sur des questions relatives à des relations entre variables. Vous pouvez aussi éplucher des revues scientifiques afin de trouver des expériences qui ne portent pas sur des relations entre variables ou sur la formule fondamentale


suivante qu’on retrouve dans l’introduction de manuels de recherche et de statistiques :

y = f(x)

10. Le caractère additif (ou non additif) des variables et les pièges de la recherche

Nous avons effleuré le sujet dans l’introduction de ce présent document. Nous allons maintenant l’approfondir quelque peu. Une recherche comporte généralement plusieurs variables qui peuvent être regroupées selon divers critères. Par exemple, on retrouve souvent des variables qui mesurent des caractéristiques importantes de l’échantillon : genre, âge, statut civil, nombre d’années d’expérience dans un domaine, niveau d’éducation formelle, profession exercée, et d’autres. Par surcroît, d’autres parties porteront sur des variables dites dépendantes. Souvent, on vise à établir des liens fonctionnels entre les variables indépendantes et les variables dépendantes.

La description de chacune des variables peut laisser croire que les résultats que nous constatons sont additifs, cumulatifs. Le rapport de recherche fait état de moyennes

et de pourcentages calculés pour les variables étudiées. Il ne faut pas croire, cependant, que toutes ces variables sont liées entre elles et qu’il y a des liens particuliers entre certaines.

Chacune des variables

est indépendante des autres avant de démontrer le contraire,

même si toutes ces variables ont été mesurées auprès du même échantillon.

Par exemple, 63 % de l’échantillon se compose de filles ; le salaire moyen s’élève à 18 000 $ ; le niveau d’éducation équivaut à la 10e année académique ; 76 % sont mariés ou vivent ensemble ; leur satisfaction au travail atteint le niveau 3 sur une échelle de 5 ; la moyenne d’âge de leurs enfants est 3,5 ans, et ainsi de suite. La tentation est forte de prêter des relations gratuites à ces variables. Puisque les filles sont plus nombreuses dans l’échantillon, on ne peut prétendre d’emblée que les résultats aux autres variables dépendent de leur forte présence dans l’échantillon. Rien ne nous dit que le niveau de satisfaction au travail serait plus élevé si les garçons étaient autant nombreux que les filles. Rien ne nous indique non plus que les filles de cet échantillon reçoivent un


salaire moindre que les garçons et qu’elles sont moins instruites. Ce serait une affirmation sans fondement. Certes, si l’échantillon se compose de 95 % de filles, il est permis de prédire avec assez de précision les valeurs qu’elles obtiennent sur les autres variables. Bien souvent, les variables interagissent entre elles. Cette interaction est difficile à découvrir en se basant uniquement sur la valeur de tendance centrale d’une variable, la moyenne par exemple. L’exemple fictif suivant vous en fait la démonstration. N’allez pas croire qu’une telle situation est plutôt rare en recherche ; elle est plutôt fréquente. Reprenons notre exemple précédent. La moyenne de satisfaction de l’échantillon se situe à 3 sur une échelle de 5. En décortiquant les deux variables genre et satisfaction au travail voici ce qu’on trouve :

Tableau 12. Pourcentage de filles et de garçons à chacun des niveaux de satisfaction envers leur travail

Genre Satisfaction au travail 1 2 3 4 5

Filles 6 % 11 % 23 % 28 % 32 % Garçons 19 % 31 % 28 % 12 % 10 %

En fait, la satisfaction moyenne au travail résulte surtout d’une satisfaction plus grande chez les filles et d’une insatisfaction plus grande chez les garçons. C’est justement dans un tel cas qu’on parle d’interaction entre des variables : la valeur à une variable dépend de la valeur à une autre variable. On voit bien dans le tableau 12 que la moyenne de satisfaction chez les filles autant que chez les garçons ne représente pas très bien l’ensemble de la distribution ; à peine le quart de chacun de ces groupes se dit effectivement satisfait au travail.

Une série d’analyses univariées ont été exécutées sur les données. Par exemple, les filles et les garçons ont été comparés entre eux quant à plusieurs variables de votre

recherche. On trouve, entre autres, que les filles sont plus satisfaites de leur travail, que leur salaire est moins élevé, qu’elles sont plus instruites, qu’elles ressentent moins de stress, qu’elles lisent plus de romans, et d’autres. Comme dans l’exemple précédent, on ne sait rien sur la relation entre les variables dépendantes. Il ne faudrait donc pas laisser croire dans l’interprétation des résultats que les filles qui sont plus satisfaites de leur travail sont les mêmes que celles dont le salaire est moins élevé, sont plus instruites, lisent plus de romans et sont moins stressées. Rien n’indique que toutes ces variables soient fortement reliées entre elles.


Plusieurs analyses univariées ne remplacentpas une analyse multivariée ! L’inverse est davantage vrai.

Dans l’exemple qui nous intéresse, nous pourrions le prétendre si la corrélation entre toutes ces variables dépendantes était parfaite. Si A = C, et B = C, par conséquent, A = C. En exécutant une seule analyse de variance multivariée qui intègre toutes les variables qui ont fait l’objet d’une analyse univariée, plus souvent qu’autrement, les résultats dressent un portrait différent. Il est d’autant plus différent, si les variables dépendantes entretiennent entre elles des corrélations positives, des corrélations négatives. Le pourcentage de variance expliquée par les variables indépendantes introduites dans une analyse multivariée sera moindre que la somme des pourcentages de variance expliquée considérant toutes les analyses univariées.

11. Les instruments de mesure dits valides et fidèles

La plupart du temps, les outils de mesure sont validés auprès d’échantillons représentatifs. Par exemple, un instrument d’attitude envers la pédagogie a été validé auprès des enseignantes et des enseignants d’une province entière. Tout a été mis en œuvre pour évaluer la qualité psychométrique de l’instrument. Par après, un chercheur décide de l’utiliser auprès des étudiantes et des étudiants d’une faculté d’éducation. L’instrument est valide dans la population générale des enseignantes et des enseignants. Le sera-t-il autant pour un sous-groupe spécifique et qui, par surcroît, ne faisait pas partie du contingent de validation ? Même s’il était utilisé auprès des enseignantes et des enseignants du primaire seulement, il est possible que la validité ne tienne pas le coup. Pourquoi ? En général, diverses techniques statistiques servent à valider un instrument. Entre autres, l’analyse factorielle joue un grand rôle pour mener à bien cette tâche. Elle opère en fonction des corrélations existantes entre les variables. Ces corrélations varient selon la nature de l’échantillon ; parfois peu, parfois beaucoup. Du moins, plus on restreint l’échantillon à un sous-groupe de la population, plus on risque de réduire la variabilité, donc la corrélation entre les variables.


Par exemple, une validation auprès des enseignants du primaire pourrait révéler une structure factorielle quelque peu différente de celle faite auprès des enseignants du secondaire. Lorsque les deux groupes sont réunis, on obtient une structure factorielle moyenne, dans le sens qu’elle est le résultat de la fusion des deux groupes. Cette troisième analyse factorielle pourrait comporter des différences par rapport aux deux autres. Laquelle des trois doit-on considérer comme la bonne ? Tout dépend ! L’utilisation aveugle d’un test déjà validé est une pratique courante qui doit être révisée selon le APA Task Force (1999).

Si votre intention est de généraliser à tout le personnel enseignant, le choix est clair. Par contre, lorsqu’il s’agit d’un sous-groupe, il y a des avantages à cerner des facteurs stables et clairement définis dans cette population. Surtout si vous êtes intéressés, avant tout, à

connaître davantage un sous-groupe plutôt que de généraliser vos résultats à la population. Il n’y a pas grand intérêt à obtenir des résultats provenant d’un outil où les concepts ne sont pas clairement perçus chez les participants.

Un test dit valide peut ne pas être fiable à travers divers échantillons. Cet état de choses peut survenir lorsque la validation a eu lieu sur la population et que l’instrument

sert ensuite auprès d’un échantillon. C’est toujours risqué de faire des analyses statistiques avec un nombre réduit de sujets, si représentatifs soient-ils. Il vaut mieux profiter d’un grand nombre de sujets que de souffrir d’un petit nombre. Ce qui me fait croire que :

8 More is better ! (le plus possible, c’est mieux)

12. Ces chers sujets volontaires

À cause de diverses restrictions, on doit souvent faire appel à des volontaires pour mener une expérience. Cette façon de choisir des sujets pour une expérience comporte des risques évidents. Les volontaires sont souvent attirés par le sujet de la recherche : le stress, la dépression, la sexualité, et d’autres. Si leur intérêt pour le sujet s’accompagne d’une formation particulière dans le domaine ou s’ils sont affectés par le sujet de telle sorte qu’ils ébranlent la représentativité de votre échantillon, il vaut mieux prendre des dispositions pour les identifier, les écarter de l’expérience ou simplement en tenir compte lors des analyses statistiques.


L’élimination de sujets n’est pas toujours souhaitable, surtout s’ils ajoutent une variabilité précieuse. Par exemple, si votre sujet de recherche porte sur l’utilisation de l’ordinateur à la maison par les jeunes de 12 à 18 ans, il est évident que certains d’entre eux auront des compétences raffinées dans le domaine

et que d’autres (ou les mêmes…) en feront un usage abondant, excessif par rapport à la majorité. À bien des variables, leurs scores apparaîtront comme extrêmes et à eux seuls déplaceront les valeurs de tendance centrale, en particulier. Une transformation de scores pourrait suffire, les ramenant plus près du centre de la distribution (tout en faisant reculer le centre…..). Ce pourrait même être indispensable d’appliquer une transformation pour éviter à tout prix d’éliminer des individus ! Ces individus méritent d’être retenus dans les analyses statistiques, d’abord, parce qu’ils font partie de cette population. Ensuite, parce qu’ils vivent à leur façon cette réalité moderne. La situation serait différente si les scores extrêmes étaient ceux appartenant à des individus qui ignorent le sujet de recherche. Par conséquent, lors des analyses d’un tel fichier, on doit autant se préoccuper des individus ne présentant que des scores faibles que ceux ne présentant que des scores élevés. Éliminer les scores extrêmes de chaque côté de la distribution serait dommageable. Il ne faut surtout pas oublier, dans ce cas, que les individus compétents dans le sujet de recherche sont préférables à conserver que les autres incompétents. Si vous souhaitez mesurer la relation entre la fréquence d’utilisation de l’ordinateur et les motifs de l’utilisation, la recommandation ci-dessus prend tout son sens. Si votre objectif consiste à décortiquer un phénomène quelconque (par ex. l’utilisation de l’ordinateur par les adolescents) dans le simple but de connaître sa dynamique interne, et que vous n’espérez pas généraliser vos résultats à cette population, il s’agira pour vous de rejoindre le plus grand nombre possible d’individus, nonobstant la méthode d’échantillonnage. Vous êtes davantage intéressé au phénomène qu’à la généralisation statistique.

Pour mener sa recherche, le chercheur fait appel à des volontaires à la faculté des sciences infirmières sur un campus universitaire. Il n’est guère surpris que plus de 90

% des répondantes soient des filles. Ce qui serait surprenant, c’est que le chercheur vise à établir une différence entre les filles et les garçons quant à certaines variables, peu importe les variables. L’exemple est percutant. Pourtant, bien des recherches sont conduites à partir d’un échantillonnage déficient.


Dans l’exemple précédent, les étudiants choisis ne représentent pas la population totale d’étudiants universitaires; ils en font partie seulement. Les filles sont trop nombreuses par rapport aux garçons. Enfin, le choix n’a pas été fait au hasard. Les résultats représentent davantage, vous en conviendrez, les étudiantes infirmières que l’ensemble des étudiants universitaires. Voici pourquoi. Le chercheur a réduit la variabilité de l’échantillon en choisissant des individus dans un contexte homogène : âge, niveau d’éducation et genre. Il aurait mieux valu étudier la population de filles seulement dans cette faculté. Ainsi, il aurait pu plus aisément généraliser ses résultats à ce segment de la population. Hopkins (2000) a soulevé cette difficulté courante et offre une solution. In all studies, subject characteristics can affect the relationship you are investigating. Limit their effect either by using a less heterogeneous sample of subjects or preferably by measuring the characteristics and including them in the analysis.

Bien des recherches mettent en garde le lecteur contre des biais sérieux de leur échantillonnage.

Pourtant, tout se déroule (analyse et interprétation), par la suite, comme si l’échantillon était représentatif.

Que doit-on penser des résultats !

13. À la recherche d’un profil stable

On pourrait croire qu’un échantillon aléatoire tiré selon les règles de l’art améliore les relations entre les variables et permet de dégager des profils stables de réponse. Un échantillon aléatoire assure une généralisation des résultats, une similitude entre un échantillon et la population comme telle.

9 Un échantillon aléatoire conçu en bonne et due forme n’améliore pas nécessairement le taux de

variance expliquée entre des variables

Vous cherchez des relations stables entre des variables ? Vous l’obtiendrez plus aisément auprès d’un groupe homogène qu’auprès de la population en général. La population générale est fort hétérogène. Pour s’en

convaincre, il s’agit d’exécuter la même analyse sur divers sous-groupes d’un échantillon de taille assez considérable pour permettre une telle technique d’analyse.


L’analyse factorielle est sensible aux relations entre variables. Les autres analyses multivariées aussi, d’ailleurs. Il est informatif de comparer les résultats d’une analyse factorielle sur l’échantillon au complet à ceux obtenus sur divers sous-groupes de ce même échantillon, pourvu que votre échantillon soit de grande taille. Onwuegbuzie & Daniel (2003) recommandent que l’échantillon permette au moins 5 individus par variable entrée dans l’analyse factorielle. Que peut-on retirer d’une telle comparaison ? Dans la plupart des recherches, nous souhaitons cerner des concepts qui ne sont pas des girouettes et qui ont plutôt une signification uniforme à travers divers sous-groupes. Par surcroît, nous désirons que ces concepts entretiennent entre eux des relations stables. Nielsen (2004) nous met en garde lorsqu’il s’agit d’un nombre considérable de variables à étudier : If you measure enough variables, you will inevitably discover that some seem to correlate.

Quelques résultats statistiquement significatifs peuvent être dus au hasard. Lorsque d’innombrables tests statistiques sont exécutés sur des données, il est possible

que certains résultats significatifs, surtout s’ils sont mitigés, soient attribuables au hasard. Vous savez que tout résultat statistique est ramené à une table de probabilité. Ces tables, bien que constituées de chiffres précis, sont purement arbitraires. Nous les acceptons par convention. Elles ne représentent pas une réalité étanche et immuable. Elles sont un critère de référence représentant des probabilités. Si 100 analyses statistiques sont exécutées sur un ensemble de données, on peut soutenir que 5 % d’entre elles déboucheront sur des résultats significatifs parce que ces résultats sont évalués en fonction de tables de probabilité. Il est plus réaliste de scruter les données à la recherche de tendances fermes, de grandes différences, de fortes relations qui s’inscrivent dans le cadre conceptuel prévu à cet effet.

10 Des résultats significatifs çà et là dans une recherche

peuvent être attribuables au hasard. Des résultats vraiment significatifs doivent être

répandus, considérables et orientés systématiquement.


Par exemple, votre recherche porte sur les facteurs suivants associés au stress, facteurs que vous avez clairement identifiés auprès de la population générale : préoccupations, tension, joie, attentes des autres, relations sociales et expression des émotions. L’analyse factorielle globale montre que les répondantes et les répondants distinguent ces concepts que nous appelons aussi facteurs. Chacun de ces concepts est défini par plusieurs variables qui se retrouvent sous le parapluie d’un concept (et non sous un autre) parce qu’elles entretiennent des corrélations élevées entre elles en même temps que des corrélations faibles ou nulles avec les autres variables regroupées sous les autres concepts.

Bref, un facteur représente une famille de variables qui se ressemblent tout en étant différentes des variables des autres familles de variables ou facteurs.

Qu’arriverait-il à cette structure factorielle si l’analyse ne portait que sur un sous-groupe tel que les travailleurs (en éliminant les sans-emploi), les femmes (en éliminant les hommes), ou les employés (en éliminant les employeurs) ? Les facteurs qui restent intacts après une opération de ce genre peuvent être considérés comme des concepts stables (technique dite de cross-validation).

Cette stabilité peut aussi se vérifier en retirant de votre échantillon plusieurs sous-groupes de façon aléatoire (technique dite bootstrap). Vous pouvez aussi trancher l’échantillon en sous-groupes égaux et exécuter la même analyse sur chacun d’eux (technique dite jacknife).

Les logiciels modernes d’analyses statistiques facilitent cette tâche. Exécutez 10 analyses factorielles sur 10 groupes constitués de 25 % de l’échantillon (avec remplacement). Bien sûr, vous devez vous assurer d’un nombre suffisant de sujets afin de rencontrer les exigences minimales de l’analyse factorielle. En répétant la même analyse, vous aurez une meilleure idée du sort de certaines variables, celles qui s’accrochent uniquement à un concept et celles qui s’accrochent à plusieurs concepts. C’est suffisant pour vous inciter à procéder à un examen plus approfondi de la nature de vos variables. L’analyse factorielle, ou toute autre analyse multivariée, ne sont réalisables que s’il existe des corrélations entre des variables. Une corrélation importante signifie qu’il existe une régularité, une association entre des variables. La façon de réagir à une conditionne la réaction à l’autre, et ce, pour l’ensemble des sujets de l’étude. Il est donc tentant et intéressant d’identifier des profils chez les sujets à l’étude. En fait, nous recherchons généralement ce qui est constant.


Le terme constant est mal choisi : il serait préférable de parler de régularité. Pour démystifier un peu ce que représente un profil régulier, reprenons l’exemple précédent où l’un des facteurs de stress est la tension. Ce facteur (concept) fut identifié parce que quelques variables le définissaient. L’analyse factorielle révèle que ces variables entretiennent une forte relation entre elles. Voici une représentation graphique qui pourrait vous aider à démystifier tout ce langage un peu compliqué. Cinq variables constituent le concept de tension. Puisqu’elles se retrouvent sous ce facteur, chacune d’elles entretient une corrélation avec le facteur latent. Supposons que ces corrélations (factor loadings) varient de 0,57 à 0,79. Dans le tableau 13, la ligne noire dans chaque colonne représente la moyenne à cette variable. Supposons que cette moyenne va de 0 (pas important) à 5 (très important). Vous êtes sans doute surpris que ces variables soient si étroitement associées même si leurs moyennes diffèrent énormément. Comment peuvent-elles être associées ? Pour éviter une confusion inutile, je reproduis le tableau 13 pour en faire le tableau 14 en y ajoutant des informations supplémentaires.

Tableau 13. V.1 V.2 V.3 V.4 V.5

Très important Très important Très important Très important Très important

Pas important Pas important Pas important Pas important Pas important Pour qu’il y ait une corrélation positive forte entre ces variables, assez pour constituer un facteur ou un concept stable, la plupart des sujets devront présenter un profil régulier sur l’ensemble des variables, c'est-à-dire que la position d’un individu sur une variable est conditionnée par sa position sur une autre variable.

Par exemple, le sujet représenté par le (■) pourra obtenir des scores au-dessus de la moyenne à chacune des variables ; le sujet représenté par le (□) obtiendra des scores en dessous de la moyenne sur chacune des variables. Tous les sujets n’auront pas un profil aussi parfait. Un troisième sujet représenté par (♠) a obtenu des scores au-dessus et au-dessous de la moyenne, ce qui diminue la force de la corrélation bien entendu. Cependant, vous devez vous imaginer que


la plupart des sujets présente un profil qui s’apparente avec ceux du sujet (■) et du sujet (□).

Tableau 14. V.1 V.2 V.3 V.4 V.5

Très important Très important Très important Très important Très important ■ ■

■ ■ ♠ □ ♠ ♠ ♠ □ ■ □ □ ♠ □

Pas important Pas important Pas important Pas important Pas important (Amusez-vous à relier chacun des 3 symboles)

Si vous êtes toujours confus, c’est que vous croyez peut-être qu’une corrélation positive signifie que les variables associées ensemble ont une moyenne élevée, et qu’on

obtient une corrélation négative lorsque la moyenne est faible à toutes les variables. Pas du tout !!!! Il est même possible d’obtenir un facteur stable entre 5 variables dont 3 entretiennent une corrélation positive avec le facteur, tandis que les 2 autres sont en relation inverse, négative. Dans un tel cas, des scores au-dessus de la moyenne sur 3 variables s’accompagnent (dans la plupart des cas…) de scores au-dessous de la moyenne sur les 2 autres. J’ai introduit la moyenne dans chacune des colonnes pour justement montrer que ce n’est pas la taille de la moyenne qui compte, mais la position que chaque sujet occupe par rapport à cette moyenne, et ce, pour chacune des variables. On parle de profil régulier si la plupart des sujets se comportent de façon régulière par rapport à la moyenne de la variable, et non à cause de la taille de chacun de leurs scores. La corrélation, je crois, se comprend mieux en l’illustrant comme la position qu’occupe un sujet sur diverses variables plutôt que comme une grandeur de score. Tout est décidé en fonction de la position du sujet par rapport à la moyenne à deux ou plusieurs variables. Vous désirez saisir davantage la vraie nature de la corrélation et de la variance, je vous réfère au module sur la variance que vous trouverez sur le présent site Internet. Construisez un fichier de données d’une dizaine de sujets. Calculez le coefficient de corrélation en vous servant d’un logiciel courant tel qu’Excel. Ensuite, déplacez peu à peu les valeurs d’une variable. Après chaque déplacement, calculez à nouveau le coefficient de corrélation.


Mieux encore, prenez le temps de calculer avec votre calculatrice (enfouie au fond de votre tiroir…) un coefficient de corrélation. Cet exercice finit par s’imposer de lui-même, lorsqu’on tient mordicus à comprendre ce test statistique. Mais, c’est bien plus qu’un test statistique. Les résultats issus de la corrélation servent à alimenter un très grand nombre d’autres analyses statistiques, surtout les multivariées.

? Est-il possible que 4 variables soient positivement reliées entre elles,

mais que l’une de ces variables ait une moyenne très faible par rapport aux 3 autres ?

11 Les individus sont uniques. La science du

comportement nous montre que les individus partagent, néanmoins, des traits communs que nous

pouvons identifiés assez bien. En fait, ce que nous mesurons de commun aux individus peut être le résultat de facteurs extérieurs. Des individus vivant dans un environnement particulier finissent par posséder en commun des caractéristiques : l’environnement façonne l’individu. Si les individus possédaient énormément plus de différences que de similitudes, la science du comportement tiendrait par un fil et n’aurait pas sa raison d’être actuelle.

14. La variable dépendante : le pivot de la recherche

Une recherche porte généralement sur une question. On formule donc une hypothèse. À la rigueur, une seule analyse devrait suffire : après tout, on cherche une réponse à une question, et non plusieurs réponses ! Une caricature simpliste, me direz-vous. Une recherche valable et valide peut fort bien être bâtie sur un seul pilier. Si, une hypothèse suffit à lancer une recherche, une seule analyse englobante et pertinente devrait suffire. Il est vrai que, pour démontrer la véracité d’une hypothèse, diverses analyses peuvent souvent être nécessaires. Mais,

Lorsqu’on emploie plusieurs analyses univariées dans l’espoir de remplacer une seule analyse multivariée que nous ne savons pas comment appliquer, il n’est pas

surprenant de voir autant d’analyses statistiques dans un projet de recherche.


Lorsqu’on tente de répondre à des questions qui surgissent au cours de l’étape d’analyse, il n’est guère surprenant non plus de voir apparaître des tests

statistiques un peu à l’impromptu. Dans ce cas, d’autres hypothèses auraient dû être ajoutées.

Lorsqu’on décide d’explorer spontanément un aspect quelconque des données, doit-on se surprendre si les tests statistiques s’entassent les uns sur les autres de façon

désordonnée. Rien n’empêche le chercheur d’explorer diverses facettes de ses données même si cette exploration n’a pas été annoncée dans sa problématique. Au contraire. Les résultats de cette exploration n’ont peut-être pas besoin d’être étalés dans son rapport de recherche.

? Quoi faire et quoi ne pas faire ? Voilà la question…

À lire les hypothèses de recherche, on comprend vite qu’elles portent sur une différence ou une association quelconque. L’hypothèse établit des liens fonctionnels en même temps qu’elle oriente les analyses statistiques. Lorsque plusieurs hypothèses sont formulées, on s’attend à ce que des analyses séparées soient exécutées. La multiplication des analyses n’est pas une surprise à ce moment-là, car elles découlent d’une prédiction. L’hypothèse la plus simple comprend une relation quelconque entre une variable indépendante et une variable dépendante. Par exemple, les hommes ont un niveau de stress plus élevé que celui des femmes tel que mesuré par un test comprenant 5 concepts associés au stress. Dans ce cas-ci, on cherche à établir une différence. Au fond, on cherche aussi à établir une relation entre le genre et le stress. Le nombre de variables indépendantes est généralement plus nombreux, cependant. Le nombre de variables dépendantes, lui, est maintenu au minimum. Cet état des choses s’explique par le fait qu’une problématique pivote autour d’un questionnement centré sur un phénomène et non deux, à moins justement qu’on souhaite savoir comment plusieurs variables indépendantes peuvent affecter plusieurs variables dépendantes. Le tableau 15 illustre trois situations classiques en recherche impliquant la variable indépendante (VI) et la variable dépendante (VD).


Tableau 15 VDVI1

VI1VI2VI3VI5VI6

VI1VI2VI3

VD

VD1VD2

Le tableau 16, lui, illustre une problématique de recherche où des variables indépendantes (VI) sont regroupées pour définir des concepts et où certains de ces concepts constituent à la fois des variables indépendantes et dépendantes. Dans un tel cas, on utilise l’analyse des pistes causales qui s’appuie, en fait, sur le principe de la corrélation partielle.

Tableau 16

VD

VI7VI8

VI9 VI10 VI11

VI4

VI5VI6

VI1VI2VI3

De nouveaux tests statistiques permettent maintenant d’étudier des problématiques non seulement plus complexes, mais plus conformes aux conceptions des chercheurs. En éliminant les contraintes imposées par les tests statistiques, il est possible d’étudier la relation entre plusieurs variables indépendantes avant de mesurer leur effet sur la variable dépendante. En fait, on parle de l’effet indirect des variables indépendantes en plus de leur effet direct. Le tableau 16 illustre l’idée derrière l’analyse des pistes causales et les modèles d’équation structurale. Dans les sciences humaines, nous fragmentons, pour ainsi dire, l’individu pour mieux l’étudier ; cette fragmentation n’est pas typique aux sciences humaines, cependant. De nouvelles analyses statistiques nous permettent d’intégrer un nombre considérable de variables et d’étudier une problématique en fonction d’un ensemble plus complexe. Personne ne croit que l’être humain est aussi


fragmenté dans son comportement : il agit comme un tout et non une collection de pièces détachées.

12 La nécessité d’isoler quelques variables pour mieux les

étudier est surtout imposée par diverses contraintes difficiles à contourner, entre autres l’échantillonnage.

Même si de plus en plus d’analyses statistiques permettent d’étudier des problématiques complexes, il reste que rarement il est possible de rassembler un

échantillon assez grand pour en tirer profit. En incluant un plus grand nombre de variables dans une analyse, on se rapproche de la réalité de l’être humain. Il faut donc admettre qu’en réduisant le nombre de variables dans une étude, on s’éloigne de cette réalité. Bien des facteurs agissent sur le niveau de stress de l’individu, mais le stress agit lui aussi sur d’autres aspects de sa personne. Le choix d’une seule variable dépendante est purement arbitraire et suffit amplement à mener un projet de recherche. Dans l’exemple que nous venons de décrire, le stress constitue la variable dépendante. Dans une autre recherche, le stress pourrait fort bien être considéré comme une variable indépendante, une variable qui prédit une autre variable. Le statut d’une variable découle de la problématique à l’étude.

La variable dépendante est l’indicateur qui représente le phénomène étudié.

La plupart du temps, le projet de recherche vise à identifier les conditions qui font varier ce phénomène.

Votre recherche consiste, dans un premier temps, à mesurer le stress auprès des fonctionnaires gouvernementaux. Votre définition opérationnelle du stress se dégagera de la nature de votre questionnement. Les résultats de votre recherche seront influencés par cette définition. Dans un deuxième temps, vous identifierez les facteurs qui agissent sur le stress. La définition opérationnelle de ces facteurs sera typique à votre recherche. Bien sûr, vous ne pouvez pas influencer la définition de l’âge ou du genre des sujets. Par contre, certaines variables seront construites en accord avec une approche théorique. Parmi les facteurs que vous soupçonnez d’agir sur le stress, il y a les préoccupations de l’individu. Elles seront mesurées à l’aide d’une échelle construite à cette intention. La nature de cette définition représente elle aussi un facteur qui agit sur la relation entre le concept des préoccupations et le stress ; ce sont d’ailleurs deux concepts construits de toutes pièces.


Bref, une problématique de recherche est une construction, arbitraire, particulière et personnelle qui tente d’expliquer une réalité ; ce n’est pas la réalité. L’interprétation des résultats se fait en fonction de cette problématique. Si vous trouvez que les femmes sont plus stressées que les hommes à la fin de votre recherche, ce résultat a été obtenu en fonction d’un contexte précis. Ce n’est qu’après de multiples recherches menées dans des contextes différents, en introduisant diverses variantes dans ces recherches, en observant l’interaction entre d’innombrables variables, en distinguant ce qui reste stable malgré des conditions changeantes, qu’il est possible de rapprocher une théorie à une réalité.

13 L’interprétation des résultats d’une recherche se fait en

fonction de la problématique de cette recherche. Elle décrit une réalité telle que définie par une

conception particulière ; il reste à déterminer à quel point elle correspond à la vraie réalité.

15. Causalité versus corrélation

Lors qu’il existe une corrélation entre deux variables, rien n’indique que l’une cause l’autre. Les deux variables peuvent être influencées par une troisième variable. La corrélation ne fait que rendre compte de la force d’une association. La nature d’une corrélation dépend de l’interprétation qu’on en fait. Voici ce que Jacob Cohen (1990) a écrit sur le sujet : There is no royal road to statistical induction, that the informed judgment of the investigator is the crucial element in the interpretation of data. Par exemple, une corrélation positive est trouvée entre le niveau socio économique et le nombre de visites à une clinique médicale. Les individus plus fortunés sont-ils en moins bonne santé que les moins bien nantis ? Se blessent-ils plus souvent que d’autres parce qu’ils travaillent davantage ? Portent-ils davantage attention à leur santé ? Craignent-ils moins les coûts associés à ces visites ? Ont-ils davantage accès aux cliniques médicales ? Autant de questions qui ne peuvent être répondues adéquatement qu’en intégrant dans une même analyse statistique les variables pertinentes. La gestion de ces variables ne se fait pas au hasard non plus ; de là l’importance de se référer à un cadre conceptuel.

14 Autant l’approche quantitative vise à fournir une réponse à une question, une solution à un problème,

elle ne prétend pas identifier la cause d’un phénomène.


16. Les valeurs manquantes : ne les manquez pas !

Avant de fermer le rideau sur ce module, un aspect des données est souvent escamoté. Si la plupart des données brillent par leur présence, d’autres brillent par leur absence. Des valeurs manquantes çà et là ne causent pas

de tort irréparable. Même à cela, il importe de s’interroger à leur sujet. Tabachnik & Fidell (1989) prétendent, à la page 61, que, The pattern of missing data is more important than the amount missing. Dans un premier temps, il s’agit d’identifier les valeurs manquantes. Dans un deuxième temps, une décision doit être prise à leur sujet.

Il ne suffit pas de faire le compte pour chacune des variables ; il faut tenter d’identifier à quel point les valeurs manquantes de certaines variables sont reliées à d’autres variables. Par exemple, si un bon nombre de sujets n’ont pas indiqué leur niveau de scolarisation, formez deux groupes dont l’un est

constitué de ceux qui n’ont pas indiqué ce niveau tandis que l’autre est formé de ceux qui l’ont indiqué. Comparez ces deux groupes entre eux quant à diverses variables cruciales à votre recherche. Lorsque les valeurs manquantes semblent distribuées au hasard, sans un profil particulier, il y a moins de raisons de s’en inquiéter. Cet exercice ne corrigera pas la situation, mais pourra vous aider lors de l’interprétation des résultats. Il ne s’agit pas d’estimer le genre des sujets. L’estimation dont nous parlons porte plutôt sur des variables construites : attitude, perception, motivation, et d’autres. Certaines procédures statistiques (même certains logiciels…) ont été conçues pour remplacer ces valeurs manquantes par un score estimé. Lorsque le nombre de valeurs manquantes est faible, il y a des gains à faire. Mais, si vous décidez de remplacer les scores manquants par la moyenne obtenue par l’échantillon au complet ou par un sous-groupe à une variable, vous resserrez l’écart entre les scores : la variance est ainsi réduite à cause de cette régression vers la moyenne. Il est préférable de remplacer des scores manquants à l’intérieur d’un sous-groupe plutôt que dans un échantillon au complet. En combinant diverses variables, vous remplacerez les scores pour le sous-groupe des filles âgées de 20 à 30 ans et qui habitent la région du Nord, par exemple. Cette procédure peut devenir exténuante à appliquer mais plus sûre qu’une application à l’aveuglette. Il y a là un effort de respecter la spécificité des individus et de conserver la variabilité inhérente produite par la combinaison de diverses variables. En fait,


une technique à de régression permet d’accomplir ce travail plus aisément. Encore là, ce sont des scores fictifs générés à partir des scores existants ; l’effet de régression à la moyenne persiste. En cherchant une explication plausible aux valeurs manquantes, une solution plausible surgit la plupart du temps. Lorsque 40 % des individus ont omis de répondre à une question, il est nécessaire de savoir pourquoi. Avant de remplacer ces scores manquants, même par une procédure statistique sophistiquée et ingénieuse, il n’est pas certain que ce remplacement de valeurs ne produise pas un biais décevant dans les résultats.

17. Conclusion Helberg (1995) résume ainsi trois catégories de pièges dont il faut se méfier en recherche: We can consider three broad classes of statistical pitfalls. The first involves sources of bias. These are conditions or circumstances which affect the external validity of statistical results. The second category is errors in methodology, which can lead to inaccurate or invalid results. The third class of problems concerns interpretation of results, or how statistical results are applied (or misapplied) to real world issues. Le présent document n’a pas porté uniquement sur les pièges à éviter lors de l’interprétation de résultats obtenus à la suite d’une recherche quantitative. J’ai choisi d’attirer votre attention sur certains pièges qui peuvent affecter l’interprétation des résultats d’une recherche, qu’ils soient d’ordre conceptuel, méthodologique, statistique ou interprétatif. Il en existe bien d’autres. Plusieurs auteurs ont choisi de les approfondir et je vous recommande de lire leurs écrits à ce sujet. Lorsque des analyses statistiques sont exécutées sur un nombre réduit de sujets, que l’échantillon ait été formé selon les règles ou non, les résultats peuvent varier selon quelques caractéristiques du groupe. Des résultats statistiquement significatifs peuvent être pratiquement non significatifs, même lorsque l’échantillon est important. À cause de la nature des tables de probabilité, une légère différence ou une faible relation entre deux variables peuvent être déclarées statistiquement significatives. Cependant, un simple calcul de la variance partagée entre les deux démontre que ce lien a peu de signification concrète. Jusqu’à présent, la tradition a voulu que l’interprétation des résultats soit conditionnée par les tables de probabilité. Elles conservent leur utilité, mais le


concept de variance expliquée ajoute une information indispensable lors de l’interprétation des résultats. Un résultat statistique n’a pas de valeur en soi, à moins qu’il s’inscrive dans un cadre conceptuel défini. La valeur réelle d’un résultat statistique dépend beaucoup de son contexte. On réalise qu’il existe une différence entre un résultat précis et un résultat valide : un résultat n’est pas valide parce qu’il est précis ou parce qu’il est représenté par des chiffres. L’interprétation de résultats quantitatifs dépend de la subjectivité du chercheur. L’approche quantitative, par contre, offre diverses méthodes et stratégies pour que les résultats comme tels soient davantage valides, nonobstant l’interprétation du chercheur. Encore faut-il faire une application judicieuse de la méthodologie et des tests statistiques. Trop souvent, les chercheurs ne retiennent que les résultats favorisant leurs hypothèses, même si ces résultats sont parfois mitigés. Confirmer ou infirmer une hypothèse requiert que les effets prévus soient fermes et répandus à l’ensemble des résultats. Les limites de confiance pourraient parfois inclure des résultats statistiquement significatifs, surtout lorsque l’erreur d’échantillonnage est importante, une situation qui risque de se produire lorsque l’échantillon est restreint. Plusieurs auteurs et statisticiens nous invitent à bien examiner la distribution de chacune des variables. En général, lorsque qu’une forte proportion de scores est concentrée sur une section particulière de l’échelle de mesure, on doit prendre des dispositions pour corriger cette distribution, sinon ses effets vont affecter les tests statistiques et, par ricochet, les résultats. Il ne suffit pas d’avertir les lecteurs de ces déformations et de procéder à des analyses statistiques sans apporter les corrections nécessaires. Parfois, certains choix doivent être faits afin de contourner des difficultés. Par exemple, on utilise un instrument validé pour mesurer un concept. Pour diverses raisons, les résultats obtenus avec notre échantillon ne concordent pas avec ceux obtenus lors de la validation de l’instrument. Quelle que soit l’alternative envisagée, les résultats vont en subir le contrecoup. Cependant, lorsqu’on comprend la signification d’une validation, en quoi elle consiste, le chercheur peut continuer ses travaux de recherche et interpréter ses résultats en fonction de la décision qu’il aura prise à ce sujet. Un instrument validé ne l’est pas partout et pour toujours : il reflète le profil d’un échantillon particulier. Lorsqu’on l’applique à un autre groupe, on décèle parfois d’importances différences. Malgré tout, il existe bien des instruments qu’on a rodés au point de conserver une surprenante stabilité à travers les échantillons.


Le sens que le chercheur donne à ses résultats doit s’appuyer sur l’ensemble des résultats obtenus. Pour en arriver à une vision globale des résultats, il me semble évident que cet objectif est plus aisément réalisé si des tests statistiques englobants sont utilisés et non une collection de tests sur des parties séparées des données. En fait, les analyses univariées nous apprennent certaines choses concernant les données, tandis que les analyses multivariées nous apprennent d’autres choses.


18. Sources

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education (1999). Standards for educational and psychological testing (revised edition). Washington: American Educational Research Association. Cohen, J. (1968). Multiple regression as a general data-analytic system. Psychological Bulletin, 70, 426-443. Cohen, J. (1983). The cost of dichotomization. Applied Psychological Measurement, 7, 249-253. Cohen, Jacob (1990). Things I have learned (so far). American Psychologist, 45, 1304-12. Daniel, L. G. (1998a) Statistical significance testing: A historical overview of misuse and misinterpretation with implications for editorial policies of educational journals. Research in the Schools, 5, 23-32. Helberg, Clay (1995). Pitfalls of data analysis (or how to avoid lies and damned lies). Paper presented at The Third International Applied Statistics in Industry Conference in Dallas, TX. [En ligne]. Disponible. http://my.execpc.com/~helberg/pitfalls/ Henson, R. K. (2000). Demystifying parametric analyses: Illustrating canonical correlation as the multivariate general linear model. Multiple Linear Regression Viewpoints, 26, 11-19. Hopkins, Will, G. (2000). Quantitative research design. [En ligne]. Disponible. http://www.sportsci.org/jour/0001/wghdesign.html Keselman, H. J. et al. (1998). Statistical practices of educational researchers: An analysis of their ANOVA, MANOVA, and ANCOVA analyses. Review of Educational Research, 68, 350-386. Knapp, T. R. (1978). Canonical correlation analysis: A general parametric significance testing system. Psychological Bulletin, 85, 410-416. Kritzer, Herbert M. (1996). The data puzzle: The nature of interpretation in quantitative research. American Journal of Political Science, 40, February, 1-32. Neilsen, Jacob (2004). Risks of quantitative studies. [En ligne]. Disponible. http://www.useit.com/alertbox/20040301.html Onwuegbuzie, A. J. & Daniel, L. G. (2003). Typology of analytical and interpretational errors in quantitative and qualitative educational research. Current Issues in Education. [En ligne]. Disponible. http://cie.ed.asu.edu/volume6/number2/ Roberts, J. K. & Henson, R. K. (2002). Correction for bias in estimating effect sizes. Educational and Psychological Measurement, 62, 241-253.


Tabachnick, B. G. & Fidell, L. S. (1989). Using multivariate Statistics. 2nd Edition. Harper & Row, Publishers, New York. Thompson, B. (1998a, April). Five methodological errors in educational research: The pantheon of statistical significance and other faux pas. Paper presented at the annual meeting of the American Educational Research Association, San Diego, CA. Thompson, B. & Vacha-Haase, T. (2000). Psychometrics is datametrics: The test is not reliable. Educational and Psychological Measurement, 60, 174-195.

Documents

L’interprétation des résultats de recherche dans le …web.umoncton.ca/umcm-longd02/TheorixDownload/inter1.pdfdo interpretation. » (Herbert M. Kritzer, 1996) 1. Introduction S’il