60
La méta-analyse Méthodes et applications en sciences sociales Sous la direction de Patrice LAROCHE MANAGEMENT

Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

  • Upload
    others

  • View
    5

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyseMéthodes et applications

en sciences sociales

Sous la direction de Patrice LAROCHE

M A N A G E M E N T

Page 2: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple
Page 3: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyse

Page 4: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La collection Méthodes & Recherches poursuit un double objectif :• présenter en langue française des états de l’art complets sur des thèmes de recherches

contemporains mais également pratiques, d’intérêt et de niveau international.• réunir des auteurs et des lecteurs de divers champs disciplinaires (économistes, gestion-

naires, psychologues et sociologues…) et les aider à communiquer entre eux.

Rico Baldegger, avec la collaboration de Marilyne Pasquier, Le management dans un envi-ronnement dynamique. Concepts, méthodes et outils pour une approche systémique

Christophe Assens, Le management des réseaux. Tisser du lien social pour le bien-être éco-nomique

Rémi Barré, Bastiaan de Laat, Jacques Theys (sous la direction de), Management de la recherche. Enjeux et perspectives

Nicole Barthe, Jean-Jacques Rosé (sous la direction de), RSE. Entre globalisation et déve-loppement durable

Emmanuel Bayle, Jean-Claude Dupuis (sous la direction de), Management des entreprises de l’économie sociale et solidaire. Identités plurielles et spécificités

Maxime Bellego, Patrick Légeron, Hubert Ribéreau-Gayon (sous la direction de), Les risques psychosociaux au travail. Les difficultés des entreprises à mettre en place des actions de prévention

Soumaya Ben Letaifa, Anne Gratacap, Thierry Isckia (Éd.), Understanding Business Ecosystems. How Firms Succeed in the New World of Convergence?

Michelle Bergadaà, Marine Le Gall-Ely, Bertrand Urien (sous la direction de), Don et pratiques caritatives

Jean-Pierre Bouchez, L’économie du savoir. Construction, enjeux et perspectivesDenis Cristol, Catherine Laizé, Miruna Radu Lefebvre (sous la direction de),

Leadership et management. Être leader, ça s’apprend !Nathalie Delobbe, Olivier Herrbach, Delphine Lacaze, Karim Mignonac

(sous la direction de), Comportement organisationnel - Vol. 1. Contrat psychologique, émotions au travail, socialisation organisationnelle

Xavier Deroy (sous la direction de), Formes de l'agir stratégiqueMichel Dion (sous la direction de), La criminalité financière. Prévention, gouvernance et

influences culturellesJean-Claude Dupuis, Économie et comptabilité de l’immatérielAssâad El Akremi, Sylvie Guerrero, Jean-Pierre Neveu (sous la direction de), Comportement

organisationnel - Vol. 2. Justice organisationnelle, enjeux de carrière et épuisement professionnel

Alain Finet (sous la direction de), Gouvernance d’entreprise. Nouveaux défis financiers et non financiers

Anne Gratacap, Alice Le Flanchec (sous la direction de), La confiance en gestion. Un regard pluridisciplinaire

Denis Guiot, Bertrand Urien (sous la direction de), Comprendre le consommateur âgé. Nouveaux enjeux et perspectives

Thomas Lagoarde-Segot, La finance solidaire. Un humanisme économiquePatrice Laroche (sous la direction de), La méta-analyse. Méthodes et applications en

sciences socialesAlain Maes, Le management intégrateur. Fondements, méthodes et applicationsDenis Monneuse, Le surprésentéisme. Travailler malgré la maladieJean-Jacques Rosé (sous la direction de), Responsabilité sociale de l'entreprise.

Pour un nouveau contrat socialJacques Rojot, Patrice Roussel, Christian Vandenberghe (sous la direction de),

Comportement organisationnel - Vol. 3. Théories des organisations, motivation au travail, engagement organisationnel

Patrice Roussel, Frédéric Wacheux (sous la direction de), Management des ressources humaines. Méthodes de recherche en sciences humaines et sociales

Sylvie Saint-Onge, Victor Haines (sous la direction de), Gestion des performances au travail. Bilan des connaissances

Laurent Taskin et Matthieu de Nanteuil (sous la direction de), Perspectives critiques en management. Pour une gestion citoyenne

Sylvie Trosa, La crise du management public. Comment conduire le changement ?Bénédicte Vidaillet, Véronique d'Estaintot, Philippe Abecassis (sous la direction de),

La décision. Une approche pluridisciplinaire des processus de choixSaïd Yami, Frédéric Le Roy (sous la direction de), Stratégies de coopétition. Rivaliser

et coopérer simultanément

Page 5: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Sous la direction de Patrice LAROCHE

La méta-analyseMéthodes et applications

en sciences sociales

Page 6: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

© De Boeck Supérieur s.a., 2015 1re édition Fond Jean Pâques, 4 – 1348 Louvain-la-Neuve

Tous droits réservés pour tous pays. Il est interdit, sauf accord préalable et écrit de l’éditeur, de reproduire (notamment

par photocopie) partiellement ou totalement le présent ouvrage, de le stocker dans une banque de données ou de le communiquer au public, sous quelque forme et de quelque manière que ce soit.

Imprimé en Belgique

Dépôt légal : Bibliothèque nationale, Paris : janvier 2015 ISSN 1781-4944

Bibliothèque royale de Belgique, Bruxelles : 2015/0074/021 ISBN 978-2-8041-9009-5

Pour toute information sur notre fonds et les nouveautés dans votre domaine de spécialisation, consultez notre site web : www.deboeck.com

Page 7: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Sommaire

IntroductIon................................................................................................... 7

Partie 1 théories et méthodologies

ChaPitre 1IntroductIon à la méthodologIe méta- analytIque................................................. 17

ChaPitre 2la recherche des varIables modératrIces à l’aIde de la méta- analyse...................... . 59

ChaPitre 3la méta- analyse de régressIon : proprIétés et utIlIsatIon........................................ 77

ChaPitre 4l’exploratIon du bIaIs de publIcatIon : une descrIptIon des technIques exIstantes........ . 89

Partie 2 aPPliCations en sCienCes humaines et soCiales

ChaPitre 5la méta- analyse en scIences de gestIon : deux cas IllustratIfs en management...... 119

ChaPitre 6une analyse systématIque du bIaIs de sélectIon sur le test de feldsteIn et horIoka....... . 135

ChaPitre 7la méta- analyse en psychologIe organIsatIonnelle de la santé : défInItIon et IllustratIon...................................................................................... 169

Page 8: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyse6

ChaPitre 8l’Impact du contact tactIle sur l’acceptatIon d’une requête : une  IllustratIon de l’Intérêt de la méta- analyse en scIences du comportement....... 191

ConClusionapports et lImItes de la méta- analyse.................................................................... 209

présentatIon des auteurs..................................................................................... 213

table des matIères................................................................................................ 217

Page 9: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

“Scientists have known for centuries that a single study will not resolve a major issue. Indeed, a small sample study will not even resolve minor issue. Thus, the foundation

of science is the cumulation of knowledge from the results of many studies.”

Hunter, Schmidt et Jackson, 1982, p. 10

Tout projet scientifique est entrepris en réponse à une synthèse de la connais-sance afin d’identifier les aspects d’un sujet qui exigent davantage de recherche. La revue de la littérature vise à démontrer l’intérêt d’un sujet d’étude en révélant les lacunes des recherches scientifiques existantes. De nos jours, le nombre de publi-cations académiques est tel qu’il devient de plus en plus difficile de mener une évaluation critique de l’ensemble des études portant sur une question précise de recherche. Or, la revue de la littérature doit être la plus exhaustive possible afin de situer son travail par rapport à l’ensemble des études menées antérieurement. La revue de la littérature est donc une étape essentielle de la démarche scientifique et peut prendre plusieurs formes allant de la revue narrative traditionnelle – consistant à synthétiser la littérature en étant sélectif dans le choix des études existantes – aux revues systématiques de la littérature beaucoup plus exhaustives et rigoureuses sur les critères de sélection des études. L’objectif de cet ouvrage est de présenter une approche méthodologique –  la méta- analyse  – qui s’inscrit dans la catégorie des outils de revue systématique de la littérature. La méta- analyse est plus pré-cisément une approche statistique qui a pour but de rassembler les résultats empi-riques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta- analyse va bien au- delà de la simple analyse exhaustive et comparative et de la « méthode des votes »1 en proposant un cadre plus formel et rigoureux (Shelby et Vaske, 2008). Il s’agit d’une démarche exigeante consistant à faire la synthèse des résultats de différentes études au moyen de méthodes statistiques appropriées.

* ESCP Europe et ISAM-IAE Nancy.1 La méthode des votes (“vote counting”) consiste simplement à classer les études existantes selon les résultats obtenus (cf. chapitre 1 pour une description plus détaillée de la méthode).

IntroductionPatrice Laroche*

Page 10: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyse8

Renouvelant les méthodes de synthèse de la littérature, la méta- analyse présente l’avantage de réduire au minimum les éléments arbitraires des revues narratives tra-ditionnelles en proposant une méthodologie reproductible.

L’utilisation des méta- analyses a sensiblement augmenté ces trente dernières années en sciences sociales, témoignant ainsi de l’intérêt grandissant que suscite cette méthodologie dans les milieux scientifiques. Si le développement des procédures méta- analytiques a connu un rythme soutenu depuis le milieu des années soixante- dix, leur principe même apparaît dès le début du vingtième siècle, notamment avec les tra-vaux de Karl Pearson en 1904 sur la combinaison de données provenant de différentes études portant sur l’immunité et la mortalité des soldats de l’Empire britannique1.

Dans les années trente, les méta- analyses commencent à être appliquées dans quelques champs scientifiques, en premier lieu grâce aux travaux des expérimentalistes agricoles comme Yates et Cochran (1938), Cochran (1937), Fisher (1932), Tippett (1931), souvent considérés comme les instigateurs de la méta- analyse. À cette époque, on relève également quelques premières applications isolées en psychologie (Peters, 1933) et en physique (Birge, 1932). En 1954, Cochran a prolongé ces travaux en s’intéressant à la problématique de la combinaison des résultats de plusieurs expériences indépendantes. Plus généralement, les années quarante et cinquante s’inscrivent dans la continuité de ces premières réflexions, mais c’est véritablement à la fin des années soixante, alors que la recherche en sciences humaines et sociales connaît un réel essor, que les pro-cédures méta- analytiques trouvent des terrains d’application plus variés et plus nom-breux. La possibilité de synthétiser un ensemble de résultats empiriques, notamment lorsqu’ils sont contradictoires, explique cet engouement croissant pour la méta- analyse. Le principe général de la méta- analyse repose en effet sur l’hypothèse que l’incidence d’une variable sur une autre est une constante et, par conséquent, que chaque étude mesure cette même constante. Dès lors, les différences de résultats observées par les études individuelles ne devraient résulter que de fluctuations aléatoires (c’est- à- dire de fluctuations liées à l’erreur de mesure et à l’erreur d’échantillonnage). Les travaux fon-damentaux de Cohen (1962), Dubin et Taveggia (1968), Light et Smith (1971) ont lar-gement contribué à cette période au développement rapide des méta- analyses dans des domaines comme l’épidémiologie, la médecine en général, la biologie et la psychologie.

Les travaux de Gene Glass restent une référence pour les spécialistes. Il est le premier à utiliser et définir explicitement le terme de méta- analyse comme « l’analyse statistique d’un grand nombre de résultats d’analyse provenant d’études indépendantes qui vise à intégrer ces résultats et conclusions » (Glass, 1976). Il est également le premier à souligner les problèmes de mesure de la taille de l’effet2 à partir de statistiques dif-férentes. Rosenthal (1976 et s.) a également joué un rôle important dans le dévelop-pement de ces méthodes dès le milieu des années soixante- dix. Son ouvrage de 1984, réédité plusieurs fois, présente une revue très complète des méthodes méta- analytiques

1 Certains documents renvoient même à un ouvrage publié à l’usage des astronomes en 1861 par la British Astronomer Royal, qui développe les travaux statistiques de Gauss et Laplace, au fonde-ment des techniques statistiques aujourd’hui utilisées dans les méta- analyses (Airy G.B., “On the Algebrical and Numerical Theory of error of Observations and the Combination of Observations”, Lon-don: MacMillan, 1861).2 La mesure de l’intensité de la relation entre deux variables d’intérêt est appelée indifféremment « grandeur d’effet », « taille de l’effet » ou « importance de l’effet » (“effect size” pour les anglo- saxons).

Page 11: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction 9

pour la recherche en sciences sociales. Notons à ce stade que la méta- analyse n’est ni un outil, ni une méthode précise, mais bien un mode d’approche (une procédure) pour syn-thétiser, de manière intégrée et quantitative, un certain nombre d’études empiriques. Ce mode d’approche fait alors appel à plusieurs techniques, outils et méthodes statistiques.

L’utilisation des méta- analyses a sensiblement augmenté dans les années quatre- vingt- dix en sciences sociales, en médecine et en sciences de l’éducation. À travers une interrogation de bases de données spécialisées en psychologie et en médecine, on peut dénombrer près de 250 et 600 articles respectivement dans Psy-Clit et Medline en 1995, alors qu’il y en avait moins de dix vingt ans plus tôt1. Sur une période plus récente, Streiner (2003) relève 1 251 articles dans Medline en 2001, contre les 609 référencés en 1996. Dans le domaine de l’éducation, une exploration de la base de données ERIC (Educational Resource Information Center) met en évidence plus de 800 références discutant ou utilisant les méta- analyses dans ce domaine entre 1980 et 1990. Même le célèbre New York Times souligne dans ses colonnes le nombre de méta- analyses réalisées en médecine qui dépasse les deux milliers… Cucherat et al. (1997) estiment à 400 le nombre annuel de publications nouvelles depuis 1992 utilisant des méta- analyses dans le domaine de la médecine et de la santé publique2.

La médecine –  et, en son sein, certains domaines en particulier, comme les maladies cardiovasculaires, les soins périnataux et l’oncologie – apparaît ainsi comme le terrain d’application par excellence des méta- analyses. La dimension fondamentale-ment expérimentale de ces études, d’une part, et l’enjeu que représentent leurs conclu-sions pour les praticiens de la santé, d’autre part, expliquent sans doute cet état de fait. Il est intéressant de noter que cette popularité de la démarche en médecine s’est même concrétisée dans les années quatre- vingt- dix par la création d’une fondation, la Cochrane Collaboration3, du nom de l’épidémiologiste Archie Cochrane : cette fonda-tion fonctionne sous la forme d’un réseau international des professionnels de la santé qui préparent et mettent régulièrement à jour des revues d’études cliniques (“Cochrane Reviews”). Ces actions militent en faveur de soins de santé fondés sur des « preuves ». Un numéro spécial de l’International Journal of Epidemiology a été consacré en 2002 à ces démarches. Comme le soulignent Cucherat et al. (1997, p. 1) : « La somme des connaissances sur lesquelles doivent se baser maintenant les décisions médicales, et en particulier les choix thérapeutiques, croît sans cesse. Les médecins ont de plus en plus besoin de données synthétiques qui intègrent efficacement l’ensemble des informations existantes pour assurer une base rationnelle à leur décision ». Ces propos ne peuvent que stimuler la réflexion sur l’utilisation des méta- analyses en sciences sociales, tant la complexité des informations et des connaissances, et les enjeux des décisions dans le domaine de la psychologie, de la sociologie et de l’économie, sont importants et similaires dans leur nature à ceux du domaine de la médecine. De nombreux cher-cheurs en sciences sociales se sont donc intéressés aux procédures méta- analytiques pour intégrer efficacement les résultats de la recherche. En fait, la méta- analyse s’est largement développée au cours de ces trente dernières années en sciences sociales,

1 Document du SAS Institute, “Interpreting Results through Meta- Analytic Review Using SAS Software”, disponible sur http://support.sas.com/publishing/pubcat/chaps/55810.pdf2 On visitera avec intérêt les pages réalisées par Michel Cucherat sur le site de l’Université de Lyon 1 et consacrées aux procédures méta- analytiques appliquées aux essais thérapeutiques.3 Voir le site très complet de cette fondation sur http://www.cochrane.org/admin/index.htm

Page 12: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyse10

comme en témoigne l’évolution du nombre de publications dans des revues à comité de lecture (cf. figure 1) et les disciplines concernées par ces travaux (cf. tableau 1).

0

100

200

300

400

500

600

700

800

19

82

19

83

19

84

19

85

19

86

19

87

19

88

19

89

19

90

19

91

19

92

19

93

19

94

19

95

19

96

19

97

19

98

19

99

20

00

20

01

20

02

20

03

20

04

20

05

20

06

20

07

20

08

20

09

20

10

20

11

20

12

20

13

Ebsco (1982-2013)

EconLit (1982-2013)

ISI Web of Science (Sciences sociales, 1991-2013)

Année de publication

No

mb

re

d

e m

éta

-a

na

ly

se

s p

ub

lié

es

Figure 1 — Publications de méta- analyses dans des revues académiques répertoriées dans Business Source Complete (Ebsco, EconLit) et l’ISI Web of Science1

S/discipline Nombre d’études

S/discipline Nombre d’études

Psychologie 4 755 Systèmes d’information 165

Sciences de gestion 1 325 Droit 123

Économie 695 Mathématiques appliquées aux sciences sociales

121

Sciences de l’éducation 669 Sociologie 86

Sciences sociales (autres) 355 Linguistique 85

Sciences de l’information et de la communication

279 Anthropologie 66

Sciences du comportement 215 Géographie 54

Tableau 1 — Nombre de méta- analyses publiées en sciences sociales entre 1991 et 2013 par sous- discipline (ISI Web of Science – Articles,

Proceedings papers, book chapters)

1 Le recensement des méta- analyses a été réalisé sur la base de données Ebsco (Business Source Complete & EconLit) à partir des critères de recherche suivants : présence du mot « méta- analyse » dans le titre ou dans le résumé de l’article, publication dans une revue académique (en sciences sociales) internationale (en toutes langues) et à comité de lecture.

Page 13: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction 11

Une recherche bibliographique sur la base de données Ebsco entre 1982 et 2013 permet d’identifier 3 929 références utilisant ou discutant les procédures méta- analytiques en sciences sociales (plus particulièrement en psychologie du travail, économie et gestion). Parmi ces références, on peut identifier celles qui sont de nature méthodologique, sans application empirique, celles qui sont une application empirique en sciences sociales sur des sujets qui sortent du champ de l’économie et de la gestion (psychologie, sociologie, etc.) ou sur des sujets qui entrent dans le champ de l’économie et de la gestion. L’analyse de ces publications appelle plu-sieurs remarques et commentaires :

– Le nombre total d’articles parus chaque année avec pour mot clé « méta- analyse » est en constante progression depuis trente ans, atteignant plus de 350 articles pour la seule année 2013, se répartissant entre les articles méthodologiques (une dizaine en 2013), les études empiriques hors gestion (80 en 2013) et en ges-tion (plus de 200 en 2013 !).

– Une lecture plus fine du contenu et des supports de publication de ces articles permet de confirmer la place prépondérante des études renvoyant, de près ou de loin, au domaine de la psychologie : les revues Journal of Applied Psychology, Psy-chological Bulletin, Personnel Psychology, Journal of Applied Behavioral Science, Jour-nal of Counselling Psychology sont de loin les plus représentées parmi les 3 929 articles recensés.

– Au sein des sciences de gestion, les domaines les plus représentés sont à la fois le marketing, la stratégie et les ressources humaines au sens large. Quelques études en systèmes d’information ont également utilisé des procédures méta- analytiques. Assez paradoxalement, peu d’articles ayant recours à ces démarches sont parus dans le domaine de la finance.

– Les réflexions sur les méthodes elles- mêmes restent d’ailleurs encore aujourd’hui plus le fait de statisticiens ou de spécialistes de psychologie. Quelques articles parus dans des revues de marketing posent les enjeux et les utilités des méta- analyses pour la recherche dans ce domaine (Franke, 2001 ; Farley et Leh-mann, 2001 ; Laroche et Schmidt, 2004 ; Laroche et Soulez, 2012). Un article (Eden, 2002) s’interroge plus largement sur l’intérêt des méta- analyses pour le progrès des connaissances en management, et ce, au regard de la politique éditoriale de la pres-tigieuse revue Academy of Management Journal.

Parallèlement à l’utilisation croissante de la méta- analyse dans les travaux de recherche en sciences sociales, la méta- analyse a fait l’objet de nombreux manuels dans les pays anglo- saxons (plus d’une cinquantaine aux États- Unis), alors qu’au-cun ouvrage sur ce sujet n’a été publié en langue française, à l’exception de celui de Michel Cucherat destiné exclusivement aux sciences médicales.

Dès lors, l’originalité de cet ouvrage collectif est de proposer le premier ouvrage en langue française, consacré spécifiquement à la méta- analyse en sciences sociales, avec pour objectif d’apporter à la fois une réflexion interdisciplinaire sur la méta- analyse et une série d’applications permettant d’illustrer les apports de cette méthodologie aux sciences économiques et sociales.

L’ouvrage s’organise en deux parties  : une première destinée à présenter de manière didactique les méthodes de méta- analyse et à faire le point sur les princi-paux développements théoriques et méthodologiques les concernant ; une seconde

Page 14: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyse12

chargée de présenter plusieurs applications de la méta- analyse dans le champ des sciences sociales (notamment en psychologie, économie et gestion).

La première partie est composée de quatre contributions qui exposent l’état de la réflexion théorique et méthodologique sur la méta- analyse. La première contri-bution, de Patrice Laroche, présente la méthodologie méta- analytique. L’auteur pro-pose de développer en détail les procédures et outils existants, en soulignant les enjeux et les débats qui caractérisent les choix techniques dans la mise en œuvre de la méta- analyse. La deuxième contribution, celle d’Herman Aguinis et Charles A.  Pierce, présente plus particulièrement la procédure de Hedges et Olkin (1985) et son importance dans la recherche des sources d’hétérogénéité entre les études. La troisième contribution, de T.D. Stanley et Stephen J.  Jarrell, porte plus spéci-fiquement sur la méta- analyse de régression ou méta- régression. Cette technique statistique avancée permet d’identifier les sources de variation entre les résultats des études empiriques. Enfin, la dernière contribution de cette première partie, de Patrice Laroche et Chris Doucouliagos, porte sur la détection du biais de publica-tion dans la méta- analyse. Elle propose une description des différents outils sta-tistiques qui ont pour but d’identifier un type de biais que le méta- analyste doit prendre sérieusement en considération.

La seconde partie de l’ouvrage présente plusieurs méta- analyses réalisées dans des domaines aussi variés que les sciences de gestion, l’économie, et la psycholo-gie. Elle comprend quatre contributions également. La première d’entre elles, dont les coauteurs sont Christophe Revelli et Patrice Laroche, a pour objectif d’illustrer les principales étapes de la méta- analyse à partir de données issues de deux méta- analyses publiées en sciences de gestion. La deuxième contribution, de Yannick Bineau, présente les résultats d’une méta- analyse en macroéconomie. Plus précisé-ment, l’auteur examine l’influence du biais de publication dans la littérature consa-crée au lien entre les taux d’épargne et d’investissement d’un groupe de pays et son degré d’intégration financière (et en profite pour revisiter le fameux paradoxe de Feldstein et Horioka, 1980). Les deux auteurs de la troisième contribution, les psychologues Marcel Lourel et Nicolas Guéguen, ont quant à eux mené une méta- analyse qui s’inscrit dans le champ de la psychologie sociale. Cette étude porte sur les liens entre les habilités verbales et la délinquance chez les garçons. Enfin, Nico-las Guéguen, Marcel Lourel et Robert- Vincent Joule présentent une illustration du rôle et de l’apport de la méta- analyse aux sciences cognitives à travers une syn-thèse des recherches sur l’impact du contact tactile sur l’acceptation d’une requête.

BiBliographie

Birge, R.T. (1932). The calculation of error by the method of least squares. Physical Review, 40, 207-227.

Cochran, W.G. (1937). Problems ariser in the analysis of a series of similar experi-ments. Journal of the Royal Statistical Society, 4, 102-118.

Cochran, W.G. (1954). The combination of estimates from different experiments. Bio-metrics, 10, 101-129.

Cohen, J. (1962). The statistical power of abnormal- social psychological research: a review. Journal of Abnormal and Social Psychology, 65(3), 145-153.

Page 15: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction 13

Cucherat M. (1997). Méta- analyse des essais thérapeutiques, Paris : Masson.Cucherat M., J.P. Boissel, A. Leizorovicz & M. C. Haugh (1997). EasyMA: a program for

the meta- analysis of clinical trials. Comput Methods Programs Biomed 53: 3, 187-190.Dubin, R. & Taveggia, T.C. (1968). The teaching- learning paradox: a comparative

analysis of college teaching methods. Center for the Advanced Study of Educational Administration, University of Oregon.

Eden, D. (2002). “Replication, meta- analysis, scientific progress, and AMJ’s publica-tion policy“, Academy of Management Journal, 45 (5), 841.

Farley, J. U., & Lehmann, D. R. (2001). The important role of meta- analysis in inter-national research in marketing. International Marketing Review, 18(1), 70-79.

Fisher, R.A. (1932). Statistical methods for research workers, Oliver and Boyd, London.Franke, G.R. (2001), ”Applications of meta- analysis for marketing and public policy:

a review“, Journal of Public Policy and Marketing, vol. 20, n° 2, Fall, pp. 186-200.Glass, G.  V. (1976). Primary, secondary, and meta- analysis of research. Educational

Researcher, 3-8.Hunter, J.E., Schmidt, FL. & Jackson, G.B. (1982). Meta- Analysis: Cumulating Research

findings across studies. Beverly Hills, CA: Sage.Laroche, P., & Soulez, S. (2012). La méthodologie de la méta- analyse en marketing.

Recherche et Applications en Marketing, 27(1), 79-105.Laroche, P. & Schmidt, G. (2004). La méta- analyse en sciences de gestion : utilités,

utilisations et débats. Academy of Management, Research Methods Division, Cros-sing Frontiers in Quantitative and Qualitative Research Methods, ISEOR, Lyon, France.

Leizorovicz, A., & Boissel, J.P. (1983). Oral anticoagulant in patients surviving myo-cardial infarction: a new approach to old data. European Journal of Clinical Phar-macology, 24(3), 333-336.

Light, R.J. & Smith, P.V. (1971). Accumulating evidence: procedures for resolving contradictions among different research studies. Harvard Educational Review, 41, 429-471.

Pearson K. (1904). « Report on certain enteric fever inoculation statistics », British Medical Journal, 3, pp. 1243-1246.

Peters, C.C. (1933). Summary of the penn state experiments on the influence on ins-truction in character education. Journal of Educational Psychology, 7, 269-272.

Rosenthal, R. (1976). Experimental effects in behavioral research. Irvington, New York.Rosenthal, R. (1978). Combining results of independent studies. Psychological Bulle-

tin, 65, 185-193.Rosenthal, R. (1979). The ”file drawer“ problem and tolerance for null results. Psycho-

logical Bulletin, 86, 638-641.Rosenthal, R. (1984). Meta- analytic procedures for social research. Beverly Hills, Sage

Publications.Shelby, L.  B. & Vaske, J. J. (2008). Understanding meta- analysis: A review of the

methodological literature. Leisure Sciences, 30(2), 96-110.Streiner, D.L. (2003). Meta- analysis: a 12- step program. eGambling, 9(1), 23 pages.Tippett, L. H. C. (1931). The methods of statistics. The methods of statistics.Wilkinson, B. (1951). A statistical consideration in psychological research. Psycholo-

gical Bulletin, 48(2), 156.Yates F. & Cochran W.G. (1938), “The analysis of groups experiments”, Journal of Agri-

cultural Science, 28, pp. 556-580.

Page 16: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple
Page 17: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

SommaIre

Chapitre 1 Introduction à la méthodologie méta- analytique 17

Chapitre 2 La recherche des variables modératrices à l’aide de la méta- analyse 59

Chapitre 3 La méta- analyse de régression : propriétés et utilisation 77

Chapitre 4 L’exploration du biais de publication : Une description des techniques existantes 89

PARTIE 1

Théories et méthodologies

Page 18: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple
Page 19: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique

Patrice Laroche*

Chapitre 1

Sommaire

1. La préparation de la méta- analyse 20

2. Le codage des études individuelles 24

3. Le choix et la combinaison des tailles de l’effet 26

4. La recherche des sources d’hétérogénéité des grandeurs d’effet 41

5. La présentation et l’interprétation des résultats 46

6. La rédaction du rapport final 48

7. Les logiciels de méta- analyse 52

8. Conclusion 54

* ESCP Europe et ISAM-IAE Nancy.

Page 20: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies18

Ce premier chapitre a pour but de présenter la méta- analyse en revenant plus particulièrement sur les grands principes et les différentes étapes de cette méthode de synthèse de la littérature. La méta- analyse est « un terme générique désignant un certain nombre de méthodes d’analyse statistique des résumés quanti-tatifs d’études antérieures d’un même domaine » (Muller, 1988). Par conséquent, la méta- analyse s’inscrit parmi les méthodes de synthèse des résultats d’études empi-riques à la disposition du chercheur (Card, 2012, pp. 5-7). On retrouve parmi ces méthodes, la méthode des votes (« vote- counting » ou « box score ») et la combi-naison des degrés de signification. La méthode des votes, introduite par Light et Smith (1971), consiste simplement à classer en trois catégories les études exis-tantes : les études qui présentent un effet positif statistiquement significatif, celles qui affichent un effet négatif statistiquement significatif et celles qui indiquent l’absence d’effet significatif. La catégorie qui contient la majorité des études est alors considérée comme représentative de ce qu’est réellement la nature de l’ef-fet entre les deux variables d’intérêt. La combinaison des degrés de significativité, comme son nom l’indique, consiste à combiner entre eux les degrés de signification (valeur de p) des résultats issus d’études singulières et de tester l’hypothèse nulle globale selon laquelle il n’existe aucun lien entre deux variables d’intérêt. Par rap-port à ces deux méthodes, la méta- analyse se fonde sur les effets eux- mêmes en faisant l’hypothèse que la valeur réelle de la grandeur d’effet est une constante. Par ailleurs, la méta- analyse permet de prendre en compte les facteurs de varia-tion de l’effet et offre ainsi une meilleure intégration des résultats quantitatifs des études empiriques.

Encadré 1 : Définitions et principes fondamentaux des procédures méta- analytiques

•  Définitions :

La  taille de l’effet ou grandeur d’effet est une mesure de  l’intensité de  la relation entre deux variables d’intérêt. Les méthodes les plus répandues pour calculer les tailles de l’ef-fet  sont  :  le  coefficient  de  corrélation  de  Pearson,  le d  de Cohen  qui  mesure  la  diffé-rence standardisée entre deux moyennes et  le rapport de cote (odds ratio) qui compare la probabilité d’un événement dans deux groupes. Le choix de l’une ou l’autre méthode dépendra des domaines de recherche et de la nature des données collectées et de leurs traitements statistiques.La  puissance statistique  d’une  étude  mesure  sa  capacité  à  mettre  en  évidence  l’effet d’une variable d’intérêt si cet effet existe. En d’autres termes, la puissance statistique d’un test est son aptitude  (en  termes de probabilité) à obtenir un  résultat statistiquement signi-ficatif  si  l’effet mesuré  est  réel.  La  puissance  est  égale  à 1  –  b,  où  b  est  le  risque  de deuxième  espèce,  celui  de  ne  pas  mettre  en  évidence  un  effet  qui  existe  pourtant.  La puissance  d’un  test  augmente  notamment  avec  la  taille  de  l’échantillon  et  l’importance de l’effet recherché.L’erreur ou la fluctuation d’échantillonnage découle du fait que le chercheur n’observe qu’une partie, au  lieu de  la  totalité de  la population. Ainsi,  toutes  les estimations calcu-lées à partir d’un échantillon sont exposées à l’erreur d’échantillonnage.L’erreur de mesure correspond à l’erreur  faite sur  les mesures qui ont conduit aux résul-tats. Elle dépend de la qualité et de la justesse d’un outil de mesure à donner une valeur proche de la valeur vraie.

Page 21: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 19

•  Principes fondamentaux :

Le principe général de la méta- analyse repose sur  l’hypothèse que  l’importance du lien entre deux variables (ou grandeur d’effet) est une constante et que chaque étude consacrée à ce lien mesure cette constante. Les différences de résultats observées entre les études individuelles ne proviendraient donc que des fluctuations d’échantillonnage. La valeur réelle de la grandeur d’effet reste inconnue, les études existantes ne donnant que des estimations soumises à  l’erreur de mesure et à  l’erreur d’échantillonnage. Par consé-quent, la méta- analyse cherche à obtenir la meilleure estimation possible de la grandeur d’effet commune.La démarche méta- analytique s’appuie alors sur trois grands principes :

 – une recherche exhaustive des études existantes ; – une sélection rigoureuse et argumentée des études ; – une estimation de la taille de l’effet commun.

Il est possible de distinguer deux types de méta- analyse selon le type de don-nées utilisées  : la méta- analyse sur données résumées de la littérature et la méta- analyse sur données individuelles. La méta- analyse sur données résumées consiste à faire la synthèse de résultats d’études publiées et/ou non publiées. La méta- analyse sur données résumées est le type de méta- analyse le plus souvent utilisé pour des rai-sons pratiques et constitue le type de méta- analyse qui sera décrit dans cet ouvrage. La méta- analyse sur données individuelles consiste à faire une synthèse des résultats des études en s’appuyant sur les données primaires utilisées par toutes les études exis-tantes. Il faut donc disposer de toutes les données de chacune des études individuelles et d’en faire une synthèse. La lourdeur de ce travail voire son impossibilité conduit la très large majorité des méta- analystes à mener leurs études sur des données résumées.

La réalisation d’une méta- analyse – à partir de données résumées ou de don-nées individuelles – exige une grande rigueur méthodologique et nécessite de suivre une procédure précise dont les principales étapes sont présentées dans le tableau 1.1.

Étape Question posée Objectif principal

Planification et préparation de la méta- analyse

1. Formuler une question de recherche

Quel est l’objectif de la recherche ?

Définir les variables d’intérêt et préciser la relation étudiée afin d’identifier les études concernées

2. Rechercher les études empiriques existantes

Quelles procédures doivent être utilisées pour trouver les études pertinentes ?

Identifier les sources (bases de données, type de revues…) et mots clés utilisés pour rechercher les études concernées.

3. Évaluer la qualité des études

Quelles études doivent être incluses ou exclues de la synthèse sur la base de leurs caractéristiques ?

Appliquer des critères afin de sélectionner les études. Définir les critères d’inclusion et d’exclusion.

Page 22: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies20

Codage des études sélectionnées

4. Rassembler les informations disponibles dans les études

Quelles informations faut- il rassembler ?

Sélectionner les informations pertinentes et établir une liste des caractéristiques des études que l’on souhaite rassembler.

5. Obtenir une métrique commune

Quelles statistiques utilisées afin d’obtenir une métrique commune ?

Choisir un indicateur quantitatif commun afin de pouvoir combiner ensuite les résultats des études individuelles

Combinaison et comparaison des tailles de l’effet

6. Analyser et intégrer les résultats empiriques des études

Quelles procédures utilisées pour résumer et intégrer les résultats empiriques ?

Identifier et appliquer des procédures pour combiner les résultats et tester les différences entre les résultats des études

Présentation des résultats

7. Interpréter les résultats de la synthèse

Quelles conclusions peut- on tirer des résultats de la méta- analyse ?

Résumer les résultats de la méta- analyse

8. Présenter les méthodes de recherche et les résultats

Quelles informations doivent être présentées dans le rapport de synthèse ?

Identifier et appliquer les règles éditoriales afin de mettre en avant les résultats les plus significatifs

Tableau 1.1 — Les différentes étapes de la méta- analyse

Les éléments à considérer, pour ceux qui veulent entreprendre une méta- analyse ou simplement en interpréter les résultats, sont maintenant développés, à travers une description plus détaillée des différentes étapes.

1. La préparation de la méta- analyse

Cette première phase de la méta- analyse consiste à recenser l’ensemble des études existantes s’intéressant à la même question de recherche afin d’obtenir une base pour les traitements statistiques. Elle nécessite de définir précisément l’objec-tif de la recherche envisagée (1.1.), de faire une recherche exhaustive des études existantes (1.2.) puis d’établir des critères d’exclusion et d’inclusion des études dans la méta- analyse (1.3.).

Page 23: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 21

1.1 la formulation de la question de recherche

L’étape préliminaire à toute méta- analyse consiste à acquérir une bonne com-préhension du problème de recherche et une connaissance des enjeux qui en résul-tent. Cette première étape, commune à tous les travaux scientifiques, va permettre d’identifier un problème et de justifier l’intérêt du recours à la méta- analyse. S’il s’intéresse par exemple au lien entre le prix et la qualité perçue, le méta- analyste devra tout d’abord décider de l’acception de ces deux concepts, de la définition des variables et de la prise en compte ou non d’éventuels effets médiateurs et/ou modé-rateurs (Völckner et Hoffman, 2007). Ces différentes interrogations sont importantes dans la mesure où elles vont permettre au méta- analyste de sélectionner les études et d’identifier le type d’informations nécessaires à la réalisation de la méta- analyse. La question de recherche ne doit pas être formulée de manière trop large, mais au contraire de façon précise afin de rendre plus utiles les résultats qui seront extraits de la méta- analyse (Streiner, 2003). En effet, une fois la question de recherche posée et l’objet de la recherche clairement défini, il sera plus aisé de définir quelle sera la population étudiée et quels critères de sélection seront appliqués (popula-tion, types d’études…) pour choisir les études concernées.

1.2 la recherche des études existantes

L’étape suivante consiste à faire une recherche la plus exhaustive possible des études existantes sur le domaine investigué. Les bases de données bibliographiques informatisées telles qu’ABI Inform/Proquest, Jstor, Ebsco, Science Direct, Emerald, Cairn, Springer Link ou Wiley- Blackwell – pour n’en citer que quelques- unes – offrent la possibilité d’accéder à de nombreux travaux de recherche et sont devenus incon-tournables aujourd’hui dans le domaine scientifique. Elles fournissent un accès direct à de nombreuses revues en sciences sociales et à leurs articles téléchargeables direc-tement sous format PDF. Par ailleurs, d’autres bases telles que Social Science Citation Index (SSCI), EconLit, Doge, Current Contents, Management Contents, Journal of Eco-nomic Literature offrent des accès plus limités (en proposant seulement des résumés des études), mais peuvent constituer un moyen d’identifier des travaux qu’il convien-dra de collecter par la suite. Enfin, une recherche complémentaire peut être effectuée sur les moteurs de recherche Internet tels Google Scholar, Google Books, EconPapers ou SSRN (Social Science Research Network) (Laroche et Soulez, 2012). Une recherche sur les seules bases de données informatisées ne suffit pas à recenser l’ensemble des références bibliographiques et à rendre le corpus exhaustif. Une fois les articles, extraits d’ouvrages et documents sélectionnés, il convient également d’explorer l’en-semble des bibliographies de chaque étude jusqu’à « saturation ». À partir du moment où plus aucune étude non déjà identifiée n’apparaît dans une bibliographie nouvelle et/ou récente, c’est que le niveau de saturation est atteint. Le méta- analyste peut compléter sa recherche manuelle par une exploration des revues de littérature narra-tives ayant déjà identifié au préalable les études empiriques existantes dans le champ de recherche. Il peut également examiner directement les revues académiques consi-dérées comme majeures dans son champ de recherche afin d’identifier les études non publiées ou à paraître. Enfin, il est parfois recommandé de contacter les auteurs iden-tifiés dans les bases de données, mais dont les études ne sont pas téléchargeables sous format électronique ni disponibles sous format papier.

Page 24: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies22

1.3 les critères d’inclusion et d’exclusion des études

Avant de commencer le codage des études, il convient de définir les critères d’inclusion et d’exclusion permettant de retenir une étude dans la méta- analyse. Le choix des études composant le corpus d’observations s’impose comme une des étapes les plus importantes de la méta- analyse. En effet, présenter un ensemble de critères explicites d’inclusion ou d’exclusion des études est essentiel pour au moins trois raisons. Tout d’abord, ces critères vont permettre au méta- analyste d’identi-fier plus facilement les études qu’il pourra retenir dans sa méta- analyse. Ensuite, la présentation de critères explicites facilite l’interprétation des résultats de la méta- analyse. Par exemple, si une méta- analyse exclut toutes les études portant sur des individus âgés de plus de 18 ans alors il ne sera pas possible de tirer de cette méta- analyse des enseignements pour les adultes. Enfin, expliciter les critères de choix des études assure une certaine transparence méthodologique de telle sorte qu’un autre méta- analyste puisse obtenir les mêmes résultats à partir des mêmes études. Cette sélection rigoureuse des études permet de répondre à une critique souvent formulée à l’égard de la méta- analyse, qui est celle du mélange des « pommes et des oranges » (cf. infra).

Les critères à retenir vont dépendre des objectifs de la méta- analyse. Cepen-dant, les méta- analystes fixent souvent les mêmes critères de sélection des études (Lipsey et Wilson, 2001). On retrouve ainsi :

– Les construits/concepts théoriques et les variables retenues. Quelles sont les variables1 clés qui doivent être présentes dans les études ? Il est important de retenir des études qui proposent une définition assez large des variables d’inté-rêt. Ainsi, toutes les études envisageant la même problématique seront regroupées, quelles que soient les définitions retenues des concepts et les mesures utilisées. Une méta- analyse, dont la variable principale est la productivité du travail, pourra exploiter une étude consacrée à la productivité mesurée par le nombre de per-sonnes en emploi (productivité par tête), mais également une étude qui utilise la productivité par nombre d’heures travaillées (productivité horaire apparente du travail) ;

– Les caractéristiques de l’échantillon d’étude. Il est également important de prendre en considération la nature des échantillons sur lesquels portent les dif-férentes études existantes, notamment lorsqu’il s’agit de traiter des études portant sur des populations très différentes (en termes d’âge, de sexe, de groupes ethni-ques, etc.). Quelles sont les caractéristiques de la population étudiée qui permet-tent de sélectionner les études à inclure dans la méta- analyse ? Dans certains cas, les méta- analystes peuvent limiter les études éligibles à celles qui s’intéressent à des individus possédant certaines caractéristiques démographiques, certaines cultures, habitant certaines régions, liés à certains contextes, etc. Néanmoins, la nécessité d’opérer une sélection des études sur la nature de la population étudiée reste excep-tionnelle. En effet, un des objectifs de la méta- analyse est d’augmenter la repré-sentativité des résultats, il n’est donc pas souhaitable de limiter la méta- analyse à un type précis d’individus statistiques. D’autant qu’il est toujours possible d’explorer

1 Une variable est une information dont on observe la valeur sur chaque individu. On parle de variable, car cette valeur diffère d’un individu à l’autre.

Page 25: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 23

une éventuelle interaction en réalisant une méta- analyse en sous- groupe et de faire ressortir des facteurs de contingence.

– Le design de recherche  : La méta- analyse ne permet pas de combiner les résultats de recherche adoptant des méthodologies de recherche trop différentes bien que traitant du même sujet. Il est impossible, par exemple, de combiner les résultats d’une régression logistique (logit ou probit) avec ceux d’une régression linéaire (mais rien n’empêche de réaliser deux méta- analyses distinctes)1 ;

– Le type de publication  : le fait d’introduire des études de mauvaise qua-lité risque de nuire à la qualité de la méta- analyse, selon le principe du garbage in/garbage out. Certains spécialistes recommandent d’exclure les études de « mau-vaise qualité » en écartant tous les documents non publiés, n’ayant pas fait l’objet d’une évaluation par les pairs. D’autres proposent d’intégrer l’ensemble des études et d’utiliser la base de données de l’ISI Web of Knowledge et le Journal Citation Reports (JCR®) – qui assure le classement de plus de 1600 revues internationales en sciences sociales  – afin de pondérer chaque publication (Doucouliagos et Laroche, 2003). D’autres encore examinent de manière approfondie la validité interne et externe de chaque étude (Cooper, 2010). Quoi qu’il en soit, le type de publication doit faire l’objet d’une attention particulière de la part du méta- analyste ;

– La période couverte : la période couverte par la méta- analyse doit être prise en considération par le méta- analyste. En général, il convient de couvrir la période la plus large possible (et d’envisager une analyse de l’évolution des résultats des études à travers le temps) plutôt que d’exclure certaines études. Toutefois, il est parfois pertinent de ne retenir dans la méta- analyse que les études publiées à cer-taines périodes (avant et après une crise financière, etc.) ;

– Les « doublons »  : les publications qui s’appuient sur les résultats d’une même étude doivent être écartées pour éviter un problème de dépendance des effets (ou biais de représentation). Il n’est pas rare, en effet, qu’un même chercheur publie plusieurs articles à partir des mêmes données. Il convient alors de ne retenir qu’une seule des multiples études utilisant les mêmes données.

– La disponibilité des informations nécessaires au calcul d’une grandeur d’effet commune  : il est essentiel de pouvoir disposer d’informations statistiques offrant la possibilité de calculer une grandeur d’effet dans les études collectées. Les études qui ne fournissent pas suffisamment d’informations pour calculer une métrique commune ne pourront pas être retenues dans la méta- analyse.

À ce stade, se pose aussi la question du nombre d’études à recueillir pour pouvoir réaliser une méta- analyse. Cette question fait l’objet de débats parmi les méta- analystes, certains allant jusqu’à considérer que l’on peut réaliser une méta- analyse à partir d’au moins deux études (Rosenthal, 1991). En fait, la réponse à cette question dépend de la nature du corpus d’études existant. Par exemple, cinq études très proches au plan méthodologique peuvent fournir une assez bonne esti-mation moyenne des paramètres d’un modèle alors qu’un ensemble d’études plus

1 Il est inapproprié de combiner les grandeurs d’effet, mais il n’est pas impossible de combiner les résultats. En effet, certains méta- analystes proposent une approche de type “vote counting” où il s’agit de distinguer les études selon qu’elles obtiennent des résultats négatifs, non significatifs et positifs – codés respectivement 0, 1 et 2 – puis de mener une méta- analyse de régression des probits ordonnés (voir par exemple, Koetze et al., 2009 ; Waldorf & Byun, 2005).

Page 26: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies24

hétérogènes qui diffèrent sur quatre ou cinq aspects importants demandera de col-lecter au moins vingt études, avec suffisamment de différences entre elles. Il n’y a donc pas de règles strictes en la matière, mais il convient de souligner deux points importants s’agissant de l’intégration de résultats issus d’études individuelles. Tout d’abord, il y a souvent moins d’études disponibles qu’envisagé au départ de la méta- analyse. Il ne faut donc pas se décourager si l’on ne récupère qu’une douzaine d’études empiriques plus ou moins comparables. Ensuite, on dispose souvent de plusieurs estimations issues d’une même étude (parce que les chercheurs ont testé différents modèles) et, par conséquent, on recueille un nombre d’estimateurs de l’ef-fet supérieur au nombre d’études identifiées initialement. Cette situation engendre d’autres difficultés méthodologiques (notamment un problème de dépendance des effets) qui sont néanmoins relativement aisées à contourner à l’aide d’outils statis-tiques adaptés (cf. infra).

2. Le codage des études individuelles

2.1 l’identification des modérateurs potentiels

L’étape suivante consiste à créer une grille de codage. La grille de codage est l’outil que le méta- analyste va utiliser pour rassembler toutes les informa-tions sur chacune des études sélectionnées. La plupart des informations sont issues de l’étude elle- même, mais d’autres sources d’information peuvent parfois être mobilisées afin d’aller plus loin que la simple réplication d’études1. Lorsque le nombre d’études collectées est important, l’élaboration de la grille de codage est une tâche particulièrement laborieuse. En effet, il s’agit d’établir une liste de toutes les caractéristiques des études que l’on souhaite rassembler. Cette liste peut réunir de nombreuses variables susceptibles d’être associées aux résultats de l’étude (Reisinger, 1997). Bien que le contenu de chaque grille de codage varie d’une méta- analyse à l’autre, on retrouve souvent les mêmes informations que l’on peut classer selon différentes catégories (Cooper, 2010) : les caractéris-tiques de la publication, les conditions expérimentales de l’étude, la nature des variables d’intérêt et leur mode de mesure, la méthodologie adoptée, les résul-tats statistiques obtenus et, éventuellement, des informations sur le codage lui- même (cf.  encadré  2). Ces différentes caractéristiques peuvent être consignées dans un tableur (type Excel) afin de pouvoir aisément mener les traitements sta-tistiques de la méta- analyse.

1 Par exemple, Doucouliagos et Laroche (2013) s’appuient sur des enquêtes internationales ou des classements (World Value Survey, Index of Economic Freedom, Fraser Institute Ranking, etc.) pour introduire des informations complémentaires permettant d’expliquer l’hétérogénéité des résultats des études empiriques qui font l’objet de la méta- analyse.

Page 27: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 25

Encadré 2 : Exemples de modérateurs potentiels à considérer

Les modérateurs potentiels sont de plusieurs natures.  Il peut s’agir de  façon non exhaus-tive (1) des caractéristiques distinctives des études (2) de la nature de la population étu-diée, (3) des variables d’intérêt retenues, (4) de la méthodologie de recherche adoptée, (5) de la période couverte par les études, (6) du type de publication, etc.

INFormaTIoN SUr L’ÉTUDeN° d’identificationAnnée de l’étudeAuteur(s) de l’étudeType de publicationPays où l’étude a eu lieu

CaraCTÉrISTIQUeS De L’ÉCHaNTILLoNPériode couverte par l’étudeÂge, sexe des répondantsSecteur d’activitéNiveau d’analyse (établissement, entreprise, secteur…)

meSUre DeS rÉSULTaTSType de mesure de la variable dépendanteType de mesure de la variable d’intérêt

CaraCTÉrISTIQUeS mÉTHoDoLoGIQUeSTaille de l’échantillonCaractéristique du groupe de contrôleType d’approche économétrique (MCO, DMC…)Type de données (en coupe, longitudinale, de panel)Nature des variables de contrôle

2.2 le codage et sa vérification

Le codage des caractéristiques des études est un travail long et fastidieux dont le résultat peut être sujet à de nombreuses erreurs et faire l’objet de contro-verses. Dès lors, les deux qualités principales du système de codage doivent être la transparence et la réplicabilité. Il est ainsi nécessaire de décrire précisément la manière dont a été codée chaque caractéristique des études (Lipsey et Wil-son, 2009). Stanley et al. (2013) préconisent de soigneusement vérifier le codage. Pour ce faire, il est conseillé de doubler le contrôle de toutes les informations recueillies. Une première option consiste à faire coder séparément la même étude par deux méta- analystes et à comparer ensuite leur codage (intercoder reliability). Une seconde option consiste à comparer le codage du même méta- analyste à deux périodes différentes (intracoder reliability).

Page 28: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies26

N.B. Le coefficient de corrélation partielle r est ici la grandeur d’effet standardisé et il a été calculé par les auteurs à partir des statistiques disponibles dans les études (cf. infra).

Tableau 1.2 — Extrait du tableau de codage utilisé par Doucouliagos et Laroche (2009)

Une fois ces vérifications effectuées, le méta- analyste dispose d’un fichier de données à partir duquel il va pouvoir poursuivre la méta- analyse. Le tableau 1.2 (capture d’écran) propose un exemple de base de données construite à partir des informations collectées dans chaque étude. Dans ce type de tableau de données, chaque ligne représente une estimation de la taille de l’effet à laquelle vont être associées certaines caractéristiques des études (considérées comme des modérateurs potentiels) présentées ici en colonne.

3. Le choix et la combinaison des tailles de l’effet

Une fois les études codées, le méta- analyste peut commencer l’analyse des données. À ce stade, les données tirées des études retenues vont servir de base aux différents calculs permettant d’obtenir une synthèse des résultats existants dans la littérature. L’obtention de ces résultats passe par trois étapes  : (1) le choix d’une grandeur d’effet commune, (2) la combinaison de ces grandeurs d’effet et (3) l’éva-luation de l’hétérogénéité des grandeurs d’effet issues de chaque étude. Aujourd’hui, les chercheurs en sciences sociales se focalisent davantage sur l’intensité ou la force d’une relation entre deux phénomènes que sur la seule existence de cette relation. Compte tenu de ces interrogations, les méta- analystes emploient des méthodes de calcul des grandeurs d’effets plus sophistiquées qui dépassent largement les pre-mières méthodes utilisées pour synthétiser la littérature (méthode des votes et com-binaison des degrés de signification p).

Page 29: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 27

3.1 le choix d’une métrique commune (ou grandeur d’effet « standardisée »)

Tous les développements statistiques de la méta- analyse reposent sur le concept de grandeur d’effet qui se définit comme l’estimation du degré de relation entre deux variables d’intérêt. La grandeur de l’effet s’exprime à l’aide de mesures quantifiables qui sont différentes suivant les approches méthodologiques adoptées. Afin de comparer les résultats d’études individuelles, la même grandeur d’effet doit être utilisée. Le méta- analyste doit, par conséquent, identifier la nature des résul-tats issus des études collectées et s’assurer que ces résultats peuvent être représen-tés par une statistique commune.

Il existe plusieurs techniques destinées à transformer les statistiques présen-tées dans les études collectées afin de calculer une métrique commune qui va per-mettre de combiner les résultats et de calculer la moyenne des grandeurs d’effet, appelée aussi « grandeur d’effet commune » (Wolf, 1986, p. 35). Ces méthodes diver-gent selon la nature des variables (variables continues, variables catégorielles ordi-nales ou nominales) et selon le type d’études disponibles (recherches expérimentales ou recherches de type corrélationnel). Trois types d’indicateurs statistiques sont fré-quemment utilisés par les méta- analystes : le d de Cohen (qui correspond à une dif-férence de moyenne standardisée), le coefficient de corrélation r de Pearson, et le rapport de cotes (odds ratio).

3.1.1  Le cas des recherches expérimentales

La recherche expérimentale s’appuie sur des tests de comparaison de moyennes entre un groupe expérimental et un groupe de contrôle. Les deux indicateurs statis-tiques les plus utilisés pour résumer les résultats de ce type d’études (et qui permet l’évaluation de la grandeur d’effet) sont le d de Cohen (1969) et le g de Hedges1. Cette dernière mesure prend en compte les conditions d’ajustement d’échantillon-nage. Le tableau  1.3 présente les différentes formules de calcul pour passer d’un indicateur à l’autre. Ces indicateurs sont très proches par construction dans la mesure où le numérateur est identique et correspond à la différence de moyennes des deux groupes. En revanche, ce qui va les distinguer est le recours, au dénomina-teur, à l’estimation de l’écart- type cumulé de la population à partir de chaque groupe (pooled SD) dans le cas du g de Hedges alors qu’il s’agit de l’écart- type cumulé de l’échantillon dans le cas du d de Cohen (cf. formules de calcul dans le tableau 1.3).

En termes d’interprétation, Cohen (1969) suggère de considérer un d = 0,20 (ou un g de Hedges) comme étant un effet faible, un d =  0,50 comme étant un effet modéré et un d = 0,80 comme un effet fort. Il s’agit là d’une aide à l’inter-prétation qui n’a rien d’une règle stricte et qui dépend du sujet et du contexte de l’étude. Rosenthal et Rubin (1982) ont également proposé une table de conversion facilitant l’interprétation des grandeurs d’effet (Binomial Effect Size Display ou BESD, présentée notamment dans Wolf, 1986, p. 33).

1 En médecine, les méta- analystes utilisent parfois l’indice de Glass qui ne retient au dénomi-nateur que l’écart- type du groupe de contrôle qui est considéré comme plus fiable que celui du groupe expérimental.

Page 30: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies28M

ÉTH

ODE

EXPÉ

RIM

ENTA

LE :

pré

senc

e de

don

nées

exp

érim

enta

les

Taill

e de

l’é

chan

tillo

n de

con

trôl

e

NC

= 1

NC

= 2

NC

> 2

Taille de l’échantillon expérimental

NE = 1

d de

Coh

en

dY

YSD

EC

=–

avec

SD

VV

EC

=+ 2

d de

Coh

en o

u g

de H

edge

s

dou

gY

YSDE

C

pooled

=–

avec

SDN

VN

VN

Npooled

EE

CC

EC

=(

–1)

+(

–1)

(–1)

+(

–1)

d de

Hed

ges

gY

YSDE

C

pooled

=–

avec

SDN

VN

VN

Npooled

EE

CC

EC

=(

–1)

+(

–1)

(–1)

+(

–1)

puis

cor

rect

eur

d’éc

hant

illon

nage

dN

g=

1–

34

–9

NE = 2

d de

Coh

en o

u g

de H

edge

s

gY

YSDE

C

pooled

=– avec

SDN

VN

VN

Npooled

EE

CC

EC

=(

–1)

+(

–1)

(–1)

+(

–1)

d de

Hed

ges

gY

YSDE

C

pooled

=–

avec

SDN

VN

VN

Npooled

EE

CC

EC

=(

–1)

+(

–1)

(–1)

+(

–1)

puis

cor

rect

eur

d’éc

hant

illon

nage

dN

g=

1–

34

–9

NE > 2

d de

Hed

ges

gY

YSDE

C

pooled

=– avec

SDN

VN

VN

Npooled

EE

CC

EC

=(

–1)

+(

–1)

(–1)

+(

–1)

puis

cor

rect

eur

d’éc

hant

illon

nage

dN

g=

1–

34

–9

Page 31: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 29

MÉT

HOD

E EX

PÉRI

MEN

TALE

 : p

rése

nce

de d

onné

es c

orré

lati

onne

lles

(t d

e St

uden

t)

Taill

e de

l’é

chan

tillo

n de

con

trôl

e

NC

= 1

NC

= 2

NC

> 2

Taille de l’échantillon expérimental

NE = 1

d de

Coh

en

dt

=2 N

avec

N =

 NE

+ NC

d de

Hed

ges

dtN

N

NN

NN

EC

EC

EC

=(

+)

(+

–2)(

)d

de H

edge

sSi

éch

anti

llons

éga

ux

dt ddl

=2

avec

ddl

= N

– 2

Si é

chan

tillo

ns n

on é

gaux

d de

Hed

ges

dtN

N

NN

NN

EC

EC

EC

=(

+)

(+

–2)(

)

NE = 2

d de

Hed

ges

dtN

N

NN

NN

EC

EC

EC

=(

+)

(+

–2)(

)

d de

Hed

ges

dt ddl

=2

avec

ddl

= N

– 2

NE > 2

d de

Hed

ges

dtN

N

NN

NN

EC

EC

EC

=(

+)

(+

–2)(

)

Y E  

= m

oyen

ne d

u gr

oupe

 exp

érim

enta

l ; Y

C =

 moy

enne

 du 

grou

pe d

e co

ntrô

le ; 

SD =

 éca

rt- ty

pe (s

tand

ard 

devi

atio

n) ; 

SDpo

oled

 = é

cart-

 type

 agr

égé 

intra

grou

pe (s

tand

ard 

devi

atio

n po

oled

) ; V

E   =

 var

ianc

e du

 gro

upe 

expé

rimen

tal ;

 V C =

 var

ianc

e du

 gro

upe 

de c

ontrô

le ; 

N E  

= ta

ille d

u gr

oupe

 exp

érim

enta

l ; N

C =

 tai

lle d

u gr

oupe

 de 

cont

rôle

 ; N

 = ta

ille d

u gr

oupe

 exp

érim

enta

l + ta

ille d

u gr

oupe

 de 

cont

rôle

 ; t =

 t de

 Stu

dent

 ; dd

l = d

egré

s de

 libe

rté ; 

p = 

prop

ortio

n de

 l’éc

hant

illon 

N E  d

ans 

l’éch

antill

on 

tota

l N s

oit N

E /N

 ; q 

= pr

opor

tion 

de l’

écha

ntillo

n N

C d

ans 

l’éch

antil

lon 

tota

l N s

oit N

C/

N

Table

au 1

.3 —

 Les

prin

cipa

les

mét

rique

s po

ur l’

estim

atio

n de

la g

rand

eur

d’ef

fet à

par

tir d

e do

nnée

s ex

périm

enta

les

(sou

rce 

: Re

velli

, 20

11)

Page 32: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies30

On notera par ailleurs qu’Hedges et Olkin (1985) ont proposé une correction de l’indice g, lorsque les méta- analystes travaillent sur de petits échantillons, qui se calcule de la manière suivante :

g gg

n nadj = –3

4( + ) – 91 2

où n1 et n2 correspondent à la taille des échantillons des groupes 1 et 2.

3.1.2  Le cas des recherches de type corrélationnel

Les recherches de type corrélationnel permettent le calcul d’une grandeur d’effet à partir du coefficient de corrélation de Pearson rxy ou du coefficient de corrélation partielle rxy.z. Le coefficient de corrélation partielle rxy.z permet d’évaluer l’intensité de la relation entre deux variables X et Y tout en considérant comme constante une autre variable Z1. Les principales formules de calcul sont présentées dans le tableau 1.4. Une corrélation positive signifie qu’un individu qui aurait un score élevé sur la variable X aura tendance à obtenir un score élevé sur Y. Inversement, une cor-rélation négative signifie qu’un individu qui obtiendrait un score élevé sur la variable X aura tendance à obtenir un score faible sur la variable Y. L’intérêt du coefficient de corrélation comme indicateur de la taille de l’effet est qu’il est standardisé : il varie entre 0 et 1 en valeur absolue. Là encore, Cohen (1969) a proposé un guide d’inter-prétation qui considère une corrélation r = 0,10 comme étant faible, une corrélation r = 0,30 comme étant modérée et un r > 0,50 comme étant une corrélation forte.

Dans de nombreuses méta- analyses, le coefficient de corrélation r fait l’ob-jet d’une transformation avant de calculer la taille de l’effet commune (Hunter et Schmidt, 1984). Ainsi, la transformation en Zr de Fisher est fréquemment employée et se calcule de la manière suivante :

Zrrr

=12

ln1 +1 –

MÉTHODE CORRÉLATIONNELLE : présence de données corrélationnelles (t de Student)

rt

t ddl=

( + )

2

2

avec ddl = N – 2

MÉTHODE CORRÉLATIONNELLE : présence de données statistiques du type F de Fisher

rF

F ddl=

+

avec ddl = N – 2

1 Le principe est de retirer de rxy le double effet des corrélations qu’entretiennent X et Y avec Z. Si ce double effet est minime, on retombe sur un coefficient de corrélation partielle égal à la cor-rélation de Pearson. Autrement dit, on cherche une corrélation entre les résidus d’une régression de X sur Z et une régression d’Y sur Z.

Page 33: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 31

MÉTHODE CORRÉLATIONNELLE : présence de données expérimentales (d de Cohen)

NE = NC NE ≠ NC

rd

N Nd

=2

/ ( – 2) / ( +2

21/2

rd

pqN pq N

d

pq=

1 // ( – 1 / ) / ( +

1 /

2 1/2

t = t de Student ; ddl = degrés de liberté ; F = F de Fisher ; d = d de Cohen ou de Hedges ; NE =  taille du groupe expérimental ; NC =  taille du groupe de contrôle ; N =  taille du groupe expérimental +  taille du groupe de contrôle p =  proportion de l’échantillon NE dans l’échantillon total N soit NE/N ; q = proportion de l’échantillon NC dans l’échantillon total N soit NC/N

Tableau 1.4 — Les principales métriques pour l’estimation de la grandeur d’effet à partir de données de type corrélationnel

(Source : Revelli, 2011)

Le coefficient de corrélation r fait l’objet d’une transformation en Zr de Fisher parce que la distribution d’échantillonnage des coefficients r est sou-vent tronquée (notamment pour les petits échantillons) alors que celle du Zr de Fisher est symétrique, quelle que soit la taille des échantillons. Cette symétrie est souhaitable lorsqu’il s’agit de combiner et de comparer les tailles de l’effet entre les études. Toutefois, Zr est moins facile à interpréter que le coefficient de corrélation r parce qu’il n’est pas borné (il peut afficher des valeurs supé-rieures à 1 ou –1). Une pratique courante est de convertir r en Zr pour chaque étude afin de les combiner et de les comparer puis – une fois la grandeur d’ef-fet commune calculée (la moyenne des tailles de l’effet) – de reconvertir Zr en r de la manière suivante :

ree

Zr

Zr=– 1+ 1

2

2

L’écart- type de Zr se calcule ainsi :

SENZr =1– 3

où N représente la taille de l’échantillon de l’étude.

Cette formule de calcul révèle une relation évidente et valable pour tous les écarts- types : plus la taille de l’échantillon N augmente (c.- à- d. plus le dénomina-teur augmente) et plus l’écart- type diminue (cf. chapitre 4).

Page 34: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies32

3.1.3  Le cas du rapport de cote ou odds ratio (OR)

D’autres recherches moins courantes en sciences sociales s’appuient sur le rapport de côte (Odds Ratio ou OR). Il s’agit d’un indicateur d’association entre deux variables binaires. Il est fréquemment utilisé en épidémiologie et permet d’évaluer l’effet d’un traitement, par exemple1. Cet indicateur se définit comme le rapport de la cote d’un événement arrivant à un groupe d’individus (groupe expérimental), par exemple une maladie, avec celle du même événement arrivant à un autre groupe d’individus (groupe témoin). Si la probabilité qu’un événement arrive dans le groupe expérimental est p et q celle dans le groupe témoin, le rapport de cote est :

( )( )

( )( )

−−

=−−

p p

q q

p q

q p

1

1

1

1

La cote d’un événement se définit donc comme la probabilité de l’événement (par exemple, répondre positivement à une question de type oui/non) divisée par la probabilité alternative (répondre négativement à la même question) qui peut donc s’exprimer par le rapport p/(1 – p). À titre illustratif, si vous étudiez le fait d’être satis-fait ou pas au travail, vous pouvez évaluer le pourcentage de salariés satisfaits (p) et estimer la cote correspondant au fait d’être satisfait au travail en divisant ce pourcen-tage par le pourcentage de salariés insatisfaits (1 – p). Soulignons ici que vous pouvez également calculer la cote ou la probabilité d’être un homme ou une femme. L’intérêt est ensuite de comparer les probabilités ou les cotes entre deux groupes d’individus. Par exemple, vous pourriez vous demander si le fait d’être un homme ou une femme a une influence sur le niveau de satisfaction au travail. Une manière de répondre à cette interrogation pourrait être de calculer le risque relatif ou risk ratio (RR) qui est égal au rapport entre la proportion d’individus satisfaits dans un groupe (celui des hommes) et la proportion d’individus satisfaits dans l’autre groupe (celui des femmes). Toutefois, cet indicateur ne tient pas compte des différences de cotes entre les deux groupes que l’on peut aussi présenter sous cette forme :

ORn nn n

= 00 11

01 10

Avec n00 correspondant au nombre de participants ayant répondu négative-ment sur les variables X et Y, n01 est le nombre de participants ayant répondu négati-vement sur X et positivement sur Y, n10 est le nombre de participants ayant répondu positivement sur X et négativement sur Y, n11 est le nombre de participants ayant répondu positivement sur Y et X.

L’odds ratio est égal à 1 lorsqu’il n’existe pas de lien entre les deux variables d’in-térêt, varie de 0 à 1 s’il existe une association négative et varie de 1 à l’infini lorsque le lien est positif. Par construction, la distribution des estimations des odds ratios est asymétrique. Ainsi, il est plus fréquent d’utiliser le logarithme népérien des odds ratios (ln(OR)) lorsqu’il s’agit de combiner cette métrique dans une méta- analyse. Quant à l’écart- type de ce logarithme, il se calcule facilement à partir de la formule suivante :

1 Le d de Cox – qui correspond à une différence de moyenne standardisée (Sanchez- Meca et al., 2003)  – est parfois utilisé pour mesurer la taille de l’effet à partir du logarithme du rapport de

cote (OR) de la manière suivante : =dOR

Cox

ln( )1,65

.

Page 35: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 33

SEn n n nOR =1

+1

+1

+1

ln( )00 01 10 11

En réalité, il est fréquent dans les méta- analyses de combiner des études utilisant plusieurs types de données, qu’elles soient expérimentales ou corrélation-nelles. Les trois statistiques d, t et r sont interchangeables et transformables. Wolf (1986), Rosenthal (1991), Hunter et Schmidt (2004) ainsi que Card (2012) propo-sent des conversions permettant de passer d’un indicateur à un autre. Les formules de conversion les plus courantes sont présentées en annexes de ce chapitre.

Afin d’illustrer les modes de calcul des grandeurs d’effet standardisées, l’enca-dré 3 présente un exemple de calcul à partir de données expérimentales et un autre à partir de données corrélationnelles tiré de l’article de Laroche et Soulez (2012).

Encadré 3 : Une illustration des modes de calcul des grandeurs d’effet standardisées (d’après Laroche et Soulez, 2012)

Pour les résultats issus de recherches expérimentales,  la  taille  de  l’effet  est  souvent exprimée par  le g de Hedges.  L’importance de  l’effet dans chaque étude est ainsi cal-culée selon la formule :

g =Y

E– Y

C

soù Y E  est la moyenne du groupe expérimental, Y C  est la moyenne du groupe de contrôle et s est  la variance agrégée intragroupe. La variance est calculée comme suit :

s =(nE – 1)(sE 2 2) + (nC – 1)(sC )

nE + nC – 2

où nE et sE représentent  la taille et  l’écart- type du groupe expérimental et nc et sc  la taille et l’écart- type du groupe de contrôle. Cela étant, la métrique g est un estimateur biaisé, surtout pour  les échantillons de petite  taille.  Il convient alors d’utiliser un estimateur sans biais d qui se calcule de la manière suivante :

d = 1–3

4N – 9g

Exemple 1 : Dans une étude portant sur  l’âge et  la sensibilité à une marque,  la moyenne d’âge des consommateurs dans le groupe de contrôle est YC = 41 ans avec un écart- type de 4,5 ans. Dans le groupe expérimental  (constitué de gens sensibles à une marque don-née) YE = 38 et sE = 4. La  taille du groupe de contrôle est nC = 158 et celle du groupe expérimental nE = 155. L’estimation de l’écart- type commun s’obtient de la manière suivante :

s =(155 – 1)42 + (158 – 1)4,52

158 +155 – 2= 4,26

La taille de l’effet est estimée en utilisant les formules précédentes :

g =38 – 41

4,26= – 0,70            d = 1–

34 313 – 9

(– 0,70) = – 0,69

Pour les résultats issus de recherches de type corrélationnel, les coefficients de régression, les coefficients de corrélation de Pearson ou bien encore les élasticités estimés dans chaque étude peuvent être transformés en coefficients de corrélation partielle r (Wolf, 1986, p. 35).

Page 36: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies34

Exemple 2  :  Le  tableau  suivant  illustre  le mode de calcul de  l’effet  standardisé à partir de données issues de 4 régressions :

ÉtudeTaille

de l’échantillon

Coefficient de régression standardisé

(ou non)

Valeur du t associé

au coeff. de régression

k nombre de variables explicatives

dans le modèle de régression

Coeff. de corrélation

partielle r

A

B

C

D

118

85

95

98

– 0,054

– 0,410***

– 0,660***

0,122

– 0,32

– 5,88

– 4,01

0,10

7

4

4

9

– 0,030

– 0,467

– 0,389

0,011

où  t est  le  t de Student associé à la variable explicative principale et ddl est  le nombre de  degrés  de  liberté  associé  à  l’équation  de  régression.  Soulignons  ici  que  la  valeur obtenue (ici 0,030) est toujours en valeur absolue et qu’il faut veiller à conserver le signe de l’effet non standardisé.

3.2 la correction des grandeurs d’effet « standardisées »

Il s’agit d’une étape qui n’est pas préconisée par tous les méta- analystes et qui fait encore l’objet de débats actuellement (cf.  chapitre  2). En effet, cer-tains spécialistes insistent sur la nécessité de corriger un certain nombre d’arte-facts méthodologiques alors que d’autres considèrent que ce type de correction n’est pas indispensable. Hunter et Schmidt (2004) défendent l’idée qu’il faut cor-riger les grandeurs d’effet dans la mesure où la plupart des études reportent des tailles d’effet entre des construits mesurés de manière imparfaite. Ces mesures imparfaites sont dues à une variété de facteurs : manque de fiabilité et de validité des mesures1, mauvais choix de variables… Ainsi, il n’existe pas seulement des erreurs aléatoires d’échantillonnage, mais aussi des erreurs systématiques liées à la nature des échantillons sur lesquels s’appuient les études existantes. Ces imper-fections sont inhérentes à toutes études empiriques et il convient alors de corri-ger ces « artefacts » dans la méta- analyse. Malgré les arguments en faveur de la correction des artefacts, un certain nombre de méta- analystes considèrent que ces corrections ne sont pas nécessaires. Rosenthal (1991) juge, par exemple, que ce type de correction conduit parfois à des estimations biaisées de la taille de l’effet dans la population (certaines corrections pouvant amener à présenter des corréla-tions supérieures à un). Par ailleurs, d’aucuns considèrent que ce type de correc-tions complexifie considérablement les procédures méta- analytiques pour un gain de précision, somme toute, marginal.

Les corrections d’artefact à considérer sont relativement nombreuses et sont plus particulièrement développées dans le chapitre 2 de cette première partie. (Pour une description plus détaillée, consulter Card, 2012, pp. 128-146).

1 La fiabilité fait référence à l’uniformité des mesures ou sa fidélité (obtient- on le même résul-tat si on répète la procédure ?). La validité porte sur les conclusions que nous pouvons tirer des résultats obtenus (nos résultats correspondent- ils à la véritable nature du phénomène étudié ?).

Page 37: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 35

3.3 le Biais de puBlication

Au- delà des « artefacts statistiques » qui peuvent s’avérer délicats à traiter, les méta- analystes sont aussi confrontés au problème du biais de publication (Sutton et al., 2001). Un biais de publication apparaît lorsque la publication d’une recherche dépend de la direction des résultats obtenus (biais de type I) et/ou de la significa-tivité statistique (biais de type II). Plusieurs études ont ainsi montré que les revues académiques avaient tendance à ne publier que certains types de résultats (Begg et Berlin, 1988 ; Begg, 1994). L’un des meilleurs moyens pour neutraliser le biais de publication est encore d’incorporer des études non publiées dans la méta- analyse et d’évaluer empiriquement si ces études présentent des grandeurs d’effet plus faibles que celles des études publiées. Cela implique de mener une analyse des effets modé-rateurs en utilisant, par exemple, une indicatrice codée 1 si l’étude a été publiée et 0 si elle ne l’a pas été. D’autres techniques statistiques peuvent être utilisées pour évaluer et neutraliser ce type de biais. L’objet du chapitre 4 de cet ouvrage propose une synthèse des outils existants pour identifier et contrôler le biais de publication.

3.4 la comBinaison des grandeurs d’effet « standardisées »

Une fois l’ensemble des grandeurs d’effet calculé pour chaque étude (corri-gées ou pas des artefacts), on établit la moyenne des grandeurs d’effet « standar-disées » pour obtenir une estimation de la grandeur de l’effet dans la population.

3.4.1  La pondération des résultats

Bien que la démarche consistant à attribuer le même poids à toutes les études présente un certain attrait, il existe des études de meilleure qualité que d’autres et il convient de donner plus de poids à ces études lorsqu’il s’agit d’agré-ger les résultats. Les méta- analystes appliquent différentes pondérations s’appuyant sur la précision des estimations de la taille de l’effet. La précision des estimations de la taille de l’effet est liée à l’écart- type estimé de la taille de l’effet (cf. infra). Prenons l’exemple de deux études  : la première se fonde sur un échantillon de 10  observations et présente une corrélation entre deux variables X et Y de 0,20 (après transformation en Zr de Fisher, on obtient Zr =  0,203) et la seconde s’ap-puie sur un échantillon de 10 000 observations et affiche une corrélation entre X et Y de 0,30 (Zr = 0,310). Avant de calculer la moyenne de ces deux corrélations permettant d’obtenir une estimation de la corrélation de X et Y dans la population, il est indispensable de prendre en considération la précision de ces deux estima-tions de la taille de l’effet. La première étude s’appuie sur 10 individus seulement et l’écart- type calculé est égal à 0,378. La seconde étude porte sur beaucoup plus d’individus (10 000) et l’écart- type est égal à 0,010. Par conséquent, plus la taille de l’échantillon sera grande et plus cet échantillon permettra d’estimer précisément la taille de l’effet dans la population. Autrement dit, l’écart- type de la taille de l’effet est inversement proportionnel à la taille de l’échantillon et permet d’évaluer le niveau de précision d’une estimation. Dès lors, les méta- analystes vont donner plus de poids aux études portant sur de grands échantillons (celles dont l’écart- type est plus petit) en pondérant les résultats des études par l’inverse de leur variance (ou écart- type au carré) :

Page 38: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies36

wSEi

i

=12

où SEi représente l’écart- type de l’estimation de la taille de l’effet de l’étude i.

Cette pondération doit être calculée pour toutes les estimations issues de chaque étude collectée. On notera à ce stade que l’on peut aussi, tout simplement, substituer à wi la valeur de la taille de l’échantillon N, afin de pondérer les estima-tions de la taille de l’effet.

Encadré 4 : Le problème de la dépendance des effets

Il n’est possible d’envisager une méta- analyse que si l’on considère un ensemble d’estima-teurs de l’effet totalement indépendants. En effet, l’hypothèse de base de la statistique infé-rentielle  est  l’indépendance des  observations,  autrement  dit  chaque observation  doit  être issue d’un échantillon unique tiré aléatoirement à partir d’une population donnée. Concrète-ment, cette condition est respectée si chaque étude retenue dans la méta- analyse fournit une seule grandeur d’effet. Or, en réalité, il arrive fréquemment que cette hypothèse soit violée, car les études existantes peuvent fournir plusieurs estimateurs de l’effet que les méta- analystes sont tentés d’exploiter, créant ainsi un problème de dépendance des effets. Plusieurs options sont proposées aux méta- analystes afin de résoudre ce problème de dépendance des effets. Une première option consiste à ne retenir qu’un seul estimateur de l’effet par étude. Il arrive ainsi que  l’auteur de  l’étude,  lui- même,  indique  le modèle qui  lui  semble  le plus  robuste, permettant  ainsi  au méta- analyste de  retenir  le  « meilleur »  estimateur de  l’effet. À défaut, la pratique  la plus courante,  revient à calculer une moyenne de  l’ensemble des multiples grandeurs d’effet et d’utiliser cette moyenne comme la grandeur d’effet de  l’étude concer-née. Toutefois, cette approche  réduit  la puissance statistique de  la méta- analyse en dimi-nuant  le nombre d’observations. Une deuxième approche, proposée par Bijmolt et Pieters (2001), consiste à pondérer chaque étude par l’inverse du nombre d’estimations de l’étude (wms  =  M/MsS  où  M  représente  le  nombre  total  d’estimations,  Ms,  le  nombre  d’estima-tions  issues de  l’étude s et S,  le nombre d’études  introduites dans  la méta- analyse). Enfin, une troisième option, plus fréquente en économie appliquée, consiste à mobiliser des outils économétriques sophistiqués afin de contrôler ce type de biais dans des modèles de méta- régression. Ainsi, Stanley et Doucouliagos  (2012, page 68-70) proposent de mener des méta- analyses multi- niveaux qui tiennent compte de la dépendance des effets.

3.4.2  Effets fixes vs effets aléatoires

Il existe deux méthodes d’agglomération des effets « standardisés » : une pre-mière, dite « méthode à effet fixe », et une seconde, dite « méthode à effet aléa-toire » (Erez, Bloom et Wells, 1996). Pour certains méta- analystes, l’utilisation de ces deux méthodes s’inscrit dans une démarche complémentaire. Le méta- analyste utilisera systématiquement, dans un premier temps, le modèle à effets fixes et se donnera le choix de compléter ses investigations via le modèle à effets aléatoires si les tests d’hétérogénéité des grandeurs d’effet sont significatifs1. Dans la pratique, le

1 L’estimation de l’erreur d’échantillonnage et de l’erreur de mesure permet de déterminer si les études partagent une grandeur d’effet commune à la population, c’est- à- dire si les résultats sont homogènes entre eux. L’hétérogénéité renferme deux sources de dissimilarité : d’une part, une dis-similarité dans les résultats des études individuelles, d’ordre statistique, qui peut être explorée par les méthodes statistiques vues précédemment ; d’autre part, une dissimilarité dans les modalités

Page 39: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 37

méta- analyste optera souvent directement pour un modèle à effets aléatoires compte tenu des hypothèses discutables retenues par le modèle à effets fixes. La figure 1.1 présente les étapes à considérer afin d’obtenir la grandeur d’effet commune.

MODÈLE À EFFETSFIXES

Hypothèsede l’homogénéité

des grandeurs d’effet

MODÈLE À EFFETS ALÉATOIRES

Suppose que la variabilitédes grandeurs d’effetest aléatoire. Répéterles étapes 1 à 3 en utilisantla pondération par l’inversede la variance selonle modèle aléatoire

Étape 1Calculer la moyenne

pondérée des grandeursd’effet en utilisant

la pondérationpar l’inverse

de la variance

Distributionhomogène Étape 3.

Analyserl’homogénéitéDistribution

hétérogène

Étape 2.Déterminer l’intervalle

de confiancede la moyenne

pondérée

Figure 1.1 — Processus d’évaluation de la grandeur d’effet commune (Revelli, 2011)

L’évaluation d’une moyenne pondérée par la méthode à effets fixes (étape 1) fait l’hypothèse d’une répartition homogène des grandeurs d’effet, impliquant que leur dispersion autour de leur moyenne soit inférieure ou égale à l’erreur d’échan-tillonnage attendue. Ce modèle suppose que la grandeur d’effet observée à partir d’une étude est une estimation précise de la population prenant en compte unique-ment l’erreur d’échantillonnage aléatoire et que la moyenne des grandeurs d’effet de toutes les études est une estimation exacte de la relation entre les deux variables d’intérêt (Lipsey et Wilson, 2001).

Il convient d’estimer, dans un deuxième temps, l’intervalle de confiance (étape 2) permettant d’identifier l’intervalle de valeurs qui contient la vraie valeur du paramètre estimé (à savoir la grandeur d’effet commune), et selon une probabilité 1 – α. Les méta- analystes adoptent généralement un intervalle à 95 % ( Hasselblad et  Hedges, 1995, Hunter et Schmidt, 2004). Si l’intervalle de confiance inclut la valeur 0, alors les résultats sont considérés comme hétérogènes et la relation entre les variables d’intérêt est considérée comme non significative.

Il convient, par la suite, de mener un test d’hétérogénéité supplémentaire permet-tant de déterminer si les grandeurs d’effet sont homogènes ou non (étape 3). Ce test d’hétérogénéité est différent selon la nature des données disponibles. Hedges et Olkin (1985) ont proposé un test pour les données expérimentales différent de celui de Hunter et al. (1982) pour les données de type corrélationnel (cf. encadré 5 et figure 1.3).

mêmes des études existantes, qui est d’ordre contextuel ou méthodologique. Il s’agit de répondre alors à la question suivante : quels sont les facteurs contextuels et/ou les particularités méthodolo-giques des études empiriques qui expliquent cette hétérogénéité des résultats ?

Page 40: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies38

En présence d’hétérogénéité, le méta- analyste pourra choisir d’appliquer le modèle à effets aléatoires pour calculer la grandeur d’effet commune. En théorie, cette étape intervient seulement si les résultats issus du modèle à effets fixes sont hétérogènes. Pour Hasselblad et Hedges (1995, p. 172), « s’il y a une évidence d’hé-térogénéité entre études, alors le modèle à effets aléatoires peut être approprié ». Le modèle à effets aléatoires intègre donc une composante aléatoire de la variance de l’effet Vi

* à la variance Vi issue du modèle à effets fixes.

Ce modèle paraît dans l’absolu plus réaliste, puisque le modèle à effets fixes fait l’hypothèse d’une homogénéité des grandeurs d’effet et donc de leur variance, tandis que le modèle à effets aléatoires part du principe que les grandeurs d’effet et leur variance varient d’une étude à l’autre. Ainsi, l’interprétation des résultats par le modèle à effets aléatoires autorisera une observation plus large de l’intervalle de confiance et une défi-nition de la grandeur d’effet commune différente, ce qui pourra amener à des conclu-sions divergentes de celles issues du modèle à effets fixes quant à sa significativité.

Encadré 5 : La procédure de Hunter, Schmidt et Jackson (1982)

La procédure de Hunter, Schmidt et Jackson (1982) vise, dans un premier temps, à éva-luer la part de la variance des effets liée aux erreurs d’échantillonnage. Ainsi, pour déter-miner dans  la population  la  variance des grandeurs d’effets, on calcule  la  somme des différences  au  carré  entre  chaque grandeur  d’effet  et  la  grandeur  d’effet  estimée dans la population. On pondère ensuite chaque différence en fonction de la taille des échan-tillons de chaque étude. Celle- ci correspond à la variance observée de la population.

Sr2 =

Ni (ri – ri=1

k

)2

Nii=1

k         [Variance observée]

On  calcule  ensuite  la part  de  la  variance des  effets  liée aux  erreurs  d’échantillonnage comme suit :

Ser2 =

k(1– r 2)2

Nii=1

k         [Variance liée à l’erreur d’échantillonnage]

avec k : nombre d’études dans l’échantillon.Enfin,  la variance  liée à  l’erreur d’échantillonnage est  retranchée de  la variance obser-vée et la différence correspond à la variance résiduelle.

Spxy2 = Sr

2 – Ser2         [Variance corrigée ou résiduelle]

Si la variance résiduelle est inférieure à 25 % de la variance totale, les grandeurs d’effet sont considérées comme homogènes. Dans le cas contraire, la détermination de variables modératrices est nécessaire (Hunter, Schmidt et Jackson, 1982). Cependant, cette règle n’est  pas  suffisante  pour  tester  l’homogénéité  de  petits  échantillons  d’études.  Ainsi,  un test  supplémentaire destiné à s’assurer du manque d’homogénéité des études,  reposant sur  la prise en compte de  la variance, est prévu dans  la nouvelle procédure de Hunter et Schmidt (1990). Il s’agit d’un test non paramétrique qui suit une loi du khi- deux et s’in-terprète comme le test QT de Cochran :

k – 12 =

N(1– r 2)2

Sr2

Page 41: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 39

En  définitive,  la  mise  en  évidence  de  variables  modératrices,  dans  la  procédure  de  Hunter et Schmidt (1990), doit reposer sur une batterie d’indicateurs qui sont :(1)  la règle des 75 % de la variance résiduelle,(2)  le test d’homogénéité qui suit une loi du Khi- 2,(3)  l’intervalle de confiance à 95 % sachant que si la valeur zéro est comprise dans cet intervalle, nous acceptons l’hypothèse d’un coefficient rxy = 0.

La figure  1.2 représente schématiquement la différence entre un modèle à effets fixes et un modèle à effets aléatoires. Dans un modèle à effets aléatoires, on ne considère pas une seule grandeur d’effet dans la population (q), mais plutôt une distribution des grandeurs d’effet dans la population représentée par un indicateur de tendance centrale (m) et son écart- type (t).

Modèle à effets fixes

Étude 1

Étude 2

Étude 3

Étude 4

Étude 5

Modèle à effets aléatoires

Étude 1

Étude 2

Étude 3

Étude 4

Étude 5

Éventail de grandeurs d’effet

Grandeur d’effet de la population, μ

τ

Éventail de grandeurs d’effet

Grandeur d’effetde la population, θ

Figure 1.2 — Représentation conceptuelle des modèles à effets fixes et à effets aléatoires

La figure  1.3. ci- après reprend l’ensemble des formules de calcul applicables à chacune des étapes décrites ci- dessus.

Page 42: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies40

Mes

ure

de la

gra

ndeu

r d’e

ffet c

omm

une

avec

avec

et

1. M

étho

de à

effe

ts fi

xes

Hété

rogénéité s

i Q

T ≥

vale

ur

2 théorique a

vec

k – 1

ddl

3. T

est d

’hét

érog

énéi

3. M

étho

de à

effe

tsal

éato

ires

Repre

ndre

les é

tapes 2

et 3 a

vec

ou

etV

ariance o

bserv

ée

Variance lié

e à

l’e

rreur

échantillo

nnage

Variance r

ésid

uelle

2. In

terv

alle

de

conf

ianc

e

ou

ou

ou

Mét

hode

exp

érim

enta

le

Mét

hode

exp

érim

enta

leM

étho

de c

orré

latio

nnel

le

Mét

hode

cor

réla

tionn

elle

Mét

hode

cor

réla

tionn

elle

Mét

hode

exp

érim

enta

leTe

st d

e la

var

ianc

e ré

sidu

elle

Test

d’h

étér

ogén

éité

d=

i=1

kd iw

i

i=1

kw

i

wi=

1 V i

r=

i=1

kN

ir i

i=1

kN

i

ICd

.95

%=

1,96

1 i=1

kw

i

ICr.

95

%=

1,96

SE

SE

=(1

–r)

2/(

N–

k)1/

2

QT

=w

i(d i

–d

)2

i=1k

S r2=

Ni(

r i–

r)2

i=1

k

Ni

i=1

k

S er2=

k(1

–r2

)2

i=1

kN

i

Spx

y2

=S r2

–S er2

k–

1

2=

N(1

–r2

)2S r2

Spx

y2 S r2

25

%

d i*=

i=1

kd iw

i*

i=1

kw

i*w

i*=

1

v i+

v i*

V i*=

QT

–k

–1

i=1

kw

i–

i=1

kw

i2

i=1

kw

i

d i = g

randeur

de l’e

ffet de l’é

tude i

; w

i = c

oeffic

ient de p

ondéra

tion c

orr

espondant à l’in

vers

e d

e la v

ariance a

ssocié

e à

l’é

tude i

;

r i = g

randeur

de l’e

ffet de l’é

tude i

; N

i = taill

e d

e l’é

chantillo

n d

e l’é

tude i

; N

= taill

e d

e l’é

chantillo

n tota

l ;

k =

nom

bre

d’é

tudes ;

w*

= c

oeffic

ient de p

ondéra

tion c

orr

espondant à l’in

vers

e d

e la v

ariance a

ssocié

e à

l’é

tude i e

t is

su d

u m

odèle

à e

ffets

alé

ato

ires.

Hété

rog

én

éité s

i

e

t si

vale

ur

²

ob

serv

ée

vale

ur

²

thé

oriq

ue a

ve

c k

–1

ddl

i

=+

++

VN

NN

Nd

NN

i

EC

EC

EC

2(

)

2

Figure

1.3

 — E

stim

atio

n de

la g

rand

eur

d’ef

fet c

omm

une

et é

valu

atio

n de

 l’hé

téro

géné

ité d

es g

rand

eurs

d’e

ffet (

Reve

lli,

2011

)

Page 43: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 41

4. La recherche des sources d’hétérogénéité des grandeurs d’effet

Lorsqu’une hétérogénéité est mise en évidence, une recherche de ses sources doit être entreprise1. L’identification de facteurs liés à la structure même de l’étude, au type de population étudiée, ou encore à la relation testée, est une étape impor-tante (Aguinis et Pierce, 1998 ; Cortina, 2003). Trois approches sont à la disposi-tion du méta- analyste. Une première approche consiste à réaliser des méta- analyses en sous- groupes, aussi appelées stratifiées. Une deuxième approche consiste à régresser les variables supposées modératrices sur la grandeur de l’effet calculée pour chaque étude. On parle alors de méta- analyse de régression (MRA). Enfin, une troisième approche, de plus en plus utilisée en sciences sociales notamment en psychologie, s’appuie sur les modèles d’équations structurelles.

4.1 méta- analyses stratifiées (en sous- groupes)

Les analyses en sous- groupes permettent d’effectuer une recherche des sources d’hétérogénéité de façon univariée, en comparant les résultats obtenus entre des sous- groupes d’études (Muller, 1988). Les sous- groupes sont constitués en fonction des facteurs supposés modérateurs. Par exemple, le genre d’un individu peut consti-tuer une variable explicative pertinente de différences de comportement d’achat à l’égard d’un produit ou d’un service. Finalement, effectuer une méta- analyse stra-tifiée revient à suivre la même procédure d’analyse statistique par sous- groupes constitués sur la base des modérateurs potentiels (mesures des grandeurs d’effet communes ESgroup, intervalles de confiance ICgroup, tests d’hétérogénéité Qgroup). Les règles d’interprétation sont identiques à celles appliquées lors de la méta- analyse sur l’ensemble de l’échantillon d’études.

Lipsey et Wilson (2001) proposent également d’aller plus loin dans l’éva-luation de l’hétérogénéité. Au- delà de sa mesure au sein de chaque sous- groupe (hétérogénéité des grandeurs d’effet composant le sous- groupe), il s’agit de mesu-rer directement si les sous- groupes présentent des dissimilarités entre eux (hétéro-généité des grandeurs d’effet communes de chaque sous- groupe). Pour ce faire, les auteurs proposent dans un premier temps de mesurer une hétérogénéité Qw (Qwithin), qui sera égale à la somme des tests d’hétérogénéité Qgroup de chaque sous- groupe :

Qw = Qgroup1 + Qgroup2 + … + Qgroup javec j = nombre de sous- groupes.

L’hétérogénéité inter- groupe QB (QBetween) est ensuite calculée de la manière suivante :

QB = QT – QW

Avec QB =  Hétérogénéité entre les sous- groupes, QT =  Hétérogénéité totale des grandeurs d’effet, Qw =  somme des hétérogénéités des sous- groupes, df =  k  –  j où k = nombre de grandeurs d’effet communes et j = nombre de sous- groupes.

1 Cf. chapitre 4 sur la recherche des effets modérateurs (Aguinis & Pierce).

Page 44: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies42

Le test se distribue toujours comme un khi- deux. S’il est significatif (valeur observée du QB supérieure à la valeur du khi- deux théorique pour j- 1 degrés de liberté avec j = nombre d’études), alors on rejette l’hypothèse nulle d’homogénéité des résultats. Afin que le test soit interprétable, il s’agit de calculer une somme des tests d’hétérogénéité Qgroup pour chaque variable modératrice identifiée. Le chercheur identifiera, par variable modératrice et non pas sur l’ensemble des variables modé-ratrices, si les sous- groupes définis sont hétérogènes ou homogènes.

Si ces tests sont fréquemment utilisés par les méta- analystes en psycho logie et en management pour identifier les variables modératrices, il n’en demeure pas moins que ces analyses en sous- groupes augmentent le risque d’erreur de première espèce. La multiplication des tests statistiques (un par sous- groupe) augmente la probabi-lité d’obtenir un test significatif uniquement par hasard. Pour minimiser le risque de résultats significatifs par hasard dans les analyses en sous- groupe, il convient alors de définir a priori un petit nombre de sous- groupes. Cette approche s’apparentera à une démarche hypothético- déductive. Selon cette approche, les variables potentiel-lement modératrices sont codées sur la base de justifications théoriques.

4.2 méta- analyses de régression (mra ou mara)

La méta- analyse de régression (ou méta- régression) consiste à régresser les différentes variables supposées modératrices sur la grandeur de l’effet « standardisé », calculée pour chaque étude (Stanley, 2001)1. L’objectif de cette modélisation est d’examiner l’effet simultané de ces variables modératrices sur la grandeur de l’effet. Il s’agit ici d’estimer un modèle de régression multiple qui prend la forme suivante :

Yi = a + b1Ni + g1Xi1 + … + gkXik + d1Ki1 +…+ dnKin + ui

où Yi représente la grandeur de l’effet de l’étude i, a représente la constante qui peut être interprétée ici comme la « vraie » grandeur de l’effet, Ni correspond à la taille de l’échantillon de l’étude i, X correspond à un ensemble de variables muettes représentant certaines caractéristiques associées à l’étude i, K correspond à la valeur moyenne d’une variable quantitative, et ui représente la perturbation aléatoire.

Cette méthodologie nécessite généralement de coder sous forme de variables dichotomiques (ou binaires) les variables qui semblent a priori influencer la grandeur de l’effet (Hunter et al., 1982, p.  119). Le principe d’interprétation de la régres-sion se fait suivant la nature des variables codées. Si les variables explicatives sont codées sous forme qualitative, le modèle de régression appliqué sera une ANOVA (Analysis of Variance). Dans le cas où les variables explicatives sont codées sous forme quantitative, alors le modèle sera une régression linéaire simple ou multiple (selon le nombre de variables explicatives).

Des extensions méthodologiques se sont développées ces dernières années, sous l’impulsion des économistes (Stanley et Doucouliagos, 2012). Le chapitre 3 de cet ouvrage propose une description plus précise de nouvelles méthodes économé-triques permettant notamment de tenir compte du biais de publication.

1 Le chapitre 3 de cet ouvrage est consacré exclusivement à une présentation de la méta- analyse de régression.

Page 45: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 43

4.3 l’approche par les modèles d’équations structurelles (mes)

Cheung (2008) a, quant à lui, proposé une approche méta- analytique origi-nale, dans le cadre des modèles d’équations structurelles (MES), qui peut être exploi-tée pour tester les effets modérateurs. Il convient cependant d’être familier avec les modèles d’équations structurelles et les logiciels spécialisés permettant de traiter ce type de modèles (Amos, LISREL, Mx…)1. Il s’agit d’une approche en trois étapes qui consiste (1) à transformer les grandeurs d’effet, (2) estimer la taille de l’effet ajus-tée puis (3) à identifier les modérateurs à l’aide d’un modèle de causalité.

4.3.1   Transformations afin d’obtenir des erreurs égales  entre les études

Comme nous l’avons vu, les études collectées présentent des variances d’échantillonnage différentes qui vont servir à pondérer les études (cf. supra). La première étape de l’approche MES consiste à « réétalonner » les tailles de l’effet et leurs prédicteurs de façon à ce que chaque étude présente des erreurs d’échantillon-nage équivalentes. Pour ce faire, la racine carrée de la pondération wi (wi = 1/SEi²) va servir de coefficient d’ajustement. Il s’agit ensuite de multiplier la taille de l’ef-fet et ses prédicteurs par ce coefficient (y compris la constante X0) (Cheung, 2008, page 186) comme suit :

ES ES W

X X W

i i i

i i i

=

=

*

*

où ESi* représente la taille de l’effet ajustée de l’étude i

ESi est la taille de l’effet (non ajustée) de l’étude i

Wi est la pondération égale à 1/SEi² de l’étude i

Xi* est la valeur ajustée d’un prédicteur de l’étude i (y compris la constante)

Xi est la valeur d’un prédicteur de l’étude i (y compris la constante)

4.3.2  Estimation de la taille de l’effet commune

Une fois les tailles de l’effet et les prédicteurs ajustés, les analyses menées dans le cadre des modèles d’équations structurelles ne nécessitent plus aucune pon-dération, ce qui facilite la construction et le test des modèles. Afin d’estimer la taille de l’effet moyen (mean effect size), on régresse la taille de l’effet ajustée (ES*) sur la constante ajustée (X0*)2. L’ordonnée à l’origine correspond à une constante égale à 1 qui est ensuite ajustée en utilisant la formule ci- dessus. Bien que ce modèle de régression simple puisse être estimé avec n’importe quel logiciel de statistiques, deux contraintes importantes doivent être prises en compte dans ce modèle et elles imposent l’utilisation d’un progiciel de MES  : (1) il faut fixer la variance de ES* à 1.0 et (2) il faut fixer la constante d’ES* à 0. Une fois ces deux contraintes prises

1 Pour une description des méthodes d’équations structurelles, consulter Kline (2011) et/ou Roussel et al. (2002).2 On régresse Y (la variable à expliquer) sur X (la variable explicative).

Page 46: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies44

en compte, la grandeur d’effet commune est ni plus ni moins que le coefficient de régression de la constante ajustée (b0 dans la figure 1.4).

Path diagram:

Mplus Syntax:

TITLE: Fixed-effects mean DATA: File is Table 1_2014.txt; VARIABLE: NAMES N r Zr W interc;

USEVARIABLES ARE Zr interc; DEFINE: w2 = SQRT(W);

Zr = w2 * Zr; Interc = w2 * interc;

MODEL: [[email protected]]; ! Fixes intercept at 0 [email protected]; ! Fixes variance at 1 Zr ON X1 X2 X3 D_Genre interc; ! Regress transformed Zron transformed moderators

OUTPUT:

Interc* Zr*

1.0*

0*

1

b0 =.420**

Figure 1.4 — Diagramme et syntaxe Mplus permettant d’estimer la taille de l’effet commune (modèle à effets fixes)(d’après Card, 2012, page 221).

4.3.3  Identification des modérateurs potentiels

À partir de ce modèle, il est facile d’ajouter des prédicteurs afin d’évaluer les effets modérateurs de telle ou telle variable qualitative ou quantitative. Il s’agit simplement de pondérer les prédicteurs avec wi et de les ajouter au modèle pré-dictif. En définitive, les résultats obtenus sont identiques à ceux obtenus avec la méta- analyse de régression. Reste que l’utilisation des modèles d’équations structu-relles permet d’incorporer toutes les études, y compris celles qui n’offrent pas d’in-formations sur certaines variables modératrices. La figure 1.5. présente le cas d’un modèle constitué de quatre variables explicatives (quatre modérateurs potentiels, X1, X2, X3 et une dichotomique D_Genre) pouvant agir sur la taille de l’effet (Zr*). Dans cet exemple, la variable genre (homme vs femme) n’est pas significativement associée à la taille de l’effet, réfutant l’hypothèse selon laquelle cette variable puisse être un modérateur de la relation étudiée.

Page 47: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 45

Path diagram:

Mplus Syntax:

TITLE: Moderator analysis DATA: File is Table 1_2014.txt; VARIABLE: NAMES N r Zr W X1 X2 X3 D_Genre Interc;

USEVARIABLES ARE Zr X1 X2 X3 D_Genre interc; DEFINE: w2 =SQRT(W);

Zr=w2*Zr; EC1=w2 * X1 EC2=w2 * X2 EC3=w2 * X3 C_Age=w2 * D_Genre interc=w2 * interc;

MODEL: [[email protected]]; ! Fixes intercept at 0 [email protected]; ! Fixes variance at 1 Zr ON X1 X2 X3 D_Genre interc; ! Regress transforme d Zron transformed moderators

OUTPUT:

Zr*

1.0*

0*

1

Interc*

X1*

X2*

X3*

D_Genre*

b0 = .395*

b4 = –.015

b3 = .148*

b2 = .058

b1 = .423*

Figure 1.5 — Diagramme et syntaxe Mplus permettant d’identifier les variables modératrices (d’après Card, 2012, page 223).

Page 48: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies46

L’utilisation de modèles d’équations structurelles par les méta- analystes est de plus en plus fréquente en sciences sociales. En effet, les MES permettent non seulement d’analyser les effets modérateurs, comme nous venons de le voir, mais aussi d’étudier les relations (directes et/ou indirectes) entre des variables d’intérêt qui n’ont pas été nécessairement examinées par les études originales. Par exemple, considérons 10 études rapportant des résultats sur la relation entre des variables A et B, 10 autres études présentant des résultats sur la relation entre des variables B et C et 5 autres études indiquant des résultats entre des variables C et D. L’inter-corrélation entre les variables A, B, C et D peut alors être estimée bien qu’aucune étude singulière n’ait envisagé d’examiner l’ensemble des variables simultanément. Cette procédure, dite MASEM (Meta- Analytic Structural Equation Modeling), relative-ment récente, s’effectue en deux étapes (Cheung, 2005). La première étape consiste à calculer les coefficients de corrélation entre les différentes variables d’intérêt, à partir de plusieurs méta- analyses indépendantes. La seconde étape consiste à tes-ter le modèle causal (ou path analysis) envisagé, à partir de la matrice des corré-lations obtenue à l’aide de logiciels tels qu’Amos ou LISREL (Viswesvaran et Ones, 1995 ; Cheung et Chan, 2005). Ce type d’approche méta- analytique est particuliè-rement prometteur et laisse entrevoir de nouvelles perspectives de recherche en sciences sociales.

Le cadre méthodologique étant posé, il reste à présenter les résultats de la méta- analyse sous la forme d’un document (article de recherche, rapport, etc.) qui doit respecter un certain nombre de règles sur la forme et sur le fond (cf.  encadré 6).

5. La présentation et l’interprétation des résultats

Les résultats de la méta- analyse se présentent généralement sous la forme d’un tableau comportant : le nombre d’études incluses dans la méta- analyse (k) ; la taille de l’échantillon total (N) ; l’estimation de la grandeur de l’effet commun en combinant l’ensemble des données issues des études réunies dans la méta- analyse. Cette estimation est accompagnée de son intervalle de confiance (généralement au seuil de risque de 5 %) et parfois de l’étendue des grandeurs d’effets ; et enfin le résultat du test d’hétérogénéité (cf. tableau 1.5).

Les résultats de la méta- analyse sont aussi fréquemment représentés sous forme graphique. Il existe plusieurs types de représentation graphique des résultats d’une méta- analyse. La plus courante est la représentation graphique en ligne (ou Forest Plot) qui permet de présenter facilement l’ensemble des résultats issus d’une méta- analyse. Les tailles de l’effet de chaque étude et l’effet estimé dans la popula-tion sont représentés sur le même graphique sous la forme de points (carré ou tiret vertical) entourés par leur intervalle de confiance (trait horizontal). Cette repré-sentation de la distribution des fréquences des valeurs de l’effet mesuré permet de constater que le rejet de l’hypothèse d’homogénéité n’est pas le fait de quelques points dispersés (Light et Pillemer, 1984).

Page 49: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 47

Modérateurs

Échantillon total

Études

États- Unis

Études britanniques

Secteur industriel U.S.

Nombre d’études (k)Taille de l’échantillon (N)Moyenne r

7358 403+ 0.03

(– 0.21 à + 0.26)

5648 481+ 0.04

(– 0.22 à + 0.31)

6755

– 0.19(– 1.00 à + 0.86)

105 004+ 0.12

(– 0.59 à + 0.84)

Médiane r + 0.03 + 0.04 – 0.19 + 0.11

Moyenne pondérée ravec effets fixes

+ 0.01(+ 0.00 à + 0.02)

+ 0.015(+ 0.01 à + 0.02)

– 0.14(– 0.23 à – 0.04)

+ 0.07(+ 0.04 à + 0.10)

Moyenne pondérée ravec effets aléatoires

+ 0.04(+ 0.01 à + 0.06)

+ 0.05(+ 0.02 à + 0.08)

– 0.17(- 0.34 à + 0.01)

+ 0.10(+ 0.01 à + 0.20)

Étendue des rTest d’hétérogénéité Qt

– 0.58 à + 0.47511***

– 0.58 à + 0.47391***

– 0.46 à + 0.09314***

– 0.20 à + 0.4262***

*** p < 0,005 et Intervalle de confiance à 95 % entre parenthèses

Tableau 1.5 — Exemple de présentation des résultats d’une méta- analyse. (Source : Doucouliagos et Laroche, 2003)

Anderson (1992)

Andrew (1987)

Bart (2003)

Johns (1995)

Johnson (2002)

Stewart (2008)

Wilson (1994)

Wright (2011)

Grandeurs d’effet et IC 95%

0.0 0.2 -0.2 0.4 -0.4 0.6 -0.6 0.8 -0.8

Figure 1.6 — Exemple de représentation de la distribution des valeurs de l’effet autour de l’effet dans la population (« vraie » grandeur d’effet)

Dans un deuxième temps, il est nécessaire de présenter les résultats de l’ana-lyse des modérateurs. Un exemple tiré de la méta- analyse de Doucouliagos et Laroche (2003) qui étudient le lien entre la présence syndicale et la productivité du travail est fourni dans le tableau 1.5. Il s’agit ici d’une méta- analyse stratifiée qui repose sur une analyse en sous- groupe afin d’identifier des modérateurs. À la lecture de ces résultats, il apparaît que les études menées en Grande- Bretagne indiquent plus

Page 50: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies48

souvent un lien négatif entre la présence de syndicats et la productivité du travail (r = – 0,17), contrairement au secteur industriel étatsunien (r = + 0,10). Cela étant, le test d’hétérogénéité QT demeure significatif pour le sous- groupe indiquant la pré-sence d’autres modérateurs au sein du groupe d’études britanniques. Des tests com-plémentaires sont nécessaires ici pour conclure définitivement à l’existence d’un lien entre ces deux variables d’intérêt.

Il est également conseillé de présenter une série de tests visant à évaluer le biais de publication. Plus précisément, il est de plus en plus fréquent de trou-ver des graphes en entonnoir (funnel graphs) et des tests de robustesse (Fail- Safe N ou nombre d’études dans le tiroir, par exemple). Le chapitre 4 de cet ouvrage revient précisément sur l’interprétation de ces outils de diagnostic du biais de publication.

6. La rédaction du rapport final

Dans le domaine des sciences sociales, une task force de l’Association amé-ricaine de Psychologie (American Psychological Association, APA) a proposé en 2008 un guide de rédaction et de présentation des travaux méta- analytiques, appelé MARS (Meta- Analysis Reporting Standards). Ce guide est loin d’être exhaustif – et a été par ailleurs complété et adapté par le réseau de méta- analystes en économie et ges-tion, MAER- Net (Meta- Analysis for Economic Research Network)1, en 2013 (Stanley et al., 2013) –, mais il intègre les éléments de base à respecter lors de la présenta-tion d’une méta- analyse.

La partie introductive du rapport ou de l’article, comme pour tout tra-vail scientifique, a vocation à exposer la question de recherche et ses enjeux, définir les principaux concepts mobilisés, et formuler des hypothèses de travail sur la base des théories existantes. Cette étape est importante, car elle va per-mettre de justifier les critères de sélection des études retenues et d’orienter le choix des variables modératrices. Elle va aussi permettre d’identifier les modéra-teurs potentiels qui pourraient faire l’objet d’une investigation plus poussée dans le cadre du travail proposé. En outre, cette partie introductive va permettre au méta- analyste d’assurer le bouclage conceptuel de son travail, en posant les fon-dements et les arguments théoriques qui vont permettre d’interpréter les résul-tats de la méta- analyse.

La partie méthodologie du manuscrit doit permettre au lecteur d’évaluer la fiabilité et la validité de la méta- analyse. Dès lors, il convient d’être le plus pré-cis possible dans la description de la procédure adoptée et de revenir sur les diffé-rentes étapes de la procédure méta- analytique. Quatre aspects de la méthodologie sont incontournables et doivent être abordés dans le rapport final  : la procédure de collecte des études, les critères d’inclusion et d’exclusion des études, le codage des caractéristiques des études et des grandeurs d’effet et enfin, la stratégie d’ana-lyse des données.

1 http://www.hendrix.edu/maer- network/

Page 51: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Introduction à la méthodologie méta- analytique 49

La procédure de collecte des données : La qualité de la méta- analyse est for-tement influencée par la qualité des études qui vont être introduites dans l’analyse. Pour cette raison, il est important de décrire de façon détaillée la procédure de col-lecte des études. Par exemple, si vous avez mené une recherche bibliographique informatisée, il est essentiel d’indiquer quelles bases de données ont été consultées et quels mots clés ont été utilisés.

Les critères d’exclusion et d’inclusion des études : La collecte des données est finalement dépendante de l’idée que l’on se fait du phénomène étudié. Ce constat implique que le lecteur doit avoir une idée précise de la population étudiée qui est définie par les critères d’inclusion et d’exclusion retenus. Dès lors, il est suggéré de présenter un tableau de synthèse indiquant les études qui ont été exclues et pour quelles raisons (doublons, absence d’informations suffisantes pour calculer les gran-deurs d’effet, etc.).

Le codage des caractéristiques des études et de la taille de l’effet  : Il est très important de décrire le processus de codage des études retenues. S’agissant du codage des caractéristiques des études, il convient de décrire la nature des variables utilisées. Il s’agit au minimum de présenter un tableau de synthèse des variables retenues en donnant la définition de chaque variable et son opération-nalisation. Des statistiques descriptives pour chacune d’elle doivent être propo-sées dans le corps du texte ou en annexes. Il est également nécessaire de décrire le codage de la grandeur d’effet et de présenter toutes les corrections d’artefacts éventuellement réalisées.

Stratégie d’analyse de données : Les techniques méta- analytiques étant encore peu maîtrisées par les chercheurs, il est important de présenter la procédure statis-tique adoptée. Il y a au moins cinq éléments de la procédure méta- analytique sur lesquels il faut revenir dans le détail. Premièrement, il convient d’expliquer com-ment a été traitée la question des grandeurs d’effets multiples issues d’une même étude. Deuxièmement, il faut revenir sur le choix des coefficients de pondération retenus dans votre méta- analyse. Troisièmement, il faut décrire le processus d’ana-lyse des tendances centrales des grandeurs d’effet. Avez- vous pris la décision d’uti-liser un modèle à effet aléatoire sur la base d’un test initial d’hétérogénéité ou avez- vous pris cette décision d’utiliser l’un ou l’autre modèle a priori ? Quatrième-ment, il est important de présenter la méthode retenue pour identifier les variables modératrices. Enfin, il convient d’indiquer si le biais de publication a été traité et si oui, de quelle manière.

Le tableau suivant présente de manière synthétique les principaux éléments devant constituer une présentation de travaux méta- analytiques selon le MARS (APA).

Page 52: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Théories et méthodologies50

Section du rapport et thèmes couverts

Description

Titre • Doit être évocateur et doit informer le lecteur qu’il s’agit d’une méta- analyse

• Indiquer les sources de financement éventuelles dans une note de bas de page

Résumé • Problème et relation(s) étudiées• Critères d’éligibilité des études• Méthodes méta- analytiques (effets fixes vs aléatoires,

mixte)• Principaux résultats (grandeurs de l’effet, modérateurs)• Conclusion (y compris limites de l’étude)• Implications théoriques et pratiques

Introduction • Énoncé clair de la question de recherche et du ou des relations faisant l’objet de l’investigation – Contexte historique – Problèmes théoriques et pratiques liés à la question de recherche

– Justification du choix et du codage des modérateurs potentiels

– Nature des designs de recherche adoptés par les études existantes

– Nature des mesures des prédicteurs et des résultats – Population pour laquelle la question est pertinente – Hypothèses, le cas échéant

Méthode

Critères d’inclusion et d’exclusion

• Caractéristiques des variables indépendantes et dépendantes

• Population des participants éligible• Design de recherche éligible• Période couverte• Lieu géographique et/ou contexte culturel

Modérateurs et analyses des modérateurs

• Définition de toutes les variables modératrices codées

Stratégies de recherche des études

• Bases de données utilisées• Mots clés• Période couverte• Autres moyens pour trouver les études existantes

– Demande à des ListServs – Contacts auteurs – Examen des références bibliographiques des études collectées

• Traitement des articles en langue étrangère• Processus afin de déterminer l’éligibilité des études• Format des études collectées (titre, résumé, texte

complet)• Traitement des études non publiées

Page 53: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple
Page 54: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Table des matières

sommaIre.......................................................................................................... 5

IntroductIon................................................................................................... 7

Partie 1 théories et méthodologies

ChaPitre 1IntroductIon à la méthodologIe méta- analytIque................................... 17

1. La préparation de la méta- analyse ........................................................ 20

1.1 La formulation de la question de recherche ........................................ 21

1.2 La recherche des études existantes ..................................................... 21

1.3 Les critères d’inclusion et d’exclusion des études ................................ 22

2. Le codage des études individuelles ....................................................... 24

2.1 L’identification des modérateurs potentiels ......................................... 24

2.2 Le codage et sa vérification ................................................................ 25

3. Le choix et la combinaison des tailles de l’effet ................................ 26

3.1 Le choix d’une métrique commune (ou grandeur d’effet « standardisée ») .... 27

3.1.1 Le cas des recherches expérimentales .......................................... 27

3.1.2 Le cas des recherches de type corrélationnel ............................... 30

3.1.3 Le cas du rapport de cote ou odds ratio (OR) ............................ 32

3.2 La correction des grandeurs d’effet « standardisées » .......................... 34

3.3 Le biais de publication ........................................................................ 35

3.4 La combinaison des grandeurs d’effet « standardisées » ...................... 35

3.4.1 La pondération des résultats ....................................................... 35

3.4.2 Effets fixes vs effets aléatoires ................................................... 36

Page 55: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyse218

4. La recherche des sources d’hétérogénéité des grandeurs d’effet ....... 41

4.1 Méta- analyses stratifiées (en sous- groupes) ........................................ 41

4.2 Méta- analyses de régression (MRA ou MARA) ...................................... 42

4.3 L’approche par les modèles d’équations structurelles (MES) ................. 43

4.3.1 Transformations afin d’obtenir des erreurs égales entre les études .... 43

4.3.2 Estimation de la taille de l’effet commune .................................. 43

4.3.3 Identification des modérateurs potentiels ................................... 44

5. La présentation et l’interprétation des résultats ................................. 46

6. La rédaction du rapport final ................................................................. 48

7. Les logiciels de méta- analyse ................................................................ 52

8. Conclusion ................................................................................................ 54

ChaPitre 2la recherche des varIables modératrIces à l’aIde de la méta- analyse......................................................................................... 59

1. L’approche méta- analytique de Hedges et Olkin (HO) ........................ 60

1.1 Arguments en faveur de l’utilisation de la statistique d’homogénéité Q ... 61

2. Mettre en œuvre des corrections au niveau des études dans la méta- analyse .................................................................................... 62

2.1 Arguments en faveur de l’introduction de corrections ......................... 63

3. Introduire une correction intra- étude dans la procédure de Hedges et Olkin : une procédure en trois étapes ................................ 65

3.1. Étape 1 .............................................................................................. 66

3.2. Étape 2 .............................................................................................. 67

3.3. Étape 3 .............................................................................................. 69

4. Une illustration de l’utilisation de la procédure en trois étapes ....... 70

4.1. Étape 1 .............................................................................................. 70

4.2. Étape 2 .............................................................................................. 71

4.3. Étape 3 .............................................................................................. 72

5. Synthèse et conclusion ........................................................................... 73

ChaPitre 3la méta- analyse de régressIon : proprIétés et utIlIsatIon........................ 77

1. Le problème de la spécification ............................................................. 79

2. La méta- analyse : la combinaison des résultats .................................. 79

3. La méta- analyse de régression (MAR) ................................................... 80

4. Propriétés économétriques et taille de l’effet ...................................... 82

5. L’analyse de méta- régression : opportunités méthodologiques .......... 84

Page 56: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Table des matières 219

ChaPitre 4l’exploratIon du bIaIs de publIcatIon : une descrIptIon des technIques exIstantes................................................ 89

1. Les outils d’investigations graphiques du biais de publication ......... 91

1.1. Les graphiques en entonnoir ou « funnel graphs » ............................. 91

1.2 La représentation radiaire de Galbraith (1988) et la publicationsélective de type II .................................................................................... 95

2. La méta- régression et l’analyse du biais de publication..................... 96

2.1. Test d’asymétrie et correction du biais de publication ....................... 96

2.2. Le test de méta- significativité ou MST (Meta- Significance Testing) ..... 102

2.3. La méta- analyse de régression explicative (MRA – Meta- Regression Analysis) ............................................................... 106

3. L’investigation des études manquantes dans la méta- analyse : le calcul du nombre d’études dans le tiroir (Fail- Safe N) ........................ 109

4. Conclusion ................................................................................................ 111

Partie 2 aPPliCations en sCienCes humaines et soCiales

ChaPitre 5la méta- analyse en scIences de gestIon : deux cas IllustratIfs en management......................................................... 119

1. Collecte de l’ensemble des études existantes sur la question de recherche .................................................................................................. 120

2. Choix des études et contrôle des biais de sélection ........................... 122

3. Analyse des résultats .............................................................................. 124

3.1 Mesure des grandeurs d’effet ............................................................... 124

3.2 Contrôle des biais de publication ........................................................ 126

3.3 Mesure de la grandeur d’effet commune et évaluation de l’hétérogénéité des grandeurs d’effet .................................................... 127

4. Conclusion ................................................................................................ 133

ChaPitre 6une analyse systématIque du bIaIs de sélectIon sur le test de feldsteIn et horIoka................................................................................ 135

1. Le paradoxe de Feldstein- Horioka ......................................................... 137

2. Bases de données .................................................................................... 141

3. Détection du biais de publication ......................................................... 145

3.1 Analyse graphique ............................................................................... 145

3.2 Évaluation économétrique du biais de publication .............................. 148

Page 57: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La méta-analyse220

4. Comment expliquer ce biais ?................................................................. 155

4.1 Variables modératrices ......................................................................... 156

4.2 Autres méta- variables .......................................................................... 158

4.3 Discussion des résultats....................................................................... 158

5. Conclusion ................................................................................................ 162

ChaPitre 7la méta- analyse en psychologIe organIsatIonnelle de la santé : défInItIon et IllustratIon............................................................................... 169

1. Un exemple de méta- analyse : l’étude du burn- out en situation de travail ................................................................................. 174

1.1 Méthodologie et stratégie d’analyse .................................................... 175

1.2 Procédure ............................................................................................ 176

1.3 Population ........................................................................................... 176

2. Résultats ................................................................................................... 176

2.1 Métacorrélations des variables organisationnelles et/ou individuelles avec la dimension de l’épuisement émotionnel ............ 176

2.2 Métacorrélations des variables organisationnelles et/ou individuelles avec la dimension dépersonnalisation .......................... 179

2.3 Métacorrélations des variables organisationnelles et/ou individuelles avec la dimension d’accomplissement personnel .......... 182

3. Conclusion ................................................................................................ 185

4. Limites de l’étude .................................................................................... 185

ChaPitre 8l’Impact du contact tactIle sur l’acceptatIon d’une requête : une IllustratIon de l’Intérêt de la méta- analyse en scIences du comportement........................................................................................... 191

1. L’influence du toucher sur l’acceptation de requêtes .......................... 192

2. Méthode .................................................................................................... 193

2.1 Principe de la méta- analyse ................................................................ 193

2.2 La recherche documentaire .................................................................. 193

2.3 L’indicateur de l’importance de l’effet ................................................. 194

3. Résultats : mesure de l’importance de l’effet du toucher ................... 195

3.1 Culture et contact tactile .................................................................... 199

3.2 Genre et contact tactile ...................................................................... 201

4. Discussion générale ................................................................................. 203

5. Conclusion ................................................................................................ 205

Page 58: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

Table des matières 221

ConClusionapports et lImItes de la méta- analyse......................................................... 209

présentatIon des auteurs.............................................................................. 213

Page 59: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple
Page 60: Méthodes et applications en sciences socialesriques d’études singulières pour en faire une synthèse reproductible et quantifiée. La méta-analyse va bien au-delà de la simple

La m

éta

-ana

lyse

Patr

ice

LA

ROC

HE

La méta-analyseMéthodes et applications en sciences sociales

La méta-analyse est plus que jamais une démarche indispensable pour synthétiser les résultats des études scientifiques.

Cet ouvrage expose les principales techniques d’analyse statistique utilisées afin d’agréger les résultats des études empiriques existantes. Il s’organise en deux parties : la première détaille de manière didactique les méthodes de méta-analyse et fait le point sur les derniers développements théoriques et méthodologiques les concernant ; la seconde présente plusieurs applications de la méta-analyse dans le champ des sciences sociales, notamment en psychologie, économie et gestion.

Cet ouvrage s’adresse aux chercheurs et experts en sciences humaines et sociales souhaitant mettre en œuvre une méta-analyse ou qui sont confrontés à l’analyse d’études recourant à ces techniques. Véritable guide alliant rigueur scientifique et accessibilité, il intéressera aussi les étudiants de 2e et 3e cycles en sciences humaines et sociales.

Patrice LAROCHE Docteur et agrégé des Universités en sciences de gestion, Patrice Laroche est professeur de gestion des ressources humaines à ESCP-Europe et membre honoraire de l’Institut Universitaire de France. Ses domaines d’enseignements et de recherche sont la gestion des ressources humaines, les relations professionnelles et les méthodes de recherche. Spécialiste des approches méta-analytiques, il

a publié une série d’études dont l’outil d’investigation est la méta-analyse et des travaux d’essence plus méthodologique consacrés à cette procédure de recherche. Il est également l’auteur de deux ouvrages consacrés aux relations sociales en entreprise.

Ont également contribué à la rédaction de cet ouvrage :Herman Aguinis, Yannick Bineau, Chris (Hristos) Doucouliagos, Nicolas Guéguen, Stephen B. Jarrell, Robert-Vincent Joule, Marcel Lourel, Charles A. Pierce, Christophe Revelli et Tom D. Stanley.

ISBN 978-2-8041-9009-5METANA

ISSN 1781-4944 www.deboeck.com

http://noto.deboeck.com : la version numérique de votre ouvrage• 24h/24, 7 jours/7• Offline ou online, enregistrement synchronisé• Sur PC et tablette• Personnalisation et partage