Méthodes pour faire la synthèse d’études sans groupes témoins

Juin 2009

Méthodes pour faire la synthèse d’études sans groupes témoins

Donna Fitzpatrick-Lewis • Donna Ciliska • Helen Thomas

www.ccnmo.ca

2

3

Méthodes pour faire la synthèse d’études sans groupes témoins

Preparé pour le Centre de collaboration nationale des méthodes et outils par

Donna Fitzpatrick-Lewis • Donna Ciliska • Helen Thomas

Juin 2009

Centre de collaboration nationale des méthodes et outils (CCNMO)

Université McMaster

1685, rue Main Ouest, bureau 302

Hamilton, Ontario L8S 1G5

Téléphone : 905.525.9140, poste 20455

Télécopieur : 905.529.4184

Web: www.ccnmo.ca

Financé par l’Agence de la santé publique du CanadaAffilié à l’Université McMasterLa production de ce document a été rendue possible grâce à l’aide financière de l’Agence de la santé publique du Canada.Les opinions exprimées ici ne représentent pas nécessaire-ment celles de l’Agence de la santé publique du Canada.

mackint

Text Box

Pour citer sette ressource : Fitzpatrick-Lewis, D., Ciliska, D., & Thomas, H. (2009). Méthodes pour faire la synthèse d'études sans groupes témoins. Hamilton, ON: Centre de collaboration nationale des méthodes et outils. [http://www.nccmt.ca/pubs/non-RCT2_FR.pdf]

4

5

Table des matiéres

Principales recommandations : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

Sommaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12Méthodes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13Pertinence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13Synthèse des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Constatations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15Outils d’évaluation critique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15Examens systématiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21Méthodes pour faire la synthèse d’études quantitatives sans groupes témoins 28Combiner des études qualitatives et quantitatives . . . . . . . . . . . . . . . . . . . . . . 31Études comparant les résultats selon des méthodes différentes . . . . . . . . . . . 32

Discussion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34

Recommandations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Tableau résumant les résultats des documents pertinents. . . . . . . . . . . . . . . . . . . . 38

Références bibliographiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

6

Principales recommandations :1. Intégrer des études sans groupes témoins dans les examens systématiques, en

particulier quand il n’y a aucune autre étude à prendre en compte. Les études sans groupes témoins peuvent aussi renseigner sur l’efficacité à long terme, les cas rares et les effets néfastes.

2. Éviter de généraliser l’orientation des écarts de revenu entre les études sur échan-tillon aléatoire et celles sur échantillon non contrôlé. Bien que les effets soient plus souvent de moindre envergure dans les essais sur échantillon aléatoire et contrôlé (EEAC), certains donnent des résultats inverses ou identiques quel que soit le modèle d’étude.

3. Adopter l’approche de Whittemore et Knafl (2005) selon laquelle il faut inclure les résultats d’essais sur échantillon non aléatoire. Whittemore et Knafl proposent une méthode d’examen par intégration en cinq étapes qui englobe la définition des problèmes, le dépouillement documentaire ainsi que l’évaluation, l’analyse et la présentation des données.

4. Recommandations concernant les méthodes d’examen systématique, incluant les études sans groupes témoins :

a) utiliser un outil d’évaluation critique dont l’uniformité interne, la fiabilité de test-retest, le coefficient d’objectivité et, à tout le moins, la validité appar-ente et de critère ont été éprouvés (Downs et Black, 1998; Slim, Nini, For-estier et coll., 2003; Steuten, Vrijhoef, van-Merode et coll., 2004; Thomas, Ciliska, Dobbins et coll., 2004a; Zaza, Wright-De Aguero, Briss et coll., 2000);

b) éviter de méta-analyser les résultats d’études par observation.5. Suggestions aux auteurs d’études primaires :

a) assurer un modèle d’étude solide et transparent dans tous les essais sur échantillon non aléatoire;

b) confirmer que la question de recherche détermine le modèle d’étude;c) inclure des renseignements détaillés sur l’étude; s’il manque de

l’information, les lecteurs ne pourront déterminer ce qui a été fait ou non dans le modèle d’étude;

d) garantir l’uniformité de la terminologie et des descriptions dans toutes les études sur échantillon non aléatoire afin de faciliter les comparaisons.

6. Répercussions sur les recherches ultérieures :a) effectuer des essais de fiabilité et de validité sur les outils d’évaluation

critique; b) mener d’autres études pour évaluer les divers résultats obtenus par des

essais sur échantillon aléatoire ou non. 7. Il est difficile d’inclure des données provenant d’essais sur échantillon non aléa-

toire; cependant, cela peut offrir plusieurs avantages :a) un ensemble de documentation plus large peut être inclus dans les straté-

7

gies de recherche (Thomas, Harden, Oakley et coll., 2004);b) la portée des questions auxquelles on peut répondre peut être élargie; c) l’étude permet d’établir pourquoi, comment et pour qui les interventions ou

les programmes réussissent ou échouent (Oliver, Harden, Rees et coll., 2005).

8

Sommaire

Actuellement, il n’existe aucun modèle standard pour faire la synthèse des études sans groupes témoins. Le présent document a pour objet d’examiner les méthodes de synthèse, les outils d’évaluation critique et les études portant sur l’évaluation et la synthèse des études sans groupes témoins. Les EEAC sont réalisables en situation clinique, mais les interven-tions en santé publique peuvent rarement reproduire l’environnement contrôlé de la clinique. Les chercheurs, les responsables de l’élaboration des politiques et les décideurs en matière de pratique doivent souvent se fier à d’autres genres de modèles d’étude comme source de données probantes. Le présent document exposera dans leurs grandes lignes les pré-cautions à prendre quand il s’agit d’inclure des études sur échantillon non contrôlé comme données probantes, et il recommande des outils efficaces pour analyser les résultats de ces genres d’études.

Méthodes

Avec l’aide d’un bibliothécaire, cinq bases de données électroniques ont été interrogées par mots clés. De plus, les références bibliographiques de tous les articles pertinents et de toute la littérature grise ont été dépouillées.

Un article répondait au critère de pertinence : s’il s’agissait d’une étude primaire comparant les résultats de la même intervention • effectuée à l’aide d’EEAC ou d’études sans groupes témoins; s’il s’agissait d’une synthèse de méthodes employées pour examiner des études • sans groupes témoins; si au moins il incluait l’une des méthodes suivantes : cohorte de groupes (avant-• après ou juste après), modèle transversal, séries chronologiques interrompues (SCI) ou méthodes mélangées; s’il avait été publié entre 1995 et novembre 2007.•

Un document était exclu : si l’accent était mis sur les EEAC, les essais cliniques sur échantillon contrôlé ou • les études sur échantillon quasi-aléatoire; si l’accent était mis sur une étude analytique de cohortes (avant-après sur au • moins deux groupes); si l’étude était seulement qualitative;• s’il avait été publié avant 1995.•

La mise à l’épreuve de la pertinence a été concluante dans le cas de trente-six documents, et ceux-ci ont fait l’objet d’une extraction de données complète. Bon nombre des études in-cluses étaient fondées sur l’observation. Il est important de noter que même si ces dernières études sont définies de bien des façons, seules celles qui avaient été menées sans groupes témoins ont été incluses dans le présent document.

9

Constatations

Quatorze articles fournissaient des outils d’évaluation critique pouvant aider à juger de la ri-gueur méthodologique des études primaires. Dans le cas d’un examen systématique, celles-ci devraient inclure une évaluation de leur qualité. Un outil d’évaluation critique est essentiel quand il s’agit de passer au crible les données probantes provenant d’études primaires sans groupes témoins. Ces outils peuvent renseigner sur les forces et les faiblesses de l’information. Ils aident le lecteur à évaluer la qualité méthodologique, à gérer les variables confusionnelles, à déterminer les biais possibles et à effectuer une analyse des données. Ils sont particulièrement utiles lorsque les critères d’évaluation des EEAC ne sont pas applica-bles. Dans bon nombre des cas, leur validité et leur fiabilité n’ont pas été mises à l’épreuve, ce qu’il serait sage de faire comme prochaine étape.

Onze examens systématiques comprenaient des études primaires sans groupes témoins, ou visaient à vérifier si les outils d’évaluation critique permettaient d’évaluer la qualité des études sans groupes témoins. Les examens destinés à vérifier s’il était possible de com-biner les résultats d’EEAC et d’essais sur échantillon non aléatoire et contrôlé portent à croire que les études bien conçues peuvent donner des résultats semblables, peu importe leur genre. Bon nombre de ces examens portent à croire qu’une mauvaise réalisation de la méthode des études primaires nuit à la qualité plutôt qu’à la méthode elle-même. Lorsque l’on a tenté de comparer les données d’une étude à l’autre, il s’est avéré que la sous-com-munication des méthodes employées, la mauvaise gestion des variables confusionnelles et l’absence de terminologie analytique uniforme pouvaient être problématiques.

Six documents portaient sur diverses manières de faire la synthèse des données quantita-tives découlant d’études sans groupes témoins et de les intégrer. Les auteurs ont conv-enu qu’il est avantageux d’intégrer des données probantes provenant de divers modèles d’étude, mais l’évaluation de la qualité est primordiale lorsqu’il s’agit de fournir des don-nées probantes dignes de confiance. Les études primaires où le biais possible et l’impact ou l’effet probable sont clairs peuvent être intégrées dans les examens systématiques de manière utile.

Trois articles décrivaient les méthodes employées pour faire la synthèse de données prov-enant à la fois d’études qualitatives et quantitatives. Intégrer des données qualitatives et quantitatives dans un rapport peut contribuer à faire comprendre la réussite ou l’échec des interventions. Évaluer la qualité des études sans groupes témoins peut être problématique, surtout si la qualité est évaluée selon des critères traditionnels utilisés pour des examens systématiques ou des méta-analyses. Les résultats de l’évaluation de la qualité n’ont pas servi de critère d’exclusion, mais il pourra en être question lorsqu’il s’agira d’aborder les constatations. Il a été proposé de regrouper les constatations suivant une méthode thé-matique et globale comme autre approche appropriée à la méta-analyse. Les chercheurs pouvaient aussi intégrer certains des processus utilisés dans les examens systématiques, comme le fait de demander à deux personnes d’examiner et d’extraire les données. La plu-part des auteurs ont suggéré une approche narrative à la présentation des résultats, quand la méta-analyse ne convenait pas.

Deux documents visaient à comparer les résultats de différentes méthodes appliquées à la même intervention. Ces articles soulignaient qu’il est utile de tenir compte de différents

10

modèles dans les examens. Non seulement il peut s’agir des meilleurs renseignements qui existent, mais ils permettent aussi de répondre aux questions concernant l’efficacité à long terme, les situations négatives et les cas rares. Les forces de l’inclusion de différents modèles dans les examens l’emportent sur les limites.

Recommandations

1. Intégrer des études sans groupes témoins dans les examens systématiques, en particulier quand il n’y a aucune autre étude à prendre en compte. Les études sans groupes témoins peuvent aussi renseigner sur l’efficacité à long terme, les cas rares et les effets néfastes.

2. Éviter de généraliser l’orientation des écarts de revenu entre les études sur échan-tillon aléatoire et celles sur échantillon non contrôlé. Bien que les effets soient plus souvent de moindre envergure dans les essais sur échantillon aléatoire et contrôlé (EEAC), certains donnent des résultats inverses ou identiques quel que soit le modèle d’étude.



a) utiliser un outil d’évaluation critique dont l’uniformité interne, la fiabilité de test-retest, le coefficient d’objectivité et, à tout le moins, la validité appar-ente et de critère ont été éprouvés (Downs et Black, 1998; Slim, Nini, For-estier et coll., 2003; Steuten, Vrijhoef, van-Merode et coll., 2004; Thomas, Ciliska, Dobbins et coll., 2004a; Zaza, Wright-De Aguero, Briss et coll., 2000);






6. Répercussions sur les recherches ultérieures :a) effectuer des essais de fiabilité et de validité sur les outils d’évaluation

critique;

11

b) mener d’autres études pour évaluer les divers résultats obtenus par des essais sur échantillon aléatoire ou non.

7. Il est difficile d’inclure des données provenant d’essais sur échantillon non aléa-toire; cependant, cela peut offrir plusieurs avantages :

a) un ensemble de documentation plus large peut être inclus dans les straté-gies de recherche (Thomas, Harden, Oakley et coll., 2004);

b) la portée des questions auxquelles on peut répondre peut être élargie; c) l’étude permet d’établir pourquoi, comment et pour qui les interventions ou


12

Introduction

Les politiques et la pratique en santé publique ont surtout pour but de protéger la santé des gens. Afin d’atteindre ce but, les professionnels de la santé publique tiennent compte des données probantes quand ils prennent des décisions. Lorsqu’il s’agissait d’analyser l’efficacité d’interventions, les scientifiques ont toujours préféré le modèle d’étude fondé sur des essais sur échantillon aléatoire et contrôlé (EEAC) pour obtenir les résultats les moins biaisés. Un EEAC peut procurer des résultats d’étude rigoureux du point de vue de l’efficacité. Cependant, ce ne serait peut-être pas le meilleur modèle d’étude à employer pour d’autres genres de questions de recherche (DiCenso, Prevost, Benefield et coll., 2004). En promotion de la santé publique et de la santé en général, il pourrait s’avérer difficile d’utiliser des essais sur échantillon aléatoire pour une question précise. Cela signifie-t-il que nous devrions laisser de côté les données probantes découlant d’autres méthodes? Cer-tains chercheurs estiment que seuls les EEAC ont la rigueur scientifique nécessaire pour produire des données probantes valables.

En situation clinique, il est possible d’effectuer des EEAC. Mais les interventions en santé publique permettent rarement de reproduire l’environnement contrôlé de la clinique. Ces interventions sont souvent communautaires, et le recrutement peut s’avérer difficile, ce qui crée un biais de sélection. Par conséquent, il peut s’avérer impossible d’assurer la pureté des groupes témoins sans qu’ils soient intercontaminés. Les chercheurs en santé publique doivent souvent se fier à d’autres genres de modèles d’étude, qui occupent souvent un rang inférieur dans la « hiérarchie des données probantes » (Ogilvie, Egan, Hamilton et coll., 2005). Toutefois, les études par observation, par exemple, peuvent fournir des renseigne-ments précieux lorsqu’il s’agit de prendre des décisions de santé publique. Les données qualitatives peuvent compléter les données statistiques en nous aidant à comprendre pour-quoi et comment une intervention a réussi ou échoué et qui était en cause. Il existe toute une documentation sur les méthodes de synthèse des études qualitatives (méta-synthèses), mais ces méthodes dépassent la portée du présent document.

Étant donné que le risque de biais est plus grand dans les études par observation, celles-ci sont souvent exclues des examens systématiques de traitements. Toutefois, elles offrent plusieurs avantages par rapport aux EEAC : elles sont moins coûteuses, elles permettent un échantillonnage plus large, et elles procurent des mesures de résultats à plus long terme (Benson et Hartz, 2000). De plus, les études par observation peuvent fournir les « meil-leures données probantes qui soient » dans certaines situations (Ogilvie et coll., 2005).

À l’heure actuelle, il n’existe aucun modèle standard pour faire la synthèse des résultats d’études sans groupes témoins. Le présent document a pour objet d’examiner les méth-odes de synthèse, les outils d’évaluation critique et les études visant à évaluer les résultats d’études quantitatives sans groupes témoins et à en faire la synthèse. Il exposera aussi dans leurs grandes lignes certaines précautions à prendre lorsqu’il s’agit d’utiliser des études sur échantillon non contrôlé comme données probantes, et il présentera des recom-mandations de processus et d’outils.

13

Méthodes

Voici les méthodes qui ont été employées pour recueillir la documentation aux fins du présent document :

un dépouillement exhaustif de la documentation publiée de janvier 1995 à octobre • 2007; l’examen et la récupération de références bibliographiques tirées d’articles perti-• nents; le dépouillement et la récupération de littérature grise pouvant être pertinente.•

La recherche initiale a été effectuée par un bibliothécaire qualifié, à l’aide des mots clés suivants : review (examen), systematic review (examen systématique), literature review (examen documentaire), meta-analysis (méta-analyse), not random (non aléatoire) et not randomized clinical trials (essais cliniques sur échantillon non aléatoire). Ces recherches par mots clés ont été effectuées dans plusieurs bases de données : PsycINFO, OVID MED-LINE, EMBASE, CINAHL et Scholars Portal. La recherche initiale a permis de trouver 9324 articles potentiellement pertinents. Les titres et les résumés ont été lus indépendamment par deux examinateurs, qui ont passé en revue 182 articles pour mettre pleinement leur perti-nence à l’épreuve.

Pertinence

Un article faisait l’objet d’une mise à l’épreuve complète de sa pertinence : s’il s’agissait d’une étude primaire comparant les résultats de la même intervention • effectuée à l’aide d’EEAC ou d’études sans groupes témoins; s’il s’agissait d’une synthèse de méthodes employées pour examiner des études • sans groupes témoins; si au moins il incluait l’une des méthodes suivantes : cohorte de groupes (avant-• après ou juste après), modèle transversal, séries chronologiques interrompues (SCI) ou méthodes mélangées; s’il avait été publié entre 1995 et novembre 2007.•

Un document était exclu : si l’accent était mis sur les EEAC, les essais cliniques sur échantillon contrôlé ou • les études sur échantillon quasi-aléatoire; si l’accent était mis sur une étude analytique de cohortes (avant-après sur au • moins deux groupes); si l’étude était seulement qualitative;• s’il avait été publié avant 1995.•

La mise à l’épreuve de la pertinence a été concluante dans le cas de trente-six documents, et ceux-ci ont fait l’objet d’une extraction de données complète. Bon nombre des études in-cluses étaient fondées sur l’observation. Il est important de noter que même si ces dernières études sont définies de bien des façons, seules celles qui avaient été menées sans groupes

14

témoins ont été jugées pertinentes.

Synthèse des données

Les chercheurs ont fait la synthèse de 36 documents sous une forme narrative, par sujet : outils d’évaluation critique• examens systématiques• méthodes de synthèse des études quantitatives sans groupes témoins• études qualitatives et quantitatives combinées• comparaison de résultats suivant des méthodes différentes•

Certains documents auraient pu être inclus dans plusieurs sections. Toutefois, nous avons classé les documents dans les groupes qui semblaient leur convenir le mieux.

Le document donne un résumé narratif des documents pertinents. Les résultats sont aussi exposés en détail sous forme de tableaux (reportez-vous à l’annexe 1).

15

Constatations

Outils d’évaluation critique

En tout, 14 documents décrivaient des outils d’évaluation critique.

Rangel, Kelsey, Colby et coll. (2003) se sont penchés sur l’absence d’un outil de mesure standard pour déterminer la qualité des études par observation. Ils ont mis au point un instrument d’évaluation de la qualité pour les études sur échantillon non aléatoire qui en-globaient 30 éléments dans trois sous-échelles. Les sous-échelles servaient à évaluer la pertinence clinique, la méthode de communication et la force des conclusions. Les cotes globales ont été établies par combinaison de chaque sous-échelle, et les études étaient ainsi cotées comme étant « bonnes », assez bonnes » ou « mauvaises ». Le coefficient d’objectivité était élevé quand les degrés d’entente atteignaient une concordance de résul-tats de 84,6 % (n = 1573 éléments). Pour l’ensemble des sous-échelles, il allait de 73,3 % à 85,8 % (n = 60 à 1258). Voici les applications possibles de cet outil :

favoriser la mise au point d’une méthode standard pour les examens systéma-• tiques de données rétrospectives; aider à créer une stratégie de méta-analyse des essais sur échantillon non aléa-• toire; élaborer des lignes directrices standard de communication pour les revues exami-• nées par les pairs.

Margetts et coll. (1995) ont mis au point un système de notation pour juger de la qual-ité scientifique des études épidémiologiques par observation établissant un lien entre l’alimentation et le risque de cancer. Les études cas-témoin et de cohortes ont été exami-nées séparément, car certains des repères de fiabilité s’appliquaient seulement à l’un de ces genres d’études. Les études cas-témoin ont été notées dans trois grands domaines : la qualité de l’évaluation alimentaire, le recrutement des sujets et l’analyse des résultats. Les études de cohortes ont été notées dans quatre domaines : l’évaluation alimentaire, la défi-nition des cohortes, la confirmation des cas de maladie et l’analyse des résultats. Le coef-ficient d’objectivité a été évalué et a donné lieu à un degré d’accord élevé entre les exami-nateurs, les examinateurs de cohortes s’étant entendus légèrement mieux que les autres. Ce prototype de système de notation a permis aux auteurs de décrire les données épidémi-ologiques sur l’alimentation et le cancer. Cependant, il se peut qu’il ne puisse être appliqué à d’autres sujets.

Downs et Black (1998) ont dressé et mis à l’épreuve une liste de contrôle pour évaluer les études sur échantillon aléatoire ou non aléatoire. Pour la créer, ils se sont servis de princi-pes d’épidémiologie, d’examens de modèles d’étude et de listes de contrôle existantes. La liste est composée de 26 éléments répartis en cinq sous-échelles :

communication• validité externe• biais•

16

confusion • puissance•

La note maximum a été de 31. Vingt-trois des questions auraient pu être posées pour n’importe quelle étude sur n’importe quelle intervention de soins de santé. Les trois autres étaient propres à un sujet et destinées à fournir aux évaluateurs des renseignements sur les variables confusionnelles, les résultats principaux et la taille d’échantillon requise pour qu’elle revête une importance clinique et statistique (p<0,05). L’indice de qualité était très uniforme à l’interne, avait une bonne fiabilité de test-retest et un bon coefficient d’objectivité et était très valable tant en apparence que suivant les critères. La liste était aussi efficace que les autres listes de contrôle établies pour les essais sur échantillon aléatoire, et il y avait peu de différence quant à son efficacité avec les études sur échantillon aléatoire ou non.

Afin de s’attacher au manque d’instruments validés pour mesurer la qualité des essais par observation ou sur échantillon non aléatoire, Slim et coll. (2003) ont mis à l’essai un indice méthodologique pour les études sur échantillon non aléatoire (MINORS). Cet outil comprend 12 points (les huit premiers concernent spécifiquement les essais non comparatifs) :

un objectif clairement énoncé• l’inclusion de patients consécutifs• une collecte prospective des données• des critères convenant à l’objectif de l’étude• une évaluation impartiale des critères de l’étude• une période de suivi appropriée à l’objectif de l’étude• un suivi impossible dans moins de 5 % des cas• un calcul prospectif de la taille de l’étude• un groupe témoin adéquat• des groupes contemporains• une équivalence de base des groupes• une analyse statistique adéquate•

Cet outil offrait une bonne fiabilité, une bonne uniformité interne et une bonne validité.

Zaza et coll. (2000) ont créé un format pour classifier et fournir des éléments descriptifs d’inventions en santé publique et pour évaluer la qualité d’exécution de l’étude. Les auteurs ont reconnu que tous les modèles d’étude présentent des difficultés propres. Par con-séquent, les questions de qualité ont été élaborées en fonction de celles-ci. Par exemple, les auteurs ont laissé entendre que même si le traitement à l’aveugle est un élément im-portant à considérer dans le cas des essais sur échantillon aléatoire, il n’est pas approprié d’évaluer la validité suivant un modèle à séries chronologiques. Zaza et coll. ont donné des catégories de questions pour évaluer les menaces possibles à la validité des résultats dans les études primaires, y compris :

la description de l’invention• l’échantillonnage•

17

la fiabilité et la validité des mesures de résultat• l’opportunité de l’analyse statistique• l’interprétation des résultats•

Leur approche avait notamment pour objectif de concevoir un outil assez flexible pour pou-voir servir à évaluer des modèles d’étude et des interventions divergents. Le formulaire et la procédure standard de résumé ont amélioré la validité et la fiabilité du Guide to Community Prevention Services: Systematic Reviews and Evidence-Based Recommendations (guide des services communautaires de prévention : examens systématiques et recommandations fondées sur des données probantes).

Greer et coll. (2000) ont présenté et abordé un système de notation des données probantes qui a été mis au point par l’Institute for Clinical Systems Improvement (ICSI). Cette approche a été créée à la suite d’une rétroaction selon laquelle un système existant ne fonctionnait pas. Le système a pour but d’aider les professionnels occupés qui doivent juger de la qualité de données probantes. Après avoir examiné bien d’autres systèmes de notation, le groupe de travail de l’ICSI a convenu qu’il importait de séparer l’évaluation des rapports de recher-che et de celle de l’ensemble des données probantes appuyant la conclusion. La feuille de calcul subséquente pour la notation des données probantes (l’outil primaire) comprenait un énoncé de conclusion, un résumé des rapports de recherche qui appuient ou mettent en doute la conclusion, l’attribution des catégories et des indicateurs de qualité aux rapports de recherche et l’attribution d’une note à la conclusion. Les rapports primaires de nouvelle collecte de données se sont vus attribuer une note à lettre de A à D, selon le genre d’étude : EEAC, étude de cohortes, essai sur échantillon non aléatoire avec groupes témoins con-currents ou historiques, étude cas-témoin, étude de sensibilité et de spécificité d’un essai diagnostic, étude descriptive fondée sur la population, étude transversale, séries de cas ou rapport de cas. Le rapport comprenait aussi un système de qualité en cinq points pour coter les attributs positifs et négatifs des modèles d’étude, où les cotes étaient positives, néga-tives ou neutres. Voici quelles étaient les questions :

critère d’inclusion ou d’exclusion a priori • biais• résultats statistiquement ou cliniquement significatifs• applicabilité des résultats à d’autres populations• modèle d’étude clairement établi•

Le système a été appliqué à plus de 40 lignes directrices et rapports d’évaluation tech-nologique de l’ICSI. Les auteurs ont signalé qu’il semble réussir à réduire la complexité d’autres systèmes de notation, bien qu’il produise une classification défendable des conclu-sions fondée sur la force des données probantes sous-jacentes.

Steuten et coll. (2004) ont critiqué les outils utilisés pour évaluer la qualité méthodologique de l’évaluation des technologies de la santé (ÉTS) pour la gestion des maladies. Les au-teurs ont dressé une liste de problèmes qui surviennent lorsqu’il s’agit d’évaluer des études d’ÉTS, y compris : le modèle d’étude (EEAC ou essai par observation), les critères de sélection et de limitation des patients, les mesures de base et de résultat, le traitement à l’aveugle des patients et des fournisseurs, la description des interventions complexes à fac-

18

ettes multiples, et l’évitement des co-interventions. Ils ont créé, proposé et validé un nouvel instrument pour évaluer la qualité méthodologique de l’ÉTS pour la gestion des maladies qui comprend quatre éléments :

population à l’étude• description de l’intervention• mesure des résultats• analyse ou présentation des données•

L’instrument compte 15 éléments qui englobent la validité interne, la validité externe et les considérations statistiques. Il est fiable du point de vue du classement hiérarchique, de la fiabilité de test-retest et du coefficient d’objectivité lorsqu’il est question des ÉTS pour la gestion des maladies.

Deux rapports (Chou et Helfand, 2005; McIntosh, Woolacott et Bagnall, 2004) ont laissé en-tendre que les preuves de préjudice sont aussi importantes que celles d’effet. Cependant, les examens systématiques standard axés sur l’efficacité et les essais sur échantillon aléatoire peuvent ne pas représenter un modèle efficace d’évaluation des préjudices. La documenta-tion sur les préjudices se trouve dans des essais non publiés, des études par observation et de la littérature grise. Appliquer des listes de contrôle de la qualité actuelles à cet ensemble de données s’est avéré problématique et ne permettait pas volontiers de rendre les genres d’information qui concernaient les effets nocifs. McIntosh et coll. ont adapté des listes de con-trôle publiées pour traduire l’information sur les effets nocifs qui se trouvait dans les études de cohortes par observation. Cette nouvelle liste de contrôle comprenait aussi des éléments comme comment et quand les événements ont été signalés, et si le moment où ils ont eu lieu pendant l’étude a été enregistré. Toutefois, le pire obstacle à l’application de toute liste de contrôle a été le manque de détails méthodologiques fournis par les auteurs des études primaires. Les chercheurs ont aussi inclus des états narratifs des résultats. Chou et Helfand (2005) ont examiné des comptes rendus de cas et des études par observation sur les effets nocifs de traitements. Ils ont aussi éprouvé des difficultés à évaluer la qualité, car les instru-ments qui auraient pu servir à évaluer ces genres d’études étaient rares ou incohérents. La rigueur d’élaboration, la portée et le nombre et le genre d’éléments utilisés étaient tous des questions litigieuses. Ils ont procédé à des essais pilotes sur un outil d’évaluation de la qualité pour les EEAC, les essais cliniques sur échantillon contrôlé et les études de cohortes dans le cas d’une série d’interventions chirurgicales non contrôlées où l’on signalait des complications découlant de l’endartériectomie de la carotide. Cet outil en huit points indi-quait bon, assez bon ou mauvais. L’outil était mis à l’épreuve sur des études concernant une intervention. Les auteurs ont prévenu les chercheurs d’éviter le regroupement inapproprié de résultats statistiques provenant d’études par observation, étant donné le risque de biais dû au mauvais contrôle des variables confusionnelles et de biais de sélection.

Le GRADE Working Group (Atkins, Briss, Eccles et coll., 2005) a fait état de la mise au point et de l’essai pilote de l’approche GRADE à l’évaluation des données probantes et des recommandations. Douze profils de données probantes ont été cotés indépendamment par 17 juges qui étaient tous versés en utilisation d’autres approches à l’évaluation de don-nées probantes et de recommandations. Chaque profil de données probantes reposait sur les renseignements fournis dans un examen systématique et comprenait deux tableaux,

19

un pour l’évaluation de la qualité et un pour le résumé des constatations. Le processus d’évaluation de la qualité était conçu pour que chaque résultat soit évalué séparément. Le tableau des résultats présentait le nombre d’études où figurait le résultat en question, le modèle d’étude (EEAC ou par observation) et la qualité des études. L’évaluation de la qualité des résultats a révélé que le jugement de l’examinateur sur la qualité était influencé par d’autres facteurs que le modèle d’étude, la qualité, l’uniformité et la franchise. Ces au-tres facteurs étaient les données éparses, les solides associations, les biais de publication, la réaction aux doses et les situations où toutes les variables confusionnelles plausibles ren-forçaient la confiance envers l’orientation de l’effet. Les juges devaient indiquer la facilité de compréhension et la sensibilité de l’approche; ils ont généralement convenu que l’approche GRADE était claire, compréhensible et sensée.

Khan et coll. (2001) ont fourni des renseignements sur ce qu’il faut inclure dans toute liste de contrôle pour l’évaluation de la qualité. Dans le cas d’essais sur l’efficacité, il faudrait d’abord songer à des EEAC quand ils existent et sont bien conçus. En l’absence de bons EEAC, il y aurait lieu d’envisager des études quasi-expérimentales et par observation (QEO) bien conçues. Khan et coll. ont fourni plusieurs questions à étudier lorsqu’il s’agit d’évaluer la qualité d’études par observation. Ils ont souligné que même s’il est possible de tirer des conclusions de ces études, on ignore peut-être au juste si les groupes étudiés sont com-parables. Les auteurs ont laissé entendre qu’il faut rapporter les résultats avec précaution, souvent en recommandant des recherches plus approfondies.

Thomas, Ciliska, Dobbins et Micucci (2004) se sont servis d’un instrument d’évaluation de la qualité qui permettait de coter du point de vue méthodologique des études qui n’étaient pas des EEAC, en vue de leur inclusion dans un examen systématique. Cette méthode était précisément destinée à évaluer la qualité des recherches en santé publique. Voici quels étaient les éléments d’évaluation :

biais de sélection • modèle d’étude• variables confusionnelles• traitement à l’aveugle• méthodes de collecte des données• retraits ou abandons•

Les études cotées par ce système obtenaient une cote méthodologique forte, moyenne ou faible. L’instrument avait un bon coefficient d’objectivité et une bonne fiabilité de test-retest. Il avait aussi prouvé la validité du contenu et des critères; les EEAC et les ECEC étaient jugés solides, et les essais sur échantillon non aléatoire et contrôlé (EENC), comme les études de cohortes et par observation, ont été jugés moyens. Cependant, les études sur échantillon non aléatoire pouvaient atteindre une cote globale moyenne si les autres élé-ments de l’étude étaient solides. Les données sont extraites à même les études et sont rap-portées sous forme narrative. La méta-analyse était rarement effectuée, car il s’était avéré que les populations et les interventions visées par les études en santé publique sont sou-vent trop hétérogènes pour ce genre d’analyse. L’extraction des données a permis de rap-porter des effets (ou un manque d’effets) d’une grande portée statistique de chaque étude, et les chercheurs ont émis des commentaires sur l’importance de tout effet statistiquement

20

significatif.

Ramsay et coll. (2003) ont examiné la qualité des séries chronologiques interrompues (SCI) à l’aide d’études incluses dans deux examens systématiques. Ils ont mis au point un outil d’évaluation de la qualité suivant les critères suivants :

l’intervention se déroulait indépendamment d’autres changements qui se produi-• saient au fil du temps; l’intervention était peu susceptible de toucher la collecte des données; • le résultat était évalué à l’aveugle ou mesuré objectivement;• le résultat était fiable ou mesuré objectivement;• la composition de l’ensemble de données à chaque point abordé englobait au • moins 80 % de tous les participants à l’étude; la forme de l’effet d’intervention était précisée au préalable;• le raisonnement sous-tendant le nombre et l’espacement des points de données • était décrit; l’étude était analysée convenablement selon des techniques par séries • chronologiques.

Ils ont constaté que 37 des 58 études avaient été mal analysées, et que 33 d’entre elles devaient être analysées à nouveau. De mauvais modèles d’étude, une puissance insuf-fisante et une analyse inappropriée des études par SCI ont donné lieu à la présentation de conclusions trompeuses dans la documentation publiée. Les auteurs ont recommandé que toutes les données provenant d’études par SCI soient analysées à nouveau avant d’être incluses dans les examens.

Conn et Rantz (2003) ont examiné des moyens par lesquels les chercheurs peuvent gérer la qualité lorsqu’ils envisagent des études primaires dans le cadre d’une méta-analyse. Bien qu’il existe plus de 100 échelles pour mesurer la qualité de ces études, elles peuvent varier selon la taille, la composition, la complexité et l’étendue. Établir la validité des échelles est compliqué et difficile. Les échelles ne sont pas fiables et précises dans tous les domaines scientifiques, et leur application peut s’avérer problématique et inégale. Conn et Rantz ont exposé dans leurs grandes lignes trois méthodes qui permettraient de gérer la qualité :

fixer un seuil de qualité;• pondérer par la cotation de la qualité;• considérer la qualité comme question empirique.•

Cependant, comme méthode autonome, chacune a ses limites. Par exemple, fixer un seuil de qualité peut donner lieu à l’exclusion de travaux de recherche moins rigoureux (où des données peuvent renfermer des renseignements importants). La pondération par la qualité d’étude peut être limitée par les outils d’échelonnage utilisés et certains problèmes poten-tiellement inhérents, comme le coefficient d’objectivité. Enfin, considérer la qualité comme une question empirique peut mener à des mesures globales masquant des effets intéres-sants d’éléments individuels de qualité sur des estimations d’ampleur de l’effet. Afin de tenir compte de ces limites, les chercheurs pourront devoir combiner des stratégies dans le but d’inclure des études jugées méthodologiquement faibles, mais contenant quand même des

21

renseignements importants.

Résumé de la section

Examiner la documentation à inclure dans un examen systématique devrait inclure une éval-uation de la qualité. Un outil d’évaluation critique est essentiel lorsqu’il s’agit de passer en revue les données probantes dans des études primaires sans groupes témoins. Ces outils peuvent fournir des renseignements sur les forces et les faiblesses des renseignements. Les outils d’évaluation critique aident le lecteur à évaluer les données probantes fournies d’après la qualité méthodologique, la gestion des variables confusionnelles, les biais pos-sibles et l’analyse des données. Ces outils sont particulièrement utiles quand les systèmes d’évaluation employés pour les EEAC ne sont pas applicables. La validité et la fiabilité de bon nombre des outils indiqués dans les présentes n’ont pas été éprouvées. Ce serait rai-sonnable de le faire comme prochaine étape.

Examens systématiques

Onze examens systématiques portaient sur la synthèse de données provenant d’études sans groupes témoins.

Linde, Scholz, Melchart et Willich (2002) ont cherché à déterminer si les examens systé-matiques devaient inclure à la fois des études sur échantillon aléatoire et non aléatoire. Les chercheurs ont examiné les données sur le recours à l’acupuncture pour les maux de tête chroniques afin d’étudier les questions suivantes :

1. Les études sur échantillon aléatoire et non aléatoire sur l’acupuncture pour les maux de tête chroniques diffèrent-elles du point de vue des patients, des interven-tions, des aspects qualité indépendants de la conception et des taux de réponse?

2. Les études sur échantillon non aléatoire fournissent-elles d’autres renseignements pertinents (résultats à long terme, facteurs prévisionnels, effets néfastes ou complica-tions et taux de réponse chez les groupes représentatifs et bien définis de patients)?

3. Si les taux de réponse chez les patients choisis de manière aléatoire ou non dif-fèrent, quelles sont les explications possibles?

Cinquante-neuf études répondaient aux critères d’inclusion, et 24 d’entre elles étaient des essais sur échantillon aléatoire et 35, des essais sur échantillon non aléatoire (cinq essais sur échantillon non aléatoire et contrôlé, 10 essais prospectifs sur échantillon non contrôlé, 10 séries de cas et 10 enquêtes transversales). En tout, 535 patients ont reçu un traite-ment à l’acupuncture dans les 24 EEAC, comparativement à 2695 dans les 35 études sur échantillon non aléatoire. En moyenne, les essais sur échantillon aléatoire étaient faits sur un échantillon de moindre taille, respectaient davantage les critères de qualité et offraient des taux de réponse plus faibles que le traitement (0,59; 0,40 – 0,69) c. (0,78; 0,72 – 0,83). Peu importe l’état de randomisation, dans les études qui répondaient davantage aux critères de qualité, les taux de réponse étaient plus faibles que les taux de traitement. La période de suivi n’était pas nettement plus longue dans les études sur échantillon non aléatoire. Dans le cas de l’acupuncture appliquée aux maux de tête chroniques, les études sur échantillon non aléatoire confirmaient les constatations tirées d’une étude antérieure (Greenhalgh, Robert,

22

Macfarlane et coll., 2005) selon lesquelles le traitement était susceptible d’être efficace. Cependant, les études sur échantillon non aléatoire procuraient peu de renseignements sup-plémentaires pertinents sur les effets à long terme, les facteurs prévisionnels ou les effets négatifs. En général, les auteurs concluaient que les études sur échantillon non aléatoire de bonne qualité donnaient des résultats semblables à ceux des EEAC. Cela porte à croire que leur inclusion dans les examens systématiques, bien qu’elle augmentait la charge de travail des auteurs desdits examens, permet un élargissement utile aux fins de généralisabilité.

MacLehose et coll. (2000) ont enquêté sur le lien entre la qualité méthodologique et les esti-mations d’efficacité en comparant les EEAC aux études quasi-expérimentales et par obser-vation (QEO). Pour examiner la documentation, les auteurs ont employé deux stratégies :

1. comparer les estimations quant à l’efficacité de toute intervention qui ont été obten-ues par des EEAC et des études QEO, où les deux estimations figuraient dans un seul document;

2. comparer les estimations quant à l’efficacité d’interventions précises qui ont été ob-tenues par des EEAC et des études QEO, où les deux estimations figuraient dans des documents différents.

Dans le cas de la 1re stratégie, les auteurs ont relevé 14 documents qui contenaient 38 comparaisons, dont 13 étaient jugées de qualité supérieure et 25, de faible qualité. Les critères d’évaluation de la qualité étaient les suivants :

les estimations provenaient de la même population;• le traitement à l’aveugle des évaluateurs de résultat;• la mesure dans laquelle l’estimation obtenue par l’étude QEO a été établie compte • tenu du risque de variables confusionnelles.

Selon les constatations, les écarts entre les estimations d’ampleur de l’effet et de la fréquence de résultat qui ont été obtenues par des EEAC et des études QEO pour les groupes ayant fait l’objet d’une intervention et les groupes témoins étaient plus faibles pour les comparaisons de qualité supérieure que pour celles de faible qualité. Par ailleurs, les estimations de taille d’ampleur obtenues par des études QEO n’avaient pas tendance à être extrêmes pour les comparaisons de qualité supérieure que pour les EEAC de faible qualité. Dans le cas de la 2e stratégie, les interventions spécifiques comprenaient le dépistage par mammographie destiné à réduire la mortalité due au cancer du sein et les suppléments d’acide folique servant à réduire les anomalies du tube neural. Les auteurs ont relevé 34 documents, dont 12 étaient des EEAC, 11, des essais sur échantillon non aléatoire ou des études de cohortes et neuf, des études cas-témoin appariées ou non. Ces études ont été évaluées d’après :

la qualité des rapports;• la généralisabilité des résultats;• la mesure dans laquelle les estimations d‘efficacité auraient pu être influencées par • un biais ou une variable confusionnelle.

Les notes de qualité étaient plus élevées pour les études de cohortes et cas-témoin que pour les EEAC, et elles étaient moins élevées pour les études de cohortes que pour les

23

études cas-témoin. La méta-régression des attributs d’étude par rapport aux estimations du risque relatif n’a révélé aucun lien entre l’ampleur de l’effet et la qualité de l’étude. Les estimations tirées des EEAC et des études de cohortes n’étaient pas nettement différentes. Toutefois, les études cas-témoin ont donné des estimations bien différentes lorsqu’il était question de mammographie (avantage supérieur) et d’acide folique (avantage inférieur).

Britton et coll. (1998) ont étudié des questions touchant le processus de randomisation qui peuvent influer sur la validité des conclusions tirées des résultats d’EEAC et d’études sur échantillon non aléatoire (y compris des études sans groupes témoins). Les auteurs ont posé quatre questions de recherche pour examiner la randomisation et la validité :

1. Les études sur échantillon non aléatoire diffèrent-elles systématiquement des EEAC du point de vue de l’effet du traitement?

2. Existe-t-il des différences systématiques entre les personnes incluses et exclues, et influencent-elles l’effet mesuré du traitement?

3. Dans quelle mesure est-il possible d’adapter en fonction des différences de base entre les groupes à l’étude?

4. En quoi la préférence des patients est-elle importante sur le plan des résultats?

Leur étude englobait 18 documents où l’on comparait directement les résultats d’EEAC et d’études sur échantillon non aléatoire. Les résultats n’ont révélé aucun compte rendu uni-forme d’estimations importantes ou moindres de l’effet du traitement, fondées sur le modèle d’étude. Les auteurs ont aussi rapporté que le genre d’intervention ne semblait pas exercer d’influence; cependant, ils ont lancé un avertissement selon lequel il faudrait étudier da-vantage afin de valider cette conclusion. Dans les EEAC, les exclusions globales étaient courantes, et la proportion de sujets admissibles inclus allait de 1 % à 100 %. Les grandes bases de données cliniques renfermant des renseignements détaillés sur la gravité des cas et le pronostic ont remplacé les EEAC. Lorsque les sujets tirés des bases de données étaient choisis selon les mêmes critères d’inclusion que pour les EEAC, les effets du traite-ment des deux modèles étaient semblables. La documentation des caractéristiques des per-sonnes admissibles qui n’ont pas participé aux essais était mal inscrite dans la plupart des EEAC. Dans les EEAC, il se peut que les mesures d’effets de traitement soient exagérées en raison de la participation plus large des universités et des centres d’enseignement, com-parativement aux études sur échantillon non aléatoire. Dans celles-ci, le redressement en fonction des différences a souvent modifié l’ampleur de l’effet du traitement, mais pas net-tement. Mais surtout, l’orientation du changement était constante. Seulement quatre docu-ments s’attachaient au rôle de la préférence du patient dans les résultats. Dans ces docu-ments, la préférence représentait une partie des différences observées entre les modèles d’étude. Britton et coll. ont conclu ce qui suit :

une étude sur échantillon non aléatoire bien conçue est préférable à une petite • EEAC mal conçue et exclusive; les EEAC devraient inclure une foule de cadres d’exercice; • les populations étudiées devraient être représentatives de tous les patients qui font • l’objet de l’intervention; les exclusions pour des raisons de commodité administrative devraient être rejetées; •

24

il faudrait réduire les différences au minimum pour s’assurer que les sujets des • deux genres d’étude sont comparables.

Lemmer, Grellier et Stevens (1999) ont modifié le Cochrane Collaboration Protocol for Sys-tematic Reviews pour un rapport qui portait sur les données probantes concernant la prise de décisions et les visites médicales (fourniture de soins de santé à domicile) en Grande-Bretagne. Les visites médicales et la prise de décisions sont influencées par des facteurs comme les forces sociales et environnementales, qui tendent à ne pas être saisies dans les données probantes provenant d’EEAC. Dans le Cochrane Protocol adapté, on a omis les sections jugées inappropriées pour des documents de recherche fondés sur des EENC. La rigueur méthodologique et la pertinence de chaque article ont été établies suivant une échelle de notation numérique allant de 8 (maximum) à 1 (minimum). Les auteurs n’ont pas fourni les variables utilisées pour mesurer la rigueur méthodologique. Deux membres de l’équipe de recherche ont examiné chaque article, et des réunions de concertation hebdo-madaires ont été tenues pour s’entendre sur les différences de notation. Les notes devaient donner un aperçu de la méthodologie et de la pertinence de chaque article. Cependant, la note globale n’indiquait nullement la répartition des notes. Les examinateurs se sont pronon-cés sur l’opportunité et l’importance de chaque article, mais leurs commentaires ne faisaient pas partie de la notation. Les auteurs ont constaté que le système de notation constituait un moyen utile d’orienter la discussion aux réunions de concertation. La notation a été influ-encée par l’interprétation qu’ont faite les examinateurs des méthodologies qualitatives et la pertinence des articles. Ils ont aussi laissé entendre que cette approche plus ouverte a permis d’examiner des articles qui renfermaient des sections ou des renseignements impor-tants malgré les faibles notes accordées. Certains documents contenaient de très brèves sections sur les méthodes, ce qui a rendu la notation difficile et a donné de faibles notes.

Reconnaissant qu’il est difficile de faire la synthèse des diverses données fournies dans les examens, Goldsmith, Bankhead et Austoker (2007) ont mis au point une nouvelle méthode d’examen. Ils l’ont appliquée à un examen de données probantes pour influencer des lignes directrices concernant le contenu des renseignements sur les patientes relativement au dépistage du cancer du col de l’utérus. Ils ont suivi des procédures standard afin de mener un examen systématique, y compris :

la conception d’études a priori • un dépouillement documentaire exhaustif• l’examen des titres et des résumés par deux personnes indépendantes• l’évaluation de la qualité• l’extraction des données•

Les chercheurs se sont servis de listes de contrôle pour évaluer la qualité des études quan-titatives et qualitatives. Des listes de contrôle établies ont été utilisées dans le cas d’études quantitatives (Critical Appraisals Skills Program (CASP), Scottish Intercollegiate Guidelines Network (SIGN), New Zealand Guidelines Group (NZGG) et UK Government Chief Social Researcher’s Office (UKGCSRO)) (CASP, 2005; Khan et coll., 2001; Lethaby, Wells et Fur-ness, 2001; Spencer, Ritchie et Lewis, 2004). Les chercheurs ont dressé une liste de con-trôle pour les études qualitatives qui comprenait l’objet, la population, le taux de réponse, la définition des résultats et l’évaluation. Toutes les listes de contrôle comprenaient une sec-

25

tion commentaires. La qualité méthodologique des études était cotée ++ (tous les critères ou presque ont été remplis), + (certains critères ont été remplis) ou – (aucun critère n’a été rempli ou peu d’entre eux l’ont été). L’évaluation de la qualité a donné une idée des forces et des faiblesses de chaque étude. Cependant, les failles méthodologiques n’ont pas entraîné l’exclusion d’études. Les notes de qualité ont été intégrées pendant la phase de synthèse des données de l’examen. Goldsmith et coll. (2005) ont intégré les directives de synthèse établies dans le système GRADING (Atkins et coll., 2005) abordé dans la section Outils d’évaluation critique du présent document.

DeWalt et coll. (2004) a mené un examen systématique des études qui a permis de mesurer l’alphabétisation et un ou plusieurs résultats pour la santé. Les modèles d’étude admissibles étaient par observation : études de cohortes prospectives et rétrospectives, études cas-té-moin et études transversales. Leur examen s’est fait selon un processus standard d’examen systématique, y compris :

le dépouillement documentaire exhaustif de plusieurs bases de données électron-• iques, des questions de recherche bien définies,• des critères d’inclusion et d’exclusion,• l’examen d’articles complets par deux auteurs,• l’évaluation de la qualité et le compte rendu des constatations. •

Les chercheurs ont adapté l’outil d’évaluation de la qualité d’après West et coll. (2002). Chaque étude a été cotée selon les critères suivants :

la population à l’étude• la comparabilité des sujets• la validité et la fiabilité de la mesure d’alphabétisation• le maintien de groupes comparables• la mesure des résultats• l’analyse statistique• le contrôle des variables confusionnelles•

D’après ces critères, les études ont été cotées comme étant bonnes, assez bonnes ou mauvaises. L’outil n’a pas été validé. Bien que les auteurs de l’examen aient pu fournir une analyse statistique des résultats pour l’alphabétisation et la santé, ils ont précisé que les données d’études primaires comportaient bien des défis en raison des diverses mesures de lecture utilisées et des points de coupure aux fins d’analyse. De plus, le manque de mesures statistiques, le contrôle inadéquat des variables confusionnelles et le manque d’adaptation aux fins de comparaisons multiples ont rendu difficiles les comparaisons entre études.

Thomson et coll. (2006) ont examiné la communication des données sur les déterminants socio-économiques de la santé au Royaume-Uni, afin d’établir si les investissements de l’État dans le domaine avaient amélioré la santé de la population. Les données de 10 évalu-ations ont été synthétisées suivant des méthodes d’examen systématique, y compris :

26

une stratégie de recherche,• des critères d’inclusion ou d’exclusion a priori, • l’examen d’articles par deux personnes indépendantes,• l’extraction des données,• la synthèse des données.•

Huit des évaluations d’impact reposaient sur des études de cas où les données prove-naient de quelques sites pour que le programme national soit représenté. Les questions méthodologiques relatives aux rapports d’évaluation englobaient les mauvaises méthodes d’évaluation et sources de données et les échantillons de faible taille. Les auteurs ont recou-ru à une synthèse narrative pour fait état des constatations. Ils ont signalé que cette ap-proche constituait un nouveau moyen d’établir des données probantes, le message adapté pour qu’il influe sur l’élaboration des politiques publiques en santé. La synthèse était mise en question par les lacunes méthodologiques des études incluses.

Deux études (Stein, Dalziel, Garside et coll., 2005; Dalziel, Round, Stein et coll., 2005) portaient sur la qualité des données probantes sur l’efficacité utilisées dans les ÉTS. Les séries de cas, communément employées dans les ÉTS, constituent une forme faible dans la hiérarchie des données probantes. Idéalement, les données de séries de cas ne serviraient pas à des examens systématiques; cependant, il arrive qu’elles soient les seules données probantes qui existent. Ne trouvant aucune étude semblable dans leur dépouillement docu-mentaire, Stein et coll. ont examiné un échantillon d’examens systématiques de séries de cas portant sur le lien entre les caractéristiques des séries de cas et le résultat. Ils n’ont pas comparé les résultats de séries de cas avec ceux d’EEAC. Dans leur analyse, ils ont dé-couvert peu de données probantes sur le lien entre les caractéristiques méthodologiques, la taille de l’échantillon ou l’approche prospective et le résultat. Ils ont fourni un rapport narratif de leurs constatations et ont inclus un tableau de résultats individuels des variables analy-sées. Ils ont précisé que toutes les interventions étudiées étaient chirurgicales, ce qui pouvait limiter la généralisabilité de leurs constatations. Dans une deuxième étude, Dalziel et coll. ont comparé les résultats d’EEAC et d’études de séries de cas pour des interventions chiru-rgicales. Ils ont examiné des rapports qui incluaient des données provenant d’EEAC et de séries de cas. Ils ont comparé ces études à l’aide de la partie intervention des EEAC comme élément de comparaison : la méta-analyse d’EEAC a été comparée à de solides régressions pondérées en utilisant l’intervention comme facteur confusionnel et en évaluant la grandeur de coefficient. Leur analyse a révélé que les EEAC ne montraient aucune différence de résul-tat entre les types de traitement, alors que les séries de cas montraient une augmentation de la mortalité de 1 à 2 % d’un traitement à l’autre. Voici les limites de l’examen :

l’analyse était limitée par des lacunes méthodologiques dans les études de séries • de cas, comme le mauvais compte rendu des données; le recours à des interventions chirurgicales précises risque de limiter la généralis-• abilité des constatations; les constatations reposaient sur un faible nombre d’études. •

Dans un rapport portant sur les données probantes concernant l’évaluation des essais sur échantillon non aléatoire et les méthodes employées à cette fin, Deeks et coll. (2003) ont

27

relevé 194 outils utilisés pour évaluer la qualité de ces essais. Soixante d’entre eux en-globaient au moins cinq domaines de validité interne précisés au préalable sur six et ont été jugés supérieurs. Quatorze ont été classés comme étant les « meilleurs » et englobaient trois éléments centraux sur quatre qui revêtaient une importance particulière pour les études sur échantillon non aléatoire (répartition, groupes comparables, facteurs prévisionnels définis et recours à l’adaptation à la clientèle). Les auteurs ont établi que six des 14 outils convenaient aux examens systématiques. La force de ces outils était la formulation des élé-ments qui canalisaient les réponses des examinateurs de manière systématique pour que les évaluations soient aussi objectives que possible.

Katrak et coll. (2004) ont réalisé l’examen systématique de 121 outils d’évaluation critique publiés à partir de 108 documents retrouvés grâce à l’interrogation de bases de données électroniques et d’Internet. La plupart des outils (87 %) étaient propres au modèle de recherche, et bon nombre d’entre eux (45 %) avaient été créés pour des études expéri-mentales (EEAC et essais cliniques sur échantillon contrôlé). Sur 16 outils génériques d’évaluation critique, six ont été mis au point pour des études expérimentales et par obser-vation. Onze se sont avérés utiles pour tout modèle d’étude qualitative ou quantitative. Les auteurs ont extrait 74 éléments à partir de 19 outils d’évaluation critique pour des études par observation. Ces éléments étaient axés sur :

les analyses de données,• la prise en compte des variables confusionnelles,• la taille de l’échantillon ou le calcul de la puissance,• l’entreprise ou non d’une analyse statistique appropriée.•

Ils ont extrait 36 éléments à partir de sept outils d’évaluation critique pour les études qualitatives. La plupart d’entre eux étaient axés sur l’évaluation de la validité externe, les méthodes d’analyse des données et la justification de l’étude. Ces outils ne renfer-maient aucun élément sur la sélection des échantillons, la randomisation, le traitement à l’aveugle, l’intervention ou le biais. Les outils génériques, supposément utilisables dans le cas des études expérimentales ou par observation, contenaient des éléments axés sur l’échantillonnage et l’analyse des données, comme l’opportunité des analyses statistiques, la taille de l’échantillon et le calcul de la puissance. Cet examen n’a révélé aucun exemple idéal d’outil d’évaluation pour un type d’étude ou l’autre.


Ces examens systématiques ont intégré avec succès des études primaires où les données ne correspondaient pas à des groupes témoins, ou ils ne portaient pas sur des études avec outils d’évaluation critique pour l’évaluation de la qualité des études sans groupes témoins. Les examens touchant la possibilité de combiner les résultats d’EEAC et d’EENC portent à croire que les études bien conçues peuvent donner des résultats semblables, peu importe le genre d’étude. Bon nombre de ces examens portent à croire que c’est plutôt la mauvaise conception des études primaires, et non le modèle d’étude en soi, qui donne une note de qualité inférieure. Ils signalent que la sous-communication de la méthodologie, la mauvaise gestion des variables confusionnelles et le manque de terminologie analytique uniforme sont problématiques lorsqu’il s’agit de comparer les données d’une étude à l’autre.

28

Méthodes pour faire la synthèse d’études quantitatives sans groupes témoins

La présente section englobe cinq documents qui décrivaient des méthodes pour faire la synthèse d’études quantitatives sans groupes témoins.

Dans un document de 2005, Greenhalgh et coll. décrivaient leur processus d’examen méta-narratif, mis au point comme méthodologie pour faire la synthèse de données probantes d’une discipline à l’autre. Ils ont recouru à un processus en six étapes qui comprenait la planifica-tion, le dépouillement documentaire, la structuration, l’évaluation, la synthèse et la formulation de recommandations. Selon les auteurs, leur approche à la production de comptes rendus « graduels » des principales traditions de recherche a permis de comprendre la documentation complexe. Cinq grands principes sous-tendaient cette technique méta-narrative :

le pragmatisme• le pluralisme• l’historicité• la contestation• l’examen par les pairs•

Cette approche peut s’avérer utile lorsque la portée de l’étude est large et que la documen-tation est variée, et quand les chercheurs ont abordé un problème commun suivant divers modèles d’étude.

Whittemore et Knafl (2005) ont souligné que la méthode d’examen par intégration était une bonne solution pour intégrer des données provenant d’études menées suivant diverses mé-thodologies. Les auteurs ont exposé dans leurs grandes lignes des stratégies pour rehauss-er la rigueur des examens par intégration. Ils ont proposé cinq étapes pour mieux garantir la rigueur méthodologique de ce genre d’examen :

1. définition du problème : permet à la question d’étude d’être clairement définie; 2. dépouillement documentaire : intègre une stratégie de recherche exhaustive;3. évaluation des données : devient un peu complexe en raison des études méthod-

ologiquement diverses qui sont incluses dans l’examen; évaluer la qualité ne peut se faire suivant le processus standard d’examen systématique, mais il se peut qu’il faille se concentrer sur des exemples d’authenticité, la qualité méthodologique, la valeur informationnelle et la représentativité des études primaires disponibles;

4. analyse des données : comprend la réduction des données, la présentation, la comparaison et les conclusions; la réduction des données se fait par un système de classement global où les études primaires sont divisées en sous-groupes qui procurent un ordre logique pour l’analyse; ce classement en sous-groupes peut être fondé sur les genres de données probantes, la chronologie, le cadre, les car-actéristiques de l’échantillon, ou peut se faire par un classement conceptuel prédé-terminé; l’étape suivante du processus de réduction des données consiste à coder et à extraire les données dans un cadre réalisable; la présentation des données exige de convertir les données extraites au moyen de variables et de sous-groupes

29

précis; ces présentations englobent des matrices, des graphiques et des tableaux qui permettent de comparer les études entre elles; la comparaison des données permet de définir des modèles, des thèmes et des relations entre et parmi les vari-ables; la dernière étape consiste à tirer les conclusions;

5. présentation : comprend l’exposition des constatations dans un examen par inté-gration qui peut être sous forme de tableaux ou de schémas et devrait inclure les conséquences sur la pratique, les politiques et la recherche.

Norris et Atkins (2005) ont étudié 49 examens publiés sur une période de cinq ans par les centres de pratique fondée sur des données probantes et qui incluaient des données probantes provenant d’études conçues autrement que comme des EEAC. Ces modèles englobaient des études de cohortes et des séries chronologiques, des études de séries de cas avant-après et des études transversales. Les auteurs ont laissé entendre qu’intégrer des études de cohortes et de séries de cas dans les examens offrait un avantage, soit celui que ces types de modèles sont plus à même de rendre les résultats à long terme que les EEAC. Ils ont observé que même si la plupart des 49 examens englobaient des études sur échantillon non aléatoire, les données probantes tendaient à provenir des EEAC. Évaluer la qualité d’essais sur échantillon non aléatoire constituait un défi. Sur les 49 examens, 25 % n’évaluaient pas la qualité, 16 % reposaient sur des listes de contrôle ou des barèmes de notation publiés, 10 % adaptaient des instruments de notation publiés et 49 % étaient fondés sur des listes de contrôle dressées par les examinateurs. Peu d’outils avaient fait l’objet d’un essai de validité. Afin de garantir le respect des principes des meilleures don-nées probantes et de réduire le biais, Norris et Atkins ont suggéré que les examens com-mencent par un protocole détaillé qui serait alors respecté scrupuleusement du début à la fin. De plus, la stratégie de recherche pourrait devoir être plus fluide et reprise pour que le manque de stratégies de recherche adaptées et spécifiques dans les EEAC soit compensé. Les auteurs ont formulé les recommandations suivantes :

1. les examinateurs devraient évaluer la disponibilité des EEAC s’attachant à leur question d’examen avant de déterminer les critères d’inclusion finals;

2. lorsqu’ils envisagent d’inclure des essais sur échantillon non aléatoire, les exami-nateurs doivent songer aux biais possibles et se demander si ces biais peuvent être réduits au minimum dans des essais sur échantillon non aléatoire bien menés;

3. le processus d’examen doit être transparent afin que les motifs d’inclusion et d’exclusion des modèles d’étude soient clairs;

4. les examinateurs devraient songer à évaluer la qualité de chaque étude; 5. les examinateurs devraient prendre conscience de l’effet de leurs critères

d’inclusion sur les constatations, et aborder les effets possibles du biais sur leurs conclusions;

6. la qualité méthodologique des études incluses doit faire partie de la discussion et des conclusions, peu importe le modèle d’étude.

Jackson et Waters (2005) ont examiné précisément les défis que représentait la rédaction d’examens systématiques pour le secteur de la santé publique. Les difficultés inhérentes comprenaient les interventions à composantes multiples, les mesures multiples de résul-tats, les populations variées et les mélanges de modèles d’étude. Ils ont convenu comme

30

d’autres qu’en santé publique, ce doit être l’intervention et la population qui dictent le modèle d’étude, et non l’inverse. Les chercheurs ont reconnu la controverse qui entoure l’opportunité du processus d’examen systématique dans le cas des études sur les interventions en santé publique. Ils ont aussi fait des suggestions pour améliorer le processus et en faire un moyen de modérer la critique. Chercher de la documentation est complexe et requiert beaucoup de temps. Par conséquent, il est essentiel de prévoir assez de temps pour une recherche adé-quate, et d’interroger de nombreuses bases de données électroniques et sources de littéra-ture grise. Il faut absolument évaluer la qualité de tous les articles inclus, et ils ont recomman-dé d’utiliser l’outil mis au point par le Projet de pratique efficace en santé publique, à Hamilton (Ontario) (Thomas et coll., 2004a), soit le « Quality Assessment Tool for Quantitative Studies ». Ce solide instrument (Deeks et coll., 2003) peut servir à des EEAC et des études quasi-expérimentales sur échantillon non contrôlé. Porter attention aux cadres théoriques dans les études primaires et les examens systématiques permet d’expliquer les différences entre la planification et les résultats des interventions. Mesurer l’intégrité des interventions peut aider à déterminer si une intervention a été inefficace en raison d’une mauvaise planification ou parce que la prestation de l’intervention était incomplète. Étant donné les diverses populations qui font l’objet d’interventions en santé publique, les chercheurs devraient s’attendre à de l’hétérogénéité. Les chercheurs et les examinateurs ne trouveront pas déjà tous ces éléments dans toutes les études primaires, mais en prendre conscience pourra aider à renforcer les examens systématiques découlant de la recherche sur les interventions en santé publique.

Le document de 1998 d’Atkins et DiGuiseppi portait sur la nécessité d’effectuer des re-cherches sur l’utilisation des services de santé préventifs. Il n’était pas toujours possible d’obtenir des données probantes issues d’EEAC dans le domaine de la promotion de la san-té et des services de santé préventifs. Les chercheurs ont mentionné les problèmes connus qui sont associés aux études par observation comme motif de prudence. Cependant, ils ont reconnu que ces études peuvent augmenter les connaissances. Les forces des études par observation comprennent :

l’établissement de liens dans l’enchaînement de causalité;• la compréhension de l’histoire naturelle de la maladie;• la définition des facteurs de risque;• la mesure du respect des traitements et des effets négatifs de ceux-ci;• l’établissement de l’exactitude des tests de diagnostic;• l’évaluation de l’efficacité des interventions. •

Le risque de biais peut être modifié grâce à des échantillons représentatifs fondés sur la population et à l’idée de bien tenir compte des variables confusionnelles. Les chercheurs doivent aussi reconnaître que les études par observation tendent à exagérer les effets bé-néfiques du traitement. Les auteurs recommandent d’inclure un grand nombre d’études bien conçues où les effets sont constants et importants de préférence quand il s’agit d’utiliser des études par observation pour formuler des recommandations de traitement.


Il est difficile de faire la synthèse de données quantitatives issues d’études sans groupes

31

témoins et de les intégrer. Les six documents faisaient état de diverses méthodes pour in-tégrer ce genre de données de manière utile. Les auteurs ont convenu qu’il est avantageux d’intégrer des données probantes provenant de divers modèles d’étude, mais il est primor-dial d’évaluer la qualité afin d’obtenir des données probantes dignes de confiance. Il serait peut-être utile d’intégrer dans les examens systématiques les études primaires qui définis-sent clairement les biais possibles et les effets probables.

Combiner des études qualitatives et quantitatives

La présente section vise à examiner trois articles qui décrivent des méthodes pour faire la synthèse des données provenant d’études qualitatives et quantitatives.

Déterminer la qualité d’études non expérimentales est difficile et controversé. Cependant, ces genres d’études renferment souvent des renseignements importants pour la santé pub-lique. Évaluer la qualité à l’aide d’outils standard n’est pas particulièrement utile quand peu de ces études obtiendraient une note élevée ou moyenne. Harden et coll. (2004) ont utilisé une approche standard à l’évaluation de la qualité méthodologique dans des examens systématiques portant sur 35 études primaires sur les non-interventions. Seulement quatre d’entre elles ont répondu à tous les critères utilisés pour évaluer la qualité. Ils ont mis au point un outil de récupération de données pour mieux déconstruire chaque étude (quantita-tive ou qualitative). De là, ils ont reconstruit les résultats et les ont présentés sous forme de résumés structurés et de tableaux de données probantes. Le processus de synthèse était non linéaire et faisait intervenir deux examinateurs faisant l’aller-retour entre les documents, l’extraction des données et les tableaux de données probantes. Il n’était pas approprié de regrouper les résultats, comme dans une méta-analyse. Ces chercheurs ont plutôt employé des méthodes combinées suivant des thèmes définis pour faire la synthèse des constata-tions. Afin de répondre à la principale question de recherche, les examinateurs ont intégré les constatations issues des études sur les non-interventions dans 36 études sur les inter-ventions, et comparé les résultats afin d’établir les ressemblances et les différences (Oliver et coll., 2005). Recourir à ces deux genres de résultats a permis un plus grand éventail de points de vue et de mieux comprendre les enjeux de santé publique du point de vue des gens qui font l’objet des interventions ciblées.

Les méta-examens, comme les décrivent Wong et Raabe (1996), intègrent des données qualitatives et quantitatives. Les auteurs ont suggéré de recourir à un méta-examen pour s’attaquer à certaines des limites associées aux examens qualitatifs traditionnels, comme la subjectivité de la sélection des articles et le poids attribué à chaque étude ainsi que l’absence d’analyse quantitative. On y est arrivé en incluant un examen narratif dans la méta-analyse des données quantitatives. Le premier facteur pour déterminer si une étude devrait être incluse est le modèle de l’étude; les études de modèle différent ne devraient pas être groupées aux fins de méta-analyse. Celle-ci peut augmenter la puissance statistique, mais elle ne peut compenser les questions méthodologiques reliées aux modèles d’étude. Il y a des étapes de base à suivre pour effectuer un méta-examen :

1. définir la question de recherche;2. procéder à un examen documentaire exhaustif;3. créer des critères d’inclusion a priori;

32

4. effectuer un examen qualitatif traditionnel;5. effectuer une méta-analyse quantitative;6. intégrer un examen qualitatif traditionnel avec une méta-analyse quantitative;7. appliquer les critères de causalité à l’interprétation.

Les auteurs laissent entendre qu’intégrer un examen narratif traditionnel dans une méta-analyse peut réduire la subjectivité.

Un document de 2007 publié par Sandelowski, Barroso et Voils portait sur la nécessité pour les disciplines de la santé d’inclure des constatations d’études qualitatives et quantitatives dans les examens, surtout en raison du nombre croissant d’études fondées sur les méthodes mélan-gées. Les auteurs ont examiné 42 rapports, y compris des articles de revue, des dissertations ou des thèses non publiées et des rapports techniques. Afin de différencier leur approche d’un examen systématique standard, aucun rapport n’a été exclu d’après la qualité méthodologique. Pour faire la synthèse de leurs constatations, ils ont mis au point un modèle de méta-synthèse qualitative où les constatations provenant d’études primaires sont groupées par sujet et par thème. Le méta-résumé comprenait l’extraction, le groupage et le formatage des constatations, ainsi que le calcul de l’ampleur de la fréquence et de l’effet pour les données quantitatives. Cette approche peut servir à faire la synthèse des enquêtes fondées sur des méthodes mélan-gées où la collecte des données et les procédures d’analyse sont semblables.


Intégrer des données qualitatives et quantitatives dans un rapport peut s’avérer utile lorsqu’il s’agit de comprendre le succès ou l’échec d’interventions. Toutefois, évaluer la qualité d’études sans groupes témoins peut être problématique, surtout si la qualité est évaluée par des méthodes traditionnelles employées dans les examens systématiques ou les méta-anal-yses. Les résultats de l’évaluation de la qualité n’ont pas servi de critères d’exclusion. Ils ont plutôt été intégrés dans le débat sur les constatations. Grouper les constatations selon une méthode thématique et globale est une autre approche appropriée à la méta-analyse. Les chercheurs pourraient intégrer certains processus d’examen systématique, comme de-mander à deux personnes d’examiner et d’extraire les données, mais la plupart des auteurs suggèrent d’utiliser une approche narrative à la présentation des résultats lorsque la méta-analyse ne convient pas.

Études comparant les résultats selon des méthodes différentes

La recherche comprenait deux études qui visaient à examiner les problèmes qui se présen-tent quand il s’agit de comparer les résultats d’études sur échantillon aléatoire ou non aléa-toire concernant la même intervention.

Jefferson et Demicheli (1999) ont évalué la capacité de différents modèles d’étude à vérifier quatre aspects du rendement des vaccins (l’immunogénicité, la durée de l’immunité ap-portée, l’incidence et la gravité des effets secondaires et le nombre d’infections prévenues par la vaccination). Leurs constatations révèlent qu’en vaccinologie, les modèles d’étude expérimentaux et non expérimentaux sont souvent complémentaires. Cependant, dans

33

certains cas, la qualité du vaccin pourrait seulement être mesurée par un genre d’étude. Par exemple, une EEAC est préférable pour mesurer les effets secondaires. Les modèles non expérimentaux conviennent quand :

une expérience est impossible, inutile ou inappropriée;• l’efficace individuelle doit être mesurée d’après des événements négatifs et peu • fréquents; les interventions préviennent de rares cas ou l’efficacité d’une intervention au sein • d’une population doit être mesurée à long terme.

En recourant à des données d’entrevue recueillies auprès de 17 auteurs et utilisateurs d’ÉTS, Rotstein et Laupacis (2004) ont jeté de la lumière sur les différences entre les ÉTS et les examens systématiques. Voici quelles sont ces différences :

1. les normes méthodologiques — les ÉTS peuvent inclure de la documentation de mauvaise qualité méthodologique si un sujet est important pour les décideurs;

2. la reprise d’études antérieures — les examens systématiques n’ont pas à être re-pris si les études antérieures étaient de grande qualité ou quand il n’existe aucune nouvelle donnée probante de grande qualité; dans le cas des ÉTS, il faut souvent reprendre des études pour défendre les conclusions du rapport;

3. le choix des sujets — les sujets sont plus axés sur les politiques avec les ÉTS, alors que les examens systématiques tendent à être orientés par des questions d’efficacité;

4. l’inclusion de spécialistes du contenu (dans les examens systématiques) et de responsables de l’élaboration des politiques (dans les ÉTS) comme auteurs;

5. l’inclusion d’évaluations économiques, dans les ÉTS;6. la formulation de recommandations d’orientation, dans les ÉTS;7. la diffusion du rapport, réalisée plus souvent activement dans le cas des ÉTS.

Les ÉTS ne sont pas précisément conçues pour évaluer des données probantes scienti-fiques, alors que les examens systématiques sont destinés à cette fin. Cependant, la nature impartiale de l’enquête scientifique aiderait à renforcer les décisions stratégiques découlant de données probantes issues d’ÉTS. Les niveaux différents de données probantes (sous les EEAC dans la hiérarchie) sont plus acceptables dans les ÉTS.


Ces deux comparaisons de résultats de la même intervention obtenus par des modèles différents font ressortir qu’il est utile d’envisager des modèles différents dans les examens, non seulement parce qu’il pourrait s’agir des meilleurs renseignements qui soient, mais aussi parce qu’ils sont plus susceptibles de répondre aux questions relatives à l’efficacité à long terme, aux événements négatifs et aux cas rares. Les forces que représente le fait d’inclure d’autres modèles l’emportent sur les limites.

34

Discussion

Le principal point de mire du présent document sur le plan de la recherche était les méth-odes d’inclusion des résultats provenant d’essais sur échantillon non aléatoire, ainsi que la qualité et la synthèse de ces données. Il s’agit d’une importante question de recherche, car dans bien des domaines de la santé et de la santé publique, les données probantes provenant d’EEAC n’existent pas. Les données probantes issues d’essais sur échantillon non aléatoire ont toujours été critiquées comme étant peu fiables, en raison du risque de biais accru. Il est couramment entendu que le biais de sélection, de répartition ou d’attrition a tendance à être plus grand dans les essais sur échantillon non aléatoire. Les lecteurs de données issues d’essais sur échantillon non aléatoire doivent être conscients que ces biais peuvent exister, et les chercheurs devraient tenir compte de biais possibles dans leurs études. Voici quelques suggestions découlant des études examinées dans le présent docu-ment :

dans tous les essais sur échantillon non aléatoire, un modèle d’étude solide et • transparent s’impose; la question de recherche devrait déterminer le modèle d’étude;• les auteurs d’étude doivent intégrer des renseignements détaillés sur leur étude; un • manque d’information signifie que les lecteurs ne peuvent déterminer ce qui a été fait ou non dans le modèle d’étude; il faut que la terminologie et les descriptions soient uniformes d’une étude sur • échantillon non aléatoire à l’autre pour que les comparaisons se fassent facilement.

Il existe plusieurs approches méthodologiques à l’inclusion de données provenant d’études sur échantillon non aléatoire. Nous avons découvert que c’est le travail de Whittemore et Knafl (2005) qui est le plus systématique. Whittemore et Knafl proposent une méthode d’examen par intégration en cinq étapes qui intègre la définition du problème, le dépouille-ment documentaire ainsi que l’évaluation, l’analyse et la présentation des données.

Bon nombre de chercheurs utilisent divers outils d’évaluation pour déterminer la qualité des études incluses. Norris et Atkins (2005) fournissent une liste exhaustive de recommanda-tions pour évaluer la qualité d’étude qui est ressortie des 49 examens sur lesquels ils se sont penchés. Ces recommandations étaient exposées dans leurs grandes lignes dans le présent document. D’autres auteurs ont utilisé des listes de contrôle ou des instruments de notation existants, comme MINORS ou GRADING. Certains ont adapté des outils pour qu’ils soient conformes aux modèles d’étude découverts dans les études primaires, alors que d’autres ont créé de nouveaux outils qui correspondaient aux renseignements à extraire des études incluses. La validité ou la fiabilité de bon nombre de ces outils n’a pas été éprouvée. Nous recommandons que d’autres études soient effectuées pour que soient établies la va-lidité et la fiabilité de ces outils d’évaluation de la qualité dans le cas des essais sur échan-tillon non aléatoire. Autant que possible, les examinateurs devraient recourir à des outils éprouvés et jugés valides et fiables en ce qui touche les essais sur échantillon non aléatoire, comme le Quality Assessment Instrument for Primary Studies (outil d’évaluation de la qualité pour les études primaires) mis au point par le Projet de pratique efficace en santé publique, à Hamilton (Ontario).

35

Inclure des données provenant d’essais sur échantillon non aléatoire s’avère difficile. Cependant, leur inclusion peut apporter plusieurs avantages. S’inspirer d’études sur échan-tillon non aléatoire signifie que les chercheurs peuvent ajouter un éventail plus large de documentation à leurs stratégies de recherche (Thomas et coll., 2004). Intégrer ces études peut élargir la portée des questions auxquelles il est possible de répondre. Cette recherche permet d’établir pourquoi, comment et pour qui les interventions ou les programmes sont fructueux ou non (Oliver et coll., 2005).

36

Recommandations

Actuellement, il n’existe aucun modèle standard pour faire la synthèse des études sans groupes témoins. Le présent document a pour objet d’examiner les méthodes de synthèse, les outils d’évaluation critique et les études portant sur l’évaluation et la synthèse des études sans groupes témoins.

Le présent document exposait dans leurs grandes lignes certaines précautions à prendre quand il s’agit d’utiliser des études sur échantillon non contrôlé comme données probantes, et il recommandait des outils et des processus.

1. Intégrer des études sans groupes témoins dans les examens systématiques, en particulier quand il n’y a aucune autre étude à prendre en compte. Les études sans groupes témoins peuvent aussi renseigner sur l’efficacité à long terme, les cas rares et les effets néfastes.

2. Éviter de généraliser l’orientation des écarts de revenu entre les études sur échan-tillon aléatoire et celles sur échantillon non contrôlé. Bien que les effets soient plus souvent de moindre envergure dans les essais sur échantillon aléatoire et contrôlé (EEAC), certains donnent des résultats inverses ou identiques quelle que soit le modèle d’étude.



a) utiliser un outil d’évaluation critique dont l’uniformité interne, la fiabilité de test-retest, le coefficient d’objectivité et, à tout le moins, la validité apparente et de critère ont été éprouvés (Downs et Black, 1998; Slim, Nini, Forestier et coll., 2003; Steuten, Vrijhoef, van-Merode et coll., 2004; Thomas, Ciliska, Dobbins et coll., 2004a; Zaza, Wright-De Aguero, Briss et coll., 2000);






6. Répercussions sur les recherches ultérieures :

37

a) effectuer des essais de fiabilité et de validité sur les outils d’évaluation critique;

b) mener d’autres études pour évaluer les divers résultats obtenus par des essais sur échantillon aléatoire ou non.

7. Il est difficile d’inclure des données provenant d’essais sur échantillon non aléa-toire; cependant, cela peut offrir plusieurs avantages :

a) un ensemble de documentation plus large peut être inclus dans les straté-gies de recherche (Thomas, Harden, Oakley et coll., 2004);

b) la portée des questions auxquelles on peut répondre peut être élargie; c) l’étude permet d’établir pourquoi, comment et pour qui les interventions ou


38

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Ran

gel e

t col

l.

2003

Éta

ts-U

nis

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Déc

rire

la m

ise

au

poin

t et l

es a

pplic

a-tio

ns p

ossi

bles

d’u

ne

éche

lle n

orm

alis

ée

d’év

alua

tion

de la

qu

alité

des

tinée

aux

ét

udes

rétro

spec

tives

en

chi

rurg

ie p

édia

-tri

que.

Ils o

nt m

is a

u po

int u

n in

stru

men

t d’é

valu

atio

n ex

haus

tive

de la

qua

lité

inté

gran

t 30

élém

ents

à

l’int

érie

ur d

e tro

is s

ous-

éche

lles.

Les

sous

-éch

elle

s on

t été

con

çues

pou

r éva

luer

la p

ertin

ence

clin

ique

, la

mét

hodo

logi

e de

com

-m

unic

atio

n et

la fo

rce

des

conc

lusi

ons.

Les

cote

s de

qua

lité

glob

ale

(mau

vais

e, a

ssez

bon

ne o

u bo

nne)

ont

été

dér

ivée

s de

la c

ombi

-na

ison

des

not

es o

bten

ues

dans

cha

que

sous

-éch

elle

.

Six

exa

min

ateu

rs in

dépe

ndan

ts o

nt e

xam

iné

le c

oeffi

cien

t d’o

bjec

tivité

en

éval

uant

l’in

stru

men

t da

ns 1

0 ét

udes

rétro

spec

tives

tiré

es d

e do

cum

enta

tion

sur l

a ch

irurg

ie p

édia

triqu

e.

Con

stat

atio

ns

L’in

stru

men

t ava

it un

exc

elle

nt c

oeffi

cien

t d’o

bjec

tivité

.•

Les

degr

és d

’ent

ente

éta

ient

très

éle

vés

pour

tous

les

élém

ents

de

l’ins

trum

ent (

84,6

% d

e •

conc

orda

nce,

n =

157

3 él

émen

ts) e

t tou

tes

les

sous

-éch

elle

s (é

chel

le d

e 73

,3 %

à 8

5,8

%,

n =

60 à

125

8)

Con

clus

ions

Les

aute

urs

ont m

is a

u po

int u

ne é

chel

le

• d’

éval

uatio

n de

la q

ualit

é no

rmal

isée

et fi

able

po

ur l’

anal

yse

de d

onné

es ré

trosp

ectiv

es e

n ch

irurg

ie p

édia

triqu

e.

Les

résu

ltats

peu

vent

ne

pas

être

app

licab

les

à •

d’au

tres

inte

rven

tions

.

App

licat

ions

pos

sibl

es

Four

nir a

ux c

hiru

rgie

ns p

ratic

iens

une

bas

e de

•

conn

aiss

ance

s po

ur é

valu

er d

e m

aniè

re c

ritiq

ue

les

donn

ées

rétro

spec

tives

pub

liées

.

Pro

cure

r une

mét

hodo

logi

e no

rmal

isée

pou

r •

l’exa

men

sys

tém

atiq

ue d

es d

onné

es ré

trosp

ec-

tives

exi

stan

tes.

Éla

bore

r des

lign

es d

irect

rices

de

com

mun

ica-

• tio

n no

rmal

isée

s po

ur le

s re

vues

exa

min

ées

par

les

pairs

.

Mar

getts

et c

oll.

1995

Roy

aum

e-U

ni

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Cré

er u

n sy

stèm

e de

no

tatio

n po

ur m

ieux

ju

ger d

e la

qua

lité

scie

ntifi

que

des

étud

es

épid

émio

logi

ques

par

ob

serv

atio

n re

liant

le

régi

me

alim

enta

ire a

u ris

que

de c

ance

r.

Le s

ystè

me

de n

otat

ion

a ét

é cr

éé d

’apr

ès d

es ru

briq

ues

clés

util

isée

s po

ur é

labo

rer d

es p

roto

-co

les

de re

cher

che

et c

ompr

enai

t des

que

stio

ns s

ous

les

rubr

ique

s :

trois

pou

r les

étu

des

cas-

tém

oin

(éva

luat

ion

de l’

alim

enta

tion,

recr

utem

ent d

e su

jets

et

• an

alys

e) –

sys

tèm

e de

not

atio

n à

l’ann

exe

A;

quat

re p

our l

es é

tude

s de

coh

orte

s (é

valu

atio

n de

l’al

imen

tatio

n, d

éfini

tion

de c

ohor

te,

• vé

rifica

tion

et a

naly

se) –

sys

tèm

e de

not

atio

n à

l’ann

exe

B.

La v

aria

tion

d’un

obs

erva

teur

à l’

autre

a é

té é

valu

ée.

Les

obse

rvat

eurs

s’e

nten

daie

nt b

ien

sur l

e cl

asse

men

t des

étu

des.

Le s

ystè

me

de n

otat

ion

a ét

é ap

pliq

ué à

un

exam

en d

u ra

ppor

t ent

re la

via

nde

et le

risq

ue d

e ca

ncer

:

D’a

près

ce

qui s

embl

ait u

n va

ste

écha

ntill

on d

e do

cum

enta

tion,

rela

tivem

ent p

eu d

’étu

des

ont

obte

nu u

ne b

onne

not

e (s

upér

ieur

e à

65 %

). C

epen

dant

, ces

étu

des

tend

aien

t à fo

urni

r des

re

nsei

gnem

ents

plu

s un

iform

es.

Dan

s le

cas

des

étu

des

cas-

tém

oin,

34

des

106

étud

es o

nt o

bten

u un

e no

te s

upér

ieur

e à

65 %

.

Dan

s ce

lui d

es é

tude

s de

coh

orte

s, 1

0 de

s 41

étu

des

ont o

bten

u un

e no

te s

upér

ieur

e à

65 %

.

Le p

roto

type

de

syst

ème

de n

otat

ion

dont

il e

st q

ues-

tion

ici a

per

mis

aux

aut

eurs

de

décr

ire le

s do

nnée

s ép

idém

iolo

giqu

es s

ur le

régi

me

alim

enta

ire e

t le

canc

er, m

ais

il n’

est p

as a

pplic

able

à d

’aut

res

cadr

es

ou in

terv

entio

ns

Tableau résumant les résultats des documents pertinents

39

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Dow

ns e

t Bla

ck

1998

Roy

aum

e-U

ni

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Vér

ifier

la fa

isab

ilité

de

crée

r une

list

e de

con

-trô

le v

alid

e et

fiab

le

ayan

t les

car

acté

ris-

tique

s su

ivan

tes

:

qui c

onvi

ent à

l’é

valu

atio

n de

s ét

udes

su

r éch

antil

lon

aléa

-to

ire o

u no

n al

éato

ire;

qui d

onne

à la

fois

un

e no

te g

loba

le p

our

la q

ualit

é de

l’ét

ude

et u

n pr

ofil d

e no

tes,

no

n se

ulem

ent p

our l

a qu

alité

de

la c

omm

u-ni

catio

n, la

val

idité

in-

tern

e et

la p

uiss

ance

, m

ais

auss

i pou

r la

valid

ité e

xter

ne.

L’ét

ude

a co

mm

encé

par

une

ver

sion

pilo

te d

e l’o

util.

Les

che

rche

urs

ont d

eman

dé à

troi

s ex

perts

d’é

valu

er la

val

idité

app

aren

te e

t cel

le d

u co

nten

u. E

nsui

te, d

eux

éval

uate

urs

ont u

tilis

é l’o

util

pour

éva

luer

10

étud

es s

ur é

chan

tillo

n al

éato

ire e

t 10

étud

es s

ur é

chan

tillo

n no

n al

éato

ire

afin

de m

esur

er la

fiab

ilité

.

Con

stat

atio

ns

À l’

aide

d’é

valu

ateu

rs d

iffér

ents

, on

a ré

visé

la li

ste

de c

ontrô

le e

t vér

ifié

sa c

ohér

ence

•

inte

rne

(Kud

er-R

icha

rdso

n 20

), sa

fiab

ilité

de

test

-ret

est e

t son

coe

ffici

ent d

’obj

ectiv

ité, l

a va

lidité

des

crit

ères

et l

e fa

rdea

u du

répo

ndan

t.

Les

cher

cheu

rs o

nt c

onst

até

une

forte

coh

éren

ce in

tern

e du

poi

nt d

e vu

e de

l’in

dice

de

• qu

alité

.

La fi

abili

té d

e te

st-r

etes

t et l

e co

effic

ient

d’o

bjec

tivité

de

l’ind

ice

de q

ualit

é ét

aien

t bon

s• •

Con

clus

ions

Il es

t pos

sibl

e de

pro

duire

une

list

e de

con

trôle

•

qui é

valu

e le

s ét

udes

sur

éch

antil

lon

aléa

toire

ou

non

aléa

toire

.

La p

rinci

pale

pré

occu

patio

n co

ncer

ne la

val

idité

•

exte

rne

de la

list

e et

son

app

licat

ion

au-d

elà

de

l’obj

et d

’étu

de.

Slim

et c

oll.

2003

Fran

ce

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Met

tre a

u po

int e

t va

lider

un

indi

ce

mét

hodo

logi

que

pour

le

s ét

udes

sur

éch

an-

tillo

n no

n al

éato

ire

(MIN

OR

S) q

ue le

s le

cteu

rs, l

es e

xam

ina-

teur

s de

man

uscr

its o

u le

s ré

dact

eurs

en

chef

de

revu

e po

urra

ient

ut

ilise

r pou

r éva

luer

la

qua

lité

de c

e ge

nre

d’ét

udes

.

L’in

dice

com

ptai

t 12

élém

ents

.

Dan

s le

cas

des

étu

des

non

com

para

tives

, voi

ci q

uels

éta

ient

les

élém

ents

:

un o

bjec

tif c

laire

men

t éno

ncé,

•

l’inc

lusi

on d

e pa

tient

s co

nséc

utifs

,•

une

colle

cte

pros

pect

ive

des

donn

ées,

•

des

critè

res

conv

enan

t à l’

obje

ctif

de l’

étud

e,•

une

éval

uatio

n im

parti

ale

des

critè

res

de l’

étud

e,•

une

pério

de d

e su

ivi a

ppro

prié

e à

l’obj

ectif

de

l’étu

de,

•

un s

uivi

impo

ssib

le d

ans

moi

ns d

e 5

% d

es c

as.

•

Dan

s le

cas

des

étu

des

com

para

tives

, voi

ci q

uels

éta

ient

les

élém

ents

:

un g

roup

e té

moi

n ay

ant f

ait l

’obj

et d

’un

exem

ple

idéa

l d’in

terv

entio

n,•

des

grou

pes

cont

empo

rain

s,•

une

équi

vale

nce

de b

ase

des

grou

pes,

•

un c

alcu

l pro

spec

tif d

e la

taill

e de

l’ét

ude,

•

des

anal

yses

sta

tistiq

ues

adap

tées

au

mod

èle

d’ét

ude.

•

Les

exam

inat

eurs

s’e

nten

daie

nt b

ien

sur l

’indi

ce; l

a fia

bilit

é de

test

-ret

est é

tait

élev

ée, d

’apr

ès

le c

oeffi

cien

t Kap

pa; e

t la

cohé

renc

e in

tern

e ét

ait b

onne

, sel

on le

coe

ffici

ent a

lpha

de

Cro

n-ba

ch.

MIN

OR

S e

st u

n in

stru

men

t val

ide

dest

iné

à év

alue

r la

qua

lité

mét

hodo

logi

que

des

étud

es d

’inte

rven

tions

ch

irurg

ical

es s

ur é

chan

tillo

n no

n al

éato

ire, q

u’el

les

soie

nt c

ompa

rativ

es o

u no

n.

Il se

pou

rrai

t que

les

cher

cheu

rs d

oive

nt fa

ire p

reuv

e de

pru

denc

e en

app

liqua

nt l’

inst

rum

ent à

des

inte

r-ve

ntio

ns n

on c

hiru

rgic

ales

.

40

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Zaza

et c

oll.

2000

Éta

ts-U

nis

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

1. C

ontri

buer

à la

co

hére

nce,

rédu

ire le

bi

ais

et a

mél

iore

r la

valid

ité p

our l

es c

her-

cheu

rs q

ui u

tilis

ent l

e G

uide

to C

omm

unity

P

reve

ntio

n S

ervi

ces:

S

yste

mat

ic R

evie

ws

and

Evi

denc

e-B

ased

R

ecom

men

datio

ns

(gui

de d

es s

ervi

ces

com

mun

auta

ires

de

prév

entio

n : e

xam

ens

syst

émat

ique

s et

re

com

man

datio

ns fo

n-dé

es s

ur d

es d

onné

es

prob

ante

s) (l

e gu

ide)

.

2. É

labo

rer u

n fo

rmul

aire

nor

mal

isé

d’ex

tract

ion

des

don-

nées

à u

tilis

er a

vec

le

guid

e.

Le fo

rmul

aire

a é

té é

labo

ré p

ar :

exam

en d

es m

étho

dolo

gies

em

ploy

ées

dans

d’a

utre

s ex

amen

s sy

stém

atiq

ues;

•

com

mun

icat

ion

des

norm

es é

tabl

ies

par l

es re

vues

de

sant

é et

de

scie

nces

soc

iale

s;•

exam

en d

e la

doc

umen

tatio

n su

r les

éva

luat

ions

, les

sta

tistiq

ues

et le

s m

éta-

anal

yses

;•

solli

cita

tion

d’op

inio

ns d

’exp

erts

.•

Le fo

rmul

aire

a s

ervi

à é

valu

er la

qua

lité

mét

hodo

logi

que

d’ét

udes

prim

aire

s (2

3 qu

estio

ns)

et à

cla

sser

et d

écrir

e le

s pr

inci

pale

s ca

ract

éris

tique

s de

l’in

terv

entio

n et

de

l’éva

luat

ion

(26

ques

tions

).

Les

cher

cheu

rs o

nt e

xam

iné

des

proc

édur

es e

t des

résu

ltats

d’é

tude

; et i

ls o

nt é

valu

é le

s m

en-

aces

à la

val

idité

dan

s si

x ca

tégo

ries

:

desc

riptio

ns d

’inte

rven

tion

et d

’étu

de

•

écha

ntill

onna

ge•

mes

ure

•

anal

yse

•

inte

rpré

tatio

n de

s ré

sulta

ts•

autre

s qu

estio

ns d

’exé

cutio

n•

Le p

roce

ssus

a p

erm

is d

’am

élio

rer l

a va

lidité

et l

a fia

bilit

é du

gui

de.

Le fo

rmul

aire

nor

mal

isé

d’ex

tract

ion

de d

onné

es

peut

aid

er le

s ch

erch

eurs

et l

es le

cteu

rs d

’étu

des

prim

aire

s à

exam

iner

le c

onte

nu e

t la

qual

ité d

es

étud

es. I

l peu

t aus

si a

ider

à é

labo

rer d

es m

anus

crits

à

soum

ettre

à d

es re

vues

exa

min

ées

par l

es p

airs

.

Gre

er e

t col

l.

2000

US

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

(Sys

tèm

es d

e no

tatio

n de

s do

n-né

es p

roba

ntes

)

Déc

rire

en d

étai

l le

syst

ème

de n

otat

ion

des

donn

ées

prob

an-

tes

et d

es c

oncl

u-si

ons

qui a

été

mis

au

poi

nt p

ar l’

Inst

itute

fo

r Clin

ical

Sys

tem

s Im

prov

emen

t (IC

SI)

à l’i

nten

tion

des

clin

icie

ns p

ratic

iens

qu

i réd

igen

t les

do

cum

ents

et s

’en

serv

ent p

our p

rend

re

des

déci

sion

s su

r les

so

ins

à pr

odig

uer a

ux

patie

nts.

Le s

ystè

me

de n

otat

ion

com

pren

ait u

ne é

valu

atio

n de

cha

que

com

pte

rend

u de

rech

erch

e et

un

e év

alua

tion

de la

forc

e gl

obal

e de

s do

nnée

s pr

oban

tes

appu

yant

une

con

clus

ion

ou u

ne

reco

mm

anda

tion

en p

artic

ulie

r.

Le s

ystè

me

de n

otat

ion

serv

ant à

éva

luer

la q

ualit

é de

s co

mpt

es re

ndus

de

rech

erch

e se

com

-pr

end

faci

lem

ent e

t est

plu

s fa

cile

à u

tilis

er p

our l

es m

édec

ins

prat

icie

ns.

Le s

ystè

me

de n

otat

ion

a po

ur o

bjec

tif d

e fa

ire re

ssor

tir u

n co

mpt

e re

ndu

qui e

st a

norm

alem

ent

fort

ou re

mar

quab

lem

ent d

éfec

tueu

x.

Le s

ystè

me

de n

otat

ion

des

donn

ées

prob

ante

s :

com

pren

d le

tabl

eur d

e no

tatio

n de

s co

nclu

sion

s, ta

bleu

r qui

exi

ge l’

énon

cé d

’une

con

clu-

• si

on, u

n ré

sum

é de

s co

mpt

es re

ndus

de

rech

erch

e qu

i son

t à l’

appu

i de

la c

oncl

usio

n ou

la

réfu

tent

, l’a

ttrib

utio

n de

cat

égor

ies

et d

’indi

ces

de q

ualit

é au

x co

mpt

es re

ndus

de

rech

er-

che,

et l

’attr

ibut

ion

d’un

e no

te à

la c

oncl

usio

n;

a se

rvi à

rédi

ger p

lus

de 4

0 lig

nes

dire

ctric

es e

t de

nom

breu

x ra

ppor

ts d

’éva

luat

ion

tech

-•

nolo

giqu

e.

Con

clus

ions

Le s

ystè

me

sem

ble

perm

ettre

de

surm

onte

r la

• co

mpl

exité

de

certa

ins

syst

èmes

pub

liés

de n

ota-

tion

des

donn

ées

prob

ante

s, b

ien

qu’il

don

ne to

u-jo

urs

un c

lass

emen

t déf

enda

ble

des

conc

lusi

ons

fond

ées

sur l

a fo

rce

des

donn

ées

prob

ante

s so

us-ja

cent

es.

La fi

abili

té d

u sy

stèm

e do

it êt

re ri

gour

euse

men

t •

mis

e à

l’épr

euve

.

41

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Ste

uten

et c

oll.

2004

Pay

s-B

as

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Déc

rire

dans

que

lle

mes

ure

les

inst

ru-

men

ts a

ctue

ls s

ont

utile

s lo

rsqu

’il s

’agi

t d’

éval

uer l

a qu

alité

m

étho

dolo

giqu

e de

l’év

alua

tion

de

l’éva

luat

ion

des

tech

-no

logi

es d

e la

san

té

(ÉTS

) pou

r la

gest

ion

des

mal

adie

s.

Des

pro

blèm

es o

nt é

té re

levé

s da

ns l’

éval

uatio

n de

la q

ualit

é m

étho

dolo

giqu

e de

six

ÉTS

pou

r la

ges

tion

des

mal

adie

s da

ns le

cas

de

trois

inst

rum

ents

diff

éren

ts. I

ls c

once

rnai

ent s

urto

ut :

le m

odèl

e d’

étud

e (E

EA

C o

u ét

udes

par

obs

erva

tion)

; •

les

critè

res

de s

élec

tion

et la

lim

itatio

n de

s pa

tient

s;•

les

mes

ures

de

base

et d

e ré

sulta

ts (p

lusi

eurs

par

amèt

res

s’im

pose

nt);

•

le tr

aite

men

t à l’

aveu

gle

des

patie

nts

et d

es fo

urni

sseu

rs (c

e qu

i est

impo

ssib

le e

n ge

stio

n •

des

mal

adie

s);

la d

escr

iptio

n de

s in

terv

entio

ns c

ompl

exes

à fa

cette

s m

ultip

les

et l’

évite

men

t des

co-

• in

terv

entio

ns.

Les

cher

cheu

rs o

nt p

ropo

sé e

t val

idé

un n

ouve

l ins

trum

ent,

HTA

-DM

(ÉTS

-GM

), qu

i :

com

pte

quat

re c

ompo

sant

es (p

opul

atio

n à

l’étu

de, d

escr

iptio

n de

l’in

terv

entio

n, m

esur

e de

s •

résu

ltats

et a

naly

se e

t pré

sent

atio

n de

s do

nnée

s);

renf

erm

e 15

élé

men

ts (s

ur la

val

idité

inte

rne,

la v

alid

ité e

xter

ne e

t les

con

sidé

ratio

ns

• st

atis

tique

s).

•

Cho

u et

Hel

fand

2005

Éta

ts-U

nis

MÉT

HO

DES

(Exa

men

s sy

sté-

mat

ique

s (E

S) s

ur

les

préj

udic

es)

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Exa

min

er le

s dé

fis

mét

hodo

logi

ques

de

l’ex

écut

ion

d’E

S

sur l

es p

réju

dice

s et

sou

ligne

r des

ex

empl

es d

’app

roch

es

à le

ur é

gard

pro

vena

nt

de 9

6 co

mpt

es re

ndus

de

don

nées

pro

bant

es

sur l

es c

entre

s de

pra

-tiq

ue fo

ndée

sur

des

do

nnée

s pr

oban

tes.

Cer

tain

es é

tude

s on

t per

mis

de

cons

tate

r que

les

étud

es p

ar o

bser

vatio

n et

les

EE

AC

indi

quen

t de

s es

timat

ions

d’e

ffets

sem

blab

les.

D’a

utre

s on

t per

mis

de

cons

tate

r que

les

essa

is c

liniq

ues

indi

quen

t des

risq

ues

accr

us

d’év

énem

ents

nég

atifs

que

les

étud

es p

ar o

bser

vatio

n (p

eut-ê

tre e

n ra

ison

de

l’éva

luat

ion

des

préj

udic

es q

ui e

st p

lus

mau

vais

e da

ns le

s ét

udes

par

obs

erva

tion,

ou

parc

e qu

’elle

s so

nt p

lus

susc

eptib

les

d’êt

re p

ublié

es s

i elle

s in

diqu

ent d

e bo

nnes

mét

hode

s ou

de

bons

résu

ltats

).

Incl

ure

de g

rand

es b

ases

de

donn

ées

pour

rait

four

nir d

es re

nsei

gnem

ents

util

es s

ur le

s pr

éju-

dice

s.

Les

rése

aux

fond

és s

ur la

pra

tique

four

niss

ent s

ouve

nt d

es d

étai

ls p

lus

riche

s qu

e le

s ba

ses

de

donn

ées

adm

inis

trativ

es —

il e

st p

ossi

ble

de d

éfini

r et d

e m

esur

er le

s va

riabl

es c

onfu

sion

nelle

s pr

obab

les

avec

plu

s de

con

fianc

e, m

ais

elle

s so

nt p

lus

diffi

cile

s à

trouv

er p

ar d

épou

illem

ent

élec

troni

que

parc

e qu

e bo

n no

mbr

e de

s an

alys

es d

u ge

nre

sont

à p

ropr

iété

exc

lusi

ve.

Incl

ure

des

rapp

orts

de

cas

peut

aid

er à

défi

nir l

es e

ffets

indé

sira

bles

peu

cou

rant

s, in

atte

ndus

ou

à lo

ng te

rme

des

méd

icam

ents

qui

son

t sou

vent

diff

éren

ts d

e ce

ux d

écel

és p

enda

nt le

s es

sais

clin

ique

s.

Éva

luer

la q

ualit

é de

s ra

ppor

ts d

e pr

éjud

ices

:

Plu

sieu

rs E

S o

nt p

erm

is d

e dé

couv

rir q

ue le

fait

d’op

ter p

our d

es é

tude

s ca

s-té

moi

n pr

o-•

spec

tives

ou

rétro

spec

tives

ou

des

étud

es d

e co

horte

s, o

u en

core

des

étu

des

de s

érie

s de

ca

s de

pet

ite

Il fa

ut d

ispo

ser d

e m

eille

ures

don

nées

sur

les

préj

u-di

ces

pour

effe

ctue

r des

ES

équ

ilibr

és.

Il y

a lie

u de

men

er d

’aut

res

rech

erch

es a

fin d

’éta

blir

de m

aniè

re e

mpi

rique

l’ef

fet d

’incl

ure

des

donn

ées

issu

es d

e di

vers

es s

ourc

es s

ur le

s év

alua

tions

de

préj

udic

es, m

ais

auss

i d’a

mél

iore

r et d

e vé

rifier

les

critè

res

de n

otat

ion

de la

qua

lité

des

rapp

orts

de

préj

udic

es.

II im

porte

:

d’év

iter l

es c

ombi

nais

ons

stat

istiq

ues

de d

on-

• né

es q

ui s

ont i

napp

ropr

iées

;

de d

écrir

e av

ec s

oin

les

cara

ctér

istiq

ues

et la

•

qual

ité d

es é

tude

s in

clus

es;

d’ex

amin

er à

fond

les

sour

ces

poss

ible

s •

d’hé

téro

géné

ité.

42

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

McI

ntos

h et

col

l.

2004

Roy

aum

e-U

ni

MÉT

HO

DES

(ES)

Pré

sent

er l’

expé

rienc

e qu

i con

sist

e à

effe

c-tu

er d

es e

xam

ens

sys-

tém

atiq

ues

(ES

) sur

le

s ef

fets

noc

ifs e

t à

faire

des

sug

gest

ions

de

pra

tique

et d

’étu

des

pour

l’av

enir.

Les

aute

urs

ont é

valu

é le

s m

étho

des

empl

oyée

s da

ns tr

ois

ES

, en

se c

once

ntra

nt s

ur la

que

s-tio

n d’

exam

en, l

es m

odèl

es d

’étu

de e

t l’é

valu

atio

n de

la q

ualit

é.

Que

stio

n d’

exam

en

Dan

s un

exa

men

, on

posa

it un

e qu

estio

n pr

écis

e ax

ée s

ur la

pre

stat

ion

de re

nsei

gnem

ents

•

sur d

es e

ffets

noc

ifs s

péci

fique

s da

ns le

but

de

prod

uire

un

mod

èle

écon

omiq

ue; d

ans

les

deux

aut

res

exam

ens,

les

ques

tions

éta

ient

plu

s la

rges

.

Mod

èles

d’é

tude

Les

trois

incl

uaie

nt d

es d

onné

es d

’étu

des

sur é

chan

tillo

n al

éato

ire e

t par

obs

erva

tion,

mai

s •

chac

un d

éfini

ssai

t les

crit

ères

d’in

clus

ion

diffé

rem

men

t.

Éva

luat

ion

de la

qua

lité

:

liste

s de

con

trôle

pub

liées

et a

ppliq

uées

— p

robl

èmes

sur

venu

s;•

com

mun

icat

ion

inad

équa

te d

es c

arac

téris

tique

s fo

ndam

enta

les

de c

once

ptio

n de

s ét

udes

•

prim

aire

s —

list

es d

e co

ntrô

le o

met

tant

des

car

acté

ristiq

ues

clés

, com

me

la m

aniè

re d

ont

les

effe

ts n

ocifs

éta

ient

enr

egis

trés.

Prin

cipa

ux d

omai

nes

mér

itant

des

am

élio

ratio

ns :

conc

entre

r la

ques

tion

d’ex

amen

sur

des

poi

nts

• pr

écis

, car

les

ques

tions

larg

es e

t im

préc

ises

n’

aide

nt p

as a

u pr

oces

sus

d’ex

amen

;

élab

orer

des

mét

hode

s no

rmal

isée

s po

ur é

valu

er

• la

qua

lité

des

étud

es s

ur le

s ef

fets

noc

ifs.

Atk

ins

et c

oll.

2005

Éta

ts-U

nis

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

(Sys

tèm

e de

no

tatio

n)

Men

er u

n es

sai p

ilote

et

am

élio

rer l

’app

roch

e G

RA

DE

à la

not

atio

n de

s do

nnée

s pr

oban

-te

s et

des

reco

mm

an-

datio

ns.

L’ap

proc

he G

RA

DE

a é

té c

réée

par

le G

RA

DE

Wor

king

Gro

up p

our é

valu

er la

qua

lité

des

don-

nées

pro

bant

es e

t la

forc

e de

s re

com

man

datio

ns.

Les

cher

cheu

rs o

nt u

tilis

é 12

pro

fils

de d

onné

es p

roba

ntes

dan

s ce

tte é

tude

pilo

te.

Cha

que

profi

l a é

té c

réé

d’ap

rès

les

rens

eign

emen

ts fo

urni

s pa

r un

exam

en s

ysté

mat

ique

.

Dix

-sep

t per

sonn

es o

nt é

valu

é in

dépe

ndam

men

t la

qual

ité d

es d

onné

es p

roba

ntes

et l

a fo

rce

des

reco

mm

anda

tions

pou

r cha

cun

des

12 p

rofil

s.

Qua

lité

des

donn

ées

pour

cha

que

résu

ltat

Les

cher

cheu

rs o

nt d

écou

vert

qu’e

n pl

us d

u m

odèl

e d’

étud

e, d

e la

qua

lité,

de

la c

ohér

ence

•

et d

e la

fran

chis

e, d

’aut

res

critè

res

de q

ualit

é on

t aus

si in

fluen

cé le

juge

men

t sur

les

don-

nées

pro

bant

es; l

es d

onné

es é

pars

es, l

es s

olid

es a

ssoc

iatio

ns, l

es b

iais

de

publ

icat

ion,

la

rela

tion

dose

-effe

t et l

es s

ituat

ions

où

tout

es le

s va

riabl

es c

onfu

sion

nelle

s pl

ausi

bles

ont

re

nfor

cé p

lutô

t qu’

affa

ibli

la c

onfia

nce

à l’é

gard

de

l’orie

ntat

ion

de l’

effe

t.

Fiab

ilité

Sur

la q

ualit

é de

s do

nnée

s pr

oban

tes

pour

les

résu

ltats

touc

hant

cha

cune

des

dou

ze q

ues-

• tio

ns (l

e co

effic

ient

de

Kap

pa p

our l

a co

ncor

danc

e au

tre q

ue fo

rtuite

alla

it de

0 à

0,8

2), o

n s’

ente

ndai

t dan

s di

vers

es m

esur

es.

Sur

l’im

porta

nce

rela

tive

de c

haqu

e ré

sulta

t, on

s’e

nten

dait

asse

z bi

en.

•

Sur

l’éq

uilib

re e

ntre

les

avan

tage

s, le

s pr

éjud

ices

et l

es re

com

man

datio

ns, o

n s’

ente

ndai

t •

peu

(ce

qui p

ourr

ait s

’exp

lique

r en

parti

e pa

r l’a

ccum

ulat

ion

de to

us le

s éc

arts

ant

érie

urs

dans

la n

otat

ion

de la

qua

lité

et d

e l’i

mpo

rtanc

e de

s do

nnée

s pr

oban

tes)

.

La p

lupa

rt de

s éc

arts

ont

été

faci

lem

ent r

ésol

us p

ar la

dis

cuss

ion.

•

.

43

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Kha

n et

col

l.

2001

Roy

aum

e-U

ni

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Four

nir d

es re

nsei

gne-

men

ts g

énér

aux

sur

la q

ualit

é de

s ét

udes

et

déc

rire

com

men

t dr

esse

r des

list

es

de c

ontrô

le p

our

l’éva

luat

ion

de la

qu

alité

.

Les

cher

cheu

rs o

nt d

écrit

des

rais

ons

d’in

clur

e l’é

valu

atio

n de

la q

ualit

é de

s ét

udes

dan

s le

s ex

amen

s, le

s ty

pes

de b

iais

, cer

tain

es m

étho

des

pour

se

prot

éger

con

tre le

bia

is d

ans

les

étud

es d

’effi

caci

té p

rimai

res

et c

omm

ent l

es in

stru

men

ts d

’éva

luat

ion

de la

qua

lité

devr

aien

t êt

re m

is a

u po

int.

Les

critè

res

de q

ualit

é po

ur l’

éval

uatio

n de

s ét

udes

par

obs

erva

tion

com

pren

nent

le fa

it de

ré

pond

re à

une

sér

ie d

e qu

estio

ns s

ur le

s ét

udes

de

coho

rtes,

les

étud

es c

as-té

moi

n et

les

série

s de

cas

.

Étu

des

de c

ohor

tes

Les

grou

pes

et la

répa

rtitio

n de

s fa

cteu

rs p

révi

sion

nels

son

t-ils

suf

fisam

men

t déc

rits?

•

Les

grou

pes

sont

-ils

réun

is e

n un

mêm

e en

droi

t pen

dant

la p

rogr

essi

on d

e la

mal

adie

?•

L’in

terv

entio

n ou

le tr

aite

men

t est

-il d

éter

min

é av

ec fi

abili

té?

•

Les

grou

pes

étai

ent-i

ls c

ompa

rabl

es d

u po

int d

e vu

e de

tous

les

fact

eurs

con

fusi

onne

ls

• im

porta

nts?

Les

effe

ts d

e ce

s va

riabl

es c

onfu

sion

nelle

s on

t-ils

été

ada

ptés

adé

quat

emen

t?•

Y av

ait-i

l une

rela

tion

dose

-effe

t ent

re l’

inte

rven

tion

et le

résu

ltat d

émon

tré?

•

Le ré

sulta

t a-t-

il ét

é év

alué

san

s qu

e l’é

tat d

’exp

ositi

on s

oit p

ris e

n co

mpt

e?•

Le s

uivi

a-t-

il ét

é su

ffisa

mm

ent l

ong

pour

que

les

résu

ltats

soi

ent o

bten

us?

•

La p

ropo

rtion

de

la c

ohor

te a

-t-el

le fa

it l’o

bjet

d’u

n su

ivi?

•

Les

taux

et l

es m

otifs

d’a

band

on é

taie

nt-il

s se

mbl

able

s d’

un g

roup

e vi

sé p

ar l’

inte

rven

tion

• et

d’u

n gr

oupe

non

exp

osé

à l’a

utre

?

Étu

des

cas-

tém

oin

La d

éfini

tion

des

cas

est-e

lle c

laire

?•

Le p

robl

ème

de s

anté

des

cas

a-t-

il ét

é év

alué

et v

alid

é av

ec fi

abili

té?

•

Les

tém

oins

ont

été

cho

isis

au

hasa

rd à

mêm

e le

s ca

s?•

En

quoi

les

cas

et le

s té

moi

ns s

ont-i

ls c

ompa

rabl

es e

n ce

qui

touc

he le

s fa

cteu

rs c

onfu

-•

sion

nels

pos

sibl

es?

Les

inte

rven

tions

et l

es a

utre

s ex

posi

tions

ont

-elle

s ét

é év

alué

es d

e la

mêm

e m

aniè

re

• au

tant

pou

r les

cas

que

pou

r les

tém

oins

?

Con

clus

ions

Dan

s un

exa

men

où

ces

mod

èles

d’é

tude

son

t •

inté

grés

, il p

eut ê

tre d

iffici

le d

e dé

term

iner

si

les

diffé

renc

es d

écou

lent

de

l’int

erve

ntio

n ou

de

l’inc

ompa

tibili

té d

es g

roup

es.

Les

résu

ltats

dev

raie

nt ê

tre c

onsi

déré

s av

ec

• pr

uden

ce.

44

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Thom

as e

t col

l.

2004

Can

ada

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

MÉT

HO

DES

(ES)

Déc

rire

quat

re e

njeu

x re

latif

s au

x ex

am-

ens

docu

men

taire

s sy

stém

atiq

ues

sur

l’effi

caci

té d

es in

ter-

vent

ions

en

mat

ière

de

serv

ices

infir

mie

rs d

e sa

nté

publ

ique

:

1. p

roce

ssus

d’

exam

en s

ysté

ma-

tique

de

la d

ocum

en-

tatio

n;

2. m

ise

au p

oint

d’

un in

stru

men

t d’

éval

uatio

n de

la

qual

ité;

3. le

s m

étho

des

et le

s ré

sulta

ts d

u P

PE

SP

jusq

u’à

prés

ent;

4. q

uelq

ues

mét

hode

s et

résu

ltats

de

la d

iffu-

sion

em

ploy

ée.

Dom

aine

s d’

éval

uatio

n de

s ét

udes

par

obs

erva

tion

Que

stio

n d’

étud

e•

Pop

ulat

ion

à l’é

tude

•

Com

para

bilit

é de

s su

jets

•

Exp

ositi

on o

u in

terv

entio

n•

Mes

ure

à l’a

veug

le d

es ré

sulta

ts•

Ana

lyse

sta

tistiq

ue•

Rés

ulta

ts•

Dis

cuss

ion

•

Fond

emen

t•

Com

posa

nts

de l’

outil

d’é

valu

atio

n de

la q

ualit

é du

PP

ES

P

Bia

is d

e sé

lect

ion

•

Con

cept

ion

•

Varia

bles

con

fusi

onne

lles

•

Trai

tem

ent à

l’av

eugl

e•

Mét

hode

s de

col

lect

e de

s do

nnée

s•

Ret

raits

et a

band

ons

•

Ce

mod

èle

de n

otat

ion

a ét

é vé

rifié

et s

’avè

re u

n ou

til

fiabl

e et

val

ide.

Ce

syst

ème

de n

otat

ion

indi

que

une

préf

éren

ce

pour

les

EE

AC

et l

es e

ssai

s cl

iniq

ues

sur é

chan

tillo

n co

ntrô

lé, o

ù le

s no

tes

auro

nt te

ndan

ce à

être

plu

s él

evée

s qu

e po

ur d

es é

tude

s su

r éch

antil

lon

non

aléa

toire

.

La m

eille

ure

note

qui

peu

t être

obt

enue

ave

c de

s ét

udes

par

obs

erva

tion

est m

oyen

ne, e

t cel

a se

pr

odui

t seu

lem

ent q

uand

tous

les

élém

ents

de

l’étu

de

sont

très

bie

n co

nçus

.

45

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Ram

say

et c

oll.

2003

Éta

ts-U

nis

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

MÉT

HO

DES

(Mod

èles

à s

érie

s ch

rono

logi

ques

in

terr

ompu

es

(SC

I))

Exa

min

er d

e m

aniè

re

criti

que

la q

ualit

é m

étho

dolo

giqu

e de

s m

odèl

es d

e S

CI

(sér

ies

chro

nolo

giqu

es

inte

rrom

pues

) à l’

aide

d’

étud

es in

clus

es

dans

deu

x ex

amen

s sy

stém

atiq

ues

(un

sur l

es in

terv

en-

tions

méd

ical

es d

e m

asse

et u

n su

r les

st

raté

gies

de

diffu

sion

et

d’a

pplic

atio

n de

s lig

nes

dire

ctric

es).

Crit

ères

de

qual

ité d

es m

odèl

es d

e S

CI :

l’int

erve

ntio

n se

dér

oula

it in

dépe

ndam

men

t d’a

utre

s ch

ange

men

ts q

ui s

e pr

odui

saie

nt a

u fil

•

du te

mps

;

l’int

erve

ntio

n ét

ait p

eu s

usce

ptib

le d

e to

uche

r la

colle

cte

des

donn

ées;

•

le ré

sulta

t éta

it év

alué

à l’

aveu

gle

ou m

esur

é ob

ject

ivem

ent;

•

le ré

sulta

t éta

it fia

ble

ou m

esur

é ob

ject

ivem

ent;

•

la c

ompo

sitio

n de

l’en

sem

ble

de d

onné

es à

cha

que

poin

t abo

rdé

engl

obai

t au

moi

ns 8

0 %

•

de to

us le

s pa

rtici

pant

s à

l’étu

de;

la fo

rme

de l’

effe

t d’in

terv

entio

n ét

ait p

réci

sée

au p

réal

able

;•

le ra

ison

nem

ent s

ous-

tend

ant l

e no

mbr

e et

l’es

pace

men

t des

poi

nts

de d

onné

es é

tait

• dé

crit;

l’étu

de é

tait

anal

ysée

con

vena

blem

ent s

elon

des

tech

niqu

es p

ar s

érie

s ch

rono

logi

ques

. •

Con

stat

atio

ns

En

tout

, 66

% (n

= 3

8) d

es é

tude

s à

SC

I n’o

nt p

as p

erm

is d

’em

pêch

er q

u’un

aut

re é

véne

-•

men

t se

soit

prod

uit a

u m

omen

t de

l’int

erve

ntio

n.

En

géné

ral,

dans

les

deux

exa

men

s, o

n a

com

mun

iqué

les

fact

eurs

touc

hant

la c

olle

cte

• de

s do

nnée

s, le

résu

ltat p

rinci

pal e

t l’in

tégr

alité

de

l’ens

embl

e de

don

nées

.

Tout

es le

s ét

udes

éta

ient

jugé

es e

ffica

ces

dans

le ra

ppor

t orig

inal

, mai

s en

viro

n la

moi

tié

• de

s ét

udes

ana

lysé

es d

e no

uvea

u n’

ont r

évél

é au

cun

écar

t sta

tistiq

ue s

igni

ficat

if.

•

Sou

vent

, les

mod

èles

à S

CI s

ont s

ouve

nt a

naly

sés

inad

équa

tem

ent,

man

quen

t de

puis

sanc

e et

son

t mal

co

mm

uniq

ués

dans

les

étud

es s

ur la

mis

e en

œuv

re.

46

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Con

n et

Ran

tz

2003

Éta

ts-U

nis

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

MÉT

HO

DES

(Qua

lité

et

résu

ltats

d’é

tude

)

1. D

iscu

ter d

es

man

ière

s do

nt le

s ch

erch

eurs

con

çoiv

ent

la q

ualit

é et

l’év

alue

nt.

2. D

éter

min

er le

s lie

ns

qui e

xist

ent e

ntre

la

qual

ité e

t les

résu

ltats

de

s ét

udes

.

3. É

tabl

ir de

s st

raté

-gi

es p

our g

érer

la

qual

ité v

aria

ble

des

étud

es p

rimai

res

dans

un

e m

éta-

anal

yse.

Éva

luer

la q

ualit

é m

étho

dolo

giqu

e

Il n’

exis

te a

ucun

e no

rme

rela

tive

aux

varia

tions

de

qual

ité d

ans

les

étud

es p

rimai

res.

•

Tabl

eau

1 –

résu

mé

des

com

posa

nts

cour

ants

de

la q

ualit

é de

s ét

udes

sur

les

inte

rven

-•

tions

.

Inst

rum

ents

de

mes

ure

de la

qua

lité

– il

exis

te p

lus

de 1

00 é

chel

les

de q

ualit

é po

ur le

s •

étud

es p

rimai

res,

mai

s le

ur ta

ille,

leur

com

posi

tion,

leur

com

plex

ité e

t leu

r por

tée

varie

nt

radi

cale

men

t.

Les

éche

lles

de m

esur

e de

la q

ualit

é pr

ésen

tent

des

pro

blèm

es d

e m

ise

au p

oint

et

• d’

appl

icat

ion.

La p

lupa

rt de

s éc

helle

s do

nnen

t une

not

e un

ique

et g

loba

le d

e qu

alité

. Seu

lem

ent

• qu

elqu

es-u

nes

renf

erm

ent d

es s

ous-

éche

lles

qui i

ndiq

uent

les

forc

es e

t les

faib

less

es.

Il es

t pro

uvé

qu’il

est

diffi

cile

d’a

ppliq

uer l

es in

stru

men

ts u

nifo

rmém

ent,

mêm

e da

ns le

s •

EE

AC

.

Rap

port

entre

la q

ualit

é et

les

résu

ltats

d’é

tude

:

les

cons

tata

tions

son

t sou

vent

con

tradi

ctoi

res;

•

les

cons

tata

tions

son

t iné

gale

s qu

ant a

u fa

it qu

e le

s ét

udes

de

faib

le q

ualit

é so

us-e

stim

ent

• ou

sur

estim

ent l

’am

pleu

r de

l’effe

t com

para

tivem

ent a

ux é

tude

s de

hau

te q

ualit

é;

les

diffé

rent

es é

chel

les

donn

ent d

iffér

ente

s év

alua

tions

de

la q

ualit

é de

s ét

udes

, ce

qui

• en

traîn

e un

man

que

d’un

iform

ité d

ans

les

effo

rts v

isan

t à é

tabl

ir un

lien

ent

re la

qua

lité

des

étud

es e

t leu

rs ré

sulta

ts.

Stra

tégi

es p

our g

érer

la q

ualit

é

Éta

blir

des

nive

aux

min

imum

s d’

incl

usio

n ou

exi

ger q

ue c

erta

ins

attri

buts

de

qual

ité s

oien

t •

prés

ents

— c

e qu

i peu

t sig

nifie

d’é

tabl

ir de

s cr

itère

s d’

incl

usio

n, d

e ch

oisi

r de

certa

ines

no

tes

limite

s de

qua

lité

a pr

iori;

de

fixer

des

lim

ites

: exc

lure

les

étud

es q

ui s

erai

ent m

oins

rig

oure

uses

est

con

traire

à l’

habi

tude

sci

entifi

que

selo

n la

quel

le le

s do

nnée

s so

nt e

xam

i-né

es e

t on

les

lais

se p

arle

r.

Pon

dére

r l’a

mpl

eur d

e l’e

ffet p

ar le

s no

tes

de q

ualit

é —

per

met

d’in

clur

e di

vers

es é

tude

s,

• m

ais

repo

se s

ur d

es m

esur

es d

e qu

alité

dou

teus

es.

Con

sidé

rer l

a qu

alité

com

me

une

ques

tion

empi

rique

— p

erm

et d

’exa

min

er le

s ra

ppor

ts

• en

tre la

qua

lité

et la

taill

e de

l’ef

fet e

t ain

si d

e pr

éser

ver l

’obj

et d

e la

mét

a-an

alys

e, s

oit e

x-am

iner

les

donn

ées

syst

émat

ique

men

t; lim

ites

: les

pro

blèm

es q

ue p

rése

nten

t les

éch

elle

s de

mes

ure

de la

qua

lité

glob

ale

risqu

ent d

e lim

ite la

con

fianc

e ac

cord

ée a

ux c

onst

atat

ions

re

lativ

es a

ux m

esur

es d

e qu

alité

glo

bale

.

Con

clus

ions

Les

cher

cheu

rs c

ombi

nent

de

plus

en

plus

•

les

stra

tégi

es p

our s

urm

onte

r les

lim

ites

que

prés

ente

l’ut

ilisa

tion

d’un

e se

ule

appr

oche

.

S’e

fforc

er d

avan

tage

de

crée

r des

mes

ures

•

valid

es d

e la

qua

lité

des

étud

es p

rimai

res

amé-

liore

ra la

cap

acité

des

mét

a-an

alys

es d

’influ

ence

r la

rech

erch

e et

la p

ratiq

ue in

firm

ière

.

47

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Lind

e et

col

l.

2002

Alle

mag

ne

ÉTU

DES

(sur

éch

antil

lon

aléa

toire

ou

non

aléa

toire

)

Dét

erm

iner

:

1. le

s di

ffére

nces

po

ssib

les

sur l

e pl

an

des

patie

nts,

des

in

terv

entio

ns, d

es

aspe

cts

de la

qua

lité

indé

pend

ants

de

la

conc

eptio

n et

des

ta

ux d

e ré

pons

e en

tre le

s ét

udes

sur

éc

hant

illon

alé

atoi

re

et n

on a

léat

oire

con

-ce

rnan

t l’a

cupu

nctu

re

pour

le tr

aite

men

t de

s m

aux

de tê

te

chro

niqu

es;

2. s

i les

étu

des

sur

écha

ntill

on n

on

aléa

toire

pro

cure

nt

d’au

tres

rens

eign

e-m

ents

per

tinen

ts

(soi

t, le

s m

étho

des

et le

s ré

sulta

ts à

long

te

rme,

les

fact

eurs

pr

évis

ionn

els,

les

ef-

fets

nég

atifs

, les

taux

de

répo

nse)

.

3. le

s ex

plic

atio

ns

poss

ible

s en

cas

d’

écar

t ent

re le

s ta

ux

de ré

pons

e po

ur le

s pa

tient

s sé

lect

ionn

és

au h

asar

d ou

non

.

Crit

ères

de

qual

ité

La m

étho

de d

’éch

antil

lonn

age

est-e

lle c

laire

et c

laire

men

t déc

rite?

•

Le d

iagn

ostic

de

mau

x de

tête

est

-il c

laire

men

t éta

bli?

•

Les

patie

nts

sont

-ils

cara

ctér

isés

(au

moi

ns s

elon

l’âg

e, le

sex

e, la

dur

ée e

t la

grav

ité d

es

• sy

mpt

ômes

)?

La p

ério

de d

e ba

se d

ure-

t-elle

au

moi

ns q

uatre

sem

aine

s?•

Obt

ient

-on

au m

oins

deu

x ré

sulta

ts c

liniq

ues

en c

e qu

i tou

che

les

mau

x de

tête

?•

Util

ise-

t-on

un re

levé

quo

tidie

n de

s m

aux

de tê

te?

•

Les

co-in

terv

entio

ns s

ont-e

lles

décr

ites?

•

Est

-ce

qu’a

u m

oins

90

% d

es p

atie

nts

incl

us o

nt fa

it l’o

bjet

d’u

ne a

naly

se a

près

trai

tem

ent?

•

Est

-ce

qu’a

u m

oins

80

% d

es p

atie

nts

traits

ont

fait

l’obj

et d

’une

ana

lyse

lors

du

suiv

i pré

-•

coce

(moi

ns d

e si

x m

ois

aprè

s)?

Est

-ce

qu’a

u m

oins

80

% d

es p

atie

nts

traité

s on

t fai

t l’o

bjet

d’u

ne a

naly

se lo

rs d

u su

ivi t

ardi

f •

(au

moi

ns s

ix m

ois

aprè

s)?

Mét

hode

s et

résu

ltats

Cin

quan

te-n

euf é

tude

s on

t été

incl

uses

: 24

ess

ais

sur é

chan

tillo

n al

éato

ire e

t 35

étud

es

• su

r éch

antil

lon

non

aléa

toire

(cin

q ét

udes

de

coho

rtes

sur é

chan

tillo

n no

n al

éato

ire e

t con

-trô

lé, 1

0 ét

udes

pro

spec

tives

sur

éch

antil

lon

non

cont

rôlé

, 10

série

s de

cas

et 1

0 en

quêt

es

trans

vers

ales

).

Dix

des

24

EE

AC

et 2

6 de

s 35

étu

des

sur é

chan

tillo

n no

n al

éato

ire ré

pond

aien

t à m

oins

de

• ci

nq c

ritèr

es d

e qu

alité

.

En

tout

, 535

pat

ient

s on

t reç

u un

trai

tem

ent d

’acu

punc

ture

dan

s le

s 24

EE

AC

, com

para

tive-

• m

ent à

269

5 da

ns le

s 35

étu

des

sur é

chan

tillo

n no

n al

éato

ire.

En

moy

enne

, les

ess

ais

sur é

chan

tillo

n al

éato

ire s

e so

nt fa

its s

ur u

n éc

hant

illon

plu

s fa

ible

, •

ont r

épon

du à

plu

s de

crit

ères

de

qual

ité e

t ont

enr

egis

tré d

es ta

ux d

e ré

pons

e m

oins

él

evés

(0,5

9; 0

,48

- 0,6

9) c

. 0,7

8 (0

,72

- 0,8

3).

Sur

éch

antil

lon

aléa

toire

ou

non,

les

étud

es q

ui ré

pond

aien

t à p

lus

de c

ritèr

es d

e qu

alité

•

enre

gist

raie

nt u

n ta

ux d

e ré

pons

e m

oins

éle

vé.

La p

ério

de d

e su

ivi p

our l

es é

tude

s su

r éch

antil

lon

non

aléa

toire

n’é

tait

pas

nette

men

t plu

s •

long

ue. S

ur le

s tro

is q

ui in

clua

ient

une

ana

lyse

des

var

iabl

es p

révi

sion

nelle

s, s

eule

men

t un

e fa

isai

t éta

t des

effe

ts n

égat

ifs, e

t les

deg

rés

de g

énér

alis

abili

té n

’éta

ient

pas

cla

irs.

48

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Mac

Leho

se e

t co

ll.

2000

Roy

aum

e-U

ni

ÉTU

DES

(EEA

C c

. ét

udes

qua

si-

expé

rimen

tale

s et

pa

r obs

erva

tion

(QEO

))

Com

pare

r les

est

ima-

tions

d’e

ffica

cité

ob

tenu

es p

ar d

es

EE

AC

et d

es Q

EO

et

exa

min

er le

rap-

port

entre

la q

ualit

é m

étho

dolo

giqu

e et

l’a

mpl

eur d

es e

stim

a-tio

ns d

’effi

caci

té.

1re

stra

tégi

e : c

ompa

rer l

es e

stim

atio

ns q

uant

à l’

effic

acité

de

tout

e in

terv

en-

tion

qui o

nt é

té o

bten

ues

par d

es E

EAC

et d

es é

tude

s Q

EO, o

ù le

s de

ux

estim

atio

ns fi

gura

ient

dan

s un

seu

l.

Qua

torz

e do

cum

ents

qui

con

tena

ient

38

com

para

ison

s, d

ont 1

3 ét

aien

t jug

ées

de q

ualit

é su

périe

ure

et 2

5, d

e fa

ible

qua

lité.

Les

écar

ts e

ntre

les

estim

atio

ns o

bten

ues

par d

es E

EA

C e

t des

étu

des

QE

O c

once

rnan

t l’a

mpl

eur d

e l’e

ffet e

t la

fréqu

ence

des

résu

ltats

pou

r les

gro

upes

aya

nt fa

it l’o

bjet

d’u

ne in

ter-

vent

ion

et le

s gr

oupe

s té

moi

ns é

taie

nt p

lus

faib

les

dans

le c

as d

es c

ompa

rais

ons

de g

rand

e qu

alité

que

dan

s ce

ux d

e fa

ible

qua

lité.

Con

clus

ion

Les

estim

atio

ns d

’effi

caci

té o

bten

ue p

ar d

es é

tude

s Q

EO

peu

vent

être

val

ides

si l

es fa

c-•

teur

s co

nfus

ionn

els

impo

rtant

s so

nt c

ontrô

lés.

Les

com

para

ison

s de

faib

le q

ualit

é on

t ten

danc

e à

donn

er d

es e

stim

atio

ns d

’effe

t ext

rêm

es

• da

ns le

cas

des

étu

des

QE

O.

Les

mét

hode

s et

les

résu

ltats

son

t lim

ités

par l

e no

mbr

e de

doc

umen

ts e

xam

inés

(fai

ble)

et

• la

nat

ure

pote

ntie

llem

ent n

on re

prés

enta

tive

des

donn

ées

prob

ante

s ex

amin

ées.

2e s

trat

égie

: co

mpa

rer l

es e

stim

atio

ns q

uant

à l’

effic

acité

d’in

terv

entio

ns

préc

ises

qui

ont

été

obt

enue

s pa

r des

EEA

C e

t des

étu

des

QEO

, où

les

deux

es

timat

ions

figu

raie

nt d

ans

des

docu

men

ts d

iffér

ents

.

Inte

rven

tions

: dé

pist

age

par m

amm

ogra

phie

des

tiné

à ré

duire

la m

orta

lité

due

au c

ance

r du

sein

et l

es s

uppl

émen

ts d

’aci

de fo

lique

ser

vant

à ré

duire

les

anom

alie

s du

tube

neu

ral c

hez

les

fem

mes

tent

ant d

e to

mbe

r enc

eint

es.

Tren

te-q

uatre

doc

umen

ts o

nt é

té e

xam

inés

(17

sur l

e dé

pist

age

par m

amm

ogra

phie

, 17

sur l

es

supp

lém

ents

d’a

cide

foliq

ue).

Hui

t et q

uatre

doc

umen

ts, r

espe

ctiv

emen

t, ét

aien

t des

EE

AC

attr

ibué

s in

divi

duel

lem

ent o

u pa

r gra

ppe,

cin

q et

six

éta

ient

des

ess

ais

sur é

chan

tillo

n no

n al

éato

ire o

u de

s ét

udes

de

coho

rtes,

et t

rois

et s

ix é

taie

nt d

es é

tude

s ca

s-té

moi

n ap

parié

es o

u no

n. D

eux

étud

es, u

ne s

ur

le d

épis

tage

par

mam

mog

raph

ie e

t une

sur

les

supp

lém

ents

d’a

cide

foliq

ue, r

epos

aien

t sur

un

autre

mod

èle.

Les

note

s de

qua

lité

tota

les

étai

ent p

lus

bass

es p

our l

es é

tude

s de

coh

orte

s et

cas

-tém

oin

que

pour

les

EE

AC

; et l

es n

otes

pou

r les

étu

des

de c

ohor

tes

étai

ent n

ette

men

t plu

s ba

sses

que

po

ur le

s ét

udes

cas

-tém

oin.

La m

éta-

régr

essi

on d

es a

ttrib

uts

d’ét

ude

par r

appo

rt au

x es

timat

ions

de

risqu

e re

latif

n’a

révé

lé

aucu

n lie

n en

tre l’

ampl

eur d

e l’e

ffet e

t la

qual

ité d

e l’é

tude

, peu

impo

rte l’

inte

rven

tion.

Les

estim

atio

ns o

bten

ues

par l

es E

EA

C e

t les

étu

des

de c

ohor

tes

n’ét

aien

t pas

net

tem

ent

diffé

rent

es, m

ais

les

étud

es c

as-té

moi

n on

t don

né d

es e

stim

atio

ns b

ien

diffé

rent

es lo

rsqu

’il é

tait

ques

tion

de m

amm

ogra

phie

(ava

ntag

e su

périe

ur) e

t d’a

cide

foliq

ue (a

vant

age

infé

rieur

).

Rec

omm

anda

tions

Il y

aura

it lie

u d’

étab

lir d

es n

orm

es d

e co

mm

uni-

• ca

tion

pour

les

étud

es Q

EO

.

Il fa

udra

it ex

amin

er la

pos

sibi

lité

de c

réer

des

•

stra

tégi

es d

e re

cher

che

nouv

elle

s.

Il fa

ut é

labo

rer d

es m

étho

des

d’ét

ablis

sem

ent

• de

s ét

udes

qui

four

niss

ent u

ne c

ompa

rais

on

dire

cte

des

estim

atio

ns d

écou

lant

de

donn

ées

aléa

toire

s et

non

alé

atoi

res.

49

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Brit

ton

1998

Roy

aum

e-U

ni

ÉTU

DES

(EEA

C c

. étu

des

sur é

chan

tillo

n no

n al

éato

ire)

Exa

min

er le

s qu

es-

tions

touc

hant

le

proc

essu

s de

rand

omi-

satio

n qu

i peu

vent

in

fluer

sur

la v

alid

ité

des

conc

lusi

ons

tirée

s de

s m

étho

des

et d

es

résu

ltats

des

EE

AC

et

des

étud

es s

ur é

chan

-til

lon

non

aléa

toire

Com

para

ison

s an

térie

ures

ent

re d

es E

EA

C e

t des

étu

des

sur é

chan

tillo

n no

n al

éato

ire :

Dix

-hui

t doc

umen

ts o

ù l’o

n co

mpa

rait

dire

ctem

ent l

es ré

sulta

ts d

’EE

AC

et d

’étu

des

pro-

• sp

ectiv

es s

ur é

chan

tillo

n no

n al

éato

ire e

t les

mét

hode

s em

ploy

ées

dans

les

deux

cas

ont

ét

é dé

couv

erts

et a

naly

sés.

Les

estim

atio

ns d

e l’e

ffet d

u tra

item

ent n

’ont

été

inva

riabl

emen

t plu

s él

evée

s ou

plu

s fa

ible

s •

ni p

our l

es E

EA

C, n

i pou

r les

étu

des

sur é

chan

tillo

n no

n al

éato

ire.

Le g

enre

d’in

terv

entio

n n’

a pa

s se

mbl

é ex

erce

r d’in

fluen

ce.

•

Exc

lusi

ons

Dan

s le

s E

EA

C, l

a pr

opor

tion

de s

ujet

s ad

mis

sibl

es a

llait

de 1

% à

100

%.

•

Les

mot

ifs d

’exc

lusi

on p

ouva

ient

être

méd

icau

x (p

. ex.

, ris

que

élev

é de

situ

atio

ns n

égat

ives

•

dans

cer

tain

s gr

oupe

s) o

u sc

ient

ifiqu

es (s

élec

tion

axée

sur

de

petit

s gr

oupe

s ho

mog

ènes

po

ur a

ugm

ente

r la

préc

isio

n de

s ef

fets

de

traite

men

t est

imat

ifs);

de p

lus,

les

excl

usio

ns

glob

ales

son

t cou

rant

es d

ans

les

EE

AC

.

Par

ticip

atio

n

Dan

s la

plu

part

des

EE

AC

, les

car

acté

ristiq

ues

des

pers

onne

s ad

mis

sibl

es q

ui n

’ont

pas

•

parti

cipé

aux

ess

ais

sont

mal

doc

umen

tées

.

Ada

pter

en

fonc

tion

des

diffé

renc

es d

e ba

se

Dan

s le

s ét

udes

sur

éch

antil

lon

non

aléa

toire

, l’a

dapt

atio

n en

fonc

tion

des

diffé

renc

es a

•

souv

ent c

hang

é l’a

mpl

eur d

e l’e

ffet d

u tra

item

ent,

mai

s pa

s de

man

ière

sig

nific

ativ

e; c

e qu

i im

porte

, c’e

st q

ue l’

orie

ntat

ion

du c

hang

emen

t n’é

tait

pas

cons

tant

e.

Con

clus

ions

:

Les

résu

ltats

des

EE

AC

et d

es é

tude

s su

r éch

an-

• til

lon

non

aléa

toire

et l

es m

étho

des

empl

oyée

s da

ns le

s de

ux c

as n

e di

fféra

ient

pas

inév

itabl

e-m

ent

Les

donn

ées

prob

ante

s qu

i exi

sten

t son

t lim

itées

•

à bi

en d

es é

gard

s, m

ais

on la

isse

ent

endr

e qu

’il

est p

ossi

ble

de ré

duire

les

diffé

renc

es a

u m

ini-

mum

en

s’as

sura

nt q

ue le

s su

jets

incl

us d

ans

chaq

ue g

enre

d’é

tude

son

t com

para

bles

.

Lem

mer

et c

oll.

1999

Roy

aum

e-U

ni

MÉT

HO

DES

(ES)

Faire

éta

t des

gra

nds

prob

lèm

es q

u’a

prés

enté

s un

exa

men

sy

stém

atiq

ue d

e la

do

cum

enta

tion

qui,

en l’

abse

nce

d’E

EA

C,

s’es

t ins

piré

d’é

tude

s th

éoriq

ues

de tr

avau

x de

rech

erch

e fo

ndés

su

r la

pris

e de

déc

i-si

ons

et la

pra

tique

.

En

tout

, 164

exa

men

s de

82

publ

icat

ions

ont

été

effe

ctué

s.

Une

ver

sion

mod

ifiée

du

Coc

hran

e C

olla

bora

tion

Pro

toco

l a é

té u

tilis

ée :

Les

base

s de

don

nées

et l

es m

ots

clés

em

ploy

és p

our l

es s

traté

gies

de

rech

erch

e on

t été

•

choi

sis

en c

onsu

ltatio

n av

ec u

n bi

blio

théc

aire

spé

cial

isé

en s

anté

et d

ans

des

mat

ière

s co

nnex

es.

Les

parti

es o

mis

es o

nt é

té ju

gées

inap

prop

riées

aux

fins

de

com

ptes

rend

us q

ui n

e co

n-•

cern

aien

t pas

des

EE

AC

, et e

lles

ont é

té re

mpl

acée

s pa

r des

rubr

ique

s re

lativ

es à

une

plu

s va

ste

gam

me

de m

étho

dolo

gies

.

À la

fin

du p

roto

cole

, il y

ava

it au

ssi u

ne p

artie

pou

r les

com

men

taire

s de

s ex

amin

ateu

rs s

ur

l’opp

ortu

nité

et l

’impo

rtanc

e de

cha

que

exam

en.

Une

not

e nu

mér

ique

a é

té a

ttrib

uée

à ch

aque

arti

cle;

8 e

st la

not

e m

axim

um e

t 1, l

a no

te

min

imum

.

Ce

barè

me

a se

rvi à

indi

quer

la ri

gueu

r mét

hodo

logi

que

et la

per

tinen

ce d

e ch

aque

arti

cle.

Les

étud

es q

ualit

ativ

es fo

urni

ssen

t peu

de

rens

eign

e-m

ents

sur

la m

étho

dolo

gie,

ce

qui r

end

l’éva

luat

ion

de la

qua

lité

diffi

cile

. • C

epen

dant

, tou

s le

s ex

amin

a-te

urs

ont c

onve

nu q

ue c

erta

ins

des

artic

les

non

coté

s co

mm

e ét

ant m

auva

is re

nfer

mai

ent d

es q

uest

ions

ou

des

par

ties

impo

rtant

es d

ont l

’om

issi

on a

urai

t nui

à

l’étu

de.

Il a

été

diffi

cile

de

s’en

tend

re s

ur u

ne n

ote,

car

ch

aque

exa

min

ateu

r int

erpr

étai

t les

arti

cles

et l

es

mod

èles

d’é

tude

diff

érem

men

t.

50

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Gol

dsm

ith e

t col

l.

2007

Roy

aum

e-U

ni

MÉT

HO

DES

Déc

rire

les

mét

hode

s d’

exam

en é

labo

rées

et

les

diffi

culté

s re

ncon

trées

pen

dant

le

pro

cess

us q

ui c

on-

sist

ait à

met

tre à

jour

l’e

xam

en s

ysté

mat

ique

de

don

nées

pro

bant

es

pour

influ

ence

r les

lig

nes

dire

ctric

es

conc

erna

nt le

con

tenu

de

s do

nnée

s su

r les

pa

tient

es re

latif

au

dépi

stag

e du

can

cer

du c

ol d

e l’u

téru

s.

Les

étud

es d

e fe

mm

es d

ans

un p

rogr

amm

e or

gani

sé d

e dé

pist

age

syst

émat

ique

du

canc

er d

u co

l de

l’uté

rus

ont é

té in

clus

es; t

ous

les

mod

èles

d’é

tude

, à l’

exce

ptio

n de

s ar

ticle

s d’

opin

ion,

on

t été

incl

us.

Deu

x ce

nt tr

ente

-troi

s ét

udes

ont

été

récu

péré

es a

ux fi

ns d

’éva

luat

ion

plus

app

rofo

ndie

.

Les

donn

ées

ont é

té e

xtra

ites

de 7

9 ét

udes

(52

quan

titat

ives

et 2

7 qu

alita

tives

).

Tren

te-d

eux

étud

es o

nt é

té in

diqu

ées

com

me

étan

t per

tinen

tes.

Trei

ze é

tude

s qu

alita

tives

, sep

t étu

des

desc

riptiv

es n

on c

ompa

rativ

es, t

rois

EE

AC

, tro

is q

uasi

-E

EA

C, t

rois

étu

des

trans

vers

ales

, un

EE

AC

par

gra

ppe,

une

étu

de c

as-té

moi

n ré

trosp

ectiv

e et

un

e ét

ude

de s

érie

s ch

rono

logi

ques

non

com

para

tive

ont é

té in

clus

dan

s le

com

pte

rend

u.

La q

ualit

é de

cha

que

étud

e a

été

éval

uée

par d

es li

stes

de

cont

rôle

éta

blie

s : S

IGN

, CA

SP,

N

ZGG

, UK

GC

SR

O e

t une

dre

ssée

par

l’ex

amin

ateu

r.

Les

prin

cipe

s fo

ndam

enta

ux d

e l’a

ppro

che

GR

AD

E o

nt é

té a

ppliq

ués

à la

syn

thès

e de

s do

n-né

es p

roba

ntes

qua

ntita

tives

.

Con

clus

ions

Ce

sont

des

don

nées

qui

pro

vena

ient

de

dive

rs-

• es

sou

rces

qui

ont

le m

ieux

per

mis

de

répo

ndre

au

x qu

estio

ns d

’exa

men

.

La re

cher

che

qual

itativ

e ét

ait s

ouve

nt tr

ès p

erti-

• ne

nte

et s

péci

fique

à b

ien

des

com

posa

nts

des

docu

men

ts d

’info

rmat

ion

sur l

e dé

pist

age.

DeW

alt e

t col

l.

2004

Éta

ts-U

nis

MÉT

HO

DES

Exa

min

er le

rapp

ort

entre

les

résu

ltats

pou

r l’a

lpha

bétis

atio

n et

la

sant

é.

Exa

men

d’é

tude

s –

perm

et d

’exa

min

er

des

étud

es p

ar

obse

rvat

ion

qui i

ndi-

quai

ent d

es d

onné

es

orig

inal

es m

esur

ant

l’alp

habé

tisat

ion

par

un in

stru

men

t val

ide

quel

conq

ue e

t un

ou

plus

ieur

s ré

sulta

ts

pour

la s

anté

.

Ils o

nt in

clus

des

étu

des

où le

s ré

sulta

ts to

ucha

ient

la s

anté

et l

es s

ervi

ces

de s

anté

ain

si q

ue

la m

esur

e de

s ca

paci

tés

à lir

e et

à é

crire

par

un

inst

rum

ent v

alid

e (W

est e

t col

l., 2

002)

.

Cha

que

étud

e a

été

coté

e se

lon

:

la p

ertin

ence

de

la p

opul

atio

n à

l’étu

de,

•

la c

ompa

rabi

lité

des

suje

ts,

•

la v

alid

ité e

t la

fiabi

lité

de la

mes

ure

d’al

phab

étis

atio

n,•

le m

aint

ien

de g

roup

es c

ompa

rabl

es,

•

l’opp

ortu

nité

de

la m

esur

e de

s ré

sulta

ts,

•

l’opp

ortu

nité

de

l’ana

lyse

sta

tistiq

ue,

•

la p

ertin

ence

du

cont

rôle

des

var

iabl

es c

onfu

sion

nelle

s.•

En

moy

enne

, la

qual

ité d

es é

tude

s in

clus

es a

llait

d’as

sez

bonn

e à

bonn

e.

Les

aute

urs

ont c

onst

até

que

la p

lupa

rt de

s ét

udes

se

son

t mal

atta

chée

s au

con

trôle

des

var

iabl

es

conf

usio

nnel

les

et a

u re

cour

s à

des

com

para

ison

s m

ultip

les.

51

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Thom

son

et c

oll.

2006

Roy

aum

e-U

ni

MÉT

HO

DES

Faire

la s

ynth

èse

de d

onné

es s

ur le

s gr

ands

dét

erm

inan

ts

soci

o-éc

onom

ique

s de

la s

anté

et l

es

inég

alité

s en

mat

ière

de

san

té q

ui fi

gure

nt

dans

les

éval

ua-

tions

men

ées

sur l

e pr

ogra

mm

e na

tiona

l de

régé

néra

tion

au

Roy

aum

e-U

ni..

Ils o

nt in

clus

des

éva

luat

ions

qui

fais

aien

t éta

t de

réal

isat

ions

en

s’in

spira

nt d

e do

nnée

s pr

ov-

enan

t de

deux

sec

teur

s ci

bles

d’u

n pr

ogra

mm

e na

tiona

l de

régé

néra

tion,

ou

d’in

itiat

ives

loca

les,

au

Roy

aum

e-U

ni.

Dix

-neu

f éva

luat

ions

indi

quai

ent l

es e

ffets

sur

la s

anté

ou

les

déte

rmin

ants

soc

io-é

cono

miq

ues

de la

san

té. L

es d

onné

es o

nt é

té s

ynth

étis

ées

à pa

rtir d

e 10

éva

luat

ions

.

Des

pro

cédu

res

stan

dard

d’e

xam

en s

ysté

mat

ique

ont

été

app

liqué

es, y

com

pris

:

une

stra

tégi

e de

rech

erch

e ex

haus

tive,

•

des

critè

res

d’in

clus

ion

ou d

’exc

lusi

on a

prio

ri,

•

l’exa

men

d’a

rticl

es p

ar d

eux

pers

onne

s in

dépe

ndan

tes,

•

l’ext

ract

ion

des

donn

ées,

•

la s

ynth

èse

des

donn

ées.

• •

Les

lacu

nes

mét

hodo

logi

ques

des

étu

des

prim

aire

s on

t mis

en

péril

le p

roce

ssus

de

synt

hèse

des

don

-né

es.

Les

aute

urs

ont l

aiss

é en

tend

re q

ue le

s in

terv

entio

ns

et le

s pr

ogra

mm

es a

ttach

és à

un

cadr

e th

éoriq

ue (p

. ex

., la

théo

rie d

u ch

ange

men

t) ai

dero

nt à

con

stitu

er

les

donn

ées

prob

ante

s.

Ste

in e

t col

l.

2005

Éta

ts-U

nis

MÉT

HO

DES

(Éva

luat

ions

des

te

chno

logi

es d

e la

sa

nté

(ÉTS

))

Enq

uête

r sur

le li

en

entre

la fr

éque

nce

et

les

cara

ctér

istiq

ues

mét

hodo

logi

ques

dan

s un

éch

antil

lon

d’É

TS.

Les

cher

cheu

rs o

nt in

clus

les

exam

ens

de q

uatre

inte

rven

tions

pub

liées

dan

s tro

is ra

ppor

ts.

Les

donn

ées

ont é

té e

xtra

ites

de ra

ppor

ts p

ublié

s ou

non

par

un

exam

inat

eur e

t vér

ifiée

s pa

r un

aut

re.

Div

ers

essa

is d

’ana

lyse

de

régr

essi

on o

nt é

té e

ntre

pris

sur

les

donn

ées.

Les

mes

ures

de

résu

ltats

d’é

tude

ont

été

com

mun

iqué

es à

diff

éren

ts m

omen

ts, s

elon

la d

urée

de

sui

vi d

e to

ute

l’étu

de.

L’ex

amen

por

tait

sur :

la ta

ille

de l’

écha

ntill

on,

•

l’app

roch

e pr

ospe

ctiv

e ou

rétro

spec

tive,

•

les

orga

nism

es à

cen

tres

mul

tiple

s ou

uni

ques

,•

le re

crut

emen

t con

sécu

tif,

•

l’ind

épen

danc

e de

la m

esur

e de

s ré

sulta

ts,

•

la d

urée

du

suiv

i,•

la d

ate

de p

ublic

atio

n.

•

Con

stat

atio

ns

Peu

de

donn

ées

prob

ante

s on

t été

trou

vées

qua

nt à

l’ex

iste

nce

d’un

lien

ent

re le

s ca

ract

é-•

ristiq

ues

mét

hodo

logi

ques

et l

e ré

sulta

t.

Il n’

a pa

s ét

é ré

vélé

que

la ta

ille

de l’

écha

ntill

on e

t l’a

ppro

che

pros

pect

ive

étai

ent r

elié

es a

u •

résu

ltat.

Tous

les

résu

ltats

con

cern

aien

t des

inte

rven

tions

ch

irurg

ical

es, c

e qu

i pou

vait

influ

er s

ur la

gén

éral

is-

abili

té.

Le fa

ible

nom

bre

de c

as e

t le

nom

bre

limité

d’é

tude

s da

ns c

haqu

e en

sem

ble

de s

érie

s de

cas

pou

rrai

ent

limite

r la

préc

isio

n et

la g

énér

alis

abili

té.

Il se

peu

t que

les

série

s de

cas

soi

ent p

artic

uliè

re-

men

t pro

pice

s au

x bi

ais

de p

ublic

atio

n.

52

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Dal

ziel

et c

oll.

2005

Roy

aum

e-U

ni

MÉT

HO

DES

(Sér

ies

de c

as

dans

les

ÉTS)

ÉTU

DES

(Sér

ies

de c

as c

. EE

AC

)

1. E

xam

iner

le re

cour

s à

des

série

s de

cas

(S

C) d

ans

les

com

ptes

re

ndus

d’É

TS d

u N

atio

nal I

nstit

ute

for

Clin

ical

Exc

elle

nce

(NIC

E).

2. E

xam

iner

sys

tém

a-tiq

uem

ent l

a do

cum

en-

tatio

n m

étho

dolo

giqu

e po

ur tr

ouve

r des

doc

u-m

ents

sur

la v

alid

ité

d’as

pect

s du

mod

èle

des

série

s de

cas

.

3. E

nquê

ter s

ur le

s ca

ract

éris

tique

s et

le

s co

nsta

tatio

ns

de s

érie

s de

cas

à

l’aid

e d’

exem

ples

du

prog

ram

me

d’É

TS d

u R

oyau

me-

Uni

Exa

men

du

reco

urs

à de

s sé

ries

de c

as d

ans

les

ÉTS

du

NIC

E :

sur l

es 4

7 É

TS ré

alis

ées,

14

com

pren

aien

t des

rens

eign

emen

ts p

rove

nant

de

SC

;•

les

critè

res

d’in

clus

ion

des

SC

incl

uaie

nt la

taill

e de

l’ét

ude

et la

dur

ée d

u su

ivi;

•

les

SC

à in

clur

e da

ns le

s É

TS, l

a m

aniè

re d

e le

s ut

ilise

r ou

celle

d’é

valu

er le

ur q

ualit

é ne

•

fais

aien

t pas

con

sens

us.

Exa

men

sys

tém

atiq

ue d

e la

doc

umen

tatio

n m

étho

dolo

giqu

e :

une

rech

erch

e a

été

men

ée d

ans

le b

ut d

e tro

uver

des

sér

ies

qui é

valu

aien

t les

asp

ects

•

mod

èle,

ana

lyse

ou

qual

ité d

es s

érie

s de

cas

par

rapp

ort à

la v

alid

ité d

es é

tude

s;

aucu

ne é

tude

em

piriq

ue n

’a é

té tr

ouvé

e.•

Enq

uête

sur

les

cara

ctér

istiq

ues

et le

s co

nsta

tatio

ns d

es m

odèl

es d

e sé

ries

de c

as :

aucu

n lie

n n’

a ét

é co

nsta

té e

ntre

la ta

ille

de l’

écha

ntill

on e

t la

fréqu

ence

des

résu

ltats

ou

• en

tre la

col

lect

e de

don

nées

pro

spec

tives

et l

a fré

quen

ce d

es ré

sulta

ts;

une

anal

yse

par d

omai

ne (d

ans

dive

rs d

omai

nes)

a p

erm

is d

e co

nsta

ter u

n lie

n si

gnifi

catif

•

entre

les

étud

es à

cen

tres

mul

tiple

s et

le ré

sulta

t, en

tre la

mes

ure

indé

pend

ante

et l

a fré

quen

ce d

es ré

sulta

ts e

t ent

re la

pub

licat

ion

préc

oce

et la

fréq

uenc

e de

s ré

sulta

ts;

la d

urée

du

suiv

i s’e

st ré

vélé

e ne

ttem

ent r

elié

e à

la fr

éque

nce

des

résu

ltats

dan

s tro

is

• an

alys

es.

Com

para

ison

ent

re le

s sé

ries

de c

as e

t les

EE

AC

:

com

para

tivem

ent a

ux d

onné

es p

roba

ntes

pro

vena

nt d

’EE

AC

, qui

ne

révé

laie

nt a

ucun

e •

diffé

renc

e en

tre l’

angi

opla

stie

cor

onai

re e

t le

pont

age

aorto

coro

narie

n, le

s es

timat

ions

de

mor

talit

é de

s sé

ries

de c

as m

ontra

ient

une

aug

men

tatio

n de

1 à

2 %

de

la m

orta

lité

dans

le

cas

du p

onta

ge;

dans

les

cas

d’an

gine

récu

rren

te, n

i les

don

nées

pro

vena

nt d

es s

érie

s de

cas

, ni c

elle

s •

prov

enan

t des

EE

AC

n’o

nt ré

vélé

de

diffé

renc

es e

ntre

les

deux

inte

rven

tions

.

Les

étud

es in

clus

es c

once

rnai

ent t

oute

s de

s in

ter-

vent

ions

chi

rurg

ical

es, c

e qu

i pou

rrai

t lim

iter l

eur

appl

icab

ilité

à d

’aut

res

inte

rven

tions

ou

cadr

es.

L’ét

ude

porta

it su

r un

faib

le n

ombr

e de

cas

. Par

co

nséq

uent

, les

résu

ltats

dev

raie

nt ê

tre c

onsi

déré

s av

ec p

rude

nce.

53

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Dee

ks e

t col

l.

2003

Roy

aum

e-U

ni

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

(Éva

luer

la

capa

cité

d’

adap

tatio

n à

la

clie

ntèl

e po

ur

cont

rôle

r le

biai

s)

Son

ger a

ux m

étho

des

et a

ux d

onné

es

prob

ante

s co

nnex

es

en v

ue d

’éva

luer

le

bia

is d

ans

les

étud

es d

’inte

rven

tion

sur é

chan

tillo

n no

n al

éato

ire.

Hui

t étu

des

visa

ient

à c

ompa

rer l

es ré

sulta

ts d

’étu

des

sur é

chan

tillo

n al

éato

ire e

t non

alé

atoi

re

sur d

e m

ultip

les

inte

rven

tions

.

En

tout

, on

a re

levé

194

out

ils s

erva

nt à

éva

luer

les

étud

es s

ur é

chan

tillo

n no

n al

éato

ire.

Con

stat

atio

ns

Les

résu

ltats

des

étu

des

sur é

chan

tillo

n no

n al

éato

ire d

iffèr

ent p

arfo

is d

e ce

ux d

es é

tude

s •

sur é

chan

tillo

n al

éato

ire s

ur la

mêm

e in

terv

entio

n.

Il ex

iste

bie

n de

s ou

tils

d’év

alua

tion

de la

qua

lité,

mai

s en

éva

luan

t les

étu

des,

on

oubl

ie

• de

s do

mai

nes

de q

ualit

é cl

és.

Les

étud

es s

ur é

chan

tillo

n no

n al

éato

ire d

evra

ient

seu

lem

ent ê

tre e

ntre

pris

es q

uand

il e

st

• im

poss

ible

d’e

ffect

uer d

es E

EA

C.

Kat

rak

et c

oll.

2004

Aus

tralie

OU

TILS

D

’ÉVA

LUAT

ION

C

RIT

IQU

E

Rés

umer

le c

onte

nu,

l’int

entio

n, la

con

stru

c-tio

n et

les

prop

riété

s ps

ycho

mét

rique

s de

s ou

tils

d’év

alua

tion

criti

que

publ

iés

qui

exis

tent

à l’

heur

e ac

tu-

elle

, afin

de

rele

ver l

es

élém

ents

com

mun

s et

de

défin

ir le

ur

perti

nenc

e à

l’éga

rd

de la

rech

erch

e su

r la

sant

é.

En

tout

, 121

out

ils d

’éva

luat

ion

criti

que

publ

iés

ont é

té in

clus

dan

s l’E

S, e

t ils

pro

vena

ient

de

108

docu

men

ts.

Con

stat

atio

ns

Les

outil

s ét

aien

t spé

cifiq

ues

au m

odèl

e d’

étud

e da

ns u

ne p

ropo

rtion

de

87 %

, et l

a pl

upar

t •

d’en

tre e

ux a

vaie

nt é

té c

réés

pou

r des

étu

des

expé

rimen

tale

s (3

8 %

de

tous

les

outil

s dé

couv

erts

).

Les

élém

ents

con

tenu

s da

ns le

s ou

tils

varia

ient

éno

rmém

ent.

•

Les

outil

s di

spon

ible

s av

aien

t été

cré

és à

l’ai

de d

e tra

vaux

de

rech

erch

e em

piriq

ue p

réci

s •

dans

une

pro

porti

on d

e 12

% (n

= 1

4 in

stru

men

ts).

Les

outil

s ré

sum

aien

t l’é

valu

atio

n de

la q

ualit

é en

une

not

e gl

obal

e nu

mér

ique

dan

s un

e •

prop

ortio

n de

49

%.

Que

lque

s ou

tils

avai

ent d

ocum

enté

des

don

nées

pro

bant

es q

uant

à la

val

idité

de

leur

s él

é-•

men

ts o

u à

la fi

abili

té d

’util

isat

ion.

Des

lign

es d

irect

rices

sur

l’ad

min

istra

tion

des

outil

s ét

aien

t fou

rnie

s da

ns 4

3 %

(n =

52)

des

•

cas.

Con

clus

ions

Il n’

exis

te p

as d

’exe

mpl

e id

éal d

’out

il d’

éval

uatio

n •

criti

que

pour

un

mod

èle

d’ét

ude

ou l’

autre

, pa

s pl

us q

u’il

n’y

a d’

outil

gén

ériq

ue la

rgem

ent

reco

nnu

qui p

uiss

e êt

re a

ppliq

ué a

ussi

bie

n à

un

type

d’é

tude

qu’

à un

aut

re.

Les

cons

omm

ateu

rs d

’étu

des

devr

aien

t cho

isir

• le

s ou

tils

avec

soi

n.

Les

outil

s ch

oisi

s de

vrai

ent ê

tre a

ppuy

és p

ar

• de

s do

nnée

s pr

oban

tes

publ

iées

à fo

ndem

ent

empi

rique

sur

le p

lan

de la

con

stru

ctio

n, d

e la

va-

lidité

des

élé

men

ts e

t la

fiabi

lité

d’in

terp

réta

tion;

et

ils

devr

aien

t être

acc

ompa

gnés

de

ligne

s di

rect

rices

d’u

tilis

atio

n.

54

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Gre

enha

lgh

et

coll.

2005

Roy

aum

e-U

ni

MÉT

HO

DES

(Exa

men

mét

a-na

rrat

if)

Intro

duire

ou

décr

ire

la m

ise

au p

oint

d’u

ne

nouv

elle

mét

hode

et

en fa

ire é

tat :

exa

men

m

éta-

narr

atif.

L’ex

amen

mét

a-na

rrat

if a

été

mis

au

poin

t com

me

base

mét

hodo

logi

que

pour

la s

ynth

èse

de

donn

ées

prob

ante

s is

sues

de

dive

rses

dis

cipl

ines

. Il e

st p

artic

uliè

rem

ent s

olid

e co

mm

e m

éth-

ode

de s

ynth

èse

quan

d :

la p

orté

e d’

un p

roje

t est

larg

e et

la d

ocum

enta

tion,

var

iée;

•

diffé

rent

s gr

oupe

s de

sci

entifi

ques

ont

pos

é di

ffére

ntes

que

stio

ns e

t util

isé

dive

rs m

odèl

es

• d’

étud

e po

ur s

’atta

quer

à u

n pr

oblè

me

com

mun

;

les

docu

men

ts d

e «

qual

ité »

son

t défi

nis

par d

iffér

ente

s ca

ract

éris

tique

s da

ns d

iver

ses

• do

cum

enta

tions

;

il n’

exis

te a

ucun

pro

cess

us u

nive

rsel

lem

ent r

econ

nu p

our r

asse

mbl

er le

s di

ffére

nts

trava

ux.

•

L’ét

ude

com

pren

ait u

ne é

tape

de

stru

ctur

atio

n sy

stém

atiq

ue v

isan

t à re

cuei

llir e

t à c

ompa

rer l

es

diffé

rent

es tr

ames

gén

éral

es c

once

rnan

t l’e

ssor

et l

e dé

clin

de

l’étu

de d

e la

diff

usio

n, c

e qu

i est

ju

gé p

ertin

ent à

l’ég

ard

de la

que

stio

n de

rech

erch

e gl

obal

e.

Pha

ses

de l’

exam

en m

éta-

narr

atif

:

plan

ifica

tion

•

dépo

uille

men

t•

stru

ctur

atio

n•

éval

uatio

n•

synt

hèse

•

reco

mm

anda

tions

•

Cin

q gr

ands

prin

cipe

s so

us-te

ndai

ent c

ette

tech

niqu

e m

éta-

narr

ativ

e : l

e pr

agm

atis

me,

le p

lura

l-is

me,

l’hi

stor

icité

, la

cont

esta

tion

et l’

exam

en p

ar le

s pa

irs.

La m

étho

de d

evra

it êt

re m

ise

à l’e

ssai

de

man

ière

pr

ospe

ctiv

e.

Il y

aura

it lie

u d’

étud

ier p

lus

à fo

nd s

on a

ppor

t à

l’éco

nom

ie m

ixte

de

mét

hode

s po

ur l’

exam

en s

ysté

-m

atiq

ue d

es d

onné

es p

roba

ntes

com

plex

es.

Whi

ttem

ore

et

Kna

fl

2005

Éta

ts-U

nis

MÉT

HO

DES

(Exa

men

par

in

tégr

atio

n)

Faire

la d

istin

ctio

n en

tre la

mét

hode

d’

exam

en p

ar in

tégr

a-tio

n et

les

autre

s m

étho

des

d’ex

amen

et

pro

pose

r des

st

raté

giqu

es m

étho

d-ol

ogiq

ues

stra

tégi

es

prop

res

à la

mét

hode

pa

r int

égra

tion

pour

au

gmen

ter l

e de

gré

de

rigue

ur.

Enj

eux

décr

its e

t stra

tégi

es e

mpl

oyée

s po

ur a

ugm

ente

r le

degr

é de

rigu

eur d

e la

mét

hode

d’

exam

en p

ar in

tégr

atio

n en

soi

ns in

firm

iers

:

obje

t d’e

xam

en e

t var

iabl

es d

’inté

rêt b

ien

spéc

ifiés

— a

ider

à o

péra

tionn

alis

er a

vec

préc

i-•

sion

les

varia

bles

et à

ext

raire

les

donn

ées

appr

oprié

es d

es s

ourc

es p

rimai

res;

stra

tégi

es d

e dé

poui

llem

ent d

ocum

enta

ire b

ien

défin

ies

— é

tabl

ir le

nom

bre

max

imum

de

• so

urce

s pr

imai

res

adm

issi

bles

à l’

aide

d’a

u m

oins

deu

x ou

troi

s st

raté

gies

;

étap

e d’

éval

uatio

n de

s do

nnée

s —

com

me

la m

étho

de d

’exa

men

par

inté

grat

ion

com

-•

pren

d di

vers

es s

ourc

es p

rimai

res,

éva

luer

la q

ualit

é de

vien

t de

plus

en

plus

com

plex

e; le

m

ode

d’év

alua

tion

varie

ra s

elon

le c

adre

d’é

chan

tillo

nnag

e; d

ans

un e

xam

en o

ù le

cad

re

d’éc

hant

illon

nage

est

var

ié e

t eng

lobe

des

sou

rces

em

piriq

ues

et th

éoriq

ues,

il s

e pe

ut q

u’il

conv

ienn

e d’

adop

ter u

ne a

ppro

che

sem

blab

le à

la re

cher

che

hist

oriq

ue p

our é

valu

er la

qu

alité

;

rédu

ctio

n de

s do

nnée

s —

div

iser

les

sour

ces

prim

aire

s en

sou

s-gr

oupe

s su

ivan

t une

cer

-•

tain

e lo

giqu

e po

ur fa

cilit

er l’

anal

yse;

prés

enta

tion

et c

ompa

rais

on d

es d

onné

es, é

tabl

isse

men

t de

conc

lusi

ons

et v

érifi

catio

n, e

t •

expo

sé.

La m

étho

de d

’exa

men

par

inté

grat

ion

perm

et d

e co

mbi

ner d

iver

ses

mét

hodo

logi

es (p

. ex.

, les

étu

des

expé

rimen

tale

s et

non

exp

érim

enta

les)

et p

eut j

ouer

un

plu

s gr

and

rôle

dan

s la

pra

tique

fond

ée s

ur d

es

donn

ées

prob

ante

s.

55

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Nor

ris e

t Atk

ins

2005

Éta

ts-U

nis

MÉT

HO

DES

(ES)

Exa

min

er le

reco

urs

à de

s ét

udes

sur

éch

an-

tillo

n no

n al

éato

ire

dans

les

com

ptes

re

ndus

de

cent

res

de

prat

ique

fond

ée s

ur

des

donn

ées

prob

an-

tes,

touc

hant

des

qu

estio

ns d

’effi

caci

té

des

inte

rven

tions

de

traite

men

t.

Sur

les

107

com

ptes

rend

us d

e ce

ntre

s de

pra

tique

fond

ée s

ur d

es d

onné

es p

roba

ntes

qui

ont

ét

é pu

blié

s de

févr

ier 1

999

à se

ptem

bre

2004

, 78

visa

ient

à e

xam

iner

au

moi

ns u

ne q

uest

ion

d’ef

ficac

ité d

’une

inte

rven

tion

clin

ique

.

Qua

rant

e-ne

uf d

es c

ompt

es re

ndus

incl

uaie

nt d

es d

onné

es p

roba

ntes

pro

vena

nt d

e m

odèl

es

d’ét

ude

autre

s qu

e le

s E

EA

C; c

es c

ompt

es re

ndus

por

taie

nt s

ur la

pha

rmac

othé

rapi

e, le

s ap

-pa

reils

méd

icau

x, la

chi

rurg

ie e

t les

inte

rven

tions

com

plém

enta

ires,

de

rech

ange

ou

com

porte

-m

enta

les.

Défi

s qu

e re

prés

ente

le re

cour

s à

des

étud

es s

ur é

chan

tillo

n no

n al

éato

ire d

ans

les

exam

ens

syst

émat

ique

s :

la te

rmin

olog

ie e

mpl

oyée

pou

r déc

rire

diffé

rent

s m

odèl

es d

’étu

de s

ur é

chan

tillo

n no

n al

éato

ire

dans

la d

ocum

enta

tion

sur l

es tr

avau

x cl

iniq

ues

et le

s co

mpt

es re

ndus

des

cen

tres

de p

ratiq

ue

fond

ée s

ur d

es d

onné

es p

roba

ntes

n’e

st p

as u

nifo

rme;

il n’

exis

te a

ucun

e lig

ne d

irect

rice

étab

lie q

uant

au

mom

ent o

ù l’i

nclu

sion

d’é

tude

s su

r éch

antil

-lo

n no

n al

éato

ire d

ans

les

exam

ens

syst

émat

ique

s pe

ut o

u de

vrai

t être

env

isag

ée, e

t aux

m

odèl

es d

’étu

de à

con

sidé

rer;

il es

t diffi

cile

d’é

valu

er la

qua

lité

des

étud

es s

ur é

chan

tillo

n no

n al

éato

ire;

sur l

es 4

9 co

mpt

es re

ndus

qui

incl

uaie

nt d

es m

odèl

es d

’étu

de s

ur é

chan

tillo

n no

n al

éato

ire :

12 (2

5 %

) n’é

valu

aien

t pas

la q

ualit

é de

l’ét

ude;

•

16 %

repo

saie

nt s

ur u

ne li

ste

de c

ontrô

le o

u un

sys

tèm

e de

not

atio

n;•

10 %

éta

ient

ada

ptés

à p

artir

d’u

n te

xte

déjà

pub

lié;

•

le re

ste

(49

%) r

epos

ait s

ur d

es te

xtes

que

les

exam

inat

eurs

ava

ient

rédi

gés

eux-

mêm

es.

•

Rec

omm

anda

tions

pou

r les

aut

eurs

d’e

xam

en

syst

émat

ique

:

éval

uer l

a di

spon

ibili

té d

’EE

AC

ava

nt d

e dé

ter-

• m

iner

les

critè

res

d’in

clus

ion

final

s;

pese

r le

pour

et l

e co

ntre

des

mod

èles

par

•

EE

NC

;

four

nir u

n ra

ison

nem

ent p

our l

es d

écis

ions

•

d’in

clur

e ou

non

des

mod

èles

d’é

tude

en

par-

ticul

ier;

éval

uer l

es d

omai

nes

impo

rtant

s de

qua

lité

• d’

étud

e;

se d

eman

der e

n qu

oi in

clur

e di

vers

mod

èles

•

d’ét

ude

pour

rait

influ

er s

ur le

s co

nclu

sion

s;

se d

eman

der e

n qu

oi la

qua

lité

des

étud

es e

t •

l’ens

embl

e de

s do

nnée

s pr

oban

tes

pour

raie

nt

influ

er s

ur le

s co

nclu

sion

s.

Rec

omm

anda

tions

pou

r les

che

rche

urs

:

rédu

ire a

u m

inim

um le

s so

urce

s de

bia

is, p

eu

• im

porte

le m

odèl

e d’

étud

e;

exam

ine

les

effe

ts d

e di

vers

es s

ourc

es d

e bi

ais

• su

r les

résu

ltats

mes

urés

;

empl

oyer

à u

ne te

rmin

olog

ie u

nifo

rme

pour

le

• m

odèl

e d’

étud

e;

prév

oir d

es s

traté

gies

de

rech

erch

e ex

haus

tives

•

pour

les

mod

èles

d’é

tude

sur

éch

antil

lon

non

aléa

toire

.

56

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Jack

son

et W

a-te

rs

2005

Aus

tralie

MÉT

HO

DES

(ES)

Four

nir d

es re

com

-m

anda

tions

aux

ex

amin

ateu

rs s

ur le

s qu

estio

ns à

régl

er

dans

un

exam

en

syst

émat

ique

en

sant

é pu

bliq

ue e

t don

ner

indi

rect

emen

t des

con

-se

ils a

ux c

herc

heur

s su

r les

exi

genc

es d

e co

mm

unic

atio

n ra

tta-

chée

s au

x ét

udes

pri-

mai

res

conc

erna

nt la

pr

oduc

tion

d’ex

amen

s sy

stém

atiq

ues

de

gran

de q

ualit

é.

Afin

de

s’as

sure

r que

les

exam

ens

répo

nden

t aux

bes

oins

des

util

isat

eurs

, for

mer

un

grou

pe

cons

ulta

tif (d

ont l

es m

embr

es d

evra

ient

bie

n co

nnaî

tre le

suj

et, l

’util

ité d

’incl

ure

le p

oint

de

vue

de re

spon

sabl

es d

e l’é

labo

ratio

n de

pol

itiqu

es, d

e ba

illeu

rs d

e fo

nds,

de

prat

icie

ns e

t d’

utili

sate

urs

pote

ntie

ls).

Enj

eux

auxq

uels

s’a

ttach

er q

uand

il s

’agi

t d’e

xam

iner

des

inte

rven

tions

de

sant

é pu

bliq

ue :

incl

usio

n de

mod

èles

d’é

tude

•

rech

erch

e de

doc

umen

tatio

n en

san

té p

ubliq

ue•

éval

uatio

n de

la q

ualit

é•

cadr

es th

éoriq

ues

d’in

terv

entio

n•

inté

grité

des

inte

rven

tions

•

hété

rogé

néité

•

inté

grat

ion

d’ét

udes

qua

litat

ives

et q

uant

itativ

es•

éthi

que

et in

égal

ités

– in

terv

entio

ns d

e sa

nté

perm

etta

nt d

e ré

duire

les

inég

alité

s et

•

d’am

élio

rer l

es p

erso

nnes

mar

gina

lisée

s ou

déf

avor

isée

s

Rec

omm

anda

tion

•

Util

iser

le

• Q

ualit

y A

sses

smen

t Too

l for

Qua

ntita

-tiv

e S

tudi

es m

is a

u po

int p

ar T

hom

as e

t col

l.,

2004

.

Atk

ins

et D

i-G

uise

ppi

1998

Éta

ts-U

nis

MÉT

HO

DES

(Rec

herc

he s

ur

les

soin

s de

san

té

prév

entif

s)

En

s’in

spira

nt d

es

expé

rienc

es v

écue

s pa

r le

US

Pre

vent

ive

Ser

vice

s Ta

sk F

orce

, ex

pose

r dan

s le

urs

gran

des

ligne

s ce

r-ta

ins

gran

ds d

omai

nes

où il

faut

effe

ctue

r des

re

cher

ches

afin

de

défin

ir la

man

ière

ap-

prop

riée

d’ut

ilise

r des

se

rvic

es d

e pr

éven

tion

préc

is (p

. ex.

, les

exa

-m

ens

de d

épis

tage

, le

s in

terv

entio

ns d

e co

nsul

tatio

n, le

s va

cci-

natio

ns, l

a ch

imio

pro-

phyl

axie

).

Étu

des

par o

bser

vatio

n :

aide

nt à

éta

blir

des

liens

dan

s l’e

ncha

înem

ent d

e ca

usal

ité;

•

aide

nt à

la c

ompr

endr

e l’h

isto

ire n

atur

elle

de

la m

alad

ie e

t à d

éfini

r les

fact

eurs

de

risqu

e,

• ai

nsi q

u’à

mes

urer

le re

spec

t des

trai

tem

ents

et l

es e

ffets

nég

atifs

de

ceux

-ci;

aide

nt à

éta

blir

l’exa

ctitu

de d

es te

sts

de d

iagn

ostic

;•

aide

nt à

éva

luer

l’ef

ficac

ité d

es in

terv

entio

ns;

•

poss

èden

t un

biai

s in

hére

nt.

•

Les

reco

mm

anda

tions

fond

ées

seul

emen

t sur

les

donn

ées

prob

ante

s ob

tenu

es p

ar o

bser

vatio

n ex

igen

t de

s ét

udes

de

gran

de q

ualit

é qu

i rév

èlen

t des

effe

ts

cons

tant

s et

impo

rtant

s, d

e pr

éfér

ence

.

Qua

nd o

n di

spos

e un

ique

men

t de

quel

ques

étu

des

par o

bser

vatio

n de

qua

lité

adéq

uate

ou

l’am

pleu

r des

ef

fets

est

mod

este

ou

inco

hére

nte,

d’a

utre

s ét

udes

su

r pop

ulat

ions

diff

éren

tes

s’av

érer

aien

t un

ajou

t pr

écie

ux à

la d

ocum

enta

tion.

57

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Har

den

et c

oll.

2004

Roy

aum

e-U

ni

MÉT

HO

DES

(Étu

des

de «

po

ints

de

vue

»)

Déc

rire

les

mét

hode

s m

ises

au

poin

t pou

r ex

amin

er le

s ét

udes

su

r les

poi

nts

de v

ue

et le

s ex

périe

nces

de

s ge

ns (é

tude

s de

«

poin

ts d

e vu

e »)

, en

plu

s d’

effe

ctue

r de

s es

sais

, dan

s un

e sé

rie d

’exa

men

s su

r la

san

té m

enta

le,

l’act

ivité

phy

siqu

e et

la

sain

e al

imen

tatio

n de

s je

unes

.

Deu

x ty

pes

d’ét

udes

ont

été

exa

min

és :

1. le

s ét

udes

sur

les

inte

rven

tions

– d

éfini

r les

inte

rven

tions

effi

cace

s, in

effic

aces

et n

ociv

es;

2. le

s ét

udes

sur

les

non-

inte

rven

tions

– d

écrir

e le

s fa

cteu

rs a

ssoc

iés

à la

san

té m

enta

le, à

l’a

ctiv

ité p

hysi

que

et à

la s

aine

alim

enta

tion.

Étu

des

de «

poi

nts

de v

ue »

:

trent

e-ci

nq ré

pond

aien

t aux

crit

ères

d’in

clus

ion.

•

Les

étud

es v

aria

ient

sel

on le

s m

étho

des

empl

oyée

s —

bon

nom

bre

d’en

tre e

lles

ne p

ouva

ient

êt

re c

lass

ées

faci

lem

ent c

omm

e ét

ant «

qua

litat

ives

» o

u «

quan

titat

ives

».

La p

lupa

rt d’

entre

elle

s ne

répo

ndai

ent p

as a

ux s

ept n

orm

es fo

ndam

enta

les

de c

omm

unic

atio

n de

la m

étho

dolo

gie

qui s

ont u

tilis

ées

dans

un

outil

d’é

valu

atio

n de

la q

ualit

é no

uvel

lem

ent m

is

au p

oint

.

Voic

i les

ava

ntag

es q

ue p

eut a

ppor

ter l

e fa

it de

réun

ir de

s ét

udes

de

poin

ts d

e vu

e de

man

ière

sy

stém

atiq

ue :

obte

nir u

n pl

us la

rge

éven

tail

de p

oint

s de

vue

et u

ne m

eille

ure

com

préh

ensi

on d

es q

ues-

• tio

ns d

e sa

nté

publ

ique

d’a

près

le p

oint

de

vue

de c

eux

qui s

ont v

isés

par

les

inte

rven

tions

;

mie

ux ré

fléch

ir au

x m

étho

des

d’ét

ude

qui p

euve

nt d

éfor

mer

ou

omet

tre le

poi

nt d

e vu

e de

s •

gens

;

crée

r de

mei

lleur

es o

ccas

ions

pou

r que

les

poin

ts d

e vu

e et

les

expé

rienc

es d

es g

ens

• in

fluen

cent

les

polit

ique

s vi

sant

à p

rom

ouvo

ir le

ur s

anté

.

Nou

veau

cad

re in

diqu

é da

ns u

ne p

ublic

atio

n su

b-sé

quen

te (O

liver

et c

oll.,

200

5)

58

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Won

g et

Raa

be

1996

Éta

ts-U

nis

MÉT

HO

DES

(Mét

a-ex

amen

)

Four

nir q

uelq

ues

ligne

s di

rect

rices

de

base

pou

r que

les

non-

épid

émio

logi

stes

év

alue

nt le

s m

éta-

anal

yses

dan

s le

s ét

udes

de

coho

rtes

prof

essi

onne

lles.

Cer

tain

s pr

oblè

mes

et l

imite

s qu

e pr

ésen

tent

les

exam

ens

qual

itatif

s tra

ditio

nnel

s :

la s

élec

tion

des

étud

es n

’éta

it no

rmal

emen

t pas

ass

ujet

tie à

des

crit

ères

pré

étab

lis;

•

les

fact

eurs

de

pond

érat

ion

attri

bués

à c

haqu

e ét

ude

étai

ent h

abitu

elle

men

t sub

ject

ifs;

•

aucu

n ré

sum

é qu

antit

atif

des

estim

atio

ns d

e ris

ques

n’é

tait

réal

isé.

•

Con

stat

atio

ns

Au

lieu

de re

mpl

acer

les

exam

ens

qual

itatif

s, la

mét

a-an

alys

e qu

antit

ativ

e de

vrai

t fai

re

• pa

rtie

de l’

éval

uatio

n gl

obal

e.

Le te

rme

« m

éta-

exam

en »

est

pro

posé

pou

r que

l’ac

cent

soi

t mis

sur

l’im

porta

nce

des

• co

mpo

sant

s qu

alita

tifs

et q

uant

itatif

s d’

un p

roce

ssus

d’e

xam

en e

xhau

stif,

ce

qui s

igni

fie

qu’il

eng

lobe

une

mét

a-an

alys

e.

Éta

pes

fond

amen

tale

s à

suiv

re p

our p

rocé

der u

n m

éta-

exam

en :

1. d

éfini

r la

ques

tion

de re

cher

che;

2. p

rocé

der à

un

exam

en d

ocum

enta

ire e

xhau

stif;

3. c

réer

des

crit

ères

d’in

clus

ion

a pr

iori;

4. e

ffect

uer u

n ex

amen

qua

litat

if tra

ditio

nnel

;

5. e

ffect

uer u

ne m

éta-

anal

yse

quan

titat

ive;

6. in

tégr

er u

n ex

amen

qua

litat

if tra

ditio

nnel

ave

c un

e m

éta-

anal

yse

quan

titat

ive;

7. a

ppliq

uer l

es c

ritèr

es d

e ca

usal

ité à

l’in

terp

réta

tion.

Avan

tage

s du

mét

a-ex

amen

:

utile

lors

qu’il

s’a

git d

e ch

oisi

r les

étu

des,

•

d’or

gani

ser,

de p

rése

nter

et d

e ré

sum

er d

es

mét

hode

s ou

des

résu

ltats

pro

vena

nt d

’étu

des

indi

vidu

elle

s;

peut

aus

si s

ervi

r à d

écel

er d

e l’h

étér

ogén

éité

•

parm

i les

étu

des.

Prin

cipa

ux a

vant

ages

à e

ffect

uer u

ne m

éta-

anal

yse

:

augm

ente

r la

puis

sanc

e st

atis

tique

(en

parti

culie

r •

quan

d le

s ét

udes

initi

ales

son

t de

faib

le e

nver

-gu

re);

four

nir u

ne e

stim

atio

n bi

en p

ondé

rée

du ri

sque

•

asso

cié

aux

résu

més

;

pren

dre

en c

ompt

e l’u

nifo

rmité

de

l’étu

de e

t des

•

mét

hode

s ou

résu

ltats

;

rédu

ire a

u m

inim

um le

pro

blèm

e de

s co

mpa

rai-

• so

ns m

ultip

les;

perm

ettre

d’e

xam

iner

les

donn

ées

pour

dét

erm

in-

• er

le d

egré

d’h

étér

ogén

éité

.

San

delo

wsk

i et

coll.

2007

Éta

ts-U

nis

MÉT

HO

DES

(Mét

a-ré

sum

é)

S’a

ttaqu

er a

u pr

oblè

me

asso

cié

à la

ges

tion

des

diffé

renc

es q

ui

exis

tera

ient

ent

re le

s ét

udes

qua

litat

ives

et

quan

titat

ives

, et p

ro-

mou

voir

le re

cour

s au

m

éta-

résu

mé

qual

itatif

co

mm

e te

chni

que

utile

po

ur fa

ire la

syn

thès

e de

s co

nsta

tatio

ns

desc

riptiv

es d

e na

ture

qu

alita

tive

et q

uant

ita-

tive.

Qua

rant

e-de

ux c

ompt

es re

ndus

(35

artic

les

de re

vue,

six

thès

es o

u di

sser

tatio

ns n

on p

ublié

es

et u

n ra

ppor

t tec

hniq

ue) o

nt é

té in

clus

.

Sur

les

quar

ante

-deu

x co

mpt

es re

ndus

, 12

étai

ent d

es é

tude

s qu

alita

tives

, tro

is, d

es é

tude

s su

r le

s in

terv

entio

ns, u

n, u

ne é

tude

sur

les

mét

hode

s m

élan

gées

et 2

6, d

iver

ses

étud

es q

uant

ita-

tives

par

obs

erva

tion.

Car

acté

ristiq

ues

des

mét

a-ré

sum

és q

ualit

atifs

:

stra

tégi

e de

regr

oupe

men

t à o

rient

atio

n qu

antit

ativ

e à

l’éga

rd d

e la

syn

thès

e de

s tra

vaux

de

rech

erch

e;

l’ext

ract

ion,

le g

roup

age

et le

form

atag

e de

s co

nsta

tatio

ns, a

insi

que

le c

alcu

l de

l’am

pleu

r •

de la

fréq

uenc

e et

de

l’effe

t;

perm

ette

nt d

e fa

ire la

syn

thès

e de

s m

étho

des

et ré

sulta

ts d

’enq

uête

s qu

alita

tives

et

• qu

antit

ativ

es s

ur le

s ré

pons

es o

bten

ues

à pa

rtir d

e pr

océd

ures

de

colle

cte

et d

’ana

lyse

de

donn

ées

sem

blab

les;

perm

ette

nt d

’effe

ctue

r des

ana

lyse

s a

post

erio

ri du

lien

qui

exi

ste

entre

les

com

ptes

rend

us

• et

les

cons

tata

tions

.

Con

traire

men

t à la

plu

part

des

mét

hode

s d’

exam

en

syst

émat

ique

, cet

te é

tude

a te

ndan

ce à

per

met

tre

l’inc

lusi

on p

lutô

t que

de

l’exc

lusi

on d

es é

tude

s.

59

Étud

eO

bjet

Mét

hode

s ou

résu

ltats

Com

men

taire

s ou

enj

eux

Jeffe

rson

et D

e-m

iche

lli

1999

Roy

aum

e-U

ni

ÉTU

DES

(exp

érim

enta

les

c. n

on e

xpér

imen

-ta

les)

Exa

min

er le

rapp

ort

qui e

xist

e en

tre le

s m

odèl

es d

’étu

de

expé

rimen

taux

et n

on

expé

rimen

taux

en

vac-

cino

logi

e.

Les

aute

urs

ont d

écrit

des

étu

des

expé

rimen

tale

s et

non

exp

érim

enta

les

et le

s ap

proc

hes

rela

-tiv

es à

cha

que

type

.

Ils o

nt é

valu

é la

cap

acité

de

chaq

ue m

odèl

e d’

étud

e à

perm

ettre

l’an

alys

e de

qua

tre a

spec

ts d

u re

ndem

ent d

es v

acci

ns, s

oit l

’imm

unog

énic

ité, l

a du

rée

de l’

imm

unité

acc

ordé

e, l’

inci

denc

e et

la

grav

ité d

es e

ffets

sec

onda

ires

et le

nom

bre

d’in

fect

ions

pré

venu

es p

ar v

acci

natio

n.

Il y

a lie

u d’

appl

ique

r les

mod

èles

non

exp

érim

enta

ux

quan

d :

une

expé

rienc

e es

t im

poss

ible

par

ce q

ue

• l’é

valu

atio

n co

ncer

ne l’

effic

acité

du

vacc

in;

une

expé

rienc

e es

t inu

tile

(p. e

x., d

ans

le c

as d

e •

l’éva

luat

ion

du v

acci

n co

ntre

la v

ario

le);

une

expé

rienc

e es

t ina

ppro

prié

e (la

pop

ulat

ion

• vi

sée

par l

’ess

ai n

’est

pas

ass

ez v

aste

pou

r pe

rmet

tre d

e dé

cele

r un

cas

ou u

n ré

sulta

t, un

e hé

sita

tion

à pa

rtici

per o

u un

refu

s de

le fa

ire, l

es

obst

acle

s ét

hiqu

es, j

urid

ique

s ou

pol

itiqu

es);

l’effi

caci

té in

divi

duel

le e

st m

esur

ée d

u po

int d

e •

vue

de la

faib

le fr

éque

nce

des

situ

atio

ns n

éga-

tives

;

les

inte

rven

tions

pré

vien

nent

de

rare

s ca

s;•

l’effi

caci

té d

u va

ccin

pou

r la

popu

latio

n do

it êt

re

• m

esur

ée d

u po

int d

e vu

e de

s in

cide

nces

à lo

ng

term

e, ra

res

et g

rave

s de

mal

adie

.

Rot

stei

n et

Lau

-pa

cis

2004

Can

ada

ÉTU

DES

(ÉTS

c. E

S)

Éta

blir

clai

rem

ent l

es

gran

des

diffé

renc

es

entre

les

éval

uatio

ns

des

tech

nolo

gies

de

la s

anté

(ÉTS

) et l

es

exam

ens

syst

éma-

tique

s (E

S).

Les

cher

cheu

rs o

nt in

terr

ogé

17 a

uteu

rs o

u ut

ilisa

teur

s d’

ÉTS

.

Ils o

nt d

éfini

sep

t dom

aine

s de

diff

éren

ces

entre

les

ÉTS

et l

es E

S :

1. le

s no

rmes

mét

hodo

logi

ques

— le

s É

TS p

euve

nt in

clur

e de

la d

ocum

enta

tion

de m

au-

vais

e qu

alité

mét

hodo

logi

que

si u

n su

jet e

st im

porta

nt p

our l

es d

écid

eurs

;

2. la

repr

ise

d’ét

udes

ant

érie

ures

— le

s ex

amen

s sy

stém

atiq

ues

n’on

t pas

à ê

tre re

pris

si l

es

étud

es a

ntér

ieur

es é

taie

nt d

e gr

ande

qua

lité

ou q

uand

il n

’exi

stai

t auc

une

nouv

elle

don

née

prob

ante

de

gran

de q

ualit

é; d

ans

le c

as d

es É

TS, i

l fau

t sou

vent

repr

endr

e de

s ét

udes

pou

r dé

fend

re le

s co

nclu

sion

s du

rapp

ort;

3. le

cho

ix d

es s

ujet

s —

les

suje

ts s

ont p

lus

axés

sur

les

polit

ique

s av

ec le

s É

TS, a

lors

que

le

s ex

amen

s sy

stém

atiq

ues

tend

ent à

être

orie

ntés

par

des

que

stio

ns d

’effi

caci

té;

4. l’

incl

usio

n de

spé

cial

iste

s du

con

tenu

(dan

s le

s ex

amen

s sy

stém

atiq

ues)

et d

e re

spon

s-ab

les

de l’

élab

orat

ion

des

polit

ique

s (d

ans

les

ÉTS

) com

me

aute

urs;

5. l’

incl

usio

n d’

éval

uatio

ns é

cono

miq

ues,

dan

s le

s É

TS;

6. la

form

ulat

ion

de re

com

man

datio

ns d

’orie

ntat

ion,

dan

s le

s É

TS;

7. la

diff

usio

n du

rapp

ort,

réal

isée

plu

s so

uven

t act

ivem

ent d

ans

le c

as d

es É

TS

Les

ÉTS

ne

conc

erne

nt p

as s

eule

men

t l’é

valu

atio

n de

s do

nnée

s pr

oban

tes

scie

ntifi

ques

.

60

61

Références bibliographiques Scottish Intercollegiate Guidelines Network 2001–2005. (2001). SIGN 50: A guideline developers’

handbook, récupéré le 1er février 2009 à partir du site http://www.sign.ac.uk/guidelines/full-text/50/index.html

Critical Appraisal Skills Programme (CASP) and evidence-based practice. (2005). Critical Appraisal Skills Programme: Making sense of evidence - CASP appraisal tools, Oxford, Public Health Resource Unit, Milton Keynes Primary Care NHS Trust, récupéré le 1er février 2009 à partir du site http://www.phru.nhs.uk/Pages/PHD/resources.htm

Atkins, D., Briss, P. A., Eccles, M., Flottorp, S., Guyatt, G. H., Harbour, R. T. et coll. (2005). Systems for grading the quality of evidence and the strength of recommendations II: Pilot study of a new system, BMC Health Services Research, 5, 25

Atkins, D. et DiGuiseppi, C. G. (1998). Broadening the evidence base for evidence-based guidelines. A research agenda based on the work of the U.S. Preventive Services Task Force, American Journal of Preventive Medicine, 14, 335-344

Benson, K. et Hartz, A. J. (2000). A comparison of observational studies and randomized, controlled trials, The New England Journal of Medicine, 342, 1878-1886

Britton, A., McKee, M., Black, N., McPherson, K., Sanderson, C. et Bain, C. (1998). Choosing be-tween randomized and non-randomized studies: A systematic review, Health Technology Assessment, 2, 1-124

Chou, R. et Helfand, M. (2005). Challenges in systematic reviews that assess treatment harms, An-nals of Internal Medicine, 142, 1090-1099

Conn, V. S. et Rantz, M. J. (2003). Focus on research methods. Research methods: Managing pri-mary study quality in meta-analysis, Research in Nursing & Health, 26, 322-333

Dalziel, K., Round, A., Stein, K., Garside, R., Castelnuovo, E. et Payne, L. (2005). Do the findings of case series studies vary significantly according to methodological characteristics? Health Technology Assessment, 9, iii-iv, 1

Deeks, J. J., Dinnes, J., D’Amico, R., Sowden, A. J., Sakarovitch, C., Song, F. et coll. (2003). Evaluat-ing non-randomized intervention studies. Health Technology Assessment, 7, 1-173.

DeWalt, D. A., Berkman, N. D., Sheridan, S., Lohr, K. N. et Pignone, M. P. (2004). Literacy and health outcomes: A systematic review of the literature, Journal of General Internal Medicine, 19, 1228-1239

DiCenso, A., Prevost, S., Benefield, L., Bingle, J., Ciliska, D., Driever, M. et coll. (2004). Evidence-based nursing: Rationale and resources, Worldviews on Evidence-Based Nursing, 1, 69-75

Downs, S. H. et Black, N. (1998). The feasibility of creating a checklist for the assessment of the methodological quality both of randomized and non-randomized studies of health care inter-ventions, Journal of Epidemiology and Community Health, 52, 377-384

Goldsmith, M. R., Bankhead, C. R. et Austoker, J. (2007). Synthesising quantitative and qualitative

62

research in evidence-based patient information, Journal of Epidemiology and Community Health, 61, 262-270

Greenhalgh, T., Robert, G., Macfarlane, F., Bate, P., Kyriakidou, O. et Peacock, R. (2005). Storylines of research in diffusion of innovation: A meta-narrative approach to systematic review, Social Science & Medicine, 61, 417-430

Greer, N., Mosser, G., Logan, G. et Halaas, G. W. (2000). A practical approach to evidence grading, Joint Commission Journal on Quality Improvement, 26, 700-712

Harden, A., Garcia, J., Oliver, S., Rees, R., Shepherd, J., Brunton, G. et coll. (2004). Applying sys-tematic review methods to studies of people’s views: An example from public health research, Journal of Epidemiology and Community Health, 58, 794-800

Jackson, N. et Waters, E. (2005). Criteria for the systematic review of health promotion and public health interventions, Health Promotion International, 20, 367-374

Jefferson, T. et Demicheli, V. (1999). Relation between experimental and non-experimental study de-signs. HB vaccines: A case study, Journal of Epidemiology and Community Health, 53, 51-54

Katrak, P., Bialocerkowski, A. E., Massy-Westropp, N., Kumar, S. et Grimmer, K. A. (2004). A system-atic review of the content of critical appraisal tools, BMC Medical Research Methodology, 4, 22

Khan, K., ter Riet, G., Popay, J., Nixon, J. et Kleijnen, J. (2001). Stage II: Conducting the review. Phase 5: Study quality assessment, dans : K. S. Khan, G. ter Riet, J. Glanville et coll. Under-taking systematic reviews of research on effectiveness. CRD’s guidance for carrying out or commissioning reviews 2nd Edition (pp. 1-20), York : NHS Centre for Reviews and Dissemi-nation, University of York

Lemmer, B., Grellier, R. et Steven, J. (1999). Systematic review of non-random and qualitative re-search literature: Exploring and uncovering an evidence base for health visiting and decision making, Qualitative Health Research, 9, 315-328

Lethaby, A., Wells, S. et Furness, S. (2001). Handbook for the preparation of explicit evidence-based clinical practice guidelines. Auckland, Nouvelle-Zélande : New Zealand Guidelines Group, Effective Practice Institute of the University of Auckland

Linde, K., Scholz, M., Melchart, D. et Willich, S. N. (2002). Should systematic reviews include non-randomized and uncontrolled studies? The case of acupuncture for chronic headache, Jour-nal of Clinical Epidemiology, 55, 77-85

MacLehose, R. R., Reeves, B. C., Harvey, I. M., Sheldon, T. A., Russell, I. T. et Black, A. M. (2000). A systematic review of comparisons of effect sizes derived from randomized and non-random-ized studies. Health Technology Assessment, 4, 1-154

Margetts, B. M., Thompson, R. L., Key, T., Duffy, S., Nelson, M., Bingham, S. et coll. (1995). Develop-ment of a scoring system to judge the scientific quality of information from case-control and cohort studies of nutrition and disease, Nutrition and Cancer, 24, 231-239

McIntosh, H. M., Woolacott, N. F. et Bagnall, A. M. (2004). Assessing harmful effects in systematic

63

reviews, BMC Medical Research Methodology, 4, 19

Norris, S. et Atkins, D. (2005). Challenges in using nonrandomized studies in systematic review of treatment interventions, Annals of Internal Medicine, 142, 1112-1119

Ogilvie, D., Egan, M., Hamilton, V. et Petticrew, M. (2005). Systematic reviews of health effects of social interventions: 2. Best available evidence: How low should you go? Journal of Epidemi-ology and Community Health, 59, 886-892

Oliver, S., Harden, A., Rees, R., Shepherd, J., Brunton, G., Garcia, J. et coll. (2005). An emerging framework for including different types of evidence in systematic reviews for public policy, Evaluation, 11, 428-446

Ramsay, C. R., Matowe, L., Grilli, R., Grimshaw, J. M. et Thomas, R. E. (2003). Interrupted time series designs in health technology assessment: Lessons from two systematic review of behavior change strategies, International Journal of Technology Assessment in Health Care, 19, 613-623

Rangel, S. J., Kelsey, J., Colby, C. E., Anderson, J. et Moss, R. L. (2003). Development of a quality assessment scale for retrospective clinical studies in pediatric surgery, Journal of Pediatric Surgery, 38, 390-396

Rotstein, D. et Laupacis, A. (2004). Differences between systematic reviews and health technology assessments: A trade-off between the ideals of scientific rigor and the realities of policy mak-ing, International Journal of Technology Assessment in Health Care, 20, 177-183

Sandelowski, M., Barroso, J. et Voils, C. I. (2007). Using qualitative meta-summary to synthesize qualitative and quantitative descriptive findings, Research in Nursing & Health, 30, 99-111

Slim, K., Nini, E., Forestier, D., Kwiatkowski, F., Panis, Y. et Chipponi, J. (2003). Methodological index for non-randomized studies (minors): Development and validation of a new instrument, ANZ Journal of Surgery, 73, 712-716

Spencer, L., Ritchie, J. et Lewis, J. (2004). Quality in qualitative evidence: A framework for assessing research evidence, (2e éd.) Londres : Government Chief Social Researcher’s Office

Stein, K., Dalziel, K., Garside, R., Castelnuovo, E. et Round, A. (2005). Association between method-ological characteristics and outcome in health technology assessments which included case series, International Journal of Technology Assessment in Health Care, 21, 277-287

Steuten, L. M., Vrijhoef, H. J., van-Merode, G. G., Severens, J. L. et Spreeuwenberg, C. (2004). The health technology assessment – Disease management instrument reliably measured method-ologic quality of health technology assessments of disease management, Journal of Clinical Epidemiology, 57, 881-888

Thomas, B. H., Ciliska, D., Dobbins, M. et Micucci, S. (2004a). A process for systematically reviewing the literature: Providing the research evidence for public health nursing interventions, World-views on Evidence-Based Nursing, 1, 176-184

Thomas, J., Harden, A., Oakley, A., Oliver, S., Sutcliffe, K., Rees, R. et coll. (2004b). Integrating quali-tative research with trials in systematic reviews, British Medical Journal, 328, 1010-1012

64

Thomson, H., Atkinson, R., Petticrew, M. et Kearns, A. (2006). Do urban regeneration programmes improve public health and reduce health inequalities? A synthesis of the evidence from UK policy and practice (1980–2004), Journal of Epidemiology and Community Health, 60, 108-115

West, S., King, V., Carey, T. S., Lohr, K. N., McKoy, N., Sutton, S. F. et coll. (2002). Systems to rate the strength of scientific evidence, Evidence Report – Technology Assessment (Summary), 1-11

Whittemore, R. et Knafl, K. (2005). The integrative review: Updated methodology, Journal of Ad-vanced Nursing, 52, 546-553

Wong, O. et Raabe, G. K. (1996). Application of meta-analysis in reviewing occupational cohort stud-ies, Occupational and Environmental Medicine, 53, 793-800

Zaza, S., Wright-De Aguero, L. K., Briss, P. A., Truman, B. I., Hopkins, D. P., Hennessy, M. H. et coll. (2000). Data collection instrument and procedure for systematic reviews in the Guide to Com-munity Preventive Services, American Journal of Preventive Medicine, 18, 44-74

Documents

Méthodes pour faire la synthèse d’études sans groupes témoins