GTS813: Cours #4 Évaluer une technologie La recherche dinformation Comment lire un article...

GTS813: Cours #4

Évaluer une technologie

La recherche d’information

Comment lire un article scientifique

Évaluer une technologie

Définition

Les technologies de la santé: Procédures et méthodes pour examiner, traiter,

pour la réadaptation, incluant l’équipement et les drogues. Inclut aussi les procédures utilisées pour la médecine préventive

Évaluation: champ d’application Médecine préventive Dépistage (screening) Diagnostique Traitement Réadaptation

Évaluation: efficacité

Est-elle documentée? Est-elle meilleure que les technologies

alternatives?

Évaluation : risques

Effets indésirables Niveau de risque

Types de recherches

La littérature scientifique se divise en 4 catégories: Recherche fondamentale Recherche épidémiologique Recherche clinique Recherche sur les services de santé

Article scientifique

Introduction Matériel et méthode Résultats Discussion

Évaluation du risque

L’évaluation du risque comporte 4 éléments: Identification du problème (risque) Description de l’exposition (nombre de patients,

doses, temps…) Évaluation de la relation entre l’exposition au

risque et le résultat Résumé des risques et de son implication

Nécessité de conduire des recherches supplémentaires Littérature trop pauvre Documentation scientifique inadéquate

L’Étude randomisée contrôlée La plus robuste

Des patients reçoivent au hasard l’un ou l’autre des traitements Technologie vs placebo Nouvelle technologie vs ancienne

Idéalement à double insu Le patient donne son consentement

Les études épidémiologiques

Étude de cohortes (prospectives) effet

+ -

Exposition

+ a b

- c d

La recherche d’information

La recherche d’information

5 principes Formuler les questions auxquelles

ont peut donner une réponse Trouver les évidences disponibles Sélectionner et donner un avis sur

les évidences trouvées Appliquer en pratique Évaluer

Biblio

Exemple

Bases de données

Pour les recherches sur les technologies The Cochrane Library

http://www.mrw.interscience.wiley.com/cochrane/cochrane_clsysrev_subjects_fs.html

Medline http://www.ncbi.nlm.nih.gov/

Dare www.york.ac.uk/inst/crd/darehp.htm

Bases de données

Pour les recherches sur les patients Psychinfo

http://www.apa.org/psycinfo/ Medline Sites WEB de patients

Bases de données

Littérature sur les organisations HealthStar

http://www.ncbi.nlm.nih.gov/books/bv.fcgi?rid=hstat

Bases de données

Littérature sur l’économie HEED (payant)

http://www.ohe-heed.com/ Econlit

http://www.econlit.org/ IDEAS –Internet Documents in Economics Access

Service http://ideas.repec.org/

Information Resources in Health Economics http://www.york.ac.uk/inst/crd/econ.htm

Stratégies de recherche

Sélection critique

Est-ce que l’article est pertinent? Les résultats sont-ils valides? L’article est-il important pour répondre à la

question?

Comment lire un article scientifique?

Recherche qualitative

Les articles qui vont au-delà des nombres… Voir l’humain dans son ensemble Question bien formulée Triangulation Analyse de données par méthodes explicites,

systématiques et reproductibles

Recherche qualitative

Documents: Observation passive: Observation participative: Interviews en profondeur: Focus group:

Recherche qualitative

Qualitative Quantitative

Théorie sociale

Méthodes

Question

Action

Observation, Interview

Qu’est-ce que X? (Classification)

Structure

Expérience, sondage

Combien de X? (numération)

Raisonnement

Méthode d’échantillonnage

Force

Inductif

Théorique

Validité

Déductif

Statistique

Fiabilité

Recherche qualitative

Évaluer un article Question 1: est-ce que le papier a décrit un

problème clinique important et formule la question de façon claire?

Recherche qualitative

Évaluer un article Question 2: Est-ce qu’une approche par

recherche qualitative était appropriée?

Question 3: Comment les sujets et la mise en place ont été sélectionnés?

Recherche qualitative Évaluer un article

Question 4: Quelle est la perspective du chercheur?

Recherche qualitative

Évaluer un article Question 5: Quelle est la méthode utilisée pour

recueillir les données. Ces méthodes sont-elles décrites suffisamment en détail?

Question 6: Quelle méthode le chercheur a-t-il utilisée pour analyser les données? – quelles mesures de contrôle qualité de ces données ont été implantées?

Recherche qualitative

Évaluer un article Question 7: Les résultats sont-ils crédibles et si

oui, ont-ils une importance clinique? Question 8: quelles conclusion ont été tirées? Question 9: Est-ce que les résultats sont

transférables vers une autre réalité clinique?

Recherche qualitative

Les médecins mettent l’emphase sur des résultats numériques

Or, la recherche qualitative peut être d’un apport primordial pour comprendre pourquoi certains phénomènes ont lieu

Références:Black N. Why we need qualitative research. Epidemiol Community Health 1994; 48: 425-6Denkin NK Lincoln YS, Eds. Handbook of qualitative research. London: Sage, 1994Mays N, Pope C, Eds. Qualitative research in health care. London: BMJ Publishing Group, 1996.

Revues systématiques et méta-analyses Revue systématique

Méta-analyse

Revues systématiques et méta-analyses Méthodologie

d’une revue systématique (études randomisées contrôlées, RCT)

Revues systématiques et méta-analyses Avantages d’une revue systématique

Revues systématiques et méta-analyses Évaluation de revues systématiques

Question 1: peut-on identifier une question clinique d’importance?

Question 2: Est-ce que la recherche bibliographique est exhaustive? Est-ce que d’autre sources ont été explorées?

Revues systématiques et méta-analyses Évaluation de revues systématiques

Question 3: est-ce que la qualité méthodologique a été évaluée et les essais pondérés en conséquence?

Question 4: À quel point les résultats sont-ils sensibles à la manière dont la revue a été conduite?

Revues systématiques et méta-analyses Évaluation de revues systématiques

Question 5: Est-ce que les résultats numériques ont été interprêtés avec itelligence et en considérant l’aspect plus large du problème?

Méta-analyses

Méta-analyses Expliquer l’hétérogénéité

Revues systématiques et méta-analyses Références

Chalmers I, Altman DG, eds. Systematic reviews. London: BMJ pulishing group, 1995

Oxman AD, Guyatt GH. The science of reviewing research. Ann NY Acad Sci 1993; 703: 125-31.

Altman et al., A comparison of results of meta-analyses of randomized trials and recommendations of clinical experts. JAMA 1992; 268: 240-8.

Un peu de statistiques

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Groupes comparables Tests paramétriques et non paramétriques

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Distribution normale

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Cours asymétrique

Les statistique pour les non statisticiens: différentes données nécessitent différents tests Les données sont-elles analysées suivant le

protocole original? Données pairées Les « outlyer »

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Corrélation, régression et relation de

causalité

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Question: est-ce que les suppositions ont été

faite sur la nature et la direction de la causalité?

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Question: est-ce que les valeurs de « p » ont

été calculées et interprétées adéquatement?

Question: les intervalles de confiance ont-ils été calculés et si oui, la conclusion de l’auteurs reflète-t-elle ces intervalles?

Les statistique pour les non statisticiens: relations “significatives” et leurs écueils Le résultat

Question: est-ce que les auteurs ont exprimé l’effet d’une intervention en terme de bénéfice ou de dommage pour le patient?

10 façons de tricher quand on présente des résultats Mettre toutes les données ensemble et calculer les valeurs de p et reporter tout

ce qui est significatif S’il y a des différences de départ entre 2 groupes, ne pas ajuster Ne pas tester les données pour la normalité des données, sinon, on risque de

se retrouver avec des tests non paramétriques Ignorer tous les « outlayer » ou les non-répondants Toujours considérer qu’on peut mettre en corrélation deux ensembles de

données et assumer qu’une corrélation positive donne un lien de causalité S’il y a des outlayer, les supprimer tout simplement, s’ils aident à vérifier les

hypothèses, juste les laisser ou ils sont Si les intervalles de confiance se superposent, ne pas les mentionner ou les

mentionner juste dans le texte et pas dans les graphiques et ignorer dans la conclusion

Si la différence entre deux groupes devient significative après 4mois et demie, arrêter les expériences. Ou bien s’ils ne le sont pas encore après 6 mois, continuer l’expérience jusqu’à ce qu’ils le deviennent.

Si vos résultats semblent inintéressants, vérifie s’il n’y a pas un sous-groupe qui donne des choses significatives, du genre toutes les femmes chinoises entre 52 et 63 ans

Si l’analyse de vos résultats ne donnent pas le résultat escompté avec la méthodologie prévue, passer les données a travers une batterie d’autres tests pour voir s’ils ne deviennent pas significatifs

Évaluer la qualité de la méthodologie 6 questions fondamentales:

1. L‘étude est-elle originale?

2. Sur quoi et qui l’étude porte-t-elle?

3. Est-ce que le design de l’étude était sensible?

4. Est-ce que le biais systématique a été évité ou minimisé?

5. Est-ce que l’évaluation s’est fait à l’aveugle?

6. A-t-on réfléchi à la question des statistiques avant de commencer l’étude?