Embed Size (px)
Citation preview
GC, 2010 1
Recherche en imagerie:Quelle méthodologie, pour quelle (s)
question (s) et avec quels outils ?
Gilles Chatellier
AP-HP, HEGPCIE4 INSERM
Faculté de Médecine René Descartes
GC, 2010 2
Le contexte:Médecine fondée sur le niveau de preuve
Evidence based medicine is “The conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients”.The best evidence is clinically relevant research “especially patient-centered clinical research into the accuracy and precision of diagnostic tests, the power of prognostic markers, and the efficacy and safety of therapeutic, rehabilitative, and preventive regimens”.
DL Sackett, 1996
GC, 2010 3
Le contexte technico-réglementaire
GC, 2010 4
Recherche:Le minimum requis
•Une bonne question•Une revue exhaustive de la littérature•Des malades en nombre suffisant (échapper au piège du nombre de sujets nécessaire)•Un méthodologiste (il n’y a pas que des questions statistiques) et un clinicien qui dialoguent
•Des soins de base de qualité•Du temps clinique (médecins, manipulateurs) et des professionnels (Unité de Recherche Clinique) dédiés à la recherche
GC, 2010 5
La précision de la question de recherche est l’élément le plus important de tout protocole
de recherche
« Ceux qui ne savent pas où ils vont sont surpris d'arriver ailleurs »
Pierre DAC
GC, 2010 6
Les questions
Méta-analyse
Diagnostic
PronosticEtiologie
Efficacité d’une thérapeutique, d’une méthode diagnostique, de dépistage
Question
Identification d’une maladieSynthèse
Devenir d’un malade, évaluation d’un risque
Etude cas témoin
Essai contrôlé randomiséMéthode
GC, 2010 7
Les standards de publication (1)
QUOROM/PRISMA &MOOSE
Méta-analyseEtude cas-témoin
REMARK Marqueur pronostique (cancer)
STROBEEtude observationnelle (épidémiologique)
STARDEtude diagnostiqueCONSORTEssai randomisé et contrôlé
GuideMéthode
GC, 2010 8
Les standards de publication (2)
……Etude qualitative
Enquête (étude transversale) Analyse internet
Association gène -maladie Etude d’un cas (case report)Série de cas
GuideMéthode
GC, 2010 9
GC, 2010 10
Une question, beaucoup de méthodes
Il y a souvent de nombreuses manières de répondre à la même question. La méthode que vous choisissez sera déterminée par beaucoup de facteurs. Avant de choisir: connaître les forces et les faiblesses de chaque type de méthodologie.
GC, 2010 11
Recherche en imagerie
Quelle méthodologie: la bonne ! Quelle question: Thérapeutique, Pronostique, Diagnostique, SynthèseQuels outils: • la rigueur, la lecture de la littérature, la
connaissance des biais, dans un axe méthodologique donné
• Plutôt qu’une connaissance approximative des statistiques…
GC, 2010 12
Design 1. Cas - Témoin
Dans une étude cas/témoin on a le « résultat de santé » (par exemple, une maladie) et on en recherche les causes (par exemple, facteurs de risque) chez les personnes qui partagent ces résultats. Le plus souvent, toute l'étude est réalisée avec une information déjà enregistrée, et plus ou moins disponible (dossiers des patients) ou des bases de données.
GC, 2010 13
Identify Cases and Controls Assess Risk Factor
Present
CasesWITH Disease
ControlsWITHOUT Disease
Cas maladesFde R: PRESENT
Fde R: ABSENT
Témoins non malades
Fde R: PRESENT
Fde R: ABSENT
Identifier cas et témoins Évaluer les F de R
Début de l’étude
GC, 2010 14
Données présentées dans une table de contingence 2x2
PrésentFacteur de risque(Hypertension) Absent
AVC-AVC+Sujets
1
2 groupes de sujets
2 QuelsFdR?
AVC: Accident vasculaire cérébral
GC, 2010 15
a, b, c, d sont des effectifs
Analyse
MaladiePresente
d
maladieAbsente
FdeRPresent
F de RAbsent
ba
c(a/(a+c)) /(c /(a+c))
(b/(b+d)) /(d /(b+d))
Rapport des cotes (odds ratio)
GC, 2010 16
Design 1Cas – Témoin : Avantages
Efficace et simple Utile pour étudier les maladies raresConsidérations éthiques: souvent pas un problème important, quoique…• Les dossiers patients doivent être examinés (CNIL?)• Comité d’éthique: y penser • Selon la nature de l'étude (génétique) le
consentement des patients peut ou non être exigé
GC, 2010 17
Design 1 Cas – Témoin: Faiblesses
L'information disponible peut être insatisfaisante:• Qualité de la mesure• Variabilité dans le temps• Données manquantes
Biais de mémorisationQuelle définition du groupe contrôle ?
GC, 2010 18
Design 2: CohorteCette conception d'étude adopte une approche longitudinale. Cette conception n'est pas appropriée aux projets à court terme ! ! Des sujets avec ou sans un facteur de risque identifiable (hypertension, traitement) sont suivis et présentent ou non un certain état (accident vasculaire cérébral (AVC)).Les sujets avec et sans le facteur de risque sont comparés.
GC, 2010 19
Temps
F de RPRESENT
MaladiePRESENTE
MaladieABSENTE
F de RABSENT
MaladiePRESENTE
MaladieABSENTE
Identifier les sujets MesurerLes F de R
Présent
Mesurer les Résultats
Futur
Populationd étude
Maladie Présente non inclus
GC, 2010 20
La table de contingence est en apparence la même…
PrésentFdeR(Hypertension)
Absent
AVC -AVC +Sujets
AVC: accident vasculaire cérébral
GC, 2010 21
…mais l’ordre de l’évaluation facteur de risque / maladie est inversé
PrésentFacteur de risque (Hypertension) Absent
AVC -AVC +Sujets
2
Maladie
1
Facteur de risque
Présent?
GC, 2010 22
a, b, c, d sont des effectifs
Analyse
Risque de maladiesi le facteur est absent =
Risque de maladiesi le facteur est présent =
)( baa
+
)( dcc
+
MaladiePresente
d
MaladieAbsente
FdRPresent
FdRAbsent
ba
c
GC, 2010 23
Risque relatif
)(
)(
dcc
baa
+
+
a, b, c, d sont des effectifs
MaladiePresente
d
MaladieAbsente
FdRPresent
FdRAbsent
ba
c
RR=
GC, 2010 24
Design 2 Cohorte: les avantages.
Les données peuvent être recueillies d'une façon complète et uniformeLe biais de mémorisation n’est pas un problèmeLa définition du résultat (« outcome ») est homogène chez tous les sujetsPas de sélection des groupes, volontaire ou non
GC, 2010 25
Design 2Cohorte: les désavantages.
« Design » coûteux en temps et en argent Le choix de la population d'étude peut influencer la généralisation des résultatsEffet du temps:• Perdus de vue • Changement des critères de jugement • …de méthodologie de mesure
Biais de surveillance
GC, 2010 26
Suppléments hormonaux après la ménopause1990-2002
Question thérapeutique importante S'applique à des millions de femmes Le Prempro (oestrogène/progestine) était le médicament le +prescrit aux USA à la fin des années 90Impact potentiellement énorme en terme de santépublique Effet complexe: les hormones ont un rôle potentiel sur des maladies multiples (cancer, ostéoporose, maladies cardio-vasculaire)
GC, 2010 27
Supplémentation hormonale après la ménopause
Maladie Effet sur le risque* Cardiopathie ischémique Diminution: 40 - 80%Ostéoporose (Fr. de hanche) Diminution: 30 - 60%Cancer du sein Augmentation: 10 - 20%Cancer de l’endomètre Augmentation: 700%Alzheimer’s Diminution: ?Embolie Pulmonaire & Augmentation: 200 - 300%thrombose veineuse
* Réduction relative de risque; Études observationnelles (cas - témoins et cohortes)
GC, 2010 28
Nurses Health Study (NEJM,1991)
Prospective cohort study, n = 48,470337,000 person years of follow-up
Risk of MajorEstrogen Use Coronary Disease* Relative Risk**Never Used 1.4 1.0Former user 1.3 0.83 (0.65-1.05)Current user 0.6 0.56 (0.40-0.80)
* Events per 1000 women* Events per 1000 women--years of followyears of follow--upup** Relative Risk (95% CI) compared to never ** Relative Risk (95% CI) compared to never users
GC, 2010 29
Meta-analysis 1997
“Benefits (for CHD, osteoporosis) outweigh risks (breast cancer) and side effects…
All post-menopausal women should be taking ERT”*
* CNN, 4/10/97
GC, 2010 30
Mais toutes les données sont obtenues dans des études observationnelles !
Les femmes ont choisi de prendre le traitementLes utilisatrices sont-elles différentes des non-utilisatrices ? • Âge • État de santé• Plus d'exercice • Comportements de santé ….
Solutions• Ajustements (mais pas toujours possible)• Essais randomisés
GC, 2010 31
Design 3Essai randomisé et contrôlé
Randomized Controlled Trial
Gold standard pour l’évaluation de l’effet des procédures ou stratégies médicales
Le plus souvent utilisé dans le cadre des essais dit de « phase 3 » dans le monde des essais médicamenteux
GC, 2010 32
Temps
TraitementA
Maladieprésente
TraitementB
Début Randomisation Résultat
Présent Suivi
Maladieprésente
Maladieabsente
Maladieabsente
Population d’étude
Essai randomisé et contrôlé
GC, 2010 33
La table de contingence est encore la même…
Présent« FdeR »(traitement)
Absent
AVC-AVC+Sujets
AVC: accident vasculaire cérébral
GC, 2010 34
… mais les sujets sont assignés par tirage au sort au traitement
TrtGroupe
Controle
AVC-+ AVCSujets
1
Tirage au sort pour créer les groupes
2
Evaluation de la maladie
GC, 2010 35
Essai randomisé et contrôlé:ce qu’il fait, ce qu’il ne fait pas
Ce design peut réduire les problèmes liés à:Biais de jugement des médecinsAttentes des patientsPrise en chargeObservance…
Ce design ne permet pas deFaire l’impasse sur une bonne questionD’oublier la qualité de l’analyse statistiqueD’oublier l’importance de la méthode expérimentale àtous les niveaux de l’essai
GC, 2010 36
Essai randomisé et contrôlé:Éthique
Placebo et autre outils de contrôle• De manière générale, le “contrôle” est un
élément essentiel, pas toujours facile à mettre en œuvre, ni accepté.
Randomisation : charge émotionnelle• Médecins: consentement informé, non
connaissance du traitement…• Patients : “cobayes”
GC, 2010 37
Essai randomisé et contrôlé:Eléments - clés
Question TRES préciseValidité interne• Qualité des CRITERES DE JUGEMENT et des méthodes et instruments de
mesure• Calcul réaliste du nombre de sujets• Choix du comparateur• Qualité du contrôle : co-intervention, aveugle difficile, violation de la
randomisation, perdus de vue….• Qualité de la randomisation (masquage)• Qualité du suivi
Résultats• Quantité d’effet• Analyse en intention de traiter
GC, 2010 38
Essai randomisé et contrôlé:Encadrement
L’essai randomisé et contrôlé, plus que tout autre design, est une affaire de professionnels:AVANT• Protocole, investigateurs et promoteur• Déclarations (CPP, CNIL, Autorités compétentes…)
Pendant • ARC/TEC• BPC
APRES (mais mieux vaut s’en occuper avant!!!)• CONSORT Statement• Règles de lecture de l’EBM Working group
GC, 2010 39
Heart and Estrogen-Progestin Replacement Study (HERS)- 1998
Secondary prevention of heart diseaseHRT (Prempro) vs. placebo (4-5 years)2763 women with established heart disease
• Postmenopausal, < 80 years, mean age 6720 clinical centers in U.S.A
Endpoint Placebo HRT RR P New CHD 176 172 0.99 0.91Any fracture 138 130 0.95 0.70
GC, 2010 40
Women’s Health Initiative Hormone Replacement Therapy (2002)
Randomized trial • 16,608 women with uterus (ERT + progestin vs. placebo)• ~11,000 women without uterus (ERT alone vs. placebo)
Ages 50-79, mean age 64Represent broad range of U.S. women40 clinical centersFollow-up planned for 8.5 years, to end in 2005
GC, 2010 41
Women’s Health Initiative Hormone Replacement Therapy (2002)
Combination therapy arm stopped early (3 years)• Mean 5.2 years of follow-up• Overall, health risks outweigh benefits• Significant increased risk for invasive breast cancer
HRT users
GC, 2010 42
WHI: Invasive Breast Cancer
years 1 2 3 4 5 6 7
1%
2%
3%
GC, 2010 43
WHI: Coronary Heart Disease
years 1 2 3 4 5 6
GC, 2010 44
Le diagnostic:De nombreuses questions …
Quels objectifs ?• Reproductibilité• Performances• Efficacité
Quelles métriques ?• Sensibilité, spécificité
Quelles méthodes • test index & test de référence
Méthodologie• Design• Méthodologie (cohorte, cas contrôle… )• Nb de sujets nécessaire (aide d’un statisticien)
GC, 2010 45
Tests diagnostiquesArchitecture de leur évaluation
Phase 1: Do test results in affected patients differ from those in normal individuals?Phase 2: Are patients with certain test results more likely to have the target disorder?Phase 3: Do test results distinguish patients with and without the target disorder among those in whom it is clinically sensible to suspect the disorder?Phase 4: Do patients undergoing the diagnostic test fare better than similar untested patients?
Sackett, BMJ, 2002
GC, 2010 46
Test diagnostique: quelle place dans le processus diagnostique?
P Bossuyt, BMJ, 2006
GC, 2010 47
Mettre en place une étude diagnostique
1. S’assurer de la validité
2. Choisir la bonnemétrique statistique
3. S’assurer de l’utilitépratique de la recherche
… et la publication est assurée !!!
GC, 2010 48
Cohorte
Test évalué
Test de référence
Classification des résultats en aveugle
Evaluation d’un test diagnostiqueschéma idéal
GC, 2010 49
Evaluation d’un test diagnostique: autre design (1)Cas
Test évalué
Test de référence
Classification des résultats en aveugle
Contrôles
Risque de biais
GC, 2010 50
Evaluation d’un test diagnostique: autre design (2)
Cohorte
Test évalué
Classification des résultats en aveugle
Référence 1 Référence 2Risque de biais
GC, 2010 51
Etude diagnostique: validité
1. Réunir un ensemble de patients représentatifs de la maladie (“ appropriate spectrum”)
2. Soumettre tous les patients au test de référence (« gold standard »)
3. S’assurer que la comparaison au test de référence est réellement:
• Indépendante• En aveugle’?
GC, 2010 52
Réunir un ensemble de patients représentatifs de la maladie
Biais de représentativité (Spectrum bias)
Sujet: valeur de la radiologie standard pour le diagnostic de pneumonieEchantillon biaisé: pratiquer la radio seulement chez les patients ayant une forte suspicion de pneumonieEchantillon correct: tous les patients ayant un trouble respiratoire et chez qui une radio pulmonaire est pratiquée
GC, 2010 53
Soumettre tous les patients au gold standardBiais de vérification
Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaireGold standard : angiographieBiais de vérification: seuls les patients positifs àl’ECG ont une angiographie. Méthode correcte: tous les patients ont une angiographie
GC, 2010 54
Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaireGold standard : angiographieBiais d’observation: le radiologue qui pratique l’angiographie connait le résultat du test d’effortMéthode correcte: séparer la réalisation de l’angiographie de son interprétation
S’assurer que la comparaison au test de référence est réellement indépendante
Biais d’observation (observer bias)
GC, 2010 55
Test diagnostiques: les métriques
M+
T+
T-
VP
FN
SensibilitéSe= VP ÷ (VP+FN)
M-
FP
VNSpécificitéSe= VN ÷ (FP+VN)
T-
T+
Situation de recherche
GC, 2010 56
Test diagnostiques: les métriques
T+
T-
VP
M+Probabilité post test:M+ si Test + :VPPVP ÷ (VP+FP)
FP
M-
FN VNProbabilité post test:M- si Test - : VPNVN ÷ (FN+VN)
M+ M-
Situation clinique
GC, 2010 57
Test diagnostiques: les métriques
VP
VN
FP
FN
M+ M-
Situation clinique: les rapports de vraisemblance (RV) –1-
TotalM+
TotalM-
T+VP ÷ Total(M+)FP ÷ Total(M-)
RV+ =
T-FN ÷ Total(M+)VN ÷ Total(M-)
RV- =
• Un RV compris entre 1 et l’∞ augmente la probabilité de la maladie
• Un RV compris entre 0 et 1 diminue la probabilité de la maladie
GC, 2010 58
Test diagnostiques: les métriques
a b
M+ M-
Situation clinique: les rapports de vraisemblance (RV) -2-
TotalM+
TotalM-
T+a ÷ Total(M+)b ÷ Total(M-)
RV+ =
dc c ÷ Total(M+)d ÷ Total(M-)
RV- = T-
Testdouteux
e ÷ Total(M+)f ÷ Total(M-)
RV d = fe
GC, 2010 59
Test diagnostiques: les métriques
RCd = a ÷ c / b ÷ dLa cote d’un résultat positif du test
chez les personnes malades divisé par la cote d’un résultat positif du test chez les personnes non malades.Le RCd est un résumé simple des
résultats d’une table 2×2, incorporant la sensibilité et la spécificité. Exprimé en termes de sensibilité et
spécificité il s’écrit:
Se÷ (1-Se)(1-Sp) ÷ (Sp)
RCd =
a
M+ M-
b
dc
T+
T-
Rapport des cotes diagnostique (RCd)
GC, 2010 60
Analyse de la reproductibilité du testCoefficient kappa
Value of Kappa Strength of Agreement <0.20 Poor 0.21-0.40 Fair 0.41-0.60 Moderate 0.61-0.80 Good 0.81-1.00 Very Good
Kappa: concordance inter ou intra-observateur corrigée de la concordance liée au hasard
GC, 2010 61
Nombre de sujets nécessaireVraie difficulté pour les radiologues -chercheurs qui ne recrutent pas directement les patients: connaitre la population disponibleComme TOUTE étude, une étude diagnostique doit comprendre le calcul du nb de sujets nécessaireParticularité: la multiplicité des métriques utilisables (Se, Sp, les 2, LR, courbe ROC…) et des questions (comparaison, précision…)
GC, 2010 62
GC, 2010 63
Preuve empirique de biais liés au design
Lijmer JG et al. JAMA; 1999: 282: 1061-1066.
GC, 2010 64
Les standards de publication
Des guides méthodologiques très utiles : exemple du STARD Statement
GC, 2010 65
GC, 2010 66
Les standards de publication (1)STARD Statement
Describe data collection: Was data collection planned before the index test and reference standard were performed (prospective study) or after (retrospective study)?
6
Describe participant sampling: Was the study population a consecutive series of participants defined by the selection criteria in items 3 and 4? If not, specify how participants were further selected.
5
Describe participant recruitment: Was recruitment based on presenting symptoms, results from previous tests, or the fact that the participants had received the (evaluated) index tests or the (golden) reference standard?
4
Describe the study population: The inclusion and exclusion criteria, setting and locations where the data were collected.
3
GuideN°
GC, 2010 67
Les standards de publication(2)STARD Statement
Describe the number, training and expertise of the persons executing and reading the index tests and the reference standard.
10
Describe whether or not the readers of the index tests and reference standard were blind (masked) to the results of the other test and describe any other clinical information available to the readers.
11
Describe methods for calculating or comparing measures of diagnostic accuracy, and the statistical methods used to quantify uncertainty (e.g. 95% confidence intervals).
12
Describe methods for calculating test reproducibility, if done.13
Describe technical specifications of material and methods involved including how and when measurements were taken, and/or cite references for index tests and reference standard.
8Describe the reference standard and its rationale.7
GuideN°
GC, 2010 68
Les standards de publication(3)STARD Statement
Report how indeterminate results, missing responses and outliers of the index tests were handled.
22
Report estimates of diagnostic accuracy and measures of statistical uncertainty (e.g. 95% confidence intervals).
21
Report a cross tabulation of the results of the index tests (including indeterminate and missing results) by the results of the reference standard; for continuous results, the distribution of the test results by the results of the reference standard.
19
Report any adverse events from performing the index tests or the reference standard.20
Report estimates of variability of diagnostic accuracy between subgroups of participants, readers or centers, if done.
23
Report distribution of severity of disease (define criteria) in those with the target condition; other diagnoses in participants without the target condition.
18
Report time interval from the index tests to the reference standard, and any treatment administered between.
17
GuideN°
GC, 2010 69
La méta-analyse
De plus en plus utiliséeS’applique à TOUTES les études: thérapeutiques, diagnostiques, pronostiquesUtilisations:• Préparation à un travail original• Résumé de plusieurs études• Recherche d’explications à des discordances inter-
études
GC, 2010 70
Etapes d’une méta analyse1. Définir la question posée
• Critères d’inclusion et d’exclusion (Population , Intervention, Résultat)• Hypothèses a priori concernant une hétérogénéité
2. Définir la méthode de recherche de la littérature :• Sources d’information (bases de données, recherche manuelle, …)• Restrictions éventuelles (temps, langue…)• Identifier les titres et résumés correspondant
3. Identification des critères d’inclusion ou de non inclusion• Obtenir les articles complets des titres et abstracts sélectionnés• Appliquer des critères d’inclusion ou de non inclusion sur les articles• Sélectionner une liste finale d’articles• Evaluer l’agrément dans cette sélection (2 personnes) et conserver la
trace des choix effectué
GC, 2010 71
Etapes d’une méta analyse (2)
4. Extraire les données (créer la base de données)• Participants, interventions, interventions comparatives, schémas d’étude• Résultats• Critères de qualité• Agrément (2 personnes)
5. Conduire l’analyse• Choix de la méthode destinée à pooler les données• Explorer l’hétérogénéité (analyse de sensibilité, analyse en sous groupes)
6. Explorer la possibilité de biais de publication
GC, 2010 72
Maier, P. C et al. BMJ 2005;331:134
Visual field loss or deterioration of optic disc, or both, among patients randomised to pressure lowering treatment v no treatment in ocular
hypertension.
GC, 2010 73
M-A diagnostiqueChoix du modèle
GC, 2010 74
Représentation graphiqueForrest plot
BMJ, 2001
GC, 2010 75
Courbe ROCTests diagnostiques avec seuil
BMJ, 2001
GC, 2010 76
MetaMeta--analysis of analysis of diagnosticdiagnostic studiesstudies
Louvard et al, JACC 2006
GC, 2010 77Roy PM. et al. BMJ 2005;331:259
Fig 1: Positive likelihood ratios (squares) and 95% CI for strategies used to confirm a diagnosis of pulmonary embolism. Size of square is related to variance of study. Broken line represents pooled
positive likelihood ratio, and limits of diamond represents 95% CI of pooled ratios
GC, 2010 78Roy, P.-M. et al. BMJ 2005;331:259
Fig 4 Post-test probability according to pre-test probability and pooled values (solid line) or limits of 95% confidence intervals (broken lines) of the positive likelihood ratio
GC, 2010 79
M-A pronostiqueFacteurs de risque de l’embolie pulmonaire
Sanchez et al, 2008
