79
GC, 2010 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté de Médecine René Descartes

GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

Embed Size (px)

Citation preview

Page 1: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 1

Recherche en imagerie:Quelle méthodologie, pour quelle (s)

question (s) et avec quels outils ?

Gilles Chatellier

AP-HP, HEGPCIE4 INSERM

Faculté de Médecine René Descartes

Page 2: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 2

Le contexte:Médecine fondée sur le niveau de preuve

Evidence based medicine is “The conscientious, explicit and judicious use of current best evidence in making decisions about the care of individual patients”.

The best evidence is clinically relevant research “especially patient-centered clinical research into the accuracy and precision of diagnostic tests, the power of prognostic markers, and the efficacy and safety of therapeutic, rehabilitative, and preventive regimens”.

DL Sackett, 1996

Page 3: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 3

Le contexte technico-réglementaire

Page 4: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 4

Le contexte technico-réglementaire (2)

Attention !Le contexte réglementaire va changer (Loi Jardé votée, décrets d’application d’ici < 1 anConséquences: Positives : notion de risque introduite dans la loi Négatives: soumission au CPP de toute recherche, sans réflexion sur l’organisation et la charge de travail de ces derniers

Page 5: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 5

Le financement

La recherche non financée devient de plus en difficile.Le financement est possible via de multiples appels

d’offre (PHRC, STIC, Sociétés Savantes, Associations de malades, Fondations….

Remarques: Imaginer monter un projet seul est source de

déconvenues Dans tous les CHU l’aide à la Recherche Clinique est

une réalité (certes imparfaite…): CIC, URCs… La surveillance du bon emploi de l’argent est de plus

en plus précise.

Page 6: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 6

Recherche:Le minimum requis

•Une bonne question•Une revue exhaustive de la littérature•Des malades en nombre suffisant (échapper au piège du nombre de sujets nécessaire)•Un méthodologiste (il n’y a pas que des questions statistiques) et un clinicien qui dialoguent•Des soins de base de qualité•Du temps clinique (médecins, manipulateurs) et des professionnels (Unité de Recherche Clinique) dédiés à la recherche

Page 7: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 7

La précision de la question de recherche est l’élément le plus important de tout

protocole de recherche

« Ceux qui ne savent pas où ils vont sont surpris d'arriver ailleurs »

Pierre DAC

Page 8: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 8

Une question, beaucoup de méthodes !

Il y a souvent de nombreuses manières de répondre à la même question.

Choisir la bonne méthode nécessite la réponse à de nombreux pré-requis:. • Connaître les forces et les faiblesses de chaque

type de méthodologie. • Identifier la problématique: Traitement?

Pronostic? Diagnostic ? Synthèse ?• Connaissances spécifiques: connaissance

exhaustive de la littérature, la connaissance des biais…

• Connaissances statistiques, mais ce n’est pas l’essentiel …

Page 9: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 9

Une aide importante:Les standards de publication

Les standards de publication sont une liste des éléments qu’il est nécessaire de trouver dans une publication

Ces standards doivent obligatoirement être respectés pour que la publication soit acceptée, dans de très nombreuses revues

Ces standards sont une aide précieuse pour écrire un projet de recherche (ce qui doit être publié doit être planifié…)

Page 10: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 10

Les questions

Question Méthode

Efficacité d’une thérapeutique, d’une méthode diagnostique, de dépistage

Essai contrôlé randomisé

Etiologie Etude cas témoin

Pronostic Devenir d’un malade, évaluation d’un risque

Diagnostic Identification d’une maladie

Méta-analyse Synthèse

Page 11: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 11

Les standards de publication (1)

Méthode Guide

Essai randomisé et contrôlé CONSORT

Etude diagnostique STARD

Etude observationnelle (épidémiologique)

STROBE

Marqueur pronostique (cancer)

REMARK

Etude cas-témoin

Méta-analyse QUOROM/PRISMA &MOOSE

Page 12: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 12

Les standards de publication (2)

Méthode Guide

Comparative effectiveness ISPOR Value in Health 2009; 12(8):1044-52

Association gène -maladie STREGA J Clin Epidemiol 2009;62(6):597-608.e4.

Enquête (étude transversale) Int J Qual Health Care 2003; 15(3):261-266.

Etude qualitative COREQ Int J Qual Health Care 2007;19(6):349-57.

Fiabilité et agrément GRRASJ of Clin Epid  2011; 64(1):96-106

Page 13: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 13

http://www.equator-network.org

Page 14: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 14

Quelles méthodologies de la recherche pour les radiologues

Toutes! Dans les études en cours à l’HEGP, menées

par des radiologues en 2012 sont concernées:• La radiologie diagnostique et interventionnelle• Le diagnostic, le pronostic, le traitement, la

reproductibilité • Le cancer, les maladies cardio-vasculaires

Un radiologue doit donc connaitre … toute l’épidémiologie clinique!

Page 15: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 15

Plan expérimental 1. Cas - Témoin

Dans une étude cas/témoin on a le « résultat de santé » (par exemple, une maladie) et on en recherche les causes (par exemple, facteurs de risque) chez les personnes qui partagent ces résultats.

Le plus souvent, toute l'étude est réalisée avec une information déjà enregistrée, et plus ou moins disponible (dossiers des patients) ou des bases de données (Pour les radiologues, PACS).

Page 16: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 16

Cas maladesFde R: PRESENT

Fde R: ABSENT

Témoins non malades

Fde R: PRESENT

Fde R: ABSENT

Identifier cas et témoins Évaluer les F de R

Début de l’étude

Page 17: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 17

Données présentées dans une table de contingence 2x2

SujetsAVC+ AVC-

Facteur de risque(Hypertension)

Présent

Absent1

2 groupes de sujets

2 QuelsFdR?

AVC: Accident vasculaire cérébral

Page 18: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 18

a, b, c, d sont des effectifs

Analyse

MaladiePresente

d

maladieAbsente

FdeRPresent

F de RAbsent

ba

c(a/(a+c)) /(c /(a+c))

(b/(b+d)) /(d /(b+d))

Rapport des cotes (odds ratio)

Page 19: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 19

Plan expérimental 1Cas – Témoin : Avantages

Efficace et simple Utile pour étudier les maladies rares Considérations éthiques: souvent pas un

problème important, quoique…• Les dossiers patients doivent être examinés

(CNIL?)• Comité d’éthique: y penser • Selon la nature de l'étude (génétique) le

consentement des patients peut ou non être exigé

Page 20: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 20

Plan expérimental 1 Cas – Témoin: Faiblesses

L'information disponible peut être insatisfaisante:• Qualité de la mesure• Variabilité dans le temps• Données manquantes

Biais de mémorisation Quelle définition du groupe contrôle ?

Page 21: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 21

Plan expérimental 2: Cohorte Cette conception d'étude adopte une

approche longitudinale. Cette conception n'est pas appropriée aux

projets à court terme ! ! Des sujets avec ou sans un facteur de risque

identifiable (hypertension, traitement) sont suivis et présentent ou non un certain état (accident vasculaire cérébral (AVC)).

Les sujets avec et sans le facteur de risque sont comparés.

Page 22: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 22

Temps

F de RPRESENT

MaladiePRESENTE

MaladieABSENTE

F de RABSENT

MaladiePRESENTE

MaladieABSENTE

Identifier les sujets MesurerLes F de R

Présent

Mesurer les Résultats

Futur

Populationd étude

Maladie Présente non inclus

Page 23: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 23

La table de contingence est en apparence la même…

SujetsAVC + AVC -

FdeR(Hypertension)

Présent

Absent

AVC: accident vasculaire cérébral

Page 24: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 24

…mais l’ordre de l’évaluation facteur de risque / maladie est

inversé

SujetsAVC + AVC -

Facteur de risque (Hypertension)

Présent

Absent

2

Maladie

1

Facteur de risque

Présent?

Page 25: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 25

a, b, c, d sont des effectifs

Analyse

Risque de maladie si le facteur est absent =

Risque de maladie si le facteur est présent =

)( baa

)( dcc

MaladiePresente

d

MaladieAbsente

FdRPresent

FdRAbsent

ba

c

Page 26: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 26

Risque relatif

)(

)(

dcc

baa

a, b, c, d sont des effectifs

MaladiePresente

d

MaladieAbsente

FdRPresent

FdRAbsent

ba

c

RR=

Page 27: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 27

Plan expérimental 2 Cohorte: les avantages.

Les données peuvent être recueillies d'une façon complète et uniforme

Le biais de mémorisation n’est pas un problème

La définition du résultat (« outcome ») est homogène chez tous les sujets

Pas de sélection des groupes, volontaire ou non

Page 28: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 28

Plan expérimental 2Cohorte: les désavantages.

« Design » coûteux en temps et en argent Le choix de la population d'étude peut

influencer la généralisation des résultats Effet du temps:

• Perdus de vue • Changement des critères de jugement • …de méthodologie de mesure (évolution des

techniques très rapide en imagerie et en biologie)

Biais de surveillance

Page 29: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 29

Exemple:Suppléments hormonaux après la ménopause

1990-2002

Question thérapeutique importante S'applique à des millions de femmes Le Prempro (oestrogène/progestine) était le

médicament le +prescrit aux USA à la fin des années 90

Impact potentiellement énorme en terme de santé publique

Effet complexe: les hormones ont un rôle potentiel sur des maladies multiples (cancer, ostéoporose, maladies cardio-vasculaire)

Page 30: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 30

Nurses Health Study (NEJM,1991)

Prospective cohort study, n = 48,470 337,000 person years of follow-up

Risk of MajorEstrogen Use Coronary Disease* Relative Risk**Never Used 1.4 1.0Former user 1.3 0.83 (0.65-1.05)Current user 0.6 0.56 (0.40-0.80)

* Events per 1000 women-years of follow-up* Events per 1000 women-years of follow-up** Relative Risk (95% CI) compared to never ** Relative Risk (95% CI) compared to never users

Page 31: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 31

Supplémentation hormonale après la ménopause

Maladie Effet sur le risque* Cardiopathie ischémique Diminution: 40 - 80%Ostéoporose (Fr. de hanche) Diminution: 30 - 60%Cancer du sein Augmentation: 10 - 20%Cancer de l’endomètre Augmentation: 700%Alzheimer’s Diminution: ?Embolie Pulmonaire & Augmentation: 200 - 300%thrombose veineuse

* Réduction relative de risque; Études observationnelles (cas - témoins et cohortes)

Page 32: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 32

Mais…

Les utilisatrices sont-elles différentes des non- utilisatrices (se traiter ou non est un choix de la patiente) ? • Âge • État de santé • Plus d'exercice • Comportements de santé ….

Solutions• Ajustements (mais pas toujours possible)• Essais randomisés

Page 33: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 33

Plan expérimental 3Essai randomisé et contrôlé

Randomized Controlled Trial

Gold standard pour l’évaluation de l’effet des procédures ou stratégies

médicales Le plus souvent utilisé dans le cadre

des essais dit de « phase 3 » dans le monde des essais médicamenteux

Page 34: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 34

Temps

Traitement

A

Maladieprésente

Traitement

B

Début Randomisation Résultat

Présent Suivi

Maladieprésente

Maladieabsente

Maladieabsente

Population d’étude

Essai randomisé et contrôlé

Page 35: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 35

La table de contingence est encore la même… … mais les sujets sont assignés par tirage au sort au

traitement

Sujets+ AVC AVC-

Groupe

Trt

Controle1

Tirage au sort pour créer les groupes

2

Evaluation de la maladie

Page 36: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 36

Essai randomisé et contrôlé:ce qu’il fait, ce qu’il ne fait pas

L’ERT peut réduire les problèmes liés à:

Biais de jugement des médecins

Attentes des patients Prise en charge Observance…

Mais attention Une bonne question est + que

jamais cruciale Ne pas oublier l’importance

de la méthode expérimentale à tous les niveaux de l’essai (mesure du critère de jugement, nb de sujets nécessaire, statistiques…)

financement approprié et mise en œuvre sont les 2 clés du succès (essais multicentriques)

Page 37: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 37

Essai randomisé et contrôlé:Éthique

Placebo et autre outils de « contrôle » • De manière générale, le “contrôle” est un

élément essentiel (aveugle, standardisation des traitements associés, double lecture des documents radiologiques…) mais il est difficile à mettre en œuvre.

Randomisation : charge émotionnelle• Médecins: obtention du consentement informé,

non connaissance du traitement, traitement de type « fausse intervention (sham) »…

• Patients : information appropriée

Page 38: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 38

Essai randomisé:La pratique: une courbe d’inclusion

0

100

200

300

400

500

600

700

800

900

1000

nov.

-07

janv

.-08

mar

s-08

mai

-08

juil.

-08

sept

.-08

nov.

-08

janv

.-09

mar

s-09

mai

-09

juil.

-09

sept

.-09

nov.

-09

janv

.-10

mar

s-10

mai

-10

juil.

-10

sept

.-10

nov.

-10

janv

.-11

mar

s-11

mai

-11

juil.

-11

sept

.-11

nov.

-11

janv

.-12

mar

s-12

mai

-12

juil.

-12

sept

.-12

nov.

-12

Date

No

mb

re d

'inc

lus

ion

s

Inclusions/mois

Inclusions réelles cumulées

Inclusions théoriques cumulées

Inclusions maximales attendues

Page 39: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 39

Essai randomisé et contrôlé:Eléments - clés

Question TRES précise Validité interne

• Qualité des CRITERES DE JUGEMENT et des méthodes et instruments de mesure

• Choix du comparateur• Qualité du contrôle : co-intervention, aveugle difficile, violation de

la randomisation, perdus de vue….• Qualité de la randomisation (masquage)• Qualité du suivi

Patients• Calcul réaliste du nombre de sujets• Disponibilité des patients (problème pour les radiologues)

Résultats• Quantité d’effet• Analyse en intention de traiter

Page 40: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 40

Essai randomisé et contrôlé:Encadrement

L’essai randomisé et contrôlé, plus que tout autre design, est une affaire de professionnels:

AVANT• Protocole, investigateurs et promoteur• Déclarations (CPP, CNIL, Autorités compétentes…)

Pendant • ARC/TEC• BPC

APRES (mais mieux vaut s’en occuper avant!!!)• CONSORT Statement• Règles de lecture de l’EBM Working group

Page 41: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 41

Women’s Health Initiative Hormone Replacement Therapy (2002)

Randomized trial • 16,608 women with uterus (ERT + progestin vs.

placebo)• ~11,000 women without uterus (ERT alone vs.

placebo) Ages 50-79, mean age 64 Represent broad range of U.S. women 40 clinical centers Follow-up planned for 8.5 years, to end in 2005

Page 42: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 42

Women’s Health Initiative Hormone Replacement Therapy (2002)

Combination therapy arm stopped early (3 years)• Mean 5.2 years of follow-up• Overall, health risks outweigh benefits• Significant increased risk for invasive breast

cancer HRT users

Page 43: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 43

WHI: Invasive Breast Cancer

years 1 2 3 4 5 6 7

1%

2%

3%

Page 44: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 44

WHI: Coronary Heart Disease

years 1 2 3 4 5 6

Page 45: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 45

Page 46: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 46

Le diagnostic:De nombreuses questions …

Quels objectifs ?• Reproductibilité• Performances• Efficacité

Quelles métriques ?• Sensibilité, spécificité

Quelle méthodes • test index & test de référence

Méthodologie• Design• Méthodologie (cohorte, cas contrôle… )• Nb de sujets nécessaire (aide d’un statisticien)

Page 47: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 47

Tests diagnostiquesArchitecture de leur évaluation

Phase 1: Do test results in affected patients differ from those in normal individuals?

Phase 2: Are patients with certain test results more likely to have the target disorder?

Phase 3: Do test results distinguish patients with and without the target disorder among those in whom it is clinically sensible to suspect the disorder?

Phase 4: Do patients undergoing the diagnostic test fare better than similar untested patients?

Sackett, BMJ, 2002

Page 48: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 48

Test diagnostique: quelle place dans le processus diagnostique?

P Bossuyt, BMJ, 2006

Page 49: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 49

Cohorte

Test évalué

Test de référence

Classification des résultats en aveugle

Evaluation d’un test diagnostique:schéma idéal

Page 50: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 50

Evaluation d’un test diagnostique: autre schéma

Cas

Test évalué

Test de référence

Classification des résultats en aveugle

Témoins

Risque de biais: résultats dépendant du choix des cas et des témoins

Page 51: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 51

Evaluation d’un test diagnostique: autre shéma

Cohorte

Test évalué

Classification des résultats en aveugle

Référence 1 Référence 2

Risque de biais

Page 52: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 52

Etude diagnostique: validité

1. Réunir un ensemble de patients représentatifs de la maladie (“ appropriate spectrum”)

2. Soumettre tous les patients au test de référence (« gold standard »)

3. S’assurer que la comparaison au test de référence est réellement:

• Indépendante• En aveugle’?

Page 53: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 53

Réunir un ensemble de patients représentatifs de la maladie

Biais de représentativité (Spectrum bias)

Sujet: valeur de la radiologie standard pour le diagnostic de pneumonie

Echantillon biaisé: pratiquer la radio seulement chez les patients ayant une forte suspicion de pneumonie

Echantillon correct: tous les patients ayant un trouble respiratoire et chez qui une radio pulmonaire est pratiquée

Page 54: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 54

Soumettre tous les patients au gold standard

Biais de vérification

Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaire

Gold standard : angiographie Biais de vérification: seuls les patients

positifs à l’ECG ont une angiographie. Méthode correcte: tous les patients ont une

angiographie

Page 55: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 55

Sujet: valeur de l’ECG d’effort dans le diagnostic de l’insuffisance coronaire

Gold standard : angiographie Biais d’observation: le radiologue qui

pratique l’angiographie connait le résultat du test d’effort

Méthode correcte: séparer la réalisation de l’angiographie de son interprétation

S’assurer que la comparaison au test de référence est réellement indépendante

Biais d’observation (observer bias)

Page 56: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 56

Test diagnostiques: les métriques

M+

T+

T-

VP

FN

Sensibilité

Se= VP ÷ (VP+FN)

M-

FP

VNSpécificité

Se= VN ÷ (FP+VN)T-

T+

Situation de recherche

Page 57: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 57

Test diagnostiques: les métriques

T+

T-

VP

M+Probabilité post test:

M+ si Test + :VPP

VP ÷ (VP+FP)FP

M-

FN VNProbabilité post test:

M- si Test - : VPN

VN ÷ (FN+VN)

M+ M-

Situation clinique

Page 58: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 58

Test diagnostiques: les métriques

VP

VN

FP

FN

M+ M-

Situation clinique: les rapports de vraisemblance (RV) –1-

TotalM+

TotalM-

T+VP ÷ Total(M+)

FP ÷ Total(M-)RV+ =

T-FN ÷ Total(M+)

VN ÷ Total(M-)RV- =

• Un RV compris entre 1 et l’ augmente la probabilité de la maladie

• Un RV compris entre 0 et 1 diminue la probabilité de la maladie

Page 59: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 59

Test diagnostiques: les métriques

a b

M+ M-

Situation clinique: les rapports de vraisemblance (RV) -2-

TotalM+

TotalM-

T+a ÷ Total(M+)

b ÷ Total(M-)RV+ =

dc c ÷ Total(M+)

d ÷ Total(M-)RV- = T-

Test

douteux

e ÷ Total(M+)

f ÷ Total(M-)RV d = fe

Page 60: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 60

Test diagnostiques: les métriques

RCd = a ÷ c / b ÷ dLa cote d’un résultat positif du test chez les personnes malades divisé par la cote d’un résultat positif du test chez les personnes non malades.Le RCd est un résumé simple des résultats d’une table 2×2, incorporant la sensibilité et la spécificité. Exprimé en termes de sensibilité et de spécificité il s’écrit:

Se÷ (1-Se)

(1-Sp) ÷ (Sp)RCd =

a

M+ M-

b

dc

T+

T-

Rapport des cotes diagnostique (RCd)

Page 61: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 61

Analyse de la reproductibilité Coefficient kappa

Value of Kappa Strength of Agreement

<0.20 Poor

0.21-0.40 Fair

0.41-0.60 Moderate

0.61-0.80 Good

0.81-1.00 Very Good

Kappa: concordance inter- ou intra-observateur corrigée de la concordance liée au hasard

Page 62: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 62

Nombre de sujets nécessaire La vraie difficulté pour les radiologues -

chercheurs qui ne recrutent pas directement les patients: connaitre la population disponible pour l’étude.

Comme TOUTE étude, une étude diagnostique doit comprendre le calcul du nb de sujets nécessaire

Particularité: la multiplicité des métriques utilisables (Se, Sp, les 2, LR, courbe ROC…) et des questions (comparaison, précision…)

Page 63: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 63

Page 64: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 64

Preuve empirique de biais liés au design

Lijmer JG et al. JAMA; 1999: 282: 1061-1066.

Page 65: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 65

Les standards de publication

Des guides méthodologiques très utiles : exemple du STARD

Statement

Page 66: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 66

Page 67: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 67

Les standards de publication (1)STARD Statement

N° Guide

3 Describe the study population: The inclusion and exclusion criteria, setting and locations where the data were collected.

4 Describe participant recruitment: Was recruitment based on presenting symptoms, results from previous tests, or the fact that the participants had received the (evaluated) index tests or the (golden) reference standard?

5 Describe participant sampling: Was the study population a consecutive series of participants defined by the selection criteria in items 3 and 4? If not, specify how participants were further selected.

6 Describe data collection: Was data collection planned before the index test and reference standard were performed (prospective study) or after (retrospective study)?

Page 68: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 68

Les standards de publication(2)STARD Statement

N° Guide

7 Describe the reference standard and its rationale.

8 Describe technical specifications of material and methods involved including how and when measurements were taken, and/or cite references for index tests and reference standard.

10 Describe the number, training and expertise of the persons executing and reading the index tests and the reference standard.

11 Describe whether or not the readers of the index tests and reference standard were blind (masked) to the results of the other test and describe any other clinical information available to the readers.

12 Describe methods for calculating or comparing measures of diagnostic accuracy, and the statistical methods used to quantify uncertainty (e.g. 95% confidence intervals).

13 Describe methods for calculating test reproducibility, if done.

Page 69: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 69

Les standards de publication(3)STARD Statement

N° Guide

17 Report time interval from the index tests to the reference standard, and any treatment administered between.

18 Report distribution of severity of disease (define criteria) in those with the target condition; other diagnoses in participants without the target condition.

19 Report a cross tabulation of the results of the index tests (including indeterminate and missing results) by the results of the reference standard; for continuous results, the distribution of the test results by the results of the reference standard.

20 Report any adverse events from performing the index tests or the reference standard.

21 Report estimates of diagnostic accuracy and measures of statistical uncertainty (e.g. 95% confidence intervals).

22 Report how indeterminate results, missing responses and outliers of the index tests were handled.

23 Report estimates of variability of diagnostic accuracy between subgroups of participants, readers or centers, if done.

Page 70: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 70

Standards sur les donnéesCharacteristics of Image Acquisition

Identify the model and manufacturer of the hardware and software used to acquire the image.

Describe any settings, optical or band-pass filters, sampling algorithms, amplification, or other technical information necessary to understand how the image was acquired and that could affect the interpretation of the image.

Describe or reference any procedures undertaken to prepare the patient for imaging. If applicable, specify any contrast media used, including the dose, route, and timing of its administration relative to the acquisition of the image or any fasting, voiding, or dietary preparations.

Describe or reference any standard procedures or protocols used to acquire the image. If applicable, state the conditions under which the image was taken (in the emergency department, operating room, ambulatory care center, during a stress test, and so on) and any “evocative” techniques used to increase the diagnostic value of the image.

Describe the condition of the patient during imaging. If applicable, specify the patient's position or posture (seated; supine), state of consciousness (asleep; anesthetized), and any medications in the patient’s system during imaging.

Lang, T. How to Document Biomedical Images for Publication Cité sur http://www.equator-network.org/

Page 71: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 71

Page 72: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 72

La méta-analyse

De plus en plus utilisée S’applique à TOUTES les études:

thérapeutiques, diagnostiques, pronostiques Utilisations:

• Préparation à un travail original• Résumé de plusieurs études• Recherche d’explications à des discordances

inter-études

Page 73: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 73

Etapes d’une méta analyse1. Définir la question posée

• Critères d’inclusion et d’exclusion (Population , Intervention, Résultat)

• Hypothèses a priori concernant une hétérogénéité2. Définir la méthode de recherche de la littérature :

• Sources d’information (bases de données, recherche manuelle, …)

• Restrictions éventuelles (temps, langue…)• Identifier les titres et résumés correspondant

3. Identification des critères d’inclusion ou de non inclusion• Obtenir les articles complets des titres et abstracts sélectionnés• Appliquer des critères d’inclusion ou de non inclusion sur les

articles• Sélectionner une liste finale d’articles• Evaluer l’agrément dans cette sélection (2 personnes) et

conserver la trace des choix effectué

Page 74: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 74

Etapes d’une méta analyse (2)

4. Extraire les données (créer la base de données)• Participants, interventions, interventions comparatives,

schémas d’étude• Résultats• Critères de qualité• Agrément (2 personnes)

5. Conduire l’analyse• Choix de la méthode destinée à pooler les données• Explorer l’hétérogénéité (analyse de sensibilité, analyse en sous

groupes)6. Explorer la possibilité de biais de publication

Page 75: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 75

Représentation graphiqueForrest plot

BMJ, 2001

Page 76: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 76

Courbe ROCTests diagnostiques avec seuil

BMJ, 2001

Page 77: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 77

Meta-analysis of diagnostic studiesMeta-analysis of diagnostic studies

Louvard et al, JACC 2006

Page 78: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 78

Roy PM. et al. BMJ 2005;331:259

Fig 1: Positive likelihood ratios (squares) and 95% CI for strategies used to confirm a diagnosis of pulmonary embolism. Size of square is related to variance of study. Broken

line represents pooled positive likelihood ratio, and limits of diamond represents 95% CI of pooled ratios

Page 79: GC, 2010 1 Recherche en imagerie: Quelle méthodologie, pour quelle (s) question (s) et avec quels outils ? Gilles Chatellier AP-HP, HEGP CIE4 INSERM Faculté

GC, 2010 79

M-A pronostique Facteurs de risque de l’embolie pulmonaire

Sanchez et al, 2008