La méta-analyse des essais thérapeutiques

Service de BiostatistiquesService de Pharmacologie

Clinique - EA 643

www.spc.univ-lyon1.fr/user/mcu/polycops

La méta-analyse des essais thérapeutiques

Michel Cucherat

[email protected]

But et principes

Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon 3

Problématique : multiplicité de l'information

Conclusion pour la pratiqueConclusion pour la pratique

Essai 1

Essai 4Essai 2Essai 5Essai 3

Synthèse


Problèmes liés à la synthèse de l'information

Existence d'un risque d'erreur statistique au niveau des essais

Sélection des essais Pollution par les études biaisées Conséquence de la non publication de certains

travaux Sens d'un résultat global, agrégatif


Nb depatients

Mortalitégrp trt

Mortalitégrp controle

P

Essai 1 56 6.9% 5.2% NS

Essai 2 100 6.0% 2.0% NS

Essai 3 395 2.5% 6.5% NS

Essai 4 52 4.3% 17.2% NS

Essai 5 103 4.2% 3.5% NS

Essai 6 301 1.9% 7.3% p<0.05

Exemple introductif


Résultats concluants - non concluants

Essais concluants– différence significative

– en faveur de l'effet du traitement

– mais risque alpha Essais non concluants

– différence non significative

– ne donnent pas d'argument en faveur de l'effet du traitement

– deux origines• absence d’effet du traitement

• manque de puissance


Au total ?

Résultats apparemment discordants– 1 résultats significatifs

– 5 résultats non significatifs

Il est possible de faire deux conclusions opposées– au total, ces résultats sont en faveur de l'efficacité du

traitement

– au total, ces résultats ne sont pas en faveur de l'efficacité du traitement


Conclusion en faveur de l'efficacité

S'appuie sur les résultats significatifs– un seul, mais essai parmi les deux plus grands

Les résultats non significatifs– sont expliqués par un manque de puissance


Conclusion en défaveur de l'efficacité

La majorité des essais sont non significatifs Un seul essai est significatif

– rejeté en argumentant le risque alpha

– probabilité de 5% que le résultat soit dû au hasard Non prise en compte du manque de puissance des

essais non significatifs


Solution - 1

Existence d'un risque d'erreur statistique au niveau des résultats des essai

Calcul d'un effet traitement commun à partir des données de chaque essai







Synthèse de résultats d'essais thérapeutiques

Méta-analyse– méthodologie rigoureuse : reproductible

– méthode statistique : quantification de l'effet traitement Revue de la littérature

– pas de méthode, subjectif

– correspond parfois à une simple opinion argumentée

– discursif


Fréquence de citation en fonction des résultats

Hypocholestérolémiants, Ravnskov, BMJ 1992 Nombre de citations par an

– résultats favorable (n=14) 40

– résultats non favorables (n=10) 7.4

– résultats favorable dans une grande revue (n=8) 61


Fréquence de citation en fonction des résultats (2)

2 essais publié dans le JAMA Fréquence de citation dans les années suivant la

publication

1er 2ème 3éme4éme

– LRC, favorable 109 121 202180

– Miettinen, non favorable 6 5 3


Solution - 2

Sélection arbitraire des essais en fonction de leurs résultats

Prise en compte de tous les essais quelle que soit la nature de leur

résultat







MA = GIGO

GarbageGarbage inin

Garbage Garbage outoutMéta-analyse

essais biaisés méta-analyse biaisée


GIGO conséquence 1

La méta-analyse n'est pas une méthode magique– elle n'améliore pas la qualité des études qu'elle regroupe

p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation

Études potentiellement

biaisées

MA potentiellement

biaisée


GIGO conséquence 2

Une ou des études biaisées biaisent le résultat de la méta-analyse– Effet tampon de la MA: résultat de la MA moins biaisé

que celui des essais biaisés

– détection par les outils de recherche de l'hétérogénéité

Décision prise en fonction de la MA est moins erronée que celle prise uniquement en fonction de/des essais biaisés


Solution - 3

La prise en compte d'essais biaisés qui faussent le résultat de la synthèse

Sélection des essais dont la qualité méthodologique garantit

suffisamment l'absence de biais







Biais de publication

Les essais positifs sont plus facilement publiés que les négatifs

Différence significative

Différence significative

Différencenon-significative

Différencenon-significative

PublicationPublication


Biais de publication

Méta-analysenégative

Méta-analysepositive !

Un essai peut être positif à tort (risque alpha) Exemple d'un traitement sans efficacité Risque alpha = 5%

Essais réalisés Essais publiés

E. positifs 5 5

E. négatifs 95 0


Biais de publication (2)

Influence de la significativité des résultats sur la publication

Easterbrook et al., Lancet 1991

285 études soumises au comité d'éthique d'Oxford


Biais de publicationévaluation

Évaluation de l'influence de la signification des résultats sur l'acceptation d'un manuscrit


Solution - 4

Biais de publication lié à la non publication des résultats négatifs

Recherche exhaustive des essais publiées et non publiés







Difficultés

Danger = regrouper des informations différentes– patients différents

– traitements différents

– des critères différents

– des essais de qualité différente mélanger des pommes et des oranges La synthèse de l’information a-t-elle un sens ?

Solution : question précisequestion précise


Opposition pragmatique - explicatif

Pragmatique Explicatif

Critères larges Critères précis

Effet de la baisse ducholestérol

Effet des statines


Solution - 5

Sens d'un résultat global

Formulation d'une question


Solutions apportées par la MA

Synthèse– répondant à une question précise

Exhaustive– arguments en faveur et en défaveur de l'hypothèse

Quantifiée– prise en compte des problèmes statistiques

– meilleure estimation possible de la taille de l'effet étant donnée la totalité de l’information disponible

Basée sur des résultats non biaisés Reproductible : méthodologie


Apports de la méta-analyse par rapport à un seul essai

Synthèse de l'information– Réduction de la quantité d'information

Clarification des situations contradictoires– Peser les arguments en faveur ou en défaveur de l'effet

du traitement Meilleure précision dans l'estimation de la taille de

l'effet Gain en puissance Représentativité accrue

Les mesures de l'effet traitement


Mesure de l'effet traitement

Quantification de la taille de l'effet du traitement Quantité d'effet

• mesurée par des indices d'efficacité

Indices (critères binaires / critères continus)– risque relatif

– odds ratio

– différence des risques

– nombre de sujet nécessaire de traiter

– "effect size"


Mesure de l'effet traitement : Critères binaires

Les plus utilisés Fréquence de survenu (risque) d'un événement

– dans de groupe contrôle R0

– dans le groupe traité R1


Données résumées (tabulées)– pour chaque essais, une table 2x2 par critère

Données nécessaires

Critère 1Critère 1 Événementprésent

Événementprésent

Événement absent

Événement absent effectifeffectif

Groupetraité

Groupetraité ---- ---- ----

GroupecontrôleGroupecontrôle ---- ---- ----


Risque Relatif

RR = RT / RC

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25

Grp C 56 176 56 / 176 = 0.32

RR = 0.25 / 0.32 = 0.79

Réduction Relative de Risque

RRR = 1 - 0.79 = 21%


Risque relatif, interprétation

RR < 1 (RT < RC)

– le traitement réduit la fréquence de l'événement

– effet bénéfique RR > 1 (RT > RC)

– le traitement augmente la fréquence de l'événement

– effet délétère RR = 1 (RT = RC)

– le traitement est sans effet


Odds ratio

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25

Grp C 56 176 56 / 176 = 0.32

OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71

L'odds ratio est une approximation du risque relatif

ORR R

R RT T

C C

/

/

1

1


Relation entre RR et OR

L’OR n’est proche du RR que si le risque de base est faible (<0.4)

1.0

0.0

0.2

0.4

0.6

0.8

0.00 0.25 0.50 0.75 1.00Risque de base dans le groupe contrôle

Od

ds

-ra

tio

RR=0.8


Mesure de l'effet : Différence des risques

DR = RT - RC

Ev. Effectif Risque

Grp T 45 180 45 / 180 = 0.25

Grp C 56 176 56 / 176 = 0.32

DR = 0.25 - 0.32 = -0.07 = -7%

Absence d’effet DR = 0


Mesure de l’effetNombre nécessaire de traiter NNT NNT = Nb de patients nécessaire de traiter pour

éviter UN événement NNT = 1 / DR

1 / 0.07 = 14 Intérêts

– signification «clinique» Limites

– personnalise trop le bénéfice

– calcul de l’intervalle de confiance


NNTerreurs d’interprétation

14 sujets à traiter pour éviter 1 événements sur 14 patients un seul bénéficie du traitement

NNT = Nombre moyen– tous les patients bénéficient un peu du traitement

– en moyenne cela équivaut à un événement évité pour NNT patients traiter


Exercice d'application (1)

4S : statine, prévention secondaire– n = 2223 + 2221– 11,5% vs 8,2%– 4,9 ans

WOSCOPS : statine, prévention primaire– n = 3293 + 3302– 4,1% vs 3,2%– 5,4 ans

ISIS 2 : fibrinolyse, IDM– n = 8595 + 8592– 12,0% vs 9,2%– 5 sem.


Exercice d'application (2)

RR DR NNT

4S 0.71 3.3% 30

WOSCOPS 0.78 0.9% 112

ISIS 2 0.77 2.8% 36


Relation RR DR

R0=50% R1=25% RR=0.5DR=25%

R0=1% R1=0.5% RR=0.5DR=0.5%

R0=10% R1=5% RR=0.5 DR=5%


Bénéfice absolu - relative

Bénéfice absolu– Différence de risque

– Santé publique

– Conséquence du traitement Bénéfice relatif

– Risque relatif

– Explication

– Efficacité du médicament


Pertinence clinique

pertinence clinique <> signification statistique dépends du risque de base (naturel) importance de l’intervalle de confiance

– RR = 0.70 [0.42; 0.98]

– RR = 0.70 [0.65; 0.75]

Principe général


Hypothèse de base

Effet observé dans un essai

= part fixe commune à tous les essais

+ part spécifique à chaque essai But de la méta-analyse :

– estimer la part fixe commune• effet traitement commun, global

• intervalle de confiance

– test statistique


Principe du regroupement

Essai n0 Ev0 n1 Ev1

A 240 13 160 9

B 200 7 300 11

Total 440 20 460 20 0.96

1.04

1.05

RR

Paradoxe de Simpson


Simpson's paradox

Essai 1 : risque de 30% avec les 2 traitements

n ev

Trt1 60 18

Trt 2 120 36 OR=1 Essai 2 : risque de 70%

n ev

Trt1 120 84

Trt 2 60 42 OR=1 Total 1+2

n ev

Trt1 180 102

Trt 2 180 78 OR=0.58


Principe fondamental de la méta-analyse

Ne pas regrouper les patients– car les sujets ne sont pas comparables d'un essai à l'autre

Regrouper les estimations de l'effet traitement– en faisant l'hypothèse que le traitement a le même effet

dans tous les essais

hypothèse d'homogénéitéhypothèse d'homogénéité


Résultats statistiques

Effet traitement commun– moyenne pondérée par l'inverse de la variance

– plus un essai est précis, plus sa contribution est forte

– si un essai est prépondérant il masque complément les autres essais

– intervalle de confiance Test de l'existence de l'effet traitement

– test d’association Test de l'hypothèse d'homogénéité

– test d’hétérogénéité


Graphique de méta-analyse

OR0 0.5 1 1.5 2

Essai 1

Essai 2

Essai 3

Essai 4

Essai 5

Global


Homogénéité - Hétérogénéité

Homogénéité– il existe une partie fixe commune

Hétérogénéité– au moins un essai n'a pas une partie fixe identique à

celle des autres essais Test d'hétérogénéité peu puissant En cas d'hétérogénéité le regroupement n'est

plus licite avec les techniques simples


Hétérogénéité - graphique

0 0.5 1 1.5 2

Essai 1Essai 2Essai 3Essai 4Global


Homogénéité - graphique

0 0.5 1 1.5 2

Essai 1

Essai 2

Essai 3

Essai 4

Global


Deux types d’hétérogénéité

Hétérogénéité des caractéristiques des essais– patients

– traitements

– etc.. hétérogénéité statistique des résultats

– taille de l’effet obtenu différente d’un essai à l’autre


Statut de l'hétérogénéité

Nuisance– utilisation d'un modèle aléatoire

– hypothèse forte sur l'hétérogénéité (gaussienne) Informative

– recherche des sources de l'hétérogénéité

– "explication" de l'hétérogénéité en fonction des caractéristiques des études

– témoin de l'existence d'interactions

– modèle d'effet, méta-régression


Méta-analyse non significative

Problème identique à celui d'un essai non significatif

Calcul de la puissance à posteriori

Résultatnon significatif

Résultatnon significatif

Absence réelle d'effet

Absence réelle d'effet

Manque de puissance

Manque de puissance

?


Intervalles de confiance

0 0.5 1 1.5 2

NS

P<0.05

RR


Méta-analyse non significative (2)

Analyse de l’intervalle de confiance– pertinence clinique ?

– RR = 0.98 [0.96; 1.02]

– RR = 0.98 [0.45; 1.60]

Méta analyse sur l’équivalence

Méthodologie


Erreur aléatoire– réduite par le nombre d'essais

– "effet mécanique" Biais, erreur systématique

– dépends de la qualité des essais regroupés

– réduite par la rigueur méthodologique de la méta-analyse

– effet des essais biaisés tamponné par les autres essais

Estimation par la MA

=Vrai effet traitement

+Erreur

aléatoire+ Biais


Méthodologie

But : Eviter les biais Moyen : Définition d'un protocole

– défini a priori

– éviter les choix arbitraires dépendants des résultats Deux axes :

– Recherche exhaustive des essais• éviter le biais de publication

– Sélection rigoureuse des essais• éviter la pollution de la MA


Recherche des essais

Exhaustive– pour éviter le biais de publication

Essais publiés et non publiés Les recherches informatiques ne sont pas

exhaustives Combinaison de plusieurs sources

d'informations


Bernstein,

1988

Maladies hépato-

biliaires

155/195 (80%)

Poynard & Conn,

1985

Maladies hépato-

biliaires

107/208 (51%)

Source Thème Sensibilité

Performances des recherches informatiques

Dickersin et al.

1985

Hyperbilirunémie

néonatale

28/88 (32%)

Dickersin et al.

1985

Hémorragie

intracerebrale

19/29 (88%)


Limites de MEDLINE

MEDLINE ne couvre pas l’ensemble des revues biomédicales– 3600 revues indéxées / 12 à 13 000

– construite pour répondre aux besoins des USA Indexation des essais

– mot clé Randomized Controlled Trials en 1990

– publication type Randomized controlled trial en 1992 Apport de la Collaboration Cochrane

– reindexation retrospective au niveau du PT

– les stratégies complexes peuvent être remplacées par

PT = RCT ou CCT


Recherches des essais

Bases bibliographiques informatisées– MEDLINE

– EMBASE

– BIOSIS, PASCAL, LILACS

– spécialisées : PsyLit, CancerLit. Bibliographie des articles déjà trouvés, références

des références (effet boule de neige) Registre d'essais de la Cochrane Abstracts des congrès (CD ROM) Recherche manuelle


Recherche des essais non publiés

Contact direct – promoteurs potentiels

– investigateurs potentiels

– experts du domaine Registres prospectifs d'essais Registre littérature grise Registre "Amestie" : BMJ, Lancet, JAMA, N Engl J

Med

www.trialscentral.org www.controlled-trials.com


Sélection des essais

Critères fixés a priori– protocole

– pour éviter de sélectionner les essais en fonction de leurs résultats

But– Eliminer les essais qui ne permettent pas de répondre à

la question posée

– Eliminer les essais potentiellement biaisés


Sélection des essais (2)

Qualité méthodologique– grilles de score

– difficultés +++• plusieurs échelles

• fixation du seuil

• absence de validation

Critères simples– allocation aléatoire des traitements

– aveugle

– taux de perdu de vue


Sélection des essais (3)

3 classes– Bonne qualité inclusion

– Qualité moyenne analyse de sensibilité

– Moyenne qualité exclusion Analyse de sensibilité

– analyse : bonne qualité

– analyse : bonne + moyenne qualité

– comparaison des résultats


Réalisation d'une MA - étapes (1)

Définir l'objectif – maladie, type de patients, type de traitement, critères de

jugement Établir la liste des critères de sélection/exclusion

– protocole Rechercher les essais publiés et non publiés Sélectionner les essais Recueillir et synthétiser les caractéristiques des

essais– confirmation auprès des investigateurs


Réalisation d'une MA - étapes (2)

Estimer l'effet du traitement commun Faire les analyses de sensibilité Réaliser les analyses en sous groupes prévues a

priori Rechercher les causes de l'hétérogénéité

Publication

Lecture critique


Utilisation

Augmenter la puissance statistique Améliorer la précision de l'estimation de la taille

de l'effet Lever le doute en cas de résultats discordants Tester et augmenter la généralisabilité d'un

résultat Expliquer la variabilité des résultats Réaliser des analyses en sous groupes


Utilisation (2)

Mettre en perspective un essai par rapport aux autres

Constater un manque de données fiables Répondre à une question non initialement posée

par les essais


Rapport de méta-analyse

Une question clairement formulée– justification des essais inclus

La stratégie de recherche– justification de l’exhaustivité– succès dans la recherche des essais non publiés

Les critères de sélection des essais– méthodologie– caractéristiques des essais : adéquation à la question posée

Liste des essais exclus– et la raison de l’exclusion

Justification de la méthode statistique


Rapport méta-analyse (2)

Résultats– pour chaque critère le nb d’essais disponibles

– analyses de sensibilité


Lecture critique

1) Les objectifs de la meta-analyse sont-ils clairement définis ?

2) Les critères utilisés pour sélectionner les essais sont-ils corrects ?

3) Est-il improbable que des études aient été oubliées ?

4) La qualité méthodologique des essais inclus a-t-elle été évaluée ? Est-il possible que des essais inclus soient potentiellement biaisés

5) Les résultats des essais inclus sont-ils homogènes ?

7) Est-ce que tous les critères de jugement importants ont été étudiés ?


Lecture critique - 2

6) L'analyse statistique a-t-elle été réalisée correctement ? La stabilité des résultats a-t-elle été éprouvée par des analyses de sensibilité ?

8) Les conclusions sont-elles en rapport avec les résultats ?

9) Les recommandations faites prennent-elles en compte le niveau de preuve atteinte par la méta-analyse ?


Représentativité

Pertinence / représentativité des traitements étudiés :

– ces traitements sont-ils toujours utilisés actuellement ?

– ont-ils été utilisés correctement (dose et schéma d’administration corrects) ?

Pertinence / représentativité des critères de jugement : – ces critères sont-ils des critères cliniques ou simplement

des critères intermédiaires ?

– La définition et/ou la méthode de recueil du critère est-elle satisfaisante ?


Représentativité - 2

Pertinence / représentativité des patients : – les patients inclus dans les essais sont-ils représentatifs

des patients rencontrés dans la réalité ou sont-ils hyper sélectionnés et donc non représentatifs ?

– Les critères diagnostiques sont-ils ceux utilisés actuellement


Taille de l'effet

L'adéquation de la mesure : – Parmi les différentes mesures possibles (risque relatif,

différence des risques, nombre de sujets à traiter, etc.) celle utilisée est-elle la plus adaptée ?

– Si un odds ratio est utilisé, le risque de base est-il suffisamment faible (<30%) ?

La précision de l'estimation : – l’intervalle de confiance est-il étroit ou large, – suffisamment éloigné de la valeur de non-effet pour garantir

dans le pire des cas un bénéfice encore suffisamment important ?

La valeur de la taille de l'effet est-elle pertinente cliniquement ?

Documents

La méta-analyse des essais thérapeutiques