Lecture critique d’un essai clinique
A. Khatouri
Pourquoi les essais thérapeutiques
• Seul moyen d'obtenir des preuves fiables de l'efficacités d'un traitement
• Preuve qu'un traitement permet d'atteindre l'objectif thérapeutique pour lequel il est prescrit
• Limites du raisonnement physiopathologique– L'extrapolation d'un bénéfice clinique à partir des
mécanismes d'action des traitements a été pris à défaut à de très nombreuses reprises
Trois axes
• la validité interne– est-ce que le résultat est réel ? et est-il non biaisé ?
• la validité externe – est-ce que ce résultat est concordant avec les
autres connaissances sur le sujet ?
• la pertinence clinique et sa représentativité– ce résultat représente-t-il un bénéfice intéressant
en pratique et est-il extrapolable à mes patients ?
Validité interne
• que le résultat est très probablement réel, c’est-à-dire – il est statistiquement significatif – il est épistémologiquement valide (hypothèse
formulée à priori)
• que le résultat est sûr (exempt de biais), – le plan d’expérience choisi évite les biais – et l’étude a été correctement réalisée
Validité externe
• le résultat est confirmé par les autres résultats du domaine
• et qu’il est cohérent avec les connaissances fondamentales (biologiques,épidémiologiques),
Pertinence clinique• le critère de jugement est pertinent cliniquement
et correspond à l’objectif thérapeutique du traitement,
• le résultat et la balance bénéfice-risque, sont cliniquement pertinents : – de taille suffisante pour être intéressant en pratique,
et que le rapport bénéfice risque est acceptable,
• le résultat a été obtenu sur des patients représentatifs de ceux vus en pratique,
• le traitement a été utilisé dans un contexte de soins similaires à celui de la pratique quotidienne.
Antiarythmiques en post infarctus
Extrasystolesventriculaires Mort subite
Flécaïnide
Démontré
Dém
ontr
é
non vérifié dans la confrontation à la réalité
Spéculatif
CAST (1991)
DC / n mortalitégroupe AA 39 / 432 9%groupe contrôle 18 / 423 4%
RR=2.13, p<0.05
• 80 000 DC induits par le traitement aux USA– plus que la guerre du Vietnam (Moore)
Exemple : hypertension
• L'hypertension augment le risque cardiovasculaire
• Objectif thérapeutique : prévenir les accidents cardiovasculaires – et non pas baisser la pression artérielle
• Démonstration de l'efficacité clinique– essai de mortalité ou de morbi-mortalité
Critère clinique - critère intermédiaire
Hypertension
Objectif thérapeutique
Prévenir les accidents cardiovasculaires
Critère clinique
accidents cardiovasculaires
pression artérielle = critère intermédiaire
Première idée
1000 patients
hypertendusTraitement durant 5 ans 6 décès
Efficacité du traitement ?
Essai comparatif
Traitement étudié
Pas de traitement
10 %
12 %
Différence = effet du traitement
Critère de jugementmortalité à 5 ans
Biais
• La différences entre les groupes est due à un autre facteur que le traitement
10%
12%
Patients peu hypertendus
Patients sévèrement hypertendus
Groupe traité
Groupe contrôle
Groupes comparables
• Groupes identiques– même type de patients– même stade de la maladie, etc.
• qui ne diffèrent que par le traitement appliqué• Si, à la fin, il existe une différence, celle-ci n’est due qu’au traitement
Grp T
Grp C
Traitement
Constitution des groupes
• La répartition ne doit dépendre– ni du patient– ni de la maladie– ni du médecin– ni du médicament
• Par tirage au sort– Allocation aléatoire, randomisation– Assure, qu'en moyenne, les deux groupes seront
strictement comparables
Mauvais groupes contrôles
• Contrôles historiques– par exemple, patients traités l'année dernière– ces patients ne sont pas comparables à ceux
traiter actuellement
• Contrôle géographique– patients d'un autre service
Maintien de la comparabilité
• Les deux groupes doivent être suivis de la même façon
• évalués de façon objective• double aveugle et placebo• pas de perdus de vue
Grp T
Grp C
Évaluation du critèreSuivi
Trt concomitant
Double insu - simple insu - ouvert• Double insu
– ni l'investigateur, ni le patient ne connaît la nature réelle du traitement
– évaluation du critère de jugement en aveugle– double aveugle
• Simple insu– l'investigateur connaît le traitement, pas le patient– simple aveugle
• Ouvert– le traitement est connu de tous
• p.e. : chirurgie vs traitement médicamenteux
Essai contrôlé randomisé en double aveugle
Randomisation
Grp T
Grp C
Critère
Critère
Groupe comparable Maintient de la comparabilité
Biais de sélection Biais de réalisation Biais d'évaluation
Biais d'attrition
Randomisation Double aveugle
ITT
Test statistique : interprétation
Différence observée Test
Il est peu probable que la différence observée soit due au hasardDifférence significative
la probabilité que la différence observée soit due au hasard est forteDifférence non significative
p<0.05
p>0.05
Différence non significative
Résultatnon significatif
Résultatnon significatif
Absence réelle d'effet
Absence réelle d'effet
Manque de puissance
Manque de puissance
?
• Impossible de conclure• Ne prouve pas qu'il n'y a pas d'effet
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
22
Mesure de l'effet traitement : Critères binaires
• Les plus utilisés• Fréquence de survenu (risque) d'un
événement– dans de groupe contrôle R0
– dans le groupe traité R1
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
23
• Données résumées (tabulées)– pour chaque essais, une table 2x2 par critère
Données nécessaires
Critère 1Critère 1 Événementprésent
Événementprésent
Événement absent
Événement absent effectifeffectif
Groupetraité
Groupetraité ---- ---- ----
GroupecontrôleGroupecontrôle ---- ---- ----
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
24
Risque Relatif
• RR = RT / RC
Ev. Effectif RisqueGrp T 45 180 45 / 180 = 0.25Grp C 56 176 56 / 176 = 0.32
RR = 0.25 / 0.32 = 0.79
• Réduction Relative de RisqueRRR = 1 - 0.79 = 21%
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
25
Risque relatif, interprétation
• RR < 1 (RT < RC)– le traitement réduit la fréquence de l'événement– effet bénéfique
• RR > 1 (RT > RC)– le traitement augmente la fréquence de
l'événement– effet délétère
• RR = 1 (RT = RC)– le traitement est sans effet
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
26
Odds ratio
Ev. Effectif RisqueGrp T 45 180 45 / 180 = 0.25Grp C 56 176 56 / 176 = 0.32
OR = (0.25/(1-0.25) /( 0.32/(1-0.32)) = 0.71
• L'odds ratio est une approximation du risque relatif
ORR R
R RT T
C C
/
/
1
1
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
27
Mesure de l'effet : Différence des risques
• DR = RT - RC
Ev. Effectif RisqueGrp T 45 180 45 / 180 = 0.25Grp C 56 176 56 / 176 = 0.32
DR = 0.25 - 0.32 = -0.07 = -7%
• Absence d’effet DR = 0
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
28
Mesure de l’effetNombre nécessaire de traiter NNT
• NNT = Nb de patients nécessaire de traiter pour éviter UN événement
• NNT = 1 / DR1 / 0.07 = 14
• Intérêts– signification «clinique»
• Limites– personnalise trop le bénéfice– calcul de l’intervalle de confiance
Intervalle de confiance
• L’intervalle de confiance (« confidence interval ») traduit la précision de l’estimation de la taille de l’effet réalisée par l’essai.
• L’intervalle de confiance permet de prendre en compte l’incertitude aléatoire dans la présentation des estimations.
• L'intervalle de confiance (IC) à 95% est un intervalle de valeurs qui a 95% de chance de contenir la véritable valeur du paramètre estimé.
• Par exemple, une réduction de mortalité de -20% avec un IC 95% de [–35% ;-5%] signifie que bien qu’une baisse de –20% ait été observée ponctuellement dans l’essai, il n’est pas possible d’exclure que l’efficacité du traitement soit en réalité plus petite (au pire elle peut être de –5%) ou plus grande (au mieux de –35%).
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
30
Intervalles de confiance
0 0.5 1 1.5 2
NS
P<0.05
RR
Critère principal
• Décès de toute cause
Critères secondaires
• Décès cardiovasculaire
• Mort subite
• Infarctus
• Accident vasculaire cérébraux
• Chirurgie
• Décès de toute cause
• Décès cardiovasculaire
• Mort subite
• Infarctus
• Accident vasculaire cérébraux
• Chirurgie
Pas de définition de critère principal
Risque de conclure à tort à l ’efficacité du traitement = 30%
Risque de conclure à tort à l ’efficacité du traitement = 30%
7 tests statistiques
Risque de conclure à tort à l ’efficacité du
traitement = 5%
Risque de conclure à tort à l ’efficacité du
traitement = 5%
Définition a priori d ’un critère principal
Un seul test statistique
Critère de jugement principal
Répétition des tests
• Conclusion basée– non pas sur un seul test– mais sur plusieurs
• Conclusion à un effet à partir du moment où il existe au moins un test significatif
• Le risque de la conclusion est bien supérieure à 5%
• Inflation du risque alpha
Essai 0.92 NS
1 Age<75 0.92 NS2 Age>75 0.95 NS
3 Hommes 0.92 NS4 Femmes 0.99 NS
5 Antécédents d'infarctus 0.87 NS6 Pas d'antécédents d'infarctus 1.03 NS
7 Prise d'aspirine 0.78 p<0.058 Pas d'aspirine 1.09 NS
Analyse en sous-groupes
Analyses en sous groupes
• De nature exploratoire• Ne donne pas de démonstration• Suggèrent des variations d'efficacité
Synthèse de résultats d'essais thérapeutiques
• Revue de la littérature– pas de méthode, subjectif– correspond parfois à une simple opinion argumentée– discursif
• Méta-analyse ou revue systématique– méthodologie rigoureuse : reproductible– méthode statistique : quantification de l'effet
traitement
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
36
Problématique : multiplicité de l'information
Conclusion pour la pratiqueConclusion pour la pratique
Essai 1
Essai 4Essai 2Essai 5Essai 3
Synthèse
Définition de la méta-analyse
• Synthèse• Exhaustive
– arguments en faveur et en défaveur de l'hypothèse• Quantifiée
– prise en compte des problèmes statistiques– meilleure estimation possible de la taille de l'effet
étant donnée la totalité de l’information disponible• Basée sur des résultats non biaisés • Reproductible : méthodologie
Biais de publication
Les essais positifs sont plus facilement publiés que les négatifs
Différence significative
Différencenon-significative
Publication
Biais de publication
Méta-analysenégative
Méta-analysepositive
!
• Un essai peut être positif à tort (risque alpha)• Exemple d'un traitement sans efficacité• Risque alpha = 5%
Essais réalisés Essais publiésE. positifs 5 5E. négatifs 95 0
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
40
Solution - 1
Existence d'un risque d'erreur statistique au niveau des résultats des essai
Calcul d'un effet traitement commun à partir des données de chaque essai
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
41
Solution - 2
Sélection arbitraire des essais en fonction de leurs résultats
Prise en compte de tous les essais quelle que soit la nature de leur résultat
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
42
Conséquence
• La méta-analyse n'est pas une méthode magique– elle n'améliore pas la qualité des études qu'elle
regroupe
• p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation
Études potentiellement biaisées
MA potentiellement biaisée
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
43
Solution - 3
La prise en compte d'essais biaisés qui faussent le résultat de la synthèse
Sélection des essais dont la qualité méthodologique garantit suffisamment l'absence de biais
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
44
Principe fondamental de la méta-analyse
• Ne pas regrouper les patients– car les sujets ne sont pas comparables d'un essai à
l'autre• Regrouper les estimations de l'effet traitement
– en faisant l'hypothèse que le traitement a le même effet dans tous les essais
hypothèse d'homogénéitéhypothèse d'homogénéité
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
45
Graphique de méta-analyse
OR0 0.5 1 1.5 2
Essai 1
Essai 2
Essai 3
Essai 4
Essai 5
Global
Michel Cucherat - Service de Biostatistique et service de Pharmacologie Clinique - Lyon
46
Méta-analyse non significative• Problème identique à celui d'un essai non
significatif
• Calcul de la puissance à posteriori
Résultatnon significatif
Résultatnon significatif
Absence réelle d'effetAbsence réelle d'effet
Manque de puissanceManque de puissance
?
Conclusion
• Combattre la maladie : c’est un combat mené depuis la nuit des temps, depuis qu’un humain s’est forcé d’en soigner un autre.
• La médecine expérimentale s’est imposée aujourd’hui dans le raisonnement médical.
• « Evidence-Based Medicine ».• La lecture critique s’impose comme un outil
d’aide à la décision médicale.