Les problématiques liées à la multiplicité des résultats
Michel Cucherat
TrialResults-center.org
Multiplicité des résultats
En général plusieurs essais ont été réalisés pour répondre à une même question thérapeutique
Résultats variables voir contradictoires
Nécessité d’une interprétation globale– Pour éviter une sélection des arguments
La réalisation d’une synthèse optimale pose un certain nombre de problèmes– La méta-analyse a été développée pour apporter une réponse
satisfaisante à chacune de ces difficultés
Problèmes liés à la synthèse de l'information
Existence d'un risque d'erreur statistique au niveau des essais
Sélection des essais
Pollution par les études biaisées
Conséquence de la non publication de certains travaux
Sens d'un résultat global, agrégatif
Exemple
Nb de patients
Mortalité grp trt
Mortalité grp contrôle
P
Essai 1 56 6.9% 5.2% NSEssai 2 100 6.0% 2.0% NSEssai 3 395 2.5% 6.5% NSEssai 4 52 4.3% 17.2% NSEssai 5 103 4.2% 3.5% NSEssai 6 301 1.9% 7.3% p<0.05
Résultats concluants - non concluants
Essais concluants– différence significative
– en faveur de l'effet du traitement
– mais risque alpha (conclure à tort à l’efficacité)
Essais non concluants– différence non significative
– ne donnent pas d'argument en faveur de l'effet du traitement
– deux origines
• Réelle absence d’effet du traitement
• manque de puissance (risque beta)
Au total ?
Résultats apparemment discordants– 1 résultats significatifs
– 5 résultats non significatifs
Il est possible de faire deux conclusions opposées– au total, ces résultats sont en faveur de l'efficacité du traitement
– au total, ces résultats ne sont pas en faveur de l'efficacité du traitement
Conclusion en faveur de l'efficacité
S'appuie sur les résultats significatifs– un seul, mais essai parmi les deux plus grands
Les résultats non significatifs– sont expliqués par un manque de puissance car ce sont des essais plus
petits
• (mais essai n°3, le plus grand non significatif )
Conclusion en défaveur de l'efficacité
La majorité des essais sont non significatifs
Un seul essai est significatif– rejeté en argumentant le risque alpha
– Et en plus inflation du risque alpha (6 test au total)
Non prise en compte du manque de puissance des essais non significatifs
Les résultats apparemment discordants sont de règle
Quelle est la probabilité d'obtenir un second essai significatif
après un premier essai – ayant obtenu p=0.049
– et ayant estimé parfaitement le vrai effet du traitement
50%
Réplication d’un essai
H0
Effet
Limite de
rejet de H0
H1
conclusion
On ne peut pas interpréter globalement un ensemble de p-value– En raison des risques statistiques alpha et beta
– Et de la puissance variable des essais
Il faut trouver autre chose
La taille d’effet (risque relatif pe) est à l’abris des risques statistiques
Solution ...
La taille de l'effet est plus informatif que la conclusion binaire significatif / non significatif
T étudié Placebo p RR
Essai A20%
20/10030%
30/100NS 0.67
Essai B20%
200/100030%
300/1000p<0.01 0.67
Solution - 1
Existence de risques d'erreur statistiques alpha et beta au niveau des résultats des essais
Calcul d'un effet traitement commun à partir des données de chaque essai
Problèmes liés à la synthèse de l'information
Existence d'un risque d'erreur statistique au niveau des essais
Sélection des essais
Pollution par les études biaisées
Conséquence de la non publication de certains travaux
Sens d'un résultat global, agrégatif
Synthèse de résultats d'essais thérapeutiques
Revue de la littérature– pas de méthode, subjectif
– correspond parfois à une simple opinion argumentée
– discursif
Fréquence de citation en fonction des résultats
Hypocholestérolémiants, Ravnskov, BMJ 1992
Nombre de citations par an– résultats favorable (n=14) 40
– résultats non favorables (n=10) 7.4
– résultats favorable dans unegrande revue (n=8) 61
Fréquence de citation en fonction des résultats (2)
2 essais publié dans le JAMA
Fréquence de citation dans les années suivant la publication1er 2ème 3éme 4éme
– LRC, favorable 109 121 202 180
– Miettinen, non favorable 6 5 3
Solution - 2
Sélection arbitraire des essais en fonction de leurs résultats
Prise en compte de tous les essais quelle que soit la nature de leur résultat
Problèmes liés à la synthèse de l'information
Existence d'un risque d'erreur statistique au niveau des essais
Sélection des essais
Pollution par les études biaisées
Conséquence de la non publication de certains travaux
Sens d'un résultat global, agrégatif
MA = GIGO
essais biaisés méta-analyse biaisée
Garbagein
Méta-analyse
Garbage out
GIGO conséquence 1
La méta-analyse n'est pas une méthode magique– elle n'améliore pas la qualité des études qu'elle regroupe
p.e. : La méta-analyse d'études d'observation a la valeur des études d'observation
Études potentiellement
biaisées
MA potentiellement
biaisée
Exemple : bêta-carotène et mortalité cardiovasculaire
GIGO - conséquence 2
Une ou des études biaisées biaisent le résultat de la méta-analyse– Effet tampon de la MA: résultat de la MA moins biaisé que celui des
essais biaisés
– détection par les outils de recherche de l'hétérogénéité
Décision prise en fonction de la MA est moins erronée que celle prise uniquement en fonction de/des essais biaisés
Solution - 3
La prise en compte d'essais biaisés qui faussent le résultat de la synthèse
Sélection des essais dont la qualité méthodologique garantit suffisamment
l'absence de biais
Critère méthodologique de sélection des essais non biaisés
Score de
Jadad
Randomisation imprévisible
Double aveugle
satisfaisant
Attrition décrite
Problèmes liés à la synthèse de l'information
Existence d'un risque d'erreur statistique au niveau des essais
Sélection des essais
Pollution par les études biaisées
Conséquence de la non publication de certains travaux
Sens d'un résultat global, agrégatif
Biais de publication
Les essais positifs sont plus facilement publiés que les négatifs
Différence
significative
Différence
non-significative
Publication
Biais de publication
Un essai peut être positif à tort (risque alpha)
Exemple d'un traitement sans efficacité
Risque alpha = 5%
Essais réalisés Essais publiés
E. positifs 5 5
E. négatifs 95 0
Méta-analysenégative
Méta-analysepositive !
Biais de publication (2)
Influence de la significativité des résultats sur la publicationEasterbrook et al., Lancet 1991
285 études soumises au comité d'éthique d'Oxford
Publication ou
présentation
Pas de publication
Résultat significatif 131 (85%) 23 (15%)
Tendance non significative 22 (65%) 12 (35%)
Résultat non-significatif 54 (56%) 43 (44%)
Biais de publicationévaluation
Évaluation de l'influence de la signification des résultats sur l'acceptation d'un manuscrit
d'après Mahoney MJ, Cog Ther Res 1977
(cotation de 0 à 6)
Presentation Methodes contribution
scientifique
mérite pour
publication
Methode seulement 3.4 4.5 3.4
Resultats positifs 4.2 4.3 3.2
Resultats négatifs 2.4 2.4 1.8
Solution - 4
Biais de publication lié à la non publication des résultats négatifs
Recherche exhaustive des essais publiées et non publiés
Problèmes liés à la synthèse de l'information
Existence d'un risque d'erreur statistique au niveau des essais
Sélection des essais
Pollution par les études biaisées
Conséquence de la non publication de certains travaux
Sens d'un résultat global, agrégatif
Difficultés
Danger = regrouper des informations différentes– patients différents
– traitements différents
– des critères différents
– des essais de qualité différente
mélanger des pommes et des oranges
La synthèse de l’information a-t-elle un sens ?
Solution :question précise
Opposition pragmatique - explicatif
Pragmatique Explicatif
Critères larges Critères précis
Effet de la baisse du
cholestérol
Effet des statines
Solution - 5
Sens d'un résultat global
Formulation précise d'une question cliniquement pertinente
Solutions apportées par la MA
Synthèse– répondant à une question précise
Exhaustive– arguments en faveur et en défaveur de l'hypothèse
Quantifiée– prise en compte des problèmes statistiques
– meilleure estimation possible de la taille de l'effet étant donnée la totalité de l’information disponible
Basée sur des résultats non biaisés
Reproductible : méthodologie