Embed Size (px)
Citation preview
1 ) Savoir identifier l'objet d'un article médical
scientifique
• Objet = grand cadre de l’étude qui a donné lieu à la
publication ( ≠ plan expérimental)
• 5 types : - évaluation d'une procédure diagnostique
- évaluation d'une action de dépistage
- évaluation d'un traitement
- estimation d'un pronostic
- enquête épidémiologique.
2 ) Savoir identifier la question étudiée
La question (pierre d’angle de l’étude) doit être :
• Une vraie question de recherche donnant une avancée des connaissances
scientifiques avec une problématique bien argumentée
3 points pour la justification : SCL
- Santé Publique
- Clinique (ou physiopathologie)
- Lacunes dans les connaissances actuelles
• Bien énoncée, hiérarchisée
Composantes de la question : PICO
- Population
- Intervention (facteur étudié)
- Comparaison (action, programme, thérapie)
- Outcome / Observé (phénomène d’intérêt) -> mesuré par un CJP selon un
schéma d’étude
En théorie : 1 étude = 1 question
3 ) Identifier les caractéristiques de la population étudiée (à
laquelle les conclusions pourront être appliquées)4 ) Analyser
les modalités de sélection des sujets, critères d'inclusion et
critères de non-inclusion (Généralisation ?)
• Mots clés : Populations cible et source, Diagramme de flux (taux
d’exclusion), Echantillon représentatif
• Analyse des modalités de recrutement, du lieu d’étude, des critères
d’inclusion et de non inclusion (3 classes : raison de prudence, difficultés
potentielles d’évaluation des critères de jugement ou de suivi)
Population Cible
Population source
Echantillons / groupes inclus analysés
-Criteres
inclusion/exclusion
-modalité
recrutement
-lieu
Représentativité
Généralisation
des résultats
Résultats
5 ) Analyser la valeur, la technique et la
cohérence de la randomisation
• Randomisation : tirage au sort (TAS) au hasard, clause d’ignorance respectée
• But : groupes comparables sur tout sauf l’intervention, éviter les biais de confusion et de sélection, interpréter correctement H0, éthique
• TAS : simple/stratifié (F de confusion)/ par blocs +/- permutés (supprime l’effet cohorte), équilibré/déséquilibré, en grappe (clusters) ou croisé (cross-over)
toujours stratifier sur le centre si multicentrique (supprime l’effet centre) et sur les variables définissant les sous groupes.
• Liste élaborée dans un centre indépendant, allocation du sujet le plus tard possible (après confirmation de l’éligibilité)
NB : Dans les enquêtes épidémio, le TAS est parfois appelé randomisation et cela à mauvais escient.
6 ) Discuter la comparabilité des groupes soumis
à comparaison
• Suivi du nombre de sujets, diagramme de flux, tableau de comparabilité
des groupes
• Nombres de sujets exclus ou pdv de l’analyse et
motifs d’exclusion : Si les motifs sont liés à l’étude, il
y a un biais :
- faible si exclus < 10% et équilibrés
- élevé si > 20 % , d’autant plus s’il existe un
déséquilibre entre le 2 groupes.
7 ) Vérifier si un calcul du nombre de sujets à
inclure a été réalisé; s'assurer que ces effectifs
sont identifiables dans la totalité de l'article
• NSN : calcul correct a priori avec :
- la différence intéressante Δ de valeur du CJP et en fonction du
CJP
- le risque de 1ere espèce α
- la puissance 1-β (>80%)
- en tenant compte du % de pdv
8 ) S'assurer que la méthode employée est cohérente avec le
projet du travail, que la méthodologie est effectivement
susceptible d'apporter une réponse à la question posée dans
l'introduction; pour une étude thérapeutique, vérifier que
l'analyse a été réalisée "en intention de traiter"
• Méthode adaptée à l’objet et à la question étudiée
• Pour une étude d’évaluation d’un traitement : ECHRAMS
-Essai clinique thérapeutique, de prévention
-Contrôlé contre X (citer traitement du groupe contrôle),
-Hypothèse testée : efficacité/supériorité, non infériorité, équivalence
-Randomisé,
-Aveugle ? double aveugle, simple aveugle, en ouvert
-Multicentrique, monocentrique.
-Schéma : à X (2, 3 ..) bras parallèles, croisé = en cross-over
Question Type d’enquête / étude le plus adapté
Epidémiologie
descriptive
- Incidence
- Prévalence
Cohorte
Transversale
Epidémiologie
analytique
- Phénomène
fréquent non
contrôlable
- Phénomène rare
Cohorte Exposés-Non Exposés (RR)
Cas-Témoins (OR)
Traitement - Efficacité
- Sécurité
Essai contrôlé randomisé
Essai contrôlé randomisé ou cohorte E-NE
Action de
dépistage
Efficacité Essai contrôlé randomisé ou cohorte E-NE
Procédure
diagnostique
- Fiabilité
(variabilité)
- Validité (Se/Sp)
Transversale comparative avec répétition des mesures
Transversale comparative avec gold standard
Pronostic - Maladie
fréquente
- Maladie rare
Cohorte Exposés-Non Exposés
Cas-Témoins
9 ) Vérifier qu'une analyse statistique a été
utilisée et que le résultat (valeur et
interprétation de p) est énoncé clairement
• ITT (intention de traiter) = analyse de tout patient inclus dans
le bras où il a été randomisé au début de l’étude
⇒Préserve la randomisation, analyse de façon pragmatique
(réalité clinique)
≠ Analyse Per Protocole (différence estimée plus grande,
puissance moins élevée, biais de sélection potentiel)
≠ Analyse en traitement réellement reçu
• IC 95%
Analyses en sous groupes
• Planifiées à visée de confirmation ou exploratrice
• Post-hoc (non prévue) => exploratoire, aucune conclusion
clinique !
• Condition pour une conclusion clinique :
Analyses en sous-groupes planifiées, justifiées et limitées en
nombre, randomisation stratifiée, puissance suffisante,
l’interaction (qualitative ou quantitative) doit avoir été testée,
l’essai doit être concluant et le risque α doit être corrigé
(confirmation dans une autre étude)
• 3 risques : manque de puissance, résultat significatif par
hasard, destruction de la comparabilité initiale
Analyses intermédiaires
• Analyses prévues (NSN adapté) effectuées avant l’inclusion de
tous les sujets prévus (étude longue).
• Seuil de signification déterminé et corrigé a priori pour
garantir un risque α global
• Justification :
Arrêt de l’essai pour efficacité, futilité ou pour sécurité (éthique)
10 ) Vérifier le respect des règles d'éthique
- Respect de la personne humaine (Consentement libre, éclairé
et écrit, après information et délai de réflexion)
- Principe d’utilité (balance bénéfice-risque favorable)
- Principe de justice
- Comité d’éthique indépendant
- Placebo (déclaration d’Helsinki) : il n’existe aucune
intervention reconnue et les patients ne sont pas exposés à
un risque grave ou irréversible
- Autorisation de l’AFSSAPS, de la CNIL et du CCTIRS
11°) Analyser la présentation, la précision et la
lisibilité des tableaux et des figures, leur
cohérence avec le texte et leur utilité
• Taille
• Titre informatif
• Variables identifiées clairement avec les effectifs
• Indices de dispersion
• Valeurs statistiquement significatives clairement identifiables
• Auto-suffisant
• Référencé dans le texte
• Pas d’informations redondantes
12°) Vérifier la présence des indices de
dispersion permettant d’évaluer la variabilité
des mesures et de leurs estimateurs
• IC 95% : variable qualitative (%), prévalence/incidence, Se Sp
VPP VPN, OR RR HR
• Interquartile (Q1-Q3 ou P25-P75) : Médiane
• Ecart type (SD) : Moyenne
13°) Discuter la nature et la précision des
critères de jugement des résultats
• Unique simple ou composite / multiple
• Si multiple : Hiérarchisé (CJP -> NSN) et risque α corrigé
• Objectif (fiable et reproductible) / subjectif (biais de classement)
• Clinique / intermédiaire / de substitution
• Pertinent ++
• Validé (par une étude)
• Précis : méthode et moment d’évaluation
Biais de classement différentiel si l’évaluation du CJ n’est pas faite en insu du
groupe étudié
La conclusion ne porte que sur le CJP (critère de jugement principal); les
analyses des CJS (secondaires) sont exploratoires
14°) Relever les biais qui ont été discutés. Rechercher
d’autres biais d’information et de sélection éventuels
non pris en compte dans la discussion et relever leurs
conséquences dans l’analyse des résultats
• Biais = erreur systématique qui fausse les résultats dans un
sens donné
• Nature, sens et quantification du biais
• Différentiel (sens du biais imprévisible a priori : sous ou sur-
estimation de l’association) / non différentiel ( sens prévisible
: diminution de l’association = RR tend vers 1)
Biais de Sélection : Au niveau
- De la Constitution de l’échantillon (non représentatif)
- Des Groupes analysés (pdv = perdus de vue)
=> Planification : TAS/recrutement exhaustif, randomisation, suivi complet +
relances
⇒Analyse : Comparaison initiale des groupes, ITT, ajustement sur ≠
facteurs, analyse de sensibilité/robustesse (quantifier biais)
Biais de Classement :
- Subjectivité de l’enquêteur ou de l’enquêté, méthode de mesure
⇒Planification : validité et fiabilité des mesures, standardisation des
procédures, évaluation en aveugle, formation des enquêteurs
Biais de Confusion : cf. def. Facteur de confusion
⇒Planification : TAS/randomisation, exclusion de patients (restriction),
appariements sur les facteurs de confusion (âge, sexe)
⇒Analyse : Ajustement sur les facteurs de confusion (modèles multivariés)
≠ facteur intermédiaire (processus explicatif de la maladie)
15°) Vérifier la logique de la discussion et sa structure.
Reconnaître ce qui relève des données de la
littérature et ce qui est opinion personnelle de l’auteur
6 points de la discussion :
- Résumé des principaux résultats
- Discussion de leur validité (points + et -)
- Discussion de leur caractère généralisable
- Mise en perspective (confrontation à la littérature)
- Conclusion clinique sur la réponse à la question posée
- Implications et ouverture
16°) Discuter la signification statistique des
résultats
• Risque α de 1ère espèce (<5%)p<5% = significatif p>5% = non significatif p entre 5 et 10% = tendance statistique
• Risque β de 2ème espèce (<20%) = manque de puissance
• Attention :
degré de signification statistique (p) ≠ quantité d’effet
plus on multiplie les tests plus on a de chance d’avoir un test significatif par hasard
• Résultat non significatif = manque de puissance ou biais oudifférence plus petite que celle qu’on a voulu détecter ouabsence réelle de différence.
• Un résultat statistiquement significatif peut ne pas être cliniquement significatif
17°) Discuter la pertinence clinique des résultats
• Privilégier le point de vue clinique : taille de l’effet (avec IC95%), bénéfice
relatif (RR, OR, HR) ou absolu (RAR, NNT, différence des moyennes) ;
dépend de la gravité et de la fréquence de la pathologie
• Critères permettant de conclure à la causalité :
- essai randomisé : randomisation non détruite, en ITT
- enquête observationnelle : Critères de Hill
- Internes à l’étude : Force de l’association statistique
et minimum de biais, cohérence chronologique, relation dose-effet,
spécificité de l’association
- Externes à l’étude : plausibilité (cohérence avec les
connaissances actuelles), reproductibilité, analogie avec autres FDR
démontrée, effet de l’intervention
NB : Une seule étude épidémio. ne permet pas d’affirmer un lien de cause à
effet.
18°) Vérifier que les résultats offrent une réponse à
la question annoncée
19°) Vérifier que les conclusions sont justifiées par
les résultats• Validité interne : (fiabilité des résultats)
- Absence de biais
- Réalité statistique du résultat
- Calcul du NSN pour garantir une puissance suffisante
• Validité externe : (généralisable)
- Cohérence externe (autres études, connaissances
expérimentales)
- Représentativité (généralisation, résultats extrapolables à la
pratique médicale courante)
20°) Indiquer le niveau de preuve de l’étude
(grille HAS/ANAES)
• Niveau 1 : Essais comparatifs randomisés de forte
puissance, méta-analyses, analyse de décision
basée sur des études bien menées
• Niveau 2 : Essais comparatifs randomisés de faible
puissance, études comparatives non randomisées
bien menées, études de cohorte
• Niveau 3 : Etudes cas-témoins
• Niveau 4 : Etudes comparatives avec biais
importants, études rétrospectives, séries de cas,
études épidémio descriptives.
A
(preuve
scientifique
établie)
B
(présomption
scientifique)
C
(faible
niveau de
preuve)
21°) Discuter la ou les applications potentielles
proposées par l’étude (niveau individuel et de la
population)
• Niveau de preuve ?
• A quels patients les résultats sont-ils applicables ?
• Tous les critères cliniquement importants ont-ils été pris en compte ?
• Balance bénéfice/risque+cout favorable (efficacité + tolérance) ?
• L’étude permet-elle de faire cette recommandation ?
• Implication sur ma pratique ?
22°) Identifier la structure IMRAD (résumé)
• Introduction : - Justification de l’étude : SCL
- Question étudiée : PICO
• Méthodes : SPLICA
- Schéma d’étude
- Population
- Lieu(x)
- Intervention/facteur étudié
-Critère(s) de jugement
- Analyse
• Résultats : description échantillon, date, résultats CJP et CJS
• Discussion
Conseils pour le résumé
• Faire le résumé après avoir lu l’article plusieurs fois, répondre aux questions avant, faire un brouillon
• Utiliser la structure vue précédemment
• Respecter le point de vue des auteurs tout en insistant bien sur le critère de jugement principal
• Dans partie résultat :
- Description population étudiée
- Toujours résultat ajusté (sauf essai contrôlé randomisé) et multi varié avec son IC à 95 % et p
- ++ ITT (sauf non infériorité)
• Ne pas bâcler la Conclusion.
23°) Faire une analyse critique de la
présentation des références
• Auteurs, titre, support (revue, livre), année de publication,
volume et numéro de publication, 1ère et dernière page
• Classement : Auteur-année, Alphabétique-numérique,
Numérique-séquentiel (Vancouver)
24°) Faire une analyse critique du titre
• Contenu = PICOS : Population, Intervention, Comparaison,
Outcome (ce qui est observé), Schéma d’étude
• Type : Indicatif (orientation générale) ou informatif (précis
PICOS)
• Forme : Concis, syntaxe souple, attractif
Types d’étude
L’intervention est-elle contrôlée par l’investigateur ?
OUI : étude expérimentale NON : étude d’observation
Randomisation ? groupe de comparaison ?
OUI : étude analytique NON : étude descriptive
direction ?
Cohorte
Intervention -> Exposé Intervention <- Exposé I et E (incidence)
Cohorte Etude cas-témoin en même temps
exposé non-exposé Etude transversale
(prévalence)
Essai contrôlé randomisé de non infériorité
• On concède a priori une perte d’efficacité au vu des avantages
du nouveau traitement (tolérance, facilité d’utilisation, cout)
• Seuil de non infériorité (à comparer aux avantages du
traitement)
• CJP clinique, objectif et pas de traitement concomitant
• Validité : interne avec 3ème bras placebo ou externe (essais
antérieurs)
• Minimiser les pdv, écarts au protocole, arrêts prématurés du
traitement (diminue la différence)
• Analyses PER PROTOCOLE + ITT (concordent ?)
• On compare la borne ad hoc de l’IC 95% au seuil de non
infériorité (et non p).
8 points clefs de l’Evaluation d’une procédure diagnostique:
- Prospective (voire transversale)
- Patients représentatifs de la population cible sinon
- Définition parfaite de la maladie biais de sélection
- Tous les sujets subissent les 2 tests (apparié)
- Test de référence (gold standard) valide et reconnu
- Test de référence déterminé a priori sinon
- Test étudié fiable et conditions d’utilisation décrites biais de classement
- Insu des 2 tests
Points clefs de l’Evaluation d’une procédure de dépistage :
- biais spécifiques : d’avance au diagnostic (lead time), lié à la vitesse
d’évolutivité (lengh time) et de sur diagnostic
- objectif : -efficacité (CJP = mortalité spécifique ou incidence cancer)
-évaluation de la qualité (CJP = Se Sp VPP VPN)
- Analyse en intention de dépister
Notion de survie : (probabilité de survivre jusqu’à un instant t)
• Censure à droite : pas d’évènement survenu (décès) au dernier
contrôle = perdus de vue et exclus vivants
• Censure à gauche : évènement survenu avant la date du dernier
contrôle mais impossible de le dater précisément.
• Statistiques pour des données censurées : RRI (ou Hazar Ratio),
d de cohen ou g de hodge (correspond au NNT)
• Courbes de survie : Kaplan Meier (en marche d’escalier) ou survie
actuarielle (courbe formée de segments de droite à intervalles
réguliers)
Etude ancillaire = étude nichée dans une autre étude (Pb : Tous les
éléments de la ère étude (étude princeps) ne sont pas présentés
Glossaire (CNCI) à connaitre
http://www.lca-ecn.info/
Pratique clinique = Efficacité + Tolérance (rapport bénéfice/risque)
Formules :
- Se = p(+/M) - Sp = p(-/NM) -> dépend de la gravité de M
=> si population à bas risque, la sensibilité diminue (pas d’extrapolation)
- VPP = p(M/+) - VPN = p(NM/-) -> dépend de la prévalence de M
- Rapports de vraisemblance :
LR+ = p(+/M) / p(+/NM) si > 5 à 10 : très informatif
LR- = p(-/M) / p(-/NM) si < 0,2 à 0,1 : très informatif
