Embed Size (px)
Citation preview
1
DIPLÔME INTER-UNIVERSITAIRE DE PEDAGOGIE
MEDICALE
Université Paris Est-Créteil (Paris XII)
Mémoire
Par
Dr Chetana LIM
Evaluation de la Méthodologie des Conférences de Consensus
Utilisées par les Etudiants pour Préparer les Epreuves Classantes
Nationales
Année Universitaire 2016-2017
2
Evaluation de la Méthodologie des Conférences de Consensus Utilisées par les Etudiants
pour Préparer les Epreuves Classantes Nationales
Evaluation of the methodology of the Consensus Conferences used by students to
prepare the French National Ranking Examination
Chetana Lim1, MD, PhD; Michael Osseis
1, MD, Francesco Esposito
1, MD;
Audrina Nguyen1, MD; Chady Salloum
1, MD; Daniel Azoulay
1,2,3, MD, PhD
1 Service de Chirurgie Hépato-biliaire, Pancréatique et Transplantation Hépatique;
Hôpital Henri Mondor, Créteil, France
2 Université Paris-Est UPEC, Créteil, France
3 INSERM, U955, Créteil, France
Auteur correspondant:
Daniel Azoulay
Service de Chirurgie Hépato-Bilio-Pancréatique et Transplantation Hépatique;
Hôpital Henri Mondor; 51 Avenue de Lattre de Tassigny; 94010 Créteil, France.
Email: [email protected]
Tel: + 33 1 49 81 25 48; Fax: + 33 1 49 81 24 32
3
RESUME
INTRODUCTION: Parmi tous les supports d'apprentissage, les conférences de consensus et
les recommandations pour la pratique clinique (RPC) sont très utilisées par les étudiants pour
préparer les Epreuves Classantes Nationales (ECN). La grille AGREE II (Appraisal of
Guidelines for Research and Evaluation) est le seul outil validé d'évaluation de la
méthodologie des RPC. L'objectif de cette étude était d'évaluer la méthodologie des RPC en
hépatologie et en gastroentérologie à l’aide de la grille AGREE II.
MATÉRIELS ET MÉTHODES: Cinq RPC ont été évaluées à l'aide de la grille AGREE II:
trois étaient rédigées par la Haute Autorité de Santé (cirrhose, hépatite chronique B et hépatite
chronique C) et deux étaient rédigées par des sociétés savantes (lithiase biliaire par la Société
Nationale Française de Gastro-Entérologie, et hépatites virales C par la Société française
d'hépatologie). Les évaluateurs étaient des étudiants en 4ième
année de médecine (n = 2) et des
chirurgiens (n = 3).
RÉSULTATS: Le score global des cinq RPC était de 53%. Le score moyen des différents
domaines variait entre 45% et 77%. Les trois meilleurs scores étaient obtenus pour les
domaines suivants: champs et objectifs, clarté et présentation et applicabilité. Le domaine
ayant obtenu le score le plus faible était la participation des groupes concernés (45%). Aucune
des cinq RPC n’a été jugée comme applicable d'emblée sans modifications. Trois RCP étaient
jugées comme applicables avec modifications. Deux RPC ont été jugées comme non
applicables dans leur forme actuelle.
CONCLUSIONS: La RPC est un support pédagogique important car elle sert de référence
pour l'évaluation des connaissances. La méthodologie d'élaboration des RPC pourrait être
améliorée pour augmenter d'une part leurs impacts en termes de diffusion et de modification
des pratiques cliniques et d'autre part pour former les étudiants à la rigueur méthodologique.
4
MOTS CLES: recommandations pour la pratique clinique, conférences de consensus;
Epreuves Classantes Nationales; méthodologie; AGREE.
5
INTRODUCTION
La réussite aux Epreuves Classantes Nationales (ECN) conditionne l'accès au troisième cycle
des études médicales et le choix de la future spécialité. Le programme des ECN contient 362
items. Plusieurs types de supports d'apprentissage sont disponibles pour préparer les ECN:
cours magistraux, enseignements dirigés, conférences d'internat, polycopié national du collège
d'enseignants, simulations, e-learning, recommandations pour la pratique clinique (RPC) et
conférences de consensus.
Les conférences de consensus et les RPC sont souvent consultées par les étudiants pour
préparer les ECN car ce sont des documents dits consensuels, validés et nationaux. Les RPC,
les conférences de consensus, et les guides de prise en charge sont développées
méthodiquement pour aider le praticien et le patient à rechercher les soins les plus appropriés
dans des circonstances cliniques données.
La grille AGREE II (Appraisal of Guidelines for Research & Evaluation) est le seul outil
validé pour évaluer la qualité des RPC (www.agreetrust.org) 1. En amont de leur pertinence,
l'objectif de cette étude était d'évaluer la méthodologie des RPC utilisées par les étudiants
pour préparer les ECN à l’aide de la grille AGREE II.
6
MATERIELS ET METHODES
Choix des RPC
A partir d'un manuel incluant les principales RPC Françaises et/ou Européennes, regroupées
par spécialités médicales et référencées par rapport aux items du programme de l'ECN 2,
toutes les RPC en rapport avec la thématique du service (service de chirurgie hépato-biliaire
et transplantation hépatique) ont été choisies par deux chirurgiens séniors (D.A et C.S):
cirrhose, lithiase biliaire et hépatite virale.
Au total, cinq RPC 3-7
ont été sélectionnées: cirrhoses (HAS 2008) 3, hépatite chronique B
(HAS 2006) 4, hépatite chronique C (HAS 2006)
5, prise en charge de la lithiase biliaire
(Société Nationale Française de Gastro-Entérologie, SNFGE 2010) 6, et recommandations
AFEF sur la prise en charge des hépatites virales C (société française d'hépatologie, AFEF,
2016) 7
(Tableau 1).
La grille AGREE II
La grille AGREE II (version Septembre 2013) se compose de 23 items organisés en six
domaines: champs et objectifs, participation des groupes concernées, rigueur d'élaboration,
clarté et présentation, applicabilité et indépendance éditoriale. Une fois les 23 éléments
évalués, les évaluateurs doivent répondre à deux questions de l’évaluation générale. Ces deux
questions servent à évaluer la qualité générale de la RPC et à déterminer si l’on en
recommande l’application (Annexe 1).
Les éléments de la Grille AGREE II et les deux éléments d’évaluation générale sont notés sur
une échelle allant de 1 (fortement en désaccord) à 7 (fortement en accord). Les six domaines
sont indépendants et un score est calculé pour chacun des six domaines. Les utilisateurs
avaient la possibilité de trouver des renseignements et de l'aide sur le site www.agreetrust.org.
7
Avant d’appliquer la Grille AGREE II, les utilisateurs devaient d’abord lire la RPC et passer
par une phase d'apprentissage en ligne. Ils devaient ensuite rassembler tous les
renseignements relatifs au processus d’élaboration de la RPC avant leur évaluation. Ces
renseignements peuvent être réunis dans le document même de la RPC ou être résumés dans
un rapport technique distinct, un manuel méthodologique ou l’énoncé de politique des
concepteurs de la RPC. Ces documents d’accompagnement peuvent être publiés ou rendus
publics sur internet. Un minimum de deux évaluateurs est requis pour évaluer la RPC.
Evaluation selon la grille AGREE II des conférences de consensus et recommandations
de bonne pratique clinique
Les auteurs avaient déjà une expérience de l'utilisation de la grille AGREE II et l'ont
récemment utilisé pour évaluer les recommandations concernant la résection du carcinome
hépatocellulaire 8. Cinq évaluateurs ont participé à l'étude: 2 chirurgiens (C.L, M.O), 1 interne
en chirurgie (F.E), et deux étudiants en quatrième année de médecine.
Le score accordé pour la qualité est calculé pour chacun des six domaines de la Grille
AGREE II à l'aide de la formule suivante 8:
(Score obtenu - Score théorique minimum)
x 100
(Score théorique maximum - Score théorique minimum)
Les RPC ayant obtenu un score global ≥ 80% étaient considérées comme applicables sans
modifications 8.
8
RESULTATS
Caractéristiques des RPC
Les cinq RPC retenues sont toutes issues de la France, rédigées en français et comportent
toutes une date de publication (Tableau 1). Deux RPC rédigées par la SNFGE et l'AFEF
utilisent des méthodologies de construction clairement explicitées et chaque recommandation
est classée selon son niveau de preuve 5-6
. Bien que la méthodologie de construction soit
énoncée en début de RPC, les trois RPC rédigées par la HAS 2-4
peuvent être assimilés à des
guides plutôt qu'à de réelles RPC car les groupes d'experts qui ont proposé les
recommandations ne sont pas clairement identifiés, l’extraction des données de la littérature et
le niveau de preuve de chaque recommandations ne sont pas détaillés.
Résultats de l'évaluation des RPC par AGREE II
Seule la RPC 5 portant sur la lithiase biliaire de la SNFGE avait un score supérieur à 50% dans
les 6 domaines (Figure 1). La RPC sur l'hépatite virale de l’AFEF 7
avait un score supérieur à
50% dans 5 domaines. Les trois RPC élaborées par la HAS 3-5
avaient un score > 50% dans le
domaine des champs et objectifs, mais un score inférieur à 50% dans les domaines de la
participation des groupes concernés et de la rigueur d'élaboration de la recommandation.
Le score global des cinq RPC était de 53%. Le score moyen des différents domaines variait
de 45% à 77% (Tableau 2). Les trois meilleurs scores étaient obtenus pour les domaines
suivants: champs et objectifs, clarté et présentation et applicabilité. Le domaine ayant eu le
score le plus faible était la participation des groupes concernés (45%).
9
Applicabilité des RPC
Aucune des cinq RPC n’a été jugée comme applicable d'emblée sans modifications. Trois
RCP étaient jugées comme applicables avec modifications 2,5-6
. Les deux autres RPC ont été
jugées comme non applicables dans leur forme actuelle 3-4
(Figure 2).
10
DISCUSSION
A notre connaissance, il s'agit de la première étude qui évalue, à l’aide de la grille AGREE II,
la méthodologie et la qualité des RPC utilisées par les étudiants en médecine pour préparer les
ECN. Les résultats de cette étude montrent que (i) les groupes d'experts qui développent les
RPC ne sont pas toujours clairement identifiés, (ii) la rigueur d'élaboration de la RPC est de
qualité moyenne et (iii) la plupart des RPC ne sont pas réellement applicables dans leur forme
actuelle. Dans cette étude, les deux RPC rédigées par la SNFGE 6 et l'AFEF
7 ont obtenu un
score de 60% pour la rigueur de développement et un score de 60 % pour l'applicabilité. A
l'inverse, les RPC élaborées par la HAS 3-5
ont pour la plupart un score avoisinant les 40%
pour la rigueur de développement et un score d'applicabilité inférieur à 50%.
Il est important de souligner que la grille AGREE II évalue la valeur méthodologique et non
la pertinence des recommandations. En effet, par exemple, une conférence de consensus peut
proposer des recommandations tout à fait valables mais avec une méthodologie et une rigueur
de développement de qualité insuffisante.
La méthodologie de construction d'une RPC est fondée sur une analyse et une synthèse des
données de la littérature sur le sujet à traiter et est ensuite validée par un groupe d'experts. On
distingue trois types de RPC: les conférences de consensus 9, les recommandations pour la
pratique clinique 10
et les consensus formalisés 11
. Les conférences de consensus sont des
recommandations sur un sujet précis, proposées par un jury au terme d'une présentation
publique de rapports d'experts faisant la synthèse des données de la littérature 8.
Les recommandations pour la pratique clinique sont des recommandations sur un sujet précis,
classées selon leur niveau de preuve par un groupe de travail au terme d'une analyse des
données de la littérature 9. Les consensus formalisés correspondent à la rédaction de
recommandations à partir de l'expérience et l'avis d'un groupe d'experts. Le groupe d'experts
11
propose des recommandations sur un sujet précis au terme d'une analyse de la littérature.
Chaque recommandation est gradée en fonction des scores votés par les experts pour chaque
question 10
.
Lorsque ces RPC incluent les résultats d'une revue systématique ou méta-analyse dans
l'argumentaire de leur recommandation, les auteurs de ces RPC doivent vérifier que ces
revues systématiques ou méta-analyse respectent les principes de PRISMA (Preferred
Reporting Items of Systematic reviews and Meta-Analyses, soit points préférés pour les
rapports de revues systématiques et de méta-analyses) 12
. Enfin, il est conseillé d'utiliser le
système GRADE (Grading of Recommendations, Assessment, Development, and Evaluation)
pour évaluer la qualité des recommandations (bonne ou faible) de même que le niveau (A à C)
13.
Les RPC publiées par la HAS s'apparentent plus à des guides de prise en charge. Les objectifs
sont souvent bien définis et les médecins et les patients concernés sont en général clairement
mentionnés. En fait les RPC de la HAS ne peuvent être apparentées à de vraies RPC dans la
mesure où la méthodologie de construction n'est pas fondée sur une analyse et une synthèse
de la littérature scientifique et sur des avis d'experts.
Notre étude comporte des limites. Une des limites de la grille AGREE II réside dans le fait
qu'elle ne prend pas en compte l'année de développement et de publication de la RPC. Il aurait
été intéressant d'évaluer toutes les RPC d'hépato-gastroentérologie servant à la préparation des
questions de l’ECN voire même toutes les RPC portant sur les 362 questions de l'ECN.
Néanmoins, beaucoup de RPC (près de 263 publications sur les 362 items de l'ECN) sont
établies par la HAS et sont donc élaborées avec la même méthodologie. Enfin, l'évaluation par
la grille AGREE II reste subjective et attribue le même poids à des domaines qui pourraient
être de valeur différente.
12
En conclusion, la RPC est un support pédagogique important pour préparer les ECN.
Cependant, il est important de souligner qu'il existe une grande variabilité sur le plan
méthodologique. La méthodologie d'élaboration, la date de publication, et le choix du groupe
d'experts et de la société savante doivent constituer des critères de qualité pour juger de la
valeur pédagogique d'une RPC. La méthodologie d'élaboration des RPC pourrait être
améliorée pour augmenter d'une part leurs impacts en termes de diffusion et de modification
des pratiques cliniques et d'autre part pour former les étudiants à la rigueur méthodologique.
13
REFERENCES
1. Consensus ECN 2018. 394 fiches de synthèse. S Editions.
2. Appraisal of Guidelines for Research and Evaluation II 2013. http://www.agreetrust.org.
3. Haute Autorité de santé (HAS). Cirrhoses. Guide Médecin- AL6 ; 2008. P.1-35.
4. Haute Autorité de santé (HAS). Hépatite chronique B. Guide Médecin; 2006. P.1-10.
5. Haute Autorité de santé (HAS). Hépatite chronique C. Guide Médecin; 2006. P.1-10.
6. Société Nationale Française de Gastro-Entérologie (SNFGE). Prise en charge de la lithiase
biliaire. 2010. P.1-21.
7. Société Française d’Hépatologie (AFEF). Recommandations AFEF sur la prise en charge
des hépatites virales C. 2016. P. 1-152.
8. Gavriilidis P, Roberts KJ, Askari A, et al. Evaluation of the current guidelines for
resection of hepatocellular carcinoma using the appraisal of guidelines for research and
evaluation II instrument. J Hepatol. 2017 (Epub ahead of print).
9. Anaes. Les conférences de consensus. Base méthodologique pour leur réalisation en
France. Paris: Agence nationale d’accréditation et d’évaluation en santé; 1999.
10. ANAES Les recommandations pour la pratique clinique. Base méthodologique pour leur
réalisation en France. Paris: Agence nationale d’accréditation et d’évaluation en santé;
1999.
11. Haute Autorité de santé (HAS). Bases méthodologiques pour l’élaboration de
recommandations professionnelles par consensus formalisé. Paris: HAS; 2006.
12. Moher D, Liberati A, Tetzlaff J et al. PRISMA Group. Preferred reporting items for
systematic reviews and meta-analyses: the PRISMA statement. PLos Med.
2009;6(7):e1000097.
13. Guyatt GH, Oxman AD, Vist GE, et al. GRADE: an emerging consensus on rating quality
of evidence and strength of recommendations. BMJ. 2008;336(7650):924–6.
14
LEGENDES DES FIGURES
Figure 1. Évaluation des RPC dans les 6 domaines de la grille AGREE II
Figure 2. Score global des 5 RPC
15
Tableau 1. Choix des RPC
Epreuves Classantes Nationales
RPC, année Experts/sociétés
savantes
No. de la
question
Titre de la question Objectifs
Cirrhose, 2008 3
HAS 276 Cirrhose et complication Diagnostiquer une cirrhose.
Identifier les situations d'urgence et planifier leur prise en charge.
Argumenter l'attitude thérapeutique et planifier le suivi du patient.
Décrire les principes de la prise en charge au long cours en abordant les problématiques techniques,
relationnelles et éthiques en cas d'évolution défavorable.
Cirrhose, 2008 3
HAS 277 Ascite Argumenter les principales hypothèses diagnostiques et justifier les examens complémentaires
pertinents.
Hépatite
chronique B 4
HAS 163 Hépatites virales Connaître les modes de transmission des différentes hépatites virales et les modalités de leur
prévention.
Prescrire et interpréter les examens sérologiques utiles au diagnostic.
Connaître les grands principes du traitement et de la surveillance des hépatites chroniques B et C.
Connaître les modalités de prévention.
Identifier les situations d'urgence et planifier leur prise en charge.
Hépatite
chronique C 5
HAS 163 Hépatites virales Connaître les modes de transmission des différentes hépatites virales et les modalités de leur
prévention.
Prescrire et interpréter les examens sérologiques utiles au diagnostic.
Connaître les grands principes du traitement et de la surveillance des hépatites chroniques B et C.
Connaître les modalités de prévention.
Identifier les situations d'urgence et planifier leur prise en charge.
Lithiase biliaire 6
SNFGE 274 Lithiase biliaire et
complications
Diagnostiquer une lithiase biliaire et ses complications.
Identifier les situations d'urgence et planifier leur prise en charge. Argumenter l'attitude
thérapeutique et planifier le suivi du patient.
Hépatite virale C 7
AFEF 2016 Hépatites virales Connaître les modes de transmission des différentes hépatites virales et les modalités de leur
prévention.
Prescrire et interpréter les examens sérologiques utiles au diagnostic.
Connaître les grands principes du traitement et de la surveillance des hépatites chroniques B et C.
Connaître les modalités de prévention.
Identifier les situations d'urgence et planifier leur prise en charge.
Abréviations: RPC, recommandation pour la pratique clinique; HAS, Haute Autorité de Santé: SNFGE, Société Française de Gastro-Entérologie; AFEF, Société Française d'Hépatologie.
16
Tableau 2. Résumé des scores obtenus après évaluation à l’aide de la AGREE II
Domaine Score médian
(%)
Score minimum
(%)
Score maximum
(%)
Domaine 1: champs et objectifs 77 70 4
91 7
Domaine 2: participation des groupes concernés 45 31 5
74 6
Domaine 3: rigueur d'élaboration 47 36 5
76 7
Domaine 4: clarté et présentation 76 49 5
81 3
Domaine 5: applicabilité 66 43 5
68 7
Domaine 6: indépendance éditoriale 49 42 4
68 6
Évaluation générale 53 37 4
67 7
17
Figure 1
18
Figure 2
19
ANNEXES
Annexe 1: la grille AGREE II
Domaine Items
I. champs et objectifs 1. Le ou les objectifs de la RPC sont décrits explicitement.
2. La ou les questions de santé couvertes par la RPC sont décrites
explicitement.
3. La population (patients, public, etc.) à laquelle la RPC doit s’appliquer est
décrite explicitement.
II. participation des groupes
concernés
4. Le groupe ayant élaboré la RPC inclut des représentants de tous les groupes
professionnels concernés.
5. Les opinions et les préférences de la population cible (patients, public, etc.)
ont été identifiées.
6. Les utilisateurs cibles de la RPC sont clairement définis.
III. rigueur d'élaboration 7. Des méthodes systématiques ont été utilisées pour rechercher les preuves
scientifiques.
8. Les critères de sélection des preuves sont clairement décrits.
9. Les forces et les limites des preuves scientifiques sont clairement définies.
10. Les méthodes utilisées pour formuler les recommandations sont clairement
décrites.
11. Les bénéfices, les effets secondaires et les risques en termes de santé ont
été pris en considération dans la formulation des recommandations.
12. Il y a un lien explicite entre les recommandations et les preuves
scientifiques sur lesquelles elles reposent.
13. La RPC a été revue par des experts externes avant sa publication.
14. Une procédure d’actualisation de la RPC est décrite.
IV. clarté et présentation 15. Les recommandations sont précises et sans ambiguïté.
16. Les différentes options de prise en charge de l’état ou du problème de
santé sont clairement présentées.
17. Les recommandations clés sont facilement identifiables.
V. applicabilité 18. La RPC décrit les éléments facilitant son application et les obstacles.
19. La RPC offre des conseils et/ou des outils sur les façons de mettre les
recommandations en pratique.
20. Les répercussions potentielles de l’application des recommandations sur
les ressources ont été examinées.
21. La RPC propose des critères de suivi et de vérification.
VI. indépendance éditoriale 22. Le point de vue des organismes de financement n’ont pas influencé le
contenu de la RPC.
23. Les intérêts divergents des membres du groupe ayant élaboré la RPC ont
été
pris en charge et documentés.
http://www.agreetrust.org.
Abréviations: RPC, recommandations pour la pratique clinique
