1

UNIVERSITE DE PARIS VI

Faculté de Médecine de Pierre et Marie Curie.

Mémoire dans le cadre du

Diplôme Inter-Universitaire de Pédagogie Médicale

Université de PARIS V- PARIS VI - PARIS XI - PARIS XII

Présenté par

Ilhem Mili-Boussen, MD

Hôpital Charles Nicolle, Tunis

Faculté de Médecine de Tunis

ilhemmiliboussen@gmail.com

Paris, Mardi 24 octobre 2017

2

Table des matières

RÉSUMÉ 3

I. INTRODUCTION 6

II. MATERIELS ET METHODES 7

III. RESULTATS 9

A. RÉSULTATS GLOBAUX 9 B. ADÉQUATION GLOBALE DE L’ECOSM AUX PRINCIPES DE QUALITÉ D’UN TEST D’ÉVALUATION 11 C. RESPECTS DU SITE D’ÉVALUATION AUX RÈGLES DE L’ECOSM 11

IV. DISCUSSION 13

V. CONCLUSIONS 16

VI. RÉFÉRENCES 16

VII. Annexes 19

3

Résumé Background : Dans l’enseignement médical, l’analyse des résultats d’une évaluation est l’un des

éléments clé qui permet d’améliorer l’enseignement. Peu d'études visent à identifier la perception

par l'étudiant de l'évaluation des compétences cliniques. Nous avons mené un travail prospectif

étudiant la perception par des étudiants en médecine d’une évaluation moderne de

l'apprentissage des compétences cliniques, dénommée ECOSM, Evaluation Clinique Objective par

Stations Multiples, à la fin de leur stage d’externat en ophtalmologie.

Méthodes: les étudiants en 5ème année médecine de juin 2017 ont évalué par sondage simple le

test ECOSM. Le questionnaire comportait 25 paramètres : de la question (Q) 1 à la Q7 sur les

qualités de l’ECOSM, en tant que test d’évaluation des compétences acquises au cours du stage

clinique, sur le respect des principes généraux de l’ECOSM de la Q8 à la Q12 et sur celui des

principes pour chaque station de la Q13 à la Q25. Nous avons recueilli et comparé les réponses par

le test chi-2. Une valeur de p <0,05 était significative.

Résultats : le taux de réponse était de 100%. Tous les répondants ont estimé que l’ECOSM était un

test satisfaisant, permettant d’évaluer que ce qui a été formé, en se tenant aux objectifs

pédagogiques clairement annoncés dans le carnet de stage. Les conditions de réalisation de

l’ECOSM étaient bien respectées, tant sur le fond que sur la forme. Il existait un taux

significativement plus élevé de répondants à la première page du questionnaire par rapport à la

seconde (p<0,02). Le taux d’absence de réponse était élevé pour la Q17 (27,1%) et la Q25 (44,1%),

celles ci étant posées comme question de recoupement.

Conclusions : l’ECOSM a été estimée par les étudiants comme un outil d’évaluation de l’acquisition

des compétences cliniques valide, compris, appliqué et bien intégré à la Faculté de Médecine de

Tunis. Les méthodes d'innovation, permettant de créer un sondage dans un format facile à utiliser,

à analyser et à diffuser, doivent être appliquées à plus large échelle, pour assurer l'adéquation du

retour d'évaluation. Ses résultats contribueront à améliorer les conditions d'apprentissage des

compétences pédagogiques du stade clinique des étudiants en médecine.

Mots clés: évaluation par les étudiants; évaluation des compétences cliniques ; ECOSM ; ECOS ; OSCE

4

“Medicine students view about ECOSM, a tool to evaluate clinical skills, in the Faculty of

medicine of Tunisia”

Abstract

Background : In medical education, then analysis of the results of an evaluation is one of the most

important key to help to improve teaching. There are few studies that identify the student's

perception of clinical competency assessment. This multicentric study, was carried out to compare

the perceptions of medical students of ECOSM, a contemporary assessment of clinical skills

learning for the students of the second cycle of medical studies called in french ECOSM for

Evaluation Clinique Objective par Stations Multiples or objective clinical evaluation by several

stations. It was conducted in seven institutions, after completing their external ophthalmology

internship.

Methods: Immediately following the ECOSM of ophthalmology, in the session of June 2017,

medical students from seven institutions were invited to participate in evaluating ECOSM by a

simple post-even survey. The questionnary contained 25 questions (Q) on the qualities of a test

(and of the ECOSM (Q1-7), on the respect of the principles of the ECOSM, in generally (Q8-12) and

for every type of station (Q13-25). The responses were organized in 5 levels of satisfaction. Then,

the responses were analyzed using the chi-square tests to determine the variations of the

responses by different parameters.

Results : the rate of answer was 100 %. All the respondents considered that the ECOSM was a

satisfactory test, allowing to estimate that what was trained, by being held in the educational

objectives, clearly announced in the logbook. The conditions of realization of the ECOSM were

respected, in terms of both content and form. There was a rate significantly higher of

respondents) in the first page of the questionnaire with regard to second one (<0,02 ). The rate of

absence of answer was high for Q17 (27,1 %) and Q25 (44,1 %).

Discussion: This is the first multicenter study that targeted medical students' opinion on the

clinical competency assessment test such as the ECOSM in Tunisia. Survey fatigue, a recognized

concept was significantly higher in page 2, Despite the differences in the geographical location of

the institutions, the level of satisfaction was very good for most parameters.

Conclusion: The ECOSM was very appreciate by the students who considered that it was an good

evaluation tool of the acquisition of the clincal skills. These results can contribute to improve the

learning conditions of the teaching skills of the clinical stage. Innovation methods, achieving a

5

survey in a format easy to use, analyze and diffuse, must be employed to ensure the adequacy of

evaluation feedback.

Key words : assessment of clincal skills, ECOS ; ECOSM ; OSCE ; evaluation by medical student.

6

I. INTRODUCTION

L’évaluation de l’acquisition des compétences cliniques a été uniformisée depuis la mise en

place d’un outil standardisé évaluant les comportements et les performances en situation clinique

simulée, décrit pour la première fois par Harden et al en 1975-79, dénommé ECOS, pour Examen

Clinique Objectif et Structuré, ou OSCE dans sa version anglaise, pour Objective Structured Clinical

Examination [1,2]. L’ ECOSM, ou Evaluation Clinique Objective En Stations Multiples, est une

évaluation sanctionnelle du stage clinique durant les études médicales à la faculté de médecine de

Tunis, établie par le comité pédagogique de la faculté, sous la direction du Pr C. Tabbane, après la

première réforme de l’enseignement de la faculté dès 1988 [3]. Elle a été mise en application en

respectant les méthodes modernes de pédagogie médicale, basées sur la boucle de

l’apprentissage [annexe 1] et les différents domaines et niveaux taxonomiques (figures 1 et 2) [4-

6]. Différents moyens d’apprentissage, véritables outils pour atteindre les objectifs éducationnels

spécifiques (OES) issus du profil de poste, permettent aux étudiants, à partir des connaissances

(savoir), une application en connaissance pratique (savoir-faire) et de comportement (savoir-être)

pour acquérir ensuite la pratique [7].

Figure 1. Pyramide du savoir, avec ses niveaux hiérarchiques, basée sur la taxonomie des objectifs

éducationnels selon Bloom

7

Tableau 1. Domaines et niveaux cognitifs en pédagogie moderne

DOMAINES COGNITIF RELATIONNEL SENSORI-MOTEUR Processus intellectuel Attitudes Gestes

NIVEAU 1 mémorisation Réceptivité Imitation 2 Interprétation des données Répondre Contrôler 3 Solution de problème Intérioriser Automatisme

A la Faculté de médecine de Tunis, afin de permettre à tous les enseignants d’être informés et

formés à la pratique de l’ECOSM, un séminaire pédagogique annuel lui est consacré depuis de

nombreuses années. Un guide pour l’évaluation des stages comprenant un guide pratique de

l’ECOSM , sous la direction du Pr MF Ben Dridi , est remis à chaque enseignant en début d’année

depuis 2011 [annexe 2] [8, 9]. L’ECOSM est organisée pour tous les étudiants à la faculté de

médecine de Tunis, 2 sessions/an pour des groupes de 8 à 15 étudiants. le circuit de rotation

comprend une succession de stations ayant chacune un problème à résoudre en un temps limité

où la question posée répond à un OES très clairement identifié et annoncé dans le carnet de stage

[annexe 3]. Chaque station a sa propre grille comprenant plusieurs items observables selon une

échelle établie [annexe 4]. L’ECOSM est de pratique courante. Elle est appliquée depuis des

années et elle est connue par les étudiants.

L’objectif de ce travail était d’étudier, à travers une enquête, la perception de l’ECOSM par les

étudiants en médecine.

II. MATERIELS ET METHODES Caractéristiques du système mis en place

L’enseignant coordinateur de la section d’ophtalmologie est responsable du planning des

stages hospitaliers et de l’évaluation par les ECOSM de l’enseignement de l’ophtalmologie des

étudiants de 5ème année (DCEM3), en coordination avec la direction des stages et les enseignants

de la section de la faculté de médecine de Tunis. Sept centres accueillent les étudiants pour le

stage hospitalier d’externat en ophtalmologie. Ce stage a lieu dans les services d’ophtalmologie et

dure deux semaines. Les objectifs éducationnels en ophtalmologie sont consignés sur le carnet de

stage que chaque étudiant reçoit en début d’année universitaire [annexe 2]. L’évaluation du stage

comprend une évaluation périodique notée sur 50 points (attitude et assiduité de l’étudiant au

cours du stage) et une évaluation finale par ESOCM, objet de ce travail, notée sur 50 points. Le

8

jour de l’ECOSM, l’enseignant coordinateur de chaque service assure le bon déroulement de

l’épreuve.

Méthodologie employée

Nous avons réalisé un questionnaire spécifique à ce travail, portant sur l’évaluation de l’ECOSM

d’ophtalmologie, distribué par l’enseignant coordinateur à tous les étudiants de la session de juin

2017, immédiatement en fin d’épreuve.

Le questionnaire d’appréciation utilisait une échelle de Likert, à 5 choix ou 3 choix selon la

question, et était constitué de 25 questions [annexe 5] :

1- 4 portaient sur l’adéquation globale de l’ECOSM avec les principes de qualité d’un test

d’évaluation (Q1 à Q4) : rapidité, pertinence, objectivité et fiabilité.

2- Une question portait sur l’adéquation de l’ECOSM en tant que test d’évaluation des

acquisitions d’un stage clinique (Q5)

3- 14 questions portaient sur l’adéquation de l’organisation des stations aux principes d’une

ECOSM, c’est-à-dire sur l’organisation générale : tâche spécifique à chaque station (Q13)

correspondant à une compétence et/ou un objectif bien identifié (Q14) ; organisation in situ

codifiée : accueil (Q8-9), consignes claires (Q10), fluidité de circulation (Q11), timing (Q12).

4- 7 questions portaient sur l’appréciation des étudiants sur le fond : instructions claires au

niveau de chaque station (Q15), matériel adapté (Q16-17), question hors sujet (Q19),

compétence qui ne peut être évaluée par une question écrite (Q20), respect du rôle de chaque

intervenant, cad échanges entre observateur et simulateur (Q18), note attribuée au fur et à

mesure du déroulement de l’épreuve (Q21).

5- 2 questions portaient sur l’adéquation du site d’évaluation à la spécificité de chaque type de

station : stations patient standardisé, rôle joué par le simulateur (Q22), simulateur et

observateur différent (Q23) ; station avec matériel (2 questions) : matériel adapté non fictif

emprunté à une vraie observation médicale (Q24), adéquat à la station (Q25).

Deux questions relatives aux outils pédagogiques spécifiques à l’acquisition des compétences

cliniques, concernaient le site du stage clinique où l’apprentissage é été effectué pour savoir s’il y

existait ou pas des fiches techniques (Q5) ou un planning (Q6).

Etude statistique

Les données ont été saisies sur Microsoft Office Excel 2007. Puis les résultats ont été analysés sur

SPSS 22.0. L’étude statistique a été menée dans le but de rechercher une relation statistiquement

9

significative entre les différentes variables. Pour ce faire, les résultats des questions de satisfaction

ont été regroupés en 3 réponses: réponse 1= très satisfait-satisfait-réponse 2= moyennement

satisfait, sans particularité, et réponse 3= peu ou pas satisfait.

Une valeur de p<0.05 a été considérée comme statistiquement significative.

III. RESULTATS

A. Résultats globaux

Les réponses ont été collectées le samedi 3 juin 2017, auprès de 81 étudiants répartis sur 7

centres d’évaluation. La répartition des étudiants dans les 7 centres était homogène avec un

nombre comparable d’étudiants/centre: centres [1 et 3]=13 étudiants (16,1%), centres [2, 5 et 7]=

12 étudiants (14,8%), centre [4]= 8 étudiants (9,8%), et centre [6]=11 étudiants (13,6%).

Le questionnaire comprenait 25 questions, 14 sur la première page et 11 sur la seconde. Le

taux global de réponse a été de 100%. Le taux de réponse était différent entre la page 1 et la page

2. A la page 1, la proportion de questions sans réponses allait de 1 à 8%, alors que celle de la page

2 allait de 4 à 44% (figure 2). La moyenne des questions sans réponses sur la première page était

de 5.642±4.325. La moyenne des questions sans réponses sur la deuxième page était de

14.909±8.870.

Il y avait une différence statistiquement significative des questions sans réponses entre les deux

pages avec p= 0.02 (tableau 2).

0

5

10

15

20

25

30

35

40

45

50

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Figure 2. Pourcentage des questions sans réponse flèche bleue=1ère page. Flèche orange=2ème page

10

Tableau 2. Réponses manquantes dans la 1ère et la 2ème page du questionnaire.

Première page n = 14 Deuxième page n = 11 p

Réponses manquantes Moyenne±Ecart type 5.642±4.325 14.909±8.870 0,02

De façon globale, les étudiants étaient satisfaits de l’ECOSM, (figures 3 et 4).

Figure 3. Résultats de l’enquête pour les questions avec réponse en 3 niveaux de satisfaction (% de

satisfaction/question).

Figure 4. Résultats de l’enquête pour les questions avec les réponses oui/non/ne sait pas.

0

20

40

60

80

100

120

satisfait

moyennement satisfait

pas satispeipeu ou pas satisfait

0,0010,0020,0030,0040,0050,0060,0070,0080,0090,00

100,00

oui

non

ne sait pas

11

B. Adéquation globale de l’ECOSM aux principes de qualité d’un test d’évaluation Par ailleurs, nous avons noté que, pour 86% des étudiants, l’ECOSM représentait un test évaluant

les compétences cliniques acquises au cours du stage. Nous avons noté que les fiches techniques

et les plannings n’étaient pas disponibles sur les sites de stage clinique.

(figures 5 et 6).

Figure 5. Adéquation globale de l’ECOSM aux principes de qualité d’un test d’évaluation

Figure 6. Adéquation de l’ECOSM en tant que test d’évaluation des compétences cliniques acquises au cours du stage

C. RESPECTS DU SITE D’ÉVALUATION AUX RÈGLES DE L’ECOSM

i. Respects des règles générales de l’ESOCM sur le site

Les étudiants étaient satisfaits quand à l’organisation générale de l’ECOSM sur le site de

l’évaluation : bon accueil (Q8), enseignant bienveillant (Q9), consignes claires (Q10), circulation

entre les stations fluide (Q11) avec timing respecté (Q12) (figure 7).

0

10

20

30

40

50

60

70

80

rapide pertinent objectif fiable

satisfait

moyennement satisfait

0

20

40

60

80

100

évalue les compétences fiches techniques planning

oui

non

ne sait pas

12

Figure 7. Adéquation des règles générales de l’ESOCM sur le site

ii. Adéquation des questions posées dans cette session aux principes

généraux d’une ECOSM

Nous avons questionné les étudiants à propos du respect des principes généraux de l’ECOSM pour

cette session (figure 8).

Pour 94,7%, les instructions étaient satisfaisantes, clairement annoncées (Q15). Les conditions

matérielles de l’ECOSM étaient respectées. Le matériel mis en place était celui des patients (Q17),

bien adapté à la station (Q16).

Les stations correspondaient aux objectifs de stage (Q14) et Q19). Les questions ne pouvaient être

posées à l’écrit (Q20). Il y avait peu d’échange entre simulateur et observateur, (Q18).

L’observateur remplissait immédiatement la feuille de note (Q21).

Figure 8. Adéquation des questions posées dans cette session aux principes généraux d’une ECOSM

0

20

40

60

80

100

120

satisfait

moyennement satisfait

pas satispeipeu ou passatisfait

0,00

20,00

40,00

60,00

80,00

100,00

oui

non

ne sait pas

13

iii. Adéquation du site d’évaluation à la spécificité de chaque type de

station

L’opinion des étudiants n’était pas variable en fonction du type de station, avec un taux de

satisfaction globale élevé pour chacune d’elles (figure 9). Pour les stations avec patient

standardisé, les étudiants étaient satisfaits par le rôle joué par le simulateur (Q22). Celui-ci était

différent de l’observateur (Q23).

Pour les stations avec matériel, l’étudiant était satisfait : il a pu exécuter une procédure

avec de vrais documents de patients ou à l’usage de patients, notamment une mesure de l’acuité

visuelle. Il a aussi pu décrire ou interpréter des éléments cliniques grâce à une photographie du

fond de l’œil (Q24). Quant à la dernière question (Q25), les étudiants étaient satisfaits concernant

le matériel utilisé qui était adéquat aux instructions.

Figure 9. Opinion des étudiants selon le type de station

IV. Discussion

L’évaluation des stages cliniques par un circuit de stations est de nos jours largement

répandue, avec même une page facebook qui lui est réservée : « Ophthalmology OSCE Finals

REVISION! - Facebook ». L’observation directe de l’étudiant permet d’en évaluer le savoir-faire

et le savoir-être acquis aux cours des stages cliniques [7].

Notre questionnaire a exploré différentes thématiques de l’ECOSM et a montré que cette

évaluation a été appréciée par les étudiants, avec un taux de réponse à 100%. Ses principes

généraux ont été bien intégrés dans l’évaluation des compétences cliniques. Par ailleurs, les

réponses positives à propos de l’adéquation des questions posées dans cette session aux principes

0

20

40

60

80

100

120

le simulateurjoue bien son

rôle

simulateur etobservateurs

différents

vraisdocuments

matérieladéquat à la

station

satisfait

moyennement satisfait

pas satispeipeu ou pas satisfait

14

généraux d’une ECOSM démontrent que les enseignants ont également bien intégré et ont

appliqué avec rigueur ces mêmes principes.

Le panel interrogé est composé par tous les étudiants de DCEM3 passant l’épreuve

d’ophtalmologie de la session juin 2017, répartis entre 7 centres d’évaluation, comme cela se fait

pour chaque fin de stage à chaque semestre. L’échantillon est donc représentatif de tous les

étudiants de la faculté de médecine de Tunis. Le questionnaire était composé de 25 questions

fermées avec une seule réponse possible, en commençant par les questions d’ordre général par

rapport à un test d’évaluation (Q1 à Q4), puis par rapport à l’ECOSM (Q5 à Q21), et finissant que

des questions spécifiques (Q22 à Q25), comme cela est recommandé dans la littérature [10-12].

Les termes utilisés ont été simples et concis, puisés dans le guide pratique de l’ECOSM [9].

Néanmoins, l’enquête comportait 2 pages avec un taux d’absence de réponse à la seconde page

statistiquement plus élevé (p<0,02). Cette différence est probablement liée à la fatigabilité de

l’étudiant, phénomène connue des questionnaires d’enquête, et nous incite à raccourcir

ultérieurement le questionnaire [11].

Si on reprend la définition de la « docimologie », terme inventé par Henri Piéron en 1923, ce

questionnaire répond en partie à sa définition, « définie comme une étude systématique des

facteurs qui influencent la notation dans les examens ou lors des opérations de mesure », ayant

comme objectif d’atténuer dans toute la mesure du possible le rôle du hasard ou dans la

subjectivité dans l’attribution des notes [10]. En effet, nous y avons repris les différents principes,

règles et étapes de ce type d’épreuve [ 7, 8, 9].

Selon les étudiants, cette évaluation répond aux critères généraux d’un test d’évaluation, avec un

excellent taux de satisfaction de Q1 à Q4. La satisfaction des étudiants aux questions Q5, Q14 et

Q20 démontre que, du point de vue sa conception, l’ECOSM est bien un instrument de mesure

d’un apprentissage, celui des compétences cliniques acquises au cours du stage hospitalier. La

grille de notation de chaque station permet d’obtenir un résultat pertinent avec un seuil de

performance par rapport à des objectifs fixés, comme on le note dans l’exemple de station avec

patient standardisé [annexe 4]. Tous les domaines sont évalués : « L’étudiant salue le patient et

explique sa démarche = 0.5/5 points » du domaine du savoir-être, « Mesure de l’acuité visuelle

œil/œil séparément =1/5points » du domaine du savoir-faire. Du point de vue technique, les

répondants ont estimé que les règles et les étapes de l’ECOSM ont été bien respectées,

comportant un circuit fluide avec des consignes claires, chaque type de station répondant à ses

propres critères [7, 8, 9, 13].

15

Notre travail comporte certaines limites. En voulant explorer tous les aspects de l’ECOSM de façon

didactique, claire avec un plan détaillé en en séparant les différentes composantes, les questions

de recoupement semblent avoir été posées deux fois pour les étudiants. Il s’agissait des

questions suivantes : « Le matériel fourni est un matériel non fictif destiné à l’usage des patients »

(Q17) et « Les documents fournis sont des vrais documents de patient ou à l’usage des patients »

(Q24). Ce même constat a été observé pour les questions « Le matériel fourni est adapté à

l’instruction » (Q16) et « Matériel utilisé adéquat aux instructions » (Q25). Le taux élevé d’absence

de réponse à la Q25 (44%) pourrait être expliqué par cette impression de double emploi. Pour les

questions « Consignes de réalisation de l’ECOSM claires (Q10) » et « L’instruction est claire pour

toutes les stations » (Q15), il s’agissait d’apprécier le respects des consignes d’organisation

l’ECOSM, de façon générale dans la Q10, de façon plus spécifique à l’instruction posée dans une

station précise dans la Q15. Le problème du vocabulaire utilisé pour exprimer ces 2 types

d’instructions est fréquemment rencontré en pratique et la confusion a été notée par plusieurs

collègues, incitant à la diffusion généralisée à tous les enseignants chaque année du guide

pratique pour l’ECOSM [7]. L’une des spécificités de l’ECOSM, est que, s’agissant d’une évaluation

« pratique » du savoir-faire et du savoir-être, le terme « question posée» ou « problème » prête à

confusion avec « questions d’examen » du domaine du savoir.

Ailleurs, les choix de réponses pour certaines questions n’étaient pas attribués de façon adéquate.

Pour les questions « Les documents fournis sont des vrais documents de patients ou à l’usage des

patients » (Q17) et « Matériel utilisé adéquat aux instructions » (Q25), un choix de réponse binaire

par oui/non aurait été plus approprié. C’est dire l’importance, lors de la création d’une enquête,

de bien veiller à l’absence de redondance des questions, ainsi qu’au choix de réponse approprié à

l’obtention de l’information souhaitée. De façon générale, un questionnaire à question fermée

dichotomique simplifie le questionnement et le traitement statistique, sans risque d’induire des

réponses inconnues du répondant [11].

Ce travail ne concernait que la perception de l’ECOSM par les étudiants. Une étude

complémentaire, faisant participer tous les intervenants avec une plus grande variété de

disciplines, et dont l’efficacité serait mesurée par les méthodes docimologiques, donnerait des

résultats plus probants afin d’améliorer l’apprentissage des compétences cliniques de nos

étudiants en médecine [14-17].

16

V. Conclusions

Notre étude a démontré que les principes de l’ECOSM comme outil d’évaluation de l’acquisition

des compétences cliniques ont été bien compris et intégrés, aussi bien par les étudiants que les

enseignants à la Faculté de Médecine de Tunis.

Nos résultats peuvent contribuer à améliorer les conditions d'apprentissage des compétences

pédagogiques du stade clinique. Des approches innovantes, permettant de créer un sondage dans

un format facile à utiliser, à analyser et à diffuser, faisant participer tous les intervenants, doivent

être envisagées pour améliorer les performances de l’évaluation.

Remerciements

- Pr B.Guidet et son équipe pédagogique, ainsi que Madame Rozenn Le Boursicaud,

- Les enseignants de la Faculté de Médecine de Tunis, plus particulièrement, Pr MF.Ben Dridi,

comité pédagogique, Pr A.Chebbi, coordinatrice des ECOSM, ainsi que tous les enseignants de la

section d’ophtalmologie de la session de juin 2017,

- Les étudiants de DCEM3 de la session de juin 2017,

- Et enfin tous mes collaborateurs et toute l’équipe du service d’ophtalmologie de l’hôpital Charles

Nicolle de Tunis,

Pour tout leur soutien et leur participation au bon déroulement et la concrétisation de ce projet.

VI. Références 1- Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured

clinical examination (OSCE). Med Educ 1979, 13 :41-54.

2- Guide pour les examens des compétences cliniques (OSCE/ECOS) à l’usage des enseignants

évaluateurs. Directives pour l’Examen Clinique Objectif Structuré. (ECOS)

www.unil.ch/webdav/site

3- Tabbane C. éléments d’introduction aux ateliers de pédagogie médicale, Centre de

Publications Universitaires, Tunis, Tunisie, 2000.

4- http://c2ip.insa-toulouse.fr/fr/pedagogies/concepts-de-base-en-pedagogie/la-taxonomie-

de-bloom.html

17

5- Steele C, Berk J, Ashar B, Pahwa A, Cayea D. Medical students' perceptions of low-value

care. Clin Teach. 2017 Oct 3. doi: 10.1111/tct.12705. [Epub ahead of print]

6- Anderson LW. A taxonomy for learning, teaching and assessing. A revision of Bloom’s

taxonomy of educational objectives. New York : Longman 2000.

7- Pellacia T. Comment (mieux) former et évaluer les étudiants en médecine et en sciences de

la santé. Paris : Ed Deboeck supérieur, 2016, 477p.

8- Guide pour l’évaluation des stages (page 1 à 5) . Faculté de médecine de Tunis. 2011. PDF

téléchargeable sur le lien

suivant :www.fmt.rnu.tn/index.php?id=10&tx_abdownloads...tx...342&tx...

file:///Users/imac/Downloads/telechargement2088.pdf

9- Guide pratique pour l’ECOSM (page 6 à 17) . Faculté de médecine de Tunis. 2011. PDF

téléchargeable sur le lien

suivant :www.fmt.rnu.tn/index.php?id=10&tx_abdownloads...tx...342&tx...

file:///Users/imac/Downloads/telechargement2088.pdf

10- Fessard A. Henri Piéron. L’année psychologique, 1951, vol. 50.. XIII, p. VIII.

11- Bouyer J. Méthodes statistiques : médecine-biologie. Paris, Ed INSERM 1997.

12- Franklin S, Walker C, Statistiques Canada. Méthodes et pratiques d’enquêtes. Publication

Gouvernementale Nationale 2010, Canada, ressource internet ISBN 9781100952062

1100952063

13- Hodge BD. Validity and the OSCE. Medic Teach 2003 ;25 :250-254.

14- Tucker C, Choby B, Moore A, Parker RS 2nd, Zambetti BR, Naids S, Scott J, Loome J, Gaffney

S, Cianciolo AT, Hoffman LA, Kohn JR, O'Sullivan PS, Trowbridge RL. Teachers as Learners:

Developing Professionalism Feedback Skills via Observed Structured Teaching Encounters.

Teach Learn Med. 2017 Oct-Dec;29(4):373-377

18

15- Le Mauff P, Pottier P, Goronflot L, Barrier J. Evaluation d’un dispositif expérimental

d’évaluation certificative des étudiants en fin de troisième cycle de médecine générale.

Pedagogie Médicale 2006, 7 :142-154.

16- Dean B, Jones L, Garfjeld Roberts P, Rees J. What is Known About the Attributes of a

Successful Surgical Trainer? A Systematic Review. J Surg Educ. 2017 Sep - Oct;74(5):843-

850

17- Ryan MS, Bishop S, Browning J, Anand RJ, Waterhouse E, Rigby F, Al-Mateen CS, Lee C,

Bradner M, Colbert-Getz JM. Are Scores From NBME Subject Examinations Valid Measures

of Knowledge Acquired During Clinical Clerkships? Acad Med. 2017 ; 92(6):847-852.

VII - Annexes

Annexe 1 : boucle de l’apprentissage Annexe 2 : carnet de stage des étudiants de DCEM3 : objectifs éducationnels d’ophtalmologie. Annexe 3 : programme des séminaires pédagogiques 2016-2017 à la faculté de médecine de Tunis. Annexe 4 : exemple de station avec matériel. Annexe 5 : questionnaire pour l’évaluation des ECOSM d’ophtalmologie de juin 2017.

19

Annexe 1 : la boucle de l’apprentissage : issue des séminaires pédagogiques du comité

pédagogique, faculté de médecine de Tunis, 2014-2015 : Pr H.Oueslati, Pr MF. Ben Dridi.

« La problématique de la formation médicale et ses incidences pédagogiques. Du mécanisme

d'acquisition des connaissances au partage des rôles enseignant-étudiant dans la formation

médicale »

« La pédagogie par objectifs. La planification d'un enseignement. Les objectifs éducationnels »

« L'évaluation des compétences (sauf épreuves PMP et ECOSM programmées à part) : Epreuves

écrites, Epreuves pratiques »

20

Annexe 2 : les objectifs éducationnels en ophtalmologie, pour les étudiants en DCEM3, faculté

de médecine de Tunis. Extrait du carnet de stage.

21

22

Annexe 3. Programme des séminaires pédagogiques 2016-2017 à la faculté de médecine de Tunis

Planning Séminaires – ateliers de pédagogie.

Année universitaire 2016 – 2017.

Séminaires Intitulé des ateliers

4 Le minimodule d'auto-enseignement : structuration. La pertinence d'un cours de

pathologie clinique.

5 La séance CIAP (Clarifications, illustrations, Application, Participation). L’usage du

transparent dans l’enseignement médical.

6 La conception et la construction d'un algorithme. La conception et la construction

d'un PMP (Patient Management Problem).

7 Le stage clinique : objectifs, planification, activités et moyens d’apprentissage,

évaluation.

7bis Les principes de l’évaluation des stages cliniques et l'épreuve d'évaluation clinique

objective (ECOSM).

8 Les travaux dirigés en stage d'externat. La démarche diagnostique (la validation

itérative des hypothèses).

9 Les travaux dirigés en stage d'internat. La formation médicale continue : aspects

pédagogiques.

10 Les critères pour une lecture critique d'un article de revue médicale.

11 L'enseignement des sciences fondamentales et des sciences mixtes.

12 L'évaluation d'un programme d'enseignement médical et des conditions de sa

réalisation.

23

Annexe 4. Exemple de station avec patient standardisé

STATION N°1

Enoncé étudiant

- Mesurer l’acuité visuelle de loin chez ce patient

- Préciser à l’observateur le choix du matériel, les différentes étapes et le résultat

INSTRUCTIONS POUR L’OBSERVATEUR

Grille d’évaluation

Note sur 5

- L’étudiant salue le patient et explique sa démarche 0.5

- Choix de l’échelle selon le niveau d’instruction 1

- Mesure de l’acuité visuelle œil/œil séparément 1

- Progression régulière (du plus grand au plus petit) 1

- Résultat (valeur de l’acuité visuelle) 1.5

Note éliminatoire (Zéro : 0) pour toute mesure de l’acuité visuelle en binoculaire

INSTRUCTIONS POUR LE SIMULATEUR

Matériel :

Projecteur de tests

Télécommande

Monture d’essai

Cache

24

Annexe 5. Questionnaire pour l’évaluation des ECOSM d’ophtalmologie de juin 2017

EVALUATION DE L’ECOSM PAR LES ETUDIANTS

EPREUVE D’OPHTALMOLOGIE Samedi 3 juin 2017

QUESTIONNAIRE ANONYME REMPLI IN SITU IMMEDIATEMENT APRES L’ECOSM

AVEC TOUS NOS REMERCIEMENTS AUX ETUDIANTS QUI ONT BIEN VOULU Y REPONDRE

LEGENDES POUR LES REPONSES : (*) : mettre une croix à la réponse appropriée : Très satisfait Satisfait Sans particularité

Peu satisfait Pas satisfait du tout NE = non évalué (**) entourez la bonne réponse : oui / non / ?= ne sait pas RAPPEL : Instruction = tâche à accomplir. Observateur = évaluateur. Simulateur= celui qui joue le rôle du patient=patient standardisé. Matériel = support pour accomplir la tâche, ceci peut être du matériel provenant de patient (photographie d’un fond d’œil, d’une lésion oculaire) ou bien du matériel médical à l’usage des patients tels que compresses, collyre, échelle d’acuité visuelle.

Service où

l’étudiant a fait* H. La Rabta IHROT A IHROT B IHROT C HCN H.H.

THAMEUR H.

MILITAIRE H.

FSI H.

NABEUL L’ECOSM Son stage

d’ophtalmologie

1-Les stages cliniques et les ECOSM

Pour vous, globalement, l’ ESCOSM est *: Tout à fait d’accord

D’accord Pas d’accord

Q1- Rapide Q2- Pertinente Q3- Objective Q4- Fiable Q5- Une évaluation des compétences acquises associées au stage fait par l’étudiant

Q6- Disposiez vous dans votre stage de fiches techniques vous permettant de répondre aux stations de L’ECOSM d’aujourd’hui **: Oui / Non / Ne se rappelle pas Q7- Disposiez vous dans votre stage d’un planning vous permettant de vous organiser afin de répondre aux stations de L’ECOSM d’aujourd’hui **: Oui / Non / Ne se rappelle pas

2- Organisation générale de l’ECOSM aujourd’hui

NE

Q8- Accueil Q9- Enseignant responsable bienveillant Q10- Consignes de réalisation de l’ECOSM claires (circulation et temps accordé à chaque station)

Q11- Circuit de rotation des stations fluide Q12- Timing respecté (respect du temps/station et du temps de rotation entre les stations)

Q13- Chaque station répond à une tâche spécifique unique ** : Oui / Non / Ne sait pas Dans le cas contraire, dans quelle(s) station(s) il existe plusieurs tâches** : 1 2 3 4 5 6 7 8 9 10 11 12 Q14- Chaque station répond à un objectif d’apprentissage clairement identifié**: Oui / Non / Ne sait pas Dans le cas contraire, dans quelle(s) station(s) cet objectif n’est pas claire** : 1 2 3 4 5 6 7 8 9 10 11 12

3- Les différentes stations de l’ECOSM aujourd’hui

25

NE

Q15- L’instruction est claire pour toutes les stations* Dans le cas contraire, dans quelle(s) station(s) l’instruction n’est pas claire** : 1 2 3 4 5 6 7 8 9 10 11 12 Q16- Le matériel fourni est adapté à l’instruction**: Oui / Non / ? Dans le cas contraire, dans quelle(s) station(s) le matériel vous semble un matériel non adapté** : 1 2 3 4 5 6 7 8 9 10 11 12

Q17- Le matériel fourni est un matériel non fictif destiné à l’usage des patients**: Oui / Non / ? Dans le cas contraire, dans quelle(s) station(s) le matériel vous semble un matériel fictif ** : 1 2 3 4 5 6 7 8 9 10 11 12

Q18- Y a-t-il eu des échanges oraux entre l’étudiant et l’observateur**: Oui / Non / ? Q19- Certaines stations ne correspondent pas aux objectifs décrits dans le carnet de stage **: Oui / Non / ? Si oui, la(es) quelle (s)** : 1 2 3 4 5 6 7 8 9 10 11 12 Q20- Y a-t-il une (des) station(s) qui aurait (ent) pu être posée(es) lors de l’examen écrit** : Oui / Non / ? Si oui, la(es) quelle (s)** : 1 2 3 4 5 6 7 8 9 10 11 12 Q21- L’observateur remplit la fiche d’évaluation pendant que vous exécutez votre entretien ou votre geste ou immédiatement après **: Oui / Non / ? Dans le cas contraire, de quelle(s) station(s) il s’agit** : 1 2 3 4 5 6 7 8 9 10 11 12

Station avec patient standardisé (simulateur)

NE

Q22- Le simulateur joue correctement son rôle Q23- L’observateur et le simulateur sont des personnes différentes*

Dans le cas contraire, dans quelle(s) station(s) c’est la même personne **: 1 2 3 4 5 6 7 8 9 10 11 12 Dans quelle(s) station(s) le simulateur joue mal son rôle **: 1 2 3 4 5 6 7 8 9 10 11 12

Station avec matériel

NE

Q24- Les documents fournis sont des vrais documents de patient ou à l’usage des patients

Dans le cas contraire, dans quelle(s) station(s) les documents vous semblent issus de livres ou d’ouvrages** : 1 2 3 4 5 6 7 8 9 10 11 12 Q25- Matériel utilisé adéquat aux instructions Dans le cas contraire, dans quelle(s) station(s) le matériel est inadéquat à l’instruction**: 1 2 3 4 5 6 7 8 9 10 11 12