ANNEE 2010 N THESEdoxa.u-pec.fr/theses/th0585177.pdf · Le travail de G. SETOC et R. Zuberi, l’instrument « SETOC » (Student Evaluation of Teaching in Outpatients Clinics) (14)

SOUTENANCE A CRETEIL

UNIVERSITE PARIS VAL-DE-MARNE

FACULTE DE MEDECINE DE CRETEIL

* * * * * * * * * * * * * * ANNEE 2010 N

THESE

POUR LE DIPLOME D’ETAT

DE

DOCTEUR EN MEDECINE Discipline : Médecine Générale

* * * * * *

Présentée et soutenue publiquement le :

A : CRETEIL (PARIS XII)

Par : GARCIA RIVERO Yilliam

Née le 27 novembre 1971 à Santiago (Cuba)

* * * * * *

TITRE : Évaluation des Enseignants Cliniciens Ambulatoires maîtres de stage par les internes en s tage

en médecine générale ambulatoire de niveau 1

DIRECTEUR DE THESE : Mr Vincent RENARD

LE CONSERVATEUR DE LA BIBLIOTHEQUE UNIVERSITAIRE

Signature du Directeur de thèse Cachet de la bibliothèque universitaire

2

REMERCIEMENTS

A mon directeur de thèse, Monsieur Vincent Renard pour m’avoir proposé ce travail, pour son aide précieuse, sa rigueur scientifique et ses conseils, mes plus sincères remerciements.

A tous les médecins généralistes du Val de Marne et aux internes niveau 1 de médecine générale à la faculté de Créteil qui ont bien voulu répondre à mon questionnaire et qui ont permis ainsi la réalisation de cette thèse.

Aux membres du jury de m’avoir fait l’honneur d’être présents lors de ma soutenance.

A mon ami David, pour son soutien, son aide, et sa patience…

3

TABLE DES MATIERES

GLOSSAIRE ......................................................................................................... 5

I. INTRODUCTION.......................................................................................... 6

II. METHODE DE L’ETUDE ............................................................................... 9

II.1 CONCEPTION DES QUESTIONNAIRES ............................................................................................ 9

Questionnaire destiné aux Internes .............................................................................................. 9

Questionnaire destiné aux ECA Niveau 1 ................................................................................... 12

II.2 RECUEIL DES DONNEES............................................................................................................... 15

Pour les Internes.......................................................................................................................... 15

Pour les ECA niveau 1 ................................................................................................................. 16

III. RESULTATS ............................................................................................... 17

III.1 QUESTIONNAIRE ETUDIANTS .................................................................................................... 17

Tableau de synthèse des choix effectués .................................................................................... 18

III.2 RESULTATS – QUESTIONNAIRE ECA........................................................................................... 22

Items Inadaptés........................................................................................................................... 26

IV. DISCUSSION.............................................................................................. 27

IV.1 Les limites de l’étude ................................................................................................................. 27

IV.2 L’adhésion au SETOC (Grille d’évaluation Bordage)................................................................... 27

IV.3 Impact des évaluations pour les ECA ........................................................................................ 28

IV.4 Formulation des items. .............................................................................................................. 29

IV.5 Adaptation de la grille SETOC au troisième cycle ...................................................................... 41

V. CONCLUSION............................................................................................ 46

VI. REFERENCES BIBLIOGRAPHIQUES............................................................. 47

VII. ANNEXES .................................................................................................. 49

Annexe 1 : Grille IDF .......................................................................................................................... 49

Annexe 2 : Grille CTEI ........................................................................................................................ 51

Annexe 3 : Proposition de traduction de MedIQ .............................................................................. 52

Annexe 4 : Fiche d’Evaluation de la Qualité Pédagogique du Stage ................................................. 54

Annexe 5 : Résultats (relevé complet) .............................................................................................. 55

Annexe 6 : Evaluation des ECA .......................................................................................................... 56

4

LISTE DES TABLEAUX ET GRAPHIQUES

Tableau 1 – Utilisation de la grille SETOC et critères de choix du stage ............................................... 17

Tableau 2 - Synthèse des choix effectués ............................................................................................. 18

Graphique 3 – Hiérarchie des facteurs de choix des internes............................................................... 19

Tableau 4 – Synthèse questionnaire internes 2006/2007/2008 - Questions 6 à 8............................... 20

Tableau 5 – Synthèse questionnaire internes 2006/2007/2008 - Questions 9 à 12............................. 21

Tableau 6 – Synthèse questionnaire ECA 2006/2008 – Questions 1 à 5............................................... 22

Tableau 7 - Synthèse questionnaire ECA 2006/2008 – Questions 6 à 8 .............................................. 23

Tableau 8 - Items inadaptés pour les ECA............................................................................................. 23

Tableau 9 - Synthèse questionnaire ECA 2006/2008 – Questions 11 et 12.......................................... 25

Tableau 10 – Synthèse globale des items inadaptés............................................................................. 26

Tableau 11 - Instrument SETOC............................................................................................................. 43

Tableau 12 - Instrument SETOC modifié par le Dr Haag ....................................................................... 44

Tableau 13 - Proposition de modification de l’instrument SETOC....................................................... 45

Tableau 14 - Grille IDF .......................................................................................................................... 50

Tableau 15 - Grille CTEI......................................................................................................................... 51

Tableau 16 - Proposition de traduction de MedIQ............................................................................... 53

Tableau 17 - Fiche d’évaluation du stage chez le médecin généraliste (2ème

cycle) ............................. 54

Tableau 18 - Résultats questionnaire internes 2006/2007/2008 – Question 5.................................... 55

Tableau 19 - Résultats questionnaire ECA Juillet 2006 (1) – Questions 6 à 12 ..................................... 56



Tableau 22 - Résultats questionnaire ECA Septembre 2008 (1) – Questions 6 à 12............................. 59



INTRODUCTION 5

GLOSSAIRE

« ECA » Enseignant Clinicien Ambulatoire Maître de Stage. Médecin

Généraliste de ville, qui accueille pour leur formation, des

internes en Médecine Générale

« Instrument

SETOC »

Student Evaluation of Teaching in Outpatients Clinics. Cet

instrument permet de mesurer la qualité des enseignants

cliniciens en milieu ambulatoire, par les internes (Cf. tableau

11).

« Instrument CTEI » Clinical Teaching Effectiveness Instrument. Instrument de

mesure en anglais, se rapprochant de l’instrument SETOC.

Conçue aussi bien pour le deuxième que pour le troisième

cycle, en milieu hospitalier et universitaire (Cf. annexe 2).

« Instrument

MedIQ »

Measure of Medical Instructional. Instrument de mesure en

anglais pour l’évaluation des enseignants cliniciens en milieu

ambulatoire, construit et validé essentiellement dans le cadre

du deuxième cycle des études médicales (Cf. annexe 3).

« Fiche d’évaluation

de la qualité

pédagogique du

stage»

Instrument de mesure en Français. C’est une fiche

d’évaluation de la qualité pédagogique du stage, par

l’étudiant de troisième année de deuxième cycle des études

médicales (Cf. annexe 4).

« Grille IDF »

Instrument de mesure en Français. Elle a été élaborée par un

travail du département de Médecine Générale de la faculté

de Paris Ile de France Ouest, pour l’évaluation du stage

ambulatoire de niveau 1 du troisième cycle des études

médicales (Cf. annexe 1).

INTRODUCTION 6

I. INTRODUCTION

Selon les données de la littérature, les grilles d’évaluation remplies par les internes

sont les meilleures sources de données concernant l’évaluation des enseignants

universitaires (11). Des études concernant l’évaluation des chargés d'enseignement

en médecine par leurs internes ont mis en évidence des effets partiellement

discordants sur l'amélioration de la pratique de l’enseignement évalué (10).

Le travail de G. SETOC et R. Zuberi, l’instrument « SETOC » (Student Evaluation of

Teaching in Outpatients Clinics) (14) (Cf. tableau 11) a été présenté en France lors

des XVème Journées Universitaires Francophone de Pédagogie Médicale de la

CIDMEF (9) (Conférence Internationale des Doyens des Facultés de Médecine

d'Expression Française) à Nancy, en Avril 2003.

Une version française, traduite par l’auteur lui-même a été proposée. Il s’agit d’un

outil destiné à l’évaluation par les étudiants de 2ème cycle des enseignants maîtres de

stage en ambulatoire (14) (Cf. tableau 11).

Suite à cette présentation, ce travail a retenu l’attention des enseignants de

médecine générale de la faculté de médecine de Créteil, puis de ceux des facultés

de Paris Ile-de-France Ouest et de Brest. Les responsables d’enseignement de ces

facultés ont postulé qu’étant donné la validité et la fiabilité de la grille d’évaluation,

élaborée au Pakistan et au Canada (13), il serait intéressant de l’appliquer au

contexte du stage ambulatoire de niveau 1 du 3ème cycle de médecine générale (6

mois chez un médecin généraliste ambulatoire).

Ainsi, cette grille d’évaluation a été proposée à tous les internes de troisième cycle

effectuant leur stage ambulatoire de niveau 1, depuis 2003, dans la faculté de Créteil

pour l'évaluation des enseignants cliniciens ambulatoires maîtres de stage (ECA)

dans le cadre du stage de médecine générale ambulatoire du troisième cycle.

Cependant, elle n’a pas été mise en place dans les facultés de Paris Ile-de-France

ouest et de Brest.

INTRODUCTION 7

Il existe très peu d’exemples d’instruments tels que la grille SETOC dans la

littérature. La plupart des instruments étudiés et validés sont conçus pour l’évaluation

des enseignants cliniciens en milieu hospitalier (7). De plus, les grilles d’évaluations

retrouvées dans la littérature, s’intéressent à la fois au deuxième et au troisième

cycle des études médicales. Il n’existe pas d’autre instrument de mesure validé,

spécifique au seul milieu ambulatoire et au troisième cycle des études médicales (6).

Il existe deux instruments de mesure en anglais, se rapprochant de l’instrument

SETOC. Le premier est l’instrument CTEI (Clinical Teaching Effectiveness

Instrument), (4) (Cf. annexe 2), qui est une grille d’évaluation des enseignants

cliniciens, conçue aussi bien pour le deuxième que pour le troisième cycle, en milieu

hospitalier et universitaire. Le deuxième est l’instrument MedIQ (Measure of Medical

Instructional) (8) (Cf. annexe 3) qui est un instrument d’évaluation des enseignants

cliniciens en milieu ambulatoire, construit et validé essentiellement dans le cadre du

deuxième cycle des études médicales. Ces instruments ne sont à notre

connaissance pas utilisés en France (6).

Deux grilles d’évaluation sont couramment utilisées. La première se présente sous

forme d’une « fiche d’évaluation de la qualité pédagogique du stage par l’étudiant de

troisième année de deuxième cycle des études médicales ». Elle figure au Journal

Officiel de la République Française, en annexe de l’arrêté du 23 novembre 2006

relatif à la deuxième partie du deuxième cycle des études médicales (1) (Cf. annexe

4). La seconde est une « fiche d’évaluation de l’Enseignant Clinicien Ambulatoire ».

Elle a été élaborée par un travail du département de Médecine Générale de la faculté

de Paris Ile de France Ouest et elle est utilisée dans plusieurs facultés d’Ile-de-

France depuis la rentrée universitaire 2007-2008, pour l’évaluation du stage

ambulatoire de niveau 1 du troisième cycle des études médicales (6) (Cf. Grille IDF,

annexe 1).

INTRODUCTION 8

Un travail de thèse a été effectué à la faculté de Créteil, en 2008 par le Dr HAAG,

dont l’objectif était de proposer des améliorations de l’outil SETOC afin de l’adapter à

l’évaluation des ECA pour le 3ème cycle. Ce travail, partant de la construction et de la

validation de l’instrument SETOC a sollicité l’opinion d’experts, s’est appuyé sur

l’étude approfondie de la littérature de 2006 à 2008 et sur la comparaison à d’autres

outils. Des propositions de modifications ont été faites en prenant en compte les

limites de l’outil SETOC et la formulation des outils précédents (Cf. tableau 12).

Notre travail a consisté, à interroger les acteurs de l’enseignement en stage à la

faculté de Créteil : les ECA et les internes en Médecine Générale de niveau 1. Ce

stage en médecine générale ambulatoire est actuellement le seul stage obligatoire

dans le milieu futur d’exercice au sein du Diplôme d’Etudes Spécialisées (DES) de

Médecine Générale dont l’objectif est l’acquisition de l’autonomie de l’interne pour

l’exercice de Médecine Générale.

Nous ne connaissions pas jusqu’à présent, après plusieurs semestres d’utilisation,

l’opinion des internes et des ECA sur la pertinence de cette évaluation et de ses

différents items. Nous n’avions pas non plus d’élément sur l’impact de cette

évaluation sur le choix des Enseignants Cliniciens Ambulatoires Maîtres de Stage

(ECA) par les internes.

C’est donc pour répondre à ces questions que nous avons mené ce travail. Nous

avions pour finalité de proposer des améliorations à l’outil SETOC dans le contexte

du stage de médecine générale ambulatoire de niveau 1 du 3ème cycle de médecine

générale et donc de proposer un nouvel outil compte tenu de ce travail et du travail

préalable du Dr.Haag.

METHODE DE L’ETUDE 9

II. METHODE DE L’ETUDE

Nous avons réalisé en parallèle deux enquêtes observationnelles; la première

concernait les internes de Médecine Générale, la seconde les ECA.

• La première enquête a porté sur un échantillon de 34 internes, stagiaires de

Médecine Générale niveau 1, à propos de l’intérêt et de la prise en compte des

évaluations (outil SETOC) mises à leur disposition en 2007 et 2008.

• La seconde enquête a porté sur un échantillon de 36 ECA niveau 1, à propos de

leur évaluation 1 à 2 mois après l’avoir reçue en 2007 et 2008.

II.1 CONCEPTION DES QUESTIONNAIRES

Questionnaire destiné aux Internes

Le questionnaire se présentait sous forme des 2 feuilles A4 recto ; il était composé

de 12 questions, dont 10 questions fermées de type QCM (Question à Choix

Multiple), et 2 questions ouvertes destinées à connaître les critères utilisés par les

internes lors du choix de leur stage et les améliorations de l’outil SETOC (Cf.

Tableau 11) qu’ils souhaitaient.

Ci-dessous sont détaillées chacune des questions composant le questionnaire, ainsi

qu’une brève description de leur objectif. Ces questions couvrent les aspects

suivants :

• Questions 1 et 2 : processus d’utilisation de la grille SETOC (moments clés,

acteurs),

• Questions 3 à 5 : critères de sélection considérés lors du choix du stage,

• Questions 6 à 8 : pertinence, précision et complétude des items de la grille

SETOC,

• Questions 9 à 12 : véracité et objectivité des évaluations réalisées.


Questions (choix multiple) Description et but de la question

Utilisation de la grille SETOC

Question 1 : Êtes-vous informé de l’existence d’une grille d’évaluation des ECA à votre faculté ? (Oui, Non)

Connaitre la proportion d’internes au courant de l’existence de la grille SETOC, ceci afin de vérifier le déploiement correct de l’outil, et éventuellement d’entreprendre des actions visant à corriger une mauvaise information.

Question 2 : Avez-vous eu connaissance de celle-ci lors du choix de stage ? (Oui, Non)

Vérifier si les internes savent qu’ils ont un outil à leur disposition au moment du choix de leur stage de l’ECA.

Critères de sélection lors du choix du stage

Question 3 : En avez-vous tenu compte lors de votre choix de stage ? (Oui, Non)

Évaluer si la grille SETOC est réellement utilisée par les internes pour orienter leur choix.

Question 4 : Y-a-t-il d’autres critères que l’évaluation qui ont influencé votre choix de stage ? (Oui, Non)

Préciser les autres critères.

[Question ouverte]

Connaitre les autres critères qui influencent le choix des internes.

Question 5 : Classez les critères par ordre d’importance :

• Implantation géographique • Configuration des locaux de

consultation • Horaires de travail • Particularité de l’exercice médical • Grille d’évaluation SETOC (1, 2, 3, 4, 5)

Citez d’autres critères qui ont influencé votre choix.

[Question ouverte]

Hiérarchiser les critères de choix des internes et la place de la grille SETOC parmi les autres critères de choix.

Les autres critères cités sont ceux connus des internes au moment du choix car identifiés dans les fiches de renseignement des lieux de stage et des ECA.

La question ouverte complète la question 4 afin que soient mentionnés les critères qui ne figuraient pas dans la liste préétablie.



Pertinence, précision et complétude des items de la grille SETOC

Question 6 : Est-ce que la formulation des items de la grille d’évaluation vous parait pertinente et précise ? (Oui, Non, Variable en fonction des items)

Vérifier si les items de la grille SETOC sont bien compris et donc correctement formulés, et s’ils reflètent bien les besoins d’information des internes.

Question 7 : Préciser les items inadaptés.

[Liste des items]

Connaître ce qui, selon les internes, n’est pas utile ou pertinent dans la grille SETOC.

Question 8 : Quelles sont vos propositions de modification ou d’amélioration de la formulation des items ?

[Question ouverte]

Recueillir les propositions d’amélioration selon les internes.

Véracité et objectivité des évaluations réalisées

Question 9 : La notation des items vous a-t-elle renseignée suffisamment sur la qualité de l’ECA ? (Oui, Non, Variable en fonction des items)

Estimer si les évaluations précédentes apportaient des renseignements utilisables par les internes.

Question 10 : Êtes-vous a posteriori en accord global avec l’évaluation dont vous aviez eu connaissance ? (En désaccord total, En désaccord partiel, En accord partiel, En accord total)

Évaluer si les internes pensent que l’outil reflète leur réalité.

Question 11 : Comptez-vous remplir l’évaluation à l’issue de votre stage ? (Oui, Non, Ne sais pas)

Évaluer l’adhésion des internes à l’outil.

Question 12 : Pensez-vous que votre évaluation renseignera valablement sur la qualité de l’ECA ? (Pas du tout, Pas tellement, Modérément, Beaucoup)

Évaluer si les internes jugent l’outil pertinent.


Questionnaire destiné aux ECA Niveau 1

Le questionnaire se présentait sous forme des 2 feuilles A4 recto, composé de 12

questions, dont 10 questions fermées de type QCM (Question à Choix Multiple), et 2

questions ouvertes. L’objectif était d’une part de connaître leurs suggestions

d’amélioration ou de modification des items de la grille SETOC, et d’autre part de

connaitre les actions qu’ils comptaient entreprendre suite à la lecture des résultats de

leurs évaluations.

Ci-dessous sont détaillées chacune des questions composant le questionnaire, ainsi

qu’une brève description de leur objectif. Ces questions couvrent les aspects

suivants :

• Questions 1 et 2 : processus d’utilisation de la grille (moments clés, acteurs),

• Questions 3 à 5 : capitalisation des évaluations en vue d’usage futur,

• Questions 6 à 7 : intérêt du résultat des évaluations,

• Questions 8 à 10 : pertinence, précision et complétude des items de la grille,

• Questions 11 à 12 : impacts des évaluations sur les ECA.


Utilisation de la grille SETOC

Question 1 : Êtes-vous informé de l’existence d’une grille d’évaluation des ECA niveau 1 dans notre faculté depuis 2003 ? (Oui, Non)

Connaitre la répartition des ECA qui sont au courant de l’existence de la grille SETOC, ceci afin de vérifier le déploiement correct de l’outil, et éventuellement d’entreprendre des actions visant à corriger une mauvaise information auprès des ECA.

Question 2 : Êtes-vous informé qu’elle est communiquée aux internes lors du choix du stage ? (Oui, Non)

Vérifier si les ECA connaissent le processus mettant en œuvre la grille d’évaluation (sa distribution, les acteurs en jeu) ; en particulier, on vérifie ici que le moment précis où elle est communiquée aux internes est connu des ECA.



Capitalisation des évaluations

Question 3 : Vous souvenez-vous de l’avoir reçue ? (Oui, Non)

Si oui, merci de bien vouloir noter la date de réception de votre dernière évaluation (semaine et mois de l’année).

Vérifier que les ECA portent attention au processus d’utilisation de la grille SETOC (en particulier le moment de réception de l’évaluation) et aussi sur l’intérêt qu’ils y ont porté. La question sur la date donne une indication sur le fait qu’ils enregistrent / conservent les évaluations reçues.

Question 4 : L’avez-vous lue ? (Pas du tout, Regardé très rapidement, Lu en totalité, Lu en détail attentivement)

Identifier un besoin ou une attente chez les ECA en mesurant l’intérêt réel suscité dans la lecture des résultats des évaluations.

Question 5 : Qu’en avez-vous faite ? (Archivée ou classée, En attente de rangement, Jetée, Ne sais pas)

Connaitre l’utilité personnelle de la grille SETOC pour les ECA. Par exemple, s’ils l’ont archivé, on peut en déduire une intention de consultation postérieure en vue de mesurer leur propre évolution.

Intérêt du résultat des évaluations de la grille SE TOC

Question 6 : Cette évaluation vous parait-elle globalement conforme à vos attentes ? (Oui, Non)

Vérifier si la grille SETOC est un outil utile pour répondre aux besoins des ECA, besoins auxquels ils ne pouvaient pas répondre auparavant faute d’un outil adapté.

Question 7 : Qu'est-elle par rapport à ce que vous estimiez ? (Moins bonne, Equivalente, Meilleure)

Connaître si les réponses données par les internes correspondent à la vision que l’ECA a de lui-même et du contexte du stage (déroulement, organisation, comportement des personnes). On mesure aussi ici si la grille SETOC apporte aujourd’hui aux ECA une réelle « valeur ajoutée ».



Pertinence, précision et complétude des items de la grille SETOC

Question 8 : La formulation des items de la grille SETOC vous parait-elle pertinente et précise ? (Oui, Non, Variable en fonction des items)

Connaître de façon directe le niveau d’utilité de la grille SETOC tant dans sa forme que dans son contenu.

Question 9 : Préciser les items inadaptés.

[Liste des items]

Connaître ce qui, selon les ECA, n’est pas utile dans la grille SETOC (et par conséquent aussi ce qui est utile), ceci afin de l’améliorer en supprimant ou modifiant la formulation de certains des items afin de rendre celle-ci plus pertinente.


[Question ouverte]

Recueillir les propositions d’amélioration, en particulier en modifiant ou en ajoutant des items à la grille SETOC.

Impacts des évaluations sur les ECA

Question 11 : Cette évaluation vous a-t-elle : (Déçu, Dévalorisé, Découragé, Satisfait, Valorisé, Encouragé)

Connaître l’impact émotionnel qu’on suscité les évaluations chez les ECA. On veut ici confirmer que l’outil n’est pas contre productif et qu’il est réellement utile et attendu par les ECA, mais on veut aussi vérifier si un impact émotionnel négatif peut susciter des actions de correction de la part des ECA (en le croisant avec la question suivante).



Question 12 : Allez-vous mettre en œuvre une action suite à cette évaluation ? (Oui, Non, Ne sais pas)

Précisions ou descriptions des actions éventuelles.

[Question ouverte]

Connaître d’une part si les évaluations ont bien confirmé ou fait prendre conscience aux ECA des problèmes survenus lors du stage (ou des besoins d’amélioration), et d’autre part, si ces évaluations les incitaient à être proactifs et à entreprendre des actions correctives.

Les idées d’actions qui seront précisées par les ECA permettront de mettre au point un plan d’actions pour l’amélioration des futurs stages.

II.2 RECUEIL DES DONNEES

Pour les Internes

Nous avons expliqué et distribué les questionnaires lors des 2 réunions de fin de

stage des internes niveau 1 qui ont eu lieu en avril 2007 et 2008 :

• 19 internes étaient présents en avril 2007 (correspondant au semestre novembre

2006 à avril 2007).

• 15 internes étaient présents en avril 2008 (correspondant au semestre novembre

2007 à avril 2008).

A la fin de la réunion, une fois que les internes ont eu fini de remplir la grille

d’évaluation SETOC, nous avons distribué le questionnaire de manière individuelle.

Le temps moyen pour le remplir était de 10 à 15 minutes.


Pour les ECA niveau 1

La secrétaire du Département de Médecine Générale a envoyé par courrier postal

les résultats et les scores des évaluations de chaque ECA niveau 1, en mai 2006 et

juillet 2008.

La grille d’évaluation est considérée comme une échelle composite permettant

d’évaluer la qualité d’un enseignant en attribuant un score à chacune des dimensions

pédagogiques étudiées.

Une moyenne de l’ensemble des ECA est calculée pour chaque item de la grille

SETOC et la position de chaque ECA par rapport à la moyenne, intitulée score (S),

leur est individuellement communiquée une fois par an.

Environ 1 mois après avoir envoyé les évaluations et les scores, la secrétaire du

Département de Médecine Générale a envoyé par courriel à chaque ECA niveau1 :

• Une lettre de présentation de l’étude et la marche à suivre pour y participer.

• 1 questionnaire pour les ECA ayant eu 1 seul stagiaire niveau 1, et 2

questionnaires pour ceux ayant eu 2 stagiaires niveau 1.

• En 2006, la réponse aux questionnaires était adressée par courriel à la secrétaire

du Département de Médecine Générale.

• En 2008, la réponse aux questionnaires était adressée par courrier postal à mon

domicile.

RESULTATS 17

III. RESULTATS

III.1 QUESTIONNAIRE ETUDIANTS

Sur les 34 internes interrogés nous avons recueilli la totalité des questionnaires.

Tous les questionnaires étaient exploitables.

La grille d’évaluation était connue de tous les internes. Elle était utilisée au bon

moment lors du choix du stage et influençait ce dernier. Il existait d’autres critères qui

pouvaient influencer ce choix (Cf. tableau 1).

OUI NON

Question 1 : Êtes-vous informé de l’existence d’une grille d’évaluation de l’ECA dans notre faculté ? 33 1

Question 2 : Avez-vous eu connaissance de celle-ci lors du choix de stage ? 34 0

Question 3 : En avez-vous tenu compte lors de votre choix de stage ? 32 2

Question 4 : Y a-t-il d’autres critères que l’évaluation qui ont influencé votre choix de stage ? 32 2

Autres critères Nombre d’internes

Les commentaires des stagiaires précédents 3

Le nombre des médecins faisant partie du cabinet médical 2

La polyvalence de l’ECA et la diversité de son exercice 1

Selon les postes qu’il restait 1

La qualité du contact téléphonique avec les ECA avant le choix de stage 1

L’absence de travail le samedi 1

Tableau 1 – Utilisation de la grille SETOC et critères de choix du stage

L’influence de la grille SETOC parmi d’autres critères (l’implantation géographique,

la configuration des locaux, les horaires de travail et la particularité de l’exercice

RESULTATS 18

médical) dans la hiérarchie du choix des internes a été explorée par la question

suivante. Les internes devaient coter l’importance de chacun des items ayant présidé

à leur choix. Sur les 32 d’entre eux qui ont répondu, un interne n'a pas effectué de

4ème ni de 5ème choix, se contentant de positionner ses 3 premières préférences

(la configuration des locaux et les horaires de travail ont été exclus de ses choix).

Une donnée erronée (le 2ème choix manque dans la réponse n°16 qui aurait du ê tre

le choix de la grille d’évaluation des ECA puisque les autres rubriques ont été

positionnées dans ses 1er, 3ème, 4ème et 5ème choix). Un autre interne n’a pas émis

explicitement son 5ème choix (qui aurait du être la configuration des locaux puisque

les autres rubriques avaient déjà été choisies dans ses 1er, 2ème, 3ème et 4ème choix).

On constate que l'implantation géographique était le choix préféré des internes

(presque 50% des 1er choix et 30% des 2ème choix) ; en 2ème choix, ressortait

l’item « horaires de travail » ; l’item « grille d’évaluation » se positionnait en 3ème

choix. La configuration des locaux était le critère qui intervenait le moins dans le

choix (plus de 60% des internes l'ont mis en dernier) (Cf. tableau 2).

Tableau de synthèse des choix effectués

Tableau 2 - Synthèse des choix effectués

Pour chaque étudiant, le premier choix est associé à la valeur 5, le 2ème choix à la

valeur 4, le 3ème choix à la valeur 3, le 4ème à la valeur 2 et enfin le 5ème choix à la

valeur 1. La somme des valeurs permet de refléter la hiérarchie du choix des

internes.

Choix Implantation géographique

Configuration des locaux

Horaires de travail

Particularité de l'exercice médical

Grille d'évaluation des ECA

1er choix 16 1 5 5 6

2ème choix 11 1 11 4 3

3ème choix 1 5 7 8 13

4ème choix 1 4 4 12 8

5ème choix 3 19 4 3 1

RESULTATS 19

Cette hiérarchie des 5 items est illustrée dans le diagramme 3 ci-dessous.

0

20

40

60

80

100

120

140

Importance

Implantation

géographique

Horaires de travail

Grille d'évaluation

des MDS

Particularité de

l'exercice médical

Configuration des

locaux

Graphique 3 – Hiérarchie des facteurs de choix des internes

La formulation des items de la grille SETOC paraissait aux internes à 68 %

pertinente et précise, à 26% variable en fonction des items, et à 6% non pertinente et

précise. 11 internes sur 34 estimaient certains items de la grille inadaptés, 2 de

manière globale, 9 seulement pour certains items.

Les items 5, 6 et 8 étaient 3 fois cités par les internes comme inadaptés, en

l’occurrence :

• l’observation directe par le ECA de l’aptitude de l’interne (questionner et

examiner les malades d’une part, expliquer et enseigner à ces derniers d’autre

part),

• le questionnement par l’ECA explorant le niveau de compréhension de

l’étudiant.

RESULTATS 20

Les items 2, 3, 9, 11, 13, 14 et 15 étaient cités par 1 ou 2 internes. Les items 1, 4, 7,

10 et 12 n’étaient pas mentionnés. Les résultats sont résumés dans le tableau 4 ci-

dessous.

OUI NON Variable en fonction des items

Question 6 : Est-ce que la formulation des items de la grille d’évaluation

vous parait pertinente et précise ? 23 2 9

Question 7 : Préciser les items inadaptés Items Nombre de réponses

Précision par l’ECA de vos attentes et des siennes pour le stage (définition des responsabilités, rôles, évaluations etc.)

2 2

Bon équilibre entre les soins et l'enseignement réalisés sur le lieu de stage 3 1

Observation directe par l’ECA de mon aptitude à questionner et examiner les malades 5 3

Observation directe par l’ECA de mon aptitude à expliquer et enseigner aux malades 6 3

Questionnement par l’ECA explorant mon niveau de compréhension (Pourquoi? Si? Imaginez que…Puis après?)

8 3

Insistance de l’ECA sur les "éléments clés" pour chaque malade 9 1

Identification par l’ECA de mes qualités et de mes forces 11 2

Application par l’ECA des connaissances théoriques aux malades vus 13 2

Démonstration par l’ECA de la prise de décisions diagnostiques et thérapeutiques "fondées sur les preuves"

14 1

Désir de faire des stages additionnels avec le même ECA 15 2


Tableau 4 – Synthèse questionnaire internes 2006/2007/2008 - Questions 6 à 8

Pour 23 des 34 internes interrogés (68%), la notation des items les aurait

suffisamment renseignés sur la qualité de l’ECA, pour 7 internes (20%) cette notation

ne les aurait pas renseignés du tout, pour 3 d’entre eux (8%) le renseignement aurait

été variable selon les items. 1 interne n’a pas répondu (3%).

A posteriori, 13 internes sur 34 (38%) étaient en accord global avec le résultat de

l’évaluation SETOC, en proportion équivalente (38%) ils étaient en accord partiel ; en

moindre proportion 4 internes sur 34 (11%) étaient en désaccord partiel, et 2 internes

sur 34 (5%) étaient en désaccord total.

RESULTATS 21

100% d’internes comptaient remplir la grille d’évaluation à l’issue de leur stage et

plus de la moitié d’entre eux pensaient que l’évaluation renseignait valablement sur

la qualité de l’ECA. L’ensemble de ces résultats sont colligés dans le tableau 5.

Les propositions d’amélioration ou modification de la formulation des items par les

internes étaient les suivantes :

• Renseigner sur les horaires de travail du cabinet et sur leur configuration pour 1

interne sur 34.

• Préciser le cadre du stage additionnel pour 1 interne sur 34.

• Ajouter une question sur l’aptitude à gérer l’empathie en situation complexe pour

1 interne sur 34.

OUI NON Variable selon les items

Pas de réponse

Question 9 : La notation des items vous a-t-elle renseignée suffisamment sur la qualité de l’ECA? 23 7 3 1

En désaccord total

En désaccord partiel

En accord partiel

En accord total Question 10 : Etes vous à posteriori en accord global avec l’évaluation dont vous aviez eu connaissance ? 2 4 13 13

OUI NON Ne sais pas Question 11 : Comptez-vous remplir l’évaluation à l’issue de votre stage ? 34 0 0

Pas du tout Pas tellement Modérément Beaucoup Question 12 : Pensez-vous que votre évaluation renseignera valablement sur la qualité de l’ECA ? 2 1 13 17

Tableau 5 – Synthèse questionnaire internes 2006/2007/2008 - Questions 9 à 12

RESULTATS 22

III.2 RESULTATS – QUESTIONNAIRE ECA

Il y a eu 36 ECA interrogés, 18 en 2006 et 18 en 2008. Pour l’année 2006, 11

d’entre eux ont répondu à deux questionnaires, correspondant aux deux évaluations

reçues (accueil de 2 internes sur l’année) et 7 ont répondu à un seul questionnaire.

La première partie du questionnaire (items 1 à 5), était commune aux deux

évaluations. Pour l’année 2008, 7 d’entre eux ont répondu à deux questionnaires et

11 ont répondu à un seul (Cf. tableau 6).

100% des enseignants interrogés (36) étaient informés de l’existence de la grille

SETOC et 94% d’entre eux étaient informés que cette grille d’évaluation était

communiquée aux internes lors du choix de stage.

30 ECA sur 36 (83%) se souvenaient avoir reçu leur évaluation. Plus de la moitié

d’entre eux (55,5%) déclaraient l’avoir lue en détail et attentivement, 36% lue en

totalité, 5,5% l’avoir regardée très rapidement et pour 2,7 % ne pas l’avoir lue du

tout. 33,3% des ECA déclaraient avoir archivé ou classé leur évaluation, 36%

déclaraient que leur évaluation était en attente de rangement, 22% l’avoir jetée, et

8% ne savaient pas. Les résultats sont colligés dans le tableau 6.

oui non Question 1 : Êtes-vous informé de l’existence d’une évaluation des ECA niveau 1 dans notre faculté depuis 2003 ?

36 0

oui non Question 2 : Êtes-vous informé qu’elle est communiquée aux internes lors du choix de stage ? 34 2

oui non ne sais pas Question 3 : Vous souvenez vous de l’avoir reçue ? 30 0 6 Si oui, merci de bien vouloir noter la date de réception de votre dernière évaluation (semaine et mois de l’année). Date de réception :

Pas du tout Regardé très rapidement

Lu en totalité

Lu en détail attentivement Question 4 : L’avez vous lue ?

1 2 13 20 Archivée ou

classée En attente de

rangement Jetée Ne sais pas Question 5 : Qu’en avez-vous faite ?

12 13 8 3

Tableau 6 – Synthèse questionnaire ECA 2006/2008 – Questions 1 à 5

RESULTATS 23

Pour 81,4% des ECA, l’évaluation de l’interne leur paraissait globalement conforme à

leurs attentes.

Pour 22,2% d’entre eux, l’évaluation était meilleure qu’attendue, pour 18 ,5% moins

bonne et pour 44,4% cette évaluation était équivalente à ce qu’ils estimaient. Il y a eu

un taux de non réponse de 14,8%. Les résultats sont colligés dans le tableau 7.

Pour 81% des ECA, la formulation des items de la grille d’évaluation leur a paru

pertinente et précise (Cf. tableau 7).

oui non Question 6 : Cette évaluation vous parait-elle globalement conforme à vos attentes? 44 10

Moins bonne équivalente meilleure Sans réponse Question 7 : Qu'est-elle par rapport à ce que vous estimiez ? 10 24 12 8

oui non Variable en fonction des

items Question 8 : La formulation des items de la grille d’évaluation vous parait-elle pertinente et précise ? 44 2 8

Tableau 7 - Synthèse questionnaire ECA 2006/2008 – Questions 6 à 8

Les items qui paraissaient inadaptés étaient les suivants :

Un ECA sur 36 a répondu qu’il y avait 4 items inadaptés le 2, 3, 8, 9 ; un a cité l’item

8, un a cité l’item 15 (Cf. tableau 8)

Question 9 : Si la réponse est NON ou Variable, préciser lequel ou lesquels des items vous parait-il inadapté(s) ? Items

Nombre de réponses


2 1

Bon équilibre entre les soins et l'enseignement réalisés sur le lieu de stage 3 1


8 1

Insistance de l’ECA sur les "éléments clés" pour chaque malade 9 2

Désir de faire des stages additionnels avec le même ECA 15 1

Tableau 8 - Items inadaptés pour les ECA

RESULTATS 24

Les propositions de modification / d’amélioration d e la formulation des items

par les ECA :

• Il faudrait ajouter une question relative à la relation entre l’ECA et l’interne pour 1

ECA sur 36, ce qui pourrait permettre d’avoir une évaluation plus objective de la

cotation des items.

• L'évaluation ne prenait pas compte la disponibilité, elle-même liée au temps de

présence de l'interne (départ en milieu d'activité gênant pour une synthèse

correcte de fin de journée), pour 1 ECA sur 36.

• La cotation en 7 points de l’échelle de Likert semblait inadaptée pour 1 ECA.

• Pour un ECA, les items 7 et 11 étaient quasiment similaires et pouvaient êtres

regroupés.

• L’item 15 de la grille n’était pas adaptée pour 1 ECA; une réponse binaire oui /

non lui semblait plus pertinente.

• Les questions étaient trop vagues pour 1 ECA, avec regret d’un manque de

précision.

Pour 37% des ECA cette évaluation les a encouragés, pour 22,2% valorisés, pour

20% satisfaits.

En moindre proportion, cette évaluation a provoqué un impact négatif chez les ECA,

des sentiments de déception pour 9%, de découragement pour 5,5% et de

dévalorisation pour 1,8%. 3,7% n’ont pas répondu (Cf. tableau 9).

RESULTATS 25

Pour la moitié des ECA interrogés (50%) aucune action ne sera mise en œuvre à la

suite de cette évaluation. 31% entreprendront une action suite à cette évaluation,

15% d’entre eux ne savaient pas s’ils entreprendraient une action et 4% n’ont pas

répondu (Cf. tableau 9).

déçu dévalorisé découragé satisfait valorisé encouragé Sans

réponse Question 11 : Cette évaluation vous a t-elle ? 5 1 3 11 12 20 2

oui non ne sais pas Sans

réponse Question 12 : Allez-vous mettre en œuvre une action à la suite de cette évaluation ? 17 27 8 2

Tableau 9 - Synthèse questionnaire ECA 2006/2008 – Questions 11 et 12

Les propositions d’actions relèvent de plusieurs catégories :

• Modifications des conditions de déroulement du stage (autonomie du stagiaire,

suivi direct du stagiaire, bien définir les attentes, …),

• Changement du contenu de l’échange ECA / étudiant (pédagogie,

démonstrations pratiques, gestes techniques, …),

• Amélioration du matériel utilisé (topos, matériel informatique),

• Recherche d’une plus grande synergie et empathie (plus de disponibilité de

l’ECA, entente préalable entre stagiaire et l’ECA.

RESULTATS 26

Items Inadaptés

Nous avons rassemblé dans le tableau 10 ci-dessous l’ensemble des items de la grille SETOC que certains internes ou ECA ont signalé comme inadaptés sur le fond ou sur la forme.

Liste d’items signalés comme inadaptés par les ECA et les internes N°item


2

Bon équilibre entre les soins et l'enseignement réalisés sur le lieu de stage 3

Observation directe par l’ECA de mon aptitude à questionner et examiner les malades

5

Observation directe par l’ECA de mon aptitude à expliquer et enseigner aux malades

6


8

Insistance de l’ECA sur les "éléments clés" pour chaque malade 9

Identification par l’ECA de mes qualités et de mes forces 11

Application par l’ECA des connaissances théoriques aux malades vus 13

Démonstration par l’ECA de la prise de décisions diagnostiques et thérapeutiques "fondées sur les preuves"

14

Désir de faire des stages additionnels avec le même ECA 15

Tableau 10 – Synthèse globale des items inadaptés

DISCUSSION 27

IV. DISCUSSION

IV.1 Les limites de l’étude

Dans le cas particulier de cette enquête observationnelle, la taille de l’échantillon est

modeste, 34 internes et 36 ECA interrogés de 2006 à 2008. Toutefois, tous les

internes et les ECA ont répondu et toutes les réponses ont été exploitées.

La construction de notre questionnaire par définition perfectible, peut induire un biais

par rapport à un résultat obtenu avec un instrument de mesure idéal. Le faible

nombre de réponses explicites données par les ECA et les internes (26,4%)

concernant la question sur la pertinence et la précision de la formulation des items,

nous donne des pistes de réflexion mais ne permet pas toujours de conclure.

Des entretiens individuels ou de groupes auraient pu permettre d’approfondir

certains éléments de réponse mais il s’agirait d’un travail différent.

IV.2 L’adhésion au SETOC (Grille d’évaluation Borda ge)

Le département de Médecine Générale de la faculté de Créteil utilise l’instrument

SETOC (Grille Bordage) depuis 2003 pour l’évaluation des enseignants dans le

cadre du stage du Médecine Générale ambulatoire du troisième cycle.

Cet outil a un caractère institutionnel car c’est un document officiel, distribué aux

internes lors des réunions de fin de stage et pour lequel les résultats sont disponibles

sur le site internet de la faculté.

On constate que la totalité des internes et les ECA, sont informés de l’existence de

l’instrument SETOC (100% de réponses) ce qui démontre le bon déploiement de cet

outil et la réussite de son institutionnalisation.

Cette évaluation « instituée » a l’intérêt d’éviter une évaluation implicite ou une

évaluation spontanée selon la définition de Jean Marie Barbier (2). Elle présente

DISCUSSION 28

l’avantage de clarifier les critères présidant à l’évaluation et de permettre le débat, de

permettre l’objectivation de ce qui n’est sinon que «sentiments flous et rumeurs », de

faire des découvertes qui n’étaient pas connues des responsables des stages (5).

A travers l’enquête observationnelle transversale menée chez les internes niveau 1

nous avons établi une hiérarchie dans les critères de choix proposés aux internes et

la place de la grille SETOC parmi ces autres critères de choix.

L'implantation géographique est le premier critère de choix des internes (presque

50% des 1er choix et 30% des 2ème choix) ; vient en 2ème choix, le critère relatif aux

horaires de travail ; la grille d’évaluation (SETOC) se positionne en 3ème choix. Cette

évaluation s’est donc installée dans les critères de choix mais n’a pas supplanté les

critères préexistants.

Concernant les internes, 70% d’entre eux considèrent que la notation des items les

a suffisamment renseignés sur la qualité de l’ECA. 100% d’internes comptent remplir

la grille d’évaluation SETOC à l’issue de leur stage et plus de la moitié d’entre eux

pensent que l’évaluation renseignera valablement sur la qualité de l’ECA, ce qui

accrédite l’idée de leur adhésion au principe de l’évaluation et à l’outil utilisé.

Concernant les ECA, 83% d’entre eux se souviennent de la date de réception et pour

55,5% déclaraient l’avoir lue en grande majorité. Cette attention au processus

d’évaluation renseigne sur l’intérêt porté à l’outil et permet d’envisager une intention

de consultation postérieure en vue de prendre en compte leurs évaluations

successives.

IV.3 Impact des évaluations pour les ECA

Les ECA se sont sentis encouragés pour 36% d’entre eux, valorisés pour 25%, et

satisfaits pour 20% suite à la lecture de leurs évaluations, soit des sentiments positifs

dans plus de 80% des cas.

DISCUSSION 29

En moindre proportion cette évaluation a provoqué des sentiments de déception pour

9% des ECA, de découragement pour 5,5% et de dévalorisation pour 1,8%, soit des

sentiments négatifs dans à peine plus de 15% des cas. Ce résultat rejoint le constat

que naturellement, les étudiants des études supérieures ont tendance à bien noter

en moyenne leurs enseignants (3). Il a permis de faciliter auprès des ECA

l’institutionnalisation des procédures d’évaluation.

31 % des ECA ont déclaré vouloir entreprendre une action dans les suites de ces

évaluations. Ces idées d’action démontrent une réelle prise de conscience de

certaines difficultés rencontrées lors des stages et formulées via l’évaluation. Les

idées citées relevaient de l’ordre de l’habileté et de la pédagogie de l’enseignement ;

de la qualité des relations personnelles ; de la qualité de la pratique médicale, des

conditions du lieu d’accueil.

IV.4 Formulation des items.

La thèse sur la construction et la validation de l’instrument SETOC, a été effectuée à

la faculté de médecine de Créteil par le Dr Héloïse Haag entre les années 2006 et

2008, afin de proposer des modifications de l’outil d’évaluation des maitres de stage

en milieu ambulatoire dans le cadre du troisième cycle (6).

Le Dr Haag a recueilli l’avis des plusieurs experts qui ont réfléchi à l’introduction de

cet outil dans leur faculté, comme le Pr Philippe Bail, qui était directeur du

département de médecine générale à la faculté de Brest, le Pr Patrick Chevallier,

membre du département de médecine générale Paris-Ouest et le Dr Vincent Renard

coordonnateur adjoint du département de médecine générale à la faculté de Créteil.

Le Dr Haag a comparé l’outil SETOC à d’autres grilles d’évaluation utilisées dans le

cadre du troisième cycle, comme la grille CTEI (4) (Cf. annexe 2) et la grille IDF (6)

(Cf. annexe 1). Elle a identifié les limites de l’instrument SETOC pour le troisième

cycle, et a proposé des modifications à apporter à cet instrument en s’appuyant

notamment sur la formulation des outils précédents.

DISCUSSION 30

On trouve des points communs et des différences concernant la formulation des

items de la grille d’évaluation SETOC entre l’avis des internes, celui des ECA et les

conclusions du travail du Dr Haag.

Ni pour la totalité des internes, ni pour la plus grande majorité des ECA, la pertinence

de l’échelle de Likert n’a été mise en cause. Pour le Dr Haag, celle-ci mérite une

modification et un passage à une échelle en 5 points qui reste aussi valide.

Au sujet de la forme, il nous a apparu plus cohérent que les items aient une

formulation comparable sous forme d’un verbe qualifiant l’action de l’enseignant

comme l’a proposé le Dr HAAG dans son travail et comme dans la grille IDF. Cette

formulation est plus directe et permet d’éclaircir le propos.

Au sujet du contenu, le Dr Haag propose de supprimer le premier item de la grille

SETOC car la capacité de travail en groupe n’est pas propre à la fonction de maitre

de stage et à la qualité de l’enseignant. Ni pour les internes ni pour les ECA la

pertinence et précision de cet item n’ont été mises en cause. (Cf. tableau 11 -

Instrument SETOC originel) :

Les tableaux au fond bleu foncé correspondent aux items de l’instrument SETOC

originel ; ceux au fond jaune, aux propositions de modification des items par le Dr

Haag (Instrument SETOC modifié) ; ceux au fond bleu clair, aux propositions de

modification apportées par notre travail.

Items grille SETOC N°

Qualité des relations de l’ECA (ECA) avec les membres de l’équipe de soins (secrétaire, associés correspondants). 1

Néanmoins, dans les propositions d’amélioration de la formulation des items, pour

quelques ECA, la question de l’entente personnelle entre l’ECA et l’interne devrait

s’ajouter aux items de l’outil SETOC, ce qui permettrait de pondérer la réponse aux

DISCUSSION 31

autres items. Nous proposons de modifier la question 1 (Cf. Tableau 13 - Proposition

de modification de l’instrument SETOC) :

Item grille SETOC MODIFIEE N°

A favorisé dans le cadre du stage une entente de qualité avec moi 1

La pertinence et la précision des items 4 et 7 n’ont pas été relevées ni par les

internes ni par les ECA (Cf. Tableau 11 - Instrument SETOC originel) :

Items grille SETOC N°

Démonstrations sémiologiques de l’ECA. 4

Discussion avec l’ECA de mon aptitude à expliquer et enseigner aux malades. 7

En prenant en compte la formulation de la grille IDF (Cf. annexe 1), le Dr Haag

propose de remplacer les items (4 et 7) (qui deviennent les items (7 et 9) de la grille

SETOC modifiée) ; cette proposition nous parait pertinente, car la démonstration

sémiologique est plus du ressort du 2ème que du 3ème cycle (Cf. Tableau 12 -

Instrument SETOC modifié par le Dr Haag).

Intitulé Ne sait

pas Mauvais / Jamais

Moyen / Rarement

Bien / Parfois

Très bien / Souvent

Excellent / Toujours

7 : A donné des explications claires sur ses raisonnements et décisions.

0 1 2 3 4 5

9 : M’a incité à analyser ma pratique.

0 1 2 3 4 5

Quelques internes ont relevé que la formulation des items 5 et 6 ne leur paraissait

pas pertinente ni précise, sans proposer de modification particulière (Cf. Tableau 11 -


DISCUSSION 32

Items inadaptés grille SETOC N°

Observation directe par l’ECA de mon aptitude à questionner et examiner les malades. 5

Observation directe par l’ECA de mon aptitude à expliquer et enseigner aux malades. 6

Le Dr Haag propose le remplacement des items 5 et 6 par un item de la grille CTEI,

qui deviennent l’item 4 de la grille SETOC modifiée (Cf. Tableau 12 - Outil SETOC

modifié par le Dr Haag).

C’est un changement important de champ qui explore celui de l’autonomie (plus du

ressort du 3ème cycle), et non plus celui de l’observation directe, souvent mal

ressentie par les internes. Cette dimension de l’évaluation reste toutefois nécessaire

à l’évaluation de la performance de l’interne notamment pour son passage en

autonomie.

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



4. M’a laissé être aussi autonome que mon expérience et mon niveau me le permettent.

0 1 2 3 4 5

Nous proposons d’ajouter une question sur l’observation directe, à la proposition

précédente du Dr Haag (Cf. Tableau 13 - Proposition de modification de l’instrument

SETOC) :


A observé directement ma performance à gérer la consultation (entretien, examen, résultats, projet des soins).

7

Quelques internes et ECA, ont remis en cause la pertinence et la précision de la

formulation de l’item 8, sans proposition particulière de modification (Cf. Tableau 11 -


DISCUSSION 33


Questionnement par l’ECA explorant mon niveau de compréhension (Pourquoi ?, Si ?, Imaginez que…, puis après ?

8

Le Dr Haag propose la reformulation de l’item 8 à l’aide des items de la grille CTEI. Il

deviendrait la question 6 de l’instrument SETOC modifié (Cf. Tableau 12 - Instrument

SETOC modifié par le Dr Haag).

La reformulation de cet item nous parait pertinente, car elle est plus simple et

adaptée au 3ème cycle. Cet item reformulé explore la même dimension pédagogique

que celui de la grille SETOC.

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



6. M’a incité à l’apprentissage en me posant des questions.

0 1 2 3 4 5

Quelques internes et ECA ont mis en cause la pertinence et la précision de la

formulation des items 2, 3, 9, sans autre précision (Cf. Tableau 11 - Instrument

SETOC originel) :


Précision par l’ECA de vos attentes et des siennes pour le stage (définition des responsabilités, rôles, évaluations etc.).

2

Bon équilibre entre les soins et l'enseignement réalisés sur le lieu de stage. 3

Insistance de l’ECA sur les "éléments clés" pour chaque malade. 9

Le Dr Haag propose la reformulation des items 2 et 3 à l’aide de la grille CTEI

(l’item 2 devient la question 2 et la question 3 devient la question 3 de l’instrument

SETOC modifié) (Cf. Tableau 12 - Instrument SETOC modifié par le Dr Haag).

La proposition du Dr Haag nous parait pertinente car c’est une reformulation simple

des items, qui explore les mêmes dimensions pédagogiques, et qui permet une

meilleure compréhension des items.

DISCUSSION 34

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



2. A précisé les objectifs pédagogiques du stage

0 1 2 3 4 5

3. A bien réparti le temps entre la pratique et l’enseignement

0 1 2 3 4 5

Elle propose aussi de reformuler l’item 9 à l’aide de la grille IDF (l’item 9 devient la

question 8 de l’instrument SETOC modifié) (Cf. Tableau 12 - Instrument SETOC


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



8. A analysé ma démarche clinique à partir des éléments clés des consultations

0 1 2 3 4 5

2 internes sur 34 ont mis en doute la pertinence et précision dans la formulation de

l’item 11, sans proposition de modification (Cf. Tableau 11 - Instrument SETOC

originel) :

Item inadaptés grille SETOC N°

Identification par l’ECA de mes qualités et de mes forces. 11

Pour les ECA les items 11 et 7 doivent être regroupés car similaires.


Discussion avec l’ECA de mon aptitude à expliquer et enseigner aux malades. 7

Le Dr Haag propose le remplacement des items 11 et 12 : par la question 1 de la

grille IDF, qui devient l’item 10 (Cf. Tableau 12 - Instrument SETOC modifié par le Dr

Haag) :

Item grille SETOC N°

Identification par l’ECA de mes besoins d’étude et approfondissement. 12

DISCUSSION 35

Intitulé Ne sait pas

Mauvais / Jamais

Moyen / Rarement

Bien / Parfois



10 : A identifié mes acquis et mes besoins de formation

0 1 2 3 4 5

Nous ne retenons pas la proposition de regroupement des items 7 et 11 ; en

revanche, le regroupement des items 11 et 12 proposé par le Dr. Haag, aboutit à une

meilleure formulation.

2 internes sur 34 ont mis en cause la pertinence et la précision dans la formulation

de l’item 13 (Cf. Tableau 11 - Instrument SETOC originel) :


Application par l’ECA des connaissances théoriques aux malades vus. 13

Le Dr Haag propose de reformuler l’item 13 à l’aide de la grille IDF, cet item

devenant l’item 5 de la grille SETOC modifiée (Cf. Tableau 12 - Instrument SETOC


La reformulation faite par le Dr Haag parait pertinente car sa formulation est plus

adaptée au 3ème cycle.

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



5 : A appliqué aux patients des connaissances validées et actualisées.

0 1 2 3 4 5

DISCUSSION 36

1 interne sur 36 a mis en cause la pertinence et la précision de la formulation de

l’item 14, sans proposition de modification ; l’item 10 n’a pas été relevé ni par les

internes ni les ECA (Cf. Tableau 11 - Instrument SETOC originel) :


Démonstration par l’ECA de la prise de décisions diagnostiques et thérapeutiques fondées sur les preuves.

14


Aptitude de l’ECA à stimuler mon intérêt et ma curiosité. 10

Le Dr Haag propose de reformuler les items 10 et 14 de l’instrument SETOC à l’aide

de l’outil CTEI (l’item 10 devient l’item 11 et l’item 14 devient l’item 14 de la grille

SETOC modifiée). La reformulation faite par le Dr Haag parait plus simple mais ne

mentionne pas la notion de médecine fondée sur les preuves (Cf. Tableau 12 -


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



11. M’a stimulé à apprendre par moi-même.

0 1 2 3 4 5

14. A utilisé des données de la littérature et/ou des recommandations pour l’enseignement.

0 1 2 3 4 5

Nous proposons la modification suivante (Cf. Tableau 13 - Proposition de

modification de l’instrument SETOC) :

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



14. A utilisé pour l’enseignement des données de la littérature fondées sur les preuves et/ou les recommandations.

0 1 2 3 4 5

DISCUSSION 37

Les ECA proposent de reformuler l’item 15 : Désir de faire de stages additionnels

avec le même ECA, en ajoutant à cette question la réponse oui ou non (Cf. Tableau

11 - Instrument SETOC originel) :


Désir de faire des stages additionnels avec le même ECA. 15

Le Dr Haag propose de conserver l’item 15 mais reformulé d’une manière plus

directe (Cf. Tableau 12 - Instrument SETOC modifié par le Dr Haag). La proposition

du Dr Haag nous parait plus pertinente car elle utilise l’échelle de Likert qui permet

de graduer la réponse et de ne pas prendre partie de manière binaire.

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



15 : Globalement, comment avez-vous trouvé le stage chez cet ECA ?

0 1 2 3 4 5

Nous proposons de reformuler cet item 15 d’une façon plus précise (Cf. Tableau

13 - Proposition de modification de l’outil SETOC) :

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



16 : Globalement, comment évaluez vous le stage chez votre ECA ?

0 1 2 3 4 5

Un ECA considère que l'évaluation ne tient pas compte de la disponibilité, elle-même

liée au temps de présence de l'interne (départ en milieu d'activité gênant pour une

synthèse correcte de fin de journée). Cette proposition ne nous parait pas adaptée

car c’est une évaluation concernant les ECA et non les internes.

Un ECA mentionne que les questions sont trop vagues, et qu’il y a un manque de

précision. Cette proposition est prise en compte, à travers l’ensemble du travail de

reformulation des items inadaptés, dans le contenu comme dans la forme.

DISCUSSION 38

Un interne propose de renseigner sur les horaires de travail du cabinet et sur la

configuration de ce dernier. Cette proposition n’est pas retenue car il ne s’agit pas

dans cette évaluation de renseigner sur les conditions du lieu d’accueil (cabinet

médical), ni sur les horaires de travail, mais plutôt sur les compétences

pédagogiques de l’ECA. Les informations pratiques figurent déjà sur la fiche de

renseignement de chaque ECA mise à disposition des internes avant le choix de

stage.

Un interne demande des précisions sur le cadre d’un stage additionnel avec le même

ECA. Cette question a été reformulée et correspond à la question 15 de l’outil

SETOC modifié. A l’origine, cet item était prévu pour le 2ème cycle où il existait la

possibilité de réaliser un stage additionnel, mais dans le cadre du stage de 3ème cycle

niveau 1 de médecine générale, cette possibilité ne se pose pas.

Le Dr Haag pense que certains items présents dans la grille CTEI sont importants

dans le cadre spécifique de la médecine générale en milieu ambulatoire.

Ainsi l’ajout par le Dr Haag des items, « m’a enseigné la prise en compte du coût du

soin juste » et « m’a enseigné la relation médecin-malade », permet d’adapter la

grille plus spécifiquement au cadre de la médecine générale (Cf. Tableau 12 -


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



13. M’a enseigné la prise en compte du coût du soin juste.

0 1 2 3 4 5

12. M’a enseigné la relation médecin-malade.

0 1 2 3 4 5

Nous proposons d’interchanger l’ordre de certains des items du nouvel outil SETOC,

pour mieux respecter la logique interne de progression de l’enseignement de l’ECA

(Cf. Tableau 13 - Proposition de modification de l’outil SETOC).

DISCUSSION 39

L’item 6 devient l’item 4 :

Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



6. A appliqué aux patients des connaissances validées et actualisées.

0 1 2 3 4 5


0 1 2 3 4 5


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



8. A donné des explications claires sur ses raisonnements et ses décisions

0 1 2 3 4 5


0 1 2 3 4 5


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois




0 1 2 3 4 5


0 1 2 3 4 5


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



4. A observé directement ma performance à gérer la consultation (entretien, examen, résultats, projet des soins).

0 1 2 3 4 5

7. A observé directement ma performance à gérer la consultation (entretien, examen, résultats, projet des soins).

0 1 2 3 4 5

DISCUSSION 40


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois




0 1 2 3 4 5


0 1 2 3 4 5


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



14. M’a enseigné la prise en compte du coût du soin juste (utilisation des ressources).

0 1 2 3 4 5


0 1 2 3 4 5


Intitulé Ne sait


Moyen / Rarement

Bien / Parfois



15. A utilisé pour l’enseignement des données de la littérature fondées sur les preuves et/ou recommandations.

0 1 2 3 4 5

14. A utilisé pour l’enseignement des données de la littérature fondées sur les preuves et/ou recommandations.

0 1 2 3 4 5

La première partie (items 1 à 5) qualifie les capacités de l’ECA en temps que

praticien et la deuxième partie (items 6 à 16) qualifie la qualité de l’ECA en temps

qu’enseignant.

DISCUSSION 41

IV.5 Adaptation de la grille SETOC au troisième cyc le

L’instrument SETOC a été construit et validé dans le cadre du deuxième cycle des

études de médecine ce qui conduit à des limites déjà énoncées pour son application

au 3ème cycle.

Selon la littérature (14), un interne de première année recherche avant tout chez un

bon enseignant la disponibilité, la qualité de l’encadrement et la discussion

individuelle. L’interne en fin de cursus recherche une relation plus professionnelle

avec son maître de stage et une plus grande autonomie de travail et apprentissage.

Une étude menée au Canada dans cinq facultés de médecine a montré la différence

entre le deuxième et troisième cycle, en ce qui concerne les qualités pédagogiques

des enseignants cliniciens recherchées par les étudiants (12). Au total, 3471

étudiants de deuxième et troisième cycles des études médicales (toutes spécialités

confondues), ont été interrogés sur les principales caractéristiques pédagogiques

requises selon eux par un enseignant clinicien en milieu ambulatoire. Le

questionnaire portait également sur les caractéristiques logistiques des différents

lieux de stage (à savoir la présence des revues, la présence d’une connexion

internet, la qualité des locaux).

Les résultats obtenus ont étés comparés notamment en fonction du niveau d’étude,

du sexe, et de la spécialité choisie par les internes. L’étude a démontré que les

internes du deuxième cycle ont d’avantage besoin que les internes de la disponibilité

de leur maitre de stage. Les internes sont plus autonomes, ils attendent du maitre

de stage de les préparer à devenir des acteurs du système de soins dans son

ensemble et accordent moins d’importance à la présence systématique des patients

lors de l’enseignement clinique.

Il existe une différence significative entre les attentes des internes, vis-à-vis des

qualités pédagogiques des enseignants en fonction de leur niveau d’études. Ainsi

l’instrument SETOC qui a été construit et validé dans le cadre du deuxième cycle

n’est pas transposable en totalité pour le troisième cycle.

DISCUSSION 42

Ce travail prend en compte l’avis des internes, des ECA et les confronte aux

propositions d’amélioration de l’outil SETOC par le Dr Haag. Nous formulons ci-

dessous une proposition globale de l’outil d’évaluation compte tenu des résultats de

l’enquête observationnelle transversale réalisée chez les ECA et internes niveau 1

de médecine générale de la faculté de Créteil.

DISCUSSION 43

Evaluation des cliniciens enseignant en milieu de s oins ambulatoires outil (SETOC originel) utilisé à la faculté de Créteil depuis l’ année 2003 (14)

Nom et prénom du Maître de Stage:

Période de stage: Date de l'évaluation:

Chaque intitulé est relatif aux compétences qu'a mises en œuvre au cours de votre stage de 6 mois, votre Maître de Stage (ECA).

Entourez un chiffre de 1 à 7 pour chacun des 15 items de la grille ci-dessous.

Intitulé Insatisfa

is. Moyen Satisfaisant Bien

Très bien

Excellent Supérieur

1. Qualité des relations de l’ECA avec les membres de l'équipe de soins (secrétaire, associés, correspondants…)

1 2 3 4 5 6 7

2. Précision par l’ECA de vos attentes et des siennes pour le stage (définition des responsabilités, rôles, évaluations etc.)

1 2 3 4 5 6 7

3. Bon équilibre entre les soins et l'enseignement réalisés sur le lieu de stage

1 2 3 4 5 6 7

4. Démonstrations sémiologiques de l’ECA 1 2 3 4 5 6 7

5. Observation directe par l’ECA de mon aptitude à questionner et examiner les malades

1 2 3 4 5 6 7

6. Observation directe par l’ECA de mon aptitude à expliquer et enseigner aux malades

1 2 3 4 5 6 7

7. Discussion avec l’ECA de ma démarche clinique: analyses des données et plans de traitement

1 2 3 4 5 6 7

8. Questionnement par l’ECA explorant mon niveau de compréhension (Pourquoi? Si? Imaginez que…Puis après?)

1 2 3 4 5 6 7

9. Insistance de l’ECA sur les "éléments clés" pour chaque malade

1 2 3 4 5 6 7

10. Aptitude de l’ECA à stimuler mon intérêt et ma curiosité

1 2 3 4 5 6 7

11 .Identification par l’ECA de mes qualités et de mes forces

1 2 3 4 5 6 7

12. Identification par l’ECA de mes besoins d'étude et d'approfondissement

1 2 3 4 5 6 7

13. Application par l’ECA des connaissances théoriques aux malades vus

1 2 3 4 5 6 7

14. Démonstration par l’ECA de la prise de décisions diagnostiques et thérapeutiques "fondées sur les preuves"

1 2 3 4 5 6 7

15. Désir de faire des stages additionnels avec le même ECA

1 2 3 4 5 6 7

Commentaires libres sur votre stage, les items de la grille d'évaluation ou d'autres sujets non abordés dans la grille :

Tableau 11 - Instrument SETOC (les chiffres correspondant aux évaluations ne figurent pas dans l’outil originel)

DISCUSSION 44

Instrument SETOC modifié par le Dr H. HAAG

Intitulé Ne sait

pas Mauvais /

Jamais Moyen /

Rarement Bien /

Parfois Très bien / Souvent


1. A créé de bonnes conditions d’apprentissage

0 1 2 3 4 5

2. A précisé les objectifs pédagogiques du stage

0 1 2 3 4 5

3. A bien réparti le temps entre la pratique et l’enseignement

0 1 2 3 4 5

4. M’a laissé être aussi autonome que mon expérience et mon niveau me le permettent

0 1 2 3 4 5

5. A appliqué aux patients des connaissances validées et actualisées

0 1 2 3 4 5


0 1 2 3 4 5


0 1 2 3 4 5

8. A analysé ma démarche clinique à partir des éléments clés des consultations

0 1 2 3 4 5

9. M’a incité à analyser ma pratique

0 1 2 3 4 5

10. A identifié mes acquis et adapte son enseignement à mes besoins de formation

0 1 2 3 4 5

11. M’a stimulé à apprendre par moi-même

0 1 2 3 4 5

12. M’a enseigné la relation médecin-malade

0 1 2 3 4 5

13. M’a enseigné la prise en compte du coût du soin juste (utilisation des ressources)

0 1 2 3 4 5

14. A utilisé des données de la littérature et/ou des recommandations pour l’enseignement

0 1 2 3 4 5

15. Globalement, comment avez-vous trouvé le stage avec cet ECA ?

0 1 2 3 4 5

Commentaire libre :

Tableau 12 - Instrument SETOC modifié par le Dr Haag

DISCUSSION 45

Proposition du nouvel outil d’évaluation

Intitulé Ne sait

pas/ sans opinion

Mauvais / Jamais

Moyen / Rarement

Bien / Parfois

Très bien /

Souvent


1. A favorisé dans le cadre du stage une entente de qualité avec moi.

x 0 1 2 3 4

2. A précisé les objectifs pédagogiques du stage.

x 0 1 2 3 4

3. A bien réparti le temps entre la pratique et l’enseignement.

x 0 1 2 3 4


x 0 1 2 3 4

5. A donné des explications claires sur ses raisonnements et ses décisions.

x 0 1 2 3 4


x

0 1 2 3 4

7. A observé directement ma performance à gérer une consultation (entretien, examen, résultats, projet de soin).

x 0 1 2 3 4


x 0 1 2 3 4

9. A analysé ma démarche clinique à partir des éléments clés des consultations.

x 0 1 2 3 4

10. M’a incité à analyser ma pratique. x 0 1 2 3 4

11. A identifié mes acquis et adapté son enseignement à mes besoins de formation.

x 0 1 2 3 4

12. M’a stimulé à apprendre par moi-même.

x 0 1 2 3 4

13. M’a enseigné la relation médecin-malade.

x 0 1 2 3 4

14. A utilisé pour l’enseignement des données de la littérature fondées sur les preuves et/ou les recommandations.

x 0 1 2 3 4


x 0 1 2 3 4

16. Globalement, comment évaluez-vous le stage avec votre ECA ?

x 0 1 2 3 4

Commentaire libre :

Tableau 13 - Proposition de modification de l’instrument SETOC (Appuyée sur les réflexions et conclusions du Dr Haag et de notre travail de thèse)

CONCLUSION 46

V. CONCLUSION

Conformément au projet initial du département de médecine de Créteil, ce travail a

permis la formalisation d’une proposition de nouvel outil d’évaluation des

enseignants ambulatoires du 3ème cycle.

Ce travail s’était appuyé sur les réflexions et conclusions du Dr Haag et sur les

résultats des nos enquêtes auprès des internes et des ECA.

Le principe de cette évaluation est maintenant institutionnalisé. Elle s’est imposée

parmi les critères de choix de stage des internes. Elle constitue un facteur

motivationnel important pour les ECA et peut susciter des actions afin d’améliorer la

qualité de l’enseignement.

Ce projet va permettre la mise en place opérationnelle de ce nouvel outil d’évaluation

prochainement à Créteil. Il sera proposé à la communauté des autres départements

de médecine générale des facultés de médecine dont certains n’ont pas

institutionnalisé cette évaluation.

REFERENCES BIBLIOGRAPHIQUES 47

VI. REFERENCES BIBLIOGRAPHIQUES

1. Article 8 de l’arrêté du 4 mars 1997 modifié relatif à la deuxième partie du

deuxième cycle des études médicales et publié au Journal officiel n° 273 du 25

novembre 2006. JORF Avis 2007, n° 3, 152.

2. BARBIER Jean-Marie.

L'Evaluation en formation. Paris: PUF, 1985: 295 p.

3. BERK RA.

The construction of rating instruments for faculty evaluation: a review of methodological issues. J Higher Educ 1979; 50 (5): 650-669.

4. COPELAND HL, HEWSON MG.

Developing and testing an instrument to measure the effectiveness of clinical

teaching in an academic medical center. Academic Med 2000; 75 (2): 161-166.

5. DEJEAN, Jacques

L'évaluation de l'enseignement dans les universités françaises : rapport suivi de l'avis

du Haut conseil de l'évaluation de l'école [en ligne]. La documentation Française,

février 2002 (page consultée le 21 janvier 2010).

6. Thèse (Haag Héloïse)

Evaluation des maîtres de stages en milieu ambulatoire : modification de l'instrument

SETOC pour le troisième cycle, Thèse d’exercice. Médecine. Médecine Générale.

Reims: 2008.

7. IRBY DM.

Teaching and learning in ambulatory care settings: a thematic review of the literature.

Academic Med 1995; 70 (10): 898-931. MCKEACHIE WJ.

REFERENCES BIBLIOGRAPHIQUES 48

8. JAMES PA, OSBORNE JW.

A measure of medical instructional quality in ambulatory settings: the MedIQ. Fam

Med 1999; 31 (4): 263-269.

9. JOURNEES UNIVERSITAIRES FRANCOPHONES DE PEDAGOGIE MEDICALE

(15 : 2003 : Nancy). XVème journées universitaires francophones de pédagogie

médicale de la CIDMEF.

10. LITZELMAN DK, STRATOS GA, MARRIOT DJ, LAZARIDIS EN, SKEFF KM.

Beneficial and harmful effects of augmented feedback on physicians' clinical-teaching

performances. Acad Med. 1998 73:324-32.

11. MCKEACHIE WJ.

Student ratings: the validity of use. Am Psychol 1997; 52 (11): 1218-1225.

12. SCHULTZ KW, KIRBY J, DELVA D, GODWIN M, VERMA S, BIRTWHISTLE R,

et al.

Medical Students' and Residents' preferred site characteristics and preceptor

behaviours for learning in the ambulatory setting: a cross-sectional survey. BMC Med

Educ 2004; 4: 12.

13. ZUBERI R, SETOC G, NORMAN G.

Validation of the SETOC instrument: student evaluation of teaching in outpatient

clinics. Adv Health Sci Educ 2007; 12 (1): 55-69.

14. ZUBERI Rukshana.

Validation of the SETOC Instrument. Student Evaluation of Teaching in Outpatient

Clinics. Thèse de Master in Health Professions Education: University of Illinois:

Chicago: 2002.

ANNEXES 49

VII. ANNEXES

Annexe 1 : Grille IDF

ANNEXES 50

Tableau 14 - Grille IDF

ANNEXES 51

Annexe 2 : Grille CTEI

CTEI Ne sait pas Mauvais/ Jamais

Moyen/ Rarement

Bien/ Parfois

Très bien/

Souvent

Excellent/ Toujours

1 Crée de bonnes conditions d'apprentissage

0 1 2 3 4 5

2 Me stimule à apprendre par moi-même

0 1 2 3 4 5

3 Me laisse être aussi autonome que mon expérience et mon niveau me le permettent

0 1 2 3 4 5

4 Répartit bien le temps entre la pratique et l’enseignement

0 1 2 3 4 5

5 Critique régulièrement mon travail (en positif et négatif)

0 1 2 3 4 5

6 Précise les objectifs pédagogiques du stage

0 1 2 3 4 5

7 Adapte l'enseignement à mes besoins (compétence, intérêt, expérience)

0 1 2 3 4 5

8 M'incite à l'apprentissage en me posant des questions

0 1 2 3 4 5

9 Donne des explications claires et des raisons de choix des décisions

0 1 2 3 4 5

10 Adapte l'enseignement au mode d'exercice (lit du malade, consultation, laboratoire ...)

0 1 2 3 4 5

11 M'aide à améliorer mes compétences cliniques et techniques (anamnèse, démarche diagnostique, examen clinique ...)

0 1 2 3 4 5

12 Utilise des données de la littérature et/ou des recommandations pour l'enseignement

0 1 2 3 4 5

13 Enseigne la démarche diagnostique (raisonnement clinique, sélection et interprétation des tests ...)

0 1 2 3 4 5

14 Enseigne la relation médecin-malade

0 1 2 3 4 5

15 Enseigne la prise en compte du coût du soin juste (utilisation des ressources)

0 1 2 3 4 5

Tableau 15 - Grille CTEI

ANNEXES 52

Annexe 3 : Proposition de traduction de MedIQ

A. Mon maître de stage :

Franchement Pas d'accord Franchement

d'accord

1. M’a donné une place active au sein du cabinet 1 2 3 4 5 6

2. M’a préparé à l'entretien avec les malades en revoyant l'histoire du patient avec moi

1 2 3 4 5 6

Insistant sur les points-clés

1 2 3 4 5 6

Me donnant des sujets pertinents à lire

1 2 3 4 5 6 Prévoyant les consultations de suivi lorsque je suis disponible

1 2 3 4 5 6

Me montrant les différentes techniques et procédures à mettre en rouvre (préciser) 1 2 3 4 5 6

3. A eu une bonne écoute Des patients

1 2 3 4 5 6

De moi 1 2 3 4 5 6

4. A adapté son enseignement à mon niveau de connaissance et de compétence 1 2 3 4 5 6

5. A attiré mon attention et insisté sur les aspects physiques que je n'avais pas perçus 1 2 3 4 5 6

6. S'est assuré que j'apprenais quelque chose de chaque patient 1 2 3 4 5 6

7. M'a posé des questions pour améliorer mon apprentissage 1 2 3 4 5 6

8. M’a mis en confiance pour relever des défis, même au risque de commettre des erreurs. 1 2 3 4 5 6

9. A concentré son effort pour améliorer ma compréhension de

Anamnèse 1 2 3 4 5 6 Examen clinique

1 2 3 4 5 6

Utilisation des examens biologiques

1 2 3 4 5 6 Utilisation de l'imagerie

1 2 3 4 5 6

Physiopathologie

1 2 3 4 5 6

Processus de décision

1 2 3 4 5 6 Choix thérapeutique 1 2 3 4 5 6 Rôle de l'équipe soignante

1 2 3 4 5 6

Importance de l'apprentissage par soi-même 1 2 3 4 5 6

10. A commenté mes actions pour améliorer mes compétences en Présentation des cas

1 2 3 4 5 6

Anamnèse

1 2 3 4 5 6

Examen clinique

1 2 3 4 5 6 Evaluation et démarche clinique

1 2 3 4 5 6 Documentation

1 2 3 4 5 6

Education des patients 1 2 3 4 5 6

11. M'a montré l'importance du respect des souhaits des patients, même lorsqu'ils sont différents des miens

1 2 3 4 5 6

ANNEXES 53

B. Les occasions que j'ai eues dans ce stage :

Franchement Pas d'accord Franchement

d'accord

12. Etaient assez diverses pour me permettre d'apprendre à partir de cas intéressants 1 2 3 4 5 6

13. Etaient trop diverses, ne me permettant pas de développer mes compétences 1 2 3 4 5 6

14. M'a permis de développer mes compétences grâce à une pratique répétée 1 2 3 4 5 6

15. Etaient répétitives sans m'apprendre de nouvelles compétences 1 2 3 4 5 6

16. Ont accru mon indépendance pour le soin des patients 1 2 3 4 5 6

17. Ont amélioré mes compétences de communication avec :

Les médecins 1 2 3 4 5 6

L'équipe soignante 1 2 3 4 5 6

Les patients 1 2 3 4 5 6

18. M'ont permis de participer à:

Anamnèse 1 2 3 4 5 6

Examen clinique 1 2 3 4 5 6

Evaluation et démarche thérapeutique 1 2 3 4 5 6

Documentation 1 2 3 4 5 6

Education du patient 1 2 3 4 5 6

19. Dans les cas suivants, mon implication peut être définie comme suit : 1 2 3 4 5 6

Participation encadrée Aucun Observation avec peu contact seulement responsabilités

Maladies aiguës O O O

Maladies chroniques O O O

Prévention O O O

Problèmes psychosociaux O O O

Cas complexes O O O

Cas simples O O O

Education des patients O O O

Suivi des patients O O O

Procédures administratives O O O

de

Participation

Encadrée avec

Responsabilités

Partagées O O OOOOOOO

1 2 3 4 5 6

C. Le sujet de cette section est le cabinet comme e nvironnement d'apprentissage.

20. Le cabinet était adapté pour impliquer un étudiant dans la prise en charge du patient. 1 2 3 4 5 6

21. J'ai trouvé que le personnel aidait les étudiants dans leur apprentissage. 1 2 3 4 5 6

22. J'ai l'impression d'avoir fait partie intégrante de l'équipe du cabinet. 1 2 3 4 5 6

23. J'ai l'impression d'avoir perdu mon temps au cabinet. 1 2 3 4 5 6

24. Cette pratique a modélisé: 1

2

L'aide aux populations défavorisées 1 2 3 4 5 6

La coordination des réseaux de santé : ville-hôpital 1 2 3 4 5 6

La responsabilité de l'ensemble des besoins des patients 1 2 3 4 5 6

Le développement de la relation médecin-malade au cours du temps 1 2 3 4 5 6

L'intérêt à accorder au contexte socioculturel de la maladie 1 2 3 4 5 6

Tableau 16 - Proposition de traduction de MedIQ

ANNEXES 54

Annexe 4 : Fiche d’Evaluation de la Qualité Pédagog ique du Stage

FICHE D’ÉVALUATION DE LA QUALITÉ PÉDAGOGIQUE DU STAGE

PAR L’ÉTUDIANT DE TROISIÈME ANNÉE DU DEUXIÈME CYCLE DES ÉTUDES MÉDICALES

MÉDECIN(S) GÉNÉRALISTE(S), MAÎTRE(S) DE STAGE

Nom(s) et prénom(s)……………………………………………….

Adresse………………………………………………………………

ÉTUDIANT

Nom(s) et prénom(s)……………………………………………….

Adresse………………………………………………………………

Unité de formation et de recherche médicale de ……………….

GRILLE D’ÉVALUATION

A B C D E

1 Accueil.

2 Organisation matérielle du stage (lieu, horaires).

3 Suivi du maître de stage.

4 Participation de l’étudiant à l’activité du cabinet.

5 Responsabilisation.

6 Bénéfice pédagogique.

7 Avis général du stage.

Echelle d’évaluation : A = Très bien, B = Bien, C = Assez bien, D = Passable, E = Mauvais (Motivation détaillée en observations).

OBSERVATIONS ÉVENTUELLES

Aspects positifs

Difficultés rencontrées

Tableau 17 - Fiche d’évaluation du stage chez le médecin généraliste (2ème cycle)

ANNEXES 55

Annexe 5 : Résultats (relevé complet)

Réponses Implantation géographique

Configuration des locaux

Horaires de travail

Particularité de l'exercice médical

Grille d'évaluation des ECA

1 2 5 1 4 3 2 2 5 1 4 3 3 4 1 2 5 3 4 1 5 2 4 3 5 2 5 3 1 4 6 2 5 3 4 1 7 1 2 3 8 5 3 1 2 4 9 1 5 3 2 4

10 2 5 3 4 1 11 1 4 5 2 3 12 3 4 5 1 2 13 1 5 2 4 3 14 1 5 3 4 2 15 5 4 1 3 2 16 1 5 3 4 17 1 5 2 4 3 18 1 5 5 1 3 19 2 5 3 4 1 20 2 5 1 3 4 21 1 5 2 3 4 22 1 5 2 4 3 23 2 4 3 1 24 2 3 4 5 1 25 2 3 4 5 1 26 5 4 2 1 3 27 1 3 2 3 3 28 2 5 4 1 3 29 1 3 2 4 5 30 1 5 2 3 4 31 1 5 2 3 4 32 1 2 5 3 4

Tableau 18 - Résultats questionnaire internes 2006/2007/2008 – Question 5

ANNEXES 56

Annexe 6 : Evaluation des ECA

Question 6 : Cette évaluation vous parait-elle globalement conforme à vos attentes? oui non

8 3

Moins bonne équivalente meilleure Sans réponse

Question 7 : Qu'est-elle par rapport à ce que vous estimiez ? 3 4 2 2

Question 8 : La formulation des items de la grille d’évaluation vous parait-elle pertinente et précise ?

oui non Variable en fonction des items

9 1 1 Question 9 : Si la réponse est NON ou Variable, préciser lequel ou lesquels des items vous parait-il inadapté(s) ?

(1) Les items 7 et 11 sont quasiment similaires et peuvent êtres regroupés

Question 10 : Quelles sont vos propositions de modification ou d’amélioration de la formulation des items

(1) Je rajouterai un item sur l'entête entre l'étudiant et l’ECA (2) La grille n'est pas adaptée pour l'item 15; oui/non peut être serait mieux. (3) Manquent une appréciation globale du stage par l'étudiant avec ses commentaires sur le stage.

Question 11 : Cette évaluation vous a t-elle ?

déçu dévalorisé découragé satisfait valorisé encouragé

2 0 1 2 3 3 Question 12 : Allez-vous mettre en œuvre une action à la suite de cette évaluation ?

oui non ne sais pas

2 7 2

Précisions ou descriptions des actions éventuelles :

(1) Une bonne entente entre le stagiaire et le ECA est primordial pour pratiquer ensemble et enseigner. (2) L’ECA doit s'adapter en permanence aux besoins des résidents

Tableau 19 - Résultats questionnaire ECA Juillet 2006 (1) – Questions 6 à 12

Sur la 1ère évaluation des 11 ECA qui ont reçu 2 éval uations - 2006

ANNEXES 57

Sur la 2ème évaluation des 11 ECA qui ont reçu 2 év aluations - 2006

oui non Question 6 : Cette évaluation vous parait-elle globalement conforme à vos attentes?

8 3

Moins bonne

équivalente meilleure Sans

réponse Question 7 : Qu'est-elle par rapport à ce que vous estimiez ? 3 5 1 2


items Question 8 : La formulation des items de la grille d’évaluation vous parait-elle pertinente et précise ?

9 1 1

Question 9 : Si la réponse est NON ou Variable, préciser lequel ou lesquels des items vous parait-il inadapté(s) ?

Aucune réponse


Aucune réponse

déçu dévalorisé découragé satisfait valorisé encouragé Question 11 : Cette évaluation vous a t-elle ? 1 0 1 1 2 6




(1) En fonction de la capacité du stagiaire, laisser plus souvent en autonomie à partir de 2-3 mois de stage. (2) Intensifier l'observation du stagiaire en supervision directe (3) Améliorer l'explication de mon évaluation au stagiaire


ANNEXES 58

Sur l'évaluation des 7 ECA qui n’ont reçu qu’une se ule évaluation - 2006


6 1

Moins bonne

équivalente meilleure Question 7 : Qu'est-elle par rapport à ce que vous estimiez ? 1 2 4

oui non Variable en fonction

des items Question 8 : La formulation des items de la grille d’évaluation vous parait-elle pertinente et précise ?

5 0 2


(1) Recoupement entre plusieurs items (2) "Eléments clés" de chaque malade


(1)Les questions sont trop vagues. Manque de précision.


oui non ne sais

pas Question 12 : Allez-vous mettre en œuvre une action à la suite de cette évaluation ? 3 2 2


(1)Meilleure utilisation du carnet de stage (2) Laisser le médecin stagiaire autonome le plus tôt possible (3) Améliorer mes topos sur : vaccination, antibiothérapie, les patients dylipidémiques, l'examen du nouveau né, le développement psychomoteur du nouveau né et de l'enfant (4) Augmenter les gestes techniques


ANNEXES 59

Sur la 1ère évaluation des 7 ECA qui ont reçu 2 éva luations - 2008


6 1

Moins bonne équivalente meilleure Question 7 : Qu'est-elle par rapport à ce que vous estimiez ? 2 3 2


items Question 8 : La formulation des items de la grille d’évaluation vous parait-elle pertinente et précise ?

6 0 1


Aucune réponse


(1) question d’entente/personnalité du ECA avec son stagiaire pourrait figurer ce qui pourrait permettre d’avoir une évaluation plus objective de la cotation des ITEMS





(1) Améliorer le moyen informatique de la recherche documentaire (2) Utiliser plus souvent la médecine fondée sur les preuves

Tableau 22 - Résultats questionnaire ECA Septembre 2008 (1) – Questions 6 à 12

ANNEXES 60

Sur la 2ème évaluation des 7 ECA qui ont reçu 2 éva luations - 2008


7 0

Moins bonne équivalente meilleure Question 7 : Qu'est-elle par rapport à ce que vous estimiez ?

0 5 2

oui non Variable en fonction des items Question 8 : La formulation des items de la grille d’évaluation vous parait-elle pertinente et précise ?

6 0 1


(1) l’échelle d’évaluation semble à 1 ECA sur 36 biaisée (2) Satisfaisant et moyen sur l’outil SETOC


(1) ajouter une question sur l'entente du stagiaire par rapport à la personnalité de l’ECA pour permettre d'avoir une évaluation de la cotation des items plus objective


réponse Question 11 : Cette évaluation vous a t-elle ? 0 0 0 1 2 2 1

oui non ne sais pas Question 12 : Allez-vous mettre en œuvre une action à la suite de cette évaluation ?

2 4 1


(1) items 11 & 12 : passer plus de temps avec l'étudiant pour les qualités et les besoins d'études (2) Mieux définir les attentes de l’ECA (3) Être plus vigilant sur l'évolution des travaux de l'étudiant


ANNEXES 61

Sur l'évaluation des 7 ECA qui ont reçu 1 seule éva luation - 2008


9 2

Moins bonne

équivalente meilleure Sans réponse Question 7 : Qu'est-elle par rapport à ce que vous estimiez ? 1 5 1 4

oui non Variable en fonction des items Question 8 : La formulation des items de la grille d’évaluation vous parait-elle pertinente et précise ?

9 0 2


(1) Les ITEMS 3, 8, 2,9 (2) Item "Évaluation relationnelle avec l'interne"


(1) L'évaluation ne tient pas compte de la disponibilité, elle-même liée au temps de présence de l'interne (départ en milieu d'activité gênant pour une synthèse correcte de fin de journée)


réponse Question 11 : Cette évaluation vous a t-elle ? 1 1 4 2 2 1

oui non ne sais pas Question 12 : Allez-vous mettre en œuvre une action à la suite de cette évaluation ?

5 6 0


(1) Préciser dès le début de stage la nécessité d’une synthèse de fin de journée du travail du cabinet (2) Mieux reprendre la sémiologie avec le médecin stagiaire (3) Tenter de mettre plutôt le stagiaire en situation directe dans la mesure des contraintes du cabinet médical


ANNEE : 2010

NOM ET PRENOM DE L’AUTEUR : GARCIA RIVERO Yilliam.

DIRECTEUR DE THESE : Dr RENARD Vincent.

TITRE DE LA THESE : Évaluation des Enseignants Cliniciens Ambulatoires Maîtres

de Stage par les internes en stage de Médecine Générale ambulatoire de niveau 1.

L’équipe pédagogique du département de médecine générale (DMG) de la faculté

de Créteil, a mis en place depuis 2003 une évaluation des enseignants cliniciens

ambulatoires maîtres de stage (ECA) dans le cadre du stage de niveau 1 en

médecine générale ambulatoire du DES de médecine générale. Cette évaluation

utilise l’outil SETOC, outil validé au plan international dans le cadre du 2ème cycle.

Nous avons identifié qu’il était nécessaire de mener un travail pour mieux adapter

l’outil aux spécificités de l’encadrement en 3ème cycle. Nous avons conduit une

enquête observationnelle transversale réalisée chez les ECA et les internes entre

2006 et 2008 afin de connaître l’avis des acteurs de ce stage sur cette évaluation et

de recueillir des propositions d’amélioration. Nous avons confronté ce travail aux

propositions qu’avait formulées le Dr. Haag dans le cadre d’un travail précédent

initié par le DMG de la faculté où elle avait étudié la construction de l’outil SETOC et

l’avait comparé aux autres outils d’évaluation publiés. Tout en gardant la structure

générale de l’outil, nous avons reformulé et réorganisé les items de l’évaluation.

Notre travail aboutit à une proposition globale d’amélioration de l’évaluation SETOC,

et va permettre la mise en place opérationnelle prochaine de ce nouvel outil

d’évaluation pour les ECA de 3ème cycle.

MOTS-CLES :

Soins ambulatoires.

Techniques d'investigation.

Enseignement médical – Évaluation de programme.

Études transversales – Questionnaires.

ADRESSE DE L’UFR : 8, Rue du Général Sarrail - 94010 CRETEIL CEDEX

Documents

ANNEE 2010 N THESEdoxa.u-pec.fr/theses/th0585177.pdf · Le travail de G. SETOC et R. Zuberi, l’instrument « SETOC » (Student Evaluation of Teaching in Outpatients Clinics) (14)