Faculté de médecine Bureau dévaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ? Serge Normand,

Faculté de médecineBureau d’évaluation

Consolider nos pratiques

en évaluation des apprentissages

Est-ce que la docimologie

peut nous aider ?

Serge Normand, M.A.

20-24 mars 2006

Édition [email protected]

• Certifier• Aider• Motiver

Question préalable

Qu’attendez-vous de l’évaluation ?

Rien, sinon une corvée dont je

souhaiterais bien être dispensée !


Nos activités

Première séanceÉvaluer les apprentissage: repèresRegards sur nos pratiques actuellesNormes de rédaction des épreuves écrites

Deuxième séanceGrilles d’observationAnalyse d’items


• Pertinence• Pertinence• Pertinence• Pertinence

par rapport à la matière enseignéedu type de compétences mesuréesde la formulation des questionsde la notation

Quels sont les défauts de nos examens ?

Réponses des étudiants :


Quels sont les critères pour apprécier nos examens ?

Réponses des docimologues :

Validité

Fidélité

Commodité

Objet

Mesures

RésultatsProtocole


• Mieux planifier l’évaluation• Varier les instruments de mesure• Respecter certaines règles docimologiques• Fixer des critères de performance

Améliorer nos pratique en évaluation ?

Quelques pistes de solution:


Mieux planifier l’évaluation

? ? ?


Domaines de comportements observables(pour mesurer des objectifs d’apprentissage)

Cognitif

Savoir

Connaissances

Affectif

Savoir être

Attitudes

Psychomoteur

Savoir faire

Habiletés


Taxonomie simplifiée(pour mesurer des objectifs d’apprentissage)

Connaissance

Mémoriser

Compréhensi

on

Interpréter

Application

Solutionner


Tableau de spécification

Connaissance Compréhension Application Nombre de

Objectifs Mémoriser Interpréter Solutionner questions

Notions 10% 45% 45% 100%

Décrire le devenir du médicament 40% 2.4 10.8 10.8 24.0

Calculer les paramètres pharmacocinétique spécifiques d'un principe actif à partir des données d'un patient

30% 1.8 8.1 8.1 18.0

Calculer les changements importants des paramètres pharmacocinétiques induits par la maladie ou un processus pathologique

2.5% 0.2 0.7 0.7 1.5

Utiliser les paramètres pharmacocinétiques pour calculer une posologie

25% 1.5 6.8 6.8 15.0

Intégrer les connaissances de bases de pharmacocinétiques avec les autres disciplines pharmaceutiques

2.5% 0.2 0.7 0.7 1.5

Nombre de questions 100% 6.0 27.0 27.0 60

Source : [email protected]



Basic science matrix

Molecular / Single organ / Whole person / Community

cellular organ system family

Organization &

structure

Maintenance &

homeostasis

Defense against

disease & injury

Mechanisms of

and response to

disease & injury

Therapies &

interventions

Knowledge Base

Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999


Clinical medicine matrix - Clinical approaches to health & disease

Preventive / Acute Emergency Chronic Behavioral

developmental family

Fetus / Neonates

Children

Adolescents

Adults

Elders

Knowledge Base

Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999


Évaluer la compétence professionnellePyramide de Miller

FaitDoes

DémontreShows How

Sait commentKnows How

SaitKnows

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

SavoirCognition

ComportementBehaviour


Évaluer la compétence professionnelleTypes d’instruments

Fait

Démontre

Sait comment

Sait

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Épreuves factuelles :QCM, Ex. écrit, oral …

Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …

Performance in vitro :ECOS, Ex. PS. …

Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …


Instruments d’évaluationCurriculum de Dundee

Fait

Démontre

Sait comment

Sait

Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261

Portfolio

ECOS

QCM-RQROC

QCMQ. dév.


Validité

Fidélité Faisabilité

Efficacité Acceptabilité

Repèrespour apprécierles instruments

d’évaluation

van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.


Validité

Fidélité Faisabilité

Efficacité Acceptabilité

Repèrespour apprécierles instruments

d’évaluation

Analysons nos épreuves :

• écrites• orales• pratiques

Fait

Démontre

Sait comment

Sait

Docimologie

Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique

Normes recommandées pour la rédaction de questions de type QCM et QROC

1

Docimologie


Normes recommandées pour l’élaboration de grilles d’observation

2

Docimologie


L’analyse d’itemsune technique docimologiquepour valider des questions d’examen

3


Mes références « Coup de cœur » 2005

The place of the oral examination in today’s assessment systems

Margery H. Davis & Indika Karunathilake

Medical Teacher, Vol. 27, No. 4, 2005, pp.294-297


www.medbev.umontreal.ca/docimo/medulb.htm

http://www.medbev.umontreal.ca/docimo

Diaporama

Documentation

http://www.medbev.umontreal.ca/docimo/medulb.htm

[email protected]

Merci de votre attention !



mailto:[email protected]

http://www.medbev.umontreal.ca/docimo/cotonou.htm

Documents

Faculté de médecine Bureau dévaluation Consolider nos pratiques en évaluation des apprentissages Est-ce que la docimologie peut nous aider ? Serge Normand,