Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – ...

Preview:

DESCRIPTION

Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – Proposé Competency-Based Assessment Compétences MD – ProMED2000 LCME 2002 Plan directeur Outils – R-Type – Q4 - Portfolio Acteurs Conseils de compétences Comités d’épreuves - Mentors. - PowerPoint PPT Presentation

Citation preview

serge.normand@umontreal.ca

Réforme – Innovations - Changements

Occasions d’apprentissagesSystème – Actuel – ProposéCompetency-Based AssessmentCompétences MD – ProMED2000LCME 2002Plan directeurOutils – R-Type – Q4 - PortfolioActeursConseils de compétencesComités d’épreuves - Mentors

AccueilMembresProjet – ButsFinalitésPrincipes générauxConditions gagnantesSite WebHistorique

Faculté de médecineComité du programme des études de premier cycleGroupe de travail sur l’évaluation des apprentissages

serge.normand@umontreal.ca

Faculté de médecineComité du programme des études de premier cycleGroupe de travail sur l’évaluation des apprentissages

• Revoir la procédure d’évaluation actuellement en vigueur au programme MD;

• Réfléchir à l’opportunité d’une centralisation des examens;

• Revoir nos politiquesd’évaluation et, s’il y a lieu,proposer des modifications.

Mandat( 01-11-22 )

serge.normand@umontreal.ca

Groupe de travailsur l’évaluation des apprentissages

( GTEA )

Membres ad hoc

Andrée BoucherChristian BourdyBernard CharlinDominique ChandonnetAndré FerronRaymond LalandeChristian LavalléeJulien LordBrigitte MaheuxSerge NormandLouise Roy

Autres personneset instances consultées

Comité du programmeComité des directeurs des département cliniquesSerge DubéMichel GirardBernard MessierRamses Wassef

serge.normand@umontreal.ca

Un projet… à découvrir !

ModalitésInstrumentation

Acteurs

Résultatsattendus

Compétencemédicale

LCME 2002

Justification

Réformedu systèmed’évaluation

serge.normand@umontreal.ca

Un projet… pour nous tous !

Rayonner

Nousmobiliser

Améliorer nospratiques

Mieux répondreaux besoins

Réformedu systèmed’évaluation

serge.normand@umontreal.ca

Finalités du systèmed’évaluation des apprentissages

Faculté

Certifiercompétences

Mesurerles progrès

Responsable

Évaluationsanctionne

lle

Évaluationsanctionne

lle

Évaluation

formative

Évaluation

formative

serge.normand@umontreal.ca

The LCME urges schools to develop a system of evaluation

that fosters self-initiated learning by students and disapproves of the use of frequent tests

which condition students to memorize details

for short-term retention only.

Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

serge.normand@umontreal.ca

Evaluation of student performanceshould measure not only retention of factual knowledge,

but also development ofthe skills, behaviors, and attitudes needed in

subsequent medical training and practice, and the ability to use data appropriately

for solving problems commonly encountered in medical practice.

Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

serge.normand@umontreal.ca

Courses or clerkshipsthat are extremely short in duration

may not have sufficient time to provide structured activities

for formative evaluation, but should provide some alternate means

(such as self-testing or teacher consultation)that will allow students to

measure their progress in learning.

Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

serge.normand@umontreal.ca

Des courants majeursissus des milieux anglo-saxons

Des objectifs … aux compétences

Outcome-Based Education

Competency-Based Assessment

serge.normand@umontreal.ca

Un médecin compétent

Performanceof Tasks

Doing the right thing

Doing the thing right

The right person doing it

Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

Agir correctement de façon professionnelle

serge.normand@umontreal.ca

Un médecin compétent

Tâche à effectuer

Effectuer la bonne action

L’exécuter correctemen

t

Par la bonne personne

Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14

Agir correctement de façon professionnelle

serge.normand@umontreal.ca

What the doctor is able to doDoing the right thing

1. Clinical skills2. Practical procedures3. Patient investigation4. Patient management5. Health promotion and disease

prevention6. Communication skills7. Information handling and retrieval

Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999

serge.normand@umontreal.ca

How the doctor approaches their practiceDoing the thing right

1. Understanding of basic, clinical and social sciences

2. Appropriate attitudes, ethical understanding and legal responsibilities

3. Appropriate decision making , clinical reasoning and judgment

Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999

serge.normand@umontreal.ca

The doctor as a professionalThe right person doing it

1. Role of the doctor within the health service

2. Aptitude for personal development

Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999

serge.normand@umontreal.ca

Démonstration

Compétences

Intégration

ConnaissancesHabiletésAttitudes

Apprentissages

Évaluation

Référence : National Postsecondary Education Cooperative Competency-Based Initiatives Working GroupU.S. Department of Education - 2001

Modèle de certification des compétences

serge.normand@umontreal.ca

Occasions d’apprentissagesau programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

serge.normand@umontreal.ca

Objets d’évaluation ( actuels )au programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

ÉVALATION

ÉVALATION

Unités cours et stages

serge.normand@umontreal.ca

Objets d’évaluation ( proposés )au programme MD

IMC - IDC

11381139* * *21272128

APP

11281129* * *21332134

EXTERNAT

33013302* * *44104411

É V A L U A T I O N

COMPÉTENCES

serge.normand@umontreal.ca

Les compétences attendues

ExamenGestes

techniques

Prise encharge

Technologieinformation

Communiquer

Travailleren équipeIntégrer

Connaissances

Jugementcritique

Maintiencompétence

Profession-nalisme

Éducateur

Éthique

DiplôméMD

Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002

serge.normand@umontreal.ca

Educational objectives are statements of the items of knowledge, skills, behaviors, and attitudes

that students are expected to exhibit as evidence of their achievement.

They are not statements of mission or broad institutional purpose, such as

education, research, health care, or community service. Educational objectives state

what students are expected to learn, not what is to be taught.

Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.

serge.normand@umontreal.ca

Énoncé des compétences médicales( mots clés seulement )

InterrogatoireExamen physiqueGestes techniquesPrise en chargeInvestigationTraitement

Expertise médicaleQuestionnaireExamen

Cliniciencompétentet efficace

CommunicationCommunication CommuniquerRelationmédecin-patient

CollaborationContexte Travailler en équipe Communautaire

ÉruditionIntégrationconnaissances

Intégrationconnaissances

Gestion

Promotionde la santé

Professionnalisme

Jugement critiqueMaintien compétence

ÉducateurPromotion santé

Notions éthiquesProfessionnalisme

Éthique

Ressource pourpopulation définiede patients

IMC-IDC Externat CMFC - 2000 ProMEDS - 2000

serge.normand@umontreal.ca

Compétences pour un plan directeur( mots clés seulement )

ExamenGestes

techniques

Prise encharge

Technologieinformation

Communiquer

Travailleren équipeIntégration

connaissances

Jugementcritique

Maintiencompétence

Professionnalisme

Éducateur

Éthique

DiplôméMD

Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002

serge.normand@umontreal.ca

Réforme du système d’évaluationInnovations

• Modèle d’évaluation axé surla certification des compétences

• Tests périodiques de rendementpour mesurer les progrès

• Profil cumulatif pour l’évaluation formative

• Mentors pour accompagner les étudiants

• Formation aux professeurs sur le feedback

serge.normand@umontreal.ca

Système d’évaluation des apprentissagesau programme MD

CONNAISSANCES CERTIFICATIONdes COMPÉTENCES

Évaluation formative

Évaluation sommative

HABILETÉS + ATTITUDES

C o m p é t e n c e m é d i c a l e

TRP : Test de rendement périodique ( Progress Test )

TRP

serge.normand@umontreal.ca

Réforme du système d’évaluationChangements

• Évaluation sanctionnelle se concentre sur la certificationet la consolidation des compétences

• Systématisation de l’évaluation formativeaux années pré-cliniques pour mesurer les progrès

• Outils d’évaluation choisis pour mesurerl’intégration des connaissances, l’application des habiletéset la démonstration des attitudes

• Travail d’équipe pour préparer les instruments d’évaluation

serge.normand@umontreal.ca

Les acteurs

Implantation du systèmed’évaluation des apprentissages

Conseilsde compétences

Comitésd’épreuves

Mentors

CompétencesPlan directeurProgrèsProfil individuel

ÉpreuvesRéalisationsTRPsPortfolio

AccompagnerGuiderÉvaluer

Étudiants

PairsFormatif

serge.normand@umontreal.ca

Rôle desConseils de compétences

•Identifier les objets de l’évaluation

•Actualiser les objectifs en termes de

compétences

•Élaborer un plan directeur pour certifier

et consolider les compétences

•Déterminer les moments pour mesurer les

progrès

•Définir le contenu d’un profil individuel

serge.normand@umontreal.ca

Rôle desComités d’épreuves

• Élaborer un ensemble d’épreuves

et définir les réalisations attendues

• Élaborer les test périodiques de rendement

pour mesurer les progrès

• Choisir les formats et contenus d’épreuves

pour mesurer l’intégration des

connaissances

• Déterminer le format d’un portfolio

serge.normand@umontreal.ca

Rôle desMentors

• Accompagner les étudiants dont les résultats

aux évaluations formatives indiquent

qu’ils n’enregistrent pas les progrès

attendus

• Guider l’étudiant dans sa démarche

d’apprentissage

• Offrir des sessions d’évaluation individualisée

serge.normand@umontreal.ca

Rôle desÉtudiants

• Se responsabiliser davantage

dans

des activités d’autoévaluation

• Évaluer les pairs

• Se constituer un portfolio

serge.normand@umontreal.ca

Évaluation des apprentissages

Exempled’un plan directeur

tel que proposépar le CMC

Compétence

s CanMEDS

2000

Exemple

Plan

directeur

CanMEDS 2000

Exemple

Plan

directeur

adapté

CanMEDS 2000

serge.normand@umontreal.ca

Réforme du système d’évaluationdes apprentissages au programme MD

Choisirles instruments

appropriés

serge.normand@umontreal.ca

Évaluer la compétence professionnellePyramide de Miller

FaitDoes

DémontreShows How

Sait commentKnows How

SaitKnows

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

SavoirCognition

ComportementBehaviour

serge.normand@umontreal.ca

Évaluer la compétence professionnelleModes d’évaluation

Fait

Démontre

Sait comment

Sait

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Évaluation• écrite• orale• ordinateur

Évaluation• de la performance• contextuelle

serge.normand@umontreal.ca

Évaluer la compétence professionnelleTypes d’instruments

Fait

Démontre

Sait comment

Sait

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Épreuves factuelles :QCM, Ex. écrit, oral …

Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …

Performance in vitro :ECOS, Ex. PS. …

Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …

serge.normand@umontreal.ca

Instruments d’évaluationCurriculum de Dundee

Fait

Démontre

Sait comment

Sait

Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261

Portfolio

ECOS

QCM-RQROC

QCMQ. dév.

serge.normand@umontreal.ca

Portfolio(évaluation formative et sanctionnelle)

• Inventaire de preuves et de réalisations

cumulées par le candidat durant sa période d’apprentissage.

• Réflexion du candidat sur les éléments rassemblés

pour témoigner des progrès enregistrés.

• Analyse du portfolio par des examinateurs.

• Dialogue entre les examinateurs et l’étudiant

fondé sur les éléments du portfolio.

• Système de notation adapté

aux finalités formatives ou sanctionnelles.

Histoires de cas, Exposés, etc.

Vidéos de pratique clinique, Résultats de tests formatifs, etc.

serge.normand@umontreal.ca

PortfolioQuelques avantages …

• Approche très individualisé de l’évaluation

• Permet d’évaluer les dimensions « compliquées » :

développement personnel, professionnalisme,

auto-apprentissage, auto-évaluation, réflexion, etc.

• Volet longitudinal, accumulation de preuves,

mesure du progrès

• Exploite la richesse de l’interaction

étudiant-professeur

serge.normand@umontreal.ca

PortfolioQuelques défis …

• Culture « nouvelle » de l’évaluation

• Formation des examinateurs

(contexte sanctionnel)

• « Repenser » les critères psychométriques

(validité, fidélité)

serge.normand@umontreal.ca

Évaluation des apprentissages

Exempled’un format de

question Q4utilisé

par le CMC

www.mcc.ca/CRS_Demo

Question

Type Q4

CMC

serge.normand@umontreal.ca

Évaluation des apprentissages

Exempled’un format dequestion type R

prônépar le NBME

NBME – Extended-Matching ( R-Type) Items( Question d’appariement détaillé )

serge.normand@umontreal.ca

Réforme du système d’évaluationdes apprentissages au programme MD

Principes générauxet

Règles d’application

serge.normand@umontreal.ca

Énoncé des principes générauxÉvaluation des apprentissages au programme MD

1. L’évaluation des apprentissages est planifié sur un continuum

englobant les années pré-cliniques et cliniques.

2. Les activités formelles d’évaluation formative occupent

autant d’importance que les activités d’évaluation

sommative.

3. La fréquence des séances d’évaluation formative et

sommative, leur séquence et leur pondération sont choisies

afin de maximiser la validité.

Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

serge.normand@umontreal.ca

L’évaluation des apprentissages est planifié sur un continuum

englobant les années pré-cliniques et cliniques

1. Les compétences clés constituent toujours la base d’un plan directeur

pour situer et justifier les activités d’évaluation autant formative que

sommative.

2. L’acquisition des compétences clés est évaluée en termes de

progression, de consolidation et de certification à diverses étapes

dans le programme MD.

3. Les modalités et les protocoles d’évaluation adoptés facilitent l’accès

aux résultats cumulatifs de l’évaluation pour permettre à chaque

étudiant et à ses professeurs d’en exploiter toute la richesse.

Règles d’application :

Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

serge.normand@umontreal.ca

Les activités formelles d’évaluation formative occupent autant

d’importance que les activités d’évaluation sommative

1. Les séances d’évaluation formative produisent des résultats

quantitatifs et qualitatifs qui ne sont pas comptabilisés pour fins de

certification.

2. Les séances d’évaluation formative génèrent une rétroaction rapide à

l’étudiant.

3. L’ensemble des compétences et des objectifs clés sont soumis à des

procédures d’évaluation formative.

4. Les corpus de connaissances associés aux sciences fondamentales et

aux sciences cliniques sont l’objet d’activités d’évaluation formative.

5. Les procédures et les modalités de l’évaluation formative font appel à

l’autoévaluation et à l’évaluation par les pairs.

Règles d’application :

Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

serge.normand@umontreal.ca

La fréquence des séances d’évaluation formative et sommative, leur

séquence

et leur pondération sont choisies afin de maximiser la validité

1. Les résultats de l’évaluation formative indiquent les progrès de

l’étudiant en rapport avec les corpus de connaissances fondamentales

et cliniques.

2. Les modalités de l’évaluation formative fournissent à l’étudiant des

indications précises sur ses acquis et sur ses prescriptions suivantes

d’apprentissage.

3. Les séances d’évaluation sommative sont établies au moment le plus

approprié pour évaluer l’intégration et l’application des connaissances.

4. La pondération de l’évaluation sommative est ajustée pour tenir

compte des progrès de l’étudiant.

5. L’évaluation sommative certifie également la consolidation des

compétences attendues.

Règles d’application :

Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003

serge.normand@umontreal.ca

Conditions gagnantes

• Des étudiants responsables et autonomes• Des professeurs engagés et fiers• Une Faculté qui innove et qui rayonne

www.medbev.umontreal.ca/gtea

J’ai réalisé ce site

Il est sécurisé !

Faculté de médecineComité du programme des études de premier cycleGroupe de travail sur l’évaluation des apprentissages