Upload
jerom
View
22
Download
0
Embed Size (px)
DESCRIPTION
Réforme – Innovations - Changements Occasions d’apprentissages Système – Actuel – Proposé Competency-Based Assessment Compétences MD – ProMED2000 LCME 2002 Plan directeur Outils – R-Type – Q4 - Portfolio Acteurs Conseils de compétences Comités d’épreuves - Mentors. - PowerPoint PPT Presentation
Citation preview
Réforme – Innovations - Changements
Occasions d’apprentissagesSystème – Actuel – ProposéCompetency-Based AssessmentCompétences MD – ProMED2000LCME 2002Plan directeurOutils – R-Type – Q4 - PortfolioActeursConseils de compétencesComités d’épreuves - Mentors
AccueilMembresProjet – ButsFinalitésPrincipes générauxConditions gagnantesSite WebHistorique
Faculté de médecineComité du programme des études de premier cycleGroupe de travail sur l’évaluation des apprentissages
Faculté de médecineComité du programme des études de premier cycleGroupe de travail sur l’évaluation des apprentissages
• Revoir la procédure d’évaluation actuellement en vigueur au programme MD;
• Réfléchir à l’opportunité d’une centralisation des examens;
• Revoir nos politiquesd’évaluation et, s’il y a lieu,proposer des modifications.
Mandat( 01-11-22 )
Groupe de travailsur l’évaluation des apprentissages
( GTEA )
Membres ad hoc
Andrée BoucherChristian BourdyBernard CharlinDominique ChandonnetAndré FerronRaymond LalandeChristian LavalléeJulien LordBrigitte MaheuxSerge NormandLouise Roy
Autres personneset instances consultées
Comité du programmeComité des directeurs des département cliniquesSerge DubéMichel GirardBernard MessierRamses Wassef
Un projet… à découvrir !
ModalitésInstrumentation
Acteurs
Résultatsattendus
Compétencemédicale
LCME 2002
Justification
Réformedu systèmed’évaluation
Un projet… pour nous tous !
Rayonner
Nousmobiliser
Améliorer nospratiques
Mieux répondreaux besoins
Réformedu systèmed’évaluation
Finalités du systèmed’évaluation des apprentissages
Faculté
Certifiercompétences
Mesurerles progrès
Responsable
Évaluationsanctionne
lle
Évaluationsanctionne
lle
Évaluation
formative
Évaluation
formative
The LCME urges schools to develop a system of evaluation
that fosters self-initiated learning by students and disapproves of the use of frequent tests
which condition students to memorize details
for short-term retention only.
Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.
Evaluation of student performanceshould measure not only retention of factual knowledge,
but also development ofthe skills, behaviors, and attitudes needed in
subsequent medical training and practice, and the ability to use data appropriately
for solving problems commonly encountered in medical practice.
Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.
Courses or clerkshipsthat are extremely short in duration
may not have sufficient time to provide structured activities
for formative evaluation, but should provide some alternate means
(such as self-testing or teacher consultation)that will allow students to
measure their progress in learning.
Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.
Des courants majeursissus des milieux anglo-saxons
Des objectifs … aux compétences
Outcome-Based Education
Competency-Based Assessment
Un médecin compétent
Performanceof Tasks
Doing the right thing
Doing the thing right
The right person doing it
Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14
Agir correctement de façon professionnelle
Un médecin compétent
Tâche à effectuer
Effectuer la bonne action
L’exécuter correctemen
t
Par la bonne personne
Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14
Agir correctement de façon professionnelle
What the doctor is able to doDoing the right thing
1. Clinical skills2. Practical procedures3. Patient investigation4. Patient management5. Health promotion and disease
prevention6. Communication skills7. Information handling and retrieval
Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999
How the doctor approaches their practiceDoing the thing right
1. Understanding of basic, clinical and social sciences
2. Appropriate attitudes, ethical understanding and legal responsibilities
3. Appropriate decision making , clinical reasoning and judgment
Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999
The doctor as a professionalThe right person doing it
1. Role of the doctor within the health service
2. Aptitude for personal development
Référence : Center for Medical Education University of Dundee, AMEE Education Guide 14, Outcome-based Education, 1999
Démonstration
Compétences
Intégration
ConnaissancesHabiletésAttitudes
Apprentissages
Évaluation
Référence : National Postsecondary Education Cooperative Competency-Based Initiatives Working GroupU.S. Department of Education - 2001
Modèle de certification des compétences
Occasions d’apprentissagesau programme MD
IMC - IDC
11381139* * *21272128
APP
11281129* * *21332134
EXTERNAT
33013302* * *44104411
Objets d’évaluation ( actuels )au programme MD
IMC - IDC
11381139* * *21272128
APP
11281129* * *21332134
EXTERNAT
33013302* * *44104411
ÉVALATION
ÉVALATION
Unités cours et stages
Objets d’évaluation ( proposés )au programme MD
IMC - IDC
11381139* * *21272128
APP
11281129* * *21332134
EXTERNAT
33013302* * *44104411
É V A L U A T I O N
COMPÉTENCES
Les compétences attendues
ExamenGestes
techniques
Prise encharge
Technologieinformation
Communiquer
Travailleren équipeIntégrer
Connaissances
Jugementcritique
Maintiencompétence
Profession-nalisme
Éducateur
Éthique
DiplôméMD
Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002
Educational objectives are statements of the items of knowledge, skills, behaviors, and attitudes
that students are expected to exhibit as evidence of their achievement.
They are not statements of mission or broad institutional purpose, such as
education, research, health care, or community service. Educational objectives state
what students are expected to learn, not what is to be taught.
Référence : Liaison Committee on Medical Education, FUNCTIONS AND STRUCTURE OF A MEDICAL SCHOOL,Standards for Accreditation of Medical Education Programs Leading to the M.D. Degree, June 2002.
Énoncé des compétences médicales( mots clés seulement )
InterrogatoireExamen physiqueGestes techniquesPrise en chargeInvestigationTraitement
Expertise médicaleQuestionnaireExamen
Cliniciencompétentet efficace
CommunicationCommunication CommuniquerRelationmédecin-patient
CollaborationContexte Travailler en équipe Communautaire
ÉruditionIntégrationconnaissances
Intégrationconnaissances
Gestion
Promotionde la santé
Professionnalisme
Jugement critiqueMaintien compétence
ÉducateurPromotion santé
Notions éthiquesProfessionnalisme
Éthique
Ressource pourpopulation définiede patients
IMC-IDC Externat CMFC - 2000 ProMEDS - 2000
Compétences pour un plan directeur( mots clés seulement )
ExamenGestes
techniques
Prise encharge
Technologieinformation
Communiquer
Travailleren équipeIntégration
connaissances
Jugementcritique
Maintiencompétence
Professionnalisme
Éducateur
Éthique
DiplôméMD
Référence : Boucher, A., Rapport du comité de révision de l’externat, Faculté de médecine, Université de Montréal, 2002
Réforme du système d’évaluationInnovations
• Modèle d’évaluation axé surla certification des compétences
• Tests périodiques de rendementpour mesurer les progrès
• Profil cumulatif pour l’évaluation formative
• Mentors pour accompagner les étudiants
• Formation aux professeurs sur le feedback
Système d’évaluation des apprentissagesau programme MD
CONNAISSANCES CERTIFICATIONdes COMPÉTENCES
Évaluation formative
Évaluation sommative
HABILETÉS + ATTITUDES
C o m p é t e n c e m é d i c a l e
TRP : Test de rendement périodique ( Progress Test )
TRP
Réforme du système d’évaluationChangements
• Évaluation sanctionnelle se concentre sur la certificationet la consolidation des compétences
• Systématisation de l’évaluation formativeaux années pré-cliniques pour mesurer les progrès
• Outils d’évaluation choisis pour mesurerl’intégration des connaissances, l’application des habiletéset la démonstration des attitudes
• Travail d’équipe pour préparer les instruments d’évaluation
Les acteurs
Implantation du systèmed’évaluation des apprentissages
Conseilsde compétences
Comitésd’épreuves
Mentors
CompétencesPlan directeurProgrèsProfil individuel
ÉpreuvesRéalisationsTRPsPortfolio
AccompagnerGuiderÉvaluer
Étudiants
PairsFormatif
Rôle desConseils de compétences
•Identifier les objets de l’évaluation
•Actualiser les objectifs en termes de
compétences
•Élaborer un plan directeur pour certifier
et consolider les compétences
•Déterminer les moments pour mesurer les
progrès
•Définir le contenu d’un profil individuel
Rôle desComités d’épreuves
• Élaborer un ensemble d’épreuves
et définir les réalisations attendues
• Élaborer les test périodiques de rendement
pour mesurer les progrès
• Choisir les formats et contenus d’épreuves
pour mesurer l’intégration des
connaissances
• Déterminer le format d’un portfolio
Rôle desMentors
• Accompagner les étudiants dont les résultats
aux évaluations formatives indiquent
qu’ils n’enregistrent pas les progrès
attendus
• Guider l’étudiant dans sa démarche
d’apprentissage
• Offrir des sessions d’évaluation individualisée
Rôle desÉtudiants
• Se responsabiliser davantage
dans
des activités d’autoévaluation
• Évaluer les pairs
• Se constituer un portfolio
Évaluation des apprentissages
Exempled’un plan directeur
tel que proposépar le CMC
Compétence
s CanMEDS
2000
Exemple
Plan
directeur
CanMEDS 2000
Exemple
Plan
directeur
adapté
CanMEDS 2000
Réforme du système d’évaluationdes apprentissages au programme MD
Choisirles instruments
appropriés
Évaluer la compétence professionnellePyramide de Miller
FaitDoes
DémontreShows How
Sait commentKnows How
SaitKnows
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
SavoirCognition
ComportementBehaviour
Évaluer la compétence professionnelleModes d’évaluation
Fait
Démontre
Sait comment
Sait
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Évaluation• écrite• orale• ordinateur
Évaluation• de la performance• contextuelle
Évaluer la compétence professionnelleTypes d’instruments
Fait
Démontre
Sait comment
Sait
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Épreuves factuelles :QCM, Ex. écrit, oral …
Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …
Performance in vitro :ECOS, Ex. PS. …
Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …
Instruments d’évaluationCurriculum de Dundee
Fait
Démontre
Sait comment
Sait
Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261
Portfolio
ECOS
QCM-RQROC
QCMQ. dév.
Portfolio(évaluation formative et sanctionnelle)
• Inventaire de preuves et de réalisations
cumulées par le candidat durant sa période d’apprentissage.
• Réflexion du candidat sur les éléments rassemblés
pour témoigner des progrès enregistrés.
• Analyse du portfolio par des examinateurs.
• Dialogue entre les examinateurs et l’étudiant
fondé sur les éléments du portfolio.
• Système de notation adapté
aux finalités formatives ou sanctionnelles.
Histoires de cas, Exposés, etc.
Vidéos de pratique clinique, Résultats de tests formatifs, etc.
PortfolioQuelques avantages …
• Approche très individualisé de l’évaluation
• Permet d’évaluer les dimensions « compliquées » :
développement personnel, professionnalisme,
auto-apprentissage, auto-évaluation, réflexion, etc.
• Volet longitudinal, accumulation de preuves,
mesure du progrès
• Exploite la richesse de l’interaction
étudiant-professeur
PortfolioQuelques défis …
• Culture « nouvelle » de l’évaluation
• Formation des examinateurs
(contexte sanctionnel)
• « Repenser » les critères psychométriques
(validité, fidélité)
www.mcc.ca/CRS_Demo
Question
Type Q4
CMC
Évaluation des apprentissages
Exempled’un format dequestion type R
prônépar le NBME
NBME – Extended-Matching ( R-Type) Items( Question d’appariement détaillé )
Réforme du système d’évaluationdes apprentissages au programme MD
Principes générauxet
Règles d’application
Énoncé des principes générauxÉvaluation des apprentissages au programme MD
1. L’évaluation des apprentissages est planifié sur un continuum
englobant les années pré-cliniques et cliniques.
2. Les activités formelles d’évaluation formative occupent
autant d’importance que les activités d’évaluation
sommative.
3. La fréquence des séances d’évaluation formative et
sommative, leur séquence et leur pondération sont choisies
afin de maximiser la validité.
Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003
L’évaluation des apprentissages est planifié sur un continuum
englobant les années pré-cliniques et cliniques
1. Les compétences clés constituent toujours la base d’un plan directeur
pour situer et justifier les activités d’évaluation autant formative que
sommative.
2. L’acquisition des compétences clés est évaluée en termes de
progression, de consolidation et de certification à diverses étapes
dans le programme MD.
3. Les modalités et les protocoles d’évaluation adoptés facilitent l’accès
aux résultats cumulatifs de l’évaluation pour permettre à chaque
étudiant et à ses professeurs d’en exploiter toute la richesse.
Règles d’application :
Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003
Les activités formelles d’évaluation formative occupent autant
d’importance que les activités d’évaluation sommative
1. Les séances d’évaluation formative produisent des résultats
quantitatifs et qualitatifs qui ne sont pas comptabilisés pour fins de
certification.
2. Les séances d’évaluation formative génèrent une rétroaction rapide à
l’étudiant.
3. L’ensemble des compétences et des objectifs clés sont soumis à des
procédures d’évaluation formative.
4. Les corpus de connaissances associés aux sciences fondamentales et
aux sciences cliniques sont l’objet d’activités d’évaluation formative.
5. Les procédures et les modalités de l’évaluation formative font appel à
l’autoévaluation et à l’évaluation par les pairs.
Règles d’application :
Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003
La fréquence des séances d’évaluation formative et sommative, leur
séquence
et leur pondération sont choisies afin de maximiser la validité
1. Les résultats de l’évaluation formative indiquent les progrès de
l’étudiant en rapport avec les corpus de connaissances fondamentales
et cliniques.
2. Les modalités de l’évaluation formative fournissent à l’étudiant des
indications précises sur ses acquis et sur ses prescriptions suivantes
d’apprentissage.
3. Les séances d’évaluation sommative sont établies au moment le plus
approprié pour évaluer l’intégration et l’application des connaissances.
4. La pondération de l’évaluation sommative est ajustée pour tenir
compte des progrès de l’étudiant.
5. L’évaluation sommative certifie également la consolidation des
compétences attendues.
Règles d’application :
Référence : Normand, S., Rapport du groupe de travail sur l’évaluation des apprentissages, Comité du programme des études de premier cycle, Faculté de médecine, Université de Montréal, 2003
Conditions gagnantes
• Des étudiants responsables et autonomes• Des professeurs engagés et fiers• Une Faculté qui innove et qui rayonne
www.medbev.umontreal.ca/gtea
J’ai réalisé ce site
Il est sécurisé !
Faculté de médecineComité du programme des études de premier cycleGroupe de travail sur l’évaluation des apprentissages