Édition : [email protected] Grilles dobservation Serge Normand, M.A. Docimologue Faculté de médecine Bureau dévaluation Docimologie appliquée

Édition : [email protected]

Grillesd’observation

Serge Normand, M.A.

Docimologue

Faculté de médecineBureau d’évaluationDocimologie appliquée aux sciences de la santé

Atelier


Évaluer la compétence clinique ?

Définir …


Clinical professional competence

The ability to gather data from the patient by history and physical examination, integrate this information into a diagnostic formulation, select appropriate investigations to confirm the diagnosis, and institute efficacious management ( Norman 1981 )

The habitual and judicious use of communication, knowledge, technical skills, clinical reasoning, emotions, values, and reflection in daily practice for the benefit of the individual and community being served ( Epstein and Hundert 2002 )

Epstein, RM and EM Hundert, Defining and Assessing Professional Competence, JAMA, Vol 287, No 2, 2002

Defining and Assessing Professional Competence: A Framework for Assessment


Évaluer la compétence clinique ?

• Observations• Examens oraux• QCM

• Patientsstandardisés

• ECOS, CPX

75 % préclinique63 % clinique

LCME 2004


Évaluer la compétence clinique

Epstein, RM and EM Hundert, Defining and Assessing Professional Competence,JAMA, Vol 287, No 2, 2002


Grille d’évaluation

1. Critères

2. Niveaux qualitatifs

( échelle

descriptive )

3. Stratégie de

notation

1. Critères

2. Niveaux qualitatifs

( échelle

descriptive )

3. Stratégie de

notation

• Geste technique• Attitude• Entrevue• Examen physique• Etc.


Observation directe

• Fait / non fait

• Présent / absent

• Adéquat / inadéquat

• Satisfaisant / non

satisfaisant

• Etc.

• Fait / non fait


• Adéquat / inadéquat


satisfaisant

• Etc.

Liste de vérification( Checklist )

• Performance

supérieure

• Réussite certaine

• Réussite limite

• Échec limite

• Échec certain

• Performance

supérieure

• Réussite certaine

• Réussite limite

• Échec limite

• Échec certain

Grille d’évaluation( Rating Form )


Observation directe

Whelan and al., Medical Teacher 2005 : 3; Huber and al. Medical Education 2005 : 39; Kogan and al., Teaching and Learning in Medicine 2005 : 17(2); Gorter and al, Academic Medicine 2000 : 75(11)

• Fait / non fait


• Adéquat /

inadéquat


satisfaisant

• Etc.

• Fait / non fait


• Adéquat /

inadéquat


satisfaisant

• Etc.

Liste de vérification( Checklist )

• Observation « dichotomique »

• Adaptée au contexte

• 10 – 30 items

• Pondération

• Niveau du candidat



SCALLON, Gérard, L’évaluation des apprentissages dans une approche par compétences, Édition du renouveau pédagogique, 2004

Critère : coopération ( échange des idées )

Échelleuniforme

Excellente Satisfaisante Insatisfaisante

Échelledescriptive

Donne ses idées et

accepte celle des autres

Donne ses idées ou

accepte celles des autres

Ne donne pas d’idée et

n’accepte pas celles des

autres



Élaboration de la grille

Un travail d’équipe !



Échelle descriptive

Ou

Échelle uniforme

Échelle descriptive

Ou

Échelle uniforme

Favorise la rétroaction

Mieux adaptéeau candidat « expert »


Établir des normes de réussite Setting Performance Standards

C o m p é t e n c e s

Niveauacceptable


Déterminer la note de passage

Sources d’information

Données recueillies Jugement d’experts

Distributiondes

résultats

Caractéristiquesdes

questions

“Examinee centered” “Test centered”


Grille1.

2.

3.

4.

5.

6.

7.

TOTAL

Éval. Globale 1 2 3 4 5

1 = Échec

2 = Limite insuffisant

3 = Limite suffisant

4 = Attendu

5 = Excellent

Moyennes

des scores

par examinateurs

( selon la méthode Borderline Group )

Déterminer la note de passage - ECOS



Moyennes des Moyennes par examinateurexaminateurs

Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F92,8 Excellent 99,0 88,0 96,0 96,0 88,0 90,076,5 Attendu 82,6 73,2 78,5 77,8 74,9 72,260,0 Limite / Suffisant 53,5 64,0 64,0 58,451,0 Limite / Insuffisant 51,0

Nombre de candidats par examinateur

Ex. A Ex. B Ex. C Ex. D Ex. E Ex. F12 Excellent 1 2 1 1 3 4

163 Attendu 30 23 30 31 22 2716 Limite / Suffisant 6 2 1 7 1 Limite / Insuffisant 1

Déterminer la note de passage - ECOS


Épreuve ECOSCohorte Limite / Suffisant

MoyennesStation n A B C

S1 16 57,6 58,9 60,0S2 17 68,5 69,6 69,2S3 6 63,2 63,2 61,8S4 30 72,1 69,5 70,3S5 24 65,0 66,1 64,5S6 16 67,2 67,4 63,8S7 25 65,5 64,2 62,2S8 20 63,6 62,9 59,5S9 25 69,7 66,1 64,8S10 10 62,5 63,5 64,3

Moyenne 18,9 65,5 65,1 64,0


Déterminer la note de passage


Déterminer la note de passage( selon la méthode de Ebel )

Diffi culté

Pertinence Facile Moyenne Diffi cile

+ + + + (80%)

(70%)

(60%)

+ + + (70%)

(60%)

(50%)

+ + (60%)

(50%)

(40%)

+ (50%)

(40%)

(30%)

Situez chaque question ou élément de questions qui composent l’examen dans les cellules de cette grille; par exemple, une questions de 3 points comportera 3 entrées dans la grille.

Dans chaque cellule, une proportion de questions qu’un candidat à compétence acceptable devrait réussir est proposée.

Pour chaque cellule, multipliez le nombre de questions (ou d’éléments) par le pourcentage correspondant et faites ensuite la somme de ces produits.

La valeur obtenue divisée par le nombre total de questions (ou d’éléments) constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.


Déterminer la note de passage( selon la méthode de Ebel )

Diffi culté

Pertinence Facile Moyenne Diffi cile

+ + + +(80%)

14(70%)

4(60%)

2

+ + +(70%)

9(60%)

12(50%)

7

+ +(60%)

4(50%)

13(40%)

5

+(50%)

1(40%)

1(30%)

0

Nombre de questions : 72

SAP : 61 %


Déterminer la note de passage( selon la méthode « Direct Borderline » )

Indiquez pour chaque question si un candidat à compétence acceptable devrait répondre correctement à la question.

Le nombre total de « OUI » divisé par le nombre total de questions constitue le seuil acceptable de performance pour cet examen exprimé en pourcentage.

Question 1 ouinon

Question 2 ouinon

Question 3 ouinon

Question … ouinon

Question … ouinon

Question 25 ouinon

ExempleNombre de questions: 25Nombre de OUI : 16SAP : 64 %


Déterminer la note de passage( selon la méthode Hofstee )

0%

5%

10%

15%

20%

25%

30%

35%

40%

45%

50%

55%

60%

65%

70%

75%

80%

85%

90%

95%

100%

30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80

Scores

Ta

ux

d'é

ch

ec

Kmax Note de passage maximum 60Kmin Note de passage minimum 50Fmax % maximum d'échecs 30%Fmin % minimum d'échecs 10%

Documents

Édition : [email protected] Grilles dobservation Serge Normand, M.A. Docimologue Faculté de médecine Bureau dévaluation Docimologie appliquée