QCM - QROC Serge Normand, M.A. Docimologue Faculté de médecine Bureau dévaluation Docimologie appliquée aux sciences de la santé Atelier

QCM - QROC

Serge Normand, M.A.

Docimologue

Faculté de médecineBureau d’évaluationDocimologie appliquée aux sciences de la santé

Atelier

Docimologie

Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique

Normes recommandées pour la rédaction de questions de type QCM et QROC

1

Docimologie


L’analyse d’itemsune technique docimologiquepour valider des questions d’examen

2

Faculté de médecineBureau d’évaluationDocimologie appliquée aux sciences de la santé

Normes recommandéespour la rédaction de questions

Serge Normand, M.A.Docimologue

avec la collaboration de Michel Girard, MD, MHPE, FRCP(C)

QCM QROC

Édition [email protected]

Références

• WOOD, Tim et Gary COLE, L’élaboration de questions à choix multiple pour les examens menant au certificat du Collège royal des médecins et chirurgiens du Canada, Septembre 2001.

• Directives pour l’élaboration de questions à réponses courtes, Janvier 2003.

• CASE, Susan M. and David B. SWANSON, Constructing Written Test Questions For the Basic and Clinical Sciences, NBME, Philadelphia, 2001.

La plupart des exemples citées proviennent de ces sources

N B M E


www.medbev.umontreal.ca/docimo/medulb.htm


QROC

Question à réponse ouverte courte


QCM – Questions à choix multiplesMCQ – Multiple-Choice Questions

QCR – Questions à choix de réponses

VRAI

ou

FAUX

LA

MEILLEURE

RÉPONSE


Classification des QCMUtilisation au NBME depuis 1953 …

typeA

typeB

typeK

typeR

Rappel de connaissances

Interprétation

Raisonnement

Contexte clinique

Une réponse

Association

Regroupement

Appariement


Types de questions prônéespar les organismes de certification

( QCM-A et QCM-R )

VRAI

ou

FAUX

LA

MEILLEURE

RÉPONSE


Difficultés observées avec le modèle VRAI ou FAUXQCM de type K

A B C D E1,2,3 1,3 2,4 4 TOUS

Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement

(1) un temps de sédimentation allongé

(2) un intervalle PR allongé

(3) un titre d’antistreptolysine O élevé

(4) des nodules sous-cutanés

1 F + 2 V C1 V + 2 F B4 V + 3 F D4 F + 2 F B

Difficile d’écrire des compléments absolument vrai ou faux sans tomber dans la futilité

Principales critiques

Difficile d’évaluer le jugement clinique en terme de Vrai ou Faux


Format d’une QCM bien conçue

Vignette ( Stem )

Question ( Lead-in )

Compléments ( Options )

Un patient de 32 ans se plaint de faiblesse des extrémités depuis 4 jours. Sa température est 37,8 C, son pouls est 94/min, sa PA 130/80 mmHg. La respiration est superficielle à 42/min. Il a une faiblesse symétrique des muscles du visage et des muscles proximaux et distaux des extrémités. La sensibilité est normale. Les réflexes ostéo-tendineux sont absents. Les réflexes plantaires sont en flexion.

Parmi les diagnostics suivants, quel est le plus probable?

A- Encéphalomyélite aiguë disséminée

B- Syndrome de Guillain-Barré

C- Myasténie grave

D- Polyomyélite

E- Polymyosite

1

2

3


Gabarit d’une QCM bien conçue

Vignette

Question

Compléments

Vignette (corps de la question) LONGUE

Complément COURT

Complément COURT

Complément COURT

Complément COURT

Complément COURT

1

2

3

Les compléments ne doivent pas transmettre

de nouvelles informations

Il ne devrait pas y avoir de verbes


Caractéristique d’une QCM bien conçue

Vignette

Question



Compléments



C- Myasténie grave

D- Polyomyélite

E- Polymyosite

On peut répondreà la questionavant de lire

les compléments


Caractéristique d’une QCM bien conçue

Vignette

Question



Compléments



C- Myasténie grave

D- Polyomyélite

E- Polymyosite

Continuumpour

la meilleure réponse

D C A E BLa moins correcte La plus correcte


Choisir un contexte

Une femme de 18 ans présente une aménorrhée primaire. Lequel des signes suivants oriente le mieux vers un diagnostic du syndrome de Turner ?

A- HypertensionB- HirsutismeC- Petite tailleD- ÉpicanthusE- Organes génitaux externes normaux

Sujet: Syndrome de Turner Contexte: Examen physique

Une femme de 18 ans présente une aménorrhée primaire. À l’examen, vous observez qu’elle mesure 148 cm de hauteur. De plus, vous remarquez l’immaturité de ses organes génitaux externes et l’absence de développement des seins. Quel est votre diagnostic le plus probable ?

A- Syndrome de TurnerB- Dysgénésie gonadique mixteC- Dysgénésie gonadique pureD- Syndrome de NoonanE- Hermaphrodisme

Sujet: Syndrome de Turner Contexte: Diagnostic


Gabarits de questions QCM

Le gabarit définit la structure globale d’une question. Il est possible de créer plusieurs questions à l’aide du même gabarit. Par exemple, le gabarit suivant pourrait servir à rédiger une série de questions portant sur l’anatomie macroscopique.

Un (description du patient) est incapable de (incapacité fonctionnelle). Où se situe le plus probablement sa blessure?

Voici une question qui pourrait être rédigée à l’aide de ce gabarit.

Un homme de 65 ans a de la difficulté à se relever d’une position assise et à redresser le torse, mais il n’a aucun problème à fléchir les jambes. La blessure se situe le plus probablement sur lequel des muscles suivants :

A. Grand fessierB. Petit fessierC. Ischio-jambierD. Psoas-iliaqueE. Obturateur interne


Gabarits de questions QCM( sciences fondamentales )

Plusieurs questions en sciences fondamentales peuvent être présentées dans le contexte d’un scénario donnant le profil du patient, qui peut comporter certaines ou l’ensemble des composantes suivantes :

Âge, sexe (par ex. un homme de 45 ans)

Contexte des soins (par ex. se présente à l’urgence)

Plainte invoquée (par ex. à cause d’un mal de tête)

Durée (par ex. qui persiste depuis deux jours).

Antécédents du patient (et de sa famille?)

Observations physiques

+/- Résultats des épreuves diagnostiques

+/- Traitement initial, observations subséquentes, etc.

Exercice pratique


Rédigezune question QCM

de type A


QROC – Questions à réponse ouverte courte

QROC

Il s'agit d'une question à laquelle on peut répondre en quelques mots ou phrases. Dans le cas d’une question comportant des sous-questions, la réponse à chacune de celles-ci doit pouvoir être exprimée en quelques mots ou phrases.

La QROC se distingue surtout de la question à développement court par le fait qu'elle n'exige qu'un seul élément d'information comme réponse.

Nommez trois causes possibles de l’indigestion :

A) _________________________

B) _________________________

C) _________________________



DéveloppementCOURT

La réponse à une question à développement court prévoit plusieurs éléments d'information alors que la QROC n’exige qu'un seul élément d'information comme réponse

Il faut différencier la question à réponse courte de la question à développement court qui prévoit une réponse plus longue et moins structurée (une ou deux phrases à un ou deux paragraphes).

Voici un exemple,d'une question à développement court : « Discutez des avantages du traitement XYZ pour le problème ABC ».



Un malade âgé de 45 ans, atteint d'un cancer épidermoïde du nasopharynx,présente des métastases ganglionnaires qui compriment tous les nerfs quitraversent le trou déchiré postérieur d'un même côté de la base du crâne.

Décrivez brièvement les TROIS signes neurologiques les plus probables chezce sujet.

a) ____________________________________ 3b) ____________________________________ 3c) ____________________________________ 3



Un malade âgé de 45 ans, atteint d'un cancer épidermoïde du nasopharynx,présente des métastases ganglionnaires qui compriment tous les nerfs quitraversent le trou déchiré postérieur d'un même côté de la base du crâne.

Décrivez brièvement les TROIS signes neurologiques les plus probables chezce sujet.

a) ____________________________________ 3b) ____________________________________ 3c) ____________________________________ 3

POINTSa) Paralysie de la partie droite du voile du palais 3b) Paralysie de la corde vocale droite 3c) Paralysie du sterno-cleido-mastoïdien droit 3

(perte du réflexe nauséeux ou pharyngé à droite)3(difficulté à avaler à droite) 2

Modèles de réponse

Exercice pratique


Rédigezune question QROC

avecmodèles de réponses


QCM

QCM – Questions à choix multiplesMCQ – Multiple-Choice Questions

QCR – Questions à choix de réponses


Question QCM de type A

Quelle est la cause de mort la plus fréquente dans la pancréatite aiguë?

A- Le choc.

B- La fibrillation ventriculaire.

C- L’hémorragie.

D- L’infection.

E- L’obstruction intestinale.


Question QCM de type A (avec vignette)


Quel est le diagnostic le plus probable?



C- Myasténie grave

D- Polyomyélite

E- Polymyosite


Question QCM de type B

A- Coactation de l’aorteB- Persistance du canal artérielC- Tétrallogie de FallotD- Anneau vasculaire aortiqueE- Atrésie tricuspidienne

1- Amélioré par une anastomose artérielle systémique-pulmonaire2- Pathologie congénitale cardiaque cyanogène la plus fréquente3- Corrigé par résection chirurgicale et anastomose bout-à-bout.4- Cause possible de dysphagie chez l’enfant5- Hypertension dans les membres supérieurs et hypotension dans les membres

inférieurs

Directives

Pour chacun des énoncés identifiés par un chiffre, associez une option identifiée par une lettre.Chaque option peut être choisie une seule fois, plus d’une fois ou pas du tout.


Question QCM de type K

Un enfant qui souffre d’une crise aiguë de fièvre rhumatismale présente habituellement

(1) un temps de sédimentation allongé.

(2) un intervalle PR allongé.

(3) un titre d’antistreptolysine O élevé.

(4) des nodules sous-cutanés.

A B C D E1,2,3 1,3 2,4 4 TOUS


Question QCM de type RThème:

A: Leucémie aiguë

B: Anémie des mal. chroniques

C: Insuffisance cardiaque

D: Dépression

E: Infection virus Epstein-Barr

F: Déficit en folate

G: Déficit en G-6-PD

H: Sphérocytose congénitale

I: Hypothyroïdie

J: Déficit en fer

K: Maladie de Lyme

L: Anémie hémol. microangiopathique

M: Tuberculose miliaire

N: Déficit en vitamine B12

Compléments:

Question: Pour chacun des patients, présentant de la fatigue, choisir le diagnostic le plus probable.

1. Une femme de 19 ans décrit de la fatigue, de la fièvre et un mal de gorge depuis une semaine. Sa température est 38,3C. Elle présente les adénopathies cervicales et une splénomégalie. Le décompte des leucocytes est 5000/mm3 (80% lympho. dont plusieurs présentent des atypies) … Autres labo ...

2. Un garçon de 15 ans décrit de la fatigue et de la douleur au dos depuis 2 semaines. Il est couvert d’ecchymoses, est pâle et ses vertèbres et fémurs sont sensibles à la palpation. L’hémoglobine est à 70 g/l, les leucocytes à 2000/mm3 et les plaquettes à 15,000 mm3.

Fatigue

Vignettes:


Évaluer la compétence professionnellePyramide de Miller

FaitDoes

DémontreShows How

Sait commentKnows How

SaitKnows

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

SavoirCognition

ComportementBehaviour


Évaluer la compétence professionnelleTypes d’instruments

Fait

Démontre

Sait comment

Sait

Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

Épreuves factuelles :QCM, Ex. écrit, oral …

Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …

Performance in vitro :ECOS, Ex. PS. …

Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …


Instruments d’évaluationCurriculum de Dundee

Fait

Démontre

Sait comment

Sait

Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261

Portfolio

ECOS

QCM-RQROC

QCMQ. dév.


Caractéristiques d’une QCM bien conçue

Vignette ( Stem )

Question ( Lead-in )

Compléments ( Options )





C- Myasténie grave

D- Polyomyélite

E- Polymyosite

D C A E BLa moins correcte La plus correcte

Documentation

COLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS DU CANADA, L’élaboration d’un plan directeur d'un examen ProMEDS, Janvier 2003. (Source : PDF)

COLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS DU CANADA, Directives pour l’élaboration de questions à réponses courtes, Janvier 2003. (Source : PDF)

COLLÈGE ROYAL DES MÉDECINS ET CHIRURGIENS DU CANADA, L’élaboration de questions à choix multiples pour les examens menant au certificat du Collège royal des médecins et chirurgiens du Canada, Septembre 2001.(Source : PDF)

CONSEIL MÉDICAL DU CANADA, Rédaction de problèmes à éléments-clé pour l’examen d’aptitude au raisonnement clinique (Q4), Septembre 1999. (Source : PDF)

CASE, Susan M. and David B. SWANSON, Constructing Written Test Questions For the Basic and Clinical Sciences, NBME, Philadelphia, 2001. (Source : PDF)

GIRARD, Michel et Serge NORMAND, Guide de lecture d’un rapport d’analyse d’items, Bureau d’évaluation, Faculté de médecine, Université de Montréal, 2001. (Source : PDF)

NORMAND, Serge, AnItem, Logiciel pour effectuer une analyse d’items via le chiffrier Excel, versions PC et Mac, Bureau d’évaluation, Faculté de médecine, Université de Montréal, 2001.(AnItem.xls) (MacAnItem.xls) (Exemple de fichier de saisie.xls)

NORMAND, Serge, L’analyse d’items, une technique docimologique pour valider des questions d’examen , Diaporama du mode d’emploi du logiciel AnItem, Bureau d’évaluation, Faculté de médecine, Université de Montréal, 2001. (Source : PDF)

Diaporama

Documentation

http://www.medbev.umontreal.ca/docimo

[email protected]

Merci de votre attention !

mailto:[email protected]

http://www.medbev.umontreal.ca/docimo/cotonou.htm

Documents

QCM - QROC Serge Normand, M.A. Docimologue Faculté de médecine Bureau dévaluation Docimologie appliquée aux sciences de la santé Atelier