docimologie.pdf

7/23/2019 docimologie.pdf

1/12

- 1 -

D.U. de Pdagogie Mai 2005

Docimologie

Andr QUINTON

________

Introduction

La docimologie est la science des examens. Le terme a t cr par Henri PIERON partir dugrec dokime signifiant preuve.

Les preuves ont une importance majeure dans deux circonstances :

- au terme d'un enseignement ou d'une formation o elles valuent les performances des

tudiants et l'enseignement,

- au dbut d'un enseignement ou d'une formation, lors d'un recrutement professionnel, souvent

avec un objectif de slection (concours ou recrutement un niveau donn), o elles valuent

les pr-requis d'un apprentissage antrieur, autodidacte ou fruit d'un enseignement.

Les contenus et les modalits des preuves ( condition qu'ils soient connus) constituent lesobjectifs de fait d'un enseignement, d'une formation. Il est indispensable qu'il y ait une fortecohrence entre des objectifs avancs et les preuves ; en cas de discordance, pour les tudiants,

russir les preuves devient l'unique objectif.

Les contenus et les modalits des preuves dterminent les modalits d'apprentissage.L'objectif des tudiants tant de satisfaire aux preuves, ils adoptent naturellement les stratgies qu'ils

estiment les plus efficaces et les plus efficientes pour russir. En cas de discordances entre les

modalits d'une formation et celles de prparation des preuves, les tudiants privilgient la

prparation des preuves.

Lorsque les preuves et l'enseignement ne correspondent pas aux besoins, l'apprentissage des

tudiants s'effectue en marge de la formation ou devient autodidacte. Un minimum d'nergie est mis

en uvre pour satisfaire aux examens.

Les modalits des contrles des connaissances constituent un indicateur objectif et simple

de l'valuation d'un enseignement.

Besoins

Evaluation

Modalits

Finalits &objectifs

Contrle desperformances

Pr-requis des

tudiants

Etudiants ont acquis descomptences


2/12

- 2 -


Plan 1 - Examens et concours - Examens classants

2 - Les deux fonctions dvaluation des preuves : formative et certificative

3 - Les qualits dun bon examen : Validit - Objectivit Fiabilit

4- Les grands types dpreuves

4 - 1 - Questions rdactionnelles4 - 2 - Questions conduisant une rponse ouverte et courte (Q.R.O.C.)

4 - 3 - Questions choix multiples de rponse (Q.C.M.)

4 - 4 - Epreuves de travaux pratiques

4 - 5 - Epreuves orales

4 - 6 - Mises en situations fictives ou relles

4 - 7 - Examen Clinique Objectif Structur (E.C.O.S.)

4 - 8 - Choix des preuves

5 - Examen final et contrle continu

6 - Epreuves avec utilisation de documents (ressources).

7 - Correction des preuves rdactionnelles

8 Notation des questions et des preuves

9 - Analyse docimologique des preuves : indicateurs quantitatifs et qualitatifs.

10 - Conclusion

1 Examens et Concours. Examens classants et concours dguiss.

ExamensDans un examen tous les tudiants ayant les capacits de suivre et ayant travaill peuvent

satisfaire au contrle des connaissances l o l'enseignement a des objectifs clairs, des modalits

(cours, ED, etc) adaptes, des preuves pertinentes. Il n'y a pas de limite impose au nombre de

reus.

ConcoursLe nombre de candidats admettre tant fix lavance, le concours fait une slection.

Pour les candidats un concours, il y a en gnral plus d'incertitude sur la qualit des

rponses attendues des correcteurs si ceux-ci ne sont pas les enseignants des matires sur

lesquelles portent les preuves. Dans certains concours administratifs, les candidats se prparent

seuls ; il n'y a pas d'enseignement, seuls sont donns un programme et des indications gnrales.

Examens classantsCe sont des examens donnant lieu un classement dont dpend le choix de l'orientation

ultrieure. Ils ont donc deux rles : valider une formation, mais aussi tablir par le classement

une slection. Concours dguiss en examens.

Dans des formations sans concours dentre mais aux dbouchs limits la slection

sopre par tapes au travers d'examens difficiles et la ralisation de thses de 3 cycle.

2 - Evaluation formative et valuation certificative.

- L'valuation formative, en cours de formation, permet :

- l'tudiant, d'valuer les rsultats de son travail d'apprendre, de situer le niveau de sesconnaissances par rapport ses efforts et par rapport aux autres,

- l'enseignant, d'valuer la qualit et le niveau de son enseignement et, si ncessaire, d'en

modifier le contenu ou les modalits.

- L'valuation certificative est destine l'tudiant et la socit. Elle certifie l'tudiant qu'ila acquis des comptences, et la socit qu'elle peut faire confiance au dtenteur du diplme.


3/12

- 3 -


Dlivrer un diplme engage une universit bien au-del du contrat pdagogique avec

l'tudiant. Dlivrer un diplme validant lacquisition de connaissances engage la

responsabilit de la structure (Ecole, Universit, Institut) et des enseignants qui le dispensent

vis vis des tudiants et de la socit.

3 Les qualits d'une bonne preuve sont d'tre valide, objective, fiable.La pdagogie tant issue de la psychologie, des pdagogues ont assimil les examens aux tests

de la psychologie comportementale. C'est l l'origine des qualits exiges des preuves, la validit,

l'objectivit, la fiabilit.

Validit

Une preuve est valide ou pertinente si elle mesure rellement ce quelle est cense

mesurer. Pour certifier la comptence d'un tudiant la ralisation d'une activit, technique ou

intellectuelle, il faut le mettre dans une situation concrte.

Objectivit

Une preuve est objective si des corrections par des correcteurs diffrents, ou deux

corrections par le mme correcteur quelques jours ou semaines d'intervalle, donnent desrsultats identiques. L'objectivit est indispensable pour un concours.

Le garant de l'objectivit d'une preuve est soit sa nature (Q.C.M. pour les preuves

crites, ralisation d'un acte suivant les normes bien tablies), soit la rigueur apporte dans la

correction grce une grille de correction. En cas de concours la double correction avec un

arbitrage en cas d'cart significatif entre les corrections de deux correcteurs apporte une garantie

supplmentaire d'objectivit.

Plus loin nous verrons qu'il est difficile de rpondre la fois aux deux critres de validit et

d'objectivit.

Fiabilit

La fiabilit d'un test est dmontre lorsqu'on obtient les mmes rsultats en soumettant plusieursfois les mmes sujets aux mmes preuves et dans les mmes conditions.

Cette qualit ne s'applique qu'aux situations exprimentales dont on contrle tous les paramtres.

Dans les examens auxquels sont soumis les tudiants, une mthodologie exprimentale tudiant la

fiabilit, dmontrerait probablement qu'elle est un idal inaccessible du fait de l'impossibilit de

reproduire des conditions identiques.

Les tudiants doutent toujours de la fiabilit d'un examen ou d'un concours comme le dmontrent

les protestations que suscite le fait de recommencer une preuve cause d'une erreur matrielle.

4- Les grands types dpreuves

4 - 1 - Questions choix multiples de rponse ( Q.C.M.).

Ce mode dpreuve a t le plus explor.

Structure

Un libell est suivi d'une question dont on choisit la ou les bonnes rponse(s) parmi 3, 4

ou 5 propositions (rarement plus). A ct de la ou des bonne(s) rponse(s) il faut des leurres

crdibles.

Avantages

- Facilit de correction et possible automatisation ont fait le succs des QCM.

- Possibilit de balayer tout le champ dun enseignement.

- La correction d'une QCM est fiable et objective, et il y a aisment possibilit de faire

des tudes statistiques sur les rsultats.


4/12

- 4 -


Inconvnients : exercice artificiel et mauvaise utilisation

-Exercice artificiel

- Lexercice est artificiel, l'offre d'un choix de rponses ne fait pas appel la

rflexion spontane.

- Mauvaise utilisation

- Simple, la mthode est pnalise par sa mauvaise utilisation.- Il est difficile de rdiger des QCM sans ambigut, comportant toutes les donnes

ncessaires, avec de vrais leurres.

- On attache tort aux QCM la notion de rapidit de rponses, ce qui ne permet de

tester que la mmoire ou des automatismes. Il est possible d'exposer un problme

difficile et de poser une QCM ncessitant plusieurs minutes de rflexion.

Les QCM simplistes sont des QCM bcles.

La mthode a donn lieu des variantes si sophistiques quun entranement et une

grande vigilance sont ncessaires pour viter une erreur de forme dans la rdaction et la rponse.

Q.C.M. en cascade

Aprs qu'une situation ait t prsente le questionnement s'effectue par une srie deQCM, chacune prcde d'un libell complmentaire donnant de nouvelles informations..

Les difficults sont nombreuses :

- pour raliser d'authentiques cascades il ne faut pas poser une suite de questions trs

gnrales sur la situation, ramenant ainsi son libell une prsentation de thme,

- il faut veiller ne pas apporter la rponse (ou une forte orientation de rponse) une

prcdente question dans un libell complmentaire

- il y a un risque de trouver une rponse juste une question alors que l'ensemble des

autres rponses traduit une absence de comprhension du sujet,

- si la rponse la 1re

question conditionne les rponses aux suivantes, une rponse

fausse cette premire question conduit des rponses fausses aux autres questions

alors mme qu'elles sont cohrentes avec la premire rponse.

4- 2 - Questions conduisant une rponse ouverte et courte (Q.R.O.C.)

Avantages

Une question prcise appelle une rponse courte de correction rapide et simple.

- Question : Quelle est la quantit dalcool pur, exprime en grammes, contenue

dans un demi-litre de vin 10 ? - Rponse : 40 g

Inconvnients

Rdiger une QROC sans ambigut est une difficult majeure. Peu de questions font appel

des rponses sur lesquelles tout le monde saccorde.

Un exemple banal de difficults : la question "Qui est le Prsident ?"les interrogationspour rpondre s'enchanent :

- prsident de quoi ? de la Rpublique ?,

- de quelle rpublique ? la Rpublique Franaise ?

- attend-on un nom ou la dfinition d'une modalit lective ?

4- 1 - Questions rdactionnelles

Le terme rdactionnel voque un exercice crit. Il faut nanmoins rapprocher des

questions rdactionnelles les preuves orales portant sur le dveloppement d'un sujet (qu'on

laisse ou non un temps de prparation au candidat).

Avantages

Elles permettent de juger la capacit de ltudiant ordonner ses ides, faire un plan,dvelopper des arguments, et de faire preuve de sa matrise de la langue.


5/12

- 5 -


Selon le niveau de rflexion on peut distinguer les questions o :

- rpondre ncessite une rflexion originale,

- rpondre ncessite une rflexion mais suit un plan convenu,

- rpondre se limite restituer une partie de cours sans faire appel la rflexion.

Ces distinctions s'appliquent plus aux questions aux rponses longues qu' celles aux

rponses courtes (quelques lignes une page) qui ncessitent peu de construction.

Inconvnients

Ces preuves peuvent manquer de validit : portant sur une partie de lenseignement,

ellesincitent les tudiants grer les impasses.

Elles manquent dobjectivit. Pour les enseignants rdiger une question sans ambigut

est plus ou moins ais. La correction est longue si le nombre de copies est important.

L'tablissement d'une grille de correction (voir plus loin)est indispensable dans unconcours, et souvent dans un examen, pour augmenter l'objectivit de la correction.

Pour les tudiants plus une question est complexe, plus il est possible de faire preuve

d'originalit. Un style mdiocre, une criture difficile dchiffrer, nuisent la qualit de lacopie mme si le fond est correct.

4 - 4 - Epreuves de travaux pratiques

Avantages

Ces preuves sont les plus en cohrence avec des objectifs oprationnels : on observe la

technique de ralisation, laisance, le rsultat. Elles sont dautant plus valides qu'elles

correspondent un exercice futur.

InconvnientsElles ncessitent du temps, des locaux, du matriel, des enseignants.

4 - 5 - Epreuves orales

AvantagesL'oral laisse ltudiant sa libert dexpression ; s'il connat bien son sujet il peut

tmoigner de sa matrise. Ltudiant peu laise peut tre aid par lenseignant exprimer

suffisamment de rflexions pertinentes pour que son preuve soit valide.

InconvnientsL'oral est souvent entach de subjectivit. Certains candidats sont pnaliss par leur

motivit et leur timidit alors que dautres tirent leur pingle du jeu grce leur aisance. Des

facteurs tenant aux examinateurs (disponibilit, rigueur, humeur, fatigue, problmes personnels)

influencent les conditions de lpreuve.

4 - 6 - Mises en situations fictives ou relles

AvantagesLobservation dun tudiant confront une situation quil grera seul ultrieurement est

la plus valide et la plus prdictive des performances futures. En mdecine elle peut se faire avec

de vrais patients ou des patients fictifs (technique utilise au Canada)

InconvnientsCe type dpreuve associe une lourdeur organisationnelle, le cot des preuves pratiques

et la subjectivit de jugement des preuves orales.

4 - 7 - Examen Clinique Objectif Structur (E.C.O.S.)

L'E.C.O.S organise une preuve comme un parcours o les tudiants se prsentent

plusieurs stations successives, chacune ddie une activit, interrogatoire, ralisation d'un

examen clinique ou d'un geste technique, interprtation d'examen, etc.


6/12

- 6 -


Cette technique est trs intressante mais a les inconvnients de ncessiter de nombreux

enseignants, de prendre du temps, d'tre d'un cot lev si on rtribue des patients volontaires

ou des acteurs jouant le rle de patients.

4 - 8 - Choix des preuves

Le choix des preuves, compromis entre les enjeux et les moyens, rsulte de nombreuses

contraintes : ncessit de rpondre aux critres de validit et d'objectivit, nombre de candidats,

cot et dure tant des preuves que des corrections, etc.

Il est difficile d'avoir une preuve qui soit la fois pertinente et objective ; de faon

gnrale on peut con,sidrer que les Q.C.M. sont peu pertinentes mais corrections trs

objectives, les questions de rflexion pertinentes mais entaches de subjectivit lors de la

correction.

Les preuves les plus pertinentes, proches d'un exercice professionnel, peuvent tre difficiles

organiser, coteuses en temps et matriel. Dans des examens ou concours ouverts des centaines de

candidats on a tendance choisir des Q.C.M. dont la correction est automatise.

Toute valuation d'une preuve doit tenir compte des contraintes imposes.

5 - Examen final et contrle continu (ou valuation finale et valuation continue).

- Examen final :Les tudiants passent un examen final au terme d'un enseignement, d'une formation ;

c'est un examen certificatif(donnant lieu la dlivrance d'une attestation ou d'un diplme).

- Contrle continu : succession dvaluations pendant une formation ayant des fonctionsformative et ventuellement certificative :

- fonction purement formative : les tudiants situent leur niveau de performances par

rapport aux objectifs ; les enseignants sassurent que les tudiants suivent et si

ncessaire apportent des modifications leurs enseignements.

Les notes de contrle continu n'entrent pas dans la note finale.

- il s'ajoute une fonction certificative si les notes de contrle continu interviennent dans

la note finale,

Le contrle continu est parfait :- s'il y a acquisition progressive dun ensemble des connaissances en allant des

simples aux complexes

Objectivit

Pertinence

Q.C.M.

Q. rdactionnelles

derflexion

Q. rponses ouvertes et courtes

Q. rdactionnelles

demmorisation


7/12

- 7 -


- si les valuations formatives portent chaque fois sur l'ensemble des connaissances

acquises depuis le dbut de l'enseignement,

- si l'valuation finale certificative porte aussi sur lensemble dun enseignement.

Ces prcisions sappliquent surtout au domaine des connaissances thoriques o il est

banal de constater le foss entre ce qui a t appris et ce qui est retenu. Dans les domaines

techniques ou comportementaux o la mmorisation durable est plus aise, le fait d'accder uncertain niveau de performances implique qu'on ait dpass les niveaux de moindre degr.

Lapplication du contrle continu est mauvaise

- si ce contrle consiste segmenter la validation d'un enseignement en celles de petits

modules ; on n'explore que la fragile mmorisation de connaissances apprises la hte

les jours prcdant l'preuve et on veut ignorer ainsi que ce qui a t mmoris quelques

heures ou jours prcdant un examen (et jamais rvis), soublie vite.

- si une preuve finale (sans contrle continu) repose uniquement sur la mmoire il y a un

grand risque drosions des connaissances moins que leur volume soit tel que leur

acquisition ncessite un travail soutenu et rgulier.

6 Epreuves avec utilisation de documents

L'ordinateur assiste de plus en plus la mmoire humaine pour le stockage de

connaissances. Actuellement il devient prfrable de juger les tudiants plus sur l'utilisation de

leurs connaissances que directement sur celles-ci.

Il apparat ainsi souhaitable de privilgier les preuves o les tudiants doivent rsoudre

des problmes en ayant leur disposition les sources d'informations ncessaires, condition de

respecter l'quit dans l'accs aux ressources.

7 - Correction

QCM :

La correction est aise : en cochant une proposition l'tudiant fait une rponse juste ou

fausse. L'automatisation de la correction par un lecteur optique limine toute erreur humaine.

QROC

Dans une situation idale, la correction est simple : la rponse est juste ou fausse.

Ailleurs c'est la correction qu'on peut dcouvrir que la question peut tre ambigu, que

d'autres rponses que celle prvue sont possibles, au moins dans une certaine mesure. En outre

la correction tant humaine il est possible de faire des erreurs.

Questions rdactionnelles

Pour corriger de faon objective une question rdactionnelle il est indispensable d'tablir

une grille de correction en numrant les items ou concepts relever dans les copies et en leur

attribuant des points, toujours positifs.

L'organisation et la cohrence d'une copie doivent tre prises en compte . Corriger denombreuses copies devient vite la recherche des ides majeures en sous-estimant l'organisation

et la cohrence. Pour y pallier il faut prvoir des points pour la comprhension pertinente, mme

si ceci comporte une part de subjectivit. Il est toujours regrettable de constater le caractre

triqu et ferm de grilles qui ne permettent pas de distinguer les candidats qui dominent leurs

sujets.

Les points sont d'abord rpartis entre les questions en tenant compte, d'abord de leur

pertinence, ensuite du caractre pointu des connaissances1.

1 Privilgier la difficult tenant aux connaissances serait encourager les tudiants plus travailler celles-ci

(encyclopdisme) que la rflexion.


8/12

- 8 -


La correction doit prvoir des sanctions, permettant d'attribuer un zro une questionou l'ensemble d'une preuve lorsqu'une rponse comporte une erreur grave.

8 - Notation

8.1 Les notations dans un concours et dans un examen

Dans un concours la notation a simplement pour but de classer les candidats.

Dans un examen la notation a deux significations :- une qualitative, valider ou non une formation,

- l'autre quantitative, indiquer l'tudiant lampleur de son succs ou de son chec, situer

ses performances par rapport celles attendues et celles des autres.

8.2 Donner la moyenne

Donner la moyenne, donc recevoir l'tudiant, est conclure quil a atteint le niveauncessaire de performances.

Si cette notion apparat vidente dans la notation de questions rdactionnelles, elle

s'efface parfois devant la sommation des notes de QROC ou de QCM au point d'aboutir cequ'on attribue la moyenne l'tudiant qui sait rpondre une question sur deux ! Ceci a donc

amen envisager diffrentes solutions.

8.3 Notation des preuves par QCM et/ou QROC

8.3.1 Notation d'une Q.C.M.

Dans une QCM o il faut choisir une seule rponse la notation est binaire : 1 ou zro.

Dans une QCM o deux ou plusieurs choix doivent tre faits on est confront des

rponses partiellement justes. Ceci conduit nuancer la notation de la QCM en retenant 2 5

degrs parmi les suivants : 0 0,25 0,5 0,75 - 1

8.3.2 Notation d'une preuve par QCM

Pour viter de donner la moyenne l'tudiant qui a seulement rpondu juste la moitides questions, diffrentes solutions sont possibles.

Donner la moyenne si 80 % (ou 60 %, ou 70 %) des rponses sont justes , et rpartirles notes en fonction du nombre de rponses justes avec un abaque.

Dans l'exemple ci-dessous une preuve note sur 20 comporte 50 questions.

Il faut rpondre juste 40 pour avoir la moyenne ; au dessous de 40 rponses

justes le gain de points est faible, au-dessus il monte fortement.

Distinguer dans une preuve trois groupes de questions :- le groupe des questions majeures (ou "tueuses") o il faut rpondre toutes sinon la

note globale est zro,

- le groupe des questions dintrt moyen, o il doit rpondre juste dans 75 % (ou 50 %)

des cas,- le groupe des questions de culture auxquelles il doit pouvoir rpondre 20 %..

10 20 30 40 50

20

15

10

Notes

Questions


9/12

- 9 -


Notation pondre par les taux de russite aux questions :

A chaque question est attribue une note, comprise entre 0 et 1, qui n'est pas dfinie a

priori mais correspond son taux de russite.

Le tableau suivant illustre cette notation.

- dix tudiants ont pass une preuve faite de 10 questions- Notation habituelle : chaque rponse est note 0 ou 1. Ainsi au total Jean a 6 points sur

10, Sophie 4, Lise 9, etc

- Notation pondre :

- dans un 1er

temps on calcule le taux de russite de chaque question : 0,7 pour la

question 1, 0,9 pour la question 2, etc,

- dans un second temps au lieu de donner la valeur 0 ou 1 chaque rponse, on lui

donne sa valeur pondre (c'est--dire la valeur du taux de russite) ; le total pondr

peut ensuite tre calcul par l'ordinateur.

Les tableaux suivants montrent les diffrences de classements obtenus selon les deux

notations.

Lise 9 Lise 5,4

Alice 7 Alice 4,5

Jean 6 Pierre 3,9

Marc 6 Margot 3,8

Margot 6 Marc 3,7

Pierre 6 Marie 3,3

Luc 5 Jean 3,2

Marie 5 Luc 3,2

Paul 5 Paul 3,2Sophie 4 Sophie 2,7

8.4 Notation des preuves rdactionnelles

Pour une preuve rdactionnelle la moyenne apprcie globalement lpreuve.

Il a t dcrit des facteurs susceptibles d'influencer la correction des preuves rdactionnelles.

- le manque d'objectivit a t dmontr par des expriences de corrections de copies de tousdomaines par des correcteurs diffrents, ou par un mme correcteur corrigeant les mmes

copies quelques semaines de distance.

- la non utilisation de toute l'chelle de notation : dans des preuves o l'chelle de notationva de 0 20 certains correcteurs se comportent comme si l'chelle tait plus troite,

1 2 3 4 5 6 7 8 9 10 Total

Total

pondrJean 1 1 1 1 1 1 6 3,2

Pierre 1 1 1 1 1 1 6 3,9

Alice 1 1 1 1 1 1 1 7 4,5

Sophie 1 1 1 1 4 2,7

Marc 1 1 1 1 1 1 6 3,7

Paul 1 1 1 1 1 5 3,2

Lise 1 1 1 1 1 1 1 1 1 9 5,4

Marie 1 1 1 1 1 5 3,3

Luc 1 1 1 1 1 5 3,2

Margot 1 1 1 1 1 1 6 3,8

Tx de russite 0,7 0,9 0,6 0,5 0,6 0,6 0,3 0,6 0,5 0,6 5,9


10/12

- 10 -


- l'effet centripte : les notes sont trop ramasses autour d'une valeur moyenne (cart-typefaible)

- l'effet de halo (dcrit par THORNDIKE en psychologie exprimentale) est le fait qu'uncorrecteur est influenc par des lments extrieurs. Il est dcrit dans diffrentes situations.

Dans la correction d'une srie de copies le correcteur peut tre influenc par

l'excellence d'une copie au point de sous-estimer la valeur des suivantes, et inversement il

peut l'tre par la mdiocrit d'une autre au point de surestimer la valeur des suivantes.

La dmonstration a t faite de faire corriger une mme copie deux groupes de 46

correcteurs ; au premier groupe on prcisait que la copie tait celle d'un lve dou issu d'une

famille d'intellectuels, au second groupe que la copie tait celle d'un lve moyen issu d'une

famille d'employs. Les notes donnes par les correcteurs o on avait cr un prjug

favorable taient significativement suprieures celles donnes par les correcteurs chez qui

on cre un prjug dfavorable.

L'tablissement d'une grille commune de correction par l'ensemble des correcteurs d'unepreuve rduit considrablement les drives. En cas de double correction lorsqu'il y a un cart excessifentre les notes donnes par les deux correcteurs ils doivent revoir ensemble la correction.

9 - Evaluation des preuves : indicateurs quantitatifs et qualitatifs.

Des indicateurs quantitatifs simples pour la valeur d'une question : le taux de russiteglobal et la comparaison des taux de russite des tudiants "forts" et "faibles".

Le taux de russite d'une question est le pourcentage dtudiants qui lont russie :

- idalement on devrait obtenir un taux lev signifiant que l'enseignement est bon chez

les tudiants travailleurs ; mais un taux lev peut correspondre une question trop

facile et manquant de pertinence,

- un taux bas traduirait :

- soit le faible niveau des tudiants,

- soit un niveau inacceptable de difficult ou d'ambigut de la question,

- soit une question sans rapport avec la formation donne.

Le caractre discriminatif d'une question est aisment estim en comparant les taux de

russite des tudiants "forts" et "faibles". On classe les tudiants en trois tiers (les "forts",

"moyens" et "faibles") en fonction de leurs notes d'ensemble une preuve de QCM ; ensuite

pour chaque question de l'preuve on compare les taux de russite des "forts" et des "faibles".

Une question est discriminante si les "forts" ont un taux de russite de 80 %, et les "faibles" de

20 %. Inversement si le taux de russite des "forts" diffre peu de celui des "faibles", la question

n'est pas discriminante.

Deux indicateurs plus sophistiqus : l'indice de difficult et l'indice de discrimination.

Ces deux indices apparaissent dans la littrature docimologique.

Au terme d'une preuve o on distingue parmi les tudiants trois tiers, ceux des forts, des moyens

et des faibles, on dnombre :

F : nombre de rponses justes dans le groupe des forts

f : nombre de rponses justes dans le groupe des faibles

N : nombre total des tudiants appartenant aux groupes des forts et des faibles.

A partir de ces nombres on calcule deux indices :

Indice de difficult :

Indice de difficult = F + f x 100

N

Indice de discrimination :

Indice de discrimination = 2 x F + f


11/12

- 11 -


N

Si l'indice de discrimination d'une question est :

- de 0,35 et plus : la question est excellente

- de 0,25 0,34 : ------------------ bonne

- de 0,15 0,24 : ------------------ revoir

- < 0,15 : ------------------ est mauvaise

___

Simples ou sophistiqus les indicateurs quantitatifs n'ont de valeur que s'ils sont associs

aux indicateurs qualitatifs.

Lvaluation qualitative est plus complexe, car portant sur le niveau cognitif explor, ladifficult, la pertinence.

- Le niveau cognitif explor (mmoire, comprhension, utilisation dans une applicationsimple, utilisation dans un problme) est un excellent indicateur.

- la difficult d'une question est mieux value par les tudiants que par les enseignants,

- la pertinence des sujets ne peut tre value que par un groupe de personnescomportant des enseignants et des personnes extrieures l'enseignement (parfois des

professionnels). Des questions bien rdiges, intressantes, peuvent tre sans pertinence

avec la suite de la formation ou le futur exercice.

Tout cet ensemble d'indicateurs quantitatifs et qualitatifs, valable pour une question, l'est aussi

pour tout un examen ou un concours portant sur plusieurs matires o certaines peuvent tre plus

discriminantes que dautres.

10 - Conclusion

Les examens et leurs rsultats permettent de juger du respect du contrat pdagogique. Russir

l'examen est la finalit de tout tudiant : les contenus des preuves constituent les objectifs

d'enseignement accessibles par la consultation des annales.

Les preuves doivent tre pertinentes avec les besoins et les modalits de l'enseignement. Leur

objectivit rpond au double besoin de rigueur et de justice.

Les tudiants dploient les stratgies d'apprentissage les plus propices russir les examens :

lorsque des enseignants estiment que celles-ci ne sont pas pertinentes, ils doivent, avant de les

contester, se poser la question de la pertinence des preuves auxquelles ils soumettent les tudiants.

Le contrle continu est prfrable un examen final et doit porter sur des tapes d'acquisition de

savoirs et de comptences en sorte que la russite une tape implique la matrise de la prcdente. Le

contrle continu le plus efficace est la fois informatif et certificatif.

L'valuation des qualits des preuves est un lment de l'valuation d'un enseignement.

Quelques rfrences

- BLOOM BS et al. Taxonomie des objectifs pdagogiques. Presses de l'Universit. Qubec Tome

I ; 1975 ; 232p

- CHABOT JM Evaluer, corriger, pondrer, noter, classer. Rev Prat 2004;54, 311-2

- CHARVAT J, Mc GUIRE, PARSONS V.- Etude sur la nature et le rle des examens de

l'enseignement mdical. Cahiers de Sant Publique, OMS, 1970 : 78 p.

- GUILBERT JJ. Guide pdagogique pour les personnels de sant. Edition rvise.OMS Genve

1981, 708 p.

- MAZER A.- Les QCM dans les examens de mdecine. La Simarre, Tours 94 p

- PIERON H Examens et docimologie. Paris, PUF, 1963.

___________


12/12

- 12 -


Grille d'valuation d'une question

Structure pour une QCM

Absence d'ambigut

Absence d'erreur

Une seule notion prsente

Enonc rdig au mode affirmatif ou interrogatif

Pas d'adverbe sans appel (jamais, toujours)

Pas d'informations sur le nombre de rponses

Tous les leurres sont plausibles

Structure pour une question rdactionnelle

Absence d'ambigut

Absence d'erreur

Comporte toutes les donnes ncessaires

Niveau cognitif

Mmoire seule

Mmoire et comprhension

Exercice simple

Exercice complexe

Intrt dans la matire

Trs important

important

Intrt modr

Sans intrt

Intrt gnral

Trs important

important

Sans intrt

Documents

docimologie.pdf