L’analyse d’itemsune technique docimologique

pour valider des questions d’examen

Analyse d’items

Ensemble de procédés statistiques dont le but est d ’évaluer la qualité d’un instrument de mesure et des items qui le composent.

Ensemble d’opérations qui comporte trois volets :

a) une vérification de la congruence entre les items et les objectifs, de la plausibilité des choix Multiples (QCM) et de certains aspects de la validité et de la fidélité

b) un calcul d’indices (moyenne, écart-type, indice de difficulté et de discrimination, etc. )

c) une décision en vue de réviser, remplacer ou conserver les items

Ensemble de procédés statistiques dont le but est d ’évaluer la qualité d’un instrument de mesure et des items qui le composent.

Ensemble d’opérations qui comporte trois volets :

a) une vérification de la congruence entre les items et les objectifs, de la plausibilité des choix Multiples (QCM) et de certains aspects de la validité et de la fidélité

b) un calcul d’indices (moyenne, écart-type, indice de difficulté et de discrimination, etc. )

c) une décision en vue de réviser, remplacer ou conserver les items

Source : LEGENDRE, R., Dictionnaire actuel de l ’éducation, Larousse, Paris, 1988

Les indices de l’analyse d’items

Analyser les résultats de chaque question :

• Indice de difficulté• Indice de discrimination• Répartition des choix Multiples ( QCM )

Analyser les résultats de l’ensemble du test :• Indice de fidélité (homogénéité interne - alpha

Cronbach )• Caractéristiques de la distribution des notes

serge.normand@umontreal.ca

Exemple d'analyse d'items N. items : 35 N. sujets : 152avec calcul de score standard Moyenne : 31,8 Écart-type : 3,63

Total brut : 42 Alpha de Cronbach : 0,66Analyse d'items

QCR - Fréquences en % QCR - Fréquences brutesItem Clé Poids Difficulté Discrimination Alpha Abs 1 2 3 4 5 Abs 1 2 3 4 5

( Item omis )pq1 3 1,0 0,71 0,19 0,65 1% 11% 71% 14% 3% 1 16 108 22 5pq2 3 1,0 0,84 0,01 0,67 0% 0% 84% 0% 16% 0 0 128 0 24pq3 1 1,0 0,63 0,17 0,65 63% 28% 3% 0% 6% 96 42 5 0 9pq4 4 1,0 0,75 0,04 0,67 9% 6% 2% 75% 8% 14 9 3 114 12pq5 5 1,0 0,64 0,17 0,65 31% 1% 3% 1% 64% 47 2 4 1 98pq6 1 1,0 0,89 0,14 0,66 89% 7% 1% 3% 0% 136 10 2 4 0pq7 4 1,0 0,49 0,21 0,65 10% 18% 22% 49% 2% 15 27 33 74 3pq8 5 1,0 0,99 0,19 0,66 1% 0% 0% 0% 99% 2 0 0 0 150pq9 5 1,0 0,97 0,06 0,66 0% 0% 3% 0% 97% 0 0 4 0 148pq10 2 1,0 0,92 0,27 0,65 1% 3% 92% 1% 3% 1% 1 5 140 1 4 1pq11 5 1,0 0,86 0,15 0,66 5% 1% 7% 0% 86% 8 2 11 0 131pq12 4 1,0 0,67 0,25 0,65 1% 18% 1% 67% 12% 2 28 2 102 18pq13 3 1,0 0,93 0,16 0,66 1% 1% 1% 93% 1% 3% 1 2 1 142 2 4pq14 3 1,0 0,97 0,19 0,66 0% 1% 97% 2% 0% 0 1 148 3 0

Un exemple d’analyse d’items

• Tirer profit des résultats d’un examen

• Obtenir des indications sur la précision des résultats observés

• « Valider » un examen en retirant, au besoin, les questions qui présentent des lacunes

• Améliorer la formulation des questions

• Calibrer les examens futurs

• Créer une « banque d’items »

Quelques avantages de l’analyse d’items

Mode d’emploi d’AnItem

1. Enregistrer les réponses aux questions dans un classeur Excel en respectant le format suivant :

a) La première rangée contient des libellés décrivant le contenu des colonnes et identifiant ainsi les questions

b) La deuxième rangée contient la clé de correction pour les questions QCM; laisser vide pour les questions QROC

c) La troisième rangée contient, pour chaque question, la valeur accordée à la bonne réponse (QCM) ou le nombre maximum de points (QROC)

d) Les rangées 4 et suivantes contiennent les réponses des étudiants : un sujet par rangée, une réponse par colonne

e) Les colonnes contenant les réponses doivent être contigües

Mode d’emploi d’AnItemFormat du classeur Excel pour la saisie des données

Identification QCM QROC

1234567

A B C D E F G H I J K LCODE NOM pq1 pq2 pq3 pq4 pq5 pq6 pq7 pq8 pq9 pq10

Réponses aux QCM - > C C A D E APondération - > 1 1 1 1 1 1 1 2 2 2

1812 Normand, Serge C C B D E A 0.5 1 1.5 1.51920 Koumaré, Karim C C B E A A 1 1.5 1 13214 Khayat, Georges B C B B A A 0.5 1 1.5 1.52345 Etc … C C A D E A 0.5 1.5 1.5 1

Colonnes contigüespour les réponses aux questions

Capacité théorique et contraintes

• 255 questions

• 65 532 sujets

• 5 choix Multiples QCM codées en lettres ( A à E ) ou en chiffres ( 1 à 5 )

• une seule bonne réponse possible pour les QCM

Rangée 1Libellés

Rangée 2Clé de correction

Rangée 3Pondération

Mode d’emploi d’AnItem

2. Ouvrir le classeur AnItem.xls et fournir les informations suivantes :

a) Les zones « Titre et Sous Titre » contiennent les libellés qui seront répétés sur les pages de résultats

b) La zone « Total sur » indique sur combien de points sera exprimée la note totale

c) La zone « Décimale » précise le nombre de décimales souhaitées pour l ’affichage de la note totale

d) Dérouler le menu « Item » pour lancer la procédure désirée : Analyse d ’items ou Analyse de distribution

e) Choisir le classeur Excel contenant les réponses

f) Sélectionner la plage de cellules contenant les réponses

Déroulez le menu AnItem

Saisissezles informations

Mode d’emploi d’AnItem

SélectionnezAnalyse d’items

Mode d’emploi d’AnItem

Localisez le fichier de réponses

Mode d’emploi d’AnItem

Sélectionnez les colonnes contigües

de questions

Mode d’emploi d’AnItem

Résultats de l’analyse d’items

Mode d’emploi d’AnItem

• Pourcentage de réussite à la question : nombre de candidats ayant répondu correctement divisé par le nombre total de répondants

• Moyenne de la question• Exprimé avec deux décimales ( ex. 0,64 ) • Souvent représenté par le symbole ( p )• En fait c’est un indice de « facilité »• Un indice élevé : la question est facile• Un indice faible : la question est difficile

Indice de difficulté

Interprétation de l’indice de difficulté

• Indices inférieurs à 0,50

Pourquoi plus de la moitié des candidats échouent à cette question ?

• Indices inférieurs à 0,30

Combien y a-t-il de questions avec des indices aussi faibles dans le test ?

Est-ce « normal » que tant de candidats n’aient pas atteint l’objectif mesuré par cette question ?

• Indices supérieurs à 0,90

Est-ce que cette question correspond à un objectif important ?

Faut-il conserver les questions réussies par tous les candidats ?

Interprétation de l’indice de difficulté

• La somme des indices de difficulté correspond à la moyenne du test

• Le rendement scolaire se distribue « normalement »• Un test composé de questions de difficulté moyenne

reproduira plus fidèlement la distribution « normale » des notes

Interprétation de l’indice de difficulté

Répartition des choix Multiples ( question QCM )

• Distribution du nombre de candidats parmi les choix Multiples

• Exprimée en fréquences brutes et en pourcentages

• Les choix autres que la réponse correcte sont appelés des « leurres »

• Un leurre est-il choisi plus souvent que la bonne réponse ?

• Des leurres sont-ils complètement ignorés ?

Indice de discrimination

• Coefficient de corrélation entre les réponses à la question et le total des autres questions

• Est-ce que les candidats qui réussissent cette question ont aussi un score élevé à l’ensemble des autres questions ?

• Est-ce que les candidats qui échouent cette question ont aussi un score plus faible à l’ensemble des autres questions ?

• Exprimé avec deux décimales ( ex. 0,23 ) • Souvent représenté par le symbole ( r )

Interprétation de l’indice de discrimination

• En théorie ce coefficient de corrélation varie de -1,00 à + 1,00

• Une balise peut être fixée à 0,20 pour signaler un début de discrimination

• Une valeur voisine de zéro ( 0 ) indique qu’il n’y a aucune relation entre le score à cette question et le total des autres questions

• Un indice négatif signale une incohérence : les meilleurs candidats échouent la question, les plus faibles réussissent la question

Interprétation de l’indice de discrimination

• Les items de difficulté moyenne (0,40 à 0,60 ) maximisent généralement la discrimination

• Les items très faciles ou très difficiles discriminent habituellement peu

• L’indice de discrimination est tributaire du test auquel appartient la question et donc moins stable que l’indice de difficulté

• Le nombre de questions et le nombre de sujets influencent le calcul du coefficient de corrélation

FidélitéCoefficient d ’homogénéité interne

Alpha de Cronbach

k

k - 1

j

t

1 -

où :

k : nombre d’items j : variance des scores à l’item jt : variance des scores à l ’ensemble du test