Htp:// [email protected] +32 4 366 20 78 Système Méthodologique d’Aide à la Réalisation de Tests SMART P. Detroz V. Crahay 31 octobre

htp://www.smart.ulg.ac.be

[email protected]+32 4 366 20 78

Système Méthodologique d’Aide à la Réalisation de

TestsSMART

P. Detroz

V. Crahay

31 octobre 2007

mailto:[email protected]

Le SMART en trois missions

Pour ces trois missions :

une même approche qualité

Evaluation des acquis cognitifs

Evaluation de la qualité des enseignements

Enquêtes à caractère pédagogique

Missions du SMART

➔ Validité ➔ Fidélité➔ Sensibilité➔ Diagnosticité ➔ Praticabilité ➔ Équité ➔ Communicabilité➔ Authenticité

Quatre facteurs clés pour une approche qualité

Gilles, 2002

• La validité :

les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de

contenu) ; • La fidélité :

la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ;

Critères de « qualité SMART » d’un test standardisé

• La sensibilité :

la mesure doit être précise, refléter des phénomènes subtils ;

• La « diagnosticité » :

les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ;


• L’équité :

tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ;

• La « praticabilité » :

la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ;


• La « communicabilité » :

les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves.

• L’« authenticité » :

les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts dans des contextes et des pratiques qu’on peut rencontrer dans la vie.


➔ Validité ➔ Fidélité➔ Sensibilité➔ Diagnosticité ➔ Praticabilité ➔ Équité ➔ Communicabilité➔ Authenticité

Quatre facteurs clés pour une approche qualité

Gilles, 2002

Gilles 2002; Gilles & al. 2004-2005

CGQTS

10

La plate-forme ExAMS : Examination Assessment

Management System

R&D en ingénierie docimologique

Le cycle CGQTS

● Structure de travail collectif (plusieurs institutions);

● Unification des méthodes;

● Réflexion sur la matière à évaluer, sur les méthodes pour évaluer;

● Gestion de la banque de questions;

● Gestion des tests;

● Préparation des étudiants à la matière évaluée, au dispositif d'évaluation;

● Correction facilitée des tests;

● Analyse à posteriori des questions et gestion de la qualité du test;

● Analyse des résultats (statistiques descriptives, graphiques,...);

● Feedbacks pour les étudiants au niveau du test et de leur auto-évaluation.

● ...

La plate-forme ExAMS pour répondre à des besoins:

La plate-forme ExAMS : Un outil en ligne pour construire et gérer les évaluations

Site: www.exams.be

A travers les étapes du cycle CGQTS

1. Analyse


1. Analyse

1.1 Définir les Points Enseignés [PE]Vérification de la bonne couverture de la matière abordée Validité de contenu

1.2 Quantifier les priorités Mise en évidence des points essentiels qui devront être évalués

1.3 Définir les Catégories de Performance [CP]Définition des processus mentaux dont l’évalué veut

exercer sur les PE

1.4 Relier les Points Enseignés et les Catégories de Performance [PE x CP]

Construction du binôme [PE x CP] Validité

1. Analyse

Titres Sous-titres PEIntroduction

Présentation

L’expertise du SMART

Une approche qualité

4 facteurs-clés

Le cycle de construction et de gestion de qualité

Etape 1. Analyse

Table de spécification

Point à évaluer

Priorités

Catégories de performance

Taxonomies

Binôme [PExCP]

Etape 2. Design

1. Analyse

Titres Sous-titres PE PIntroduction

Présentation



4 facteurs-clés


Etape 1. Analyse


Point à évaluer

Priorités


Taxonomies

Binôme [PExCP]

Etape 2. Design

1

3

3

3

3

3

3

2

1. Analyse

Titres Sous-titres PE P CPCompr. Appli Analys

e

Introduction

Présentation


1


4 facteurs-clés 3


Etape 1. Analyse


3

Point à évaluer 3

Priorités 3


3

Taxonomies 2

Binôme [PExCP] 3

Etape 2. Design

CP

Compréhension Application AnalyseInterpréter des informations. Extrapoler le sens d’un message en saisir la nature et la signification profonde

Utilisation de règles principes ou algorithme pour résoudre un problème

Découper une structure selon ses parties, distinguer les faits des hypothèses, en vue d’en expliquer le fonctionnement

1. Analyse

Titres Sous-titres PE P CPCompr. Appli Analys

e

Introduction

Présentation


1


4 facteurs-clés 3


Etape 1. Analyse


3

Point à évaluer 3

Priorités 3


3

Taxonomies 2

Binôme [PExCP] 3

Etape 2. Design

X

X

X XX

XX

XX

X X

XX X

XX

1. Analyse

1. Analyse

G. Mialaret, Pédagogie générale, Paris : PUF, 1991

Produit de cette 1ère étape :

Une table de spécifications où

les PE sont croisés avec les CP : (PE x CP)

1. Analyse

1. Analyse

Dans Exams…

La plate-forme ExAMS : Étape 1 : Création d’une table de spécification

Relier les Points Enseignés et les Catégories de Performance [PE x CP]

Construction du binôme [PE x CP] Validité

CP Priorités

PE


2. Design

2. Design

2.2 Associer les Modalités de questionnement aux Catégories de performanceConstruction du binôme [MQ x CP]

2.3 Croiser les Binômes [PE x CP] et [MQ x CP ]

Trinôme [PE x MQ x CP]Sur base des trinômes, nous pouvons générer des questions correspondant aux objectifs fixés

2.1 Définir les modalités de questionnement (MQ)Choisir les modalités de questionnement selon les objectifs

de l'évaluation

2. Design

2.1 Définir les modalités de questionnement (MQ)

Les Modalités de questionnement sont composées de :

- Un Format de Questionnement [FQ] :

QCM, V-F, QROC, QROL, Portfolio,…

- Une série d’Option de Questionnement [OQ]

SGI, DC, LO, TI

2. Design

MQ 1 MQ 2 MQ 3

CP1CP2

CP3

CP4

CP5

2.2 Construction du Binôme [MQ x CP]

QCM+SGI QCM+SGI+LO

Connaissance

Compréhension

Application

Analyse

Synthèse

QROL

X

X

X

X

X

X

X

2. Design

Titres Sous-titres

PE P CPCompr. Appli Analyse

QCM-DC-SGI-LO

QCM-DC-SGI-LO

QCM-DC-

SGI-LO

Introduction

Présentation


1 X


4 facteurs-clés 3 XLe cycle de construction et de gestion de qualité

Etape 1. Analyse


3 X X X

Point à évaluer

3 X X

Priorités 3 X XCatégories de performance

3 X X

Taxonomies 2 X X

Trinômes Trinômes [PE x CP x MQ][PE x CP x MQ]

Produit de cette 2ème étape :

une table de spécifications où les trinômes

(PE x CP x MQ) du test sont identifiés

2. Design

2. Design

Dans Exams…

2. Design

CP x MQ

PE x CP x MQ

Quelles options de questionnement ?

Les enjeux des degrés de certitude et des Solutions Générales Implicites

(SGI)

2. Design

2. Design

« T.O.I.S.E. ou une Taxonomie d’Objectifs Instrumentée au Service

de l’Évaluation »(D. Leclercq, 1999)

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

La taxonomie des objectifs cognitifs de Bloom

2. Design

6. Evaluation(jugement selon des critères internes, donc subjectifs)

5. Synthèse(production personnelle, expression, formulation, créativité)

4. Analyse(décomposition, classification, organisation)

3. Application(d’un principe général à un cas particulier)

2. Compréhension(interprétation, traduction, rien n’étant “caché”)

1. Connaissance(réactualisation de contenus mémorisés)

Niveaux les plus souvent évalués

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

QRO(Question à Réponse

Ouverte)

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

QCMsimple

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

QCM + SGI

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

Degrés de certitude

2. Design

En résumé,

Les QCM simples ou classiques ont une aire d’efficacité (ou de pertinence) assez étroite, qui est « élargie » par d’autres techniques.

Les SGI permettent - d’évaluer des niveaux taxonomiques plus élevés que la connaissance dans la taxonomie de Bloom- d’éviter l’identification de la réponse correcte (recognition) par hasard- de mesurer la détection d’erreurs- de mesurer la vigilance cognitive

- d’habituer aux situations où plusieurs solutions sont correctes.

2. Design

6 ou NUL ou REJET7 ou TOUTES8 ou MANQUE9 ou ABSURDITE

Les SGI sont proposées sous les numéros de code suivant :6-7-8-9 et ne sont pas dactylographiées dans les QCM

Demander à l’évalué d’exprimer son degré de certitude [DC] permet de :- l’amener à s’auto-estimer (niveau 6 dans la taxonomie de Bloom)- de calculer ses indices de réalisme.

Les enjeux des DC

« Bon nombre de personnes considèrent que la connaissance est affaire de tout ou de rien : ou bien on « sait » les choses ou bien on ne les « sait pas ». […] Mais, le plus souvent, on est dans un état intermédiaire, de connaissance partielle »

Gilles,2002

2. Design

Les enjeux des DC

Choisissez l’orthographe correcte du mot proposé.

Tous les étudiants sont ------------- de passer un test de français dés leur entrée à l’université

1. suceptibles

2. susseptibles

3. suseptibles

4.susceptibles

RI

+1

-1

0

RC

OM

2. Design

Les enjeux des DCChoisissez l’orthographe correcte du mot proposé.

Tous les étudiants sont ------------- de passer un test de français dés leur entrée à l’université

1. suceptibles

2. susseptibles

3. suseptibles

4.susceptibles

RC

RI

850 25 50 70 95 100

+13 +16 +17 +18 +19 +20

+4 +3 +2 0 -6 -20

2. Design

Les enjeux des DCRC

RI

0 25 50 70 85 95 100

Ignorancereconnue

Compétenceignorée

Ignorancepartielle

Compétencepartielle

Compétenceassurée

Ignoranceignorée

2. Design

3. Questions


3. Création des questions

- Alimenter la banque de question

- Valider les questions qui pourraient être

utilisées pour l’examen

3. Questions

3. Questions

Titres Sous-titres

PE P CPCompr. Appli Analyse

QCM-DC-SGI-LO

QCM-DC-SGI-LO

QCM-DC-

SGI-LO

Introduction

Présentation


1 X


4 facteurs-clés 3 XLe cycle de construction et de gestion de qualité

Etape 1. Analyse


3 X X X

Point à évaluer

3 X X

Priorités 3 X XCatégories de performance

3 X X

Taxonomies 2 X X

Q

Q

Q

Q

QQ

Q


une banque de questions caractérisées par leurs trinômes (PE x CP x MQ)

3. Questions

3. Questions

Dans Exams…

La plate-forme Exams:La rédaction des questions

La plate-forme Exams:La rédaction des questions

3. Questions

Petit Test …

La dernière amitié de Harlan Stone est un

1. satire politique

2. récit autobiographique

3. histoire de science fiction

4. courte biographie

3. Questions

La population de la ville de Frankton est inférieure à

1. 50 mille habitants




3. Questions

Le Parti National Augustin a son quartier général à

1. Camdem, dans le new jersey

2. St Augustin, en Floride

3. Palo Alto, en Californie

4. Dallas, au Texas

3. Questions

La loi Davis (XIX° siècle)

1. Fournit de l’argent aux écoles.

2. Abolit une loi précédente

3. Interdit la fabrication, la vente, le transport ou l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.

4. Augmenta le salaire des agents de l’état.

3. Questions

Herman Klavemann est célèbre parce que

1. Il a développé toutes les échelles musicales utilisées en occident.

2. Il a composé toutes les sonates pendant la période romantique.

3. Il a traduit tous les classiques russes en anglais.

4. Il a inventé l’épingle de sûreté.

3. Questions

3. Questions

Etude de la Test Wiseness

Gibb (1964) définit la test wiseness comme « la capacité d’un étudiant à répondre correctement à un test fait de QCM qui contiennent des repères formels et, par conséquent, la capacité à obtenir

des points sans connaître la matière testée. »

3. Questions

Chapitre 3La rédaction des QCM(D. Leclercq, 1986)

3. Questions

Les règles de rédaction d’une QCM (d’après le Chap. 3 « La rédaction des QCM » du livre « La conception des questions à choix multiple » de D. Leclercq)

A. Règles de rédaction concernant l’adéquation aux objectifs

B. Règles de rédaction concernant la valeur diagnostique de la réponse

C. Règles de rédaction sur la forme

D. Règles de rédaction des solutions proposées

3. Questions

N ’utilisez la QCM que si c’est le type de question le plus

approprié à mesurer ce que l’on vise.Dans ce cas, la QROC serait plus pertinente.


R1: Respecter l’objectif

Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse, enlève toutes les taches …Choisissez le nom qui vous plaît le mieux.

1. ECONOMOUS2. KIMOUSS3. MOUSPACHER4. MOUSTACH5. SANTACH

Exemple :

3. Questions


R2: Coller à l’objectifExemple :

(a) Où est la tanche ?

(b) Ce poisson est

1. Un brochet2. Une carpe3. Une tanche4. Une truite

La QCM doit correspondre à l’objectif visé, au comportement à évaluer …

celui d’un poissonnier (a) ou d’un pêcheur (b) ?

3. Questions


R3: Ne pas perturber l’apprentissageExemple :

Choisissez l’orthographe correcte1. Horkidée2. Horquidée3. Orchidée4. Orkidée 5. Orquidée

La QCM ne doit pas perturber les apprentissages (sur des données perceptives visuelles ou sonores)

Pour les autres apprentissages, Karraker a démontréque les distracteurs ne se fixent pas si on communiqueles RC dans les plus brefs délais.

3. QuestionsB. Règles de rédaction concernant la valeur diagnostique de la

réponseR4: Révéler le processus mental

La QCM doit renseigner l’enseignant sur le processus mental utilisé par l’apprenant.

Quelle est la surface de la figure ci-dessous ?

1. 5 cm22. 6 cm23. 7 cm2

Exemple :


réponseR5: Indiquer l’erreur commiseExemple :

Un spécialiste en oto-rhino-laryngologie indique généralementsur sa plaque « nez-gorge-oreilles ».Le rhinocéros a une corne à l’avant du museau.Celui qui souffre de rhinite se mouche fréquemment.

Le mot grec rhis, rhinos, signifie :1. Corne2. Gorge3. Maladie4. Nez5. Visage

Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant …

D’où le recours à leurs propres erreurs en QROC.


réponseR6: Préciser sur quelle partie de l’énoncé porte la question

Exemple :

En 1452, voguant sur la Santa Maria, la Pinta et la Nina,Christophe Colomb a découvert l’Amérique du Sud.

1. Vrai 2. Faux

On doit préciser sur quelle partie de l’énoncé porte la question

3. Questions


R7: Respecter la consigneExemple :

Lequel des aliments ci-dessous apporte des lipides ?

1. Eau2. Huile3. Œuf4. Viande

La question doit être compatible avec la consigne.

Ici, la question annonce qu’une seule solution est correcte, alors que plusieurs des aliments cités

contiennent des lipides.

3. Questions


R8: Proposer une phrase syntaxiquement correcteExemple :

On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures).2. en 365 jours (soit un an).3. dont la durée est de 1440 minutes.4. sur elle-même autour de l’axe Nord-Sud.

RC = 2

Proposer des phrases (tronc + solutions) syntaxiquement correctes.

Transgression de la règle 8« proposer des phrases syntaxiquement correctes »

La dernière amitié de Harlan Stone est un

1. satire politique2. récit autobiographique3. histoire de science fiction4. courte biographie

35%

(Diamond & Evans, 1972)

3. Questions


R9: Éviter les termes vaguesExemple :

Quel est l’élément du sang qui transporte l’oxygène ?1. Le fer2. L’hémoglobine3. Les globules rouges

RC = Toutes, si « élément » est pris au sens large.

3. Questions


R10: Éviter les négation

Exemple :

N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOPn’entraîne pas automatiquement le retrait du permis de conduire ?

1. Oui2. Non

Éviter les formes négatives (syntaxiques et sémantiques),a fortiori proscrire leur accumulation.

3. Questions


R11: Séparer l’information et questionsExemple :

Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons parbarreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ».

Dans une embarcation armée- en pointe, le rameur tire un aviron des deux mains- en couple, chaque rameur a deux avirons.

La définition d’aviron, est « rame élargie à un bout en forme de pelle ».Lequel des 3 dessins représente une embarcation armée en pointe avec barreur ?

MAIS

3. Questions


R12: Regrouper dans l’amorce les éléments commun aux solutions proposéesExemple :

La température de solidification d ’une matière est :

1. inférieure à la température de fusion de cette matière.2. égale à la température de fusion de cette matière.3. supérieure à la température de fusion de cette matière.

La température de solidification d’une matière est 1. inférieure2. égale3. supérieure

à sa température de fusion.

MAIS

3. Questions


R13: Indépendance syntaxique des solutionsExemple :

Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde2. Le triceps3. Au contraire, le biceps4. En plus, le cubitus de la main.

3. Questions


R14: Indépendance sémantique des solutionsExemple :

Une solution d’eau salée en sel de cuisine peut descendre sans geler jusqu’à une température de

1. 0° centigrades2. -2° centigrades3. -4° centigrades4. -6° centigrades

Les solutions proposées doivent être sémantiquement indépendantes les unes des autres.

Transgression de la règle 14« les solutions proposées doivent être sémantiquement

indépendantes les unes des autres »(Diamond & Evans, 1972)

La population de la ville de Frankton est inférieure à1. 50 mille habitants2. 60 mille habitants3. 70 mille habitants4. 80 mille habitants45%

3. Questions


R15: Égalité des mots communs à la solution et à l’amorce

Exemple :

Quel est le nom de l’organisme de police internationale ?

1. CIA2. FBI3. Interpol4. SAS

Mêmes mots communs avec l’amorce.

Transgression de la règle 15« même mots communs avec l’amorce »

(Marshall & Hales, 1971)

Le Parti National Augustin a son quartier général à

1. Camdem, dans le new jersey2. St Augustin, en Floride3. Palo Alto, en Californie4. Dallas, au Texas

66% et82%

3. Questions


R16: Égalité de vraisemblance des solutions Exemple :

Quel groupe sanguin est « receveur universel » ? 1. A2. B3. AB4. O5. AO

3. Questions


R17: Même longueur pour toutes les solutions Exemple :

Le mot « spinaker » désigne :

1. Un chien écossais2. Une voile triangulaire de grande surface, légère

et très creuse, que les yachts envoient dans la marche au vent arrière

3. Un chant tyrolien4. Un instrument de musique

La solution correcte ne doit pas être systématiquement plus longue que les autres.

Transgression de la règle 17« même complexité : la solution correcte ne doit pas être

systématiquement plus longue que les autres »(Diamond & Evans, 1972)

La loi Davis (XIX° siècle)

1. Fournit de l’argent aux écoles.2. Abolit une loi précédente3. Interdit la fabrication, la vente, le transport ou

l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.

4. Augmenta le salaire des agents de l’état.

53%

3. Questions


R18: Même complexité pour toutes les solutions Exemple :

Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ?

1. Couper l’arrivée du gaz au compteur2. Téléphoner aux pompiers3. Evacuer les enfants4. 1 et 25. 1, 2 et 3

3. Questions


R19: Même degré de généralité

Exemple :

Le terme épicéa désigne

1. Tous les arbres résineux.2. Tous les pins.3. Certains types de pins.

Même niveau de généralité dans les indicateurs (temps, modificateurs, …)

Transgression de la règle 19« même niveau de généralité dans les indicateurs (temps,

modificateurs …) »(Marshall & Hales, 1972)

Herman Klavemann est célèbre parce que

1. Il a développé toutes les échelles musicales utilisées en occident.2. Il a composé toutes les sonates pendant la période romantique.3. Il a traduit tous les classiques russes en anglais.4. Il a inventé l’épingle de sûreté.50%

3. Questions


R20: Même degré de technicité Exemple :

Dans l’islam chiite, un ayatollah est

1. Un imam2. Un uléma3. Une autorité religieuse4. Un derviche

Même degré de technicité du vocabulaire dans toutes les solutions proposées.

3. Questions

Règles de rédaction proposées par le SMART

R22: Signes en toutes lettres

R21: Ordre croissant et décroissant

Règles de cohérence dans le test

R26: Uniformisation des ponctuations dans le test

R28: Ne pas induire la réponse à une autre questions du test

R23: Termes identiques pour une même idée

Règles des solutions proposées

R24: Consensus sur le caractère correct ou incorrect des solutions

R25: Équilibre entre les solutions positives et négatives

R27: Éviter de connoter les solutions

4. Entraînement


4. Entraînement | Outils

Entraînement

LOM TIMI + GuessBVE

In situ Via Internet

4. Entraînement | Guess

http://www.smart.ulg.ac.be/smartweb/outils/guess/

Entraînement aux procédures :

Degrés de Certitude (DC)

4. Entraînement | TIMI

http://www.smart-ulg.net/timi2/etud/index.php

4. Entraînement | TIMI | DEMO

Accédez à la démonstration de TIMI

DEMO

4. Entraînement | TIMI | Connexion

Accédez au TEST en cliquant sur

4. Entraînement | TIMI | Feedbacks étudiants

4. Entraînement | TIMI | Feedbacks étudiants

4. Entraînement | TIMI | Feedbacks

RC : réponses correctes

RI : Réponses incorrectes

Plus le rectangle orange est proche de la droite, plus il est proche du réalisme « parfait »

Taux d’exactitude (axe des y):

Exactitude des questions du test pour l’évalué

Probabilité de réussite (axe des x) :

Probabilités de réussite choisie par l’évalué

Au-dessus de la droite, l’étudiant se sous-estime

En dessous de la droite, l’étudiant de sur-estime

4. Entraînement | TIMI | Feedbacks enseignants

r.bis

4. Entraînement Information

Dans Exams…

4. Information


4. INFORMATION

4. Information des évalués- Expliquer les procédures d’évaluation et les

conditions de l’examen

- Lier des fichiers, …

- Proposer des entraînements

4. Information

4. Information des évaluateurs

- Un suivi qualitatif des apprentissages de son

groupe d’étudiants

La plate-forme Exams :Les tests formatifs

Informer les étudiants :

vers un « engagement docimologique »

La plate-forme ExAMS :Les tests formatifs

La plate-forme ExAMS :Un suivi des tests formatifs


des informations en ligne ainsi que des tests d’entraînement

4. Information

5. Testing


5. Testing

5. Testing


un questionnaire d’examen « papier crayon » ou électronique

5. Testing | Etudiant

Livre ouvert QCM

SGI Vidéo, documents

disponibles par lien web

Degrés de certitude

En live

Dans Exams…

5. Testing

6. Correction


6. Correction

6. Acquisition, correction et contrôle qualité des résultats

- Contrôler la qualité des questions

- Etablir une version finale

Résultats et Statistiques :

6. Correction

Gestion Qualité du test :

6. Correction

Gestion Qualité de l’évalué :

6. Correction

Interprétation des rpbisà l’étape de correction

d’un test

…contrôle qualité a posteriori des QCM(autre ppt)

6. Correction

(Gilles, 2002)

Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7

(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves

Changements de réponse correcte 10

Suppressions d’une question 22

Valorisation d’un distracteur 39

TOTAL 71

Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions :

Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité)

(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

6. Correction


une version fiable des résultats des évalués

7. Feedbacks


7. Feedbacks

- Sélectionner les caractéristiques des feedbacks

aux étudiants

- Autoriser la mise en ligne des feedbacks

7. Feedbacks aux étudiants

7. Feedbacks

Dans le contexte de l’enseignement supérieur, lorsqu’il s’agit d’évaluer les apprentissages …

Feedbacks

Performances

Travaux Portfolio

Epreuves écrites

Examens oraux

…Stages

Auto-évaluations

Rapides

Individualisés DiagnostiquesPrécis

7. Feedbacks

Face à des centaines d’étudiants, Face à des centaines d’étudiants, comment fournir rapidementcomment fournir rapidement des feedbacks individualisés, des feedbacks individualisés,

précis et diagnostiques ?précis et diagnostiques ?

7. Feedbacks

Cliquez iciCliquez ici

7. Feedbacks

Données de BaseDonnées de Base

Description de Description de l’évaluationl’évaluation

Feedbacks diagnostiques via internet : un système individualisé de communication des niveaux de performances des étudiants dans le cadre d’évaluations standardisées3ème congrès des chercheurs en éducation – 16 et 17 mars 2004 - Jean-Luc GILLES

Score global

Résultats par processus mentaux

Résultats par rubriques matières

Aide à l’interprétation

Questionnaire de l’examen

7. Feedbacks

7. Feedbacks

Questionnaire de l’examen

7. Feedbacks

Données de base Informations relatives à la question 4 question 29

7. Feedbacks

Résultats par processus mentaux

« Connaître de mémoire »

« Appliquer les concepts »

Exemples :

7. Feedbacks

Aide à Aide à l’interprétationl’interprétation

7. Feedbacks

Résultats par Rubriques matières

Par exemple, des chapitres du cours…

7. Feedbacks

Lorsque les pourcentages de certitude sont utilisés…

Feedback métacognitif

Tendance à se surestimer…

Aucune utilisation des degrés de certitude 0, 1 et 5.

7. Feedbacks

Aide à Aide à l’interprétationl’interprétation

Nombre de consultations des feedbacks par les étudiants en fonction de l'heure

0

100

200

300

400

500

600

700

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

No

mb

re d

e co

nsu

ltat

ion

s d

es f

eed

bac

ks v

ia in

tern

et

Nombre de consultations des feedbacks par les étudiants en fonction de l'heure

0

100

200

300

400

500

600

700

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

No

mb

re d

e co

nsu

ltat

ion

s d

es f

eed

bac

ks v

ia in

tern

et

pics de consultations

à l'ULg

pics de consultations

hors l'ULgULg

hors ULg

(Gilles, 2004)

7. Feedbacks

7. Feedbacks


des feedbacks individualisés, précis et diagnostiquespour chaque évalué

8. Macro-régulation




- Sélectionner des critères de qualité et les

croiser avec les produits finaux des différentes

étapes

- Proposer des améliorations


L’étape de macro-régulation :

recueillir de l’information sur le déroulement de l’évaluation,

ce qui doit permettre un jugement critique

dont le but est de prendre des décisions quant à l’amélioration de futurs processus d’évaluation voire des enseignements

Les huit premières étapes développées semblent être linéaire et s’enchaîner en une suite logique. Dans la réalité, il n’en va toutefois pas de même. Les mouvements de va et viens entre les différentes étapes ne sont pas rares et sont même parfois souhaitable.

8. Macro-régulation | Outil | e-NGELS

Évaluation des enseignements à travers la récolte des avis des étudiants

3 facettes d’un enseignement peuvent être évaluées :

- Le cours

- L’examen et les procédures d’évaluation des acquis

- Les Travaux Pratiques (TP), Travaux Dirigés (TD), Cliniques (CL)

8. Macro-régulation | Outil | e-NGELS | Etudiant

8. Macro-régulation | Outil | e-NGELS | Enseignant

Un espace dédié aux enseignants afin de leur permettre de consulter les données récoltées pour les enseignements

dont ils ont la charge

Les données privées concerne un enseignement mis en évidence pas la zone grisée

Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)

1

2

3

4

5

6

[1.1]

Le m

ode d

'évalu

ation

était

adéq

uat

[1.2]

L'en

traîne

ment a

vant

l'exa

men ét

ait su

ffisa

nt

[1.3]

Les

ques

tions

étaie

nt cla

ires

[1.4]

Que

stion

s bien

adap

tées à

la m

atière

[1.5]

Le m

ode d

'évalu

ation

perm

et au

prof

. d'av

oir un

e bon

ne re

prés

entat

ion de

s...

[1.6]

L'év

aluati

on es

t équ

itable

et im

parti

ale

[2.1]

Les

exige

nces

de l'e

nseig

nant

sont

claire

ment p

résen

tées

[2.2]

Les

exige

nces

de l'e

nseig

nant

sont

prés

entée

s en t

emps

utile

s

[2.3]

L'en

seign

ant m

et l'é

tudian

t à l'a

ise à

l'exa

men or

al

[2.4]

L'ho

raire

fixé p

our l

'exam

en es

t res

pecté

[3.1]

Les

répo

nses

corre

ctes s

ont c

ommun

iquée

s aux

étud

iants

après

l'exa

men

[3.2]

L'an

alyse

stati

stiqu

e de l

a qua

lité d

es qu

estio

ns (r

.bis)

est c

ommun

iquée

[3.3]

Apr

ès l'e

xamen

, l'étu

diant

peut

obten

ir de

s exp

licati

ons s

ur la

quali

té de

ses r

épon

ses a

u...

Moy

enne

s de

s av

is

1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)

(Gilles, 2002)



Une série de pistes d’amélioration de la qualité pour le prochain examen


Merci pour votre attention !

Pour toute information complémentaire n’hésitez pas à prendre contact :

[email protected]

http://www.smart.ulg.ac.be

2. Design

La vigilance cognitive

Aller spontanément au-delà du donné, accéder à l’implicite, détecter les pièges, les incohérences, les lacunes, les contradictions sans être mis sur la voie et donc lutter contre les messages implicites tel que « Quand on vous pose une question, il faut répondre », « Quand une question est posée, il existe une et une seule bonne réponse » ou « Une question posée par l’autorité est forcément bien posée ». (Leclercq, 1999)

Documents

Htp:// [email protected] +32 4 366 20 78 Système Méthodologique d’Aide à la Réalisation de Tests SMART P. Detroz V. Crahay 31 octobre