Htp:// smart@ulg.ac.be +32 4 366 20 78 Système Méthodologique d’Aide à la Réalisation de Tests...

htp://www.smart.ulg.ac.be

smart@ulg.ac.be+32 4 366 20 78

Système Méthodologique d’Aide à la Réalisation de

TestsSMART

P. Detroz

V. Crahay

31 octobre 2007

Le SMART en trois missions

Pour ces trois missions :

une même approche qualité

Evaluation des acquis cognitifs

Evaluation de la qualité des enseignements

Enquêtes à caractère pédagogique

Missions du SMART

➔ Validité ➔ Fidélité➔ Sensibilité➔ Diagnosticité ➔ Praticabilité ➔ Équité ➔ Communicabilité➔ Authenticité

Quatre facteurs clés pour une approche qualité

Gilles, 2002

• La validité :

les scores des apprenants doivent représenter ce que l’enseignant veut mesurer, permettre des inférences solides (validité de construct ou théorique), et couvrir les aspects importants des apprentissages (validité de

contenu) ; • La fidélité :

la note (d’une épreuve corrigée) classée dans une catégorie donnée doit l’être de la même façon si elle est traitée par d’autres correcteurs (concordance interjuges) ou/et à un autre moment (consistance intrajuge) ;

Critères de « qualité SMART » d’un test standardisé

• La sensibilité :

la mesure doit être précise, refléter des phénomènes subtils ;

• La « diagnosticité » :

les résultats doivent permettre le diagnostic précis des difficultés d’apprentissage (et idéalement de leurs causes), des processus maîtrisés, de ceux qui ne le sont pas ;

• L’équité :

tous les étudiants doivent être traités de façon juste, en principe de la même façon (standardisation) ;

• La « praticabilité » :

la réalisation des évaluations doit être faisable endéans des délais raisonnables et à l’aide des ressources en personnel et en matériel disponibles et proportionnées à l’importance relative des enjeux ;

• La « communicabilité » :

les informations non confidentielles relatives au déroulement du processus doivent être communiquées et comprises par les partenaires (enseignants, étudiants, équipe SMART) engagés dans la réalisation des épreuves.

• L’« authenticité » :

les questions doivent être en rapport avec des situations qui ont du sens pour les étudiants, pertinentes par rapport au monde réel et propre à favoriser les transferts dans des contextes et des pratiques qu’on peut rencontrer dans la vie.

➔ Validité ➔ Fidélité➔ Sensibilité➔ Diagnosticité ➔ Praticabilité ➔ Équité ➔ Communicabilité➔ Authenticité

Quatre facteurs clés pour une approche qualité

Gilles, 2002

Gilles 2002; Gilles & al. 2004-2005

La plate-forme ExAMS : Examination Assessment

Management System

R&D en ingénierie docimologique

Le cycle CGQTS

● Structure de travail collectif (plusieurs institutions);

● Unification des méthodes;

● Réflexion sur la matière à évaluer, sur les méthodes pour évaluer;

● Gestion de la banque de questions;

● Gestion des tests;

● Préparation des étudiants à la matière évaluée, au dispositif d'évaluation;

● Correction facilitée des tests;

● Analyse à posteriori des questions et gestion de la qualité du test;

● Analyse des résultats (statistiques descriptives, graphiques,...);

● Feedbacks pour les étudiants au niveau du test et de leur auto-évaluation.

● ...

La plate-forme ExAMS pour répondre à des besoins:

La plate-forme ExAMS : Un outil en ligne pour construire et gérer les évaluations

Site: www.exams.be

A travers les étapes du cycle CGQTS

1. Analyse

1.1 Définir les Points Enseignés [PE]Vérification de la bonne couverture de la matière abordée Validité de contenu

1.2 Quantifier les priorités Mise en évidence des points essentiels qui devront être évalués

1.3 Définir les Catégories de Performance [CP]Définition des processus mentaux dont l’évalué veut

exercer sur les PE

1.4 Relier les Points Enseignés et les Catégories de Performance [PE x CP]

Construction du binôme [PE x CP] Validité

1. Analyse

Titres Sous-titres PEIntroduction

Présentation

L’expertise du SMART

Une approche qualité

4 facteurs-clés

Le cycle de construction et de gestion de qualité

Etape 1. Analyse

Table de spécification

Point à évaluer

Priorités

Catégories de performance

Taxonomies

Binôme [PExCP]

Etape 2. Design

1. Analyse

Titres Sous-titres PE PIntroduction

Présentation

4 facteurs-clés

Etape 1. Analyse

Point à évaluer

Priorités

Taxonomies

Binôme [PExCP]

Etape 2. Design

1. Analyse

Titres Sous-titres PE P CPCompr. Appli Analys

Introduction

Présentation

4 facteurs-clés 3

Etape 1. Analyse

Point à évaluer 3

Priorités 3

Taxonomies 2

Binôme [PExCP] 3

Etape 2. Design

Compréhension Application AnalyseInterpréter des informations. Extrapoler le sens d’un message en saisir la nature et la signification profonde

Utilisation de règles principes ou algorithme pour résoudre un problème

Découper une structure selon ses parties, distinguer les faits des hypothèses, en vue d’en expliquer le fonctionnement

1. Analyse

Titres Sous-titres PE P CPCompr. Appli Analys

Introduction

Présentation

4 facteurs-clés 3

Etape 1. Analyse

Point à évaluer 3

Priorités 3

Taxonomies 2

Binôme [PExCP] 3

Etape 2. Design

1. Analyse

G. Mialaret, Pédagogie générale, Paris : PUF, 1991

Produit de cette 1ère étape :

Une table de spécifications où

les PE sont croisés avec les CP : (PE x CP)

1. Analyse

Dans Exams…

La plate-forme ExAMS : Étape 1 : Création d’une table de spécification

Relier les Points Enseignés et les Catégories de Performance [PE x CP]

Construction du binôme [PE x CP] Validité

CP Priorités

2. Design

2.2 Associer les Modalités de questionnement aux Catégories de performanceConstruction du binôme [MQ x CP]

2.3 Croiser les Binômes [PE x CP] et [MQ x CP ]

Trinôme [PE x MQ x CP]Sur base des trinômes, nous pouvons générer des questions correspondant aux objectifs fixés

2.1 Définir les modalités de questionnement (MQ)Choisir les modalités de questionnement selon les objectifs

de l'évaluation

2. Design

2.1 Définir les modalités de questionnement (MQ)

Les Modalités de questionnement sont composées de :

- Un Format de Questionnement [FQ] :

QCM, V-F, QROC, QROL, Portfolio,…

- Une série d’Option de Questionnement [OQ]

SGI, DC, LO, TI

2. Design

MQ 1 MQ 2 MQ 3

CP1CP2

2.2 Construction du Binôme [MQ x CP]

QCM+SGI QCM+SGI+LO

Connaissance

Compréhension

Application

Analyse

Synthèse

2. Design

Titres Sous-titres

PE P CPCompr. Appli Analyse

QCM-DC-SGI-LO

QCM-DC-

SGI-LO

Introduction

Présentation

4 facteurs-clés 3 XLe cycle de construction et de gestion de qualité

Etape 1. Analyse

3 X X X

Point à évaluer

Priorités 3 X XCatégories de performance

Taxonomies 2 X X

Trinômes Trinômes [PE x CP x MQ][PE x CP x MQ]

Produit de cette 2ème étape :

une table de spécifications où les trinômes

(PE x CP x MQ) du test sont identifiés

2. Design

Dans Exams…

2. Design

CP x MQ

PE x CP x MQ

Quelles options de questionnement ?

Les enjeux des degrés de certitude et des Solutions Générales Implicites

2. Design

« T.O.I.S.E. ou une Taxonomie d’Objectifs Instrumentée au Service

de l’Évaluation »(D. Leclercq, 1999)

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

La taxonomie des objectifs cognitifs de Bloom

2. Design

6. Evaluation(jugement selon des critères internes, donc subjectifs)

5. Synthèse(production personnelle, expression, formulation, créativité)

4. Analyse(décomposition, classification, organisation)

3. Application(d’un principe général à un cas particulier)

2. Compréhension(interprétation, traduction, rien n’étant “caché”)

1. Connaissance(réactualisation de contenus mémorisés)

Niveaux les plus souvent évalués

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

QRO(Question à Réponse

Ouverte)

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

QCMsimple

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

QCM + SGI

2. Design

5. Synthèse

4. Analyse

3. Application

2. Compréhension

1. Connaissance

6. Évaluation

Degrés de certitude

2. Design

En résumé,

Les QCM simples ou classiques ont une aire d’efficacité (ou de pertinence) assez étroite, qui est « élargie » par d’autres techniques.

Les SGI permettent - d’évaluer des niveaux taxonomiques plus élevés que la connaissance dans la taxonomie de Bloom- d’éviter l’identification de la réponse correcte (recognition) par hasard- de mesurer la détection d’erreurs- de mesurer la vigilance cognitive

- d’habituer aux situations où plusieurs solutions sont correctes.

2. Design

6 ou NUL ou REJET7 ou TOUTES8 ou MANQUE9 ou ABSURDITE

Les SGI sont proposées sous les numéros de code suivant :6-7-8-9 et ne sont pas dactylographiées dans les QCM

Demander à l’évalué d’exprimer son degré de certitude [DC] permet de :- l’amener à s’auto-estimer (niveau 6 dans la taxonomie de Bloom)- de calculer ses indices de réalisme.

Les enjeux des DC

« Bon nombre de personnes considèrent que la connaissance est affaire de tout ou de rien : ou bien on « sait » les choses ou bien on ne les « sait pas ». […] Mais, le plus souvent, on est dans un état intermédiaire, de connaissance partielle »

Gilles,2002

2. Design

Les enjeux des DC

Choisissez l’orthographe correcte du mot proposé.

Tous les étudiants sont ------------- de passer un test de français dés leur entrée à l’université

1. suceptibles

2. susseptibles

3. suseptibles

4.susceptibles

2. Design

Les enjeux des DCChoisissez l’orthographe correcte du mot proposé.

Tous les étudiants sont ------------- de passer un test de français dés leur entrée à l’université

1. suceptibles

2. susseptibles

3. suseptibles

4.susceptibles

850 25 50 70 95 100

+13 +16 +17 +18 +19 +20

+4 +3 +2 0 -6 -20

2. Design

Les enjeux des DCRC

0 25 50 70 85 95 100

Ignorancereconnue

Compétenceignorée

Ignorancepartielle

Compétencepartielle

Compétenceassurée

Ignoranceignorée

2. Design

3. Questions

3. Création des questions

- Alimenter la banque de question

- Valider les questions qui pourraient être

utilisées pour l’examen

3. Questions

Titres Sous-titres

PE P CPCompr. Appli Analyse

QCM-DC-SGI-LO

QCM-DC-

SGI-LO

Introduction

Présentation

4 facteurs-clés 3 XLe cycle de construction et de gestion de qualité

Etape 1. Analyse

3 X X X

Point à évaluer

Priorités 3 X XCatégories de performance

Taxonomies 2 X X

une banque de questions caractérisées par leurs trinômes (PE x CP x MQ)

3. Questions

Dans Exams…

La plate-forme Exams:La rédaction des questions

3. Questions

Petit Test …

La dernière amitié de Harlan Stone est un

1. satire politique

2. récit autobiographique

3. histoire de science fiction

4. courte biographie

3. Questions

La population de la ville de Frankton est inférieure à

1. 50 mille habitants

3. Questions

Le Parti National Augustin a son quartier général à

1. Camdem, dans le new jersey

2. St Augustin, en Floride

3. Palo Alto, en Californie

4. Dallas, au Texas

3. Questions

La loi Davis (XIX° siècle)

1. Fournit de l’argent aux écoles.

2. Abolit une loi précédente

3. Interdit la fabrication, la vente, le transport ou l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.

4. Augmenta le salaire des agents de l’état.

3. Questions

Herman Klavemann est célèbre parce que

1. Il a développé toutes les échelles musicales utilisées en occident.

2. Il a composé toutes les sonates pendant la période romantique.

3. Il a traduit tous les classiques russes en anglais.

4. Il a inventé l’épingle de sûreté.

3. Questions

Etude de la Test Wiseness

Gibb (1964) définit la test wiseness comme « la capacité d’un étudiant à répondre correctement à un test fait de QCM qui contiennent des repères formels et, par conséquent, la capacité à obtenir

des points sans connaître la matière testée. »

3. Questions

Chapitre 3La rédaction des QCM(D. Leclercq, 1986)

3. Questions

Les règles de rédaction d’une QCM (d’après le Chap. 3 « La rédaction des QCM » du livre « La conception des questions à choix multiple » de D. Leclercq)

A. Règles de rédaction concernant l’adéquation aux objectifs

B. Règles de rédaction concernant la valeur diagnostique de la réponse

C. Règles de rédaction sur la forme

D. Règles de rédaction des solutions proposées

3. Questions

N ’utilisez la QCM que si c’est le type de question le plus

approprié à mesurer ce que l’on vise.Dans ce cas, la QROC serait plus pertinente.

R1: Respecter l’objectif

Inventez un nom de poudre à lessiver en insistant sur l ’une de ses qualités : mousse abondante, propreté du linge, peu coûteuse, enlève toutes les taches …Choisissez le nom qui vous plaît le mieux.

1. ECONOMOUS2. KIMOUSS3. MOUSPACHER4. MOUSTACH5. SANTACH

Exemple :

3. Questions

R2: Coller à l’objectifExemple :

(a) Où est la tanche ?

(b) Ce poisson est

1. Un brochet2. Une carpe3. Une tanche4. Une truite

La QCM doit correspondre à l’objectif visé, au comportement à évaluer …

celui d’un poissonnier (a) ou d’un pêcheur (b) ?

3. Questions

R3: Ne pas perturber l’apprentissageExemple :

Choisissez l’orthographe correcte1. Horkidée2. Horquidée3. Orchidée4. Orkidée 5. Orquidée

La QCM ne doit pas perturber les apprentissages (sur des données perceptives visuelles ou sonores)

Pour les autres apprentissages, Karraker a démontréque les distracteurs ne se fixent pas si on communiqueles RC dans les plus brefs délais.

3. QuestionsB. Règles de rédaction concernant la valeur diagnostique de la

réponseR4: Révéler le processus mental

La QCM doit renseigner l’enseignant sur le processus mental utilisé par l’apprenant.

Quelle est la surface de la figure ci-dessous ?

1. 5 cm22. 6 cm23. 7 cm2

Exemple :

réponseR5: Indiquer l’erreur commiseExemple :

Un spécialiste en oto-rhino-laryngologie indique généralementsur sa plaque « nez-gorge-oreilles ».Le rhinocéros a une corne à l’avant du museau.Celui qui souffre de rhinite se mouche fréquemment.

Le mot grec rhis, rhinos, signifie :1. Corne2. Gorge3. Maladie4. Nez5. Visage

Les distracteurs doivent indiquer le type d’erreur commise ou le cheminement incorrect suivi par l’apprenant …

D’où le recours à leurs propres erreurs en QROC.

réponseR6: Préciser sur quelle partie de l’énoncé porte la question

Exemple :

En 1452, voguant sur la Santa Maria, la Pinta et la Nina,Christophe Colomb a découvert l’Amérique du Sud.

1. Vrai 2. Faux

On doit préciser sur quelle partie de l’énoncé porte la question

3. Questions

R7: Respecter la consigneExemple :

Lequel des aliments ci-dessous apporte des lipides ?

1. Eau2. Huile3. Œuf4. Viande

La question doit être compatible avec la consigne.

Ici, la question annonce qu’une seule solution est correcte, alors que plusieurs des aliments cités

contiennent des lipides.

3. Questions

R8: Proposer une phrase syntaxiquement correcteExemple :

On appelle translation le mouvement que la terre effectue 1. d’une durée d ’un jour (soit 24 heures).2. en 365 jours (soit un an).3. dont la durée est de 1440 minutes.4. sur elle-même autour de l’axe Nord-Sud.

RC = 2

Proposer des phrases (tronc + solutions) syntaxiquement correctes.

Transgression de la règle 8« proposer des phrases syntaxiquement correctes »

La dernière amitié de Harlan Stone est un

1. satire politique2. récit autobiographique3. histoire de science fiction4. courte biographie

(Diamond & Evans, 1972)

3. Questions

R9: Éviter les termes vaguesExemple :

Quel est l’élément du sang qui transporte l’oxygène ?1. Le fer2. L’hémoglobine3. Les globules rouges

RC = Toutes, si « élément » est pris au sens large.

3. Questions

R10: Éviter les négation

Exemple :

N ’est-il pas faux de nier que l’absence d’arrêt à un signal STOPn’entraîne pas automatiquement le retrait du permis de conduire ?

1. Oui2. Non

Éviter les formes négatives (syntaxiques et sémantiques),a fortiori proscrire leur accumulation.

3. Questions

R11: Séparer l’information et questionsExemple :

Lequel des 3 dessins ci-dessous représente une embarcation armée en pointe (le rameur tire l’aviron des deux mains) avec barreur (l’équipier qui tient la barre du gouvernail) ? Dans une embarcation armée en couple, il y a deux avirons parbarreur. La définition d’aviron, est « rame élargie à un bout en forme de pelle ». Le mot « aviron » vient de l ’ancien français « viron », qui signifiait « tour ».

Dans une embarcation armée- en pointe, le rameur tire un aviron des deux mains- en couple, chaque rameur a deux avirons.

La définition d’aviron, est « rame élargie à un bout en forme de pelle ».Lequel des 3 dessins représente une embarcation armée en pointe avec barreur ?

3. Questions

R12: Regrouper dans l’amorce les éléments commun aux solutions proposéesExemple :

La température de solidification d ’une matière est :

1. inférieure à la température de fusion de cette matière.2. égale à la température de fusion de cette matière.3. supérieure à la température de fusion de cette matière.

La température de solidification d’une matière est 1. inférieure2. égale3. supérieure

à sa température de fusion.

3. Questions

R13: Indépendance syntaxique des solutionsExemple :

Le muscle du bras dont la contraction permet d’effectuer le mouvement représenté ci-contre est 1. Le deltoïde2. Le triceps3. Au contraire, le biceps4. En plus, le cubitus de la main.

3. Questions

R14: Indépendance sémantique des solutionsExemple :

Une solution d’eau salée en sel de cuisine peut descendre sans geler jusqu’à une température de

1. 0° centigrades2. -2° centigrades3. -4° centigrades4. -6° centigrades

Les solutions proposées doivent être sémantiquement indépendantes les unes des autres.

Transgression de la règle 14« les solutions proposées doivent être sémantiquement

indépendantes les unes des autres »(Diamond & Evans, 1972)

La population de la ville de Frankton est inférieure à1. 50 mille habitants2. 60 mille habitants3. 70 mille habitants4. 80 mille habitants45%

3. Questions

R15: Égalité des mots communs à la solution et à l’amorce

Exemple :

Quel est le nom de l’organisme de police internationale ?

1. CIA2. FBI3. Interpol4. SAS

Mêmes mots communs avec l’amorce.

Transgression de la règle 15« même mots communs avec l’amorce »

(Marshall & Hales, 1971)

Le Parti National Augustin a son quartier général à

1. Camdem, dans le new jersey2. St Augustin, en Floride3. Palo Alto, en Californie4. Dallas, au Texas

66% et82%

3. Questions

R16: Égalité de vraisemblance des solutions Exemple :

Quel groupe sanguin est « receveur universel » ? 1. A2. B3. AB4. O5. AO

3. Questions

R17: Même longueur pour toutes les solutions Exemple :

Le mot « spinaker » désigne :

1. Un chien écossais2. Une voile triangulaire de grande surface, légère

et très creuse, que les yachts envoient dans la marche au vent arrière

3. Un chant tyrolien4. Un instrument de musique

La solution correcte ne doit pas être systématiquement plus longue que les autres.

Transgression de la règle 17« même complexité : la solution correcte ne doit pas être

systématiquement plus longue que les autres »(Diamond & Evans, 1972)

La loi Davis (XIX° siècle)

1. Fournit de l’argent aux écoles.2. Abolit une loi précédente3. Interdit la fabrication, la vente, le transport ou

l’utilisation de divers médicaments qui étaient alors utilisés dans des intentions illégales.

4. Augmenta le salaire des agents de l’état.

3. Questions

R18: Même complexité pour toutes les solutions Exemple :

Un incendie se déclare dans une cuisine. L’occupant n’arrive pas à le maîtriser. Que doit-il faire ?

1. Couper l’arrivée du gaz au compteur2. Téléphoner aux pompiers3. Evacuer les enfants4. 1 et 25. 1, 2 et 3

3. Questions

R19: Même degré de généralité

Exemple :

Le terme épicéa désigne

1. Tous les arbres résineux.2. Tous les pins.3. Certains types de pins.

Même niveau de généralité dans les indicateurs (temps, modificateurs, …)

Transgression de la règle 19« même niveau de généralité dans les indicateurs (temps,

modificateurs …) »(Marshall & Hales, 1972)

Herman Klavemann est célèbre parce que

1. Il a développé toutes les échelles musicales utilisées en occident.2. Il a composé toutes les sonates pendant la période romantique.3. Il a traduit tous les classiques russes en anglais.4. Il a inventé l’épingle de sûreté.50%

3. Questions

R20: Même degré de technicité Exemple :

Dans l’islam chiite, un ayatollah est

1. Un imam2. Un uléma3. Une autorité religieuse4. Un derviche

Même degré de technicité du vocabulaire dans toutes les solutions proposées.

3. Questions

Règles de rédaction proposées par le SMART

R22: Signes en toutes lettres

R21: Ordre croissant et décroissant

Règles de cohérence dans le test

R26: Uniformisation des ponctuations dans le test

R28: Ne pas induire la réponse à une autre questions du test

R23: Termes identiques pour une même idée

Règles des solutions proposées

R24: Consensus sur le caractère correct ou incorrect des solutions

R25: Équilibre entre les solutions positives et négatives

R27: Éviter de connoter les solutions

4. Entraînement

4. Entraînement | Outils

Entraînement

LOM TIMI + GuessBVE

In situ Via Internet

4. Entraînement | Guess

http://www.smart.ulg.ac.be/smartweb/outils/guess/

Entraînement aux procédures :

Degrés de Certitude (DC)

4. Entraînement | TIMI

http://www.smart-ulg.net/timi2/etud/index.php

4. Entraînement | TIMI | DEMO

Accédez à la démonstration de TIMI

4. Entraînement | TIMI | Connexion

Accédez au TEST en cliquant sur

4. Entraînement | TIMI | Feedbacks étudiants

4. Entraînement | TIMI | Feedbacks

RC : réponses correctes

RI : Réponses incorrectes

Plus le rectangle orange est proche de la droite, plus il est proche du réalisme « parfait »

Taux d’exactitude (axe des y):

Exactitude des questions du test pour l’évalué

Probabilité de réussite (axe des x) :

Probabilités de réussite choisie par l’évalué

Au-dessus de la droite, l’étudiant se sous-estime

En dessous de la droite, l’étudiant de sur-estime

4. Entraînement | TIMI | Feedbacks enseignants

4. Entraînement Information

Dans Exams…

4. Information

4. INFORMATION

4. Information des évalués- Expliquer les procédures d’évaluation et les

conditions de l’examen

- Lier des fichiers, …

- Proposer des entraînements

4. Information

4. Information des évaluateurs

- Un suivi qualitatif des apprentissages de son

groupe d’étudiants

La plate-forme Exams :Les tests formatifs

Informer les étudiants :

vers un « engagement docimologique »

La plate-forme ExAMS :Les tests formatifs

La plate-forme ExAMS :Un suivi des tests formatifs

des informations en ligne ainsi que des tests d’entraînement

4. Information

5. Testing

un questionnaire d’examen « papier crayon » ou électronique

5. Testing | Etudiant

Livre ouvert QCM

SGI Vidéo, documents

disponibles par lien web

Degrés de certitude

En live

Dans Exams…

5. Testing

6. Correction

6. Acquisition, correction et contrôle qualité des résultats

- Contrôler la qualité des questions

- Etablir une version finale

Résultats et Statistiques :

6. Correction

Gestion Qualité du test :

6. Correction

Gestion Qualité de l’évalué :

6. Correction

Interprétation des rpbisà l’étape de correction

d’un test

…contrôle qualité a posteriori des QCM(autre ppt)

6. Correction

(Gilles, 2002)

Version 1 : moyenne des moyennes = 9,8 Version 2 : moyenne des moyennes = 10,7

(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

Au niveau du professeur évaluateur : amélioration de la qualité de ses épreuves

Changements de réponse correcte 10

Suppressions d’une question 22

Valorisation d’un distracteur 39

TOTAL 71

Pour les 34 tests rectifiés (71 rectifications au total) comprenant deux versions :

Après ces rectifications, les épreuves mesurent mieux ce qu’elles étaient sensées mesurer ( validité)

(Crahay, Gilles, Hausoul, Mainferme et Tinnirello, 2006)

6. Correction

une version fiable des résultats des évalués

7. Feedbacks

- Sélectionner les caractéristiques des feedbacks

aux étudiants

- Autoriser la mise en ligne des feedbacks

7. Feedbacks aux étudiants

7. Feedbacks

Dans le contexte de l’enseignement supérieur, lorsqu’il s’agit d’évaluer les apprentissages …

Feedbacks

Performances

Travaux Portfolio

Epreuves écrites

Examens oraux

…Stages

Auto-évaluations

Rapides

Individualisés DiagnostiquesPrécis

7. Feedbacks

Face à des centaines d’étudiants, Face à des centaines d’étudiants, comment fournir rapidementcomment fournir rapidement des feedbacks individualisés, des feedbacks individualisés,

précis et diagnostiques ?précis et diagnostiques ?

7. Feedbacks

Cliquez iciCliquez ici

7. Feedbacks

Données de BaseDonnées de Base

Description de Description de l’évaluationl’évaluation

Feedbacks diagnostiques via internet : un système individualisé de communication des niveaux de performances des étudiants dans le cadre d’évaluations standardisées3ème congrès des chercheurs en éducation – 16 et 17 mars 2004 - Jean-Luc GILLES

Score global

Résultats par processus mentaux

Résultats par rubriques matières

Aide à l’interprétation

Questionnaire de l’examen

7. Feedbacks

Questionnaire de l’examen

7. Feedbacks

Données de base Informations relatives à la question 4 question 29

7. Feedbacks

Résultats par processus mentaux

« Connaître de mémoire »

« Appliquer les concepts »

Exemples :

7. Feedbacks

Aide à Aide à l’interprétationl’interprétation

7. Feedbacks

Résultats par Rubriques matières

Par exemple, des chapitres du cours…

7. Feedbacks

Lorsque les pourcentages de certitude sont utilisés…

Feedback métacognitif

Tendance à se surestimer…

Aucune utilisation des degrés de certitude 0, 1 et 5.

7. Feedbacks

Aide à Aide à l’interprétationl’interprétation

Nombre de consultations des feedbacks par les étudiants en fonction de l'heure

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

Nombre de consultations des feedbacks par les étudiants en fonction de l'heure

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23

pics de consultations

à l'ULg

pics de consultations

hors l'ULgULg

hors ULg

(Gilles, 2004)

7. Feedbacks

des feedbacks individualisés, précis et diagnostiquespour chaque évalué

8. Macro-régulation

- Sélectionner des critères de qualité et les

croiser avec les produits finaux des différentes

étapes

- Proposer des améliorations

L’étape de macro-régulation :

recueillir de l’information sur le déroulement de l’évaluation,

ce qui doit permettre un jugement critique

dont le but est de prendre des décisions quant à l’amélioration de futurs processus d’évaluation voire des enseignements

Les huit premières étapes développées semblent être linéaire et s’enchaîner en une suite logique. Dans la réalité, il n’en va toutefois pas de même. Les mouvements de va et viens entre les différentes étapes ne sont pas rares et sont même parfois souhaitable.

8. Macro-régulation | Outil | e-NGELS

Évaluation des enseignements à travers la récolte des avis des étudiants

3 facettes d’un enseignement peuvent être évaluées :

- Le cours

- L’examen et les procédures d’évaluation des acquis

- Les Travaux Pratiques (TP), Travaux Dirigés (TD), Cliniques (CL)

8. Macro-régulation | Outil | e-NGELS | Etudiant

8. Macro-régulation | Outil | e-NGELS | Enseignant

Un espace dédié aux enseignants afin de leur permettre de consulter les données récoltées pour les enseignements

dont ils ont la charge

Les données privées concerne un enseignement mis en évidence pas la zone grisée

Comparaison des moyennes des avis des étudiants à propos des examens dans le 1er cycle de la FAPSE-ULg (de 1997 à 2000)

'évalu

était

traîne

ment a

men ét

ait su

étaie

nt cla

s bien

tées à

atière

'évalu

. d'av

oir un

ion de

aluati

t équ

itable

de l'e

claire

ment p

résen

de l'e

entée

s en t

et l'é

tudian

t à l'a

ise à

men or

fixé p

pecté

ctes s

iquée

après

e de l

lité d

iquée

ès l'e

, l'étu

licati

té de

1ère candidature 1997-1998 (n=227)2ème candidature 1997-1998 (n=163)1ère candidature 1998-1999 (n=150)1ère candidature 1999-2000 (n=250)2ème candidature 1999-2000 (n=134)

(Gilles, 2002)

Une série de pistes d’amélioration de la qualité pour le prochain examen

Merci pour votre attention !

Pour toute information complémentaire n’hésitez pas à prendre contact :

smart@ulg.ac.be

http://www.smart.ulg.ac.be

2. Design

La vigilance cognitive

Aller spontanément au-delà du donné, accéder à l’implicite, détecter les pièges, les incohérences, les lacunes, les contradictions sans être mis sur la voie et donc lutter contre les messages implicites tel que « Quand on vous pose une question, il faut répondre », « Quand une question est posée, il existe une et une seule bonne réponse » ou « Une question posée par l’autorité est forcément bien posée ». (Leclercq, 1999)

Htp:// smart@ulg.ac.be +32 4 366 20 78 Système Méthodologique d’Aide à la Réalisation de Tests...

Documents

Flamcovent Smart Flamco Clean Smart Flamcovent Clean Smart

30/01/2007 Michel Georges - Pascal Detroz

SABER SMART instructions

SMART VILLAGES

Liste des tarifs - Tango · 5 LISTE DES TARIFS Tango Smart Tango Smart LU Tango Smart XS Smart S Smart M Smart L Smart XL Abonnement mensuel 15€ 5€ 15 €25 35 45 Période d'engagement

SMART BUILDINGS - Costic

Smart Connect - JURA

Projet Smart Centres

30/01/2007CDS- Georges - Detroz Quand le testing standardisé formatif et systématique pose les jalons de l'apprentissage et offre un diagnostic sur les

Quel rôle du communicant public dans la relation smart city / smart people ?

Première conférence SAPIENS : 'L’évaluation des …¨re... · Mots Clés OK Première conférence SAPIENS : "L’évaluation des étudiants" avec Pascal Detroz La première conférence

international convention for intelligent and sustainable cities … · La gouvernance territoriale des smart grids et smart cities Smart grids and smart cities territorial governance

SMART. Smart BI.pdf · 2019. 6. 6. · Аялал жуулчлалын систем smart tour Санхүүгийн систем (standart) smart balance pro Санхүүгийн

Smart Agriculture - brochure-newsmartnationexpo.org/download/Smart Agriculture - brochure-new.pdf · Smart Agriculture - brochure-new Author: chat 1 Subject: Creative circle abstract

Spektrum FIRMA SMART ESC Series Spektrum FIRMA SMART ... · Le variateur ESC Spektrum Firma™ est compatible avec l’accélération SMART. L’accélération SMART associe les signaux

quels métiers smart · MOBILITY SMART TER SMART c ITY SMART BUILd INg SMART c ITIZEN SMART c ARE. Devenez les Ingénieurs entrepreneurs du monde de demain Transports | Ville durable

Boîtiers de Vote Électronique - cds.auwe.be · Logique de régulation Pascal Detroz CDS 23 mai 2007. Quel type de besoins et modèles ? Pédagogique Evaluation Enseignant Etudiant

catalogue smart box2011

Smart initiatives in Transmission Systemsilicon.ac.in/smart-2015/Smart initiatives in...• Strong Grid interconnections • Flexible generation, Ancillary Services, Reserves etc

SMART SCOPE