ÉVALUATION AUTOMATISÉE D’HABILETÉS TIC EN TRAITEMENT DE TEXTE, TABLEUR, ENVIRONNEMENT ET RECHERCHE INFORMATIONNELLE

Atelier sur l'évaluation des compétences informationnelles et les technologies de l'information

Jean Allard et Michel Pronovost, collège Jean-de-Brébeuf

Problématique

• Les compétences TIC font partie des programmes collégiaux (MELS, 2012)

• Peu de collèges ont développé des moyens de certifier ces compétences

• Il y a peu d’outils d’évaluation des compétences au Québec

• Hétérogénéité des compétences TIC des étudiants arrivant à l’Université

• Besoin d’une correction automatisée

DÉFIS

o Évaluer les compétences en situation réelle (in situ) Éviter le plus possible des évaluations trop théoriques qui tendent à mesurer des connaissances plutôt que des compétences.

o Évaluer les compétences TIC associées aux champs d’études de l’étudiantReconnaître que les compétences requises diffèrent souvent d’un champ d’études à un autre et surtout associer l’évaluation au champ d’études de l’étudiant.

o Assurer une correction automatiséeLe défi des défis: assurer une correction automatisée tout en relevant les deux autres défis.

Types de questions disponibles

• Questions à choix multiples– Évaluation de la compréhension (Bravard,

2005 ; Leclercq, 2006)– Types (Morissette, 1996)

• Appariement• QCM et vrai ou faux• QCM - quête• Questions à trou

• Simulations• In situ

ÉTAPES

o Définir des référentiels de compétences Un référentiel commun à partir duquel sont déclinés

• un référentiel pour les sciences de la nature• un référentiel pour les sciences humaines et administratives• un référentiel pour les arts et lettres

o Développer une plateforme de production et de passation Une plateforme pour

• définir les référentiels• produire les questions et les associer aux éléments de compétences• composer des tests et des évaluations (diagnostiques, formatifs ou certificatifs)• assurer la passation et la correction des tests

o Produire une banque de questions et de tests Questions diversifiées, nombreuses et principalement in situ

o Valider la banque de questions Par des tests statistiques reconnus

RÉFÉRENTIELS

Référentiel REPTIC

Référentiel MAGELLAN

Référentiels et questions

CERTITUDE

Sciences de la nature

Catégories technologiques

Référentiel de compétences (commun et spécifique)

Questions

Sciences humaines et administratives

Catégoriestechnologiques

Référentiel de compétences (commun et spécifique)

Questions

Arts, lettres et communications

Catégories technologiques

Référentiel de compétences (commun et spécifique)

Questions

Commun à tous les champs d’études

Catégories technologiques

Référentiel de compétences commun

Questions

Référentiel CERTITUDE (o-tutor)

Référentiel CERTITUDE (Moodle)

QUALITÉS DE LA PLATEFORME IDÉALE

Fonctionnalités recherchées

• DÉFINITION DES RÉFÉRENTIELS DE COMPÉTENCES– Un référentiel commun– Un référentiel pour chaque champ d’études qui comprend le référentiel

commun et les éléments spécifiques au champs d’études– Toute mise à jour du référentiel commun est répercutée sur les

référentiels spécifiques aux champs d’études• PRODUCTION DE QUESTIONS

– Type de questions à produire• QCM à choix unique• QCM à choix multiples• Vrai ou faux• Appariement• Questions à réponse courte• Questions in situ Excel• Questions in situ Word • Questions avec simulation• Questions à intervalle

Fonctionnalités recherchées

• PRODUCTION DE QUESTIONS– Fonctionnalités associées à la production de questions

• Afficher l’état de la banque (nombre de questions) par champs d’études et éléments de référentiels

• Associer une question à un champ d’études• Associer une question à une catégorie technologique• Associer une question à un élément d’un référentiel de

compétences (commun ou spécifique à un champ d’études)• Idéalement, associations multiples• Identifier l’auteur de la question• Faire passer une question (par défaut dans l’espace du

concepteur) à l’espace public commun (banque) à tous les concepteurs et au coordonnateur

• Produire une question par duplication d’une question existante• Recevoir des commentaires par question

Fonctionnalités recherchées

• PRODUCTION ET COMPILATION D’ÉVALUATIONS– Fonctionnalités associées à la production d’évaluations

• Sélectionner des questions par champ d'études • Sélectionner des questions par éléments de référentiel • Sélectionner des questions par catégories technologiques • Afficher les questions sélectionnées par ligne avec icones • Afficher les questions sélectionnées par question avec boutons

de navigations • Fournir les options d’évaluation suivantes

– avec feedback instantané et explication possible (formatif)– avec remise de résultats à la fin (sommatif ou certificatif)

• Exportation des résultats par groupe, par étudiant et par question

• Regrouper des tests en une seule et même évaluation

Fonctionnalités recherchées

• PASSATION D’ÉVALUATIONS– Fonctionnalités associées à la passation d’évaluations

• Afficher les questions sélectionnées par ligne avec icones par type

• Afficher les questions sélectionnées par question avec boutons de navigation

• Fournir un filtre sur les questions non répondues • Afficher le temps restant • Afficher la réponse à la question et une explication (fin formative)• Afficher une ressource externe • Afficher la note globale sans afficher le détail des questions (fin

sommative)

Fonctionnalités recherchées

• GESTION– Fonctionnalités associées à la gestion de la banque

• Créer des comptes professeurs• Créer un ou plusieurs groupes-cours par un professeur• Inscrire des étudiants dans un groupe par lot ou à l’unité• Permettre l’approbation ou le retrait de l’approbation d’une

question

– Professeur• Créer des comptes étudiants• Créer un ou plusieurs groupes-cours• Inscrire des étudiants dans un groupe par lot ou à l’unité• Récupérer les résultats par groupe ou étudiant

Exigences minimales

• Différents modes de gestion– Concepteur de questions– Commentateurs de questions– Professeurs producteurs de questions– Étudiants inscrits– Membres du comité de gouvernance

• Exportation des questions en format XML pour l’arrimage avec d’autres plateformes

Évolution des plateformes

CaptivateMoodle

O-Tutor

2010 2011 2012 2013

140

360

Passations

BANQUE DE QUESTIONS

État de la banque de questions

• Compétences technologiques visées:– Recherche informationnelle– Texteur (production de documents)– Tableur (traitement de données)– Environnement– Présentation et traitement de l’image

• 1268 questions dont :– 325 communes à tous les champs d’études– 943 spécifiques à l’un ou l’autre champ d’études– 140 type QCM+ – 1128 in situ avec texteur ou tableur

Types de questions

QCM+ Simulation In situ Chasse au trésor

Environnement x x

Tableur x x

Traitement de texte x x x

Recherche informationnelle x x X

Présentation et traitement de l’image x

EXEMPLES DE QUESTIONS

PLATEFORME ADOBE CAPTIVATE

Printemps 2011

Question associative avec images

Question de type « chasse au trésor »

Question de simulation

Mise en situation avec le tableur

Mise en situation avec le tableur

Le tableur :: Exemples de questions

• Formater des cellules• Faire la conversion 0C en 0F • Ajouter des lignes• Ajouter des colonnes• Faire un tri• Faire des calculs simples : sommes, moyennes• Utiliser des fonctions plus évoluées : dénombrements

(simples et complexes) ou des dénombrements conditionnels • Calculer des fréquences• Produire un graphique, vérifier des hypothèses, etc.

Plusieurs compétences peuvent être vérifiées à partir d’une mise en situation simple

PLATEFORME O-TUTORPrintemps 2012

o-tutor.com/instances/certitude

Liste des tests à effectuer

Test :: traitement de texte

Résultats instantanés

Traitement de texte :: balises

• Nombre de saut de page, saut de section, saut de ligne, etc.

• Gras, italique, exposant, couleur, etc.• Alignement horizontal et vertical• Interligne, retraits, justification, tabulation,

etc.• Marges, orientation, bordure de page, etc.• Présence de tableau, table des matières,

image, note de bas de page, trame, etc.• « Entrez le texte… »

Test :: tableur

Résultats instantanés

Autres tests

Choix multiples (quête)

Réponse ouverte (quête)

Réponse ouverte avec fichier

Associations

Résultats instantanés

RÉCUPÉRATION DES RÉSULTATS

Récupération des résultats

Résultats compilés

Exportation dans Excel

Mode d’utilisation de la banque

Collège Diagnostic Formatif Sommatif CertificatifVictoriaville Marie-Victorin André Grasset

Jonquière Brébeuf

Considérations pédagogiques

• Pour l’étudiant– Correction immédiate (très important pour des

étudiants qui vivent dans l’instantanéité)– Rétroaction lors de formatif– Possibilité d’ajouter des liens vers des

ressources externes– Possibilité de remise tant que le travail n’est pas

complètement réussi. Deux modes possibles :• Avec information sur la note globale seulement• Avec un tableau de réussite des réponses (sans

afficher de rétroaction)

Considérations pédagogiques

• Pour le professeur– Correction automatisée– Correction instantanée– Statistiques sur les réponses

• Permet de revoir les libellés• Permet de revoir des concepts en classe

– Formatif avec rétroaction permet de valider la banque de question

– Satisfaction des étudiants et amélioration des taux de réussite

Considérations pédagogiques

• Pour le gestionnaire– Possibilité d’exporter la banque de

question pour l’introduire dans une autre plateforme

– Statistiques sur les réponses, la durée, la date et l’heure, etc.

• Par test• Par groupe• Par question

Pour tester la banque

• O-tutor– o-tutor.com/instances/certitude– Usager : democertitude– Mot de passe : democertitude

• Moodle– https://certitude.cegepadistance.ca– Usager: ecertitude1– Mot de passe: Certitude2013!

DES QUESTIONS?

Références

• Bertrand, R. et J.-G. Blais (2004) Modèles de mesure. Sainte-Foy : PUQ 375 pages.• Bravard, S (2005). Usage pédagogique des QCM, un guide pour la mise en place d’un

questionnaire à choix multiple. Mémoire de maîtrise inédit, Université de Poitiers, France. Educativa, 86 pages

• Conférence des recteurs et des principaux des universités du Québec (CREPUQ) (2003). Étude sur les connaissances en recherche documentaire des étudiants entrant au 1er cycle dans les universités québécoises. Bibliothèque nationale du Québec.

• Hepp, P., E. Hinostroza, E. Laval et L. Rehbein (2004) Technology in Schools: Education, ICT and the Knowledge Society. Temuco, Chili : Instituto de Informática

• Laurier, M. D., Tousignant, R., & Morissette, D. (2005). Les principes de la mesure et de lʹévaluation des apprentissages (3rd ed.). Montréal: Gaëtan Morin

• Laveault D & Grégoire, J. (2002). Introduction aux théories des tests en psychologie et en sciences de l’éducation. Bruxelles : De Boeck Université, Bruxelles, 2002.

• Leclercq, D. (2006). L’évolution des QCM. In G. Figari et L. Mottier-Lopez. Recherches sur l’évaluation en Education. Paris : L’Harmattan, 139-146.

• Legendre, R. (2005). Dictionnaire actuel de lʹéducation (3rd ed.). Montréal: Guérin.• MELS (2012). Liste des programmes collégiaux. http://www.mels.gouv.qc.ca/ens-sup/ens-

coll/Cahiers/treparti.asp• Morissette, D. (1996). Guide pratique de l'évaluation sommative (Gestion des épreuves et

des examens). Montréal: Éd. Du Renouveau Pédagogique, coll. Pratiques Pédagogiques, 130 pages.