Solutions et problèmes, évaluation et technologies

ACFAS 2006

Synthèse

Jean-Guy Blais

Université de Montréal

Solutions et problèmes, évaluation et technologies

Qu’est-ce que la technologie

lorsqu’on parle d’évaluation ?

Qu’est-ce que la technologie ? La technologie aide l’humain à réaliser des

tâches plus facilement… Creuser un trou : ses mains, un bout de bois,

une pelle, une «pépine»

Du tableau noir à l’ordinateur…

Depuis 20 ans seulement, qu’est-ce qui se passait avant…

Une technologie en remplace une autre

Sous-utilisation des TIC pour l’évaluation : pourquoi ?

Déjà sous utilisés en enseignement

«Oversold and underused…!!

Ordinateur de poche

Portabilité : + pour l’observation, on élimine les fils…

Synthèse pour le diagnostic : + Outils type Palm : ++ le coût, la manipulation,

Les situations d’observation….

Type de tâches limité

Autres outils portatifs….pour les élèves…??

Mise à l’essai d’une plate-forme d’évaluation sur mesure : webQuiz

Quelles conditions pour le développement de ces tests ?

Banque d’items calibrés, génération automatisée d’items !!

Applications en plein développement actuellement

Mais malgré tout, le champ est encore à la phase de l’enfance

Champs à défricher

Apprentissage en milieu non formel Éducation muséale : Évaluation de programmes : musée et

exposition, parcs et sites historiques Évaluation des apprentissages en milieu non

formel (méthodes formelles ou informelles ?)

Pourquoi est-ce qu’on évalue ? Qu’est-ce qui est visé ?

Les individus qui visitent ? Les programmes offerts aux visiteurs ?

Évaluation automatisée des cheminements d’apprentissage

Recherche exploratoire Couplage ExAO – SAO (expérimentation et

simulation) Environnement naturel et démarche réelle

Apprentissage ET évaluation avec la même technologie

Apprentissage sans techno et évaluation avec technologie ??

Apprentissage avec technologie et évaluation sans technologie «nouvelle»…..

À qui le système peut-il profiter : pour l’enseignant, l’élève, le parent, la C.S., le ministère…

L’avenir des tests adaptatifs en langue

Banque d’items : combien d’items, de tâches?

Calibrage préalable, «en ligne», expansion de la banque

Plusieurs décisions: – Modèles pour le calibrage– Critères de départ, de suite et d’arrêt– Quelle plateforme ? Fermée – Ouverte

Détection de configurations inhabituelles

Prise en compte d’informations «conjointes» pour…le départ, pour l’estimation, pour el diagnostic

Mesure en temps réel Dépendance des items (testlet)

Détection de configurations inhabituelles

Détection des réponses suspectes

Plagiat, sous performance…

Situation non adaptative: en général, bonnes performances des indices pour détecter….

Situation adaptative : plus difficile de détecter, mais…plus difficile de «mal» répondre

Plus court ou plus long ?

Quelle distribution pour la difficulté des items?

Ajouter des paramètres au modèle pour tenir compte de la «déviance» selon le niveau d’ajustement de la personne (person fit)

Merci