1 D Prévit

Indexation et génération automatique de tests pour le diagnostic de compétences

2 D Prévit

Conception Itérative des EIAH

Bruillard et Vivet 94, Bruillard et al 00, Beaudoin-Lafon 02 Partir d’un problème d’enseignement et d’une analyse

didactique (Grugeon 95) Travailler au sein d’une équipe pluridisciplinaire Construire des maquettes et des prototypes Evaluer très tôt auprès des utilisateurs

Enseignants, formateurs Etudiants, élèves

Centrer la conception sur les situations d’apprentissage

3 D Prévit

Conception itérative (Landay 02)

4 D Prévit

Pépite 1 (Jean 00)

Hypothèses de recherche1. Il est possible de recueillir sur machine des réponses d’élèves

suffisamment riches pour un diagnostic cognitif2. Il est possible d’automatiser (au moins partiellement) ce diagnostic3. Les profils cognitifs élaborés par le logiciel aideront les enseignants

à réguler les apprentissages en algèbre Résultats

Un logiciel qui valide H1 & H2 H3 ????

Articuler diagnostic individuel et gestion de classe– PépiStéréo (Grugeon, Gélis, Coulange, Delozanne, Vincent 04)

Adapter le test à différentes situations– SuperPépite (ma thèse)

5 D Prévit

De Pépite à Super-Pépite

Pépite propose une batterie d’exercices figés utilisables une seule fois à un seul niveau de classe : fin de troisième, début de seconde

L’analyse des expérimentations et des retours d’usage [Delozanne et al 02b], [Rogalski 03], fait apparaître (entre autres) la nécessité d’adapter les tests et le diagnostic

à différentes étapes de la construction des compétences en algèbre à différentes situations d’évaluation

De nouvelles situations à envisager :

Un enseignant cherche : Un bilan à des moments clés de l’année (début, fin) d’un élève, de sa classe

Objectifs du prof : « géographie » de la classe, orientation des élèves etc. Un bilan adaptatif pour tester rapidement certaines compétences d’un élève,

d’une classe Objectifs du prof : vérification d’acquis, création de groupes d’élèves.

6 D Prévit

De Pépite à Super-Pépite

Finalité de l’EIAH (artefact):

Proposer aux enseignants un ensemble de tests adaptables à différents niveaux de classes et à différentes utilisations

Deux questions :

Comment indexer ces tests pour permettre aux enseignants d’en choisir un adapté à la situation ?

Comment produire ces tests ?

Une problématique :

Modélisation et Génération assistée d’exercices de diagnostic

7 D Prévit

Questions de recherches

Est-il possible de définir des modèles d’exercices à partir desquels les enseignants pourraient construire leurs propres tests ? End user-programing (Fischer 00, Derycke-Bourguin 01)

Est-il possible de définir des modèles de procédures de diagnostic liés aux modèles d'exercices pour produire un diagnostic quand un enseignant a défini un test ? Modélisation cognitive (Grugeon 95, Koedinger 01, Van Lehn 04)

Comment assurer la complétude et la cohérence d’un test pour un bilan de compétences à un niveau donné ? Calibrage des tests

Quels outils de modélisation sont pertinents ? Ontologies, technologies UML, XML.

8 D Prévit

Objectifs de recherche

Modélisation

Des classes d’exercices

Du processus de diagnostic associé à chaque classe

Du résultat du diagnostic en fonction du contexte d’utilisation

9 D Prévit

Un travail systématique de modélisation des exercices Ce travail de modélisation est en cours pour l’ensemble des exercices du prototype Pépite

Un exercice complexe : l’exercice du  « prestidigitateur »

complexe et intéressant du point de vue diagnostic exercice clé des didacticiens pour le diagnostic dynamique

Interaction : L’enseignant utilise une palette de mots (tu penses un nombre, ton nombre, tu ajoutes, tu

divise par …) Le logiciel génère

l’interface élève les expressions algébriques L’analyse a priori des réponses attendues ou erronées La méthode de diagnostic

Deux difficultés La génération de l’énoncé du problème : Le traitement des expressions algébriques qui sont analysées dans l’analyse a priori et dans

l’algorithme du diagnostic : ce travail est en cours

10 D Prévit

Exemple : codage d’un raisonnement

Exemple de réponse(x+8)×3-4+x=3x+24-4+x=3x+20+x=4x+20/4=x+5+2-x=7

Cette production, non codée dans Pépite 1, est codée dans mon DEA par le sextuplet (T3,L3, M31 ,C4,R31, )

T3 Traitement incorrect L3 Utilisation des lettres pour faire du calcul algébrique avec des règles

fausses M31 Utilisation inadaptée des parenthèses qui conduit à un résultat correct C4 Conversion abréviativeR31 Justification reposant sur l’application de règles incorrectesDans cet exercice pas de codage pour les connaissances numériques

11 D Prévit

Algorithme de diagnostic sur une classe d’exercice

Lecture de la première ligne

Tanque que la ligne n’est pas vide (exercice non terminé)

tant que la ligne est une phrase on lit la ligne suivante (3 lettres consécutives) on teste si l’expression est numérique ou algébrique

(existence d’une lettre dans l’expression) on teste si l’expression est globale ou partielle (pas à pas) on construit un arbre représentant chaque expression algébrique ou

numérique écrite sur la ligne On le compare avec les arbres représentant les expression prévues

par l’analyse à priori qui sont associées à des codages On obtient la liste des règles fausses identifiées

12 D Prévit

Plan

1. Introduction

2. Définitions

3. Présentation de Super-Pépite

4. Les modélisations pour la génération d’exercices

13 D Prévit

Test

Un test est un ensemble bien déterminé d’exercices, liés au niveau de la classe, qui permet à l’enseignant et/ou au logiciel d’établir un bilan des compétences algébriques d’un élève, d’un groupe d’élève ou d’une classe.

Le diagnostic est le processus qui permet d’établir un tel bilan.

14 D Prévit

Les résultats du diagnosticPlusieurs niveaux de modélisation des compétences

diagnostic local à un exercicePortée : un seul exerciceProcédure : c’est ce qu’on appelle le codage. Il consiste à appliquer la grille

d’analyse prévue dans l’analyse didactique a priori de l’exerciceRésultat : un sextuplet qui situe la réponse de l’élève à l’exercice en

référence au modèle de compétences algébriques à un niveau donné de classe

diagnostic global au testPortée : un ensemble d’exercicesProcédure : elle consiste en une analyse transversale des codages des

réponses aux différents exercicesRésultat : un profil cognitif (cf. Pépite) un stéréotype

15 D Prévit

Les résultats du diagnostic global

Niveau de modélisation des compétences

Pépite 1 Maintenant

codage Matrice de diagnostic Matrice de diagnostic plus complète

Profil cognitif À l’interface Réifié dans un fichier XMLPrésenté de façon différente

Stéréotype N’existe pas Triplet dans un fichier XML

16 D Prévit

Stratégies de diagnostic

Deux stratégies de diagnostics : diagnostic systématique

Il consiste à faire passer à tous les élèves d’une même classe le même test diagnostic adaptatif

Il consiste à poser des exercices qui sont choisis en fonction des réponses de l’élève aux exercices précédents.

17 D Prévit

Types de tests test prédéfiniIl correspond à un diagnostic systématique ; il comporte un nombre fixe

d’exercices déterminés et permet de tester un certain nombre de compétences à un niveau donné

test adaptable par l’enseignant Il correspond à un diagnostic systématique ; l’enseignant choisit :

le nombre et le type d’exercices proposés, le logiciel lui indique l’ensemble des compétences testées ou bien

un niveau, un ensemble de compétences à tester et une durée de test et le logiciel lui propose un test

test adaptatif (adaptative testing) Il correspond à un diagnostic adaptatif ; l’enseignant choisit un ensemble

initial d’exercices (ou de compétences) à tester. Au moment du passage du test, le système détermine les exercices à poser en fonction des réponses de l’élève.

18 D Prévit

Plan

1. Introduction

2. Définitions

3. Présentation de Super-Pépite

4. Les modélisations pour la génération d’exercices

19 D Prévit

Super-Pépite : les utilisateurs

Les enseignants Choisissent, en fonction de leurs objectifs, un test parmi les trois types de

tests définis précédemment Font passer le test à leurs élèves Élaborent, avec l’aide du logiciel, un bilan de compétences algébriques à

un niveau donné

Les concepteurs construisent, en fonction de leurs objectifs, un test à partir de modèles d’exercices et de la procédure de diagnostic associée à ces modèles

Les élèves passent un test en résolvant des exercices, après quoi ils obtiennent un bilan de compétences algébriques de lapart du système et/ou de leurs enseignants

Les chercheurs étudient les différentes productions des utilisateurs (réponses d’élèves, résultats des tests, bilan de compétences

20 D Prévit

Architecture de Super-pépite

Concepteur

Enseignant

Élève

Chercheur

PépiGenExo

PépiGenTest

PépiDiagAdaptatif

PépiProfPépiDiagPredefini

PépiChercheur

PépiEleve

Réponses codées

Profils

Bilans

- Test Adaptatif- Test prédéfini

- Modèles d’exercices- Modèles de compétence à un niveau donné - Exercices

SERVEUR CLIENT

Réponses

exploite

exploite

exploite

exploite

produit

PépiProfil

exploitePépiClassesProfil

exploite

produit

produit

produit

exploite

exploite

produit

produit

produit

exploite

exploite

produit

produit

exploite

exploite

produit

exploite

exploite

exploite

exploite

exploite

21 D Prévit

Conception du logiciel PepiGenExo

Il s’agit de concevoir un système qui propose des modèles d’exercices et une procédure de diagnostic

adaptée à chaque modèle génère l’exercice et le diagnostic local à l’exercice à partir

des paramètres entrés par l’enseignant des modèles d’exercice.

demande à l’enseignant de valider les exercices générés

Définition Une classe d’exercices est un ensemble d’exercices «équivalents» du point

de vue de l’interaction élève-logiciel.Deux exercices sont équivalents si l’analyse didactique de la tâche est la

même pour les 2 exercices.

22 D Prévit

Méthodologie de conception de PepiGenExo

Comment caractériser des exercices équivalents du point de vue de l’interaction élève-exercice et du point de vue du diagnostic des réponses de l’élève ?

1. Catégorisation des exercices par rapport au types d’interactions élève-logiciel

2. Dans chaque catégorie étude systématique des paramètres qui peuvent varier sans modifier la tâche

3. Proposition d’un modèle

4. Évaluation des modèles lors de séances de travail au sein de l’équipe du projet Lingot

5. Affinement du modèle (présenté ici)

6. Modélisation et mise en œuvre informatique (en cours)

23 D Prévit

Plan

1. Introduction

2. Définitions

3. Présentation de Super-Pépite

4. Les modélisations pour la génération d’exercices

24 D Prévit

Catégorisation des exercices de Pépitest

Nous avons établi une classification hiérarchique des exercices de PépiTest par rapport aux types d’interactions et aux procédures de diagnostic sous-jacentes.

Niveau 1

Les types d’interactions et les procédures de diagnostic Niveau 2

Les types de tâches pour l’élève

Exercices équivalents : les classes d’exercices

25 D Prévit

Catégorisation des exercices de Pépitest

Niveau 1 exercices de mise en équation exercices de preuve QCM ou exercices « apparentés » Exercice de résolutions d’équations Exercice de résolutions de systèmes d’équation

Niveau 2 pour les QCM : cocher Les égalités correctes Les sommes et produits L’aire et la formule associée La formule associée à un énoncé

26 D Prévit

Modèle d’une classe d’exercice

Un classe particulière : la classe C1 « cocher les égalités correctes »

27 D Prévit

Modèle d’une classe d’exerciceExercice

Tâche

Énoncéconsigne + questions

Analyse a prioricodage + commentaires

Diagnosticstructuration de la trace des interactions + algorithme de diagnostic

Interface

interface physique + interface conceptuelle + actions du système

Compétences mobilisées

28 D Prévit

Modèle de l’interface conceptuel de C1

Point de vue élève La consigne Un QCM formé de 4 questions avec 4 choix de réponses disposées

aléatoirement

Possibilités d’action de l’élève à l’interface

L’élève peut lire l’énoncé, cocher n cases correspondants à n choix

Actions du système Initialisation : déclenchement d’un chronomètre à l’ouverture Mémorisation : comptage des clics sur chaque choix Rétractions usuelles

29 D Prévit

Modèle de l’interface physique de C1

Zone de texte avec contenu constant Label du composant

Composant formé de 4 cases à cocher avec label

Zone de texte avec contenu constant 4 composants de type panel comportant

Un label Un groupement de 4 cases à cocher

30 D Prévit

Modèle de la tâche de C1

Les compétences mobilisées Interpréter des écritures numériques Valider des égalités numériques

Enoncé : Une consigne

contenu : « Cochez dans chaque cas la ou les égalités correctes »

4 questions comprenant 4 égalités vraies ou fausses générées par le système

31 D Prévit

Modèle de la tâche de C1Contenu des questions ou labels

4 questions ( Qi ) et 4 choix (choixi ) par question

Contraintes sur les variables Ces contraintes sont associées à un niveau de difficultés.

choix1 choix2 choix3 choix4

Q1 (-a)2 = -eval(a a) -a2 = eval(aa) -a2 = -eval(a a) (-a)2= eval(a a)

Valeurs de vérités

faux faux vrai vrai

32 D Prévit

Modèle de l’analyse a priori de C1

D’après l’analyse a priori proposé par les didacticiens, à chaque choix correspond une égalité vraie ou fausse et un codage

Pour chaque question Qi i variant de 1 à 4

Pour chaque choix choixj j variant de 1 à 4 Code (i,j) = (T, M,.........) T: traitements, M : calcul algébrique CommentaireNombre de réponses correctes de la question i

choix1 choix2 choix3 choix4

Q1 (-a2) = - eval(a a)

-a2 = eval(aa) -a2 = -eval(a a) (-a)2 = eval(a a)

codage T3 et M31 T3 et M33 T1 et M1 T1 et M1

commentaires

33 D Prévit

Modèle du comportement de l’élève de C1

Pour les réponses, la position des items étant aléatoire, il s’agira de repérer quelles sont les cases à cocher qui sont activées (nombre pair d’essais) et mettre en relation, le choix choixi et la position Pk de la case à cocher.

Trace

Pour chaque question Qi

Réponses pour le diagnostic

Hésitations

Temps cumulé

34 D Prévit

Modèle du comportement de l’élève de C1

Algorithme de diagnostic

Associer les cases cochées aux expressions mathématiques

Pour chaque Qi

Si aucun choix coché alors T0

Sinon

Cas 1 : Qi a au moins un choix incorrect coché

Codage T3, M sur les choix cochés

Cas 2 : Qi a un seul choix correct et il est coché

Codage T1, M1

Cas 3 : Qi a plusieurs choix corrects

tous sont cochés : Codage T1, M1

au moins un coché : Codage T2, M1

35 D Prévit

Conclusion

État du travail Modélisation papier : terminée

Prochaine étape Modèle exécutable

Les questions que je me pose : les choix d’implémentation choisir des outils

multi -plate-formes Maintenance des contenus et supports pérennes Architecture client serveur.

travaux actuels sur les ressources numériques, leur indexation en liaison avec l’utilisation du langage XML, sur les Objets pédagogiques (OP).

[David 2003] [Nanard et al 2002], [Guéraud et al 2004]