Les projets Pépite et Lingot

Équipe MOCAHUniversité Pierre et Marie Curie, Sorbonne-Universités

Elisabeth.Delozanne@lip6.fr

Diagnostic cognitif pour un enseignement différencié de l’algèbre

élémentaire

Pépites ? Lingot ? Dans la boue des productions des

élèves… « x + 8 = 8x » « Il ne faut pas additionner les

puissants »

… trouver les granules de connaissances pour forger

… des connaissances conformes au référentiel des programmes

2

Démarche en EIAH Partir

De l’expertise de chercheures en didactique De l’expertise d’ une communauté de pratique :

association Sésamath Des travaux ITS&Maths

Créer des modèles informatiques et des logiciels En retour

Enrichir l’expertise didactique Enrichir l’expertise et la plateforme de Sésamath Enrichir l’expertise en conception d’EIAH

3

Plan

Les projets Pépite et Lingot Contexte, objectifs Questions de recherche Une recherche collaborative et itérative

Diagnostic cognitif Parcours d’apprentissage différencié Résultats et perspectives

4

5

Le projet Lingot Objectifs

Instrumenter l’enseignement différencié en algèbre élémentaire

3 axes de recherche Diagnostic (projet Pépite)

1. Analyser les réponses à des exercices2. Détecter des cohérences dans l’activité d’un

élève- bilans : Obstacles/Leviers pour l’apprentissage

3. Situer un élève/un groupe par rapport à la compétence de référence

Apprentissage• Définir des parcours d’apprentissage adaptés aux

bilans Instrumentation de l’activité des enseignants

• Organiser un enseignement différencié

6

Projet pluridisciplinaire

IA

Didactique des Mathématiques

Environnements Informatiques

d’Apprentissage Humain

Psychologie et Ergonomie Cognitive

IHM

GL IA

EnseignantsFormateursAssociation

ACA

Informatique

Didactique des maths

L’ équipe (une partie) Informatique

Sésamath

7

Enseignants

…

Sésamath Une communauté de pratiques

Une association (2001) Un site : http://www.sesamath.net/ Des manuels en ligne et papier

• Très bons et moitié moins chers• 18% du marché français• Financent les frais de fonctionnement

En ligne : des outils libres et gratuits Pour les profs de maths

• 14 643 inscrits Pour les élèves

• 450 000 inscrits• 1,3 millions connections /mois

8

9

Conception participativeLa participation des enseignants Difficile à mettre en œuvre

Nécessite du temps• Temps de la recherche• Temps de l’action

Une réflexion pour faire leur place Des prototypes pour expérimenter

Collaboration avec l’association Sésamath "Transformer

• une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances " [Muller 03]

10

Cadres conceptuels Informatique

Conception centrée utilisateur-participative (Schuller 93, Mackay 04) Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003) Ingénierie dirigée par les modèles (Favre et al. 06) Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)

EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al 00,

Caroll 00) Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08,

Sander09, Nicaud04) Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)

Didactique des mathématiques Dialectique outils/objets, jeu de cadres et registres,

ingénierie didactique , approche anthropologique• (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07)

Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)

Questions de recherche1. Comment modéliser les connaissances d’un élève ?

Modèle de référence : didactique/enseignants/informatique2. Quelles situations mettre en place pour recueillir des observables ?

Modélisation des tâches diagnostiques, Banque de tests 3. Comment inférer les descripteurs à partir des observables ?

Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer l’élève par rapport à une référence : stéréotypes/groupes

4. Comment exploiter le diagnostic en prenant des décisions à partir des observables ? Prise de décisions didactiques (enseignants ou machine)

• Aide à la décision pour organiser des parcours Réflexion métacognitive avec l’élève

11

Cycles de recherche1. Une analyse didactique cognitive et épistémologique

un outil de diagnostic papier (Grugeon 95)

2. Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000)

3. Une nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005)

4. Une modélisation générique du diagnostic Génération des exercices et de l’analyse

automatique des raisonnements : PépiGen et Pépinière (Prévit 2008)

5. Dissémination : association Sésamath-MathEnPoche Prototype/application disponible à large échelle :

PépiMep (Darwesh et al. 2010) Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï 2011)12

Plan

Les projets Pépite et Lingot Diagnostic cognitif

Modèle de l’élève Exercices de diagnostic Diagnostic local/global

Parcours d’apprentissage différencié Résultats et perspectives

13

Diagnostic cognitif Analyse (automatique) de l’activité d’un sujet

Performance : réussite/échec Connaissances, procédures et stratégies

• Correctes ou inadaptées Objectifs

Intervention• Améliorer la performance, certifier • Réguler les apprentissages

Scientifique• Comprendre

- des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception

• Modéliser pour simuler, prédire, classifier 14

Différents modèles Approches symboliques

Psychologie cognitive• ACT : geometry tutor, Algebra tutor (équipe de Pittsburg

1983 … 2011)• Diane : problèmes additifs école primaire

(Hakem ,Sander, Labat, 2005) • Plasturgie (Richard, Pastré, Labat et al. 2006)

Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et

al. 2011) Approches numériques

IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)

Réseaux bayésiens (Labat, Hibou 2007)

15

Q1 : Modéliser les connaissances d’un élève Enseignants

Connaissance de référence : capacités (Programmes scolaires) • ex. : traduire une expression algébrique comme aire d’une figure,

factoriser une expression littérale en appliquant une identité remarquables

Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques

Connaissance de référence• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes

- trous, capacités implicites Connaissances d’un élève

• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs

• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage

16

Modèle de l’élève dans Pépite Bilan cognitif : 3 niveaux de description

17

• Diagnostic global collectif • Stéréotype et groupe • Niveau sur chaque composante

•Diagnostic global individuel (sur un ensemble d’ex)

• Caractéristiques personnelles, leviers et fragilités

• Par composante :Taux de réussite, indicateurs

•Diagnostic local (sur un exercice)

• Type de réponse et règles appliquées • Codage sur 8 dimensions

Q2 : Recueillir des observables ? Un élève passe un test

Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves• Erreurs/réussites• Des indices de misconceptions/leviers

d’apprentissage Un exercice diagnostique

Énoncé et questions • Choix multiple /réponses ouvertes (expression

algébrique ou un raisonnement) Une grille de codage des réponses

• Types de réponses anticipées• Évaluation multidimensionnelle de ces réponses

18

Un exercice diagnostique

19

Diagnostic local(1)Réponse Type Codes + interprétationsx + 8 = 8x8x3 × 8x = 24+3x= 27x27x-4 = 23x23x+x=24x24x/4=6x6x+2=8x8x-x=7

Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée

V3 incorrecteL3 lettres avec règles faussesE2 = annonce de résultatJ31 pseudo-formelleT2 traduction pas-à-pas séparéeEA42 règle incorrecte d’ assemblageRègles utilisées (incorrectes) :A+B = ABA X B = (A B) XA X - X = A – 1

20

Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques

Diagnostic local(2)Réponses Type Codes + interprétations3 + 8 = 1111 × 3 = 3333 - 4 = 2929 + 3 = 3232/4 = 88 + 2 = 1010 - 3 = 7

Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects

V3 incorrecteL5 pas de lettresE2 = annonce de résultatJ2 justification par un exempleT2 traduction pas-à-pas séparéeEN1 écritures numériques correctes

21

Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques

Diagnostic local (3)Réponses d’élèves Codes + interprétations

5+8 =13 × 3=39-4 =35+5=4040/4=10 10+2=12 12-5= 7

V3 incorrecteL5 pas de lettresJ2 justification par l’exempleT4 traduction pas-à-pas enchainéeEN1 écritures numériques correctes

[ x+8] × 3 = 3x+24-4 = 3x+20 = 4x+20 = [4x+20]/4 = x+5 = x+5+2 =x+7 = x+7-x = 7

V3 incorrecteL3 lettres et règles faussesJ31 pseudo-formelleT4 traduction pas-à-pas enchainéeEA 1 calcul correctRègles utilisées :(A+B)C = AC+BC Règle correcte(A+B)/C = A/C+B/C Règle correcte AC+BC = (A+B)C Règle correcte 22

Diagnostic local (4)Réponses d’élèves Codes + interprétations(3+8 × 3-4+3)/4+2-332/4+2-38+2-310-3

V3 incorrecteL5 pas de lettresJ2 par l’exempleT3 globale non parenthéséeEN1 : écritures numériques correctes

((5+8)×3-4+5)/4+2-5=7 ?((13)×3-4+5)/4+2-5=7 ?(39-4+5)/4+2-5=7 ?10+2-5=7 ?10-3=7 ?7=7 ?

V3 incorrecteL5 pas de lettresJ2 par l’exempleT1 globale parenthèsée, équationEN1 : écritures numériques correctes

((x + 8) × 3 - 4 + x) / 4 + 2 - x=( 3x + 24 - 4 + x)/4 + 2 - x=(4x +20) / 4 + 2 - x=x + 5 + 2 - x=7

V1 correcte, L1 nb généraliséJ1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. CorrecteRègles utilisées(A+B)C = AC+BC Règle correcteAC+BC = (A+B)C Règle correcte(A+B)/C = A/C+B/C Règle correcteAC+BC = (A+B)C Règle correcte

23

Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests

diagnostiques

Thèse de D. Prévit (2008) Travail didactique et premier prototype

Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe

24

25

Un outil auteur : PépiGen Problème :

Comment passer d’un diagnostic ad hoc à un diagnostic plus générique ?• Caractérisation des exercices équivalents du

point de vue diagnostique (clones)• Génération des clones• Analyse multicritère automatique des réponses

ouvertes à chacun de ces clones

26

Ensemble d’exercices équivalents du point de vue du diagnostic

Clones = Exercices similaires (paramètres, invariants) 

• solutions plausibles anticipées (correctes et incorrectes):

- de même nature• diagnostic

Utilisations Didacticien :

• conçoit un exercice+réponses anticipées Informaticien :

• conçoit le modèle de classe d’exercices Système :

• génère des clones à partir des paramètres (générés aléatoirement ou saisis)

• analyse les réponses des élèves

Classe d’exercices diagnostiques

Classe d’exercices

27

28

PépiGen

Auteur

Système auteur PépiGen

saisit les paramètr

es

Pépinière

expression

algébrique

arbre des solutions

anticipées

est chargé

produit un

clone

Modèle de Classe exercices

XM L

Banques d’exercices

XM L

29

30

Fichier du clone (x + 6)* 3 - 3 * x<Solution>  <Interprétation>- Expressions partielles avec écriture pas à pas enchaînée en succession d’opérations</Interprétation>   <Code>V3,L3,T4,J3</Code>   <Expression>(x+6)*3</Expression>   <Expression>x*3+18</Expression>   <Regle>V,7</Regle>   <Expression>3*x</Expression>   <Expression>3*x+18-3*x</Expression>   <Expression>18</Expression>   <Regle>V,31</Regle>   </Solution>

(X+6)*3=3x+18-3x=18

31

Pépinière Un logiciel de calcul formel qui manipule des

arbres pour : Analyse syntaxique des expressions

algébriques• Grammaire algébrique

Transformations algébriques • Règles de réécriture correctes ou incorrectes

Génération des solutions plausibles anticipées• Unification et heuristiques

Comparaison des expressions algébriques• Arbres superposables

Arbre des solutions anticipées(x+6)*3-3x

-2x+18

18

3x+18-3x

x*3+6*3-3x x+6*3-3x

3x+18-3x

18x

21x-3x

R1

R3

R3

R2

R4

R3

R3

21x-3x

18x

Erreur de parenthèse

avec mémoire

Règles correctes

R1 : (A+B)C AC+BC

R3 : AB+AC A(B+C)

R2: (A+B)C A+BC

R4: AB+C B(A+C)

Règles erronées

18

R3

R4

V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32

PépiGen :Résultats Avancée significative pour le projet Lingot

Fondement d’une chaîne logicielle • Pour diversifier les tests diagnostiques

Création d’un module de calcul formel réutilisable• Analyse des réponses ouvertes

Développement de classes paramétrées d’exercices diagnostiques

Définition de modèles et d’un métamodèle qui réifie une analyse didactique

Diffusion sur la plateforme Sésamath

33

Q3 : Construction du Bilan ? L’élève passe un test PépiTest

Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse :

type de réponse et vecteur de codes (diagnostic local)

2. Agrégation des codes Bilan cognitif : caractéristiques personnelles +

stéréotype3. Formation d’un groupe pour parcours

d’apprentissage

34

Étape 1 : Analyse des réponses Diagnostic local : PépiDiag

Compare la réponse de l’élève à une des réponses anticipées de la grille de codage

Utilise d’un logiciel de calcul formel : Pépinière• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressions

35

36

Interpréteur : PépiTest

ElèveXM L

InterpréteurPépiTest

Résout les

exercicesCharge le test avec

les réponses de l’élève

est chargé

Enregistre le test avec

les réponses

de l’élève

Test constitué d’exercices

XM L

Réponse de l‘élève

37

Diagnostiqueur : PépiDiag

XM L

Diagnostiqueur PépiDiag

est chargé

Module Pépinière

Tester l’équivalence de 2 arbres

d’expressionretourne vrai/faux

Enregistre les

réponses avec le

diagnostic local

(type et codes)XM L

grille de codage

XM L

Réponse de

l’élève

est

chargé

Conception Fondée sur les réponses anticipées et le fichier grille

de codage Réponses ouvertes

~10-15 % de réponses non diagnostiquées par le logiciel• Erreur de saisie• Réponses imprévisibles

Couteux En expertise didactique + Analyse de corpus

Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse

Complexe pour les raisonnements38

Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) N = 360 élèves 3 experts

trouvent le travail fastidieux (7 à 10 h pour un seul exercice)

se trompent plus que le logiciel Résultats

Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag

Réponses imprévisibles • 2/3 des réponses incorrectes non analysées par

le logiciel, ne sont pas non plus analysées par les experts

39

Étape 2 : Bilan cognitif Un bilan =

Un stéréotype • niveau de compétence sur les 3 composantes

- Usage de l’algèbre, calcul algébrique et traduction d’une représentation dans une autre

Des caractéristiques personnelles • taux de réussite• leviers• fragilités • liste des erreurs• liste des réussites

Ex. : bilan d’Elie

40

Étape 3 : groupes de travail Gérer la diversité cognitive dans une classe

• Apprentissage différencié• Dynamique de l’ensemble

Groupes de stéréotypes 36 stéréotypes, 15 en pratique Regroupement des stéréotypes voisins selon la

composante sur laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur

calcul et commencent à choisir les outils adaptés au problème

- A+ : savent traduire algébriquement des situations diverses

- A- : erreurs de traduction Ex. : groupes en 2nde 41

Évaluation des groupements En cours 1 expérimentation passée

Points de vue Usage Le prof a fait 3 groupes A, B , C Travail par 2 : (A+, A-), (B+, B-), (C+, C-)

Pour favoriser les explications entre pairs Travail en classe, puis devoir à la maison Nécessité de définir

Des étapes (ex. introduction, révision) Un objectif commun à la classe

Point de vue Élève• Évolution locale importante

4 expérimentation en cours 42

Q4 : Exploitation du diagnostic Tutorat individuel

Réflexion métacognitive avec l’élève Travail dans la classe

Projet avec Sésamath Parcours d’apprentissage différencié (Pad)

• Thèse en didactique des mathématiques de Julia Pilet

- Mise au point des parcours d’apprentissage différencié

- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai

- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place

43

PépiPad : Un scénario Qui ?

Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep

Contexte : MF va aborder le chapitre calcul littéral dans la

classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables

Prérequis MF demande à ses élèves de passer le test à la

maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad

44

Scénario (suite) Paramétrage : MF choisit

L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux

expressions PépiPad affiche pour chaque groupe

les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités

Adaptation MF qui ne dispose que de 30 min sélectionne un seul objectif

secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe

- Une liste d’élèves- Une liste de ressources

écran 45

Modèle de connaissance Exercice caractérisé

Capacités Niveau scolaire Variables didactiques

• Objets mathématiques• Cadre et registres en jeu• Degré de guidage

Identifiant Origine Titre

46

Capacité Composante de la compétence

Ex. calcul algébrique Groupe de capacités

Ex. calculer, tester, factoriser Capacité

Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable

Exemple : capacités liées au calcul algébrique

47

48

Ontologie simplifiée

Expertise didactique Fait : Pour chaque groupe

Expliciter les objectifs principaux et secondaires Les lier avec les capacités

En cours : Indexer les ressources Associer les objectifs aux étapes

49

50

PépiPad

Bilans cognitifs des élèves

Générateur de Parcours

Banque d’exercices

Parcours générés

Règles de calcul de parcours

Pépite

construit

Utilise l'ontologie des exercices

paramètre

prof

Dissémination (2010-12) Projet PICRI financé par la région Ile-de-France Objectif

mise à disposition des enseignants sur la plateforme Sésamath• Diagnostic fiable• Parcours d’apprentissage adaptés au bilan

cognitif des élèves Questions de recherche

Comment passer d’un prototype de recherche à un logiciel fiable et robuste ?• Conception participative

Comment concevoir la différenciation ?• Gestion de la classe/personnalisation

51

Résultats du projet Une méthode de diagnostic Des modèles exécutables

de tâches diagnostiques de bilan cognitif sur trois niveaux de description

Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand

public Des corpus de réponses importants

52

Méthode de diagnostic Trois temps1. Diagnostic local

analyse de la réponse à une question types de réponses anticipées + vecteur de codes

2. Diagnostic global individuel détecter des cohérences entre les réponses Par composante : taux de réussite + leviers,

fragilités, règles fausses et correctes3. Diagnostic global collectif

Situer l’élève par rapport à une référence/au groupe

Niveau sur chaque composante Caratéristiques

53

Perspectives Court terme (fin de l’année)

PepiPad opérationnel Moyen terme (fin du financement 2012)

articuler • Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur

l’historique et les caractéristiques personnelles Long terme (prochain projet)

Des scénarios plus ludiques

54

55

Résumé (1) Coté recherche :

comprendre les difficultés des élèves• Récolter des corpus

produire des modélisations exécutables d’une expertise didactique

Coté application : produit innovant en rupture avec les pratiques

usuelles• faciliter la genèse instrumentale

dissémination de résultats de recherche

56

Résumé (2) Cycle N°1 (1995) : outil papier-crayon

modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite

systématisation, réification du modèle de compétence diagnostic semi-automatique

Cycle N°3 (2005) : exploitation du diagnostic : vers un diagnostic automatique (langage naturel, raisonnement

algébrique) vers une géographie de la classe (stéréotypes)

Cycle N° 4 (2008) : diagnostic plus générique (classes d’exercices) diagnostic sur plusieurs niveaux scolaires diagnostic pour l’élève

Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage scénarios plus ludiques

Différents cycles

57