71
1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 [email protected] Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche aux usages

1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 [email protected] Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Embed Size (px)

Citation preview

Page 1: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

1

Les projets Pépite et Lingot

M2-IFL, DU-TICE, [email protected]

Équipe Mocah du LIP6

Diagnostic cognitif et EIAHDe la recherche aux usages

Page 2: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Objectifs du cours aujourd’hui Donner un exemple

de coopération chercheurs en EIAH/professionnels de modèle d’apprenant et de diagnostic cognitif d’application en classe de travaux de recherche

Vous faire manipuler des prototypes de diagnostic cognitif plusieurs types de modèles et de représentations

• didactique : texte, tableau• conceptuel : tableau, diagramme• informatique :

- en machine : structure d’un fichier xml- à l’interface : visualisation des données xml

Montrerles étapes d’une recherche itérative et pluridisciplinaire en EIAH

2

Page 3: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Plan

Les projets Pépite et Lingot Contexte, objectifs Démo Une recherche collaborative et itérative Questions de recherche

Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

3

Page 4: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Des Pépites et des Lingots ? Dans la boue des productions des

élèves… x + 8 = 8x Il ne faut pas additionner les

puissants

… trouver les granules de connaissances pour forger

… des connaissances conformes au référentiel des programmes

4

Page 5: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Origine du projet (~1990) Côté didactique

Un questionnement sur l’enseignement et l’apprentissage de l’algèbre

Un outil papier crayon de diagnostic et des propositions d’ateliers en fonction du diagnostic

La nécessité d’informatiser une partie du processus• Créer des « lentilles cognitives »

Côté informatique Automatiser un processus de diagnostic

• Déjà très structuré• Déjà validé sur le plan épistémologique, cognitif

et didactique• Déjà testé sur papier : étude de corpus de

réponse d’élèves 5

Page 6: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

6

Le projet Lingot Objectifs

Instrumenter la gestion de la diversité cognitive des élèves dans une classe en algèbre élémentaire

3 axes de recherche Diagnostic (projet Pépite)

1. Analyser les réponses à des exercices2. Détecter des cohérences

- Obstacles/Leviers pour l’apprentissage3. Situer un élève (un groupe d’élèves) par rapport

à la compétence de référence Apprentissage

• Parcours d’apprentissage adaptées au diagnostic Instrumentation de l’activité des enseignants

• Organiser en classe un enseignement différencié

Page 7: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Didactique des maths

Une équipe pluridisciplinaire Informatique

Sésamath

7

Enseignants

Ergonomie

Page 8: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Sésamath Une association (2001) de bénévoles + 6 salariés Un site : http://www.sesamath.net/ Des manuels

Papier• Bons et moitié moins chers• 18% du marché français• Financent les frais de fonctionnement

En ligne : gratuits et source accessibles Une plateforme d’outils libres et gratuits

Pour les profs de maths • 14 643 inscrits

Pour les élèves :1/4 collègien français• 450 000 inscrits• 1,3 million connections /mois

8

Page 9: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Les usages : une démo Nous sommes une classe de 3° dans le collège Lingot

de Terre Adélie et je suis votre prof de math Nous sommes tous des habitués de la plateforme

LaboMep de Sesamath Consignes

Toujours cliquer sur OK avant de changer d’exo Ne pas revenir en arrière

1. Le prof prépare la séance de test diagnostique2. Chaque élève se connecte sur LaboMep et passe le

test en répondant aux questions (N’oubliez pas de cliquer sur OK)

3. Le prof regarde les bilans et choisit un thème4. Le logiciel génère une séance différenciée5. Chaque élève travaille sur les exercices de sa séance

(rafraichir pour voir sa séance)9

Page 10: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Démarche de recherche itérative Partir

De l’expertise de chercheures en didactique• du laboratoire André Revuz (ex-Didirem)

De l’expertise d’une communauté de pratique• association Sésamath

Des l’état des recherches en EIAH Créer des modèles informatiques et des prototypes Tester les prototypes dans les classes En retour

Enrichir l’expertise didactique Enrichir l’expertise et la plateforme de Sésamath Enrichir l’expertise en conception d’EIAH Être utile aux élèves et aux professeurs ?

10

Page 11: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Une recherche itérative

11

•(Mackay et Fayard, 1997)

Page 12: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

12

Conception participativeLa participation des enseignants aux projets de

recherche Difficile à mettre en œuvre

Nécessite du temps• Temps de la recherche• Temps de l’action

Une réflexion pour faire leur place Des prototypes pour expérimenter

Collaboration avec l’association Sésamath "Transformer

• une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances " [Muller 03]

Page 13: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

13

Cadres conceptuels Informatique

Conception centrée utilisateur-participative (Schuller 93, Mackay 04)

Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)

Ingénierie dirigée par les modèles (Favre et al. 06)

Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)

EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et

al 00, Caroll 00)

Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04)

Analyse de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)

Didactique des mathématiques Dialectique outils/objets, jeu de cadres et registres,

ingénierie didactique , approche anthropologique• (Douady 90, Grugeon 95, Artigue 91, Chevallard, Kieran 92,07)

Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)

Page 14: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Questions de recherche1. Comment modéliser les connaissances d’un élève ?

Modèle de référence : didactique/enseignants/informatique2. Quelles situations mettre en place pour recueillir des

observables ? Modélisation des tâches diagnostiques, Banque de tests

3. Comment inférer les descripteurs à partir des observables ? Typer et coder les réponses : diagnostic individuel local Détecter les cohérences : diagnostic individuel global Situer l’élève par rapport à une référence :

stéréotypes/groupes4. Comment exploiter le diagnostic en prenant des décisions à

partir des observables ? Prise de décisions didactiques (enseignants ou machine)

• Aide à la décision pour organiser des parcours Réflexion métacognitive avec l’élève

5. Comment évaluer les outils produits ?14

Page 15: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Cycles de recherche1. Une analyse didactique cognitive et épistémologique

un outil de diagnostic papier (Grugeon 95)

2. Une conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000)

3. Une nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005)

4. Une modélisation générique du diagnostic Génération des exercices et de l’analyse

automatique des raisonnements : PépiGen et Pépinière (Prévit 2008)

5. Dissémination : association Sésamath-MathEnPoche Prototype/application disponible à large échelle :

PépiMep (Darwesh et al. 2010)

6. Parcours d’apprentissage différencié (Pilet 2011, El-Kechaï 2011)

15

Page 16: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Chronologie du projet

16

Page 17: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Plan

Les projets Pépite et Lingot Contexte, objectifs Démo Une recherche collaborative et itérative Questions de recherche

Diagnostic cognitif Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

17

Page 18: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic cognitif en EIAH ? Processus

« Processus qui consiste à produire de façon automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité »

(Delozanne et al. 2010) Résultat du processus

Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences

18

Page 19: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic cognitif Analyse de la résolution de problème par un sujet

Performance Connaissances, procédures et stratégies

• Correctes ou inadaptées Objectifs

Intervention• Évaluation diagnostique : Réguler les

apprentissages• Évaluation formative : Améliorer la performance• Évaluation sommative : Certifier

Scientifique• Comprendre

- des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception

• Modéliser pour simuler, prédire, classifier 19

Page 20: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Différents modèles (Cf. M. Labat) Approches symboliques

Psychologie cognitive• ACT : geometry tutor, Algebra tutor (équipe de

Pittsburg 1983 … 2011)

• Diane : problèmes additifs école primaire (Hakem ,Sander, Labat, 2005)

• Plasturgie (Richard, Pastré, Labat et al. 2006)

Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)

• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011)

Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)

Réseaux bayésiens (Labat, Hibou 2007)

20

Page 21: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Q de recherche (rappel)1. Quel modèle de l’élève ? Quels descripteurs ?2. Comment recueillir les observables ?3. Comment analyser les observables pour obtenir les

descripteurs ?4. Comment exploiter les résultats du diagnostic ?

21

Page 22: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Architecture fonctionnelle

22

Étudie le modèle de l’élèveExploite le diagnostic

Page 23: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Plan

Les projets Pépite et Lingot Diagnostic cognitif ?

Définitions Dans Pépite

• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de

clones• Q3-Diagnostic local/global

Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

23

Page 24: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Q1 : Modéliser les connaissances d’un élève

Enseignants Connaissance de référence : capacités (Programmes scolaires)

• ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable

Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques

Connaissance de référence• Organisation mathématique/didactique• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes

- trous, capacités implicites Connaissances d’un élève

• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs

• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage

24

Page 25: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Modèle de l’élève dans Pépite Bilan cognitif : 3 niveaux de description

25

Page 26: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Q2 : Recueillir des observables ? Un élève passe un test

Un ensemble d’exercices conçus pour détecter des cohérences dans l’activité mathématique des élèves• Erreurs/réussites• Des indices de misconceptions/leviers

d’apprentissage Un exercice diagnostique

Énoncé et questions • Choix multiple /réponses ouvertes (expression

algébrique ou un raisonnement) Une grille d’analyse des réponses

• Types de réponses anticipées• Évaluation multidimensionnelle de ces réponses 26

Page 27: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Un exercice diagnostique

27

Page 28: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic local(1)Réponse Type Codes + interprétations

x + 8 = 8x8x3 × 8x = 24+3x= 27x27x-4 = 23x23x+x=24x24x/4=6x6x+2=8x8x-x=7

Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée

V3 incorrecteL3 lettres avec règles faussesE2 = annonce de résultatJ31 pseudo-formelleT2 traduction pas-à-pas séparéeEA42 règle incorrecte d’ assemblageRègles utilisées (incorrectes) :A+B = ABA X B = (A B) XA X - X = A – 1

28

Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques

Page 29: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic local(2)Réponses Type Codes + interprétations

3 + 8 = 1111 × 3 = 3333 - 4 = 2929 + 3 = 3232/4 = 88 + 2 = 1010 - 3 = 7

Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects

V3 incorrecteL5 pas de lettresE2 = annonce de résultatJ2 justification par un exempleT2 traduction pas-à-pas séparéeEN1 écritures numériques correctes

29

Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques

Page 30: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic local (3)Réponses d’élèves Codes + interprétations

(3+8 × 3-4+3)/4+2-332/4+2-38+2-310-3

V3 incorrecteL5 pas de lettresJ2 par l’exempleT3 globale non parenthéséeEN1 : écritures numériques correctes

((5+8)×3-4+5)/4+2-5=7 ?((13)×3-4+5)/4+2-5=7 ?(39-4+5)/4+2-5=7 ?10+2-5=7 ?10-3=7 ?7=7 ?

V3 incorrecteL5 pas de lettresJ2 par l’exempleT1 globale parenthèsée, équationEN1 : écritures numériques correctes

((x + 8) × 3 - 4 + x) / 4 + 2 - x=( 3x + 24 - 4 + x)/4 + 2 - x=(4x +20) / 4 + 2 - x=x + 5 + 2 - x=7

V1 correcte, L1 nb généraliséJ1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. CorrecteRègles utilisées(A+B)C = AC+BC Règle correcteAC+BC = (A+B)C Règle correcte(A+B)/C = A/C+B/C Règle correcteAC+BC = (A+B)C Règle correcte 30

Page 31: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests

diagnostiques

Thèse de D. Prévit (2008) Travail didactique et premier prototype Pépite1

Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe

Logiciel PépiGen• Caractérisation des exercices équivalents du

point de vue diagnostique (clones)• Génération des clones• Analyse multicritère automatique des réponses

ouvertes à chacun de ces clones

31

Page 32: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

32

PépiGen

Auteur

Système auteur PépiGen

saisit les paramètr

es

Pépinière

expression

algébrique

arbre des solutions

anticipées

est chargé

produit un

clone

Modèle de Classe exercices

XM L

Banques

d’exercices

XM L

Page 33: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

33

Page 34: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

34

Grille de codage : (x + 6)* 3 - 3 * x

<Solution>  <Interprétation> Tentative de démarche algébrique mais l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation>   <Type>10.7</Type> <Code>V3,L3,T4,J3</Code>   <Expression>(x+6)*3</Expression>   <Expression>x*3+18</Expression>   <Regle>V,7</Regle>   <Expression>3*x</Expression>   <Expression>3*x+18-3*x</Expression>   <Expression>18</Expression>   <Regle>V,31</Regle>   </Solution>

(x+6)*3=3x+18-3x=18

Page 35: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

35

Pépinière Un logiciel de calcul formel qui manipule des

arbres pour : Analyse syntaxique des expressions

algébriques• Grammaire algébrique

Transformations algébriques • Règles de réécriture correctes ou incorrectes

Génération des solutions plausibles anticipées• Unification et heuristiques

Comparaison des expressions algébriques• Arbres superposables

Page 36: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Arbre des solutions anticipées

(x+6)*3-3x

-2x+18

18

3x+18-3x

x*3+6*3-3x x+6*3-3x

3x+18-3x

18x

21x-3x

R1

R3

R3

R2

R4

R3

R3

21x-3x

18x

Erreur de parenthèse

avec mémoire

Règles correctesR1 : (A+B)C AC+BC

R3 : AB+AC A(B+C)

R2: (A+B)C A+BC

R4: AB+C B(A+C)

Règles erronées

18

R3

R4

V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32

Page 37: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Plan

Les projets Pépite et Lingot Diagnostic cognitif ?

Définitions Dans Pépite

• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de

clones• Q3-Diagnostic local/global

Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

37

Page 38: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Q3 : Analyser les observables ?Comment construire le modèle des compétences d’un

élève L’élève passe un test PépiTest

Ses réponses sont mémorisées PépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse :

type de réponse et vecteur de codes (diagnostic local)

2. Agrégation des codes Bilan cognitif : caractéristiques personnelles +

stéréotype3. Formation d’un groupe pour parcours

d’apprentissage38

Page 39: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Étape 1 : Analyse des réponses Diagnostic local : PépiDiag

Compare la réponse de l’élève à une des réponses anticipées de la grille de codage

Utilise d’un logiciel de calcul formel : Pépinière• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressions

39

Page 40: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Architecture de PépiMep

40

Exploite

PépiDiag

PépiDiagLocal PépiDiagGlobal

Page 41: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

41

Interpréteur : PépiTest

Elève

XM LInterpréteur

PépiTest

Résout les

exercices

Charge le test avec

les réponses de

l’élève

est chargé

Enregistre le test avec

les réponses de l’élève

Test constitué d’exercices

XM L

Réponse de l‘élève

Page 42: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

42

Diagnostiqueur : PépiDiag

XM L

Diagnostiqueur PépiDiag

est chargé

Module

Pépinière

Tester l’équivalence de 2 arbres

d’expression

retourne vrai/faux

Enregistre les

réponses

avec le diagnosti

c local (type et codes)XM L

grille de codage

XM L

Réponse de

l’élève

est

chargé

Page 43: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Conception du diagnostic local Fondée sur les réponses anticipées et le fichier grille

de codage Réponses ouvertes

~10-15 % de réponses non diagnostiquées par le logiciel• Erreur de saisie• Réponses imprévisibles

Couteux En expertise didactique + Analyse de corpus

Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse

Complexe pour les raisonnements43

Page 44: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Évaluation du diagnostic local Dépend du type de question (ouverte/fermée) Comparaison Diagnostic machine/humain N = 360 élèves 3 experts

trouvent le travail fastidieux (7 à 10 h pour un seul exercice)

se trompent plus que le logiciel Critères

Les réponses correctes ne sont jamais diagnostiquées incorrectes par PépiDiag• Réponses en une seule expression : OK• Raisonnement : à améliorer

Réponses imprévisibles • 2/3 des réponses incorrectes non analysées par le

logiciel, ne sont pas non plus analysées par les experts

44

Page 45: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Étape 2 : Bilan cognitif Un bilan =

Un stéréotype • niveau de compétence sur les 3 composantes

- Usage de l’algèbre, calcul algébrique et traduction d’une représentation dans une autre

Des caractéristiques personnelles • taux de réussite• leviers• fragilités • liste des erreurs• liste des réussites

45

Page 46: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Étape 3 : Groupes de travail Gérer la diversité cognitive dans une classe

• Apprentissage différencié• Dynamique de l’ensemble

Groupes de stéréotypes 36 stéréotypes, 15 en pratique Regroupement des stéréotypes voisins selon la

composante sur laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur

calcul et commencent à choisir les outils adaptés au problème

- A+ : savent traduire algébriquement des situations diverses

- A- : erreurs de traduction Ex. : groupes en 2nde

46

Page 47: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Évaluation des groupements En cours 1 expérimentation passée

Points de vue Usage Le prof a fait 3 groupes A, B , C Travail par 2 : (A+, A-), (B+, B-), (C+, C-)

Pour favoriser les explications entre pairs Travail en classe, puis devoir à la maison Nécessité de définir

Des étapes (ex. introduction, entrainement) Un objectif commun à la classe

Point de vue Élève• Évolution locale importante

4 expérimentations en cours 47

Page 48: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Plan

Les projets Pépite et Lingot Diagnostic cognitif ?

Définitions Dans Pépite

• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de

clones• Q3-Diagnostic local/global

Q4-Parcours d’apprentissage différencié Différents types et formats de modèles Résultats et perspectives

48

Page 49: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Q4 : Exploitation du diagnostic Tutorat individuel

Réflexion métacognitive avec l’élève Travail dans la classe

Projet avec Sésamath Parcours d’apprentissage différencié (Pad)

• Thèse en didactique des mathématiques de Julia Pilet

- Mise au point des parcours d’apprentissage différencié

- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai

- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place

49

Page 50: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

PépiPad : Un scénario Qui ?

Marie-France (MF) enseignante de collège, membre de Sésamath, habituée de LaboMep

Contexte : MF va aborder le chapitre calcul littéral dans la

classe de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables

Prérequis MF demande à ses élèves de passer le test à la

maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad

50

Page 51: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Scénario (suite) Paramétrage : MF choisit

Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux

expressions PépiPad affiche pour chaque groupe

les objectifs secondaires recommandés, les capacités à travailler associées et les exercices qui travaillent ces capacités

Adaptation MF qui ne dispose que de 30 min sélectionne un seul

objectif secondaire/groupe PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe

- Une liste d’élèves- Une liste de ressources

Écran du prof, écran d’un élève 51

Page 52: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Cas d’utilisation de PépiPad

52

Page 53: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Modèle de connaissance Parcours

Un ensemble d’exercices pour un groupe Exemple de parcours (fichier xml)

Exercice caractérisé (exemple d’exercice indexé, fichier xml) Capacités Niveau scolaire Variables didactiques

• Objets mathématiques• Cadre et registres en jeu• Degré de guidage

Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre

53

Page 54: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Capacité Composante de la compétence

Ex. calcul algébrique Groupe de capacités

Ex. calculer, tester, factoriser Capacité

Ex. calculer l’image d’un nombre par une fonction, tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable

Exemple : capacités liées au calcul algébrique (fichier xml)

54

Page 55: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

55

PépiPad

Bilans cognitifs des élèves

Générateur de Parcours

Banque d’exercices

Règles de calcul de parcours

Pépite

construit

Utilise l'ontologie des exercices

paramètre

prof

Page 56: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Etat des lieux Fait :

Conception de l’ontologie Explicitation les objectifs principaux et secondaires Liens objectifs/capacités/étapes Indexation des ressources hétérogènes

• Exercices interactifs de Math En Poche• Exercices papier des manuels et des

didacticiennes Création automatique des séances

En cours Tests de validité (comparaison avec les parcours

humains) Filtrage des exercices Évaluer les bénéfices pour les élèves et les profs 56

Page 57: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

C6-Dissémination (2010-12) Projet PICRI financé par la région Ile-de-France

Lien recherche/association société civile Objectif

mise à disposition des enseignants sur la plateforme Sésamath• Diagnostic fiable• Parcours d’apprentissage adaptés au bilan

cognitif des élèves Questions de recherche

Comment passer d’un prototype de recherche à un logiciel fiable et robuste ?• Conception participative

Comment concevoir la différenciation ?• Gestion de la classe/personnalisation 57

Page 58: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Résultats (actuels) du projet Une méthode de diagnostic

Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel,

positionnement par rapport à la référence Typage des réponses anticipées

Des modèles exécutables de tâches diagnostiques, d’exercices, de parcours de bilan cognitif sur trois niveaux de description

Une recherche pluridisciplinaire et participative Un logiciel accessible sur une plateforme grand

public Des corpus de réponses importants

58

Page 59: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Méthode de diagnostic Trois temps1. Diagnostic local

Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes

2. Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers,

fragilités, règles fausses et correctes3. Diagnostic global collectif

Position de l’élève par rapport à une référence/au groupe

Niveau sur chaque composante Caractéristiques communes à un groupe

59

Page 60: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Modèles des tâches diagnostic (1) Un exercice

Interface

Une analyse didactique initiale : texte et tableaux Ex

Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis Ex

Modèle informatique de l’exercice 3 : fichier xml Originel Un clone

60

Page 61: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Modèles des tâches diagnostic (2) Modèle général d’une Classe d’exercice : schéma

UML schéma

Schémas XDS de grille d’analyse des réponses anticipées à une question

schéma

61

Page 62: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

62

Ontologie simplifiée : graphique

Page 63: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Perspectives Court terme(fin du financement 2012)

Fiabiliser complètement PépiDiag PépiPad opérationnel

Long terme (prochain projet) Articuler

• Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur

l’historique et les caractéristiques personnelles Des scénarios plus ludiques

63

Page 64: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

64

Résumé (1) Cycle N°1 (1995) : outil papier-crayon

modélisation des compétences Cycle N° 2 (2000) : logiciel Pépite

systématisation, réification du modèle de compétence diagnostic semi-automatique

Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel,

raisonnement algébrique) vers une géographie de la classe (stéréotypes)

Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic

• plus générique (classes d’exercices) • plus fiable (raisonnement algébrique)• pour l’élève

Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage Logiciel PépiPad

Page 65: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

65

Résumé (2) Coté recherche :

Comprendre les difficultés des élèves• Récolter des corpus

Produire des modélisations exécutables d’une expertise didactique pour l’enrichir et l’approfondir

Coté application : Faciliter l’insertion dans/ l’évolution des pratiques

enseignantes• faciliter la genèse instrumentale

Dissémination de résultats de recherche

Page 66: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Questions Diagnostic cognitif

Définition ? Comparaison avec celles de M. Labat ? De M. Sander ?

Diagnostic humain/diagnostic automatique ? Difficultés ? Évaluation de la qualité ?

66

Page 67: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic local (pour le prof)

67

Page 68: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic local (pour le chercheur)

68

Page 69: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic local pour le logiciel

69

Page 70: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic personnel global

70

Bilan Personnel de Sam EugèneSam est dans le groupe A-

Profil du groupe A- :Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

Page 71: 1 Les projets Pépite et Lingot M2-IFL, DU-TICE, 12-10-2012 Elisabeth.Delozanne@lip6.fr Équipe Mocah du LIP6 Diagnostic cognitif et EIAH De la recherche

Diagnostic collectif global