1
1
Les projets Pépite et Lingot
M2-IMFL, [email protected]
Équipe Mocah du LIP6
Diagnostic cognitif et EIAHDe la recherche aux usages
EIAH
Environnements Informatiques pour l’Apprentissage Humain
UE1 Management des connaissances pour la formation en ligne • Méthodes de modélisation des connaissances en EIAH
UE 3 Architecture des EIAH et modélisation de l’apprenant Diagnostic cognitif
2
Objectifs du coursDonner un exemple EIAH
• modèle d’apprenant et diagnostic cognitif• coopération pluridisciplinaire chercheurs/professionnels
TICE• dissémination de résultats de recherche dans socièté
Faire manipuler plusieurs types de modèles et de représentations
• didactique : texte, tableau• conceptuel : tableau, diagramme• informatique :
- en machine : structure d’un fichier xml- à l’interface : visualisation des données xml
3
Plan
Les projets Pépite et Lingot Motivation, objectifs
DémoDémarche de recherche Recherche participative et itérative Questions de recherche
Diagnostic cognitifParcours différenciés d’apprentissageDifférents types et formats de modèlesRésultats et perspectives
4
Des Pépites et des Lingots ?Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants
… trouver les granules de connaissances pour forger
… des connaissances conformes au référentiel des programmes
5Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Origines du projet (~1990)Didactique Algèbre : porte d’entrée/barrière enseignement scientifique Questionnement sur l’enseignement de l’algèbre
• Éradiquer les erreurs vs Obstacles entrée dans l’algèbre Premier outil papier crayon
• diagnostic et activités différenciées• trop lourd à mettre en œuvre hors contexte de recherche
Informatique Modélisation de l’apprenant et diagnostic cognitif Automatiser un processus de diagnostic déjà
• très structuré• validé sur le plan épistémologique, cognitif et didactique• testé sur papier : étude de corpus (600 réponses)
6Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
2
7
Le projet LingotObjectifs Instrumenter la gestion par les enseignants
• de la diversité cognitive des élèvesComment ? Concevoir et mettre en œuvre des outils pour les
enseignants • issus de la recherche• accessibles en ligne• pour mettre en œuvre un enseignement différencié• fondé sur un diagnostic fin des connaissances des élèveset pas seulement
– sur corriger des erreurs isolées– sur faciliter la tâche aux plus faibles
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
8
3 axes de recherche
1ier axe : Diagnostic (projet Pépite)
1. Développer des tâches diagnostiques (exercices)2. Analyser les réponses à des exercices3. Détecter des cohérences entre les réponses
• Obstacles/Leviers pour l’apprentissage4. Situer un élève (un groupe d’élèves) par rapport à la
compétence de référence
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
9
3 axes de rechercheDiagnostic : Pépite
Apprentissage : PépiPad Exploiter le diagnostic Parcours d’Apprentissage Différenciés adaptés au diagnostic Indexation des ressources
Instrumentation de l’activité des enseignants : PépiMep Usage des outils dans des situations de classe Mettre en ligne les outils développés
• plateforme MathEnPoche de Sésamath• plateforme WIMS
Gestion dans les classes d’un enseignement différencié
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Didactique des maths
Une équipe pluridisciplinaireInformatique
Sésamath
10
Enseignants
…
Ergonomie
SésamathAssociation (2001) de bénévoles + 6 salariésSite : http://www.sesamath.net/Manuels Papier : bons et moitié moins chers
• 18% du marché français• Financent les frais de fonctionnement
En ligne : gratuits et sources accessibles• 1 600 exercices, 1 100 animations
Plateforme d’outils libres et gratuits (Mep, LaboMep, J3P) Pour les profs de maths
• 14 643 inscrits Pour les élèves : 1/4 collégien français
• 1 million d’inscrits (sept-dec 2012)• 1,3 million connections /mois
11Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
LaboMepScenario d’utilisation
• le prof crée une séance en associant à la souris• des ressources • à un groupe d’élèves
• chaque élève • se connecte• utilise les ressources de la séance (exercices,
animations)• le prof peut consulter un bilan du travail des élèves
12Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
3
Les usages de Pépite et PépiPadDe nombreuses expérimentations de 2001 à 2012En 2012 mise en ligne sur LaboMep (plateforme de
Sésamath)• des tests diagnostiques (3°-2nde)• puis des parcours d’apprentissages
Pour 2012-2013• 540 séances de tests diagnostiques crées par des
enseignants• 4221 élèves ont passé le test• 129 séances différenciées ont été crées• 49 enseignants ont répondu à un questionnaire en ligne
de 24 questions
Démo 13Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et Lingot Motivation, objectifs
DémoDémarche de recherche Recherche participative et itérative Questions de recherche
Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
14
ScénarioNous sommes une classe de 3° dans le collège Lingot de
Terre Adélie et de LaboMepJe suis votre prof de math1. Le prof prépare la séance de test diagnostique2. Chaque élève (vous) se connecte sur LaboMep et passe le
test en répondant aux questions (N’oubliez pas de cliquer sur OK, ne revenez pas en arrière)
3. Le prof regarde les bilans et choisit un thème de travail4. PépiPad génère une séance différenciée5. Le prof la modifie (ou pas) et l’enregistre6. Chaque élève (vous) travaille sur les exercices de sa
séance (rafraichir pour voir sa séance)
15Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et Lingot Motivation, objectifs
DémoDémarche de recherche Recherche participative et itérative Questions de recherche
Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
16
Démarche de recherche itérativePartir De l’expertise de chercheures en didactique
• du laboratoire André Revuz (ex-Didirem) Des l’état des recherches en EIAH et en informatique
• LIUM, LIP6 De l’expertise des enseignants
• association Sésamath, IREM, IUFMCréer des modèles informatiques et des prototypesTester les prototypes dans les classesEn retour Enrichir l’expertise
• didactique• des enseignants• en conception d’EIAH
Être utile aux élèves et aux professeurs ?
17Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Une recherche itérative
18
(Mackay et Fayard, 1997)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
4
19
Conception participativeLa participation des enseignants aux projets de rechercheDifficile à mettre en œuvre Nécessite du temps
• Temps de la recherche• Temps de l’action
Une réflexion pour faire leur place Des prototypes pour expérimenter
Collaboration avec l’association Sésamath "Transformer
• une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances " [Muller 03]
20
Cadres conceptuels (1/2)Informatique Conception centrée utilisateur-participative (Schuller 93, Mackay
04), Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)
Ingénierie dirigée par les modèles (Favre et al. 06), Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)
EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al
00, Caroll 00)
Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04)
Analyse de corpus, de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
21
Cadres conceptuels (2/2)Didactique des mathématiques Théorie Anthropologique du Didactique (Chevallard 92),
Théorie des situations didactiques (Brousseau 88), Dialectique outils/objets (Douady 90) Jeu de cadres et registres (Duval 95),
Ingénierie didactique (Artigue 91)
Didactique de l’algèbre (Grugeon 95, 08, Chevallard 85,Chevallard et Bosch 2012, Bardini 03, Sfard 91, Drouhard 92, Kieran 07)
Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Questions de recherche1. Décrire les connaissances du domaine, d’un élève ?
Modèles de référence : didactique/enseignants/informatique2. Mettre en place des situations pour recueillir des observables ?
Modélisation des tâches diagnostiques, Banque de tests 3. Inférer les descripteurs à partir des observables ?
I. Typer et coder les réponses : diagnostic individuel local II. Détecter les cohérences : diagnostic individuel globalIII. Situer l’élève par rapport à une référence : stéréotypes/groupes
4. Exploiter le diagnostic Interfaces pour la prise de décisions didactiques (enseignants ou
machine)• Aide à la décision pour organiser des parcours
Réflexion métacognitive avec l’élève5. Comment évaluer les résultats produits ?
22Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Cycles de recherche1. Analyse didactique cognitive et épistémologique Outil de diagnostic papier (Grugeon 95)
2. Conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000)
3. Nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005)
4. Modélisation générique du diagnostic Logiciel de calcul formel : Pépinière Génération des exercices et de l’analyse
automatique des raisonnements : PépiGen (Prévit 2008)
5. Dissémination : association Sésamath Prototype/application disponible à large échelle : PépiMep (Darwesh et
al. 2010)6. Parcours d’apprentissage différenciés : PépiPad (Pilet 2011, El-Kechaï 2011)
7. Fouilles de données (Bouchet 2015)
23Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Chronologie du projet
24Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Thèse de J. Pilet
PépiPad sur LaboMep
Début du recueil de traces
2013
5
PlanLes projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ? Définitions et fondements didactiques Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
25
Diagnostic cognitif en EIAH ?Processus « Processus qui consiste à produire de façon
automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité »
(Delozanne et al. 2010)Résultat du processus Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences
26Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic cognitifAnalyse de la résolution de problème par un sujet Performance Connaissances, procédures et stratégies
• Correctes ou inadaptéesObjectifs Intervention : Évaluation
• diagnostique : Réguler les apprentissages• formative : Améliorer la performance• sommative : Certifier
Scientifique• Comprendre
- des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception
• Modéliser pour simuler, prédire, classifier
27Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Différents modèles (Cf. Mme Luengo)Approches symboliques Psychologie cognitive
• ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2013)
• Diane/Star : problèmes additifs école primaire (Hakem, Sander, Labat, 2005, Martin, Sander, Labat, Richard 2013)
• Plasturgie (Richard, Pastré, Labat et al. 2006)
Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)
• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011)
Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)
Réseaux bayésiens (Labat, Hibou 2007, Shute 2008)
28Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Evidence Centred DesignAnalyse du domaine1. Modèle du domaine2. Modèle conceptuel de l’évaluation Modèle de l’élève Modèle de diagnostic (Evidence Models) : évaluation
• des productions d’élèves par item • sur l’ensemble du test
3. Modèle des tâches4. Modèle d’assemblage (test adaptatif)5. Modèle de présentation
29
(Mislevy 03, Shute 08)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Fondements didactiques de PépiteAnalyse du domaine
30
Savoirsavant
Savoir enseigné
Cahiers d’élèves, discours
enseignantsSavoir de référence
Modèle épistémologique
Savoir à enseignerProgrammes officiels et documents
d’accompagnement
Savoir appris
Tests diagnostiques
(Transposition didactique, Bosch et Gascon 05)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
6
Des savoirs et savoir-faire implicitesÉquivalence des expressions Peu de référence
• à la dénotation• à l’organisation du contrôle des calculs
Dialectique du numérique et de l’algébrique Peu de lien avec le numérique (2 expressions renvoient ou
non les mêmes valeurs)Aspect structural et procédural Peu de référence au processus de calcul, à la reconnaissance
de la structure Expressions et consignes standardisées
Lien avec d’autres registres de représentations Peu de programmes et de schémas de calcul Un sens de traduction privilégié
31Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Expressions algébriques
32
Aspects épistémologiques
Équivalence des programmes de calcul(Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012)
Équivalence des expressions algébriques(Frege 1971,Drouhard 1992, Kieran 2007)
Dialectique du numérique et de l’algébrique(Chevallard 1985)
Aspects procédural et structural des expressions algébriques(Sfard 1991)
Interprétation des expressions algébriques dans d’autres registres de représentation(Duval 1995, Bardini 2003)
Absent
Peu Présent (Pilet 2013)
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Savoir à enseigner :
Types de tâches (extrait)
33
33
Produire AssocierTraduire
Développer
Factoriser
RéécrireCalculer
Prouver l’équivalence
Identifier la structure
Tester l’équivalence
Choisir l’expression la plus adaptée
Génération des expressions
Équivalence des expressions
Algèbre des polynômes
Absent
Peu Présent
Présent
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Hypothèses didactiquesH1 : Une explication possible des difficultés des élèves
• Les trous, les implicites• Le peu de diversité dans le type des expressions et les
problèmes traitésH2 : Les réponses des apprenants à des problèmes bien
choisis révèlent des cohérences dans leur raisonnement Q1 : Comment identifier ces cohérences ?
H3 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées d’enseignement Q2 : Comment différencier les parcours
d’apprentissage en s’appuyant sur ces cohérences ?
34Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Hypothèses informatiquesH1 : Il est possible de concevoir un logiciel pour recueillir des
traces numériques de l’activité algébrique des élèves pour détecter des cohérences
H2 : Il est possible de concevoir un logiciel qui les détecte de façon automatique (au moins partiellement)
H3 : Les logiciels produits pourront être utilisés dans les classes
H4 : La modélisation informatique de l’expertise didactique fera évoluer cette dernière
35Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ? Définitions, Fondements Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
36
7
Q de recherche (rappel)1. Quel modèle de l’élève ? Quels descripteurs ? Modèles de l’élève, Modèles de présentation Logiciel pour présenter les résultats : PépiProf
2. Comment recueillir les observables ? Modèle des tâches Logiciel pour faire passer un test aux élèves : PépiTest
3. Comment analyser les observables pour avoir les descripteurs ? Modèle de diagnostic Logiciel de diagnostic : PépiDiag
4. Comment exploiter les résultats du diagnostic ? Logiciel pour calculer des parcours d’apprentissage
différencié : PépiPad5. Comment évaluer les résultats ?
37Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Q1 : Modéliser les connaissances d’un élève
Enseignants Connaissance de référence : capacités (Programmes scolaires)
• ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable
Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques
Connaissance de référence• Organisation mathématique/didactique• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes
- trous, capacités implicites Connaissances d’un élève
• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs
• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage
38Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèle de l’élève dans Pépite3 niveaux de description
39
Diagnostic global collectif (exemple)
Stéréotype et groupe Niveau sur chaque composante
Diagnostic global individuel (sur un ensemble d’exercices)(ex)
Caractéristiques personnelles, leviers et fragilités
Par composante :Taux de réussite, indicateurs
Diagnostic local (sur un exercice) (exemple)
Type de réponse et règles appliquées Codage sur 8 dimensions
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Q2 : Recueillir des observables ?Un élève passe un test Un ensemble d’exercices conçus pour détecter des
cohérences dans l’activité mathématique des élèves• Erreurs/réussites• faiblesses/leviers d’apprentissage
Un exercice diagnostique Énoncé et questions
• Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement)
Une grille d’analyse des réponses• Types de réponses anticipées• Évaluation multidimensionnelle de ces réponses
40Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Un exercice diagnostique
41Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local(1)Réponse Type Codes + interprétationsx + 8 = 8x8x3 × 8x = 24+3x= 27x27x-4 = 23x23x+x=24x24x/4=6x6x+2=8x8x-x=7
Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée
V3 incorrecteL3 lettres avec règles faussesE2 = annonce de résultatJ31 pseudo-formelleT2 traduction pas-à-pas séparéeEA42 règle incorrecte d’ assemblageRègles utilisées (incorrectes) :A+B = ABA X B = (A B) XA X - X = A – 1
42
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
8
Diagnostic local(2)Réponses Type Codes + interprétations3 + 8 = 1111 × 3 = 3333 - 4 = 2929 + 3 = 3232/4 = 88 + 2 = 1010 - 3 = 7
Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects
V3 incorrecteL5 pas de lettresE2 = annonce de résultatJ2 justification par un exempleT2 traduction pas-à-pas séparéeEN1 écritures numériques correctes
43
Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Diagnostic local (3)Réponses d’élèves Codes + interprétations(3+8 × 3-4+3)/4+2-332/4+2-38+2-310-3
V3 incorrecteL5 pas de lettresJ2 par l’exempleT3 globale non parenthéséeEN1 : écritures numériques correctes
((5+8)×3-4+5)/4+2-5=7 ?((13)×3-4+5)/4+2-5=7 ?(39-4+5)/4+2-5=7 ?10+2-5=7 ?10-3=7 ?7=7 ?
V3 incorrecteL5 pas de lettresJ2 par l’exempleT1 globale parenthèsée, équationEN1 : écritures numériques correctes
((x + 8) × 3 - 4 + x) / 4 + 2 - x=( 3x + 24 - 4 + x)/4 + 2 - x=(4x +20) / 4 + 2 - x=x + 5 + 2 - x=7
V1 correcte, L1 nb généraliséJ1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. CorrecteRègles utilisées(A+B)C = AC+BC Règle correcteAC+BC = (A+B)C Règle correcte(A+B)/C = A/C+B/C Règle correcteAC+BC = (A+B)C Règle correcte 44
Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiquesTravail didactique (1995) et premier prototype Pépite1 (2000)
Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe
Thèse de D. Prévit (2008)
Logiciels PépiGen et Pépinière• Caractérisation des exercices équivalents du point de
vue diagnostique (clones)- Modèle des tâches diagnostiques
• Logiciel qui génère des clones• Analyse multicritère automatique des réponses
ouvertes à chacun de ces clonesTests à plusieurs niveaux (5°, 4°, 3°, 2nde)
45Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
46
PépiGen
Auteur
Système auteur PépiGen
saisit les paramètres
Pépinière
expression algébrique
arbre des solutions anticipées
est chargé
produit un clone
Modèle de Classe Exercicesdiagnostiques
XM L
Banquesd’exercices
XM L
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
47
48
Grille de codage : (x + 2)* 3 - 3 * x
<Solution><Interprétation> Tentative de démarche algébrique mais
l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation>
<Type>10.7</Type> <Code>V3,L3,T4,J3</Code> <Expression>(x+2)*3</Expression> <Expression>x*3+6</Expression> <Regle>V,7</Regle> <Expression>3*x</Expression> <Expression>3*x+6-3*x</Expression> <Expression>6</Expression> <Regle>V,31</Regle> </Solution>
(x+2)*3=3x+6-3x=6
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
9
49
PépinièreLogiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques
• Grammaire algébrique Transformations algébriques
• Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées
• Unification et heuristiques Comparaison des expressions algébriques
• Arbres superposables
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Arbre des solutions anticipées(x+2)*3-3x
-2x+6
6
3x+6-3x
x*3+2*3-3x x+2*3-3x
3x+6-3x
6x
9x-3x
R1
R3
R3
R2
R4
R3
R3
9x-3x
6x
Erreur de parenthèse
avec mémoire
Règles correctes
R1 : (A+B)C AC+BC
R3 : AB+AC A(B+C)
R2: (A+B)C A+BC
R4: AB+C B(A+C)
Règles erronées
6
R3
R4
V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32
Plan
Les projets Pépite et LingotDiagnostic cognitif ? Définitions Dans Pépite
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
51
Méthode de diagnosticTrois temps1. Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes+
commentaire2. Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités,
règles fausses et correctes3. Diagnostic global collectif Position de l’élève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe
52
Architecture de PépiMep
53
Exploite
PépiDiag
PépiDiagLocal PépiDiagGlobal
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Q3 : Analyser les observables ?Comment construire le modèle des compétences d’un élève ?L’élève passe un test PépiTest Ses réponses sont mémorisées
PépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local)
2. Agrégation des codes Bilan cognitif : caractéristiques personnelles +
stéréotype3. Formation d’un groupe pour un même parcours
d’apprentissage
54Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
10
55
Interpréteur : PépiTest
Elève
XM LInterpréteur
PépiTest
Résout les exercices
Charge le test avec les
réponses de l’élève
est chargé
Enregistre le test avec les réponses de
l’élève
Test constitué d’exercices
XM L
Réponse de l‘élève
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 1 : Analyse des réponsesDiagnostic local : PépiDiag Compare
• la réponse de l’élève • à une des réponses anticipées de la grille de codage
Utilise un logiciel de calcul formel : Pépinière• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressions
56Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
57
Diagnostiqueur : PépiDiag
XM LDiagnostiqueur PépiDiag
Module Pépinière
Tester l’équivalence de 2 arbres d’expression
retourne vrai/faux
Enregistre les
réponsesavec le
diagnostic local (type et codes)XM L
grilles de codage
XM L
Réponse de l’élève
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Conception du diagnostic localFondée sur les réponses anticipées Analyse didactique+corpus ->grille de codage
Réponses ouvertes réponses non diagnostiquées par le logiciel :~10-15 %
• Erreur de saisie• Réponses imprévisibles
Couteux En expertise didactique + Analyse de corpus
Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse
Complexe pour les raisonnements
58Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Évaluation du diagnostic localDépend du type de question (ouverte/fermée)Comparaison Diagnostic machine/humainN = 360 élèves3 experts
trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel
Critères Les réponses correctes ne sont jamais diagnostiquées incorrectes
par PépiDiag• Réponses en une seule expression : OK• Raisonnement algébrique : OK• Raisonnement en LN : certains
Réponses imprévisibles • ~10 %• 2/3 des réponses (incorrectes) non analysées par le logiciel, ne
sont pas non plus analysées par les experts
59Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 2 : Bilan cognitif
Stéréotype niveau de compétence sur les 3 composantes
• Usage de l’algèbre• Calcul algébrique • Traduction d’une représentation dans une autre
Caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites
60Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
11
Algorithme de calcul des stéréotypesÉtabli (laborieusement) à partir d’une analyse didactique du classement mené par 3 experts sur un corpus de 360
réponses au test de calibrage des seuils suite à l’implémentation de
l’algorithmeRésultat liste de caractéristique personnelles associer les questions aux caractéristiques et les
pondérer donner les règles d’agrégation des codes pour chaque
caractéristiqueAlgorithme complet et corrections
61Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Étape 3 : Groupes de travailGérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de l’ensemble Diminuer le nombre de cas
Groupes de stéréotypes 36 stéréotypes, 15 en pratique Grouper les stéréotypes voisins selon la composante sur
laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur calcul et
commencent à choisir les outils adaptés au problème- A+ : traduisent algébriquement des situations
diverses- A- : erreurs de traduction
Ex. : groupes en 2nde
Algorithme de constitution des groupes
62Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Évaluation des groupementsEn cours
• Observation en classe • groupe IREM, 5 enseignants, 191 élèves• Différentes périodes de l’année• Différents niveaux
• Questionnaire• 49 enseignants ont répondu• 42 avaient fait passer le test aux élèves
63Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Stéréotypes observés (N=191)
64
0%
10%
20%
30%
40%
50%
C- C+ B+ A+B- A-
Résultats de l’étude des usagesGlobalement cohérents
évolution des stéréotypes en cours d’année et de 3° à 2 nde Analyse statistique 4 000 réponses d’élèves (Bouchet 2015)
Questionnaires : 42 réponses Appréciation
• Pertinence des groupes/ résultats habituels des élèves
Exploitation• Utilisation des PAD sans modifier les groupes
- Tests incomplets : résultats non pertinents- Évolution des élèves après les parcours- Certains élèves scolaires n’ont pas réussi le test- Certains élèves faibles ont réussi (réponse proposées et non à formuler)- Certains ont moins bien réussi
– Difficultés informatiques ou à comprendre les énoncés 65
Oui pour tous Oui pour certains Non ?12 14 2 14
Oui sans modifier Oui en modifiant Non ?
14 8 20 0
Plan
66
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?
• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global
Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
12
Q4 : Exploitation du diagnosticTutorat individuel Réflexion métacognitive avec l’élève
Travail dans la classe Projet avec Sésamath Parcours d’apprentissage différencié (Pad)
• Thèse en didactique des mathématiques de Julia Pilet (2012)
- Mise au point des parcours différenciés d’apprentissage
- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai
- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place
67Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
PépiPad : Un scénarioQui ? Marie-France (MF) enseignante de collège, membre de
Sésamath, habituée de LaboMepContexte : MF va aborder le chapitre calcul littéral dans la classe
de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables
Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad
68Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Scénario (suite)Paramétrage : MF choisit
Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux expressions
PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler
associées et les exercices qui travaillent ces capacitésAdaptation
MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe
PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe
- Une liste d’élèves- Une liste de ressources
Écran du prof, écran d’un élève
69Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
70
PépiPad
Bilans cognitifs des élèves
Générateur de Parcours
Banque d’exercices
Parcours générés
Règles de calcul de parcours
Pépite
construit
Utilise l'ontologie des exercices
paramètre
prof
Modèle de connaissanceParcours Un ensemble d’exercices pour un groupe
• Exercices en ligne, manuels, spécifiques Lingot Exemple de parcours (fichier xml)
Exercice caractérisé (exemple d’exercice indexé, fichier xml) Capacités Niveau scolaire Variables didactiques
• Objets mathématiques• Cadre et registres en jeu• Degré de guidage
Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre
71Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
RéférentielComposantes de la compétence Ex. calcul algébrique
Groupe de capacités Ex. calculer, tester, factoriser
Capacité Ex. calculer l’image d’un nombre par une fonction,
tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable
Exemple : capacités liées au calcul algébrique (fichier xml)
72Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
13
État des lieuxFait Conception de l’ontologie Explicitation des objectifs Liens objectifs/capacités/étapes Indexation des ressources hétérogènes
• Exercices interactifs de Math En Poche• Exercices papier des manuels et des didacticiennes
Création automatique des séances différenciéesEn cours Évaluer les bénéfices pour les élèves et les profs Travail avec IREM (Institut de recherche sur
enseignement des mathématiques), ESPE Créteil
73Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Plan
74
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Modèle du domaineUne ontologie des objets manipulés par les logiciels Objets mathématiques Objets didactiques
Référentiel des capacitésDimensions et critères d’évaluation
75
Modèles des tâches diagnostic (1)Un exercice Interface
Une analyse didactique initiale : texte et tableaux Ex
Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis Ex
Modèle informatique de l’exercice 3 : fichier xml Originel Un clone
76Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèles des tâches diagnostic (2)Modèle général d’une Classe d’exercice : schéma UML
• schémaSchémas XDS de grille d’analyse des réponses anticipées à
une question schéma
77Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Modèle des parcours d’apprentissage différenciésUne ontologie de référence
• Indexation des exercices• Interface d’indexation des exercices• Fichier indexant un exercice
• Calcul de la liste des exercices en fonction• Algorithme de calcul• Fichier résultat
78Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
14
Plan
79
Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives
Résultats/Questions de recherche1. Comment décrire les connaissances d’un élève ?
Modèles : plusieurs niveaux d’interprétation2. Quelles situations mettre en place pour recueillir des observables ?
Modélisation des tâches diagnostiques, Banque de tests (5,4, 3, 2nde)3. Comment inférer les descripteurs à partir des observables ?
Typer et coder les réponses : diagnostic individuel local • Analyse multidimensionnelle automatique des réponses• Logiciel de calcul de formel
Détecter les cohérences et Situer l’élève par rapport à une référence • Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes
4. Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ? Prise de décisions didactiques (enseignants ou machine)
• Indexation de 120 exercices• Proposition de parcours adaptés
5. Comment évaluer les outils produits ? Preuve par construction Preuve par utilisation, analyse numérique des réponses (fouille de données) Analyse didactique des usages (thèse de Soraya)
80Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
LimitesÉquations (thèse qui débute)Calcul numérique (en cours)Améliorer les interfaces (saisie des expressions, interface
enseignant)Développer des exercices d’apprentissage interactifsDes exercices plus ludiques
81Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Perspectives
Moyen terme (prochain projet) Évolution des bilans des élèves Articuler
• Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur l’historique et
les caractéristiques personnelles Des scénarios plus ludiques Extension à d’autres niveaux et thèmes Suivi des élèves sur une longue période
82Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
Résultats (actuels) du projetUne méthode de diagnostic Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel,
positionnement par rapport à la référence Typage des réponses anticipées
Une méthode de mise au point des parcours d’apprentissageDes modèles exécutables de tâches diagnostiques, d’exercices, de parcours de bilan cognitif sur trois niveaux de description
Une recherche pluridisciplinaire et participativeUn logiciel accessible sur une plateforme grand publicDes corpus de réponses importants
83Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
84
Résumé : temporelCycle N°1 (1995) : outil papier-crayon
modélisation des compétencesCycle N° 2 (2000) : logiciel Pépite
systématisation, réification du modèle de compétence diagnostic semi-automatique
Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel, raisonnement
algébrique) vers une géographie de la classe (stéréotypes)
Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic
• plus générique (classes d’exercices) • plus fiable (raisonnement algébrique)• pour l’élève
Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage logiciel PépiPad plusieurs niveaux
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
15
85
Résumé : objectifs scientifiquesCoté recherche : Comprendre les difficultés des élèves
• Récolter des corpus Produire des modélisations exécutables d’une expertise
didactique pour l’enrichir et l’approfondirCoté application : Faciliter l’insertion dans/ l’évolution des pratiques
enseignantes• faciliter la genèse instrumentale
Dissémination de résultats de recherche
Démo Démarche Diagnostic Parcours Modèles RésultatsProjet
QuestionsDiagnostic cognitif Définition ? Comparaison avec celles de M. Labat ? De M. Sander ?
Diagnostic humain/diagnostic automatique ? Difficultés ? Évaluation de la qualité ?
86
Diagnostic local (pour le prof)
87
Diagnostic local (pour le chercheur)
88
Diagnostic local pour le logiciel
89
Diagnostic personnel global
90
Bilan Personnel de Sam EugèneSam est dans le groupe A-
Profil du groupe A- :Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes
16
Diagnostic collectif global
92
Ontologie simplifiée : graphique
PépiIndexation
93
PépiPad : Caractérisation du PED 3
Objectif Capacité Objet entrée Cadre ComplexitéA : Prouver l’équivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée d’une expression pour résoudre un problème, calculer astucieusement
3.53.717.1
Exclure12.3 (3°)
(fonctionOU expression littérale)et rien d’autres
algé (3°)fonc.(2°)
MP, CX
B : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre
CS
C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre
EL
94