Les projets Pépite et Lingot Plan - upmclutes.upmc.fr/delozanne/2014-2015/Lingot/Lingot-16-9...2015/09/16 · cliquer sur OK, ne revenez pas en arrière) 3. Le prof regarde les bilans

1

1

Les projets Pépite et Lingot

M2-IMFL, [email protected]

Équipe Mocah du LIP6

Diagnostic cognitif et EIAHDe la recherche aux usages

EIAH

Environnements Informatiques pour l’Apprentissage Humain

UE1 Management des connaissances pour la formation en ligne • Méthodes de modélisation des connaissances en EIAH

UE 3 Architecture des EIAH et modélisation de l’apprenant Diagnostic cognitif

2

Objectifs du coursDonner un exemple EIAH

• modèle d’apprenant et diagnostic cognitif• coopération pluridisciplinaire chercheurs/professionnels

TICE• dissémination de résultats de recherche dans socièté

Faire manipuler plusieurs types de modèles et de représentations

• didactique : texte, tableau• conceptuel : tableau, diagramme• informatique :

- en machine : structure d’un fichier xml- à l’interface : visualisation des données xml

3

Plan

Les projets Pépite et Lingot Motivation, objectifs

DémoDémarche de recherche Recherche participative et itérative Questions de recherche

Diagnostic cognitifParcours différenciés d’apprentissageDifférents types et formats de modèlesRésultats et perspectives

4

Des Pépites et des Lingots ?Dans la boue des productions des élèves… x + 8 = 8x Il ne faut pas additionner les puissants

… trouver les granules de connaissances pour forger

… des connaissances conformes au référentiel des programmes

5Démo Démarche Diagnostic Parcours Modèles RésultatsProjet

Origines du projet (~1990)Didactique Algèbre : porte d’entrée/barrière enseignement scientifique Questionnement sur l’enseignement de l’algèbre

• Éradiquer les erreurs vs Obstacles entrée dans l’algèbre Premier outil papier crayon

• diagnostic et activités différenciées• trop lourd à mettre en œuvre hors contexte de recherche

Informatique Modélisation de l’apprenant et diagnostic cognitif Automatiser un processus de diagnostic déjà

• très structuré• validé sur le plan épistémologique, cognitif et didactique• testé sur papier : étude de corpus (600 réponses)


2

7

Le projet LingotObjectifs Instrumenter la gestion par les enseignants

• de la diversité cognitive des élèvesComment ? Concevoir et mettre en œuvre des outils pour les

enseignants • issus de la recherche• accessibles en ligne• pour mettre en œuvre un enseignement différencié• fondé sur un diagnostic fin des connaissances des élèveset pas seulement

– sur corriger des erreurs isolées– sur faciliter la tâche aux plus faibles

Démo Démarche Diagnostic Parcours Modèles RésultatsProjet

8

3 axes de recherche

1ier axe : Diagnostic (projet Pépite)

1. Développer des tâches diagnostiques (exercices)2. Analyser les réponses à des exercices3. Détecter des cohérences entre les réponses

• Obstacles/Leviers pour l’apprentissage4. Situer un élève (un groupe d’élèves) par rapport à la

compétence de référence


9

3 axes de rechercheDiagnostic : Pépite

Apprentissage : PépiPad Exploiter le diagnostic Parcours d’Apprentissage Différenciés adaptés au diagnostic Indexation des ressources

Instrumentation de l’activité des enseignants : PépiMep Usage des outils dans des situations de classe Mettre en ligne les outils développés

• plateforme MathEnPoche de Sésamath• plateforme WIMS

Gestion dans les classes d’un enseignement différencié


Didactique des maths

Une équipe pluridisciplinaireInformatique

Sésamath

10

Enseignants

…

Ergonomie

SésamathAssociation (2001) de bénévoles + 6 salariésSite : http://www.sesamath.net/Manuels Papier : bons et moitié moins chers

• 18% du marché français• Financent les frais de fonctionnement

En ligne : gratuits et sources accessibles• 1 600 exercices, 1 100 animations

Plateforme d’outils libres et gratuits (Mep, LaboMep, J3P) Pour les profs de maths

• 14 643 inscrits Pour les élèves : 1/4 collégien français

• 1 million d’inscrits (sept-dec 2012)• 1,3 million connections /mois


LaboMepScenario d’utilisation

• le prof crée une séance en associant à la souris• des ressources • à un groupe d’élèves

• chaque élève • se connecte• utilise les ressources de la séance (exercices,

animations)• le prof peut consulter un bilan du travail des élèves


3

Les usages de Pépite et PépiPadDe nombreuses expérimentations de 2001 à 2012En 2012 mise en ligne sur LaboMep (plateforme de

Sésamath)• des tests diagnostiques (3°-2nde)• puis des parcours d’apprentissages

Pour 2012-2013• 540 séances de tests diagnostiques crées par des

enseignants• 4221 élèves ont passé le test• 129 séances différenciées ont été crées• 49 enseignants ont répondu à un questionnaire en ligne

de 24 questions

Démo 13Démo Démarche Diagnostic Parcours Modèles RésultatsProjet

Plan



Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives

14

ScénarioNous sommes une classe de 3° dans le collège Lingot de

Terre Adélie et de LaboMepJe suis votre prof de math1. Le prof prépare la séance de test diagnostique2. Chaque élève (vous) se connecte sur LaboMep et passe le

test en répondant aux questions (N’oubliez pas de cliquer sur OK, ne revenez pas en arrière)

3. Le prof regarde les bilans et choisit un thème de travail4. PépiPad génère une séance différenciée5. Le prof la modifie (ou pas) et l’enregistre6. Chaque élève (vous) travaille sur les exercices de sa

séance (rafraichir pour voir sa séance)


Plan



Diagnostic cognitifParcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives

16

Démarche de recherche itérativePartir De l’expertise de chercheures en didactique

• du laboratoire André Revuz (ex-Didirem) Des l’état des recherches en EIAH et en informatique

• LIUM, LIP6 De l’expertise des enseignants

• association Sésamath, IREM, IUFMCréer des modèles informatiques et des prototypesTester les prototypes dans les classesEn retour Enrichir l’expertise

• didactique• des enseignants• en conception d’EIAH

Être utile aux élèves et aux professeurs ?


Une recherche itérative

18

(Mackay et Fayard, 1997)


4

19

Conception participativeLa participation des enseignants aux projets de rechercheDifficile à mettre en œuvre Nécessite du temps

• Temps de la recherche• Temps de l’action

Une réflexion pour faire leur place Des prototypes pour expérimenter

Collaboration avec l’association Sésamath "Transformer

• une symétrie d'ignorance • en symétrie de participation • et en symétrie de connaissances " [Muller 03]

20

Cadres conceptuels (1/2)Informatique Conception centrée utilisateur-participative (Schuller 93, Mackay

04), Modélisation et prototypage (Beaudoin-Lafon & Mackay 2003)

Ingénierie dirigée par les modèles (Favre et al. 06), Ingénierie ontologique (Mélis et al. 2008 , Desmoulins 2010)

EIAH Conception centrée sur les usages (Bruillard et Vivet 94, Bruillard et al

00, Caroll 00)

Évaluation et diagnostic cognitif (Koedinger08, VanLehn05, Shute08, Sander09, Nicaud04)

Analyse de corpus, de traces (Dimitracopoulos09, Choquet07, Marty&Mille09)


21

Cadres conceptuels (2/2)Didactique des mathématiques Théorie Anthropologique du Didactique (Chevallard 92),

Théorie des situations didactiques (Brousseau 88), Dialectique outils/objets (Douady 90) Jeu de cadres et registres (Duval 95),

Ingénierie didactique (Artigue 91)

Didactique de l’algèbre (Grugeon 95, 08, Chevallard 85,Chevallard et Bosch 2012, Bardini 03, Sfard 91, Drouhard 92, Kieran 07)

Ergonomie Activité instrumentée (Rabardel 95, Rogalski 03)


Questions de recherche1. Décrire les connaissances du domaine, d’un élève ?

Modèles de référence : didactique/enseignants/informatique2. Mettre en place des situations pour recueillir des observables ?

Modélisation des tâches diagnostiques, Banque de tests 3. Inférer les descripteurs à partir des observables ?

I. Typer et coder les réponses : diagnostic individuel local II. Détecter les cohérences : diagnostic individuel globalIII. Situer l’élève par rapport à une référence : stéréotypes/groupes

4. Exploiter le diagnostic Interfaces pour la prise de décisions didactiques (enseignants ou

machine)• Aide à la décision pour organiser des parcours

Réflexion métacognitive avec l’élève5. Comment évaluer les résultats produits ?


Cycles de recherche1. Analyse didactique cognitive et épistémologique Outil de diagnostic papier (Grugeon 95)

2. Conception centrée-utilisateur pour automatiser (partiellement) le diagnostic Prototype preuve de concept : Pépite (Jean 2000)

3. Nouvelle modélisation de l’élève 3 niveaux : PépiStéréo (Vincent et al. 2005)

4. Modélisation générique du diagnostic Logiciel de calcul formel : Pépinière Génération des exercices et de l’analyse

automatique des raisonnements : PépiGen (Prévit 2008)

5. Dissémination : association Sésamath Prototype/application disponible à large échelle : PépiMep (Darwesh et

al. 2010)6. Parcours d’apprentissage différenciés : PépiPad (Pilet 2011, El-Kechaï 2011)

7. Fouilles de données (Bouchet 2015)


Chronologie du projet


Thèse de J. Pilet

PépiPad sur LaboMep

Début du recueil de traces

2013

5

PlanLes projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ? Définitions et fondements didactiques Dans Pépite

• Q1-Modèle de l’élève• Q2-Exercices de diagnostic et génération de clones• Q3-Diagnostic local/global

Q4-Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives

25

Diagnostic cognitif en EIAH ?Processus « Processus qui consiste à produire de façon

automatique une description des connaissances ou des savoir-faire qu’un système a cru déceler chez un élève en analysant les traces de son activité »

(Delozanne et al. 2010)Résultat du processus Diagnostic cognitif Modèle de l’élève Profil cognitif Bilan des connaissances et des compétences


Diagnostic cognitifAnalyse de la résolution de problème par un sujet Performance Connaissances, procédures et stratégies

• Correctes ou inadaptéesObjectifs Intervention : Évaluation

• diagnostique : Réguler les apprentissages• formative : Améliorer la performance• sommative : Certifier

Scientifique• Comprendre

- des processus de résolution de problèmes, d’apprentissage, d’enseignement, de conception

• Modéliser pour simuler, prédire, classifier


Différents modèles (Cf. Mme Luengo)Approches symboliques Psychologie cognitive

• ACT : geometry tutor, Algebra tutor (équipe de Pittsburg 1983 … 2013)

• Diane/Star : problèmes additifs école primaire (Hakem, Sander, Labat, 2005, Martin, Sander, Labat, Richard 2013)

• Plasturgie (Richard, Pastré, Labat et al. 2006)

Didactiques des disciplines• Balacheff (1995), Stacey (2003) , Luengo (2010)

• Lingot, Pépite (Grugeon et al. 1995, Delozanne et al. 2010, El-Kechaï et al. 2011)

Approches numériques IRT (Shute 2008, Desmarais 2005, Gutman et al. 2009)

Réseaux bayésiens (Labat, Hibou 2007, Shute 2008)


Evidence Centred DesignAnalyse du domaine1. Modèle du domaine2. Modèle conceptuel de l’évaluation Modèle de l’élève Modèle de diagnostic (Evidence Models) : évaluation

• des productions d’élèves par item • sur l’ensemble du test

3. Modèle des tâches4. Modèle d’assemblage (test adaptatif)5. Modèle de présentation

29

(Mislevy 03, Shute 08)


Fondements didactiques de PépiteAnalyse du domaine

30

Savoirsavant

Savoir enseigné

Cahiers d’élèves, discours

enseignantsSavoir de référence

Modèle épistémologique

Savoir à enseignerProgrammes officiels et documents

d’accompagnement

Savoir appris

Tests diagnostiques

(Transposition didactique, Bosch et Gascon 05)


6

Des savoirs et savoir-faire implicitesÉquivalence des expressions Peu de référence

• à la dénotation• à l’organisation du contrôle des calculs

Dialectique du numérique et de l’algébrique Peu de lien avec le numérique (2 expressions renvoient ou

non les mêmes valeurs)Aspect structural et procédural Peu de référence au processus de calcul, à la reconnaissance

de la structure Expressions et consignes standardisées

Lien avec d’autres registres de représentations Peu de programmes et de schémas de calcul Un sens de traduction privilégié


Expressions algébriques

32

Aspects épistémologiques

Équivalence des programmes de calcul(Ruiz-Munzon 2010, 2012, Chevallard & Bosch, 2012)

Équivalence des expressions algébriques(Frege 1971,Drouhard 1992, Kieran 2007)

Dialectique du numérique et de l’algébrique(Chevallard 1985)

Aspects procédural et structural des expressions algébriques(Sfard 1991)

Interprétation des expressions algébriques dans d’autres registres de représentation(Duval 1995, Bardini 2003)

Absent

Peu Présent (Pilet 2013)


Savoir à enseigner :

Types de tâches (extrait)

33

33

Produire AssocierTraduire

Développer

Factoriser

RéécrireCalculer

Prouver l’équivalence

Identifier la structure

Tester l’équivalence

Choisir l’expression la plus adaptée

Génération des expressions

Équivalence des expressions

Algèbre des polynômes

Absent

Peu Présent

Présent


Hypothèses didactiquesH1 : Une explication possible des difficultés des élèves

• Les trous, les implicites• Le peu de diversité dans le type des expressions et les

problèmes traitésH2 : Les réponses des apprenants à des problèmes bien

choisis révèlent des cohérences dans leur raisonnement Q1 : Comment identifier ces cohérences ?

H3 : Détecter ces cohérences permet aux enseignants de définir des stratégies différenciées d’enseignement Q2 : Comment différencier les parcours

d’apprentissage en s’appuyant sur ces cohérences ?


Hypothèses informatiquesH1 : Il est possible de concevoir un logiciel pour recueillir des

traces numériques de l’activité algébrique des élèves pour détecter des cohérences

H2 : Il est possible de concevoir un logiciel qui les détecte de façon automatique (au moins partiellement)

H3 : Les logiciels produits pourront être utilisés dans les classes

H4 : La modélisation informatique de l’expertise didactique fera évoluer cette dernière


Plan

Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ? Définitions, Fondements Dans Pépite



36

7

Q de recherche (rappel)1. Quel modèle de l’élève ? Quels descripteurs ? Modèles de l’élève, Modèles de présentation Logiciel pour présenter les résultats : PépiProf

2. Comment recueillir les observables ? Modèle des tâches Logiciel pour faire passer un test aux élèves : PépiTest

3. Comment analyser les observables pour avoir les descripteurs ? Modèle de diagnostic Logiciel de diagnostic : PépiDiag

4. Comment exploiter les résultats du diagnostic ? Logiciel pour calculer des parcours d’apprentissage

différencié : PépiPad5. Comment évaluer les résultats ?


Q1 : Modéliser les connaissances d’un élève

Enseignants Connaissance de référence : capacités (Programmes scolaires)

• ex. : traduire une expression algébrique comme aire d’une figure, factoriser une expression littérale en appliquant une identité remarquable

Connaissances d’un élève : Réussite/Erreurs classiques de calcul Recherche en didactique des mathématiques

Connaissance de référence• Organisation mathématique/didactique• Composantes de la compétence algébrique• Des problèmes variés pour couvrir l’ensemble des composantes

- trous, capacités implicites Connaissances d’un élève

• Cohérences dans l’activité mathématique des élèves- Pas seulement des erreurs

• Rupture entre pensée algébrique et arithmétique• Leviers et obstacles pour l’apprentissage


Modèle de l’élève dans Pépite3 niveaux de description

39

Diagnostic global collectif (exemple)

Stéréotype et groupe Niveau sur chaque composante

Diagnostic global individuel (sur un ensemble d’exercices)(ex)

Caractéristiques personnelles, leviers et fragilités

Par composante :Taux de réussite, indicateurs

Diagnostic local (sur un exercice) (exemple)

Type de réponse et règles appliquées Codage sur 8 dimensions


Q2 : Recueillir des observables ?Un élève passe un test Un ensemble d’exercices conçus pour détecter des

cohérences dans l’activité mathématique des élèves• Erreurs/réussites• faiblesses/leviers d’apprentissage

Un exercice diagnostique Énoncé et questions

• Choix multiple /réponses ouvertes (expression algébrique ou un raisonnement)

Une grille d’analyse des réponses• Types de réponses anticipées• Évaluation multidimensionnelle de ces réponses


Un exercice diagnostique


Diagnostic local(1)Réponse Type Codes + interprétationsx + 8 = 8x8x3 × 8x = 24+3x= 27x27x-4 = 23x23x+x=24x24x/4=6x6x+2=8x8x-x=7

Type 7.3 Démarche de preuve algébrique : l’énoncé est traduit par des calculs pas-à-pas séparés et une erreur de calcul avec assemblage conduit à un résultat faux ou une égalité non justifiée

V3 incorrecteL3 lettres avec règles faussesE2 = annonce de résultatJ31 pseudo-formelleT2 traduction pas-à-pas séparéeEA42 règle incorrecte d’ assemblageRègles utilisées (incorrectes) :A+B = ABA X B = (A B) XA X - X = A – 1

42

Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques


8

Diagnostic local(2)Réponses Type Codes + interprétations3 + 8 = 1111 × 3 = 3333 - 4 = 2929 + 3 = 3232/4 = 88 + 2 = 1010 - 3 = 7

Type 12.3 Preuve par un exemple : l’énoncé est traduit par des calculs pas à pas corrects

V3 incorrecteL5 pas de lettresE2 = annonce de résultatJ2 justification par un exempleT2 traduction pas-à-pas séparéeEN1 écritures numériques correctes

43

Dimensions d’évaluationValiditéUsage des LettresSigne d’ ÉgalitéJustificationTraductionÉcritures NumériquesÉcritures Algébriques


Diagnostic local (3)Réponses d’élèves Codes + interprétations(3+8 × 3-4+3)/4+2-332/4+2-38+2-310-3

V3 incorrecteL5 pas de lettresJ2 par l’exempleT3 globale non parenthéséeEN1 : écritures numériques correctes

((5+8)×3-4+5)/4+2-5=7 ?((13)×3-4+5)/4+2-5=7 ?(39-4+5)/4+2-5=7 ?10+2-5=7 ?10-3=7 ?7=7 ?

V3 incorrecteL5 pas de lettresJ2 par l’exempleT1 globale parenthèsée, équationEN1 : écritures numériques correctes

((x + 8) × 3 - 4 + x) / 4 + 2 - x=( 3x + 24 - 4 + x)/4 + 2 - x=(4x +20) / 4 + 2 - x=x + 5 + 2 - x=7

V1 correcte, L1 nb généraliséJ1 preuve algébrique, T1 globale, parenthésée, EA1 : écriture alg. CorrecteRègles utilisées(A+B)C = AC+BC Règle correcteAC+BC = (A+B)C Règle correcte(A+B)/C = A/C+B/C Règle correcteAC+BC = (A+B)C Règle correcte 44

Q2(suite) : Recueillir des observables Définir une banque d’exercices et de tests diagnostiquesTravail didactique (1995) et premier prototype Pépite1 (2000)

Ensemble figé d’exercices figés Utilisable une seule fois à un seul niveau de classe

Thèse de D. Prévit (2008)

Logiciels PépiGen et Pépinière• Caractérisation des exercices équivalents du point de

vue diagnostique (clones)- Modèle des tâches diagnostiques

• Logiciel qui génère des clones• Analyse multicritère automatique des réponses

ouvertes à chacun de ces clonesTests à plusieurs niveaux (5°, 4°, 3°, 2nde)


46

PépiGen

Auteur

Système auteur PépiGen

saisit les paramètres

Pépinière

expression algébrique

arbre des solutions anticipées

est chargé

produit un clone

Modèle de Classe Exercicesdiagnostiques

XM L

Banquesd’exercices

XM L


47

48

Grille de codage : (x + 2)* 3 - 3 * x

<Solution><Interprétation> Tentative de démarche algébrique mais

l’énoncé est traduit par une suite de calculs pas-à-pas enchaînés corrects</Interprétation>

<Type>10.7</Type> <Code>V3,L3,T4,J3</Code> <Expression>(x+2)*3</Expression> <Expression>x*3+6</Expression> <Regle>V,7</Regle> <Expression>3*x</Expression> <Expression>3*x+6-3*x</Expression> <Expression>6</Expression> <Regle>V,31</Regle> </Solution>

(x+2)*3=3x+6-3x=6


9

49

PépinièreLogiciel de calcul formel qui manipule des arbres pour : Analyse syntaxique des expressions algébriques

• Grammaire algébrique Transformations algébriques

• Règles de réécriture correctes ou incorrectes Génération des solutions plausibles anticipées

• Unification et heuristiques Comparaison des expressions algébriques

• Arbres superposables


Arbre des solutions anticipées(x+2)*3-3x

-2x+6

6

3x+6-3x

x*3+2*3-3x x+2*3-3x

3x+6-3x

6x

9x-3x

R1

R3

R3

R2

R4

R3

R3

9x-3x

6x

Erreur de parenthèse

avec mémoire

Règles correctes

R1 : (A+B)C AC+BC

R3 : AB+AC A(B+C)

R2: (A+B)C A+BC

R4: AB+C B(A+C)

Règles erronées

6

R3

R4

V1,EA1 V3,EA42 V3,EA31 V3,EA3142 V3,EA32

Plan

Les projets Pépite et LingotDiagnostic cognitif ? Définitions Dans Pépite



51

Méthode de diagnosticTrois temps1. Diagnostic local Analyse de la réponse à une question Types de réponses anticipées + vecteur de codes+

commentaire2. Diagnostic global individuel Cohérences entre les réponses Par composante : taux de réussite + leviers, fragilités,

règles fausses et correctes3. Diagnostic global collectif Position de l’élève par rapport à une référence/au groupe Niveau sur chaque composante Caractéristiques communes à un groupe

52

Architecture de PépiMep

53

Exploite

PépiDiag

PépiDiagLocal PépiDiagGlobal


Q3 : Analyser les observables ?Comment construire le modèle des compétences d’un élève ?L’élève passe un test PépiTest Ses réponses sont mémorisées

PépiDiag construit le diagnostic en 3 étapes1. Analyse multidimensionnelle de chaque réponse : type de réponse et vecteur de codes (diagnostic local)

2. Agrégation des codes Bilan cognitif : caractéristiques personnelles +

stéréotype3. Formation d’un groupe pour un même parcours

d’apprentissage


10

55

Interpréteur : PépiTest

Elève

XM LInterpréteur

PépiTest

Résout les exercices

Charge le test avec les

réponses de l’élève

est chargé

Enregistre le test avec les réponses de

l’élève

Test constitué d’exercices

XM L

Réponse de l‘élève


Étape 1 : Analyse des réponsesDiagnostic local : PépiDiag Compare

• la réponse de l’élève • à une des réponses anticipées de la grille de codage

Utilise un logiciel de calcul formel : Pépinière• Traite les problèmes de commutativité• Détecte les règles (correctes/incorrectes)• Teste l’équivalence des expressions


57

Diagnostiqueur : PépiDiag

XM LDiagnostiqueur PépiDiag

Module Pépinière

Tester l’équivalence de 2 arbres d’expression

retourne vrai/faux

Enregistre les

réponsesavec le

diagnostic local (type et codes)XM L

grilles de codage

XM L

Réponse de l’élève


Conception du diagnostic localFondée sur les réponses anticipées Analyse didactique+corpus ->grille de codage

Réponses ouvertes réponses non diagnostiquées par le logiciel :~10-15 %

• Erreur de saisie• Réponses imprévisibles

Couteux En expertise didactique + Analyse de corpus

Efficace pour les réponses avec une seule expression algébrique Ajout facile d’un type de réponse

Complexe pour les raisonnements


Évaluation du diagnostic localDépend du type de question (ouverte/fermée)Comparaison Diagnostic machine/humainN = 360 élèves3 experts

trouvent le travail fastidieux (7 à 10 h pour un seul exercice) se trompent plus que le logiciel

Critères Les réponses correctes ne sont jamais diagnostiquées incorrectes

par PépiDiag• Réponses en une seule expression : OK• Raisonnement algébrique : OK• Raisonnement en LN : certains

Réponses imprévisibles • ~10 %• 2/3 des réponses (incorrectes) non analysées par le logiciel, ne

sont pas non plus analysées par les experts


Étape 2 : Bilan cognitif

Stéréotype niveau de compétence sur les 3 composantes

• Usage de l’algèbre• Calcul algébrique • Traduction d’une représentation dans une autre

Caractéristiques personnelles taux de réussite leviers fragilités liste des erreurs liste des réussites


11

Algorithme de calcul des stéréotypesÉtabli (laborieusement) à partir d’une analyse didactique du classement mené par 3 experts sur un corpus de 360

réponses au test de calibrage des seuils suite à l’implémentation de

l’algorithmeRésultat liste de caractéristique personnelles associer les questions aux caractéristiques et les

pondérer donner les règles d’agrégation des codes pour chaque

caractéristiqueAlgorithme complet et corrections


Étape 3 : Groupes de travailGérer la diversité cognitive dans une classe Apprentissage différencié Dynamique de l’ensemble Diminuer le nombre de cas

Groupes de stéréotypes 36 stéréotypes, 15 en pratique Grouper les stéréotypes voisins selon la composante sur

laquelle l’enseignant veut travailler• Ex. Groupe A (élèves en CA1) contrôlent leur calcul et

commencent à choisir les outils adaptés au problème- A+ : traduisent algébriquement des situations

diverses- A- : erreurs de traduction

Ex. : groupes en 2nde

Algorithme de constitution des groupes


Évaluation des groupementsEn cours

• Observation en classe • groupe IREM, 5 enseignants, 191 élèves• Différentes périodes de l’année• Différents niveaux

• Questionnaire• 49 enseignants ont répondu• 42 avaient fait passer le test aux élèves


Stéréotypes observés (N=191)

64

0%

10%

20%

30%

40%

50%

C- C+ B+ A+B- A-

Résultats de l’étude des usagesGlobalement cohérents

évolution des stéréotypes en cours d’année et de 3° à 2 nde Analyse statistique 4 000 réponses d’élèves (Bouchet 2015)

Questionnaires : 42 réponses Appréciation

• Pertinence des groupes/ résultats habituels des élèves

Exploitation• Utilisation des PAD sans modifier les groupes

- Tests incomplets : résultats non pertinents- Évolution des élèves après les parcours- Certains élèves scolaires n’ont pas réussi le test- Certains élèves faibles ont réussi (réponse proposées et non à formuler)- Certains ont moins bien réussi

– Difficultés informatiques ou à comprendre les énoncés 65

Oui pour tous Oui pour certains Non ?12 14 2 14

Oui sans modifier Oui en modifiant Non ?

14 8 20 0

Plan

66

Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?



12

Q4 : Exploitation du diagnosticTutorat individuel Réflexion métacognitive avec l’élève

Travail dans la classe Projet avec Sésamath Parcours d’apprentissage différencié (Pad)

• Thèse en didactique des mathématiques de Julia Pilet (2012)

- Mise au point des parcours différenciés d’apprentissage

- Expérimentations en classe• Post-doc en informatique : Naima El-Kechai

- Modèle de connaissances- Logiciel PépiPad : aide à la mise en place


PépiPad : Un scénarioQui ? Marie-France (MF) enseignante de collège, membre de

Sésamath, habituée de LaboMepContexte : MF va aborder le chapitre calcul littéral dans la classe

de 3eme A. Elle prépare des séances différenciées pour homogénéiser la classe avant d’introduire les identités remarquables

Prérequis MF demande à ses élèves de passer le test à la maison Sur LaboMep, Pépite lui propose 6 groupes MF lance PepiPad


Scénario (suite)Paramétrage : MF choisit

Le thème : Identités remarquables L’étape : Prendre un bon départ L’objectif principal : Donner du sens aux lettres et aux expressions

PépiPad affiche pour chaque groupe les objectifs secondaires recommandés, les capacités à travailler

associées et les exercices qui travaillent ces capacitésAdaptation

MF qui ne dispose que de 30 min sélectionne un seul objectif secondaire/groupe

PépiPad met à jour les capacités et exercices associés MF valide PépiPad construit des séances pour chaque groupe

- Une liste d’élèves- Une liste de ressources

Écran du prof, écran d’un élève


70

PépiPad

Bilans cognitifs des élèves

Générateur de Parcours

Banque d’exercices

Parcours générés

Règles de calcul de parcours

Pépite

construit

Utilise l'ontologie des exercices

paramètre

prof

Modèle de connaissanceParcours Un ensemble d’exercices pour un groupe

• Exercices en ligne, manuels, spécifiques Lingot Exemple de parcours (fichier xml)

Exercice caractérisé (exemple d’exercice indexé, fichier xml) Capacités Niveau scolaire Variables didactiques

• Objets mathématiques• Cadre et registres en jeu• Degré de guidage

Identifiant Origine (exercice MeP, ouvrage Sesamath, Lingot) Titre


RéférentielComposantes de la compétence Ex. calcul algébrique

Groupe de capacités Ex. calculer, tester, factoriser

Capacité Ex. calculer l’image d’un nombre par une fonction,

tester si une égalité est vraie, factoriser une expression littérale en utilisant une identité remarquable

Exemple : capacités liées au calcul algébrique (fichier xml)


13

État des lieuxFait Conception de l’ontologie Explicitation des objectifs Liens objectifs/capacités/étapes Indexation des ressources hétérogènes

• Exercices interactifs de Math En Poche• Exercices papier des manuels et des didacticiennes

Création automatique des séances différenciéesEn cours Évaluer les bénéfices pour les élèves et les profs Travail avec IREM (Institut de recherche sur

enseignement des mathématiques), ESPE Créteil


Plan

74

Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives

Modèle du domaineUne ontologie des objets manipulés par les logiciels Objets mathématiques Objets didactiques

Référentiel des capacitésDimensions et critères d’évaluation

75

Modèles des tâches diagnostic (1)Un exercice Interface

Une analyse didactique initiale : texte et tableaux Ex

Modèle conceptuel de l’exercice 3 : texte et tableaux plus précis Ex

Modèle informatique de l’exercice 3 : fichier xml Originel Un clone


Modèles des tâches diagnostic (2)Modèle général d’une Classe d’exercice : schéma UML

• schémaSchémas XDS de grille d’analyse des réponses anticipées à

une question schéma


Modèle des parcours d’apprentissage différenciésUne ontologie de référence

• Indexation des exercices• Interface d’indexation des exercices• Fichier indexant un exercice

• Calcul de la liste des exercices en fonction• Algorithme de calcul• Fichier résultat


14

Plan

79

Les projets Pépite et LingotDémoDémarche de rechercheDiagnostic cognitif ?Parcours d’apprentissage différenciéDifférents types et formats de modèlesRésultats et perspectives

Résultats/Questions de recherche1. Comment décrire les connaissances d’un élève ?

Modèles : plusieurs niveaux d’interprétation2. Quelles situations mettre en place pour recueillir des observables ?

Modélisation des tâches diagnostiques, Banque de tests (5,4, 3, 2nde)3. Comment inférer les descripteurs à partir des observables ?

Typer et coder les réponses : diagnostic individuel local • Analyse multidimensionnelle automatique des réponses• Logiciel de calcul de formel

Détecter les cohérences et Situer l’élève par rapport à une référence • Algorithmes pour calculer les leviers et les fragilités, stéréotypes/groupes

4. Comment exploiter le diagnostic en prenant des décisions à partir des descripteurs ? Prise de décisions didactiques (enseignants ou machine)

• Indexation de 120 exercices• Proposition de parcours adaptés

5. Comment évaluer les outils produits ? Preuve par construction Preuve par utilisation, analyse numérique des réponses (fouille de données) Analyse didactique des usages (thèse de Soraya)


LimitesÉquations (thèse qui débute)Calcul numérique (en cours)Améliorer les interfaces (saisie des expressions, interface

enseignant)Développer des exercices d’apprentissage interactifsDes exercices plus ludiques


Perspectives

Moyen terme (prochain projet) Évolution des bilans des élèves Articuler

• Les parcours fondés sur les stéréotypes• Avec des aides interactives fondées sur l’historique et

les caractéristiques personnelles Des scénarios plus ludiques Extension à d’autres niveaux et thèmes Suivi des élèves sur une longue période


Résultats (actuels) du projetUne méthode de diagnostic Fondée sur une analyse didactique 3 étapes : analyse des réponses, bilan personnel,

positionnement par rapport à la référence Typage des réponses anticipées

Une méthode de mise au point des parcours d’apprentissageDes modèles exécutables de tâches diagnostiques, d’exercices, de parcours de bilan cognitif sur trois niveaux de description

Une recherche pluridisciplinaire et participativeUn logiciel accessible sur une plateforme grand publicDes corpus de réponses importants


84

Résumé : temporelCycle N°1 (1995) : outil papier-crayon

modélisation des compétencesCycle N° 2 (2000) : logiciel Pépite

systématisation, réification du modèle de compétence diagnostic semi-automatique

Cycle N°3 (2005) : exploitation du diagnostic expérimentations vers un diagnostic automatique (langage naturel, raisonnement

algébrique) vers une géographie de la classe (stéréotypes)

Cycle N° 4 (2008) : PépiGen et Pépinière diagnostic

• plus générique (classes d’exercices) • plus fiable (raisonnement algébrique)• pour l’élève

Cycle N° 5 (2012) dissémination parcours différenciés d’apprentissage logiciel PépiPad plusieurs niveaux


15

85

Résumé : objectifs scientifiquesCoté recherche : Comprendre les difficultés des élèves

• Récolter des corpus Produire des modélisations exécutables d’une expertise

didactique pour l’enrichir et l’approfondirCoté application : Faciliter l’insertion dans/ l’évolution des pratiques

enseignantes• faciliter la genèse instrumentale

Dissémination de résultats de recherche


QuestionsDiagnostic cognitif Définition ? Comparaison avec celles de M. Labat ? De M. Sander ?

Diagnostic humain/diagnostic automatique ? Difficultés ? Évaluation de la qualité ?

86

Diagnostic local (pour le prof)

87

Diagnostic local (pour le chercheur)

88

Diagnostic local pour le logiciel

89

Diagnostic personnel global

90

Bilan Personnel de Sam EugèneSam est dans le groupe A-

Profil du groupe A- :Les élèves donnent du sens au calcul algébrique et commencent à développer une pratique contrôlée. Ils utilisent peu l’algèbre pour résoudre des problèmes

16

Diagnostic collectif global

92

Ontologie simplifiée : graphique

PépiIndexation

93

PépiPad : Caractérisation du PED 3

Objectif Capacité Objet entrée Cadre ComplexitéA : Prouver l’équivalence des expressions par le calcul algébrique puis mobiliser la forme la plus adaptée d’une expression pour résoudre un problème, calculer astucieusement

3.53.717.1

Exclure12.3 (3°)

(fonctionOU expression littérale)et rien d’autres

algé (3°)fonc.(2°)

MP, CX

B : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre

CS

C : Donner du sens au fait que deux expressions peuvent être égales pour toute valeur de la lettre

EL

94

Documents

Les projets Pépite et Lingot Plan - upmclutes.upmc.fr/delozanne/2014-2015/Lingot/Lingot-16-9...2015/09/16 · cliquer sur OK, ne revenez pas en arrière) 3. Le prof regarde les bilans