40
Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par l’APMEP et l’INRP OBJECTIFS ÉTUDES DÉMARCHES ET MÉTHODES ENSEIGNEMENTS

Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Embed Size (px)

Citation preview

Page 1: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Présentation de L'Observatoire EVAPM

Antoine BODIN - Responsable de l’Observatoire EVAPMIREM / Université de Franche-Comté

Un observatoire développé par l’APMEP

et l’INRP

• OBJECTIFS

• ÉTUDES

• DÉMARCHES ET MÉTHODES

• ENSEIGNEMENTS

Page 2: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Avertissement

Bien que présenté dans un ordre aussi logique qu’il a semblé possible, ce diaporama réunit des diapositives élaborées pour des communications différentes.

Des textes présents sur le site donnent sens à ces ces diapositives.

L’ensemble présenté ici est évidemment troop lourd pour une présentation donnée, mais des diapositives peuvent être extraites pour accompagner une présentation d’EVAPM.

Diaporama évolutif.

Dernière mis à jour : 26 septembre 2004

Page 3: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Miroir, miroir, dis-moi que je suis la plus belle !

L’évaluation entreprise de véridiction

ou…… de la poudre aux yeux !

Le premier qui dit la vérité……il sera executé !

Le premier qui dit la vérité…

Où nous voulons dire que l’évaluation ne peut manquer de se heurter à toutes sortes de résistances

Page 4: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

EVAPM en Questions

1. EVAPM : POURQUOI ? (pour quelles raisons)

2. EVAPM : POUR QUOI ? (pour quoi faire)

3. EVAPM : QUOI ? (objet de l'évaluation)

4. EVAPM : QUAND ?

5. EVAPM : QUI ? AVEC QUI ?

6. EVAPM : COMMENT ?

Page 5: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Plan de la communicationPlan de la communication

• Présentation de l’observatoire EVAPM – Objectifs – Fonctionnement– Réalisations productions

• Quelques enseignements de l’observatoire – Sur les acquis des élèves de la sixième aux classes terminales– Sur le fonctionnement d’un curriculum– Sur le fonctionnement de l’évaluation

• Pour une évaluation instrumentée – Évaluer quoi ? Comment ? Les apports d’EVAPM

• Propositions - prospectives

Plan posible pour une présentation d’EVAPM

Page 6: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Production de documentsLes brochures EVAPM( 3 000 pages en 15 brochures

publiées de 1987 à 1997 )Base de données d'évaluation

EVAPMIBBase informatisée sur cédérom

Plusieurs milliers de questions d'évaluationutilisées dans des évaluations françaises etétrangères, référencées et accompagnées

d'analyses didactiques

Banque de données EVAPMà la disposition des chercheurs

Les données statistiques relatives à 150 épreuves età des milliers d'items sont organisées de façon à

permettre de nombreux traitements.Dans le cadre de cette banque est aussi assurée laconservation d'un ensemble de documents papier

concernant un nombre très important d'élèves.

EVAPM - RechercheInsertion dans les enquêtes de question provenant de la Recherche

Apport à la Recherche de questions soulevées par EVAPMTraitements de données et mise au point de méthodologies complémentaires de

traitements de donnéesAnalyse didactique des questions d'évaluationInterface avec d'autres équipes de recherche

Banque d'épreuves

150 épreuves d'évaluationétalonnées et analysées

Niveaux Sixième à Terminale

à la disposition des enseignants deMathématiques

Association des Professeurs de Mathématiques de l'Enseignement Public - APMEP

Enquêtes régulièressur des effets du système

d'enseignement des mathématiques

SUIVI des compétences des élèves et desopinions et conceptions des enseignants

Inspection Générale de MathématiquesDirection des Lycées etCollèges

Direction de l'Evaluation et de la Prospective

INRPRéseau des IREM

L 'observatoire EVAPM Organigramme général

Présentation de l’observatoire EVAPM Présentation de l’observatoire EVAPM FonctionnementFonctionnement

Page 7: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Mettre à la disposition des personnes et institutions intéressées par l'enseignement des mathématiques, des informations s'appuyant sur des observations fiables…

Apporter aux enseignants des indicateurs de comportements d'élèves (évaluation) et des instruments d'observation de ces comportements.

Apporter aux chercheurs un cadre susceptible d'accueillir et de diffuser sous forme opératoire les résultats de leurs travaux.

Permettre aux chercheurs d'avoir accès, à des échantillons importants (d'enseignants, d'élèves, ...)

Constituer un lieu d'échanges pratiques - recherches, permettant aux questions des enseignants d'être mieux prises en compte.

• Présentation de l’observatoire EVAPMObjectifs 1

Page 8: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

– Constituer une force réactive capable de répondre aux besoins des instances de l’APMEP

– Associer fortement les enseignants à la préparation et à l’exploitation des enquêtes.

– Contribuer à l’animation des équipes d’établissement, à l’auto-formation des enseignants ainsi qu’à leur formation initiale et continue.

– Mettre à la disposition des enseignants des instruments d’évaluation validés et étalonnés dans un cadre coordonné permettant des interactions entre enseignants et équipes d’enseignants.

– Expérimenter et diffuser des conceptions développées (en particulier) à l'APMEP sur l'enseignement des mathématiques et sur l'évaluation.

• Présentation de l’observatoire EVAPMObjectifs 2

Page 9: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Etudes réalisées 1987-2003Participation : Nombre d'inscrits

CLASSESPROFESSEURS

ETABLISSEMENTS

ELÉVESBrochures APMEP

Mai-juin 1987 Sixième 900 700 300 22 000 EVAPM6/87

Mai-juin 1988 Cinquième 2 000 1 500 420 49 000 EVAPM5/88

Mai-juin 1989 Sixième 3 400 2 700 950 83 500 EVAPM6/89_5/90

Mai-juin 1989 Quatrième 3 400 2 700 950 85 000 EVAPM4/89

Mai-juin 1990 Cinquième 3 500 2 800 900 86 000 EVAPM6/89_5/90

Mai-juin 1990 Troisième 3 850 3 080 1 120 97 000 EVAPM3/90

Mai-juin 1991 Quatrième 2 300 1 900 700 59 000 EVAPM4/91_3/92

Mai-juin 1991 Seconde 2 300 2 000 450 75 000 EVAPM2/91

Mai-juin 1992 Troisième 3 200 2 500 950 81 000 EVAPM4/91_3/92

Mai-juin 1993 Première 1 500 1 350 300 49 500 EVAPM1/93 3 fascicules

Mai-juin 1995Terminal LP 300 200 100 9 000 EVAPMLP/95 2 fascicules

Mai-juin 1999 Sixième 2 400 1 500 600 40 000 EVAPM6/97 2 fascicules

Mai-juin 1998Terminales LEG 750 700 300 20 000 EVAPM Terminales3 fascicules

Septembre 2000 Première S 400 350 200 12 000 EVAPM1/2000 Internet

Mai-juin 2003 Seconde 900 800 210 26 000 EVAPM2/03 Internet

Septembre 2003 Seconde

Totaux 31 100 24 780 8 450 794 000

Page 10: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Quelques observations relatives à l’évaluation du curriculum

• Difficulté de produire des synthèses utiles

• Difficulté de dépasser l’observation pour passer à

l’évaluation

• Il y a loin du curriculum officiel au curriculum atteint.

Page 11: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Quelques observationsrelatives à l ’évaluation des acquis des élèves

1. Impossibilité d’opérationnaliser les objectifs de façon

univoque

2. Faiblesse des corrélations inter-domaines

3. Faiblesse des corrélations inter-niveaux taxonomiques

4. Non mesurabilité globale des acquis des élèves

5. Difficulté d’évaluer les compétences (et pas seulement des

connaissances et des savoir faire)

Page 12: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Quelques observationssur l ’évaluation des acquis …. suite

6. Évolution des connaissances - maturation

7. Volatilité des savoirs

8. Sensibilité aux effets de contrats

Page 13: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par
Page 14: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Évaluer les programmes : QUOI ? (objet de

l'évaluation)Évaluer les programmes ou évaluer les curriculum ?

Un curriculum est un plan d'action pédagogique... il comprend, en général, non seulement des programmes dans différentes matières, mais aussi une définition des finalités de l'éducation envisagée, une spécification des activités d'enseignement et d'apprentissage qu'implique le programme des contenus et enfin des indications précises sur la manière dont l'enseignement ou l'élève sera évalué. Un curriculum s'exprime habituellement en termes d'intention, de contenus, de progressions et de méthodes ou de moyens pour enseigner et évaluer.

Louis d’Hainaut - Des fins aux objectifs

Page 15: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Évaluer les programmes : QUOI ? (objet de

l'évaluation)

Un curriculum est l’ensemble, plus ou moins articulé, des intentions, des règlementations, des pratiques, des ressources, et des effets, relatifs à l’enseignement d’une discipline ou d’un ensemble de disciplines.

Essai de définition

Un curriculum se déploie et s’observe à différents niveaux :Niveau d’un élève particulierNiveau d’une classe particulièreNiveau d’un niveau scolaire donnéNiveau d’un établissementNiveau d’un système éducatif

Page 16: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Contextes sociaux

et

éducatifs

généraux

Contexte local :

établissement,

classe

Curriculum souhaité

(ou officiel)

Intentions, buts et objectifs

Intended curriculum

Curriculum implanté

(ou effectif)

Stratégies, pratiques, et

activités d'enseignement

Implemented curriculum

Curriculum atteint

connaissances et

savoirs acquis.

Attitudes développées

Attained curriculum

Aspects individuels

(élève)

Diverses entrées pour l'étude d'un curriculum

Modèle utilisé dans le cadre de la Troisième Étude Internationale sur l'Enseignement

des Mathématiques et des Sciences de l'IEA (TIMSS)

(adapté de Robitaille (1993) et de Schmidt (1996) - cf bibliographie)

Curriculum

potentiel

Manuels et autres

ressources

Évaluer les programmes : QUOI ? (objet de l'évaluation)

Évaluer les programmes ou évaluer les curriculum ?

Prendre la mesure de la complexité de l’objet que nous cherchons à évaluer

Page 17: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Antécédents

curriculaires

contextes

curriculaires

contenus

curriculaires

Système

Établissement

scolaire ou

classe

Élève

Caractéristiques

du système

Institution

Curriculum

souhaité

Caractéristiques de

la communauté

scolaire

(enseignants, école)

Conditions et

processus liés à

l'école et à la classe

Curriculum

implanté

Caractéristiques

préalables de

l'élève

Élève

Curriculum

atteint

Modèle utilisé pour les études curriculaires de l'IEA

Modèle utilisé dans le cadre de la Troisième Étude Internationale sur l'Enseignement des

Mathématiques et des Sciences (TIMSS)

(adapté de Robitaille (1996) et de Travers and Westbury (1989) - cf bibliographie)

Document A. BODIN - 29/9/96

NIVEAU

Divers aspects d’un curriculumDivers aspects d’un curriculum

Page 18: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Docimologie et édumétrie

Validité Construction du référent Constitution du référé

Fidélité

Équité

Faisabilité - économie

Qualités attendues d’une évaluation

Page 19: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Évaluer des compétences ?

Une compétence suppose : Des connaissances La possibilité de mobiliser ces

connaissances dans des situations où ces connaissances constituent des ressources

La pertinence Les situations en question doivent être

identifiées comme étant pertinentes par rapport au domaine d’activité considéré

Page 20: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

L'examen du degré de pertinence

la pertinence épistémologique : concerne le statut, l'importance et la fécondité, des notions ou méthodes étudiées, à l'intérieur de la science elle-même. La pertinence épistémologique est reconnaissable et attestée par les spécialistes de la discipline.

la pertinence sociale : concerne le statut, l'importance et l'utilité des notions ou méthodes étudiées, dans la vie sociale générale. La pertinence sociale est reconnaissable et attestée par la société toute entière.

la pertinence didactique : concerne la possibilité de transmettre les savoirs correspondants aux élèves ou aux étudiants selon leur âge et leur formation antérieure.. La pertinence didactique est reconnaissable et attestée par les enseignants, aidés en cela par les travaux de la psychologie et les recherches en didactique des disciplines.

Page 21: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

              

Analyse des compétences selon PISA(Programme International d'Évaluation des Acquis des Élèves de l'OCDE)

Définition PISA de la culture mathématique pour tous

La culture mathématique pour tous est l'aptitude d'un individu à identifier, et à comprendre les divers rôles joués par les mathématiques dans le Monde, à porter des jugements fondés à leur propos, et à s'engager dans des activités mathématiques, en fonction des exigences de sa vie présente et future en tant que citoyen constructif, impliqué et réfléchi.

Culture PISA

Page 22: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

L'examen des niveaux d'apprentissages sollicités

Taxonomie Taxonomie R. GRAS SimplifiéeLargement utilisée par EVAPM

Page 23: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Les niveaux de compétence selon PISA

Classe 1 : Reproduction, définitions et calculs

Correspond au niveau A de la taxonomie de R. Gras

Classe 2 : Mise en relation et intégration pour résoudre des problèmes

Correspond aux niveau B et C de la taxonomie de R. Gras

Classe 3 : Mathématisation, pensée mathématique, généralisation et compréhension en profondeur

Correspond aux niveau D et E de la taxonomie de R. Gras

Niveaux compétences PISA

PISA : Program International of Student Achievement de l’OCDELa classification de PISA est utilisée par EVAPM

Page 24: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Compétences de classe 1

Reproduction, définitions et calculs

La classe 1 recouvre des processus souvent évalués dans les tests standardisés, ainsi que dans les enquêtes comparatives internationales, ou ils sont principalement mesurés à l'aide d'items à choix multiple. Les questions portent sur des connaissances factuelles, ou demandent de représenter, d'identifier des équivalences, de restituer des objets et des propriétés mathématiques, d'exécuter des procédures classiques, d'appliquer des algorithmes simples et de mettre en œuvre des savoir‑faire techniques.

Classe 1

Page 25: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Compétences de classe 2

Mise en relation et intégration pour résoudre des problèmes

Les processus de classe 2 demandent de commencer à établir des liens entre les différents chapitres et domaines des mathématiques et d'intégrer diverses informations dans le but de résoudre des problèmes simples. Bien que ces problèmes soient présumés non routiniers pour l'élève, ils n'exigent qu'un degré de mathématisation relativement élémentaire.

Dans cette classe de compétence, on attend aussi des élèves qu'ils soient capables de manier diverses formes de représentation, en fonction de la situation et de l'objectif visé. La mise en relation demande encore que les élèves soient à même de distinguer et de relier différents énoncés (des définitions, des affirmations, des exemples, des assertions conditionnelles et des démonstrations). Le fait de pouvoir décoder et interpréter le langage symbolique et formel, ainsi que de saisir ses relations avec la langue naturelle, est aussi un aspect crucial de cette classe de compétences. Les problèmes y sont souvent contextualisés et demandent une prise de décision mathématique de la part de l'élève.

Classe 2

Page 26: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Compétences de classe 3

Mathématisation, pensée mathématique, généralisation et compréhension en profondeur

Dans cette classe de compétence, il est demandé aux élèves de mathématiser des situations : ils doivent pouvoir identifier et extraire la structure mathématique inhérente à une situation donnée et se servir des mathématiques pour résoudre le problème, pour analyser, pour interpréter, pour élaborer leurs propres modèles et stratégies et pour développer une argumentation mathématique, y compris des démonstrations et des généralisations.

Ces processus font appel à la pensée critique, à l'analyse et à la réflexion. Les élèves devraient non seulement être à même de résoudre des problèmes, mais aussi de les poser, de communiquer correctement à propos des situations, et de comprendre en profondeur la nature des mathématiques en tant que science.

Ce niveau de compétences, qui est au cœur des mathématiques et de la culture mathématique, est difficile à évaluer. Les questions à choix multiple sont le plus souvent inadaptées. Les questions à réponse ouverte ont un format qui convient mieux à ce type d'épreuve, mais tant la conception des questions que la correction des réponses soulèvent de nombreuses difficultés.

Classe 3

Page 27: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Les processus mathématiques selon PISA

1…. La pensée mathématique:

2…. Le raisonnement mathématique:

3…. La modélisation mathématique:

4…. Poser et résoudre des problèmes :

5…. La représentation :

6…. Le langage symbolique et formel :.

7….La communication :

8…. Les outils et les instruments :

PISA n'utilise pas des items évaluant séparément les capacités ci-dessus. En effet, lorsqu'on fait de « vraies mathématiques », il est habituellement nécessaire de recourir en même temps à de nombreux savoir-faire.

Processus PISA

Page 28: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Tableau de capacités

Base EVAPM Seconde 2003

Base EVAPMIB

Résultats terminale : Algèbre

Résultats terminale : Géométrie

Résultats terminale : Analyse

Des productions qui deviennent des outils

Des résultats (voir brochures et site)

Page 29: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Lorsque l'on demande à desélèves de Sixième (11-12 ans)

"Effectue les mesures nécessaires pourcalculer l'aire de ce triangle, puiscalcule son aire"

46% des élèves fournissent une bonneréponse

Réponse correcte : 46%

Si l'on pose la même question avec letriangle ci-contre, Il ne reste plus que20% des élèves pour fournir une bonneréponse.

Réponse correcte : 20%Recherche IREM de Besançon / A. Bodin - 1985)

La difficulté de spécifier les exigibles

Page 30: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Première 1993 :Série S : 80 %

Elèves orientés en TC : 91%Série B : 59 %Série A1 : 49 %Série F : 53 %

DEUG lettres et S.H. Paris 7 1985 : 30 %

Quatrième 1989 : 05 %Troisième 1990 : 22 %

Elèves orientés en Seconde LEG : 24%

Question non traitéeSérie S : 04 %Série B : 10 %Série A1 : 11 %Série F : 11 %

Première 1993

Après une augmentation de 40%, un objet vaut 84 F.Combien valait-il avant cette augmentation ?

Expliquez ce que vous faites pour trouver la réponse

Première 1993 :Série S : 19 %

Elèves orientés en TC : 21%Série B : 17 %Série A1 : 21 %Série F : 19 %

Introduction directe ducoefficient 1,4

Résultat exact

Question DEUG lettres et S.H. Paris 7Utilisée par EVAPM

Les faits…. sont têtusLes faits… sont têtus

Page 31: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Domaine numérique - Calcul littéral - Résolution de ProblèmesQuestion posée par le SPRESE(M inistère de l'Education Nationale) en fin de Troisième 1984

et par EVAPM (APMEP) en fin de Cinquième 1988, Fin de Quatrième 1989, fin de Troisième

1990 et fin de Seconde 1691.

Il lui reste à rembourser une somme égale aux de la somme S déjà rendue.

Une personne a emprunté sans intérêt 1000 F.

23

Calculer S en laissant le détail des calculs.

Elle a déjà remboursé une somme S.

Explications Mise en équation correcte

EVAPM 2/91 : 58%Admis en 1ère S : 81%Futurs doublants : 31%

EVAPM 3/90 : 31%Admis en Seconde : 48%

SPRESE 3/84 : 23%

EVAPM 4/89 : 12%

EVAPM 5/88 : 04%

EVAPM 2/91 : 68%Admis en 1ère S : 90%Futurs doublants : 49%

EVAPM 3/90 : 47%Admis en Seconde : 60%

SPRESE 3/84 : 26%

EVAPM 4/89 : 25%

Réponse exacte

Non réponses : EVAPM5/88 : 51% - EVAPM4/89 : 32%EVAPM3/90 : 22% - E VAPM2/91 : 19%

Page 32: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Q1

Q2

Q3

Q4

Q5Q6

Q7

Q8

Q9

Q10

0.2

0.3

0.4

0.5

0.6

0.7

0.8

Q1

Q2

Q3

Q4

Q5Q6

Q7

Q8

Q9

Q10

QCM 2001 - MARSEILLE

Graphe implicatifBleu : seuil 0;95Vert : Seuil 0,9

Graphe inclusifVert : inclusion à 80%Gris : inclusion à 75%

Traitements CHIC 1.1 - A.Bodin - 6 mai 2002

Évaluer les curriculums : nouveaux outils

L’analyse implicative

Page 33: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Rouge:inclusionà95%Bleu:inclusionà90%Vert:inclusionà80%Gris:inclusionà75%

E284E321E642E963

Q01A

Q01B

Q01C

Q01DQ01NQ02A

Q02B

Q02CQ02D

Q02N

Q03A

Q03B

Q03C

Q03D

Q03NQ04A Q04B

Q04C

Q04D

Q04NQ05A

Q05B

Q05C Q05D

Q05N

Q06A

Q06B

Q06C

Q06D

Q06N

Q07A

Q07BQ07CQ07D

Q07N

Q08A

Q08B

Q08C

Q08D

Q08N

Q09AQ09B

Q09C

Q09D

Q09N

Q10AQ10B

Q10C

Q10D

Q10N

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

E284E321E642E963

Q01A

Q01B

Q01C

Q01DQ01NQ02A

Q02B

Q02CQ02D

Q02N

Q03A

Q03B

Q03C

Q03D

Q03NQ04A Q04B

Q04C

Q04D

Q04NQ05A

Q05B

Q05C Q05D

Q05N

Q06A

Q06B

Q06C

Q06D

Q06N

Q07A

Q07BQ07CQ07D

Q07N

Q08A

Q08B

Q08C

Q08D

Q08N

Q09AQ09B

Q09C

Q09D

Q09N

Q10AQ10B

Q10C

Q10D

Q10N

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

QCM2001-MARSEILLEGraphesdessous-réponses

GrapheimplicatifBleu:seuil0;95Vert:Seuil0,9

Grapheinclusif

TraitementsCHIC1.1-A.Bodin-6mai2002

Analyse d’une épreuve d’évaluation

L’analyse implicative

Page 34: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Courbe de réponse de l'Item

Méthode J.O. RamsayLogiciel Testgraf

1,0

0,8

0,6

0,5

0,2

0,0

0,5

-2,6 -1,6 -0,6 0,6 1,6 2,6

5% 25% 50% 75% 95%

Corrélation bisériale, R = 0,69

Indice de discrimination : 0,96

Indice de difficulté : 0,31

Score à l'épreuve A priscomme indicateur decompétence.Score normalisé.

EVAPM 4/91 - épreuve A - item 7

41°

B CD

?

A L'angle ABD mesure 41°

CALCULE la mesure de l'angle DAC.

Explication correcteQuatrième 1991 : 42 %Cinquième 1990: 23 %

Résultat exactQuatrième 1991: 46 %Cinquième 1990 : 29 %

Quel est ton résultat ?

Explique ce que tu fais.

EVAPM 5/90 et 4/91 - Question A7(fin de Cinquième et fin de Quatrième)

Le triangle BAC est isocèle de sommet A.Le triangle BAD est isocèle de sommet D.

Évaluer les curriculums : nouveaux outils

L’analyse des réponses aux items (IRT)

Page 35: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

L’analyse des réponses aux items (IRT)

Page 36: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Calculer la limite de

lorsque x tend vers 0

1sin x

−1x

⎛ ⎝ ⎜ ⎞

⎠ ⎟

L’analyse des réponses aux items (IRT)

Page 37: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Documents - L’Observatoire EVAPM

APMEP (1996) - dossier de présentation de l'Observatoire EVAPM.

APMEP (Association des Professeurs de Mathématiques de l'Enseignement Public) Brochures EVAPM, contenant les épreuves, les résultats et les analyses des évaluations des programmes de mathématiques menées par l'APMEP (BODIN. A., et All ) :

Evaluation des programmes de la sixième aux classes terminales (une douzaine de rapports et brochures disponibles – voir catalogue)

Base de données informatique EVAPMIB (sur cédérom pour PC et Mac et prochainement sur Internet)

Fruit de collaborations multiples, EVAPMIB est composée de questions d'évaluation provenant d'études à grande ou moyenne échelle, en particulier d'EVAPM, mais aussi d'études nationales françaises (DPD, INRP,...) et d'autres pays, ainsi que des études internationales (TIMSS,…).

Chaque question est munie d'un ensemble de descripteurs (carte d'identité critérisée, résultats enregistrés lors de diverses passations, analyses pédagogiques et didactiques, …).

Par définition évolutive, la base est régulièrement mise à jour et des compléments seront accessibles sur Internet.

Une présentation détaillée est accessible sur le site de l'APMEP.

Page 38: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Références• Bodin A. : 1997, L'évaluation du savoir mathématique - Questions et méthodes. Recherches en

Didactique des Mathématiques, Éditions La Pensée Sauvage, Grenoble.

• Bodin A.: 1993, 'What does to assess mean', Investigations into Assessment in Mathematics Education, An ICMI Study (ed Mogens NISS) - Kluwer Academic Publishers - Dordrecht

• Bodin, A : 1997, 'L'évaluation en mathématiques', in P. Legrand : les maths en collège et en lycée. Hachette Éducation.

• Bodin, A : 1997, 'Modèles sous jacents à l'analyse implicative et outils complémentaires', in A.Bodin, R.Gras, J.B. Lagrange : implication statistique, prépublication 97-32 - IRMAR de RENNES..

• Bodin, A. : 1996, 'Mesures pour le système éducatif' Actes des 7emes Entretiens de la Villette, 148-160, Centre National de Documentation pédagogique, Paris

• d'Hainault L., (1983) : Des fins aux objectifs - Labor Nathan.

• Gras, R & Pécal, M. (Eds) : 1995, L'évaluation en mathématiques : perspectives institutionnelles, pédagogiques et statistiques. Actes de l'université d'été de l'APMEP - Sophia Antipolis 10-14 juillet 1995 APMEP - Paris.

• Legrand P. (ed) : 1997, Les mathématiques au collège et au lycée, Hachette Paris

• OCDE : 2000, Mesurer les connaissances et compétences des élèves. Lecture, mathématiques et sciences : l'évaluation de PISA 2000 (also in English).

• OCDE, : 1992, L'OCDE et les indicateurs internationaux de l'enseignement. Un cadre d'analyse. Paris

• OECD : 2001, Knowledge and skills for life - first results of PISA 2000 (OECD Programme for international Student Assessment) - OECD - PARIS (also available in French).

Page 39: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par

Adresses

APMEP : 26 rue Duméril 75013 PARIS

http://www.apmep.asso.fr/

Avec accès aux pages de l’observatoire EVAPM ouvertes à tous

Les adhérents de l’APMEP ont aussi accès au site

http://trg45.univ-lille1.fr/abc/apmep/

Qui fournit des informations et des outils supplémentaires

Antoine Bodin : [email protected]

 

Page 40: Présentation de L'Observatoire EVAPM Antoine BODIN - Responsable de l’Observatoire EVAPM IREM / Université de Franche-Comté Un observatoire développé par