Embed Size (px)
Citation preview
1, avenue Léon-Journault92318 Sèvres - France
Centre international d’études pédagogiques
© CIEP
Garanties qualitatives et quantitatives dans les tests.La psychométrie : un atout, pas une finalité
Le CIEP
La psychométrie : – Nouvelle mode ou renaissance ?– Quoi, quand, comment et pourquoi ?– En quête de qualité ou enquête sur les qualités ?
Vers une utilisation systématique de la psychométrie ?
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le Centre international d’études pédagogiques
Un laboratoire… d’idées
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le Centre international d’études pédagogiques
Un laboratoire d’idées– La porcelaine dure, le kaolin
avec Pierre-Antoine Hannong et Pierre-Joseph Macquer
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le Centre international d’études pédagogiques
Un laboratoire d’idées– L’école normal supérieure des
jeunes filles
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le Centre international d’études pédagogiques
Un laboratoire d’idées– Le centre d’études
pédagogiques
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le Centre international d’études pédagogiques
Un opérateur public– Sous tutelle du MEN et du MESR– EPCA depuis 1987– Formation et évaluation– Coopération internationale en
éducation– 2 pôles d’activité : éducation et
langues
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Evaluation et certifications
Gestion pédagogique et administrative des certifications pour étrangers non francophones
– DILF, DELF et DALF– TCF– Expertise psychométrique
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie
Une première définition– Une science– Des moyens : procédures et
techniques statistiques– Un objectif : la validité des
mesures
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
De la naissance à la maturité
Née en France– Binet et son échelle métrique de
l’intelligence (1905)– Thurston, analyse factorielle et les
facteurs de l’intelligence (1939) après Spearman
– La théorie classique des tests– Aujourd’hui la théorie de la
réponse à l’item
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La cellule qualité et expertises psychométrie du CIEP
Une approche non exclusivement psychométrique
– Des psychométriciens– Des spécialistes du FLE et du CECRL– Des procédures psychométriques
indépendantes– Des procédures à la croisée de la
psychométrie et du FLE
Une approche intégrative– Recherche qualité adaptée– Accompagnement dimensionné à
l’élaboration d’outils de mesure des compétences
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie, des enjeux mineurs aux enjeux majeurs
Les mesures des compétencesà faible enjeu à fort enjeu
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie, des enjeux mineurs aux enjeux majeurs
Les mesures des compétencesà faible enjeu à fort enjeu
La précision, la fidélité, et la validité des mesuresrelative importante
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie, des enjeux mineurs aux enjeux majeurs
Les mesures des compétencesà faible enjeu à fort enjeu
La précision, la fidélité, et la validité des mesuresrelative importante
Recours aux méthodes psychométriquesléger lourd
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie : un outil au service des qualités métriques de la mesure des compétences
Un test, qu’est ce que c’est ?– Définition de Gilbert de
Landsheere dans le dictionnaire de l’évaluation et de la recherche en éducation
– « Pour mériter le nom de test, un examen doit être standardisé, fidèle, valide et étalonné »
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le TCF : un exemple… pas un modèle3 épreuves obligatoires
Compréhension oraleStructures de la langueCompréhension écrite
2 épreuves optionnelles
Expression oraleExpression écrite
30 items (45 min)
Compréhension écrite
20 items (20 min)
Maîtrise des structures de la langue
30 items (25 min)
Compréhension orale
TCF (1H30)
15 min
Expression Orale
105 min
Expression Ecrite
TCF (2H00)
© CIEP
Le TCF : un exemple… pas un modèle
Surveillance
Production d ’items
Vérification
Commission interne
d’évaluation
Constitution du pré-test
Passation du pré-test
Analyse psychométrique
des résultats
Commission de validation
des items
Constitution Constitution des banques des banques
dd’’itemsitems
Production d ’un test
Reprographie
Expédition au centre de passation
Réception des tests et des livrets
Correction des épreuves obligatoires
Passation des tests en centre
Stockage
Cycle de Cycle de commercialisation commercialisation
du test du test
Edition et envoi des
attestations
Une conception méthodologique,
rigoureuse et scientifique
Stockage
Modes opératoires
Correction des épreuves
complémentaires
Production d’épreuvesfacultatives
d’expression
© CIEP
La psychométrie : un outil au service des qualités métriques de la mesure des compétences
La standardisation– Procédure d’élaboration des
épreuves (différents types)– Procédure de pré-test des
épreuves (mais aussi les post-tests ou les live-tests)
– Procédure de validation du contenu des épreuves
– Procédure d’administration– Procédure de correction (étude
des correcteurs)– Procédure de restitution des
résultats– Cadre d’interprétation des
résultats
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie : un outil au service des qualités métriques de la mesure des compétences
La validité– Le construit– Le contenu– Est-ce que mon épreuve mesure
bien ce que je suis censé mesurer et rien d’autre ?
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie : un outil au service des qualités métriques de la mesure des compétences
Un item valide du point de vue de son contenu et dont la mécanique psychométrique est opérationnelle :
La voiture que je préfère, c’est celle…
A que le moteur est électrique.B auquel tu m’as habitué.C où elle est exposée.D qui n’est pas à vendre.
La validité
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie : un outil au service des qualités métriques de la mesure des compétences
Un item valide du point de vue de son contenu mais dont la mécanique psychométrique n’est pas fonctionnelle :
Qu’est ce que tu fais dimanche ?Je vais au mariage de Jean-Paul. Tu peux me prêter ta caméra- vidéo ? Je te la …
A rendaisB rendraisC rendisD rendrai
… dès lundi.Oui pas de problème
La validité
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
La psychométrie : un outil au service des qualités métriques de la mesure des compétences
Un item non valide du point de vue de son contenu mais dont la mécanique psychométrique est quasi-opérationelle :
Dans la théorie classique des tests, la difficulté d’un item est une proportion
A de candidats ayant réussi l’itemB de candidats ayant échoué à l’itemC proche de 0 pour les items difficiles.D proche de 1 pour les items faciles
La validité
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le travail du psychométricien
Un examen à la loupe item par item mais aussi sur l’ensemble des items
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
Le travail du psychométricien
L’objectif des analyses psychométriquesDéterminer le matériel du test valideDéterminer le matériel du test invalideSuggérer un réexamen du matériel du test, par les spécialistes du domaine àévaluer, pour le matériel à la limite des critères de validation.
Le préteur et sa femme
1514
Quentin Metsys
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
Item 2 11013O105
A
B
C
D*
Pro
porti
on
Score GroupsSubgroup 0 -- Subtest 0 (Missings)
0.0
0.2
0.4
0.6
0.8
1.0
1 2 3 4
© CIEP
L’examen du matériel de test
Au travers du modèle de mesure classique
– La difficulté de l’item– Le fonctionnement de la clef– Le rôle des distracteurs– La discrimination de l’item
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
L’examen du matériel de test
Au travers du modèle de mesure classique
– La difficulté de l’item– Le fonctionnement de la clef– Le rôle des distracteurs– La discrimination de l’item
Item 9 18000O201
A
B*
C
D
Pro
porti
on
Score GroupsSubgroup 0 -- Subtest 0 (Missings)
0.0
0.2
0.4
0.6
0.8
1.0
1 2 3 4
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
0.0
0.5
1.0
-4 -3 -2 -1 0 1 2 3 4
Trait mesuré
Probabilitéd'une réponsecorrecte
( )
( )b
b
ij eeP −
−
+= θ
θ
1
© CIEP
L’examen du matériel de test
Au travers du modèle de réponse à l’item
– Calculer la probabilité d’une réponse particulière d’une personne à un item
– Probabilité = f(« capacité de la personne », « difficulté de l’item »)
– Localisation des items et des personnes sur un même continuum
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
ACP - Nuage des items
o1
o3
o5o6
o7
o8o9
o10
o13
o14o15
o16
o17
o18
o19
o20
o21
o26o28
o29 g31
g33
g35
g36
g37
g38
g39
g40
g41
g42
g43
g44
g45
g46
g50
e52
e53
e54
e55e56
e58
e59 e60
e61
e62
e63
e64
e65
e66
e67
e68
e69
e70 e71e72
e73
e74 e75
e76e79
e80
-0,6 -0,5 -0,4 -0,3 -0,2 -0,1 0,0 0,1 0,2 0,3 0,4 0,5 0,6
Axe 1 (15,6%)
-0,6
-0,5
-0,4
-0,3
-0,2
-0,1
0,0
0,1
0,2
0,3
0,4
0,5
0,6
Axe
2 (3
.5%
)
Compréhension Orale Structures de la Langue Compréhension Ecrite
Tracé des valeurs propres
15,6
3,5
0 10 20 30 40 50 60
Axes
0
2
4
6
8
10
12
14
16
Par
t de
varia
nce
expl
iqué
e (%
)
© CIEP
L’examen du matériel de test
Au travers du modèle de réponse à l’item
– Etude de la dimensionalité– Comportement de l’item (observé
versus attendu)– Mesure de la difficulté de l’item– Cohérence des réponses
(difficulté de l’item / habileté des candidats)
– Fonctionnement différentiel
© CIEP
L’examen du matériel de test
Au travers du modèle de réponse à l’item
– Etude de la dimensionalité– Comportement de l’item (observé
versus attendu)– Mesure de la difficulté de l’item– Cohérence des réponses
(difficulté de l’item / habileté des candidats)
– Fonctionnement différentiel
© CIEP
L’examen du matériel de testFacilité et discrimination
o1
o3
o5
o5o6
o7o8
o9
o10
o13
o14
o15o16
o17
o18
o19o20
o21
o26
o28
o29
g31
g33
g35
g36
g39
g40
g41
g42g43 g44
g45
g46
g50
e52e53
e54
e55
e56
e58 e59
e60
e61e62 e63
e64
e65
e66e67
e68
e69
e70
e71
e72
e73
e74
e75
e76
e79
e80
0 10 20 30 40 50 60 70 80 90 100
Bonnes réponses (% - Facilité)
0
10
20
30
40
50
60
70
80
90
100
rpbi
s (x
100
- di
scrim
inat
ion)
Compréhension Orale Structures de la Langue Compréhension Ecrite
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
Au travers du modèle de réponse à l’item
– Etude de la dimensionalité– Comportement de l’item (observé
versus attendu)– Mesure de la difficulté de l’item– Cohérence des réponses
(difficulté de l’item / habileté des candidats)
– Fonctionnement différentiel
© CIEP
L’examen du matériel de test
o1
o3
o5
o6
o7
o8
o9
o10
o13
o14
o15
o16
o17o18
o19
o20
o21
o26
o28
o29
g31
g33
g35
g36
g37
g38
g39
g40
g41
g42
g43
g44
g45
g46
g50
e52
e53
e54
e55
e56
e58
e59e60
e61
e62 e63
e64
e65
e66
e67
e68
e69
e70
e71
e72
e73
e74
e75
e76
e80
0,6 0,7 0,8 0,9 1,0 1,1 1,2 1,3 1,4
Infit
0,6
0,7
0,8
0,9
1,0
1,1
1,2
1,3
1,4
Out
fitCompréhension Orale Structures de la Langue Compréhension Ecrite
Infit et Outfit
Infit : indicateur de l’indépendance du modèle à l’égard de l’échantillon
Outfit : indicateur de l’invraisemblance des réponses
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
Au travers du modèle de réponse à l’item
– Etude de la dimensionalité– Comportement de l’item (observé
versus attendu)– Mesure de la difficulté de l’item– Cohérence des réponses
(difficulté de l’item / habileté des candidats)
– Fonctionnement différentiel
© CIEP
L’examen du matériel de test
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
Au travers du modèle de réponse à l’item
– Etude de la dimensionalité– Comportement de l’item (observé
versus attendu)– Mesure de la difficulté de l’item– Cohérence des réponses
(difficulté de l’item / habileté des candidats)
– Fonctionnement différentiel
© CIEP
L’examen du matériel de test
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
Au travers du modèle de réponse à l’item
– Etude de la dimensionalité– Comportement de l’item (observé
versus attendu)– Mesure de la difficulté de l’item– Cohérence des réponses
(difficulté de l’item / habileté des candidats)
– Fonctionnement différentiel
© CIEP
La banque d’item
Banking– Présence d’items ancres– Calcul du décalage nécessaire pour mettre les nouveaux items calibrés sur l’échelle commune– Examen du degré de conformité entre niveau a priori et a posteriori
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
L’élaboration d’une version de test
Des règles à suivre– Assemblage des items selon la difficulté et selon la compétence en respectant les
spécifications du test (validité de contenu)– Etablissement d’une table de conversion (score brut / score calibré)– Vérification de la consistance entre les tables
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
L’élaboration d’une version de test
Des règles à suivre– Assemblage des items selon la difficulté et selon la compétence en respectant les
spécifications du test (validité de contenu)– Etablissement d’une table de conversion (score brut / score calibré)– Vérification de la consistance entre les tables
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
© CIEP
En conclusion
Du bon équilibre du travail entre les spécialistes de la mesure et les spécialistes du domaine de compétences à évaluer
Le préteur et sa femme
1514
Quentin Metsys
Sébastien Georges – Journée d’étude– Vendredi 29/01/2010 – DILTEC – UPMC – Sorbonne nouvelle
1, avenue Léon-Journault92318 Sèvres - France
Pour en savoir plus :www.ciep.fr
Sébastien GEORGESCIEP
Département évaluation et certificationsCellule qualité et expertises psychométrie
