Enquêtes internationales et indicateurs d’équité

Trois exemples

– Disparités filles garçons• Indicateurs relatifs et non pas absolus

– Disparités entre natifs et immigrés• Dangers des indicateurs issus d’analyses bivariées

– Disparités entre établissements• Erreurs d’interprétation qui peuvent conduire à des

désastres pédagogiques

• Resituer l’interprétation des indicateurs dans le contexte méthodologique de la recherche

Disparités filles garçons

• OCDE rapport initial: tables 5.1.a & 5.1.b– Echelle combinée: 32 points– Echelle Retrieving information: 24 points– Echelle Interpreting texts: 29 points– Echelle Reflecting: 45 points

• OECD Reading for change– Echelle Textes continus: 39 points– Echelle Textes non continus: 17 points

IEA Reading Literacy (1991)

Population B

400 450 500 550

Score global

Documents

Textes informatifs

Textes narratifs

497

501

499

492

504

501

502

510 Filles

Garçons

Inconsistance de résultats

• Choix des textes support pour les tâches de lecture

• Type de démarches évaluées

• Différence de populations– Grade versus âge

• Format des questions

Choix des textes

IEA Reading Literacy (1991)

PISA 2000

Textes continus- narratifs- informatifs/

descriptifs- argumentatifs/

injonctifs

33 %29 %

0 %

13 %35 %

18 %

Textes non continus 38 % 34 %

Total 100 % 100 %

Type de démarchesIEA Reading Literacy (1991)

PISA 2000

Retrouver ou restituer de l’information (sous forme littérale ou paraphrase)

42 % 30 %

Interpréter (inférer, trouver l’idée principale)

58 % 50 %

Réfléchir et évaluer 0 % 20 %

Total 100 % 100 %

Choix de la population (Pisa 2000)

Pays Pourcentage d’élèves à l’heure dans l’échantillon

initial

Pourcentage de filles dans l’échantillon initial

Pourcentage de filles dans l’échantillon d’élèves à

l’heure

Différence de pourcentage de filles entre les 2

échantillons

Belgique 65 48 52 +4

Danemark 89 50 50 0

Espagne 72 51 54 +3

Finlande 89 51 52 +1

France 53 51 54 +3

Islande 98 50 51 +1

Italie 76 49 52 +3

Japon 100 51 51 0

Corée 98 44 44 0

Liechtenstein 78 50 53 +3

Mexique 50 50 56 +6

Norvège 97 49 49 0

Nouvelle Zélande 88 50 50 0

Suède 97 49 50 +1

Moyenne 82 50 51 1.79

Changement Pays pratiquant la

promotion automatique

Ecarts de performances garçons-

filles

Pays pratiquant le redoublement

Ecarts de performances garçons-filles

Danemark -0.01 Belgique -0.13

Finlande -0.01 Espagne -0.13

Islande -0.01 France -0.13

Japon 0.00 Italie -0.05

Corée 0.00 Liechtenstein -0.05

Norvège -0.01 Mexique -0.14

Nouvelle Zélande -0.04

Suède -0.02

Moyenne -0.011 Moyenne -0.11

Type de questions

IEA Reading Literacy (1991)

PISA 2000

QCM 75 % 45 %

Question ouverte à réponse courte

22 % 11 %

Question ouverte à réponse construite

3 % 45 %

Total 100 % 100 %

Distribution des questions en fonction du type de questions et du type de démarches

Questions fermées

Questions ouvertes

Total

Retrouver l’information

12 24 36

Interpréter 43 21 64

Réfléchir et évaluer 5 24 29

Total 60 69 129

Disparités Filles Garçons et nature des questions

• QCM: 0.19 écart-type

• Question ouverte: 0.29

• D’où à quoi peut-on attribuer les différences entre filles et garçons?– Nature des questions– Type de démarches

Génération de nouvelles PVs

• Six échelles– Retrouver des informations QCM (12)– Retrouver des informations QO (24)– Interpréter des textes QCM (43)– Interpréter des textes QO (21)– Réfléchir et évaluer QCM (5)– Réfléchir et évaluer QO (24)

Résultats France

• Six échelles– Retrouver des informations QCM: 506.3 (14)– Retrouver des informations QO: 519.3 (10)– Interpréter des textes QCM: 504.4 (15)– Interpréter des textes QO: 512.2 (14)– Réfléchir et évaluer QCM: 519.4 (11)– Réfléchir et évaluer QO: 496.8 (17)

Différence Filles Garçons

France Moyenne

Retrouver QCM 16.56 19.98

Retrouver QO 29.36 29.36

Interpréter QCM 26.87 28.11

Interpréter QO 30.78 35.42

Réfléchir QCM 30.27 32.43

Réfléchir QO 39.51 46.89

Analyse de variance

Source Pourcentage de variance expliquée

Pourcentage de variance expliquée

sur différences standardisées

Pays 46,93 41,92

Nature des questions 16,21 17,60

Type de tâches 24,08 25,39

Pays * nature des questions 4,41 2,15

Pays * type de tâches 3,06 3,35

Nature des questions * type de tâches

1,87 6,65

Résidu (interaction de 3ème ordre)

3,44 2,92

Disparités F-G: conclusions

• Disparités variables selon:– Définition de la population– Nature des questions– Type de démarches– Type de textes

• Absence d’indépendance statistique de la répartition des questions selon ces différentes dimensions

• Ne pas s’engager trop rapidement dans des interprétations théoriques

Disparités Natifs-Immigrés

• Question 16 – Es-tu né en France ?– Ta mère est-elle née en France ?– Ton père est-il né en France ?

• Question 17– Parles-tu le français à la maison ?

Résultats publiés par l’OCDE

• Au départ de la question 16;– Natif, 1ère génération, non natif

• Au départ de la question 17– Parle la langue du test à la maison, ne parle

pas la langue du test à la maison

On peut lire:

• …. Concern about such differences is especially justified in those countries with significant performance gaps and comparatively large percentage of first generation students, including Belgium, France and Luxembourg. (…)

• Australia and Canada provide interesting exceptions to the general pattern

Réanalyse des données PISA

• Répartition des élèves en 4 catégories en fonction de la question 16 et de la question 17– Elèves autochtones même langue– Elèves autochtones autre langue– Autres élèves même langue– Autres élèves autre langue

Elèves autochtones Autres élèves

Même Autre Même Autre Autochtones Autres élèves

Australie 73,15 3,85 9,70 13,29

534,73 494,51 536,79 507,15 531.55 519.32

Belgique 71,80 17,66 5,29 5,25

521,66 529,18 440,57 403,61 519.54 416.56

Canada 77,70 2,24 10,82 9,24

540,09 493,18 544,97 508,70 536.83 525.73

Suisse 75,33 4,51 5,80 14,36

515,63 480,68 476,38 407,92 512.65 426.99

France 88,21 1,04 6,75 4,00

512,88 471,39 481,52 441,36 510.82 463.67

Royaume-Uni 90,38 0,59 5,53 4,51

528,90 434,93 516,68 476,50 526.89 494.93

Italie 81,75 17,35 0,33 0,58

500,44 448,84 471,81 446,40 488.13 449.53

Luxembourg 63,07 2,98 8,21 25,73

475,58 409,26 407,10 378,21 469.88 385.10

Pays-Bas 75,78 13,03 5,94 5,25

545,78 524,38 481,65 458,68 541.09 463.80

Nouvelle-Zélande 79,76 1,38 10,00 8,86

541,38 454,74 549,75 470,24 534.83 506.77

Etats-Unis d’Amérique 84,23 2,25 4,98 8,54

514,05 412,73 519,72 445,79 509.57 472.02

Disparités entre établissements

• Décomposition de la variance (rapport initial (F2.6))

• Analyse multi niveaux– Chap 8 rapport initial– Chap 7 Reading for change

• Aucune définition du concept école

Disparités entre établissements

• Belgique– Etablissement et Implantation– Pisa 2000: BFR=implantation et BFL=établissement– PISA 2003: BFR=établissement et BFL=implantation

• France : collège et lycée:– Dans PISA, on ne décrit aucun de ces deux types

d’établissements– Conclusions dangereuses

Création de collèges et lycées en BFR

• France: Rho=0.50

• BFR: 0.57

• Avec collèges et lycées: 0.64

Conclusions

• Tout indicateur doit être interpréter à la lumière de la méthodologie employée pour éviter des interprétations hâtives voire erronées