Évaluation d’impact dupotentiel d’amélioration des résultats des

mesures incitatives destinées aux enseignants

Deon FilmerDevelopment Research Group, La Banque mondiale

Séminaire sur la prise de décision fondée sur l’expérience dans le domaine de l’éducationProgramme d’évaluation d’impact de l’éducation en Afrique (APEIE)

Accra, Ghana10-14 mai 2010

Mesures incitatives destinées aux enseignants

• Comment s’assurer que les enseignants font le plus d’effort possibles ?

Absentéisme des enseignantsPourcentage des enseignants absents le jour d’une visite non annoncée dans l’école

Équateur Indie Indonésie Papouasie Nouvelle Guinée

Pérou Zambie Ouganda0

5

10

15

20

25

30

Mesures incitatives destinées aux enseignants

• Motivation intrinsèque• Motivation extrinsèque• Modèles d’amélioration des mesures incitatives :

– Normes plus élevée à l’entrée, moyenne et gradients des paiements plus élevés, progression de carrière liée aux compétences et aux performances

– « Enseignants contractuels » – engagement local, pas de titularisation, performances évaluées directement par la communauté scolaire

– « Payer pour les performances » – paiement de bonus liés aux efforts et/ou aux résultats

Comment les mesures incitatives peuvent-elles conduire à de meilleurs résultats ?

• Qualité du personnel– À l’entrée : L’accréditation et les mesures incitatives basées sur le mérite encouragent les

bons professionnels de l’enseignement à rejoindre le système éducatif

– Dans les régions éloignées : Des mesures incitatives financières liées à la localisation améliorent l’équité dans l’affectation géographique des enseignants

• Une présence et des efforts accrus– L’engagement et le suivi des performances décentralisés des enseignants améliorent les

taux de présence et à les efforts des enseignants

– Les systèmes de paiement pour les performances stimulent l’amélioration globale de la qualité ainsi que la qualité de l’enseignement (au moins à cours terme) et améliorent donc les scores réalisés aux tests par les élèves

• Des efforts soutenus– Les incitations liées à la carrière des enseignants encouragent le maintien des efforts des

enseignants et améliorent donc les performances des élèves

• L’hypothèse (testable de manière empirique) est qu’une meilleure qualité et des efforts accrus augmentent l’apprentissage

Sujet du jour : Les systèmes de paiement pour les performance des enseignants

• Relient les paiement aux performances– Mesurées par des testsNote : peuvent aussi être liés aux efforts

• Exemple : présence en salle de classe au début et à la fin de la journée

Systèmes de paiement pour les performance des enseignants : inconvénients potentiels

• Supposent que l’enseignant sait comment améliorer sa façon de donner cours

• Il est difficile de comptabiliser les caractéristiques du corps estudiantin

• Effets pervers au niveau des élèves :– Enseignement en fonction des tests– Manipulations dans le choix de ceux qui passent les tests

• Effets pervers au niveau des enseignants: – Démoralisation– Diminution de la motivation intrinsèque

L’évaluation d’impact aidera à comprendre les compromis entre les avantages et les inconvénients potentiels des mesures incitatives

Étude de cas 1: Mesures incitatives en Inde

• Paiement pour les performances des enseignants : constat expérimental réalisé en Inde

• Par Karthik Muralidharan (University of California San Diego) et Venkatesh Sundararaman (Banque mondiale)

9

Localisation de l’étude• État indien de l’Andhra Pradesh

(AP)-5e État le plus peuplé de l’Inde

8 Population de 80 millions -23 districts (2 à 4 millions chacun)

• Proche des moyennes pour la totalité de l’Inde pour beaucoup de mesures du développement humain

Inde AP

Scolarisation (6-11) (%) 95,9 95,3

Alphabétisation (%) 64,8 60,5

Absentéisme des enseignants (%) 25,2 25,3

Mortalité infantile(pour 1000) 63 62

Conception des mesures incitatives• Les enseignants ont reçu des bonus en plus de leur salaire normal, sur la

base de l’amélioration moyenne des scores au test de tous les élèves de l’année/de l’école par rapport aux références – Matières considérées : mathématiques et langue– Documents de l’évaluation conçus par une agence de test indépendante (EI)– Évaluations conduites par une ONG indépendante (APF)

• Formule pour le bonus– 500 roupies de bonus par point de pourcentage d’amélioration des scores

moyens– Calibrée pour atteindre 3 % du paiement annuel (et égale aux traitements à

l’entrée)• Basé sur l’amélioration absolue (taux par contrat ou unitaire) au lieu d’une

compétition pour un prix fixe (tournoi)– Les contrats dominent pour les agents prudents– Plus grande transparence du système incitatif avec les contrats– Chocs ordinaires petits par rapport aux chocs au niveau de l’école/de la classe – Mêmes coûts d’information– Plus facile de participer dynamiquement à des tournoi récompensant l’ajout de

valeur• À la fois les mesures incitatives de groupes et individuelles ont été étudiées

– resquillage/suivi par les pairs/bénéfices pour la coopération

11

Vue d’ensemble de la conception

 

MESURES INCITATIVES(fonction de l’amélioration de l’apprentissage des

élèves)

INTRANTS (non conditionnels)

 AUCUN BONUS DE

GROUPEBONUS

INDIVIDUEL

AUCUNCONTRÔLE (100 écoles) 100 écoles 100 écoles

ENSEIGNANT CONTRACTUEL SUPPLÉMENT.

100 écoles   

SUBVENTION GLOBALE SUPPLÉMENT.

100 écoles   

Résumé de la conception expérimentale• Étude menée sur un échantillon représentatif de 500 écoles

primaires dans 5 districts de l’AP• Tests de référence dans ces écoles (juin/juillet 2005)• Attribution stratifié aléatoire des 100 écoles à chaque traitement (2

écoles par mandal pour chaque traitement) (août 2005)• Suivi des variables du processus tout au long de l’année à travers

des enquêtes mensuelles non annoncées (septembre 05 – février 06)

• Deux cycles de tests de suivi pour évaluer l’impact des différentes interventions sur les résultats de l’apprentissage (mars/avril 2006)

• Entretiens avec les enseignants après le programme et avant que les résultats leur soient communiqués (août 2006)

• Payer les bonus et faire connaître la poursuite du programme (septembre 2006)

Résultats

Note : impact plus petit également observé sur des matières ne bénéficiant pas de mesures incitatives (sciences ; études sociales)

Année 1 surAnnée 0

Année 2 surAnnée 1

Année 2 surAnnée 0

Année 1 surAnnée 0

Année 2 surAnnée 0

Année 1 surAnnée 0

Année 2 surAnnée 0

[1] [2] [3] [4] [5] [6] [7]

Score normalisé ultérieur 0,5 0,553 0,45 0,49 0,418 0,516 0,484(0,013)*** (0,016)*** (0,015)*** (0,017)*** (0,022)*** (0,014)*** (0,014)***

Mesure incitative pour l’école 0,153 0,143 0,217 0,188 0,277 0,119 0,158(0,042)*** (0,035)*** (0,047)*** (0,049)*** (0,055)*** (0,038)*** (0,043)***

Observations 68702 78613 49516 34121 24592 34581 24924R au carré 0,29 0,29 0,23 0,28 0,22 0,32 0,25

Combiné Maths TeluguVariable dépendante = Score normalisé au test final

Mesures incitatives de groupe vs individuelles

Variable dépendante = Score normalisé au test final

A1 sur A0 A2 sur A1 A2 sur A0Combiné Combiné Combiné Maths Telugu

[1] [4] [7] [8] [9]

Score normalisé ultérieur 0,5 0,554 0,451 0,418 0,485

(0,013)*** (0,016)*** (0,015)*** (0,022)*** (0,014)***

Mesure incitative individuelle pour l’école (II)

0,160 0,198 0,271 0,321 0,223

(0,049)*** (0,044)*** (0,058)*** (0,068)*** (0,053)***

Mesure incitative de groupe pour l’école (GI)

0,146 0,087 0,162 0,232 0,092

(0,050)*** (0,045)* (0,058)*** (0,071)*** (0,052)*

Observations 68702 78613 49516 24592 24924

Valeur p stat F (test GI = II) 0,78 0,05 0,12 0,29 0,03

R au carré 0,29 0,3 0,23 0,23 0,25

Notes:

* Significatif à 10 %; ** Significatif à 5 %; *** Significatif à 1 %

Comment le comportement des enseignants a-t-il changé?

-0,110 **

0,124 ***

0,102 ***

0,085 **

0,091 ***

0,181 ***

0,111 ***

0,017

Comportement de l’enseignantÉcoles avecincitations

Écoles aveccontrôle

Valeur p de la différence

Mesures incitatives comparées au contrôle (tous les chiffres sont en%)

Quelle sorte de préparation avez-vous faite? (spontané) (% ayant répondu)

Avez-vous préparé quelque chose de spécial pour les test de fin d’année ? (% de oui)

0,000***

Cours donnés activement au moment de l’observation (%) 0,57

0,24

0,10

Coefficient de l’indicateurde comportement

dans le score au test

Travail à domicile supplémentaire 0,000***

Absentéisme (%) 0,82

Cours/enseignement supplémentairesen plus des heures de classe

0,000***

0,42

0,25

0,15

0,17

0,04

Travail en classe supplémentaire 0,000***

Ont fait subir des tests pratiques 0,000***

0,24

0,44

0,63

0,42

0,46

0,16

0,31

Accordent une attention particulière aux élèves plus faibles

0,000***0,21 0,05

Résumé des résultats• Les écoles bénéficiaires des mesures incitatives font nettement mieux (0,22 SD)

• Les améliorations sont systématiques (au niveau de toutes les années, tous les districts, tous les scores de référence)

• Preuves limitées d’effets hétérogènes du traitement

• Les élèves des écoles bénéficiaires réussissent mieux dans les composants mécaniques et conceptuels des tests mais aussi dans les matières ne bénéficiant pas des mesures incitatives

• Aucune différence entre les mesures incitatives de groupe et individuelles la première année – mais la deuxième année, les mesures individuelles commencent à s’avérer plus performantes que celles de groupe

• Pas de changement au niveau de l’absentéisme, mais les enseignants des écoles bénéficiaires atteignent de meilleurs niveaux pour les activités pédagogiques liées à la présence dans la classe

• Les différences de comportement sont corrélées avec les résultats de l’apprentissage

• Beaucoup plus rentable que les intrants de même valeur

• Les enseignants ont réellement apprécié le programme – cette appréciation ex ante se retrouve dans les performances ex post

Étude de cas 2: Mesures incitatives au Brésil

• Encourager la qualité : évaluer les effets d’un bonus sur les performances éducatives au Brésil

• Par Claudio Ferraz (PUC Rio) et Barbara Bruns (Banque mondiale)

Brésil : L’étude cherche à comprendre…

• Les effets sur les performances des élèves de l’introduction d’un système de bonus basé sur des tests normalisés

• Les variations de l’impact des bonus en fonction des caractéristiques des écoles (ex. : cohésion sociale ; profils des enseignants),

• Les stratégies utilisées pour améliorer les performances

Région de l’étude : État de Pernambouc, Brésil

Caractéristiques de l’étude de cas du Brésil• Le Programme de bonus pour les performances

éducationnelles au Pernambouc a été créé par une loi de 2008

• Son but est de mettre en place des mesures incitatives pour améliorer la qualité de l’enseignement et de récompenser les employés des écoles qui atteignent les objectifs de performance spécifiques aux écoles

• La première année, les objectifs étaient basés sur les performance de 2005 (dernières informations disponibles)

• Trois groupes d’écoles : – Performances élevées– Performances moyennes– Performances élevées

Caractéristiques de l’étude de cas du Brésil

• Mise en œuvre au niveau de l’entièreté du système (pas par expérimentation)

• Analyse causale des impacts utilisant :– La différence dans la différence– Une conception de la régression par discontinuité

exploitant les objectifs annuels et les règles pour les bonus

Méthodologie d’évaluation d’impact

• Différence dans la différence– Compare les performances des écoles d’État du

Pernambouc avec celles des écoles d’État des États voisins, avant le programme de bonus (2005-2007) et après (2009)

• Régression par discontinuité (RD)– Objectifs fixés suivant le groupe de performances

(élevées, moyennes, faibles) auquel appartient l’école

1.5

22

.53

3.5

4M

eta

20

08

La

ng

ue

po

rtu

ga

ise

8a

1 2 3 4IDEPE 2005 Langue portugaise 8a

Illustration de la conception RDObjectifs pour 2008 (pour le portugais) pour chaque école (en fonction des niveaux 2005)

Comment les résultats dans ces écoles…

… diffèrent de résultatsdans ces écoles

Variations exogènes

• La proportion des objectifs atteints par l’école est calculée par :

(progrès réels) / (progrès attendus)

• Les écoles ayant atteint au moins 50 % reçoivent un bonus

• Le bonus est déterminé par le salaire initial et le pourcentage d’objectifs atteints

Brésil : Mesure des résultats

• Apprentissage et redoublement des élèves, présence des enseignants, activités de planification au niveau de l’école ; mais aussi

• Capital fiduciaire et social au niveau de l’école • Comportement des enseignants « à l’intérieur de la

boîte noire » à travers des observations standardisées en salle de classe

• Effets dynamiques de l’octroi ou non des bonus aux écoles sur la stratégie et les efforts des années suivantes… et les écoles savent-elles quoi faire ??

Résultats préliminaires pour les scores aux tests de portugais

Brésil : Méthode de Stalling pour l’observation en salle de classe

• Utilisée dans toutes les écoles étudiées pour mesurer les changements potentiels dans le comportement en salle de classe

Brésil: Exemple de données générées

Utilisation du temps de cours

Années

TOTAL échantillon

3e 5e 9e

1. Activités d’apprentissage

65 % 62 % 68 % 63 %

2. Réorganisation de la salle de classe

25 % 29 % 21 % 25 %

3. Non académique 10 % 9 % 11 % 11 %

 3.1. Enseignant hors de la classe

7 % 7 % 8 % 8 %

Pas d’enseignant 8 % 2 % 4 % 5 %

Merci