Evaluation des performances des Evaluation des performances des établissements scolaires et amélioration de établissements scolaires et amélioration de la gestion des systèmes éducatifs africainsla gestion des systèmes éducatifs africains

4ème atelier régional AGEPA – Niamey du 16 au 20 février 2009J-Mathieu Laroche - Contact: jm.laroche@poledakar.org

Projet d’appui aux Etats pour la création de système Projet d’appui aux Etats pour la création de système nationaux d’évaluation et de pilotage de la qualiténationaux d’évaluation et de pilotage de la qualité

Le projet d’appuiLe projet d’appui

Dans la lignée d’AGEPADans la lignée d’AGEPA

Promouvoir des systèmes nationaux Promouvoir des systèmes nationaux d’évaluation capables d’assurer une d’évaluation capables d’assurer une gestion locale quotidienne de la qualitégestion locale quotidienne de la qualité

46

51

44

35

35

29

28

24

19

46

41

47

55

37

33

33

28

21

0 10 20 30 40 50 60

Cameroun

Côte d'Ivoire

Burkina Faso

Madagascar

Sénégal

Tchad

Bénin

RCA*

Mauritanie

Mathématiques

Français

Les scores de mathématiques et de français aux tests PASEC de 5ème année(score sur 100)

Source : PASEC et Pôle de Dakar pour la RCA , enquêtes réalisées en 1996 et 2006

Pourquoi la qualité ?Pourquoi la qualité ?

Tchad

Rwanda

Mauritanie

Tanzanie

Comores

Guinée

Ethiopie

Guinée Bissau

Sao Tomé

Burundi

Nigeria

Gambie

Mozambique

Sénégal

Lesotho

Bénin

Gabon

Cameroun

Côte d'ivoire

Guinée equatoriale

Kenya

Malawi

Mali

RDC

Swaziland

Niger

RCACongo

Ghana

Zambie

Togo

Sierra Leone

Angola

50

60

70

80

90

100

110

120

130

140

150

50 75 100 125 150 175 200 225 250

Evolution de l'accès en 6ème année d'études (1970=100)

Evo

luti

on

de

la p

rob

abil

ité

d'a

lph

abét

isat

ion

ave

c 6

ann

ées

d'é

tud

es (

1970

=10

0)

A B

CD

Relation entre progrès quantitatif et qualitatif sur la période 1970-1990

Sources : données EDS, MICS et QUIBB, années 2000 ou proches et calculs Pôle de Dakar

Cameroun Madagascar

1995/96 2004/05 1997/98 2004/2005

Eau courante (robinet à la maison)

61% 81% 78% 88%

Réfrigérateur 59% 85% 87% 95%

Téléviseur 45% 68% 69% 75%

% d’élèves de 5ème année ne disposant pas de certaines commodités ou ne possédant pas certains biens à la maison (PASEC)

Le poids des différents facteurs dans le Le poids des différents facteurs dans le processus d’acquisition des écoles africainesprocessus d’acquisition des écoles africaines

36%

3% 2% 2%3%

24%

0%

5%

10%

15%

20%

25%

30%

35%

40%

Niveau initial Caract.élèves

Caract.classes

Caract.écoles

Caract.maîtres

Effet classe

% d

e v

ariance

exp

liquée

e

Source : PASEC, 10 pays enquêtés

Conclusions Conclusions Insuffisance de données disponibles/ Insuffisance de données disponibles/

exploitables par établissementsexploitables par établissements Problème de qualité des apprentissagesProblème de qualité des apprentissages Grande diversité au sein des pays avec de Grande diversité au sein des pays avec de

fortes inégalitésfortes inégalités Evolution de la composition du public d’élèvesEvolution de la composition du public d’élèves Importance des effets classe – maître – écoleImportance des effets classe – maître – école

→ → Entrée projet d’appui : les systèmes nationaux Entrée projet d’appui : les systèmes nationaux d’évaluationd’évaluation

Les systèmes nationaux d’évaluationLes systèmes nationaux d’évaluation

Exhaustivité des informations par Exhaustivité des informations par établissementétablissement

Enracinement dans le fonctionnement Enracinement dans le fonctionnement courant des systèmes éducatifscourant des systèmes éducatifs

Diffusion d’une culture et de techniques Diffusion d’une culture et de techniques d’évaluationd’évaluation Renforcement des capacités des acteurs du Renforcement des capacités des acteurs du

système éducatif à juger de son fonctionnementsystème éducatif à juger de son fonctionnement Analyse de la valeur ajoutée des établissementsAnalyse de la valeur ajoutée des établissements

Le projet d’appui : ObjectifsLe projet d’appui : Objectifs Faciliter la production régulière d’indicateurs Faciliter la production régulière d’indicateurs

légitimes et simples de performances des légitimes et simples de performances des établissements (données élèves)établissements (données élèves)

Analyser, par les acteurs eux-mêmes, de la variété Analyser, par les acteurs eux-mêmes, de la variété des résultats obtenus. Analyse des effets des résultats obtenus. Analyse des effets environnementaux à partir des données par environnementaux à partir des données par établissement établissement

Développer, à partir des analyses (des différences Développer, à partir des analyses (des différences de résultats entre établissements), les activités de résultats entre établissements), les activités évaluatives et pédagogiques structurantes au évaluatives et pédagogiques structurantes au bénéfice de la qualité des apprentissagesbénéfice de la qualité des apprentissages

MéthodologieMéthodologie

Diagnostic « qualité »Diagnostic « qualité »

Estimation des indicateurs de performance Estimation des indicateurs de performance des établissementsdes établissements

Analyse des indicateurs de performance Analyse des indicateurs de performance des établissementsdes établissements

Diagnostic qualitéDiagnostic qualité

Phase d’expertise de la faisabilité du projet Phase d’expertise de la faisabilité du projet dans un pays, qui implique l’examen:dans un pays, qui implique l’examen: Du système d’examen et de la pertinence de Du système d’examen et de la pertinence de

chacun d’euxchacun d’eux De la chaîne actuelle de collecte, saisie, De la chaîne actuelle de collecte, saisie,

diffusion des résultats aux examensdiffusion des résultats aux examens De propositions de réaménagement des De propositions de réaménagement des

examens et de la chaine informatique de examens et de la chaine informatique de gestion des résultats aux examensgestion des résultats aux examens

Estimation des indicateurs de Estimation des indicateurs de performance des établissementsperformance des établissements

Formation d’ensemble à l’évaluation/analyse Formation d’ensemble à l’évaluation/analyse des donnéesdes données

Présentation des modalités d’action des Présentation des modalités d’action des phases suivantes (activités de questionnement/ phases suivantes (activités de questionnement/ remédiation à mettre en œuvre)remédiation à mettre en œuvre)

Disponibilité des indicateurs dans quelques Disponibilité des indicateurs dans quelques régions → support de sensibilisation aux autres régions → support de sensibilisation aux autres équipes qui seront concernées par la équipes qui seront concernées par la généralisationgénéralisation

Analyse des indicateurs de Analyse des indicateurs de performance des établissementsperformance des établissements

processus d’analyses des écarts de processus d’analyses des écarts de performanceperformance

Ciblage des sites Ciblage des sites mobilisation et organisation des équipes mobilisation et organisation des équipes

d’encadrement, enseignantes, actions d’encadrement, enseignantes, actions collectives à entreprendre (projets collectives à entreprendre (projets mobilisateurs, d’experimentation)mobilisateurs, d’experimentation)

Suivi des actionsSuivi des actions

La valeur ajoutéeLa valeur ajoutée

L’analyse est constituée de trois étapes :L’analyse est constituée de trois étapes : estimation de la relation moyenne entre les résultats à estimation de la relation moyenne entre les résultats à

l’examen et les caractéristiques des élèves prédictives l’examen et les caractéristiques des élèves prédictives de la réussite (Cel)de la réussite (Cel)

R = f (Cel) R = f (Cel) estimation du résultat attendu pour chaque estimation du résultat attendu pour chaque

établissement i (Ri) en fonction des caractéristiques établissement i (Ri) en fonction des caractéristiques moyenne des élèves accueillis (Celi) moyenne des élèves accueillis (Celi)

Ri = f (Celi )Ri = f (Celi ) calcul de la valeur ajoutée par l’établissement par calcul de la valeur ajoutée par l’établissement par

différence entre le taux de réussite observé (Roi ) et le différence entre le taux de réussite observé (Roi ) et le taux attendu (Ri)taux attendu (Ri)

VAi = Roi - Ri VAi = Roi - Ri

L’exemple de la valeur ajoutée calculée par la L’exemple de la valeur ajoutée calculée par la DEP en FranceDEP en France

LycéesLycées Valeur préditeValeur prédite

(base (base nationale)nationale)

Valeur préditeValeur prédite

(Base (Base régionale)régionale)

Valeur réelleValeur réelle Valeur ajoutéeValeur ajoutée

(base (base nationale)nationale)

AA 75,675,6 71,271,2 83,083,0 + 7,4+ 7,4

BB 67,067,0 68,068,0 75,075,0 + 8,0+ 8,0

CC 80,380,3 78,278,2 68,068,0 - 12,3- 12,3

DD 78,778,7 76,176,1 81,481,4 + 2,7+ 2,7

EE 74,274,2 72,072,0 79,279,2 + 5,0+ 5,0

…… …… …… …… ……

…… …… …… …… ……

YY 67,167,1 67,367,3 67,067,0 - 0,1- 0,1

ZZ 90,090,0 93,093,0 84,084,0 - 6,0- 6,0