Évaluation d’Impact

Subventions aux COGES

Niger

Atelier APEIE – Accra, Mai 2010Atelier APEIE – Accra, Mai 2010

SommaireSommaire

• Contexte et JustificationContexte et Justification• Motivation pour l’évaluation Motivation pour l’évaluation • Interventions: Subventions aux COGESInterventions: Subventions aux COGES• Questions pour informer la politique Questions pour informer la politique

éducative éducative • Stratégies d’évaluation Stratégies d’évaluation • Durée et Équipes Durée et Équipes • Résultats préliminaires Résultats préliminaires • Difficultés et Limites de l’étude Difficultés et Limites de l’étude • Étapes subséquentes Étapes subséquentes

Contexte et JustificationContexte et Justification

• Programme Décennal de Développement Programme Décennal de Développement de l’Éducation au Niger (PDDE): de l’Éducation au Niger (PDDE): – Meilleure gestion du système éducatifMeilleure gestion du système éducatif– Plus grande participation des communautés Plus grande participation des communautés – Décentralisation Décentralisation

• AGEPA:AGEPA:– Resserrer le lien entre moyens et résultats Resserrer le lien entre moyens et résultats

• Création de COGESCréation de COGES

Projet Pilote de Subventions aux COGES

Motivation pour l'évaluation Motivation pour l'évaluation

• Informer les politiques du gouvernement pour Informer les politiques du gouvernement pour une extension éventuelle du programme au une extension éventuelle du programme au niveau national.niveau national.

• Évaluer l’impact de la mise à disposition de Évaluer l’impact de la mise à disposition de ressources aux communautés sur la qualité ressources aux communautés sur la qualité des services éducatifsdes services éducatifs

• Renforcer la capacité du MEN en vue de Renforcer la capacité du MEN en vue de mettre en place des évaluations d’impact mettre en place des évaluations d’impact (formations théoriques et application (formations théoriques et application pratique)pratique)

• Subvention à 500 COGES dans 2 régions Subvention à 500 COGES dans 2 régions – Minimum 50,000 FCFA (approx. US$100)Minimum 50,000 FCFA (approx. US$100)– Moyenne 100,000 FCFA (approx. US$200)Moyenne 100,000 FCFA (approx. US$200)– Soutenir les plans d’actions de COGESSoutenir les plans d’actions de COGES

• 3 Groupes3 Groupes– Subvention seuleSubvention seule– Subvention avec liste de dépenses interditesSubvention avec liste de dépenses interdites– Subvention avec annonce de contrôle financier Subvention avec annonce de contrôle financier

probableprobable

InterventionsInterventions

• Quelles type d’école bénéficie de subventions? Quelles type d’école bénéficie de subventions?

Rurales ou Urbaines? Grandes ou Petites? Etc.Rurales ou Urbaines? Grandes ou Petites? Etc.

• Quels type d’élève en bénéficie ? Quels type d’élève en bénéficie ?

Filles ou Garçons ? CI ou CM2 ? Etc. Filles ou Garçons ? CI ou CM2 ? Etc.

• Quelles dépenses ont un plus grand impact? Quelles dépenses ont un plus grand impact?

Construction de salle ou achat de matériel? Etc.Construction de salle ou achat de matériel? Etc.

• Le COGES fonctionne-t-il de la ma même manière? Le COGES fonctionne-t-il de la ma même manière?

Participation de la communauté; Composition Participation de la communauté; Composition

des comités; Etc. des comités; Etc.

Questions pour informer la Questions pour informer la politique éducative politique éducative

Stratégie d’évaluationStratégie d’évaluation

• Méthodologie Méthodologie

• Randomisation des écoles situées à Randomisation des écoles situées à moins de 100km des Inspections – 2 moins de 100km des Inspections – 2 régions régions

• Stratification au niveau des IEB, milieu Stratification au niveau des IEB, milieu rural/urbain et soutien par projetrural/urbain et soutien par projet

• 1000 écoles représentatives des régions de Tahoua et Zinder Échantillon 1000 COGES

500 COGES subventionnés

500 COGES témoins

• Questionnaires écoles – COGES Questionnaires écoles – COGES • Observations dans les écoles Observations dans les écoles • Tests de niveau des acquis scolairesTests de niveau des acquis scolaires• Contrôle Financiers dans 84 écoles Contrôle Financiers dans 84 écoles • Données collectées par la DSIDonnées collectées par la DSI

• Présence des élèves – enseignants Présence des élèves – enseignants • Mobilisation de fonds et dépenses par COGESMobilisation de fonds et dépenses par COGES• Activités réalisées dans les plans d’actionsActivités réalisées dans les plans d’actions• Niveau des élèves Niveau des élèves

Collecte de Données - IndicateursCollecte de Données - Indicateurs

• Subventions prévues en Octobre 2007 et Octobre Subventions prévues en Octobre 2007 et Octobre 20082008– Réalité : Évaluation d’une seul subvention, fin 2007/début Réalité : Évaluation d’une seul subvention, fin 2007/début

20082008

• Questionnaires et Tests élèves prévus en Avril/Mai Questionnaires et Tests élèves prévus en Avril/Mai 2008 et Avril/Mai 20092008 et Avril/Mai 2009– Réalité : Avril/Mai 2008Réalité : Avril/Mai 2008

• Contrôle Financier Janvier/Février 2009Contrôle Financier Janvier/Février 2009

• Équipe Équipe – Ministère de l’Éducation (MEN) - AGEPA Ministère de l’Éducation (MEN) - AGEPA – Banque MondialeBanque Mondiale– 2 agences de collecte de données 2 agences de collecte de données

Durée et Équipes Durée et Équipes

• Subventions arrivées Subventions arrivées – Très peu d’erreur de montant ou d’école Très peu d’erreur de montant ou d’école

• Gestion par les COGES:Gestion par les COGES:– Projets réalisés sont dans le plan d’action Projets réalisés sont dans le plan d’action – Diversité des projets réalisés Diversité des projets réalisés

• Constructions, « investissements », manuels scolairesConstructions, « investissements », manuels scolaires• Plus de constructions de salles de classes et clôtures Plus de constructions de salles de classes et clôtures

– Plus grande utilisation des fonds par COGES Plus grande utilisation des fonds par COGES ayant reçu une formation sur la gestion ayant reçu une formation sur la gestion financière financière

Résultats PréliminairesRésultats Préliminaires

Distribution des dépenses

construction

investissement

autrelivres/manuels

fournituresnutrition/hygiène/santé

réparationpétrole/elect

sécuritémobilier scolaire

achat equip

transport

05

10

15

20

25

30

% v

ale

ur

tota

le

En pourcentage de la valeur totale des dépenses

• Retard de mise en place des subventions Retard de mise en place des subventions • Intervention interrompue après 1 anIntervention interrompue après 1 an• Comité de pilotage peu opérationnel Comité de pilotage peu opérationnel

(stabilisation des membres)(stabilisation des membres)• Une seul collecte des donnéesUne seul collecte des données

– Importance des données administrative dans Importance des données administrative dans l’analysel’analyse

• Validité interne: pas d’écoles a plus de 100km Validité interne: pas d’écoles a plus de 100km des IEBdes IEB

• Validité externe: seulement 2 régions du paysValidité externe: seulement 2 régions du pays

Difficultés et Limites de l’étude Difficultés et Limites de l’étude

• Comité de pilotage peu opérationnel Comité de pilotage peu opérationnel (stabilisation des personnes);(stabilisation des personnes);

• Intervention interrompue après 1 anIntervention interrompue après 1 an• Une seul collecte des donnéesUne seul collecte des données

– Importance des données administrative dans Importance des données administrative dans l’analysel’analyse

• Validité interne: pas d’écoles a plus de 100km Validité interne: pas d’écoles a plus de 100km des IEBdes IEB

• Validité externe: seulement 2 régions du paysValidité externe: seulement 2 régions du pays

Difficultés et Limites de l’étude Difficultés et Limites de l’étude

• Analyse des données – en coursAnalyse des données – en cours

• Rapport d’évaluation d’impact – en coursRapport d’évaluation d’impact – en cours

• Note sur la Gestion des écoles par les Note sur la Gestion des écoles par les COGESCOGES

• Dissémination des rapports et résultats Dissémination des rapports et résultats

Étapes subséquentes Étapes subséquentes

Qu’en est-il de la suite?

• BM/MEN Suspension des subventions (il est nécessaire de clarifier les responsabilités de chacun des partenaires);

• Mais l’objectif initial de développer des compétences en évaluation d’impact de l’éducation demeure

Reste à définir des nouveaux créneaux opérationnels (TBE et TBA à recentrer dans le cadre du suivi pédagogique/gestion de l’école)

Merci à vous!Merci à vous!

Questions & Questions & ContributionsContributions

Stratégie d’évaluation (2/2)Stratégie d’évaluation (2/2)

• Calcul de Puissance : SubventionsCalcul de Puissance : Subventions• Puissance: 80%, Niveau de Confiance: 95%Puissance: 80%, Niveau de Confiance: 95%

• Rétention et Acquis ScolaireRétention et Acquis Scolaire

• Considérations:Considérations:

• Corrélation Intra-clusterCorrélation Intra-cluster

• Possibilité que les subventions n’arrivent pas dans toutes Possibilité que les subventions n’arrivent pas dans toutes les écolesles écoles

• Calcul de Puissance : Interventions d’information Calcul de Puissance : Interventions d’information au sein du groupe du traitementau sein du groupe du traitement• Suffisamment pour détecter un effet « moyen » Suffisamment pour détecter un effet « moyen »

• Pas possible d’élargir l’échantillonPas possible d’élargir l’échantillon

• Contrôles financiers sont cher, donc pour justifier Contrôles financiers sont cher, donc pour justifier généralisation il faut un grand effetgénéralisation il faut un grand effet