Éléments pour la conception d’un système de suivi-évaluation
ParEl Hassen Ould Zein
CMAP
Le 22 juillet 2003
Définitions
« Le suivi est l’évaluation en permanence de l’exécution d’un projet au regard des échéances convenues, ainsi que de l’utilisation par les bénéficiaires du projet, des ressources, de l’infrastructure et des services mis à leur disposition » (BM)L’Évaluation c’est la mesure de l’impact, de la performance et de l’efficacité d’un projet par rapport à ses objectifs initiaux.
Suivi versus Évaluation
Le suivi et l’évaluation sont différents, mais complémentaires : Le suivi est continu, alors que l’évaluation est
ponctuelle Le suivi porte sur les échéances du projet,
alors que l’évaluation se réfère aux objectifs de celui-ci
Le suivi fourni les informations sur l’exécution du projet, alors que l’évaluation permet de mesurer l’impact final du projet
Suivi = court terme, alors qu’évaluation = long terme
Rôle du suivi-évaluation
Bien comprendre les problèmes auxquels le projet
cherche à répondre
Fixer des objectifs pour le projet et ses différentes
composantes
Définir la stratégie, choisir les actions
Définir indicateurs et buts
Mettre en oeuvre
Suivre et évaluer
Collecte et
analyse des
données
Éléments du S§E
Analyse des objectifs du projet/PGM
Définition des besoins de S§E
Identifications des indicateurs Définition des
but chiffrés
Système qui fonctionne
Données
Analyse des objectifs du projet
Le système de suivi est d’abord basé sur les objectifs du projet ou programmePlus les objectifs sont clairs et plus le S§E sera efficaceL’analyse des objectifs du projet/PGM permet de voir si toutes les parties engagées ont la même vision des objectifs et des cibles à atteindre
Analyse des objectifs du projet
L’analyse doit porter aussi bien sur les objectifs à long terme que sur les objectifs de court terme, ainsi que sur les objectifs des composantes du projet ou PGML’analyse doit s’assurer que les objectifs sont réalistes et mesurablesL’analyse doit porter sur les objectifs visés, sur les résultats attendus, sur les activités qui seront réalisées, etc.
Définition des besoins de S&E
De la définition de ces besoins dépendra le système qui sera mis en placeCes besoins dépendent de : la nature du projet De sa taille De son but Des attentes des acteurs
Définition des besoins de S&E
La définition de ces besoins permettra de fixer les objectifs du système de S&ECes objectifs peuvent être : Évaluer les progrès réalisés Dégager l’impact du projet Mesurer l’efficacité de l’utilisation des ressources Retenir les leçons de certaines approches Revoir la conception de certaines activités Mobiliser les communautés Vérifier les attentes des parties engagées quant
aux objectifs du projet…
Les indicateurs
Un indicateur est une variable qui permet de mesurer l’évolution vers les buts fixésPlusieurs catégories d’indicateurs Indicateurs intermédiaires ou de processus
versus indicateurs finaux ou d’impact Quantitatifs ou qualitatifs Endogènes ou exogènes
Type d’indicateurs
IMPACT
PRODUITS
RESULTATS
INTRANTS Ressources financières et physiques
Biens et services produits par le projets
Accès, l’utilisation et la satisfaction
Effet sur les bénéficiaires
Type d’indicateurs
Quantitatif Qualitatif
Dépenses pour les agents agricoles
Qualité de la formation des agents
Nombre d’agents sur place
Motivations des agents, capacité à transmettre
savoir
Amélioration des techniques de
production
Satisfaction des agriculteurs couverts
Nutrition et qualité des terres
Changement dans la perception de
l’indépendance alimentaire future
Type d’indicateurs
IntrantsProduits
RésultatsImpact
Type d’indicateurs
Le CSLP ne respecte pas systèmatiquement la nomenclature présentée : Par exemple dans le domaine de la santé
aucun indicateur d’intrant ou de produit ne figure dans le CSLP (pas d’objectif en matière de budget…)
En revanche pour l’éducation il y a pratiquement un indicateur de chaque catégorie (budget, nombre d’enseignants, taux d’accès et taux d’alphabétisation)
Qualité d’un bon indicateur
1. Direct, c’est à dire il mesure sans ambiguïté les progrès
2. Lien direct avec les interventions
3. Pertinents, c’est dire il mesure les facteurs qui reflète les objectifs
4. Variant entre les groupes, les zones
5. Variant au fil du temps
6. Sensibles aux interventions, il change proportionnellement au changement des éléments mesurés
Qualité d’un bon indicateur
7. Pas manipulables ou sujets à des dérapages (causes extérieures)
8. Faciles à mesurer et à comprendre
9. Fiables
10. Cohérents avec le cycle de prise de décision
11. Désagréges au niveau pertinent
Comment définir les buts chiffrés
Les buts ou cibles sont les niveaux quantifiables des indicateursLes cibles doivent être fixées composante par composanteIl faut tenir compte de la valeur actuelle de l’indicateur pour fixer la cibleIl faut avoir en tête que les progrès sont plus difficiles quand la situation s’améliore
Comment définir les buts chiffrés
Buts Réalistes! Techniquement Financièrement
Techniquement réalistes
Étalonnage:
Historique (e.g. 10 dernières années)
Régional (e.g. moyennes régionales)
Buts Internationaux
Techniquement réalistes
Simulations: Macro: Modèles d‘équilibre partiel,
général Micro: basée sur l’élasticité de
réponse de l’indicateurs aux changements.
Techniquement réalistes
Comparaisons des objectifs du CSLP et des OMD
10
20
30
40
50
60
1990 1995 2000 2005 2010 2015
Années
ODM
CSLP
Techniquement réalistes
Comparaison des objectifs du CSLP et des OMD
0
20
40
60
80
100
120
1990 1995 2000 2005 2010 2015
Années
OMD
CSLP
Les données
Le calcul des indicateurs nécessite l’existence de données, il faut donc que : Prévoir le type, les sources et la fréquence de la
collecte des données dont il a besoin Le responsable de la collecte et la procédure
d’obtention Définir la procédure de tenue des fichiers Choisir le contenu de la base de données Veiller à la fiabilité et à la qualité des données
Composantes d’un système de suivi-
évaluation
Acteurs (utilisateurs, producteurs) Ressources financières, matérielles,
humaines Calendrier d’activités Rôles et responsabilités Cadre législatif/juridique COORDINATION! canaux de
transmission de l’information et rapports formels entre acteurs (obligations et droits).
Un système fonctionnel
Système capable de chercher et d’utiliser les informations pour une meilleure prise de décision
Prise de
décision
Collecte des donné
es
Analyse
Le principaux disfonctionnements de
S&E
Rôles mal définis Structures en concurrence Données tardives, mauvais format, etc. Information non pertinente Information non accessible Manque de confiance Manque de coordination Culture d’utilisation de l’information?…
Réconcilier besoins et données
Le système de suivi ne prévoit pas un plan de collecte et d’analyse des données L’ONS, bien qu’ayant entrepris un schéma directeur de la statistique, n’a pas encore adapté son système de collecte aux besoins du CSLP et de ses capacités par exemple en 2000/2001, il a mené :
L’EPCV 2000 Le RGPH 2000 L’EDS 2000 L’Enquête NUTICOM
Réconcilier besoins et données (suite)
La faiblesse la plus importante du système d’information en Mauritanie demeure l’analyse Celle-ci est limité par :
l’absence de centre de recherche la faiblesse des relations entre les utilisateurs et
les producteurs de données L’absence d’une stratégie dans ce domaine L’absence de culture d’utilisation des donnéees L’absence d’outils adéquats de diffusion et
dissémination de l’information La faiblesse de la qualité des données
Quel type d’évaluation?
Évaluation participative non participative Évaluation externe Évaluation conjointe
Quel type d’évaluation?
Les avantages de l’évaluation participative sont :Favorise l’adhésion des participants au projetFacilite la compréhension des objectifs du projetAugmente les chances de pérennité du projet
Les inconvénients de l’évaluation participative sont :
Nécessite des compétences élevéesConsomme beaucoup de tempsSuppose la mise en place de structure de
communication
Quel type d’évaluation?
Par des évaluateurs externes Cherche à mesurer objectivement les
progrès réalisés et en mesurer l’impact
Conjointe Combine des points de vue externes
à des points de vue internes
Qualité d’un bon indicateur
La qualité des indicateurs1.Faciles à mesurer et à comprendre
Contre exemple : Mortalité maternelle est très difficile à mesurer, en revanche elle est fortement correlée avec la fécondité et le nombre d’acouchements assistés par un personnel qualifié.
2.Variant au fil du tempsContre exemple : Espérence de vie à la naissance
3.Pertinents Contre exemple : Prix du m3 d’eau
Nombre de nouveaux terrains amenagés
Les sources de données
Sources administratives : Le système d’information en Mauritanie
accorde peu de place aux sources administratives, bien que les données administratives soient peu onéreuses.
Ces sources ne sont donc pas très fonctionnelles à l’exception du MEN et du MDRE.
Problème lié à la manipulation des données ( certaines ressources sont attribuées en fonction du nombre d’élèves au MEN)
Les sources de données (suite)
Enquêtes quantitatives : sont nombreuses, mais de faible qualité, par
exemple l’EPCV 88/89, 89/90 95/96 2000/2001, RGPH88 et 2000, EDS2000.
Problème de comparabilité des données ( EPCV90, EPCV1996 et EPCV2000 trois méthodologies différentes).
Programmation des opérations est déconnectée des besoins du CSLP, sauf pour la dernière enquête EPCV.
Les sources de données (suite)
Enquêtes qualitatives : La première enquête a été menée en
décembre 2000 par le PNUD et porte sur un échantillon de 1200 ménages, en plus de 12 focus groupes
Elle permet de compléter les données quantitatives en offrant une meilleure compréhension de la perception et de l’opinion que les populations ont de la pauvreté, de ses déterminants.
Lien entre la stratégie et le système de suivi
Le CSLP s’est appuyé sur le système existant pour faire le diagnostic et fixer les objectifsEn revanche, le système n’a pas suffisamment tiré profit du CSLP pour créer de nouvelles synergies le système statistique continue d’être guidé par une logique de production assez déconnectée de la demande induite par le CSLPAucune stratégie de suivi n’est définie dans le CSLP
Composantes du système?
Très faibles liens entre les producteurs et les utilisateursComparativement à d’autres pays les ressources sont relativement abondantes, mais sont mal réparties dans le tempsIl est important d’améliorer la coordination effective du système.Mieux prendre en compte la demande
Étapes d’élaboration du CSLP
Stratégie nationale de lutte contre la pauvreté en 1994 et PNLCP en 1998Actualisation de la Stratégie nationale de lutte contre la pauvreté en 1999Adoption du CSLP en janvier 2001 (Assises nationales)
Étapes d’élaboration du CSLP (suite)
Approbation du CSLP par le conseil d’administration de la BM et du FMI en février 2001Loi d’orientation sur la lutte contre la pauvretéProcessus d’élaboration du rapport de mise en oeuvre du CSLP : Reconduction du dispositif institutionnel Rédaction d’un rapport Ateliers interrégionaux et assises nationales en
janvier 2002Point d’achèvement attendu au deuxième semestre 2002
Axes de la Stratégie Nationale Lutte de Contre la Pauvreté
1.1. Accélération de la croissanceAccélération de la croissance
3. Développement des RH et de l’accès aux 3. Développement des RH et de l’accès aux services de baseservices de base
4. 4. Renforcement des capacités Renforcement des capacités institutionnelles et de la gouvernanceinstitutionnelles et de la gouvernance
2. Ancrage de la croissance dans la sphère 2. Ancrage de la croissance dans la sphère économique des pauvreséconomique des pauvres