Le suivi et l’évaluation du FEM

Rob D. van den Berg

Directeur

de Atelier de coordination élargie au niveau des groupes de pays

Kinshasa, février 2011

Le suivi et l’évaluation (S&E) et la gestion à objectifs de résultat (GOR) pendant FEM-5

Politique de suivi et d’évaluation pour FEM-5

Exigences minimales Participation des points focaux Planification de l’évaluation pour FEM-5

2

Le suivi et l’évaluation et la gestion à objectifs de résultat

pendant FEM-5

4

Le suivi est l’un des principaux instruments de la gestion à objectifs de résultat.

L’évaluation est destinée à vérifier la « réalité » du suivi et de la GOR.

Le suivi et la GOR indiquent si l’organisation est « bien engagée ».

L’évaluation indique si l’organisation est « sur la bonne voie ».

Deux objectifs primordiaux : Promouvoir la responsabilisation en vue d'atteindre les

objectifs du FEM grâce à la détermination des résultats, de l'efficacité, des processus et de la performance des partenaires qui s'occupent des activités du Fonds

Promouvoir la responsabilisation en vue d’atteindre les objectifs du FEM en évaluant les résultats, l’efficacité, les procédures et la performance des partenaires participant aux activités du FEM.

Promouvoir l'apprentissage, la rétroaction et l'échange de connaissances sur les résultats et les enseignements tirés entre le FEM et ses partenaires, comme fondement de la prise de décisions sur les politiques, les stratégies, la gestion des programmes et les projets, et pour améliorer les connaissances et la performance.

5

6

• Au niveau du portefeuille : suivi des progrès réalisés en vue d’obtenir les effets escomptés

• Terminologie normalisée : respecter la cohérence dans tous les domaines d’intervention

• Apprentissage : intégrer les enseignements tirés dans les décisions relatives à la gestion

• Rétroaction : Un cadre cohérent pour une meilleure prise de décisions

Conception du projet et du programme

Mise en œuvre Évaluation

Analyse du cadre logique/cadre de résultats

Plan de S&E

Gestion, suivi et apprentissage

Suivi des progrès ; correction à mi-parcours au besoin

Évaluations finalesEnseignements tirés

Enseignements tirés ; bonnes pratiques

D’après Results Focus in Country Assistance Strategies, Banque mondiale, juillet 2005, p. 13

7

Niveau opérationnel(ascendant)

Niveau institutionnel(descendant)

Objectifs du projet

But du domaine d’intervention

Objectifs straté-

giques du FEM

Objectifs du domaine

d’intervention

Impacts des effets positifs pour

l’environnement mondial

EffetsRésultats

8

Au niveau du projet : Rapport sur le démarrage du projet, les retards et les

annulations Présentation du rapport de mise en œuvre du projet

(PIR) Présentation des outils de suivi

Entités d’exécution : Rapport donnant un aperçu du portefeuille Rapports des points focaux

Contribution au rapport annuel de suivi

Ces informations doivent être transmises aux points focaux

9

Le rapport annuel de suivi est le principal instrument de notification du système de suivi du Secrétariat du FEM

Donne un instantané de la bonne santé globale du portefeuille de projets du FEM de l’exercice

Ce rapport se fonde sur les rapports d’exécution des projets présentés par les Entités d’exécution

10

Une NOUVELLE politique de suivi et d’évaluation du FEM a été approuvée par le Conseil en novembre 2010 Elle repose sur la version précédente de la politique de

S&E du FEM (2006)

Cette politique confirme les normes et règles de S&E

Elle énonce les exigences minimales de S&E applicables aux activités du FEM et aux attributions et responsabilités des intervenants du FEM

Elle sera mise en application compte tenu de conseils dispensés sur des questions précises

11

Politique de suivi et d’évaluation pour FEM-5

Référence à la gestion à objectifs de résultat du FEM (GOR)

Définition précise des rôles et attributionsRôle renforcé des points focaux opérationnels du FEM

en matière de S&EÉchange de connaissances et apprentissage renforcés Inclusion de programmes et de projets mis en œuvre

conjointementDonnées de référence pour le S&E établies avant

l’accord du Directeur généralNouvelle exigence minimale concernant

l’engagement des points focaux opérationnels du FEM dans les activités de S&E des projets et programmes

13

14

Projets et programmes du FEM

Rapports d’exécution de projets/programmes Documents de suivi des projets/programmes Évaluations finales

Rapports annuels d’évaluation Bilan global (présenté à l’Assemblée) Programme de travail et budget annuels

Rapport annuel de suivi Réponse de la direction Documents de programmation et indicateurs Gestion à objectifs de résultats

Conseil du FEM

Rapports d’exécution de projets/programmes Rapports sur le portefeuille des agents Documents de projet avec plans de S&E

Evaluations organisationnelles

Évaluations indépendantes de projets et programmes

Evaluations de projets et programmes

Secrétariat du FEM Bureau

d’évaluation du FEM

Unités d’évaluation

des Entités d’exécution

Bureaux de coordination

des Entités du FEM

La direction doit répondre à tous les rapports d’évaluation et de performance que le Bureau de l’évaluation du FEM présente au Conseil du FEM

Le Conseil du FEM tient compte de l’évaluation et de la réponse de la direction pour prendre une décision

Le Bureau de l’évaluation du FEM présente un rapport annuel sur la suite donnée aux décisions (Relevé d'interventions de la direction)

Dans le cas des évaluations de portefeuille-pays, ceux-ci ont la possibilité d’exposer également leur point de vue au Conseil

15

Le S&E contribue à l’acquisition de connaissance et à l’amélioration de l’organisation

Le public cible devrait avoir accès aux constatations et aux enseignements de manière conviviale.

Les rapports d'évaluation devraient être soumis à une stratégie de diffusion dynamique

L'échange de connaissances permet aux partenaires de tirer parti des enseignements tirés en acquérant des connaissances approfondies sur leur expérience

But de l’échange de connaissances dans le FEM : promouvoir une culture d'apprentissage promouvoir l'application des enseignements tirés rétroagir dans le cadre de nouvelles activités

16

La gestion des

acquis permet

d’améliorer la

performance

par

l’apprentissage

17

Niveaux du suivi et de l’évaluation, entités responsables au sein du FEM

Conseils

Surveillance t

Politique de S&E

Bureau de l’évaluation

du FEM, Partenaires de

l’évaluation

CONSEIL

Environnement favorable

STAP

Bureau de l’évaluation

du FEM

Secrétaria du FEMt, Entitésd’exécution du FEM

Pays partenaires,

ONG, secteur privé ,

populations locales

STAP : Groupe consultatif pour la science et la technologieOverall Performance Study : bilan globalProject, Program, Country Portfolio, Thematic, Cross Cutting, Impact, Process and Performance Evaluations :évaluations de projet, de programme, du portefeuille-pays, thématiques, transversales, d’impacts, de processus et de performancePortfolio and Program Reviews, Annual Implementation Reports, Annual Monitoring, Tracking Tools, Mid-Term Reviews : examens de portefeuilles et de programmes, rapports annuels d’exécution de projet, suivi annuel, outils de suivi, examens à mi-parcoursProject Indicators, Monitoring, Data Gathering, Supply of Information : Indicateurs de projet, suivi, collecte de données, fourniture d’informations

Partenaire Principaux rôles et responsabilités

Conseil du FEM Élaboration de politiques de S&E/surveillance des fonctions de S&E/environnement favorable au S&E

Bureau de l’évaluation du FEM Évaluation indépendante du FEM/supervision des évaluations de projets et programmesSurveillance de la pertinence, de l’exécution et de la qualité globale des systèmes de suivi.Définition des exigences minimales de S&E du FEM/Échange et diffusion des connaissances en matière d’évaluation

Secrétariat du FEM Établissement de cadres de résultats aux niveaux des domaines d’intervention et de l’institution.Suivi du portefeuille du FEM pour toutes les Entités d’exécution et les domaines d’interventionSoumission de rapports de suivi du portefeuille et intégration des enseignementsExamen des exigences de S&E du FEM dans les descriptifs de projets et programmesCoordination des activités de gestion des acquis en partenariat

Groupes opérationnels des Entités d’exécution du FEM

Suivi du portefeuille du FEM des Entités d’exécutionPrésentation de rapports sur l’avancement des projets, programmes et portefeuilles des Entités d’exécution, les résultats, les acquis et enseignements/suivi au niveau des projets et programmes/gestion adaptative de l’exécution des projets et programmes/Participation systématique des partenaires nationaux et échange d’informations sur le S&E des projets à l’échelon national

Groupes d'évaluation des Entités d’exécution du FEM

Évaluations indépendantes des projets et programmes et/ou des Entités d’exécution du FEMIntégration du FEM dans l'évaluation pertinente des Entités d’exécution

STAP (Groupe consultatif pour la science et la technologie)

Conseils d’ordre scientifique/technique en matière de S&ESoutien à des indicateurs scientifiques et techniques Soutien à la gestion des acquis et à l’échange d’informations

Points focaux opérationnels du FEM Collaboration en matière de S&E au niveau du portefeuille, des projets et des programmes

Autres parties prenantes(ONG, organisations de la société civile, chercheurs)

Participation à des activités et mécanismes de suiviPrésentation de points de vue et de perceptions au sujet des évaluations

18

Durabilité

Intrants

Extrants

Effets

Impacts

19

Le projet est-il bon ou utile ?

Mon investissement (ou mes efforts) a-t-il été récompensé ?

Ai-je payé ou fait trop ?

RésultatsLe projet est-il durable?

20

Exigences minimales de S&E

Conception de plans de S&E Plan de S&E concret et intégralement budgétisé ayant

l’aval du Directeur général pour les projets de grande envergure et l’approbation du DG pour les projets de moyenne envergure

Indicateurs SMART Les projets doivent être harmonisés avec les cadres de

résultats des domaines d’intervention du FEM Données de référence pour le S&E ayant l’aval du DG Examens à mi-parcours (s’ils sont nécessaires ou

prévus) et évaluations finales inclus dans le plan Montage Structure organisationnelle et budget de S&E

22

Mise en œuvre des plans de S&ELe suivi et la supervision du projet/programme

supposent l’exécution du plan de S&E : Indicateurs SMART liés au processus/à l’exécution Indicateurs SMART liés aux résultats Base de référence du projet intégralement établie,

et données recueillies avant de pouvoir examiner les progrès

Structure organisationnelle du S&E opérationnelle, et budget dépensé comme prévu

23

Évaluations de projets/programmes : Tous les projets et programmes de grande envergure

seront évalués à la fin de leur exécution. Les évaluations doivent :

être réalisées de manière indépendante de la direction du projet ou examinées par le service d'évaluation de l’Entité d’exécution du FEM

Respecter les normes de l’Entité d’exécution visée déterminer au moins si les extrants et les effets ont été atteints, décrire

la probabilité de la durabilité des effets à l'achèvement du projet, et indiquer si les première et deuxième exigences minimales applicables au S&E ont été remplies

contenir les données de base de l'évaluation (y compris le mandat), les données de base du projet, les enseignements tirés

être envoyées au Bureau de l'évaluation du FEM au plus tard, 12 mois après l'achèvement de l'exécution du projet

Des directives d’évaluation des projets de moyenne envergure/activités habilitantes seront élaborées.

24

Participation des points focaux opérationnels Les plans de S&E doivent indiquer les modalités de

participation des points focaux opérationnels (PFO) Les PFO doivent être informés des activités de S&E, y

compris les examens à mi-parcours et les évaluations finales, recevoir des versions préliminaires de ces documents pour observations ainsi que les rapports finals

Les PFO sont invités à contribuer à la réponse de la direction (le cas échéant)

Les Entités d’exécution du FEM prennent note de l’application de cette exigence dans les projets et programmes financés par le FEM

25

Participation des points focaux opérationnels

Suivre l’évolution du soutien du FEM à l’échelon national. Tenir les parties prenantes informées et les consulter sur les

plans, l’exécution et les résultats des activités du FEM dans le pays.

Diffuser des informations sur le S&E, promouvoir l’exécution des recommandations de l’évaluation et les enseignements tirés.

Aider le Bureau de l’évaluation, premier point d’entrée dans un pays, à :

Identifier les principales parties prenantes concernées, Coordonner les réunions, Établir les ordres du jour, Coordonner les réponses des pays à ces évaluations.

27

Stratégie transsectorielle de renforcement des capacités de FEM-5 : Cinquième composante : Renforcer la capacité à surveiller et

évaluer les impacts sur l'environnement et l'évolution de la situation en la matière

Doit avoir la priorité dans le plan d’auto-évaluation nationale des capacités à renforcer (ANCR)

Le plan de renforcement des capacités doit être formulé en tant que projet de moyenne envergure, ou intégré dans une proposition plus large, sous forme de projet de moyenne ou grande envergure - dans le cas d’un projet de moyenne envergure, le cofinancement doit être de 1:1

La formation de partenariats régionaux peut être envisagée Financement de 44 millions de dollars minimum réservé au

renforcement des capacités

28

Le soutien apporté aux ANCR était l’une des approches visant à mettre en œuvre la stratégie du FEM en matière de renforcement des capacités et les directives données au FEM et découlant des conventions des Nations Unies

L’ANCR vise à cerner les priorités à l’échelon des pays et les besoins de renforcement des capacités en vue de traiter les problèmes liés à l’environnement mondial ; approche holistique et à long terme, à l’initiative des pays et pilotée par les pays

En août 2010 : 153 ANCR approuvées (USD 28,7 millions), 119 achevées (PNUD : 76 % ; PNUE : 23 %; BM : 1 %) 23 secondes phases approuvées pour donner suite aux

recommandations des ANCR (davantage dans FEM-5) Programme mondial d’aide pour les processus d’ANCR (achevé)

Évaluation en cours de préparation; rapport attendu pour la session du Conseil du FEM de novembre 2011

29

Dans quelle mesure les ANCR ont-elles répondu aux besoins et priorités de votre pays ? Ont-elles été pertinentes pour faciliter l’application des conventions ?

Comment les ANCR ont-elles été élaborées ? Quels étaient les participants ?

Quels sont les principaux résultats positifs et autres des ANCR ?

Le renforcement des capacités a-t-il été amélioré au cours de la mise en œuvre des ANCR ? Citer des exemples précis.

Les capacités ont-elles été renforcées durablement ? Citer des exemples précis.

Autres points à débattre

30

Planification de l’évaluation pour FEM-5

32

Consolidation et renforcement des quatre axes d’éléments d’évaluation : Examens de portefeuilles-pays : jusqu’à 15 pendant FEM-5 Évaluations d’impact : l’accent est mis sur les eaux

internationales et d’autres travaux sur les impacts supplémentaires dans d’autres domaines d’intervention

Évaluations des résultats : poursuite et renforcement de l’examen annuel de l'exécution des projets et examens indépendants des procédures

Évaluations thématiques : stratégies liées aux domaines d’intervention et adaptation

Ces axes d’éléments d’évaluation permettront de dresser un cinquième bilan global en temps utile et nécessitera moins de travail supplémentaire que le quatrième bilan global.

Vérification et évaluation des effets et progrès accomplis au regard des impacts escomptés

Maintien de la couverture du processus de réforme : cycle et modalités des projets du FEM, accès direct, Système transparent d'allocation des ressources (STAR), paragraphe 28

Meilleure compréhension du rôle catalyseur du FEM Évolution de l’appropriation et rôle moteur des pays Évolution des problèmes liés à l’environnement mondial et

pertinence du FEM au regard des conventions Examen plus approfondi des stratégies des domaines

d’intervention, y compris la gestion durable des forêts Meilleure compréhension de l’efficacité du FEM à long

terme

33

Des missions ont été conduites en Afrique sub-saharienne en 2007-2008 Dans ce groupe de pays : le Cameroun (rapport n° 46) Mission menée au Cameroun très instructive et positive

Prochaine mission en Afrique sub-saharienne : en 2013, en temps utile pour être incluse dans le cinquième bilan global Le Bureau de l’évaluation souhaite porter de 4 à 5 le nombre

d’examens de portefeuilles-pays en Afrique sub-saharienne, sous réserve du budget du Bureau de l’évaluation pour FEM-5

La sélection n’est pas terminée, mais dans ce groupe de pays, le Congo et la République centrafricaine sont candidats

34

Merci de votre attention!