36
OPS5 Progrès vers la OPS5 Progrès vers la réalisation d'un impact réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Embed Size (px)

Citation preview

Page 1: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

OPS5 Progrès vers la réalisation d'un impactOPS5 Progrès vers la réalisation d'un impact

1

Carlo CarugiAgent principal d'évaluationAbuja. October 1-3, 2013

Page 2: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Préparer le terrainPréparer le terrain• Rapport sur le progrès vers la réalisation d’un impact

demandé par la première réunion de reconstitution des ressources

• Ce rapport mettra l’accent sur les questions qui doivent être traitées lors de la reconstitution des ressources pour FEM-5

• En outre: il donne une première impression sur la manière dont les recommandations du premier rapport ont été traitées (sur les projets plurisectoriels et l’adoption à plus grande échelle)

• En outre: les questions de performance apparaissent comme problématiques, alors qu’elles ne sont pas pleinement abordées par les propositions pour FEM-6

2

Page 3: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

QuestionsQuestions

• Portefeuille• Programmation• Impact• Performance/cycle de projet• Gestion axée sur les résultats• Travaux en cours

3

Page 4: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Le portefeuilleLe portefeuille

• Une analyse plus approfondie des projets plurisectoriels

• 102 projets à objectifs plurisectoriels mais non approuvés en tant que projets plurisectoriels ont été ajoutés à l’analyse

• Le total des projets plurisectoriels: 17% de l’ensemble des projets et 22.5% du financement (47% au cours du FEM-5)

• L’analyse des activités plurisectorielles “intégrées” et des activités “non-intégrées” dans les projets

4

Page 5: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Le portefeuille des projets Le portefeuille des projets plurisectorielsplurisectoriels

• Les projets plurisectoriels ont le même pourcentage de projets modéremment satisfaisants et de meilleurs résultats que les projets à un seul domaine d’intervention

• Si l’on s’arrête uniquement à la catégorie des projets jugés satisfaisants et pleinement satisfaisants, les projets à un seul domaine d’intervention enregistrent de meilleurs résultats

• Cel peut être le signe de la relative complexité des projets plurisectoriels

• Les projets plurisectoriels à activités intégrées obtiennent de meilleurs résultats que les projets plurisectoriels à activités “groupées”

• En matière de suivi et d’évaluation, les projets plurisectoriels obtiennent des résultats moins bons que les projets à un seul domaine d’intrevention

5

Page 6: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Les questions liées aux projets Les questions liées aux projets plurisectorielsplurisectoriels

• Les projets plurisectoriels sont susceptibles de traiter efficacement et durablement les questions reliées des différents domaines d’intervention par des activités intégrées

• Le fardeau du processus de suivi et d’évaluation dans le cadre des projets plurisectoriels, tel qu’observé par plusieurs évaluations de portefeuille-pays, est confirmé et doit être traité

• Les propositions pour FEM-6 ne prêtent pas suffisamment d’attention aux projets plurisectoriels

6

Page 7: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

La programmationLa programmation

• Le financement international de l’appui à l’environnement a doublé entre 2007 et 2011

• Le FEM a profité de cette augmentation mais dans une plus faible proportion

7

En million de dollars Le FEMAPD pour l’environnement par des institutions autres que le FEM

2007 878 4 004

2008 381 5 359

2009 516 6 270

2010 505 9 048

2011 1 000 9 550

Tableau 5- Tendances du financement public de l’aide au développement à l’appui de l’environnement par le FEM et par d’autre institutions

Sources : estimations de la banque de données des engagements et des paiements de l’APD- OCDE/CAD et de la banque de données des administrateurs financiers (Fonds d’Intermédiation Financière de la Banque Mondiale)

Page 8: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Financement public mondial disponible> 10 milliards de dollars

Dépenses publiques sur l'utilisation

abusive des ressources > 1000

milliards de dollars

Besoins en matière de financement public mondial> 100 milliards de

dollars

8

Page 9: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

1ère question1ère question

• Les attentes pour FEM-6 ne sont pas aussi positives qu’elles l’étaient pour FEM-5

• Les propositions pour FEM-6 doublent le nombre d’objectifs au niveau des programmes dans les domaines d’intervention par rapport à FEM-5

• Le sous-financement potentiel des domaines d’intervention, des pays et/ou des modalités du FEM doit être discuté et pris en compte lors de la programmation pour FEM-6

9

Page 10: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

L'évaluation à mi-parcours de L'évaluation à mi-parcours de l'exercice NPFEl'exercice NPFE

• Le rapport sera présenté au Conseil en novembre

• Trois questions se posent pour la 2ère réunion de reconstitution des ressources:– Les exercices NPFE étaient très pertinents

pour les pays– La programmation–sauf exceptions– a été

infructueuse– La mise en oeuvre de l’appui a été

largement inefficace

10

Page 11: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

La pertinence de l'exercice La pertinence de l'exercice NPFENPFE

• L’appui à la programmation permet de traiter la “phase du cycle avant-projet” qui reste souvent obscure

• Alors que la programmation a été souvent infructueuse, elle a aidé les pays à mettre en place de meilleurs mécanismes de coordination et de programmation pour l’avenir

• La participation des parties prenantes a augmenté dans plusieurs pays de l’exercice NPFE

11

Page 12: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

L’efficacité de l'exercice NPFEL’efficacité de l'exercice NPFE

• Seul un nombre limité de projets identifiés durant les exercices NPFE a été approuvé

• De nombreux concepts de projet n’étaient pas éligibles pour un appui par le FEM

• Les concepts n’étaient pas en proportion avec les niveaux de financement

• D’autres priorités sont apparues après l’exercice du NPFE

12

Page 13: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

L'efficacité de l'exercice NPFEL'efficacité de l'exercice NPFE

• De longs retards initiaux en raison du choix de la modalité

• Une absence de directive sur l’éligibilité et les niveaux de financement

• Des changements de directives parfois au mépris de la décison du Conseil– Changement: les pays n’étaient pas

autorisés à donner la Fiche d’identité du projet si l’exercice NPFE n’était pas achevé, malgré la demande du Conseil pour qu’ils soient autorisés à le faire

13

Page 14: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

La 2ème questionLa 2ème question

• La programmation de l’appui du FEM aux pays et régions restera cruciale pour FEM-6 et cet appui devrait se poursuivre

• Un exercice NPFE révisé pourrait prévoir l’établissement de priorités pour les questions régionales

• Le suivi des ateliers élargis pour la circonscription pourraient jouer un rôle

• La programmation devrait intervenir à la fin de la période du FEM et non au début d’une nouvelle période

14

Page 15: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

L'impactL'impact

• Demande de la première réunion de reconstitution des ressources de fournir une analyse plus approfondie sur l’adoption à plus grande échelle

• Un ensemble plus grand de projets étudiés• L’analyse a porté sur les facteurs cruciaux qui

accélèrent le progrès vers la réalisation d’un impact

• Une analyse plus nuancée donnera un meilleur aperçu

• Un ensemble de projets plurisectoriels n’ont pas été pleinement intégrés, de sorte que le rapport final de FEM-5 nécessitera plus de travail!

15

Page 16: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

L'impact dans le premier L'impact dans le premier rapportrapport

• Quatre mécanismes ont été identifiés pour une adoption à plus grande échelle

• L’intégration et la reproduction ont tendance à conduire à une adoption à plus grande échelle plus lente que l’extension et la transformation du marché

• Cela signifie que les projets devraient comprendre des éléments de conception qui initient une extension et une transformation du marché

• Les propositions en matière de domaines d’intervention pour FEM-6 (doc. I) semblent préférer l’intégration et la reproduction

• Cela peut être une question de terminologie mais peut aussi conduire à des propositions de projets moins axés sur l’adoption à plus grande échelle

16

Page 17: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

L’adoption à plus grande L’adoption à plus grande échelleéchelle

L’Intégration: Les informations, leçons ou résultats spécifiques du FEM sont intégrés au sein des mandats et initiatives plus larges des parties prenantes tels que les lois, politiques, règlementations et programmes

La Reproduction: Les initiatives appuyées par le FEM sont reproduites ou adoptées à une échelle administrative ou écologique comparable, souvent dans une autre zone ou région géographique

L’Extension: Les initiatives appuyées par le FEM sont mises en œuvre à une plus grande échelle géographique, souvent élargies pour comprendre de nouveaux aspects ou de nouvelles préoccupations qui peuvent être d'ordre politique, administratif ou écologique

La Transformation du marché: Les initiatives appuyées par le FEM ont un effet catalyseur, accélérant la transformation du marché en ayant un impact sur l'offre et la demande de biens et services qui contribuent aux effets bénéfiques sur l'environnement mondial

Page 18: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Définitions de l'impactDéfinitions de l'impact• Les effets positifs et négatifs, primaires et secondaires à long

terme produits par une intervention, directe ou indirecte, intentionnelle ou non intentionnelle (OECD/DAC)

• L’impact sur l’environnement : les changements dans les paramètres biophysiques

• L’impact direct : les changements attribuables à une intervention

• L’ impact à long terme : les changements émergents au fil du temps dans les processus biophysiques de longue durée

• Les échelles d’impact vont de l’impact sur des sites déterminés à l'impact au niveau du système

• Les impacts d’importance mondiale ont également un impact local, mais pas tout impact local est d’importance mondiale

• Les impacts sociaux et économiques sont essentiels pour réaliser un développement durable respectueux de l'environnement

Encadré 1

18

Page 19: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Aperçu de l'ensemble de Aperçu de l'ensemble de l'impactl'impact

DOMAINE D’INTERVENT

ION

NOMBRE DE

PROJETS

DB 234

CC 113

EI 58

DS 20

PP† 33

O 5

POP 10

Total 473*

*18 projets exclus de l’ensemble des projets du FEM-4 et du FEM-5 pour lesquels les rapports d’évaluation finale ne sont pas disponibles ou pour lesquels des informations insuffisantes figurent dans les rapports d’évaluation finale

†comprend uniquement des projets approuvés comme étant plurisectoriels et non les projets mis en oeuvre en tant que tels dans le cadre d’un seul domaine d’intervention

19

Page 20: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Adoption à plus grande échelle Adoption à plus grande échelle lors de l'achèvement du projetlors de l'achèvement du projet

20

Page 21: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Mécanismes pour une adoption à Mécanismes pour une adoption à plus grande échelleplus grande échelle

21

Page 22: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Adoption à plus grande échelle et impact Adoption à plus grande échelle et impact sur l'environnementsur l'environnement

90%

22

Page 23: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Facteurs affectant le progrès vers la réalisation d'un impact

23

Page 24: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

De l'immobilité au progrèsDe l'immobilité au progrès

Plus réussie

Mauvaise conception de projets

Absence d’activités soutenant les résultats des projets

Absence d’appui par les pays

Des processus d’adoption à plus grande échelle ont été initiés par l’utilisation

Autre appui par les parties prenantes

24

L’ADOPTION À PLUS GRANDE ÉCHELLE

Moins réussie

Page 25: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Facteurs affectant le progrès vers la Facteurs affectant le progrès vers la réalisation d'un impact à l'achèvement réalisation d'un impact à l'achèvement

des projetsdes projets

25

Page 26: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

3ème question3ème question• Les questions liées à la conception des projets ont entravé

74% des projets les moins réussis• Ces projets étaient également plus sensibles aux conditions

contextuelles défavorables• Les projets auxquels participent les parties prenantes et qui

comprennent des activités visant à une adoption à plus grande échelle durant la mise en oeuvre ont tendance à mieux s’en sortir malgré des conditions contextuelles défavorables

• La conception et la mise en oeuvre des projets doivent veiller à garantir la participation des parties prenantes, et à allouer des ressources vers des activités soutenant l’adoption à plus grande échelle

• Un réseau de praticiens en matière d’adoption à plus grande échelle pourrait rassembler les expériences des pays et des agences et inclure l’expertise du Comité scientifique STAP, du Bureau de l’évaluation et du Secrétariat du FEM

26

Page 27: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

PerformancePerformance

• Cycle des projects: l’analyse a porté du 30 septembre 2012 au 30 juin 2013

• Le rapport final couvrira jusqu’au 30 septembre 2013

• Conclusions: la norme de 18 mois entre l’approbation du projet par le Conseil et sa validation par le DG n’est pas respectée pour plus de 50% des projets de grande envergure

• Une analyse plus approfondie est effectuée pour savoir pourquoi

• La reconstitution des ressources devrait discuter des questions liées au cycle des projets au cours de sa troisième réunion en décembre

27

Page 28: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Moins de 50%...Moins de 50%...

28

Page 29: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Mais les projets de grande envergure objet Mais les projets de grande envergure objet d'approches programmatiques semblent d'approches programmatiques semblent

prendre moins de temps…prendre moins de temps…

29

Page 30: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

4ème question4ème question

• Les raisons de l’échec à satisfaire la norme de 18 mois font l’objet d’une analyse approfondie

• Le Secrétariat dans ses réponses aux FIP et aux demandes de validation par le DG a été rapide; D’autres facteurs sont examinés.

• Le cycle des projets reste lent et lourd et devra être discuté durant la troisième réunion de reconstitution des ressources lorsque l’analyse finale de FEM-5 sera disponible

30

Page 31: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

GAR et S&EGAR et S&E• FEM-5 a augmenté le nombre de buts, d’objectifs, de

cibles, d’indicateurs et d’outils de suivi• La conformité aux exigences en matière de suivi a

baissé durant FEM-4 et FEM-5– Les notes du Suivi et de l’Évaluation baissent lentement– Les données générées par l’aide du FEM ne sont pas

toujours protégées par les institutions ou disponibles• Le coût du suivi augmente si de nombreux indicateurs

et cibles sont retenus – le budget alloué au S&E n’a peut être pas été suffisant

• La GAR et le suivi doivent trouver le bon équilibre entre le financement des opérations et le financement de la collecte et de l’analyse des données

31

Page 32: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Question liée à la GAR et au Question liée à la GAR et au suivi suivi

• Aucune évaluation des coûts et des avantages d’un suivi approprié de la liste complète des indicateurs de FEM-5 n’a été présentée à la cinquième reconstitution des ressources

• Les travaux en cours sur les outils de suivi remettent en question l'exhaustivité et la fiabilité des données présentées dans la deuxième partie de L’Examen Annuel du Suivi

• Le FEM peut vouloir mesurer trop avec beaucoup de détails

32

Page 33: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

FEM-6 augmenterait-il le FEM-6 augmenterait-il le fardeau?fardeau?

• Les propositions pour FEM-6 présentent une augmentation significative des buts, des objectifs, des programmes et des composants

• Par exemple, les programmes de microfinancement: 4 programmes devraient être introduits au sein du programme de microfinancement, alors que pour FEM-5 le programme de microfinancement n’avait pas de sous-programmes

• L’évaluation conjointe en cours du programme de microfinancement indique que le S&E et la GAR ne sont pas réalistes; ajouter des programmes aggravera sans doute le problème

• Les résultats de la première phase seront disponibles sous peu et pourraient être pris en compte

33

Page 34: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

5ème question5ème question

Le FEM devrait envisager de réduire le fardeau des objectifs, des indicateurs et des outils de suivi, et de réformer son système de gestion axée sur les résultats en conséquence, de sorte que ce qui est mesuré soit mieux mesuré, plus fiable et plus cohérent

34

Page 35: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

Travaux en coursTravaux en cours

• Adaptation• Égalité des sexes• Participation des OSC• Participation du secteur privé• STAP• Santé du réseau• Gestion des connaissances• Co-financement

35

Page 36: OPS5 Progrès vers la réalisation d'un impact 1 Carlo Carugi Agent principal d'évaluation Abuja. October 1-3, 2013

MerciMerci

[email protected]

36