Nos interventions sont-elles évaluables · Etude N° S4/2014/01 Dépôt légal : 0218/2015/13 ... DTF Dossier technique et financier (ou le document qui en tient lieu) ... Cette

ROYAUME DE BELGIQUE

Service public fédéral

Affaires étrangèresCommerce extérieur etCoopération au Développement

Service de l’Evaluation spéciale de la Coopération belge au développement

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Dépôt légal n° 0218/2015/13

Nos interventions sont-elles évaluables ?

Nos in

tervention

s sont-elles évaluables ?

Service de l’Evaluation spéciale de la Coopération belge au Développement

ROYAUME DE BELGIQUE


Affaires étrangères,Commerce extérieur etCoopération au Développement

Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement


Etude sur les conditions d’Evaluabilité théorique des interventions

de Coopération (co)financées par la Belgique

Avril 2015

L’étude a été menée en interne par le Service de l’Evaluation spéciale de la Coopération belge au Développement.

Les opinions exprimées dans ce document représentent les points de vue des auteurs et ne reflètent pas nécessairement celles du SPF Affaires étrangères, Commerce extérieur et Coopération au Développement

© SPF Affaires étrangères, Commerce extérieur et Coopération au Développement

Avril 2015

Production graphique : Service Communication SPF AE

Impression : Service Imprimerie SPF AE

Etude N° S4/2014/01

Dépôt légal : 0218/2015/13

Dans sa version finale, ce document est disponible en format pdf en français, en néerlandais et en anglais sur le site :

www.diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation, ou auprès du Service de l’Evaluation spéciale.

Le rapport sera cité comme suit :

Service de l’Evaluation spéciale de la Coopération belge au développement/SES (2015), Etude sur les conditions d’évaluabilité théorique des interventions de coopération (co)financées par la Belgique, Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au développement, Bruxelles.

Etude sur les conditions d’évaluabilité théorique des interventions de coopération 3

Avant-propos

Cette version finale est le résultat d’un dialogue entre toutes les parties prenantes à cette étude : Service de l’évaluation spéciale, Direction générale de la coopération au Développement et de l’aide humanitaire, Acteurs de la coopération non-gouvernementale, et consultants indépendants.

Les sources utilisées dans ce rapport qui sont accessibles publiquement sont identifiées. Ce rapport contient également à titre d’exemples concrets, de nombreux extraits issus de documents de préparation d’interventions individuelles. Dans un souci de protection des sources et parce que ce n’est pas notre but de permettre le classement par ordre de qualité des différentes modalités, ou de dossiers techniques et financiers précis, ces extraits sont repris en gras et en italique, mais sans référence. La multitude de ces emprunts à des textes déjà existants montre que ce document est déjà largement une œuvre collective.

Table des matières

Avant-propos ........................................................................................................ 3 Table des matières ................................................................................................ 4 Abréviations et acronymes ..................................................................................... 6 Résumé exécutif ................................................................................................... 9 1. Introduction ................................................................................................. 13 2. Considérations méthodologiques .................................................................... 17

2.1. Présentation des dossiers techniques et financiers....................................... 17 2.2. Méthode d’analyse .................................................................................. 18

3. Notre vision de l’Evaluation de la Coopération belge au Développement ........... 21 3.1. Les principes et critères d’évaluation du CAD .............................................. 21 3.2. Autres définitions .................................................................................... 24 3.3. Approche programme .............................................................................. 24 3.4. Logique d’intervention, théorie du changement ou chaine de résultats ........... 26 3.5. Logique résultant des définitions ............................................................... 27 3.6. Thèmes transversaux, interventions sectorielles et marqueurs du CAD .......... 28 3.7. Gestion axée sur les résultats de développement ........................................ 29

4. Constats d’analyse ........................................................................................ 31 4.1. Informations générales ............................................................................ 31 4.2. Conditions relatives à la pertinence ........................................................... 36 4.3. Conditions relatives à l’efficacité ............................................................... 41 4.4. Conditions relatives à l’efficience ............................................................... 45 4.5. Données liées à l’évaluation de la durabilité ............................................... 48 4.6. Conditions relatives à l’impact .................................................................. 51

5. Conclusions ................................................................................................. 53 6. Conditions préalables à une évaluation ............................................................ 55

6.1. Conditions générales ............................................................................... 55 6.2. Conditions nécessaires à l’évaluation de la pertinence.................................. 62 6.3. Conditions nécessaires à l’évaluation de l’efficacité ...................................... 67 6.4. Conditions nécessaires à l’évaluation de l’efficience ..................................... 69 6.5. Conditions nécessaires à l’évaluation de la durabilité ................................... 71 6.6. Impact .................................................................................................. 77

7. Proposition de schéma standard de DTF d’une intervention ................................ 81 Cadre 1 : Données synthétiques .................................................................... 81 Cadre 2 : Cadre logique ............................................................................... 82 Cadre 3 : Analyse contextuelle ..................................................................... 83 Cadre 4 : Description opérationnelle de l’intervention ...................................... 84 Cadre 5 : Mode de gestion ........................................................................... 86 Cadre 6 : Backstopping, audit, suivi et évaluation(s) ....................................... 87 Cadre 7 : Plan provisoire d’activités (diagramme de Gantt) .............................. 89 Cadre 8 : Stratégie de sortie ........................................................................ 91 Cadre 9 : Budget ........................................................................................ 93 Cadre 10 : Cadre de suivi .............................................................................. 97 Liste des annexes ............................................................................................ 99

Annexe A1 : Termes de référence ....................................................................... 101 A1.1. Introduction .......................................................................................... 101 A1.2. Objet de l’étude .................................................................................... 102 A1.3. Objectifs de l’étude ................................................................................ 102 A1.4. Champ de l’étude .................................................................................. 103 A1.5. Approche et méthode ............................................................................. 105 A1.6. Phases de l’étude .................................................................................. 106


A1.7 Responsabilité pour la gestion et le suivi de l’étude ..................................... 108 A1.8. Equipe de l’étude ................................................................................... 110 A1.9. Chronogramme indicatif ......................................................................... 110 A1.10. Les rapports ........................................................................................ 111 A1.11. Bibliographie ....................................................................................... 112

Annexe A2 : Bibliographie .................................................................................. 113 Annexe A3 : Tableaux des budgets ...................................................................... 115 Annexe A4 : Grille d’analyse utilisée .................................................................... 121

Liste des figures

Figure 1 : Modèle de budget par objectif pour les interventions de coopération gouvernementale ........................................................................................... 115

Figure 2 : Modèle de budget des moyens généraux pour les interventions de coopération gouvernementale ........................................................................ 116

Figure 3 : Modèle de budget général pour les programmes des ACNG (tableau 1)....................................................................................................................... 117

Figure 4 : Modèle de budget des coûts de gestion pour les programmes des ACNG (tableau 2) ........................................................................................... 118

Figure 5 : Modèle de budget des coûts opérationnels pour les programmes des ACNG en Belgique (tableau 3) ........................................................................ 118

Figure 6 : Modèle de budget des coûts opérationnels pour les programmes ’pays’ des ACNG (tableau 4) ........................................................................... 118

Figure 7 : Modèle de budget des coûts opérationnels pour les projets des programmes du FBSA ..................................................................................... 119

Figure 8 : Modèle de budget des coûts de gestion pour les projets des programmes du FBSA ..................................................................................... 120

Liste des tableaux

Tableau 1: Correspondance entre les différentes conceptions de la logique d’intervention................................................................................................... 27

Tableau 2: Approche dite ’du cadre logique en cascade’ ................................... 55

Tableau 3: Analyse et gestion des parties prenantes........................................ 58

Tableau 4: Tableau d’analyse et de gestion des risques ................................... 61

Tableau 5: Tableau d’analyse SWOT - AFOM ..................................................... 62


Abréviations et acronymes

ACNG Acteurs de la Coopération non-gouvernementale

AFD Agence française de développement

AFOM Atouts - Faiblesses – Opportunités – Menaces (voir SWOT)

APEFE Association pour la Promotion de l'Enseignement et de la Formation à l'Etranger

AT (les AT) Les assistants techniques

AT (l’AT) L’assistance technique

CAD Comité d’aide au Développement de l’Organisation de Coopération et de Développement économiques

CIUF Conseil interuniversitaire francophone

CTB Agence belge de Développement (anciennement Coopération technique belge)

DTF Dossier technique et financier (ou le document qui en tient lieu)

DG-D Direction générale de la Coopération au Développement et de l’Aide humanitaire

DSRP Document stratégique de réduction de la pauvreté

EMP Evaluation à mi-parcours

EST Expertise sectorielle et technique

FBSA Fonds belge de Sécurité alimentaire

GARD Gestion axée sur les résultats de développement

IOV Indicateurs objectivement vérifiables

La loi (Sauf mention contraire) la loi du 13 mars 2013 relative à la Coopération belge au Développement

L’Arrêté royal (Sauf mention contraire) l’Arrêté royal du 25 février 2010 portant création d’un service Evaluation spéciale de la Coopération belge au Développement

OCDE Organisation de Coopération et de Développement économique

OG Objectif général

OMD Objectifs du millénaire pour le développement

ONG Organisation non gouvernementale

OS Objectif spécifique


PIC Programme indicatif de Coopération

PIPO Planification des interventions par objectifs

PC Programme de Coopération

PCM Project Cycle Management

PTF Partenaires techniques et financiers

RD Congo République démocratique du Congo

S&E Suivi et évaluation

SES Service de l’évaluation spéciale de la Coopération belge au Développement

SMART Specific, Measurable, Achievable, Relevant and Time bound

SPF AE Service public fédéral, Affaires étrangères, Commerce extérieur et Coopération au Développement

SWOT Strengths – Weaknesses – Opportunities – Treats (Voir AFOM)

VLIR Vlaamse interuniversitaire Raad (Conseil interuniversitaire Flamand)

VVOB Vlaamse Vereniging voor Ontwikkelingssamenwerking en Technische Bijstand (Association flamande pour la Coopération au Développement et l’Assistance technique)

8


Résumé exécutif

L’évaluabilité d’une intervention de coopération est définie par le Comité d’Aide au Développement (CAD) de l’Organisation pour la Coopération et le Développement économique (OCDE) comme: « mesure selon laquelle une activité ou un programme peut être évalué de façon fiable et crédible ».

L’objectif de cette étude est de déterminer les conditions théoriques d’évaluabilité des interventions de coopération au développement ; c’est à dire le contenu minimal des dossiers techniques et financiers (DTF) nécessaire pour permettre l’évaluation objective de ces interventions sur le plan des cinq critères d’évaluation du CAD.

L’approche méthodologique a consisté à comparer le contenu des DTF de vingt-six études de cas avec les définitions données par le CAD des cinq critères d’évaluation et avec la vision que nous avons de l’évaluation en tant que Service de l’Evaluation spéciale de la Coopération belge au Développement (SES).

Cette analyse nous a permis dans un premier temps de déterminer un certain nombre de caractéristiques communes aux trois formes de coopération analysées (coopération gouvernementale, non gouvernementale et par le biais du Fonds belge pour la Sécurité alimentaire) ; et, dans un deuxième temps, de conclure que :

• Les DTF établis pour chaque type d’intervention (coopération gouvernementale, coopération non-gouvernementale, Fonds belge de sécurité alimentaire) possèdent chacun des points forts et des points faibles pour l’évaluabilité de l’un ou l’autre critère. Cependant, aucun dossier d’intervention n’est rédigé de manière à rendre cette intervention objectivement évaluable sur la totalité des critères d’évaluation du CAD. Les critères les plus problématiques étant l’impact, la durabilité et, dans une moindre mesure, l’efficience.

• Les questions d’évaluabilité qui sont les moins bien documentées et les domaines limitants l’évaluabilité ou difficiles/impossibles à évaluer sont:

� les attentes des bénéficiaires;

� le financement du système de suivi-évaluation ;

� la prise en compte des thèmes transversaux;

� La durabilité financière et le suivi après la fin de l’intervention;

� l’impact au sens de la définition du glossaire du CAD et au sens de sa définition dans l’application des méthodes (quasi)expérimentales;

• Il peut y avoir des divergences de vue sur la perception des priorités et sur la pertinence de certaines actions entre les autorités gouvernementales d’une part et les organisations syndicales et les organisations non-gouvernementales (ONG) d’autre part.

• Le fait qu’une intervention soit en théorie, évaluable sur base des éléments contenus dans le DTF ne signifie pas qu’elle soit évaluable en pratique.

• L’utilisation, comme indicateurs de résultats dans des secteurs tels que l’éducation et la santé, des statistiques nationales ou internationales est plus difficile pour des

10

interventions de type ‘projet’ que pour des interventions à caractère national. En effet, les limites géographiques des projets ne coïncident pas fréquemment avec les limites administratives utilisées pour le relevé de statistiques.

• L’évaluation de l’efficacité par les moyens préconisés par les textes légaux et règlementaires est généralement possible et prévue dans les DTF des interventions.

La comparaison des éléments d’informations fournis dans les DTF avec, d’une part la définition donnée par le DAC des cinq critères d’évaluation des interventions de coopération au développement et d’autre part notre propre vision de l’évaluation nous a permis de déterminer les conditions préalables à une évaluation suivantes :

• La notion d’intervention nécessite une compréhension commune à tous les acteurs.

• Le DTF de l’intervention est disponible.

• L’évaluation est une étape prévue dans le cycle de gestion des interventions.

• Le DTF prévoit un système de suivi.

• Le DTF comprend une analyse des parties prenantes, y compris des bénéficiaires et des partenaires locaux.

• La durée et le planning de l’intervention sont détaillés.

• Le budget de l’intervention est détaillé et structuré.

• Un budget spécifique pour le suivi et un budget spécifique pour l’évaluation sont prévus.

• Les risques et suppositions sont analysés ; leur influence sur les résultats est envisagée et appréciée.

• Les objectifs de l’action de développement sont décrits.

• Le contexte dans lequel l’intervention a lieu est décrit et son évolution suivie.

• Les attentes des bénéficiaires et des autres parties prenantes sont décrites.

• La correspondance des objectifs avec les priorités globales est décrite.

• Les politiques du pays partenaire relative à l’intervention sont décrites et analysées de manière critique.

• Le DTF décrit la manière dont les notes stratégiques belges ont été prises en compte.

• L’interaction éventuelle de l’intervention avec tous les thèmes transversaux est mentionnée.

• L’approche est logique ; elle est à trois niveaux et orientée vers les résultats.

• Les deux premiers niveaux (outputs et outcomes) sont pourvus d’indicateurs pourvus de valeur de base et de valeurs cibles.

• Le niveau de réalisation des indicateurs peut être apprécié grâce à des sources de vérification.

• Des indicateurs permettent aussi de mesurer les résultats attendus en ce qui concerne les thèmes transversaux.

• Le budget doit être libellé par résultat et par année d’activité.

• Le DTF décrit la manière dont l’intervention sera gérée.

Introduction


• La gestion de l’intervention est axée sur les résultats.

• Le processus de prise de décision politique est documenté.

• Le DTF décrit comment fonctionne l’institution partenaire ou bénéficiaire.

• Les installations / bâtiments qui abriteront le personnel chargé de la mise en œuvre de l’intervention sont décrits.

• Le mode de gestion des équipements technique et du personnel technique/scientifique local est décrit.

• Le mode de gestion du personnel, du mobilier et des équipements administratifs est décrit.

• Le DTF décrit le mode de financement de l’institution partenaire (ou bénéficiaire) et de ses activités.

• L’intervention s’inscrit dans le milieu socio-culturel dans lequel elle est mise en œuvre.

• Le DTF précise les ressources environnementales nécessaires à l’intervention et les conséquences potentielles sur le climat, la désertification et la biodiversité

• L’impact (ou les impacts) attendu(s) est (sont) décrit(s) et pourvu(s) d’indicateurs spécifiques, mesurables, atteignables et réalistes, pertinents (de l’anglais ‘relevant’) et définis dans le temps (SMART), avec valeur de base, valeurs cibles et sources de vérification

Enfin nous nous sommes servis des nombreuses bonnes idées contenues dans les différents schémas de présentation générique, des meilleurs DTF que nous avons analysés et de nos propres exigences en matière d’évaluation pour proposer au chapitre 7 un nouveau schéma de présentation de DTF.

Les conditions d’évaluabilité supplémentaires nécessaires dans la conduite de la mise en œuvre des interventions sur le terrain fait l’objet d’une étude séparée confiée à des consultants indépendants.


1. Introduction

La pratique de l’évaluation poursuit le double objectif de rendre compte des résultats obtenus et de tirer des leçons du passé pour améliorer le processus de décision à l’avenir. Avant d’entamer une évaluation il convient donc de vérifier si les conditions sont réunies pour faire une évaluation de qualité, indépendante, crédible et utile. Il faut voir si les objectifs de l’intervention sont clairs, si la logique d’intervention tient la route et si un système est mis en place qui permette de collecter des données objectives avant, pendant et après l’intervention.

L’évaluation étant aussi une partie intégrante du cycle d’une intervention, elle n’échappe pas à la volonté des autorités budgétaires de rationaliser au maximum l’usage des ressources disponibles dans un contexte devenant par ailleurs de plus en plus exigeant. Ainsi, lorsqu’une évaluation est envisagée, les premières questions posées portent sur la nécessité, la faisabilité, l’utilité et le rapport coût / bénéfices de la démarche.

Les faits suivants sont actés dans la littérature internationale sur le sujet (Wholey 1970, Dawkins 2010, Rueben 2012) et ressortent également de la lecture de rapports d’évaluation relatifs à des interventions financées par la Belgique:

Depuis de nombreuses années, les équipes d’évaluateurs sont confrontées à de sérieuses limites qui réduisent, souvent indépendamment de leur volonté, la qualité de leurs rapports ; « par exemple1 :

• Les objectifs des interventions sont libellés en termes vagues.

• Les objectifs définis ne sont pas libellés sous forme de résultats à atteindre mais se limitent à énumérer des activités, la distribution de dons ou de ressources.

• La logique d’intervention / théorie du changement manque de cohérence.

• La logique d’intervention est trop générale.

• Les interventions et leurs objectifs ont été conçus sur papier et en chambre, sans tenir compte des personnes impliquées et/ou sans tenir compte de la réalité du terrain.

• L’échantillonnage n’est pas représentatif.

• Il n’y a pas de données de départ (baseline data).

• Les indicateurs ne sont pas clairement définis.

• Les données ne sont pas désagrégées au niveau de la zone d’intervention.

• Les résultats de l’intervention ne sont pas utilisés par manque d’appropriation ou par mauvais ciblage des bénéficiaires potentiels.

• Des interventions censées être clôturées n’ont été mises en œuvre que (très) partiellement. »

1 DFID Report, 2013. “Planning evaluability assessments. A synthesis of the literature with recommendations.” Report of a study commissioned by the Department of International Development.

14

Au niveau belge, voici quelques phrases tirées de rapports de mission ou d’évaluation :

• « Etude baseline de qualité inacceptable

• Propositions insuffisantes pour les mécanismes S&E

• Inadaptation des indicateurs proposés

• Analyse insuffisante des hypothèses et risques

• Appropriation limitée du rapportage des résultats

• Attention insuffisante pour tous les maillons du système de suivi & d’évaluation interne. »

Un attaché de coopération écrivait encore récemment dans son rapport annuel : « Malgré des efforts consentis dans ce domaine, trop de projets et programmes se retrouvent encore sans baseline, avec des indicateurs insuffisamment SMART et avec un suivi-évaluation largement orienté sur les tâches et sur les résultats en amont, oubliant la finalité essentielle de nos activités: l’amélioration des conditions de vie des populations-cibles.»

Et un de ses collègues, plus récemment encore : « Ligne de base, suivi/évaluation et évaluation à mi-parcours : … une étude de ligne de basse a été réalisée …, dont le contenu ne correspond qu’en partie aux exigences de suivi et d’évaluation du projet (cfr. rapport d’évaluation à mi-parcours). La ligne de base n’a pour ainsi dire pas été utilisée dans les rapports annuels du projet. L’évaluation à mi-parcours … constate le manque de documentation et de données fiables. Le rapport final affirme que le projet n’a pas réussi à installer un système de suivi-évaluation. »

Cette opinion est confirmée dans un document de l’AFD qui mentionne2 :

« Plusieurs analyses internes et plusieurs investigations de nature plus scientifique ont montré que les exercices d’évaluation souffraient de carences. En particulier, on note une certaine confusion entre les différentes phases des projets, les objectifs spécifiques et opérationnels à atteindre et les résultats obtenus, et, surtout, l’absence et l’imprécision des indicateurs à utiliser. Tout le monde s’accorde pour conclure que la mise en place d’un bon suivi des résultats principaux, finaux et intermédiaires, sur la base d’indicateurs qualitatifs et quantitatifs, est un chantier ambitieux à bâtir. »

Idéalement3 « l’évaluabilité d’une intervention devrait être considérée dès sa formulation et l’examen de l’évaluabilité faire partie intégrante du processus d’approbation des dossiers. Dans la pratique cependant il y a de nombreuses raisons pour lesquelles des DTF incomplets ou de mauvaise qualité sont néanmoins approuvés ; par exemple :

• Les considérations de cohérence et de qualité technique des dossiers techniques et financiers des interventions de coopération ne sont pas toujours prioritaires.

• La préparation des interventions dure si longtemps que l’on finit par céder aux pressions pour en commencer la mise en œuvre (alors que les conditions de démarrage ne sont pas réunies).

2 Indicateurs d’impact des projets de gestion durable des terres; AFD, Document de travail N°139, septembre 2014 3 Planning evaluability assessments ; DFID Working paper 40 ; 08/2013 ; point 2.10, page 9

Introduction


• Dans un contexte multi-acteur et de décisions décentralisées les objectifs et stratégies des interventions peuvent être définis sur une période en début de projet (inception phase, année zéro,…).

• La conception des évaluations ainsi que les attentes relatives aux résultats de celles-ci varient selon les parties prenantes. »

Conformément aux termes de référence, cette deuxième phase de l’étude sur l’évaluabilité, doit permettre l’établissement d’une liste de conditions nécessaires et suffisantes pour permettre l’évaluation des interventions en théorie. L’évaluabilité ‘théorique’ concerne le design du projet, y compris sa logique d’intervention / théorie du changement. Vérifier l’évaluabilité théorique, c’est vérifier si le dossier technique et financier (DTF), le document de présentation de l’intervention ou tout autre document de même nature rédigé avant la mise en œuvre contiennent les éléments ou prévoient des systèmes de collecte de données qui rendront possible une évaluation objective de l’intervention. L’évaluabilité ‘théorique’ d’une intervention peut être appréciée sur base d’une étude documentaire qui examine si ses objectifs et les moyens pour y parvenir sont clairement décrits. L’examen de l’évaluabilité théorique est clarifié dans ce sens par le CAD de l’OCDE de la façon suivante : « l’appréciation de l’évaluabilité suppose d’examiner à l’avance l’activité projetée afin de vérifier si ses objectifs sont définis de façon adéquate et si les résultats sont vérifiables.» L’examen de l’évaluabilité théorique porte sur des intentions exprimées dans un document. L’examen de l’évaluabilité pratique porte sur des interventions en cours et comporte inévitablement une visite sur le terrain. Pour que l’intervention soit vraiment évaluable, les conditions d’évaluabilité pratique s’ajoutent aux conditions d’évaluabilité théorique.

Pour rappel, l’objectif général de toute notre étude sur l’évaluabilité théorique et pratique n’est pas de déterminer si les interventions actuelles sont évaluables ou non, mais bien de contribuer à rendre les interventions futures évaluables objectivement.

Ce rapport clôture la phase 2 des TdR qui peuvent être consultés en annexe. Il contient au chapitre 2, quelques considérations méthodologiques, au chapitre 3, notre vision de l’évaluation, au chapitre 4 nos constats d’analyse, au chapitre 5 nos conclusions, au chapitre 6 ce que nous considérons être des conditions obligatoires pour assurer l’évaluabilité théorique et au chapitre 7 une proposition de schéma standard de DTF.

L’annexe 1 reprend les termes de référence ; l’annexe 2 la bibliographie, l’annexe 3 les différents tableaux budgétaires et l’annexe 4, la grille d’analyse utilisée.


2. Considérations méthodologiques

2.1. Présentation des dossiers techniques et financiers

L’existence de trois documents génériques a fortement simplifié le travail d’analyse dans la mesure ou la presque totalité des interventions classiques en préparations ou en cours depuis 2013 suivent l’un des schémas proposés par ces documents.

Il s’agit :

• Du schéma de présentation d’un DTF pour une intervention de coopération gouvernementale proposé par l’Agence belge de Développement (CTB).

• Du schéma de présentation d’un programme des Acteurs de la coopération non-gouvernementale (ACNG) (pour les programmes 2014-2016). Ce document contient le canevas de présentation du programme global, le canevas de présentation du programme ‘Nord’ en Belgique et le canevas de présentation des différents programmes dans les pays (ou régions) du Sud.

• Du manuel de procédures du Fonds belge pour la Sécurité alimentaire (FBSA). Ce manuel contient des informations sur le contenu des programmes et un schéma de présentation d’un projet du FBSA. Il contient également un chapitre spécifique consacré au suivi et à l’évaluation.

Seules quelques interventions échappent à ces canevas. Ce sont par exemple les bourses d’études, les fonds d’études et d’expertises, et plus généralement les interventions constituées d’autres interventions plus petites dont la nature et le budget ne sont pas encore déterminés de façon précise au moment de la formulation.

L’on ne s’étonnera donc pas du fait que les grandes différences qui sont apparues dans cette étude entre DTF des interventions étudiées se présentent majoritairement selon le clivage CTB –ACNG – FBSA. En effet, les responsables de la formulation des dossiers ont tous plus ou moins scrupuleusement suivi le canevas de présentation qui leur a été donné, soit par la CTB, soit par les services responsables de la Direction générale de la Coopération au Développement et de l’Aide humanitaire (DG-D). Et donc les DTF contiennent les informations qui leur sont demandées par le canevas et ne contiennent que rarement ce qui ne leur est pas demandé par le canevas, en ce compris les informations potentiellement nécessaires ou utiles à l’évaluation.

Comme toutes les études de cas sont construites autour d’un des modèles précités, il est très vite apparu qu’il était inutile de les multiplier. Nous nous sommes donc limités à l’examen de ces modèles génériques et d’une vingtaine de DTF d’interventions particulières.

Dans les dossiers examinés, les informations nécessaires ou utiles à l’évaluation ne sont pas présentées en ordre utile pour faciliter l’évaluation. Une telle exigence de la part des responsables de l’évaluation serait absurde puisque le premier rôle d’un DTF est de faciliter la mise en œuvre et la gestion de l’intervention. Cela ne signifie pas qu’aucune amélioration visant à faciliter l’évaluation, sans nuire à la mise en œuvre, ne soit possible dans la présentation.

Il est aussi intéressant de constater que le schéma de présentation d’un projet du FBSA mentionne que le dossier technique et financier doit permettre d’apprécier si le

18

projet satisfait aux critères de pertinence pour le développement, cohérence,…, durabilité, efficacité, efficience, impact,…, synergie et complémentarité. De même, le schéma de présentation d’un programme ACNG mentionne également que le programme doit permettre d’apprécier si le projet satisfait aux critères de cohérence, de pertinence pour le développement, …, de durabilité, d’efficacité, d’efficience, …, et de synergie et complémentarité. Le modèle de DTF de la CTB s’interroge, dans son analyse des risques sur les risques de ne pas atteindre les résultats (risques d’inefficacité), sur les risques fiduciaires et de gestion (risques d’inefficience), et sur les risques de manque de durabilité. En théorie donc, tant les DTF des interventions du FBSA que ceux des interventions des ACNG et de la CTB doivent être rédigés de façon à permettre une évaluation ex-ante (= une appréciation) selon les critères d’évaluation standards préconisés par le CAD.

Remarque importante :

La formulation des DTF des interventions de la coopération gouvernementale se fait actuellement dans un cadre législatif et réglementaire modifié par rapport aux cas étudiés. Il s’agit d’une part de la mise en application du quatrième contrat de gestion entre l’Etat belge et la CTB et d’autre part des directives générales en matière de suivi des résultats4.

Ces documents sont trop récents pour être d’application dans l'étude des cas. Il n’y est pas fait référence dans le chapitre 4 relatif aux constats. Par contre les manuels ‘More Results’ ont été utilisés dans la rédaction des chapitres 5 et 6.

2.2. Méthode d’analyse

Suite à une phase de test et de développement du cadre méthodologique de cette étude, un échantillon de dossiers techniques et financiers a fait l’objet d’une analyse basée sur un questionnaire de 68 questions (voir annexe A4). Par rapport à un premier questionnaire, les questions pour lesquelles il était impossible de se prononcer sur base d’un DTF ont été supprimées. Il s’est aussi avéré nécessaire d’ajouter quelques questions pour permettre plus de précisions.

Nous avons prolongé l’analyse des 6 DTF déjà examinés pendant la phase de test par une analyse de 6 schémas types (voir 2.1 ci-dessus) et de 14 DTF supplémentaires. Au total donc 26 cas ont été étudiés. Dans la mesure du possible les différentes cases du cadre d’analyse ont été annotées par une référence à la page du DTF, et inversement les différents DTF examinés ont été annotés par des références au numéro des questions pour lesquelles des éléments de réponse ont été mentionné.

Les résultats ont été portés dans un tableau Excel et triés sur 3 critères pour faciliter l’interprétation des résultats et tenter de mettre en évidence des caractéristiques spécifiques (ou l’absence de caractéristiques spécifiques) à ces différentes variables. Ces 3 critères sont :

• La nature de l’intervention. Les distinctions suivantes ont été faites : programme global, programmes pays, projets Sud (désagrégés en projet mixte, projet Sud d’investissement, projet Sud de renforcement des capacités), fonds d’étude et volet ‘Nord’.

• La nature du partenaire. Les distinctions suivantes ont été faites : CTB, FBSA, ACNG (désagrégés en APEFE5-VVOB6, universités et institutions scientifiques, ONG et syndicats).

4 « MORE RESULTS ; partie I – Monitoring et évaluation, approche et système ; partie II – More results au niveau de l’intervention », CTB, Juin 2013. 5 Association pour la Promotion de l'Enseignement et de la Formation à l'Etranger 6 Vlaamse Vereniging voor Ontwikkelingssamenwerking en Technische Bijstand

Considérations méthodologiques


• Le pays de l’intervention. Les distinctions suivantes ont été faites : universel, Belgique et pays du Sud (désagrégés en Bénin, Burkina Faso, République démocratique du Congo, Mali, Pérou, Rwanda, Tanzanie).

L’analyse des 26 cas nous a permis

• De déterminer un certain nombre de caractéristiques communes aux 3 formes de coopération analysées (coopération gouvernementale, non gouvernementale et par le biais du Fonds belge pour la Sécurité alimentaire). Ces constats sont détaillés dans le chapitre 4.

• De comparer les éléments d’informations fournis dans les DTF avec, d’une part la définition donnée par le CAD des 5 critères d’évaluation des interventions de coopération au développement et d’autre part notre propre vision de l’évaluation. Cette comparaison a servi de base à la rédaction du chapitre 6 qui précise ce qui pour nous constitue les conditions théoriques nécessaires à l’évaluation d’une intervention selon les 5 critères du CAD.

Enfin nous nous sommes servis des nombreuses bonnes idées contenues dans les différents schémas de présentation générique, des meilleurs DTF que nous avons analysés et de nos propres exigences en matière d’évaluation pour proposer au chapitre 7 un nouveau schéma générique de présentation de DTF.


3. Notre vision de l’Evaluation de la Coopération belge au Développement

Dans ce chapitre nous précisons notre vision de l’Evaluation de la Coopération belge au Développement qui s’inscrit d’une part dans le cadre de notre politique d’évaluation7 et d’autre part dans le cadre légal et réglementaire belge et international.

3.1. Les principes et critères d’évaluation du CAD

L’application des critères d’évaluation du CAD est inscrite à l’article 32 de la loi du 19 mars 2013 relative à la Coopération au Développement : « En vue d’atteindre les objectifs de la Coopération belge au développement…, les résultats sont évalués à la lumière des principes (de base) énoncés au chapitre 3 (de la loi) et sur la base des critères déterminés par le CAD ».

L’Arrêté royal du 25 février 2010 portant création d’un service Evaluation spéciale de la Coopération belge au Développement précise la référence aux critères du CAD mentionnés à l’article 32 de la loi, en reprenant in extenso en annexe les principes du CAD pour l’évaluation de l’aide au développement8. Ce document date de 1991 et a par la suite fait l’objet d’explications et de précisions dans d’autres documents officiels produits par l’organisation en matière de suivi et d’évaluation et qui doivent guider le SES dans l’exercice de ses tâches9 :

• Glossaire des principaux termes relatifs à l’évaluation et la gestion axée sur les résultats ; OCDE 2002 ;ci-après dénommé ‘le glossaire du CAD’ ;

• Normes de qualité pour l’évaluation du développement ; OCDE 2010 ;

• Evaluer la Coopération au Développement - Récapitulatif des normes et standards de références ; 2ième édition ; OCDE juin 2010.

Tant les principes du CAD datant de 1999 que les définitions du glossaire datant de 2002 ont depuis lors évolué vers une conception plus rigoureuse explicitée dans les normes de 2010. Pour la suite de ce cette étude et dans l’esprit de permettre à l’évaluation de se prononcer à la lumière des principes énoncés au chapitre 3 de la loi nous nous proposons d’utiliser les termes suivants, selon les définitions suivantes :

Evaluation10 : Appréciation systématique et objective d’une intervention de coopération en cours ou terminée, de sa conception, de sa mise en œuvre et de ses résultats en fonction des critères de pertinence, d’efficacité, d’efficience de durabilité et d’impact. Une évaluation devrait fournir des informations crédibles et utiles permettant d’intégrer les leçons de l’expérience dans le processus de décision des bénéficiaires et des bailleurs de fonds. Le terme « évaluation » désigne également un processus aussi systématique et

7 Politique d’évaluation, Service de l’Evaluation spéciale de la Coopération belge au Développement, SPF AE, mai 2014. 8 Principes du CAD pour l’évaluation de l’aide au développement ; OCDE 1991 (OCDE/GD(91)208) 9 Arrêté royal portant création du service Evaluation spéciale de la Coopération belge au Développement, article 2, §2, alinéa premier. 10 Adapté du glossaire du CAD

22

objectif que possible par lequel on détermine la valeur et la portée d’une action de développement projetée, en cours ou achevée.

Evaluation indépendante : Evaluation effectuée par des consultants externes et gérée par une unité indépendante de l’autorité qui administre l’intervention évaluée.

Evaluation externe : Evaluation effectuée par des consultants externes à l’autorité qui administre l’intervention évaluée.

Evaluation interne : Evaluation effectuée et gérée par des membres du personnel de l’autorité qui administre l’intervention évaluée.

Auto-évaluation : Evaluation effectuée par des membres du personnel qui met en œuvre l’intervention évaluée.

Pertinence : Mesure selon laquelle les objectifs de l’action de développement correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds. Rétrospectivement, la question de la pertinence consiste souvent à s’interroger sur le fait de savoir si les objectifs de l’action ou sa conception sont encore appropriés compte tenu de l’évolution du contexte11.

En d’autres termes, en évaluation ex-post l'évaluateur, ayant mené à bien son évaluation doit se poser la question suivante: « ayant vu les réalisations et apprécié les résultats, pouvons-nous encore dire que l'intervention était pertinente au départ et est encore pertinente aujourd’hui? »

Nous intégrons sous le critère de pertinence la notion de cohérence définie comme la logique interne et l’absence de contradictions entre le discours, les actions et les politiques des partenaires de développement engagés dans une même intervention12.

Nous intégrons également sous le critère de pertinence les notions de risque excessif (risque à occurrence probable et à conséquence grave) et de supposition fatale (supposition dont la non réalisation rendrait l’objectif spécifique inatteignable).

Nous intégrons également sous le critère de pertinence les notions de pertinence pour l’environnement, de pertinence pour l’égalité homme-femme et plus généralement de pertinence au regard de tous les autres thèmes transversaux. Pour nous, une intervention dont les bénéfices nets pour l’environnement, pour l’égalité homme – femme ou pour tout autre thème transversal sont négatifs n’est pas pertinente. La pertinence au regard des thèmes transversaux n’entraine pas la nécessité qu’un objectif de l’intervention soit consacré à ces critères.

Efficacité (succès, réussite) : Mesure selon laquelle les résultats immédiats, à court et à moyen termes de l’action de développement ont été atteints, ou sont en train de l’être13.

Nous intégrons sous le critère d’efficacité la notion de complémentarité, définie comme partage des tâches et absence de chevauchement entre les actions d’un ou de plusieurs partenaires de développement de manière à ce que chaque action vienne s’ajouter aux autres pour les compléter14.

Nous intégrons également sous le critère d’efficacité la notion de coordination définie comme les activités d’un ou de plusieurs partenaires de développement à fin de

11 Glossaire du CAD. 12 http://www.three-cs.net/, et définition Larousse 13 Glossaire du CAD 14 http://www.three-cs.net/, et définition Larousse



(i) mobiliser des ressources d’aide au développement et (ii) d’harmoniser les politiques, programme, procédures et pratiques dans un soucis d’efficacité15.

Efficience : Mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en résultats de façon économe16.

Nous intégrons sous le critère d’efficience la notion de synergie définie comme « Mise en commun de plusieurs actions concourant à un effet unique et aboutissant à une économie de moyens » (définition Larousse). Les résultats d’un programme ‘synergie’ sont la valeur ajoutée supplémentaire ou la différence entre les résultats produits par un programme de plusieurs composantes et la somme des résultats que chaque composante aurait pu atteindre individuellement. La synergie peut aussi avoir des effets positifs en termes de pertinence, d’efficience et de durabilité. La synergie se distingue de la complémentarité par le fait que les résultats d’interventions complémentaires s’additionnent sans valeur ajoutée supplémentaire.

Durabilité : Continuation des bénéfices résultants d’une action de développement après la fin de l’intervention et sur le long terme. Situation par laquelle les avantages nets sont susceptibles de résister aux risques17.

Développement durable : développement axé sur la satisfaction des besoins actuels, sans compromettre les besoins des générations futures. Sa réalisation nécessite un processus de changements prenant en compte les limites et la nécessité de préservation des ressources en adaptant l’affectation des investissements, le ciblage du développement technologique et les structures institutionnelles aux besoins tant actuels que futurs. Le développement doit concilier trois éléments majeurs : l’équité sociale, la préservation de l’environnement et l’efficacité économique18

Impacts : Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non19. La notion d’impact est davantage développée au point 6.6.

Indépendance et impartialité : Le processus d’évaluation doit être impartial et indépendant des mécanismes mis en place pour l’élaboration des politiques, la programmation des interventions, l’acheminement, la mise en œuvre et la gestion de l’aide.

Crédibilité : Pour être crédible l’évaluation doit être réalisée par des professionnels compétents, utiliser des données fiables, une méthodologie rigoureuse et une analyse robuste, porter aussi bien sur les éléments de réussite que sur les éléments d’échec, bénéficier de la participation d’un évaluateur local, et rendre son processus et ces résultats transparents et publics.

Utilité : Pour être utile, les résultats des évaluations doivent refléter les intérêts et besoins différents, non seulement du commanditaire principal de l’évaluation mais aussi des multiples autres parties prenantes. Les résultats doivent être accessibles sur le plan de la forme (téléchargeable sur internet) et sur le plan du contenu (présentation claire, concise et dans un langage compréhensible)

15 http://www.three-cs.net/, et définition Larousse 16 Glossaire du CAD 17 Glossaire du CAD 18 Loi du 19 mars 2013 relative à la Coopération au Développement, article 2, 12°. 19 Glossaire du CAD

24

3.2. Autres définitions

SMART est un acronyme qui reprend les initiales des mots anglais ‘specific, measurable, achievable, relevant, time bound’. De manière détaillée :

• Spécifique signifie bien défini et formulé concrètement, de manière détaillée, sans termes vagues ni généraux et sans ambiguïtés ni complications inutiles. L’accent doit être mis sur les résultats (immédiats, à court, à moyen et à long terme) à atteindre. Ces résultats doivent être proprement décrits.

• Mesurable signifie que le degré d’atteinte des résultats prévus doit pouvoir être vérifié, non seulement sur le plan quantitatif, mais aussi sur le plan qualitatif. Il faut donc trouver des moyens pour mesurer / quantifier la qualité. Les progrès (ou l’absence de progrès) sont mesurés à l’aide d’indicateurs dont on enregistre la valeur. Des mesures et des progrès visibles renseignent sur le degré d’atteinte des résultats prévus et permettent ainsi de distinguer l’échec du succès. Il est aussi important de ne pas attendre la fin de l’intervention pour mesurer la valeur des indicateurs, mais de le faire à intervalles réguliers. Des résultats intermédiaires peuvent encourager et motiver; ils permettent aussi de mieux gérer la suite de l’intervention.

• Accessible, réaliste ou réalisable signifient que les résultats doivent pouvoir être atteints en restant dans le cadre de contrôle et d’influence de l’intervention ; Il doivent également pouvoir être atteints dans des limites de temps raisonnables si l’on tient compte du parcours, des compétences et des priorités des personnes impliquées. Enfin ils doivent également tenir compte des ressources humaines, financières et matérielles disponibles. Cela ne veut pas dire que les résultats prévus ne doivent pas être ambitieux ou même présenter une certaine dose de défi. Les chances d’atteindre les résultats prévus doivent être grandes sans être faciles ou simples.

• Pertinent, signifie que les résultats prévus de l’action de développement correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds (définition CAD-OCDE). Les résultats prévus doivent permettre de renforcer les capacités des personnes et des institutions impliquées. Ils doivent aussi s’inscrire dans la mission des organisations partenaires et des individus qui les composent.

• A atteindre dans un Temps déterminé signifie qu’ un délai est fixé pour atteindre les résultats prévus. La date fixée pour atteindre les résultats ne peut pas être trop éloignée dans le futur, sinon il sera difficile de rester motivé. Il est également utile de poser des jalons intermédiaires pour apprécier les progrès en cours de route. Si aucun délais n’est fixé, la motivation sera rapidement réduite et l’atteinte des résultats sera rattrapée par d’autres priorités. Aucun sentiment d’urgence ne poussera à agir.

3.3. Approche programme

« Il est important de relever que la communauté internationale ne donne pas la même définition de l’approche programme que celle qui a cours au sein de la Coopération belge au Développement. Pour le CAD-OCDE, l'approche-programme est une modalité de Coopération pour le Développement qui repose sur le principe du soutien coordonné à un programme de développement ancré au niveau local, par exemple une stratégie nationale de développement, un programme sectoriel, un programme thématique ou un programme d’une organisation spécifique. Les approches-programmes présentent les caractéristiques communes suivantes : (i) conduite des opérations (leadership) assurée par le pays bénéficiaire ou l’organisation concernée ; (ii) cadre unique intégré de programmation et de budgétisation ; (iii) processus formalisé de coordination et d'harmonisation des procédures des donneurs en matière



d'établissement de rapports, de budgétisation, de gestion financière et de passation des marchés ; (iv) effort de systématisation de l’utilisation des systèmes locaux d’élaboration et de mise en œuvre des programmes, de gestion financière, de suivi et d’évaluation. Les donneurs ont différents moyens de soutenir et mettre en œuvre une approche-programme et peuvent utiliser à cet effet diverses modalités d’aide, notamment le soutien budgétaire, général ou sectoriel, l’aide-projet, des dispositifs de regroupement des ressources ou des fonds d’affectation spéciale. »

Un programme est donc bien plus qu’une simple collection / juxtaposition d’interventions de type ‘projets’.

La coopération gouvernementale fonctionne avec un programme de coopération20 (PC) par pays partenaire. Le PC présente une certaine unité sectorielle puisqu’il se compose de deux ou au maximum trois programmes sectoriels, eux-mêmes divisés en interventions de type ‘projets’. Le PC est défini en commission mixte (= Belgique + Pays partenaire) et son exécution est régulièrement suivie par un Comité des Partenaires pour les programmes sectoriel et un Comité spécial des Partenaires pour l’ensemble du PC. Les PC sont/seront graduellement coordonnés avec les autres Etats Membres de l’Union européenne, la Commission européenne et bien sûr le Pays partenaire au sein d’une programmation conjointe.

Fin 2008, une tentative d’aligner davantage les programmes de coopération bilatérale sur l’approche programme définie par le CAD21, avec notamment l’obligation d’élaborer un « cadre de programmation pays » et un « cadre de suivi et d’évaluation des résultats » a rencontré un succès mitigé.

Les acteurs de la coopération non-gouvernementale fonctionnent avec un programme global par acteur composé d’un sous-programme ‘Belgique’ et de plusieurs sous-programme ‘Pays du Sud’. Chaque sous-programme est constitué de projets qui ont chacun un objectif spécifique distinct. Les éléments de conjonction avec la vision ‘programme’ du CAD sont ici relativement faibles. Certes, il y a pour les sous-programmes ‘pays du Sud’ une grande appropriation des opérations par le partenaire local, mais toutes les interventions de type projets convergent vers un seul objectif global fatalement très général et peu ou pas du tout ‘SMART’.

Les programmes du Fonds belge de Sécurité alimentaire fonctionnent dans une zone d’insécurité alimentaire d’un pays déterminé. Ils sont constitués d’éléments de type ‘projet’ ayant chacun un objectif spécifique qui concourt à l’atteinte de l’objectif général. Les projets sont coordonnés par une unité de coordination dont le fonctionnement est assuré par un partenaire indépendant des composantes ‘projet’. Les programmes du FBSA sont aussi largement cogérés avec le partenaire local et jouissent d’un véritable cadre de programmation, de budgétisation, de coordination et de rapportage. Leur spécificité autorise l’usage d’un objectif général unique et identique (la sécurité alimentaire) dont les quatre dimensions22 sont reconnues et utilisées internationalement.

20 Jusque récemment on parlait de ‘programme indicatif de coopération’ (PIC) 21 Guide d’élaboration d’un Programme Indicatif de Coopération ; SPF AE, CE et CD, Bruxelles ; décembre 2008 22 Les quatre dimensions de la sécurité alimentaire sont : la disponibilité (présence effective de la nourriture), l’accessibilité (à un prix compatible avec le niveau de revenu), la stabilité (pendant toute l’année) et la qualité (avec une valeur nutritionnelle acceptable).

26

3.4. Logique d’intervention, théorie du changement ou chaine de résultats

Nous sommes conscients du fait que les interventions de la Coopération au Développement sont des processus complexes et la plupart du temps non-linéaires qui peuvent interagir et être influencés par des événements, des situations et des personnes extérieurs à l’intervention.

Cependant nous pensons également que cette complexité n’empêche pas de décrire et de synthétiser l’intervention sous forme de liens logiques théoriques entre causes et effets connus sous les vocables ‘logique d’intervention’, ‘théorie du changement23’ ou ‘chaine des résultats’.

Pour concilier les approches nouvelles apparues ces dernières années, les pratiques internationales courantes et le souci de respecter l’esprit des textes légaux belges et des textes du CAD, nous proposons, pour la suite de l’étude, le tableau de correspondances ci-après :

23 Telle que définie par Rick Davies en avril 2012 : « La description d’une séquence d’événements dont on attend qu’ils mèneront à un ‘outcome’ spécifique désiré » mais « considérée de préférence comme une approche flexible plutôt qu’une méthodologie ou un outil rigide » (Wigboldus and Brouwers, 2011).



Logique d’intervention��

Moyens / Inputs / Ressources

Activités Résultats intermédiaires

1 Objectif spécifique

1 Objectif général24

Outputs

Produits ou extrants

Outcomes

Réalisations

Impact(s)25

Progrès sur les indicateurs de résultats intermédiaires

Progrès sur les indicateurs de l’objectif spécifique

Progrès sur les indicateurs de l’objectif général

Résultats immédiats

Résultats à court et moyen terme

Résultats à long terme26

Réalisations Résultats Impacts27

Focalisé sur le bénéficiaire direct et/ou le partenaire local

Focalisé sur le bénéficiaire direct et/ou indirect /limitrophe

Focalisé sur le bénéficiaire ultime et/ou sur la société

Résultats opérationnels

Résultats de développement

Le service qu’on attend

Résultats attendus

Expect to see

Ce pourquoi on le fait

Résultats souhaités

Like to see

Ce qu’on aimerait beaucoup voir se réaliser.

Love to see 28

Impacts par méthode (quasi) expérimentale

Changement(s) le(s) plus significatif(s)

Tableau 1: Correspondance entre les différentes conceptions de la logique d’intervention

3.5. Logique résultant des définitions

Des définitions mentionnées en 2.2. ci-dessus, il résulte que seuls la pertinence et l’efficacité sont des critères évaluables directement. Il est en effet logique que si l’atteinte des outputs et outcomes (efficacité) n’est pas évaluable, l’atteinte des outputs et outcomes de façon économe (efficience) n’est pas évaluable non plus. Si l’atteinte des

24 Logique d’intervention selon PIPO 25 Chaine des résultats selon CAD 26 Logique d’intervention selon la Gestion axée sur les Résultats de Développement 27 Logique d’intervention selon EuropAid 28 Logique d’intervention selon ‘Cartographie des incidences / Outcome mapping’

28

outputs et outcomes n’est pas évaluable, la persistance de ces résultats après l’appui extérieur (durabilité) n’est pas évaluable non plus. Enfin, si l’atteinte des outputs et outcomes n’est pas évaluable, l’atteinte des impacts sera encore moins évaluable.

3.6. Thèmes transversaux, interventions sectorielles et marqueurs du CAD

Le CAD prévoit que les interventions soient dotées de marqueurs dit ‘politiques’ correspondant à des thèmes transversaux ou trans-sectoriels comme l’égalité homme-femme, l’environnement, la démocratie participative / la bonne gouvernance, le développement du commerce, la désertification, la biodiversité, l'atténuation des changements climatiques, l’adaptation aux changements climatiques, les droits de l’enfant, le VIH-SIDA et la santé reproductive, maternelle, du nouveau-né et de l’enfant.

La valeur 2 est attribuée au marqueur si le thème est signalé dans le DTF comme un objectif principal.

La valeur 1 est attribuée au marqueur si le thème n’est pas un objectif principal mais est signalé dans le DTF comme un important objectif secondaire.

La valeur 0 est attribuée au marqueur si le thème ne joue aucun rôle dans l’intervention.29

L’utilisation des valeurs 2 et 1 est expliquée et commentée dans les annexes 17 et 18 aux « directives convergées pour l’établissement des rapports statistiques » du CAD, accessibles sur :

http://www.oecd.org/fr/cad/stats/documentupload/DCD-DAC(2013)15-ADD2-FINAL-FRE.pdf

Nous préconisons une compréhension identique à celle développée dans ces références, tant sur le plan de la définition que sur le plan des critères d’éligibilité. L’attribution d’une valeur 1 ou 2 à un ou plusieurs marqueurs thématiques ne peut pour nous se justifier que si l’intervention prévoit des résultats concrets pour ces thématiques, libellés en termes ‘SMART’ et pourvu d’indicateurs objectivement vérifiables (avec valeur de base et valeur cible). Cela signifie que le DTF doit contenir des résultats intermédiaires, des activités et des moyens susceptibles de mener à l’atteinte des résultats thématiques en question. Seule cette conception des marqueurs permet de totaliser et de faire rapport sur les résultats obtenus sur le plan des thématiques transversales.

Cette conception a aussi deux conséquences importantes :

• L’attribution d’un marqueur 2 à un thème transversal transforme pour l’intervention concernée la thématique en secteur. Pour la coopération gouvernementale, cette pratique n’est certes pas encouragée par la loi mais possible : « Dans le choix (des)… secteurs, la coopération gouvernementale se concentre principalement sur… ».

• L’attribution du marqueur 2 à un thème transversal dans une intervention interdit qu’un autre secteur transversal bénéficie du marqueur 2 dans cette intervention. Il ne peut y avoir en effet qu’un seul objectif principal par intervention.

29 Depuis peu, une valeur 3 peut être attribuée au marqueur désertification si ce thème est l’objectif principal et qu’il vient en appui à un programme d’action. Pour le thème ‘santé génésique, maternelle, néonatale et infantile, la valeur 4 est attribuée si le thème est l’objectif primaire explicite ; la valeur 3 est attribuée si la majeure partie, mais pas la totalité du financement est orienté vers l'objectif ; la valeur 2 est attribuée si près de la moitié du financement est orienté vers l'objectif ; la valeur 1 est attribuée si environ un quart du financement est orienté vers l'objectif ; et la valeur 0 est attribuée si un financement d'un montant négligeable ou nul est orienté vers des activités/résultats en matière de SGMNI, c’est à dire si la SGMNI n'est pas un objectif du projet/programme.



3.7. Gestion axée sur les résultats de développement

La gestion axée sur les résultats de développement (GARD) est une stratégie de management focalisée vers la performance et l’accomplissement d’outputs, d’outcomes et d’impacts30. La GARD suit les cinq principes suivants31 :

Principe 1. À toutes les étapes du processus – de la planification stratégique à l’achèvement, et même après – axer le dialogue sur les résultats pour les pays partenaires, les organismes de développement et les autres acteurs.

• Toutes les étapes d’une initiative de développement s’accompagnent d’un dialogue entre les différents acteurs

• Tous les partenaires et les principaux acteurs participent à la définition des résultats souhaités et à la gestion axée sur ces résultats. Ils assument ensemble la responsabilité des résultats.

• Les risques sont ‘évalués’ et gérés ensemble.

Principe 2. Aligner les activités concrètes de programmation, de suivi et d’évaluation sur les résultats attendus.

• Les stratégies et activités d’exécution sont continuellement adaptées au fil du temps afin de veiller à ce que ces résultats soient obtenus.

• Les indicateurs et les stratégies de S&E sont liés logiquement aux résultats et aux impacts souhaités, et permettent d’établir clairement si les résultats visés ont été obtenus ou pas.

• Les indicateurs sont standardisés et ne sont pas modifiés dans la mesure du possible.

Principe 3. Veiller à ce que le système de rapports sur les résultats demeure aussi simple, rentable et convivial que possible.

• On simplifie le plus possible les méthodes de mesure et les rapports sur les résultats.

• Les résultats obtenus sont mesurés grâce à des indicateurs sélectifs, rentables et réalistes.

• Les indicateurs de risque et de performance des institutions permettent de faire le suivi des principaux changements contextuels susceptibles d’influer sur les résultats obtenus.

• Les pays et les bailleurs s’efforcent de limiter les coûts en évitant les doubles emplois et en s’appuyant sur les indicateurs définis par les pays partenaires.

Principe 4. Axer la gestion sur l’obtention de résultats, c’est-à-dire affecter les ressources voulues pour arriver aux résultats escomptés.

• Au début de toute intervention en matière de développement, on définit d’abords les résultats attendus, puis les activités nécessaires à l’obtention de ces résultats, puis les ressources et les intrants nécessaires pour réaliser ces activités (et non le contraire, comme cela se faisait dans le passé).

• Au cours du déroulement de l’initiative de développement, les gestionnaires responsables disposent de la marge de manœuvre et des pouvoirs nécessaires pour réaménager les ressources de manière à obtenir les résultats attendus.

30 Traduction fidèle de la définition anglaise dans le glossaire du CAD. 31 Promoting a Harmonized Approach to Managing for Development Results: Core Principles; Second international roundtable, Marrakesh 2004

30

• Si certaines cibles ne sont pas atteintes, les acteurs et les gestionnaires analysent ensemble en quoi et pourquoi les plans ou les stratégies ont achoppé et comment on pourrait rectifier la situation. Ils prennent ensuite des mesures correctives, dans un esprit constructif et d’entraide, de manière à obtenir les résultats attendus. Pas d’esprit de sanction car la responsabilité est commune.

Principe 5. Utiliser l’information sur les résultats pour l’apprentissage et la prise de décisions en matière de gestion, mais aussi pour la présentation des rapports et la responsabilisation.

• Tous les acteurs ont facilement accès à l’information découlant de la mesure continue de la performance, quelle que soit l’intervention touchant le développement.

• Qu’elle soit positive ou négative, l’information sur la performance sert à étayer des décisions de gestion constructives et proactives et stimule l’apprentissage. Pas d’esprit de sanction.

• L’évaluation de la performance et les rapports présentant les résultats tiennent compte à la fois des facteurs et des risques de nature contextuelle, et débouchent sur les rectifications nécessaires.

• L’amélioration de la gestion est un résultat parallèle aux résultats de l’action de développement.


4. Constats d’analyse

4.1. Informations générales

L’étude a montré qu’un certain nombre d’informations et de données minimales absolument indispensables pour l’obtention du (co)financement étaient toujours disponibles ; cela ne signifie pas pour autant que ces informations sont toutes disponibles de manière utile à l’évaluation. Ces informations sont les suivantes :

4.1.1. Le DTF de l’intervention

En règle générale, le DTF des interventions ou le document qui en tient lieu est toujours disponible. Nous avons, il est vrai fait de cette condition un critère de sélection dans le champ de l’objet de notre étude. Il est aussi vrai que les décisions de (co)financement se prennent en général sur base d’une description minimale des objectifs, des activités prévues et du prix de l’intervention. Seules quelques interventions ne disposent pas, de par leur nature particulière, d’un dossier technique détaillé. Il s’agit par exemple des interventions de type ‘fonds d’étude et d’expertise’, ‘fonds d’appui aux initiatives locales’ projets de plusieurs bourses à déterminer,… L’évaluation de telles interventions nécessitera la récolte des documents relatifs à chacune des sous-interventions ponctuelles.

4.1.2. Mention de l’évaluation dans le DTF

Toutes les interventions étudiées prévoient une évaluation à un moment ou l’autre de la mise en œuvre. Les pratiques évaluatives diffèrent cependant fortement selon le type de partenaire(s).

Les DTF des interventions de la coopération gouvernementale contiennent de façon standard un chapitre « ‘Suivi et Evaluation’» prévoyant généralement une évaluation à mi-parcours plus orientée sur le côté opérationnel et une évaluation finale plus orientée sur la reddition de compte.

Mais parfois l’évaluation finale peut être limitée à (ou confondue avec) un rapport final. Dans ce cas l’évaluation se limite à une auto-évaluation qui n’est donc ni externe ni indépendante. Par exemple :

En fin de projet la direction de projet rédigera un rapport d’évaluation finale, qui comprendra :….

• Les résultats du suivi de la prestation de coopération et des éventuels audits ou contrôles, ainsi que le suivi des recommandations émises ;

• Une appréciation finale des critères de base d’évaluation de la prestation : pertinence, efficience, efficacité, durabilité et impact ;

• ….

32

Les ACNG prévoient pour le programme général une description de la procédure et du timing des évaluations prévues dans le cadre du programme, à mettre en lien avec les recommandations de la méta-évaluation de l’Evaluateur spécial32.

Pour les évaluations qui touchent plusieurs pays : présentation de l’objectif de l’évaluation. Les programmes en Belgique décrivent les évaluations prévues pour ce qui concerne l’éducation au développement. Pour les pays du Sud, une description des évaluations prévues dans le pays dans le programme est également prévue. Dans la pratique la plupart des dossiers mentionnent le sujet évaluation car cela est prévu dans le canevas standard mais donnent peu de détails sur leurs intentions réelles (objectifs, objet et champ des évaluations prévues).

Le FBSA prévoit une évaluation à mi-parcours des projets constitutifs des programmes. Cette évaluation sera effectuée par l’organisation partenaire exécutante et visera notamment à apprécier la pertinence des activités et des stratégies mises en place pour l’atteinte des résultats ; identifier les facteurs favorables et défavorables pour la réalisation du projet ; apprécier la cohérence dans le cadre du programme partenarial conjoint ; formuler les recommandations pour la suite du projet ; préparer l’évaluation finale du programme.

« En fin de mise en œuvre d’un programme du FBSA, une évaluation finale du programme sera lancée ». « Les objectifs de l’évaluation finale du programme sont: apprécier la contribution du programme à l’amélioration de la sécurité alimentaire ; renseigner le Comité de Pilotage sur les progrès accomplis par les différentes organisations partenaires en vue de l'atteinte des résultats du programme ; apprécier la pertinence de la stratégie partenariale mise en place ; identifier les facteurs favorables et défavorables pour l'exécution du programme, apprécier la gestion des risques et identifier de nouveaux risques (éventuels) ; vérifier si les fonds alloués ont été utilisés de manière efficace et efficiente ; apprécier la coordination au niveau du programme ; apprécier la pertinence d’un programme de consolidation/2ème phase du programme ; formuler des recommandations en vue de la préparation des DTF pour la seconde phase ; tirer les enseignements en vue de la gestion des connaissances ; étayer la redevabilité vis-à-vis des pays partenaires, de la DGD, du Parlement, des Organisations partenaires, et leurs arrières bans… ».

4.1.3. Existence d’un système de suivi

La manière d’appréhender le suivi diffère largement selon les acteurs et dépend partiellement de la nature des activités. Lorsqu’il s’agit d’un programme, le suivi ne dépasse guère le suivi par le siège en Belgique de la somme des ‘interventions’ de type projets ’individuels’.

Chaque dossier étudié mentionne d’une manière ou d’une autre qu’un suivi est prévu. Le thème du suivi est toujours traité dans un chapitre plus large ‘suivi et évaluation’ avec au sein de ce chapitre une distinction entre suivi et évaluation très variable et une description du système de suivi plus ou moins détaillée.

Le suivi est rarement conçu comme un instrument de gestion interne et plus généralement comme une activité effectuée par le siège en Belgique, soit à distance, soit au moyen de missions de suivi ou de backstopping33. En général la description du système de suivi se limite uniquement à mentionner la fréquence du rapportage de suivi (« un rapport de suivi sera publié tous les six mois ») et à la mention du nombre de missions extérieures (« des missions externes de suivi seront organisées » 34).

32 Service de l’évaluation spéciale (2013), Méta-évaluation des programmes des acteurs non-gouvernementaux, SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles. 33 Le terme ‘backstopping’ ne signifie d’ailleurs pas ‘suivi’ mais ‘appui momentané’. 34 Traduction libre de : « Cada seis meses … publica un informe de seguimiento » et de(« se realizarán misiones externas de seguimiento » .

Constats d’analyse


Seul le FBSA prévoit un suivi interne d’indicateurs dans le cadre d’une gestion axée sur les résultats. Ainsi, le « cadre de suivi actualisé » reprenant pour chaque niveau de la chaine des résultats les indicateurs, leur valeur de base, leur valeur attendue à l’instant du rapport et leur valeur attendue à la fin du projet fait partie intégrante du modèle de rapport narratif des projets.

Le FBSA intègre en outre de manière efficiente le suivi de ses projets individuels dans le mécanisme de suivi du programme : « Chaque partenaire du FBSA devra jouer un rôle dans le suivi (de ses propres interventions et (sous)résultats) et dans la coordination du suivi et de l’évaluation du programme conjoint.»35.

4.1.4. La description des bénéficiaires et des parties prenantes

Pratiquement tous les dossiers parlent des bénéficiaires dans des termes plus ou moins détaillés mais rares sont les dossiers qui décrivent les bénéficiaires de façon suffisamment spécifique. Certains dossiers font une distinction nette entre les notions de partenaire local, d’institution bénéficiaire, de partie prenante et de groupe cible ; d’autres non.

Le FBSA utilise le terme plus générique de ‘groupes cibles’. Il décrit généralement comment les niveaux directs et indirects participent activement à l’intervention et réserve le terme de ‘bénéficiaire’ aux bénéficiaires ultimes.

Les dossiers qui décrivent les bénéficiaires ne mentionnent pas toujours une appréciation du nombre de ces bénéficiaires et si des chiffres sont donnés, le mode de calcul utilisé pour aboutir à ces chiffres est rarement mentionné de manière transparente.

Les bénéficiaires peuvent parfois coïncider partiellement avec le ou les partenaires locaux.

Pour la coopération gouvernementale, il s’agit dans l’immense majorité des cas d’un ministère (ou d’une direction spécifique dans un ministère) dans le pays partenaire. Parfois le partenaire est une structure décentralisée ou un établissement public. Pour la coopération gouvernementale, le choix du partenaire s’impose souvent d’office. Par exemple si l’on a accédé à la demande du partenaire de travailler dans le domaine des forêts, le partenaire sera généralement l’office des eaux et forêts.

Pour les ACNG, le partenaire local est généralement un acteur local agissant dans le même domaine de compétence que l’acteur belge : ONG/association locale, syndicat, université ou institution scientifique, organisme de formation (de formateurs). L’APEFE et le VVOB peuvent donc aussi travailler avec des partenaires gouvernementaux ou des établissements publics.

La nature même des programmes du FBSA fait que ces programmes travaillent en collaboration avec des partenaires multiples, publics ou privés. Les partenaires du FBSA ont la particularité d’évoluer presque tous au niveau décentralisé.

Aucun des dossiers consultés ne fait d’analyse des parties prenantes (stakeholder analysis)36. Rares sont les DTF qui mentionnent ouvertement les divergences de vue entre parties prenantes, et ceci même dans les chapitres consacrés aux risques. Dans les cas où un atelier participatif a été organisé avec toutes les parties prenantes, le rapport de cet atelier peut éventuellement faire état de ces divergences.

Au niveau du DTF de leur programme général, certains ACNG déclarent clairement une ambition de proposer des politiques alternatives ou d’influencer les politiques de

35 Traduction libre de : « Each BFFS partner will have to play a role in monitoring (of its own interventions and (sub-)results) and in coordination of joint program monitoring and evaluation » 36 Organisation des différentes parties prenantes en fonction de leur intérêt et de leur pouvoir dans l’intervention.

34

coopération (« proposition de politique et actions en vue d’influencer les politiques37 »).

En fait, les divergences de vues ne sont affirmées que dans les DTF des interventions qui visent à défendre ou renforcer la situation de groupes faibles par rapport à des groupes forts qui sont impliqués dans les actions menées : action syndicale, défense des travailleurs, protection des droits, des ressources communautaires, etc.

Dans plusieurs dossiers, des actions de ‘sensibilisation’ des autorités sont mentionnées témoignant d’une volonté moins frontale d’amener au moins un acteur au point de vue de l’autre : « …plaidoyer pour amener les autorités locales à inscrire les activités de promotion et de développement (du projet) dans leur plans de développement, avec des lignes budgétaires distinctes. »

4.1.5. La durée de l’intervention

La durée des interventions est fixée à trois ans pour les programmes des ACNG et à cinq ans pour les programmes du FBSA. Les programmes du FBSA prévoient quasi systématiquement une seconde phase de cinq ans estimant que l’atteinte de la sécurité alimentaire nécessite un effort sur le long terme.

L’approche du FBSA est relativement flexible. Elle permet au moins le démarrage des programmes les uns après les autres et à un moment opportun dans la saison culturale.

L’approche des programmes des ACNG n’est pas flexible puisque l’immense majorité des programmes en cours a débuté au premier janvier 2014 et se terminera au 31 décembre 2016.

Seule la coopération gouvernementale a une plus large liberté dans la fixation de la durée des interventions.

4.1.6. Le budget (dossier financier) de l’intervention

Le budget des interventions est développé selon un ou plusieurs schémas différents pour chaque type de partenaire (voir annexe A3).

Le budget des interventions de coopération gouvernementale est distinct pour chaque projet et composé de deux tableaux. Un tableau reprend, année par année, les prévisions budgétaires attribuables aux activités nécessaires à l’obtention d’un résultat contribuant à la réalisation d’un objectif spécifique. Un second tableau reprend les prévisions budgétaires des « moyens généraux » qui, comme le nom l’indique, ne sont pas attribuables à une activité précise : « frais de personnel, investissements, frais de fonctionnement et audit, suivi & évaluation ».

Le budget du programme général des ACNG est aussi composé de deux tableaux. Un tableau reprend le budget général du programme de l’ANG qui comprend les dépenses d’investissement, de fonctionnement et de personnel, par pays (Belgique et pays du Sud) et par année, plus les dépenses d’investissement, de fonctionnement et de personnel pour les coûts de gestion. Ces coûts de gestion sont détaillés dans un second tableau : investissements (immobiliers ou mobiliers), fonctionnement (missions, suivi et évaluation, autres…), personnel (du siège, local, expatrié).

Le budget des programmes par pays des ACNG est présenté en un seul tableau intitulé « budget des coûts opérationnels » dans lequel les coûts sont détaillés par année, une fois selon leur nature (investissements (immobiliers ou mobiliers), fonctionnement (missions, autres…), (personnel, autres…), une fois selon leur contribution aux résultats intermédiaires du programme. L’information sur le budget des

37 Littéralement “beleids-voorstellen en beleidsbeïnvloeding”



coûts opérationnels est complétée par un tableau décrivant succinctement les moyens par poste budgétaire. Il n’y a pas de budget individualisé pour chaque projet ou partenaire composant un programme pays et il n’y a pas de lien entre résultats, activités nécessaires à l’obtention de chacun des résultats, moyens nécessaires pour faire chaque activité, et budget/coûts de chacun de ces moyens.

Le budget de chaque projet constitutif d’un programme du FBSA est lui aussi constitué de deux tableaux. Un tableau reprend le budget général du projet qui comprend le détail des dépenses d’investissement, de fonctionnement et de personnel, une fois par résultat et une fois par année, Les coûts de gestion sont sensés contribuer à l’ensemble des résultats et reprennent par année et par lieu (projet, Belgique ou bureau de coordination) les prévisions de dépenses d’investissements (immobiliers ou mobiliers), de fonctionnement (missions, évaluation, autres…), et de personnel (du siège, local, coopérants). L’information sur le budget est complétée par une description sommaire des moyens. Un budget est donc attribué à chaque résultat mais il n’est pas possible de lier résultats et

• les activités nécessaires à l’obtention de chacun des résultats,

• les moyens nécessaires pour mettre en œuvre chaque activité, et

• le budget / les coûts de chacun de ces moyens.

4.1.7. Budget spécifique pour le suivi et l’évaluation

Très souvent suivi et évaluation sont traités sur une seule ligne budgétaire, alors que les activités de suivi sont en principe continues et que l’évaluation est ponctuelle. De ce fait, il est rarement possible de déterminer le niveau d’effort financier exact consacré au suivi et/ou à l’évaluation. La répartition des montants en fonction des années donne parfois certaines indications sur l’affectation des fonds. Si le même montant est prévu pour chacune des années du projet/programme, c’est le suivi qui est privilégié. Si le budget suivi-évaluation est plus important au milieu et à la fin de l’intervention, cela signifie que le financement des évaluations à mi-parcours et finale est prévu.

A côté de la ligne budgétaire suivi-évaluation, les coûts du suivi peuvent aussi être partiellement portés par les budgets des missions (de suivi) ou les coûts d’un bureau de représentation sur place (qui effectue de facto un suivi plus ou moins externe).

Pour les projets de la coopération gouvernementale, les moyens accordés à l’audit, au suivi et à l’évaluation38 varient entre 1 et 3% du budget total. Les moyens accordés à l’évaluation proprement dite ou aux activités de suivi ne constituent donc chaque fois qu’une partie de ce montant et peuvent aussi varier très fortement.

Pour les programmes globaux des ACNG, le budget des coûts de gestion prévoit l’indication des moyens affectés au monitoring et aux évaluations. Dans les cas que nous avons étudiés, ces moyens ne sont pas suffisants pour permettre l’évaluation du programme global car une telle évaluation impliquerait d’évaluer chaque programme pays individuellement et de faire la synthèse de ces (souvent 10 + 1) évaluations. Dans les différents DTF que nous avons consultés, il est proposé d’évaluer une thématique ou une composante plutôt que l’ensemble du programme.

Si la distinction entre budget pour le suivi et budget pour l’évaluation est déjà relativement rare, nous n’avons trouvé que quelques précisions supplémentaires sur la part respective de l’évaluation à mi-parcours et de l’évaluation finale ; par exemple (pour le FBSA) : un budget estimatif de minimum 1% du budget total du projet sera prévu pour effectuer l’évaluation à mi-parcours.

38 dans la ligne budgétaire Z04

36

Nous n’avons pas rencontré de DTF dans lesquels le budget consacré aux différentes activités de suivi (établissement de la valeur de base des indicateurs, suivi des indicateurs de résultats, suivi de l’évolution du contexte, suivi des risques potentiels) était détaillé.

Dans la préparation des interventions les différents acteurs ne sont pas placés dans des conditions financières identiques puisque les ‘formulations’ des ACNG s’effectuent sur fonds propres tandis que les formulations bilatérales ou du FBSA sont partiellement ou totalement remboursées.

Pour le suivi quotidien, le FBSA innove en prévoyant la coordination et le suivi stratégique du programme par une structure de coordination financée séparément et le financement de son évaluation finale hors budget du programme.

Dans un seul cas nous avons trouvé dans le DTF un cadre de suivi des indicateurs prévoyant, au départ d’une Baseline, les résultats attendus pour l’outcome et les différents outputs après 1 an, après 2 ans, à mi-parcours, après 4 ans, après 5 ans et à la fin du projet. Le financement de ce dispositif n’était pas détaillé mais sa simple présence permet de supposer qu'on y ait pensé.

Les différents budgets mentionnent également dans d’autres lignes budgétaires, des prévisions de dépenses pour des activités au moins partiellement apparentées au suivi : représentation (et représentant) local(e), missions du siège, backstopping, expert en suivi,…

4.1.8. Autres données

Tous les DTF mentionnent les différents éléments de la liste qui suit. Le niveau de détails varie cependant fortement d’un dossier à l’autre et dépend aussi du degré d’exigence imposé par les différents schémas de présentation :

• Les limites géographiques, financières, sectorielles, thématiques,…etc. de l’intervention ;

• Un rapportage narratif régulier sur les résultats/ activités ; et

• Un rapportage financier régulier.

Les deux derniers points conditionnent par ailleurs, le déblocage des tranches suivantes de toutes les interventions qui ne sont pas (co)financées en une fois. A noter qu’aucun des dossiers étudiés ne conditionne le déblocage d’une tranche suivante aux résultats d’une évaluation.

4.2. Conditions relatives à la pertinence

Le processus d’appréciation ex-ante de la pertinence est mené par l’Administration pour les projets et programmes des ACNG et du FBSA. Les interventions de coopération gouvernementale échappent à l’appréciation ex-ante puisqu’il serait inconvenant de déclarer ‘non-pertinente’ une intervention décidée en commission mixte entre les Ministres belge et le pays partenaire. La CTB a cependant la possibilité d’évaluer la pertinence d’une intervention sur base du dossier d’identification et d’inclure dans le DTF, des modifications visant à améliorer la pertinence si nécessaire.

4.2.1. Description des objectifs de l’action de développement

Certains dossiers font mention d’une définition des objectifs par la méthode de planification des interventions par objectif (PIPO) ; d’autres non. Cette méthode consiste à établir avec toutes les parties prenantes une relation de cause à effet entre les situations négatives les affectant (arbre à problèmes). Ces situations négatives sont



ensuite inversées en solutions positives (arbre à objectifs). Dans cet arbre à objectifs, une stratégie est sélectionnée pour atteindre le ou les objectifs définis comme les plus importants par les parties prenantes (objectif(s) spécifique(s)). Le processus de planification se poursuit alors par la définition d’un cadre logique. Aujourd’hui, la méthode reste obligatoire pour les projets du FBSA: arbre à problèmes, arbre à objectifs et « theory of change ». Dans d’autres interventions, les objectifs sont définis suite à une analyse contextuelle à laquelle participent les partenaires locaux mais exceptionnellement les bénéficiaires finaux.

Tous les acteurs reprennent cependant dans leur DTF certains éléments de la démarche PIPO : Les DTF de la CTB contiennent un chapitre sur les « orientations stratégiques » ; les ACNG décrivent la stratégie de l’organisation ; certains acteurs décrivent brièvement, action par action, les problèmes à résoudre.

La CTB, Les ACNG et le FBSA fonctionnent encore tous selon le modèle : objectif général � objectif(s) spécifique(s) � résultats (intermédiaires).

La CTB prévoit un objectif général et un objectif spécifique par projet. Les ACNG prévoient un objectif général pour l’ensemble de leur programme et un ou plusieurs objectifs spécifiques par pays/régions d’activité (y compris pour leur programme ‘nord’ en Belgique). Tant pour la CTB que pour les ACNG les objectifs généraux sont définis de manière très générale et trop ambitieuse. Par exemple : « Le développement socio-économique des populations rurales et leurs conditions de vie sont améliorés » ; « contribuer au renforcement des capacités des institutions chargées de la mise en œuvre des politiques nationales de développement dans les pays partenaires » ; « contribuer à la sécurisation d’un avenir commun nord-sud » ; « contribuer au développement humain durable des pays du Sud », « arracher le droit à la protection sociale pour les populations vivant en situation précaire »,…

La pratique de l’atelier participatif avec les futurs bénéficiaires pour fixer l’objectif spécifique, encore généralisée il y a une vingtaine d’année, a progressivement été remplacée par une définition de l’objectif spécifique par une élite de parties prenantes. Dans certains cas, ce changement n’a pas modifié le caractère peu spécifique de l’objectif et les DTF ne montrent pas que le problème que l’on se propose de résoudre a été analysé. Dans d’autres cas l’objectif spécifique résulte maintenant d’une analyse des problèmes plus fouillées que par le passé même si le côté participatif via un atelier est quelque peu occulté.

L’objectif général (impact) d’un programme du FBSA est identique pour chaque programme et libellé comme suit : « le programme a contribué à l’amélioration de la sécurité alimentaire dans la zone d’intervention ».

Chaque composante des programmes FBSA possède un objectif spécifique qui correspond aux problèmes et opportunités de développement identifiés par l’analyse contextuelle.

4.2.2. Description du contexte général et de son évolution

La notion de contexte englobe l’ensemble des points 4.2.3 à 4.2.8 qui sont examinés ci-dessous dans le cadre du critère de pertinence. Pour de nombreux DTF ces points ne sont pas examinés séparément et dans l’ordre mentionné ci-dessous mais intégrés avec plus ou moins de détails au sein d’une analyse contextuelle plus globale. Cette analyse du contexte (ACNG, FBSA) ou de la situation (CTB) contient une analyse SWOT facultative pour la CTB, obligatoire dans la présentation de l’ACNG et obligatoire sur l’institution publique nationale responsable de la sécurité alimentaire pour le FBSA.

Il est aussi important de comprendre que le contexte n’est pas figé. Si tous les acteurs étudient relativement bien le contexte au moment de la formulation, la manière dont son évolution est suivie varie fortement.

38

4.2.3. Correspondance aux attentes des bénéficiaires

Les attentes des bénéficiaires ultimes/finaux ne sont presque jamais mentionnées comme source de première main. Elles sont décrites à travers le filtre de leur représentants locaux ou de ceux qui se présentent ou s’imposent comme tels (groupements paysans, organisations communautaires, ONG locales, syndicats) ou à travers le filtre d’intermédiaires (services de l’Etat pour la coopération gouvernementale, services administratifs décentralisés, institutions de microfinances,…)

Le FBSA attache une importance plus grande que les autres acteurs aux attentes des bénéficiaires qu’il qualifie aussi de ‘groupes cibles’. Au niveau du programme, le shift d’une participation active des bénéficiaires ultimes vers une implication plus grande des acteurs et intermédiaires locaux se confirme dans les textes : « Il est important que l’analyse reflète les préoccupations des acteurs locaux. A cette fin le consultant (chargé de l’analyse contextuelle) organisera lors de sa mission sur le terrain, un atelier de réflexion avec les acteurs locaux dans la zone d’intervention. » Au niveau du programme, les parties prenantes ne sont pas rassemblées au début du processus d’identification mais au cours d’un atelier de validation qui se tient à la fin de ce processus.

Au niveau des projets cependant, la réponse aux besoins des bénéficiaires est examinée avec soin ; les projets doivent être préparés de manière participative (arbre à problèmes, arbre à objectifs et « theory of change »), mais les documents restent plutôt vagues quant à la participation des bénéficiaires ultimes dans la définition de leurs besoins.

4.2.4. Correspondance aux besoins du pays

La vision des besoins prioritaires du pays diffère selon l’organisation de mise en œuvre.

Pour la coopération gouvernementale cette correspondance devrait aller de soi puisque l’intervention résulte d’un accord entre le bailleur belge et le pays partenaire. Cet accord se construit d’abord en commission mixte, ensuite au cours du processus de préparation (indentification, formulation), enfin par la signature d’une convention spécifique entre les deux Etats. Il se peut que dans la pratique cette correspondance théorique ne soit pas parfaite mais un jugement à ce propos nécessite une visite de terrain et relève selon nous plus de l’évaluation que de l’évaluabilité théorique.

Les ONG et les syndicats agissent fréquemment en contrepouvoir et comme organe de surveillance des actions gouvernementales. C’est donc tout naturellement qu’ils ne sont pas toujours d’accord avec le Gouvernement partenaire sur les besoins du pays. La correspondance avec les besoins du pays est dès lors très peu développée : « en concertation avec le Ministère… ; après lecture de la politique locale de … »

Les autres ACNG (universités, institutions scientifiques. APEFE, VVOB) doivent eux s’inscrire dans les besoins spécifiques exprimés par les instituts et ministères concernés (enseignement, recherche).

« La coordination (locale) des programmes FBSA est confiée à l’institution publique nationale en charge de la sécurité alimentaire. Celle-ci est l’instance la plus habilitée à veiller à ce que les interventions du programme soient alignées sur les politiques et stratégies nationales. » Le FBSA prévoit par ailleurs explicitement l’implication de la société civile avant et pendant l’intervention : « Dans le but de renforcer les initiatives de la société civile, la structure de coordination mettra en place un dialogue politique avec les organisations de la société civile du pays (ONG, organisations professionnelle agricoles, unions ou fédérations de ces organisations, associations de femmes,…) ».



4.2.5. Correspondance aux priorités globales

Par priorités globales on peut entendre les objectifs du millénaire pour le développement (OMD).

La raison même du FBSA fait que l’objectif général des interventions dans le cadre du Fonds correspond automatiquement avec OMD n°1 (réduction de l’extrême pauvreté et de la faim), cible 2 : réduire de moitié, entre 1990 et 2015, la proportion de la population qui souffre de la faim.

Pratiquement aucun des dossiers étudiés n’insère l’action envisagée dans les priorités globales

4.2.6. Correspondance aux politiques des partenaires

Par politiques des partenaires on entend notamment leurs documents stratégiques de réduction de la pauvreté (DSRP) ou ce qui en tient lieu, mais aussi les politiques plus spécifiques menées dans le secteur de l’intervention : Politique de santé publique, éducation, agriculture, environnement…etc. La qualité dans la description et le degré de prise en compte des politiques des partenaires varie fortement d’un dossier à l’autre. Il se peut que les politiques menées réellement ne coïncident pas entièrement avec les politiques affirmées dans les textes, mais nous pensons à nouveau qu’un jugement à ce propos nécessite une visite de terrain et relève plus de l’évaluation que de l’évaluabilité théorique.

La question ne se pose théoriquement pas pour les interventions dans les domaines qui sont, dans les pays partenaires, de la compétence exclusive ou fortement contrôlés par l’Etat : électricité, infrastructure rurale, éducation, santé. Cependant, dans de nombreux pays partenaires l’absence ou l’inefficacité des services nationaux d’encadrement et de développement force les organisations de la société civile à faire de la substitution.

4.2.7. Correspondance avec les politiques de la Belgique

Il est possible d’apprécier la correspondance avec les politiques belges à travers la manière dont il est tenu compte des différentes notes stratégiques belges.

Pour la coopération gouvernementale, les notes stratégiques pays ont été supprimées, mais certains DTF mentionnent explicitement que le projet s’inscrit dans le cadre de l’appui belge au secteur dans le pays. Le choix des secteurs prioritaires et la justification de ce choix étant mentionnés dans les PC et/ou dans les notes de préparation des PC.

Les références aux notes stratégiques belges dans les dossiers des programmes des ACNG sont rares. Il y a cependant des exceptions lorsque le secteur d’intervention dispose d’une note stratégique bien adaptée. Par exemple, la note stratégique éducation est citée dans les documents du VLIR, du CIUF, de l’APEFE et du VVOB.

Le FBSA dispose de sa propre note stratégique. Ses programmes et projets doivent obligatoirement (loi du 19 janvier 2010) s’inscrire dans ce cadre. Les documents d’interventions précisent souvent que cette stratégie du Fonds est le fruit d'une consultation mais ne montrent que rarement comment elle est mise en application.

4.2.8. Cohérence avec les politiques, objectifs et activités des autres acteurs.

Comme déjà mentionné, la coopération gouvernementale s’inscrit déjà ou s’inscrira très prochainement dans un contexte de programmation conjointe au niveau européen. De

40

nombreuses initiatives ont entretemps été prises dans le sens d’un dialogue politique conjoint – général ou thématique - entre les bailleurs et les gouvernements partenaires.

Pour les ACNG, la question a peu de sens au niveau du programme général multi-pays car les autres acteurs ont des politiques, objectifs et activités différents d’un pays à l’autre. La cohérence des objectifs est donc examinée au niveau des programmes pays.

La collaboration avec d’autres ANG ou organisations doit être spécifiée s’il existe un accord de collaboration et quand les autres organisations impliquées sont directement concernées par l’atteinte de l’objectif spécifique, et ce dans le cadre d’une collaboration structurelle (article 3 AR du 24/09/2006), ou dans le cadre d’actions conjointes. Certains dossiers vont plus loin en mentionnant des collaborations, passées et non-structurelles, ou en mentionnant la manière dont ils tiennent compte des politiques et activités des autres acteurs (locaux, belges, ou internationaux) évoluant dans le secteur spécifique ou sur le territoire de l’intervention.

Pour le FBSA, la situation est particulière puisque les programmes rassemblent autour d’un objectif général commun, plusieurs acteurs belges, internationaux et locaux. Ces acteurs aux politiques, objectifs (spécifiques) et activités différentes doivent évoluer en cohérence. Cette cohérence doit être explicitée dans chaque DTF de projet à trois niveaux :

• Cohérence du cadre logique du projet avec le cadre logique du programme.

• Cohérence des résultats du projet avec les résultats du programme.

• Cohérence avec les différents acteurs du programme.

4.2.9. Les thèmes transversaux

L’article 11 de la loi prévoit en son paragraphe premier l’intégration de trois thématiques prioritaires : les droits humains, en ce compris les droits de l’enfant ; le travail décent et durable ; et la consolidation de la société.

Le même article prévoit en son paragraphe deux « l’intégration transversale dans toutes les interventions de la dimension du genre qui vise l’empowerment des femmes et l’égalité des hommes et des femmes dans la société ; et de la protection de l’environnement et des ressources naturelles, y compris la lutte contre les changements climatiques, la sécheresse et la déforestation mondiale ».

Pour la coopération gouvernementale, l’article 19 de la loi précise que les thèmes visés à l’article 11, § 1er peuvent faire l’objet d’initiative spécifiques (entendons ‘sectorielles’) et que les thèmes visés à l’article 11, §2 sont intégrés transversalement dans tous les secteurs. L’article 19 précise aussi le secteur de concentration principale ‘soins de santé’ comprend une approche transversale du VIH/SIDA.

Tous les dossiers examinés contiennent des considérations plus ou moins détaillées sur le genre et l’environnement.

Les DTF des interventions de la CTB contiennent un chapitre spécifique relatif aux thèmes transversaux suivants : environnement, genre, économie sociale, droits de l’enfant et VIH/SIDA. Dans certains dossiers des thèmes transversaux peuvent être regroupés, renommés ou omis39 selon la nature de l’objectif et des activités.

Les ACNG sont tenus de décrire dans leur programme général de quelle manière les thèmes transversaux ont été pris en compte. Une valeur 2, 1 ou 0 (voir point 3.6, page 28) doit être attribuée à une liste de thèmes transversaux inspirée des thèmes

39 Par exemple : genre et droits de l’enfant, gouvernance,…Le Genre et l’environnement ne sont jamais omis



transversaux de la loi et du CAD. Les programmes pays doivent traiter de la prise en compte des thèmes transversaux genre et environnement. Ils mentionnent parfois certains autres thèmes transversaux selon la nature de leurs objectifs et de leurs activités. Les thèmes transversaux ne font généralement pas l’objet d’un chapitre spécifique.

Pour chaque projet composant d’un programme du FBSA, il est prévu qu’une attention particulière devra être portée aux thèmes transversaux dans chaque point du DTF. Au niveau du programme même, certains thèmes peuvent être privilégiés ; par exemple le programme en RDC prévoit le financement spécifique d’une cellule de coordination genre alors que d’autres thèmes sont mentionnés mais ne bénéficient pas d’un financement particulier.

4.2.10. Pertinence au regard des risques

A l’exception des programmes généraux des ACNG, les risques sont maintenant examinés dans les DTF de toutes les interventions.

Le DTF des projets de coopération gouvernementale distingue généralement les risques au niveau de la mise en œuvre, de la gestion, de l’efficacité, de la durabilité et les risques fiduciaires. Pour chaque type, un ou plusieurs risques sont décrits. Bien que ce soit prévu dans le modèle standard, le niveau du risque (de très faible à très élevé) n’est pas toujours mentionné dans les DTF examinés. L'estimation des conséquences potentielles (de minime à très grave) des risques n'est pas demandée dans le modèle standard ; on ne la retrouve donc pas dans les dossiers examinés. Par contre, des mesures d’atténuation sont proposées.

Les DTF des programmes pays des ACNG doivent contenir un relevé des risques avec une estimation des probabilités que ceux-ci surviennent et une estimation de leur impact (dans le sens de ‘conséquences’), ainsi que des moyens mis en œuvre pour les limiter.

Pour les programmes du FBSA, le DTF doit comprendre une analyse approfondie des risques internes et externes au niveau du projet et du programme…les conséquences potentielles doivent être explicitement signalées. Pour chaque risque identifié s’il y a lieu d’en établir l’intensité (=le niveau) (faible, élevé, très élevé). En outre, le DTF doit résumer les stratégies d’atténuation pour chacun des risques identifiés.

4.3. Conditions relatives à l’efficacité

Pour les ACNG, la description des programmes dans chacun des pays du Sud doit, entre autres, traiter de l’efficacité des moyens et des méthodes d’exécution prévues.

4.3.1. Description d’une logique d’intervention à trois niveaux

Nous examinons cette condition dans l’esprit de notre vision des interventions de Coopération au Développement (point 3.4) qui distingue trois niveaux découlant logiquement des activités : outputs, outcome(s) et impact(s).

Le canevas standard pour les projets de la coopération gouvernementale proposé par la CTB prévoit la description d’un objectif général (OG), d’un objectif spécifique (OS) et de plusieurs résultats attendus. Ce modèle est bien suivi dans tous les DTF que nous avons consultés.

Le schéma de présentation d’un programme ACNG prévoit, pour le programme général un seul OG (brièvement et clairement formulé) et un ou plusieurs OS par programme pays (y compris pour le volet ‘nord’ en Belgique). S’il y a plusieurs OS,

42

chaque OS correspond à un volet séparé de type ‘projet’. Le programme général des ACNG ne décrit pas le niveau des ‘outputs’. Les programmes pays sont censés tous contribuer à l’OG du programme. Ils sont décrits séparément et ne font généralement40 mention que des deux niveaux inférieurs (outputs et outcome(s)).

Les programmes du FBSA ont une logique d’intervention à quatre niveaux : Objectif général du programme (toujours le même : la sécurité alimentaire) � un OG par projet composant le programme (= impact) � plusieurs OS par projet composant le programme (= outcomes) � plusieurs résultats par OS (= outputs).

L’appréciation du lien de cause à effet entre les différents niveaux ou de la cohérence interne de l’intervention est un exercice subjectif qui nécessite une grande expérience de la part des évaluateurs. A l’exception des programmes du FBSA, généralement les OS et certainement l’OG sont exprimés en termes vagues.

Spécialement pour les programmes globaux des ACNG, le lien causal entre le deuxième niveau (celui de l’OS) et troisième niveau (celui de l’OG) est difficile à établir.

4.3.2. Indicateurs quantitatifs

Tous les acteurs mentionnent des indicateurs quantitatifs.

Les DTF de la coopération gouvernementale contiennent généralement une liste énumérant les indicateurs relatifs (parfois) à l’OG, à l’OS et aux différents résultats. Ces indicateurs sont aussi repris dans le cadre logique de l’intervention. Le manuel ‘More Results’ d’application postérieure aux différents DTF que nous avons consultés, donne de nombreuses indications utiles quant à la définition des indicateurs.

Le programme global des ACNG n’a pas d’indicateur pour l’OG mais doit contenir un maximum de trois indicateurs SMART pour chacun des OS. Les cadres logiques des programmes par pays contiennent pour chaque OS et pour chaque résultat deux à trois indicateurs SMART. Les dossiers des programmes par pays présentés par les ACNG doivent donc impérativement remplir un cadre d’indicateurs d’OS et de résultats intermédiaires avec valeur de base et valeur cibles pour les années 1, 2 et 3.

Pour le FBSA, la mise en place d’un système de suivi et d’évaluation performant commence par le choix d’indicateurs pertinents, clairs et fiables.

Les programmes du FBSA doivent disposer au niveau de l’OG d’indicateurs qui portent sur : (i) les quatre piliers de la sécurité alimentaire : disponibilité, accessibilité, stabilité et utilisation (nutrition) ; (ii) le renforcement des capacités des acteurs concernés tant au niveau national, régional que local ; et (iii) le renforcement de l’institution publique nationale chargée de la sécurité alimentaire. Les indicateurs qui servent internationalement à mesurer la malnutrition sont : pour les enfants de moins de cinq ans : poids pour taille (malnutrition aigüe, maigreur), taille pour âge (malnutrition chronique, retard de croissance), et poids pour âge (insuffisance pondérale). Des indicateurs portant les thèmes transversaux du genre, de l’environnement et des changements climatiques doivent également être identifiés.

Les différents projets composant les programmes du FBSA disposent eux aussi d’indicateurs quantitatifs formulés de manière SMART pour les trois niveaux de la chaine des résultats.

Très peu d’interventions sont conçues de manière à permettre l’usage d’indicateurs locaux. Il s’agit essentiellement des interventions en matière de santé (taux de mortalité maternelle, taux de mortalité infantile, prévalence de malnutrition chronique), d’éducation, d’accès à l’eau potable,… Il faut en plus que le territoire de la

40 Certains ACNG attribuent un OG différent à chaque programme pays.



zone d’intervention coïncide exactement avec une ou plusieurs entités administratives pour lesquelles les statistiques sont régulièrement prélevées. Une autre manière de procéder parfois utilisée est le relevé de données à la source : âge, taille et poids des patients des dispensaires de la zone d’intervention, registre de présence ou taux de réussite aux examens dans les écoles de la zone d’intervention,…

4.3.3. Indicateurs qualitatifs

La plupart des DTF consultés contiennent aussi des indicateurs qualitatifs. Par exemple : un plan de personnel basé sur les besoins est formulé ; une association d’agriculteurs est créée ; tous les…ont accès à… ; satisfaction des usagers des services de… ;…

Il y a des instructions spécifiques pour les indicateurs qualitatifs dans les formats développés pour les projets du FBSA, pour lesquels les indicateurs qualitatifs doivent être objectivement vérifiables, et pour les interventions des ACNG, pour lesquelles les indicateurs quantitatifs et qualitatifs objectivement vérifiables doivent être formulés de manière SMART.

4.3.4. Valeurs de base et valeurs cibles des indicateurs

Les DTF des projets de la coopération gouvernementale examinés contiennent des indicateurs dépourvus de valeur de départ et de valeur cible. Exemples : nombre de… ; quantité de… ; le coût de… ; taux d’accès à….

Pour les projets du FBSA, c’est volontairement et conformément aux instructions que la nature des indicateurs est donnée mais pas leur valeur de départ ni leur valeurs cibles. Parfois les documents de préparation se hasardent à quelques valeurs cibles indicatives mais la règle générale est qu’afin de pouvoir mesurer l’avancement d’un programme et de ses projets, il est important de disposer d’une situation de référence précise. Des valeurs fiables (des indicateurs) sont rarement disponibles lors de la phase préparatoire d’un programme du FBSA. Il faudra donc élaborer, au cours du premier semestre d’exécution du programme, des situations de référence précises pour le programme ainsi que pour les projets individuels. La ligne de base et les valeurs cibles des indicateurs de résultats mentionnés dans le cadre logique sont précisées et validées (en début de mise en œuvre) lors de l’exercice conjoint d’élaboration et de validation de la ligne de base. En effet, les progressions attendues ne peuvent pas être formulées de façon réaliste tant que la ligne de base n’a pas été établie. Dans la pratique, nous avons vérifié que peu de temps après le démarrage du programme, il y a, pour chaque partenaire du programme une revue des indicateurs du cadre logique, au cours de laquelle des valeurs de base et des valeurs cibles sont bien définies ou redéfinies. Parfois même un indicateur peut être remplacé ou libellé sous une forme plus pertinente.

Pour les programmes globaux des ACNG les valeurs de bases et les valeurs cibles (après trois ans) sont indiquées pour les indicateurs des OS. Comme il n’y a pas d’indicateurs pour l’OG du programme global, il n’y a pas de valeur de base ni de valeurs cible pour l’OG. Les différents programmes pays mentionnent pour les résultats (niveau output) des valeurs de bases et des valeurs cibles après une, deux et trois années. Si l’on s’accorde sur le raisonnement du paragraphe ci-dessus, la mention obligatoire, avant le début du programme, des valeurs de base et des valeurs cibles rend leur crédibilité sujette à caution.

Dans certains dossiers, la ligne de base (baseline) n’est pas considérée comme l’établissement strict et rigoureux de la valeur au temps zéro des différents indicateurs mais tout au plus comme une description générale de la situation dans la zone d’intervention en relation directe (ou non) avec le secteur d’intervention. Cette pratique s’accentue à l’entame d’une seconde ou troisième phase dont certains DTF mentionnent

44

que la situation de base étant bien connue, une étude baseline au début de cette phase de consolidation n’est pas nécessaire.

L’atteinte d’un indicateur qualitatif peut être objectivement vérifiée. Par exemple, un plan d’aménagement a été réalisé (ou non), une stratégie a été développée (ou non), une politique a été mise en place (ou non), la personne qui a bénéficié d’une formation a réussi le test en fin de formation (ou non)…

Certains indicateurs quantifient la qualité. Par exemple : pourcentage de satisfaction par rapport à un service (quantifie la qualité du service). Il faut cependant se méfier de tels indicateurs qui finissent par ne plus être objectivement vérifiables. Par exemple : pourcentage de producteurs avec une stabilité de revenu (mais la notion de revenu stable n’est pas univoque); nombre de groupements appuyés (mais l’on peut appuyer un groupement de multiples façons) ; nombre de services fonctionnels (mais ne peut-on pas être plus ou moins fonctionnel ?).

4.3.5. Sources de vérification

Tous les DTF consultés mentionnent des sources de vérification. Cependant, certains ACNG ne reprennent pas les sources de vérification des indicateurs d’OS dans la description synthétique de leur programme global.

4.3.6. Efficacité relative aux thèmes transversaux

Nous avons étudié ce point dans l’esprit de notre vision de la manière dont les thèmes transversaux devraient être appréhendés (voir 3.6, page 28).

Très peu de DTF sont construits de manière à permettre la mesure des résultats de premier (output) et de second niveau (outcomes) relatifs aux thèmes transversaux.

Certes, pratiquement tous les documents parlent à un endroit ou l’autre de genre et d’environnement (beaucoup plus rarement des autres thèmes transversaux). Cependant il est exceptionnel de pouvoir évaluer les résultats/changements relatifs à ces thèmes transversaux au moyens d’indicateurs, valeurs de base, valeurs cibles et sources de vérification spécifique. En fait, seules les interventions pour lesquelles un thème transversal constitue le (principal) objectif spécifique peuvent prétendre à un cadre logique permettant la mesure des résultats.

Ceci n’est pas le propre des interventions financées par la Belgique comme en témoigne un rapport d'évaluation de l’IFAD : « Une des leçons était que les méthodologies d’évaluation sensibles aux genre était généralement faibles à cause de cadres de résultats mal conçus et de théories du changement faiblement et mal articulées. Les indicateurs de performance en matière de genre étaient ni définis de façon claire, ni suffisamment précis que pour permettre une appréciation des programmes en terme de leur contribution à l’égalité des genres ou à l’autonomisation des femmes ».41

Une appréciation des résultats en matière d’égalité des genres est cependant relativement plus aisée. En effet, même si cette thématique n’est pas l’objectif principal, de nombreuses interventions utilisent des statistiques ou mesurent des indicateurs dont la valeur est désagrégée en fonction du genre ou de manière sexo-spécifique. L’amélioration de l’égalité entre les hommes et les femmes peut alors être mesurée relativement facilement, même si cette égalité n’est pas un objectif principal ou

41 Traduction libre de “It was found that the gender-responsive evaluation methodologies were generally weak due to poorly designed results frameworks, and weak and poorly articulated theories of change. Gender performance indicators were not clearly defined or sufficiently precise to permit assessment of programmes in terms of their contribution to gender equality and women’s empowerment.” IFAD , “Gender equality and development evaluation units: Lessons for evaluations of development support of selected multilateral and bilateral agencies”, Conducted for the Evaluation Cooperation Group, 2012.



secondaire de l’intervention. Par exemple : fréquentation scolaire, participation à une mutuelle de santé, utilisation des facilités d’une maternité.

Les interventions dans le domaine de l’éducation ont aussi plus de facilités parce que la liste des présences et les statistiques en matière de réussite aux examens sont déjà largement et depuis longtemps désagrégées.

La plupart des statistiques nationales en matière de santé, de malnutrition, de pauvreté, d’accès à l’énergie, à l’eau potable, etc… sont aussi généralement désagrégées par genre (ou peuvent l’être facilement au départ de données primaires).

Les programmes du FBSA portent relativement plus d’attention à la thématique du genre et de l’environnement. Les projets doivent en principe présenter une logique d’intervention spécifique (+ indicateurs) pour les thèmes du genre et de l’environnement. Un programme envisage des résultats spécifiquement focalisé sur ‘women and youth’ et entend utiliser plus de 50% de son budget pour assurer plus d’égalité entre les genres. Les indicateurs en sont : pourcentage de femmes inscrites dans les plans ‘épargne-crédit’ ; pourcentage de femmes ayant accès à l’information ; pourcentage de femmes dans les structures de décision locale, pourcentage de ménages où les femmes contrôlent au moins 20% des revenus du ménage ; distance entre la case et le point d’eau le plus proche ;…

Un programme du FBSA prévoit la mise en place et le financement spécifique d’une cellule de coordination genre.

De plus, une véritable approche programme telle que celle du FBSA permet le fait que les thèmes transversaux ne doivent pas nécessairement être traités par chacun des projets qui le composent mais peuvent être délégué à un ou plusieurs autres projets.

4.4. Conditions relatives à l’efficience

Nous considérons que les résultats prévus sont atteints de manière économe s’ils sont atteints avec les budgets prévus, dans les temps prévus et avec le minimum de coûts de gestion. De ce fait nous examinerons successivement les liens entre les budgets et les résultats, les liens entre les budgets et le calendrier d’exécution et enfin la description du système de gestion.

Pour les ACNG, la description des programmes dans chacun des pays du Sud doit, entre autres, traiter de l’efficience des méthodes et moyens d’exécution prévus.

4.4.1. Le budget est libellé par résultat

L’évaluation de l’efficience vérifiant si les résultats ont été obtenus de façon économe, il est important de connaître dans les DTF les dépenses prévues pour l’obtention de chaque résultat.

Le budget dans les DTF de la coopération gouvernementale est présenté sous la forme de deux tableaux distincts. Dans un premier, chaque résultat et même chaque activité sont pourvus d’un budget spécifique désagrégé année par année. A côté de ce premier cadre budgétaire par résultat, le DTF contient également un second cadre budgétaire pour les moyens généraux ou ressources communes, non désagrégeables par résultat, tels que les frais de personnel, les frais d’investissements, les frais de fonctionnement et les frais d’audit, de suivi et d’évaluation. Dans les études de cas, ces prévisions sont également désagrégées par année.

Le budget des programmes des ACNG (voir annexe 3) est présenté sous la forme de quatre tableaux distincts.

Le budget du programme global des ACNG (le ‘tableau 1’) résume les prévisions de dépenses par pays, par année et par poste budgétaire (investissement, fonctionnement

46

et personnel). Le budget général contient aussi un cadre spécifique par année et par poste budgétaire pour les coûts de gestion.

Le budget des coûts de gestion est désagrégé dans le ‘tableau 2’, qui reprend les prévisions de dépense par poste et sous-poste budgétaire (investissement, fonctionnement, personnel), par année et par pays.

Le schéma de présentation d’un programme global ANG stipule que dans l’optique d’une simplification administrative, …la description des moyens dans les coûts opérationnels est demandée par poste budgétaire et non plus par résultats. Cette instruction permet néanmoins une appréciation de l’efficience au niveau de l’OS de chaque programme pays car chaque programme pays est pourvu d’un budget opérationnel qui lui est propre.

Le budget des coûts opérationnels du ou des programmes des ACNG en Belgique est précisé dans le ‘tableau 3’ qui reprend pour chaque programme individuel les prévisions de dépenses d’une part par année et par poste budgétaire ; d’autre part par année et par résultat.

Le budget des coûts opérationnels du ou des programmes des ACNG dans les pays partenaires est précisé dans le ‘tableau 4’ qui reprend pour chaque programme individuel les prévisions de dépenses d’une part par année et par poste budgétaire ; d’autre part par année et par résultat. Par ailleurs, les frais des bureaux de coordination peuvent être considérés comme des coûts opérationnels pour autant qu’ils soient clairement repris dans les conventions de partenariat et reliés aux résultats à atteindre.

Le budget général du programme (tableau 1), s’il est correctement rempli, fixe le coût estimé de chaque objectif spécifique du programme et permet donc en principe l’appréciation de l’efficience dans l’atteinte de chaque OS du programme général42.

L’objectif spécifique n’est cependant pas toujours libellé en termes de résultat(s) concret(s). Il n’est donc pas toujours possible de lier les dépenses prévues à la réalisation de la valeur cible d’indicateurs.

Le budget de chaque projet constitutif d’un programme du FBSA est aussi présenté sous la forme de deux tableaux

Le budget général du projet résume les prévisions de dépenses par résultat (outcome), par année et par poste budgétaire (investissement, fonctionnement et personnel). Le budget général contient aussi une ligne résumant les coûts de gestion par année.

Le second tableau décrit le budget des coûts de gestion par poste budgétaire, par année et par situation géographique (Belgique ou bureau de coordination).

Ce mode de présentation, correctement rempli, permet l’appréciation objective de l’efficience au niveau des outcomes du projet et des outputs du programme43.

Cependant, Dans le schéma de budget des projets FBSA les coûts sont liés aux résultats mais concernent les postes qui s’occupent de plusieurs résultats. Il est difficile de croire que le personnel d’un projet s’occupe d’un résultat bien précis et que le mobilier / immobilier ne soit affecté qu’à l’atteinte d’un seul résultat.

42 Pour rappel, le programme général d’un ACNG est constitué de sous-programmes en Belgique et dans les pays / régions partenaires de la coopération non gouvernementale. 43 Dans la conception du ‘cadre logique en cascade’ appliquée par le FBSA, les outcomes du programme sont les impacts des projets qui le constituent et les outputs du programme sont les outcomes des projets qui le constituent.



4.4.2. Le budget est libellé par année d’activité

Tous les partenaires prévoient un rapportage financier annuel relatif, notamment à l’exécution budgétaire. La comparaison entre la prévision et l’exécution budgétaire année par année est donc possible.

4.4.3. Le mode et les responsabilités de gestion

Les DTF des projets de coopération gouvernementale possèdent un chapitre intitulé ‘Modalités d’exécution’. Ces modalités d’exécution sont définies sur la base du PIC et de l’analyse des risques, et selon les principes de responsabilisation des partenaires, d’harmonisation et d’alignement, et couvre :

• les responsabilités en termes de prise de décision (technique, administrative et financière)

• les canaux de déboursement financiers

• les procédures liées aux marchés publics (y compris les seuils de responsabilité)

• les procédures de rapportage administratif, comptable et financier

• les procédures de suivi et d’évaluation dans le cadre de la structure mixte de concertation locale

• la composition et les attributions des structures de suivi et d’exécution si applicable

Les informations préliminaires du schéma de présentation d’un programme ACNG mentionne qu’une attention particulière sera portée à l’application d’une méthodologie (de gestion) correcte. Plus loin, la partie consacrée à la stratégie de l’organisation prévoit la description des organes de gestion et de la capacité de gestion de l’organisation pour le programme pluriannuel.

La description des programmes dans les pays du Sud prévoit en outre le traitement des points de

• renforcement de la capacité de gestion

• efficacité et efficience des moyens et méthodes prévus.

Les programmes du FBSA font l’objet d’une coordination par un partenaire qui ne s’occupe que de la coordination du programme avec un budget maximum de 5% du budget global. Cette coordination se fait en étroite collaboration avec l’institution publique nationale en charge de la sécurité alimentaire, l’ambassade de Belgique et les groupes cibles (admin locales,…) et est plus ou moins bien décrites selon les cas étudiés.

Les projets du FBSA doivent être préparés de manière participative (arbre à problème, arbre à objectifs et “theory of change”), et mis en œuvre, suivis et évalués selon une approche logique orientée vers les résultats. Pour le FBSA, le schéma de présentation donne quelque détail sur les obligations de cette logique : Cette obligation légale n’exige pas seulement la présentation formelle d’un cadre logique, mais également l’utilisation par le partenaire de ce cadre logique en tant que véritable outil de gestion en vue d’atteindre les résultats escomptés.

4.4.4. Gestion axée sur les résultats

Les DTF des projets gouvernementaux contiennent un chapitre spécifique intitulé « modification du dossier technique et financier ». La formulation suivante est extraite d’une étude de cas mais est représentative de la manière dont la flexibilité est conçue pour la coopération gouvernementale : « Le DTF peut être modifié par le

48

pays partenaire et la CTB quand cela s’avère nécessaire pour la bonne exécution du projet, à l’exception toutefois de l’objectif spécifique et du budget total du programme pour lesquels une éventuelle modification doit se faire par un échange de lettres entre l’Etat partenaire et l’Etat belge ». On constate que la flexibilité est centrée sur les moyens, les activités (la bonne exécution) et le premier niveau de résultats (outputs).

Pour les ACNG, la flexibilité est inclue dans le concept obligatoire de gestion axée sur les résultats : « … une attention particulière sera portée à l’application de… et à l’utilisation systématique de la gestion axée sur les résultats ». De là que la presque totalité des études de cas consultées mentionne effectivement que l’intervention sera gérée en fonction des résultats. Cependant, si tous les dossiers consultés utilisent la formule ‘gestion axée sur les résultats’, peu de dossier témoignent d’une réelle connaissance et maîtrise du concept. Nous n’avons en effet trouvé dans aucun DTF une quelconque description de cette méthode de gestion.

Pour rappel, « Axer la gestion sur les résultats signifie gérer et mettre en œuvre l’aide en se concentrant sur les résultats souhaités et en utilisant les données disponibles en vue d’améliorer le processus de décision ». Un tel mode de gestion nécessite un « cadre d’évaluation des performances transparent et se prêtant à un suivi » dont la qualité laisse parfois à désirer dans les dossiers examinés.

La question se pose moins pour les interventions dans le secteur de l’infrastructure dont les activités sont confiées, via appels d’offres à des sociétés privées. Par exemple forage d’eau potable, construction, électrification.

La Gestion axée sur les résultats est à nos yeux prévue et appliquée de manière plus approfondie dans les nouveaux programmes et projet du FBSA. Dans la pratique,

• Tous les projets du FBSA disposent d’un cadre de suivi actualisé, reprenant pour chaque niveau de la chaine des résultats, les indicateurs, leur valeur de base, leur valeur attendue à intervalle régulier et leur valeur attendue à la fin du projet. Cet instrument est le seul capable de servir de base à une véritable gestion axée sur les résultats.

• Pour les projets composants les nouveaux programmes du FBSA, le cadre logique est actualisé au moins une fois puisque la procédure requiert de fixer pour leurs indicateurs des valeurs de départ et des valeurs cibles temporaires en vue de l’obtention du financement et d’actualiser ces valeurs au début de l’exécution (soit après l’octroi de la subvention).

Les considérations ci-dessus sont aussi valables pour le critère d’efficacité.

4.5. Données liées à l’évaluation de la durabilité

Plusieurs dossiers se penchent spécifiquement sur le critère de durabilité en lui consacrant un paragraphe spécifique littéralement intitulé ‘durabilité’. Cependant, si le sujet est traité, la durabilité environnementale est généralement analysée au point ‘environnement’ du chapitre consacré aux thèmes transversaux.

Les DTF des interventions de la coopération gouvernementale contiennent un point intitulé clôture de la prestation. Ce point se penche uniquement sur la clôture financière et comptable de l’intervention et, parfois sur le contenu du rapport final. La durabilité de l’intervention peut faire l’objet d’un commentaire dans ce rapport final mais les DTF rédigés par la CTB ne contiennent généralement pas de point spécifique consacré à la durabilité telle que définie par le CAD.

D’autre part, plusieurs DTF contiennent la formule relativement générique suivante : « la partie partenaire s’engage



• à prendre les dispositions institutionnelles, administratives et budgétaires nécessaires pour garantir la poursuite des activités au sein des structures retenues après la cessation de l’intervention belge ;

• à veiller à ce que les équipements et matériels acquis avant cessation de l’intervention belge devienne propriété du partenaire après cessation de l’intervention belge et restent affectés aux structures pour lesquelles les mêmes activités mènent aux mêmes effets. »

La majorité des indices permettant de se prononcer sur les différents aspects de la durabilité sont contenus dans le chapitre relatif aux modalités d’exécution, généralement divisé en plusieurs points dont le partage des responsabilités administratives, des responsabilités techniques et responsabilités financières entre la CTB et le partenaire.

Pour les ACNG, les descriptions des programmes dans chacun des pays du Sud doivent, entre autres, traiter des points suivants : renforcement des capacités institutionnelles et de gestion ; durabilité technique, financière et socio-culturelle ; … ; durabilité des résultats et stratégie de désengagement.

La question de la durabilité institutionnelle des actions Nord des ACNG ne se pose que rarement. Le partenaire nord ayant généralement une vie propre avant et après l’action. La question de l’évaluabilité de la durabilité institutionnelle se pose donc autrement.

Le FBSA prévoit quant à lui que la durabilité et les stratégies de désengagement soient mentionnées dans les documents de projets.

Les programmes quinquennaux du FBSA prévoient presque systématiquement une deuxième phase de cinq ans après une première phase de cinq ans (qui peut éventuellement succéder à une intervention de type projet individuel): Vu…, il est peu probable qu’un programme du FBSA puisse avoir un impact durable sur la sécurité alimentaire dans une zone d’intervention en une période de cinq ans. C’est pourquoi un programme du FBSA est normalement prolongé par un deuxième programme appelé « programme de consolidation ». Dans ces circonstances, se prononcer sur l’évaluabilité du critère durabilité au début d’une période de dix ans devient plus difficile.

4.5.1. Intégration dans le système de suivi

L’appréciation de la durabilité requiert, par définition, qu’une partie au moins du système de suivi des indicateurs et des résultats soit maintenu après la fin de l’intervention. Ce maintien ne sera crédible que si, dans les DTF, il est prévu, pourvu d’un financement et d’un responsable.

Rares sont les DTF parmi les études de cas consultées qui prévoient un quelconque suivi des indicateurs et/ou des résultats après la fin de l’intervention.

La permanence du relevé de la valeur des indicateurs après l’intervention n’est assurée que dans de rares cas où l’institution locale bénéficiaire relève déjà ces indicateurs dans le cadre de son core-business. Par exemple : liste de présence (+ genre) dans les classes ; ou examen de routine dans les centres de santé (âge, taille, poids, genre). La permanence du relevé est aussi assurée lorsque les indicateurs sont pris dans le système de statistique nationale (taux de vaccination, pourcentage de redoublement, mortalité infantile,…)

D’autre part, dans les grands secteurs d’intervention classiques (éducation, santé, développement rural, infrastructure,…), et dans les autres domaines où il existe des groupes de dialogue technique entre bailleurs et partenaires du sud, le contexte général et les indicateurs nationaux continuent à être suivi. Dans la coopération gouvernementale, la Belgique s’est aussi fixée de rester dans les mêmes secteurs pour

50

une période minimale de dix ans ; ce qui garantit un suivi du secteur (à défaut d’indicateurs précis).

Beaucoup d’ACNG sont aussi spécialisés dans un domaine bien déterminé, ils suivent l’évolution de la situation dans ce domaine, soit localement, soit via les multiples moyens d’information existant. On peut s’imaginer que le niveau de sensibilisation dans le Nord est suivi de manière continue tant que l’acteur continue d’exister.

Au cas où, comme pour le FBSA, une deuxième phase de cinq ans est prévue quasi systématiquement, le système de suivi prévu devrait poursuivre le relevé des indicateurs. Le passage de la phase un à la phase deux ne doit pas être confondu avec la fin de l’intervention (au sens de la définition du critère de durabilité).

4.5.2. Durabilité financière

Les éléments nécessaires à l’appréciation de la durabilité financière sont disponibles dans le budget principalement à travers l’évolution annuelle de la répartition des frais opérationnels et de gestion entre le bailleur et le partenaire.

Pour les ACNG, l’Arrêté ministériel du 30/05/2007 portant exécution de l’arrêté royal du 24 septembre 2006 relatif à la subvention des programmes et projets présentés par les organisations non gouvernementales de développement agréées (article 7, 7°) prévoit qu’ « en ce qui concerne les fonds de crédit ou de garantie la convention de partenariat doit contenir une disposition que l’ONG continuera à effectuer un suivi du financement et à établir des rapports sur la gestion des actifs et circulants par le partenaire, pendant six ans après le transfert de propriété ».

4.5.3. Durabilité institutionnelle

La durabilité institutionnelle est généralement assurée pendant la mise en œuvre à travers (i) un renforcement des institutions partenaires, et (ii) un renforcement des capacités des acteurs qui travaillent au sein de ces institutions partenaires.

L’objectif global des programmes du FBSA doit notamment être pourvu d’indicateurs portants sur :

• le renforcement des capacités des acteurs concernés tant au niveau national, régional que local ;

• le renforcement de l’institution publique nationale chargée de la sécurité alimentaire.

L’immense majorité des programmes ‘SUD’ des ACNG vise également le renforcement institutionnel de leurs partenaires locaux respectifs : « L’accent est par là mis d’une part sur le renforcement de la capacité organisationnelle et de l’offre de service, et d’autre part sur le renforcement de la capacité institutionnelle»44.

La durabilité des actions ‘NORD’ des ACNG n’est abordée dans aucun cas. Il est vrais que ces actions visent plus à sensibiliser qu’à renforcer les capacités et présentent par ailleurs d’autres difficultés d’évaluation.

Pour la coopération gouvernementale, de nombreux DTF prévoient qu’un supplément de salaire soit accordé au personnel local travaillant dans le cadre de l’intervention. Un DTF précise même que la rémunération apportée par le projet reste nettement meilleure que la salaire payé par la fonction publique mais moins attractive pour les (fonctionnaires) cadres qui sont sollicités par de multiples programmes et organisations internationales.

44 Traduction libre de : « Daarbij ligt het accent enerzijds op versterking van de organisatiecapaciteit en dienstverlening, en anderzijds op versterking van institutionele capaciteit »



4.5.4. Durabilité environnementale

La question de l’environnement est généralement traitée dans les points réservés aux thèmes transversaux et nous n’avons pas rencontré de cas dans lesquels la question de la durabilité environnementale était abordée de façon spécifique.

4.6. Conditions relatives à l’impact

Les interventions de la coopération gouvernementale étudiées ne comportent que rarement des indicateurs d’impact. Même dans ce cas, le niveau de contribution de l’intervention belge à l’impact est totalement impossible à déterminer par les moyens d’évaluation classique. Par exemple, il est probable qu’un projet de santé primaire contribue à décroitre le taux de mortalité infantile ; mais à quel niveau ? De même il est probable qu’un projet d’électrification contribue au développement socioéconomique de la région électrifiée ; mais pour quelle partie ? Un des dossiers examinés concerne un projet d’électrification rurale et mentionne, sans malheureusement les exploiter, des indicateurs d’impact relatifs au développement socio-économique et à l’amélioration des conditions de vie :

• L’électrification des centres de santé permettra une meilleure dispensation des soins, en particulier aux (futures) mères et aux enfants;

• L’électricité donne l’accès à l’information (radio) et aux communications (GSM)

• L’électricité permet de mécaniser les travaux pénibles (exhaure de l’eau, moulin à céréales,…)

• L’électricité permet le fonctionnement d’activités d’artisanat et de commerce.

• L’éclairage dans les classes et les maisons améliore les conditions d’apprentissage scolaire et par là les résultats scolaires.

Tous ces indicateurs sont en fait mesurables à peu de frais et l’on n’est même pas obligé de les prendre tous.

Les programmes globaux des ACNG ont un objectif général très ‘général’ qui est dépourvu d’indicateurs et donc dépourvu de valeur de base et de valeur cible. Il est par conséquent totalement impossible de déterminer le degré d’atteinte de l’objectif général ou le niveau de contribution du programme à l’impact. Cette manière de procéder est sans doute héritée des premières applications du PIPO et de l'approche ‘cadre logique’, pour lesquelles, à l’époque, on ne demandait pas d'indicateurs pour les objectifs généraux et on ne faisait pas le lien avec l'impact.

Les programmes du FBSA ont par contre tous, le même objectif général. Ils sont de plus, comme déjà mentionnés, pourvus d’indicateurs SMART spécifiques aux quatre aspects de la sécurité alimentaire. Ces indicateurs sont reconnus internationalement et peuvent être reconstitués au niveau des registres de chaque centre de santé qui mesurent systématiquement la taille, l’âge et le poids de chaque patient. De plus, ils entrent dans les statistiques mesurées dans la presque totalité des pays du monde. Pour autant qu’ils soient désagrégés au niveau du genre et au niveau de la zone d’intervention, ils facilitent l’évaluation de l’impact par méthodes quantitatives même si l’utilisation de méthodes quasi-expérimentales n’était pas prévue au départ. Le contrefactuel ne sera cependant jamais idéal vu le choix de la zone traitée (la plus sujette à l’insécurité alimentaire) et le côté multisectoriel des programmes du fonds45.

45 Les indications portent aussi bien souvent sur la fraction de la population qui se présente aux centres de santé et non sur l’ensemble de la population.

52

Un comparaison avec une autre zone, moins aidée ou aidée par un autre bailleur pourra néanmoins se faire plus facilement.

Par le mécanisme de cadre logique en cascade, les projets du FBSA ont également un objectif général, différent de l’objectif général du programme et en lien direct avec les activités spécifiques du projet. Les objectifs généraux des différents projets constituant les programmes du FBSA sont eux aussi pourvus d’indicateurs SMART dont les valeurs de base et finales sont mesurables ; ce qui permet d’évaluer la contribution du projet à l’impact.


5. Conclusions

L’extension de l’échantillon à un total de 26 études de cas n’a fait que confirmer les indications initiales détectées pendant la phase de développement du cadre méthodologique :

• Aucun DTF d’intervention n’est rédigé de manière à rendre cette intervention objectivement évaluable sur la totalité des critères d’évaluation du CAD. Les critères les plus problématiques étant l’impact, suivi de la durabilité et de, dans une moindre mesure, l’efficience.

• Du fait que chaque DTF est rédigé selon un format imposé pour la coopération gouvernementale, les ACNG ou le FBSA, les différences détectées au niveau de l’évaluabilité le sont fort logiquement selon les lignes : projet de coopération bilatérale, programme général des ACNG, programme en Belgique des ACNG (actions ‘Nord’), programme des ACNG dans les pays du Sud, Programme pays du FBSA, Projet du FBSA. Chacun de ces types d’intervention possède des avantages comparatifs pour l’évaluabilité de l’un ou l’autre critère. Aucun de ces types d’intervention n’est cependant évaluable pour tous les critères

• Les questions d’évaluabilité qui sont les moins bien documentées et les domaines limitants l’évaluabilité ou difficiles/impossibles à évaluer sont:

� les attentes des bénéficiaires;

� le financement adéquat du système de suivi-évaluation ;

� la prise en compte des thèmes transversaux de manière à ce que les résultats sur ces thèmes soient évaluables; plus spécifiquement la thématique genre (sauf dans les cas comme l’éducation où des mesures désagrégées sont de longue date traditionnelles) et la thématique environnement46 ;

� La durabilité financière ; le suivi du contexte, des risques et des résultats ainsi que la reprise des opérations par le partenaire local après la fin de l’intervention

� l’impact au sens de la définition du glossaire du CAD ;

� l’impact au sens de résultats attribuables à l’intervention (méthodes quasi expérimentales ou mixtes).

� l’impact par méthode expérimentale (aucun des dossiers consultés n’a prévu de mécanisme de suivi au sein d’un groupe contrefactuel). Il est vrais que le coût d’application de telles méthodes les rend difficilement généralisables à l’ensemble des interventions. D’où la nécessité de définir à l’avance pour quelles interventions cette méthode d’évaluation sera appliquée.

• Le critère de pertinence porte entre autres sur l’adéquation entre les actions proposées et les priorités. Il n’est pas rares qu’il y aient des divergences de vues entre les différentes parties prenantes sur ces priorités. Si ce n’est pas souvent le cas

46 Ceci ne signifie pas nécessairement que ces thèmes ne sont pas abordés ou qu’il n’y ait pas d’activités spécifiques en faveur du genre ou de l’environnement. La difficulté d’évaluer les résultats relatifs à ces thèmes serait justement liée à leur transversalité.

54

en ce qui concerne la coopération gouvernementale, il est plus fréquent lorsque le partenaire de mise en œuvre est une organisation syndicale ou une ONG. Un des rôles de ces organisations est justement de porter un jugement critique sur la nature des besoins des bénéficiaires, les priorités globales, les politiques gouvernementales et des bailleurs de fonds.

• Le fait qu’une intervention soit en théorie, évaluable sur base des éléments contenus dans le DTF ne signifie pas qu’elle soit évaluable en pratique et ceci pour deux raisons :

� D’une part, le DTF est une déclaration d’intentions qui ne vont pas nécessairement se concrétiser;

� D’autre part, l’évaluabilité en pratique possède des conditions supplémentaires qui lui sont propres: sécurité, qualification des évaluateurs, période de l’année, collaboration des parties prenantes, autorisations des autorités locales,...

• L’utilisation d’indicateurs nationaux (du document stratégique de réduction de la pauvreté (DSRP)) ou internationaux (par exemple taux de malnutrition) se révèle difficile pour des interventions de type ‘projet’ ou relatives à des sous-secteurs très spécialisés. Par contre, l’utilisation de tels indicateurs est beaucoup plus fréquentes dans des secteurs tels que l’éducation et dans une moindre mesure la santé parce que ces domaines donnent lieu à des statistiques nationales annuelles souvent désagrégées jusqu’au plus bas niveau administratif et presque toujours désagrégées au niveau du genre.

• Un constat inattendu et positif est que l’évaluation de l’efficacité (résultats au niveau des outputs et des outcomes) par les moyens préconisés par les textes légaux et règlementaires (baseline et suivi d’indicateurs SMART pourvu de valeurs cibles) est généralement possible et prévue dans les DTF.


6. Conditions préalables à une évaluation

6.1. Conditions générales

6.1.1. Assurer une compréhension commune à tous les acteurs de la notion d’intervention et une définition univoque des termes et concepts utilisés.

Le concept d’intervention de coopération doit être compris au sens large et englober les interventions de type ‘projet individuel isolé’, les projets parties de programme, les programmes pays, les programmes sectoriels, les fonds, les programmes de bourses, les participations à des programmes conjoints,…

Pour toute intervention de niveau supérieur au type ‘projet individuel isolé’, nous préconisons d’adopter l’approche dite du cadre logique en cascade :

Programme général

Impact, objectif général Sous-programmes pays, fonds ou interventions à composantes multiples

Outcomes, objectif spécifique

Impact, objectif général Projets ou composants individuels d’un programme plus large

Outputs, résultats intermédiaires


Impact, objectif général




Activités spécifiques au programme général

Activités spécifiques au sous-programme pays

Activités

Ressources spécifiques au programme général

Ressources spécifiques au sous-programme pays

Ressources

Tableau 2: Approche dite ’du cadre logique en cascade’

Les notions d’impact, d’outcomes et d’output doivent être comprises telles qu’expliquées au tableau 1 (point 3.4, page 26).

56

Une définition univoque des autres termes et concepts utilisés, telle que proposée au chapitre 3 est également souhaitable.

6.1.2. Le dossier technique et financier de l’intervention est disponible

Sans un dossier technique et financier ou un document qui en tient lieu, il est difficile d’envisager l’évaluation d’une intervention.

Au chapitre 7 de cette étude, nous proposons un modèle de DTF qui tient compte de ce que nous considérons comme les exigences minimales en matière d’évaluabilité.

6.1.3. L’évaluation est une étape prévue dans le cycle de gestion des interventions

Prévoir une évaluation, c’est notamment envisager sa nature (auto-évaluation, évaluation interne, externe, indépendante), son moment (ex ante, à mi-parcours, finale, ex-post), son objet, son objectif et son champ.

Le fait qu’aucune évaluation ne soit prévue n’en empêche pas la réalisation mais entraine des difficultés comme par exemple, La reconstruction des données de base, l’accord à postériori des parties prenantes sur le principe d’une évaluation, ou encore le financement de l’évaluation.

Le budget réservé à l’évaluation devrait être proportionnel aux ambitions exprimées. Si l’évaluation est bien une activité indépendante et ponctuelle, elle devrait néanmoins être reliée au système de suivi et de gestion axée sur les résultats.

6.1.4. Le DTF prévoit un système de suivi

Un système de suivi a pour but de générer des informations qui permettront d’abord de gérer l’intervention en vue d’atteindre les résultats attendus, ensuite d’évaluer l’intervention en fonction des cinq critères du CAD. Nous reviendrons sur les conditions spécifiques à ces cinq critères dans les paragraphes qui leur sont consacrés. Un tel système ne s’improvise pas. Il convient de le calibrer, puis de le mettre en œuvre, d’utiliser les données qu’il génère en vue d’une gestion axée résultats et, le cas échéant, d’assurer la continuité du système après le départ du bailleur. Le suivi ne devrait pas se limiter aux indicateurs de résultats; il concerne aussi le contexte de l’intervention et son évolution, l’occurrence (ou non) de risques – anticipés ou non - et des conditions externes. Le suivi comprend aussi les missions effectuées à l’initiative du bailleur ou du siège de l’organisation de mise en œuvre en Belgique. Le suivi implique un budget qui peut être réduit si l’on se sert d’indicateurs collectés par les instituts de statistiques du pays partenaire ou si l’on utilise des études conjointes ou effectuées par d’autres bailleurs. L’obligation pour les ACNG d’effectuer dorénavant des études contextuelles communes va dans ce sens.

6.1.5. Le DTF devrait comprendre une analyse des parties prenantes, y compris des bénéficiaires et des partenaires locaux.

L’analyse des parties prenantes avec un niveau de détail adapté à la nature de l’intervention est un élément essentiel dans la réponse à de nombreuses questions d’évaluation. Cette analyse porte sur l’intérêt – favorable ou défavorable – que chacune des parties prenantes est susceptible de développer par rapport à l’intervention et sur la mesure dans laquelle elle y contribuera ou au contraire y opposera de la résistance.

Conditions d’évaluabilité théorique


On peut classer les parties prenantes en plusieurs catégories :

• Le bailleur, son siège à Bruxelles et sa Représentation dans le pays en voie de développement.

• Les organisations de mise en œuvre, leur siège en Belgique et leur Représentation éventuelle dans le pays d’intervention.

• Le partenaire local dont le rôle premier doit être une fonction d’intermédiaire entre l’organisation qui met en œuvre le programme et le bénéficiaire.

• Les bénéficiaires directs qui bénéficient des outputs

• Les bénéficiaires directs et/ou indirects qui bénéficient des outcomes

• Les bénéficiaires ultimes qui bénéficient des impacts

La distinction ne peut pas toujours se faire clairement entre les trois niveaux de bénéficiaires. Cette distinction est relativement facile dans les interventions à dominante ‘renforcement de capacités’ où les individus formés sont les bénéficiaires directs, l’institution où ils travaillent est le bénéficiaire indirect et où les clients/usagers de cette institution sont les bénéficiaires ultimes. La distinction est moins utile dans les interventions à dominante ‘infrastructure’ pour lesquelles les seuls vrais bénéficiaires sont les usagers (du pont, du réseau de distribution d’eau, du raccordement à l’électricité, du réseau d’égouttage,…).

Selon la spécificité de l’intervention le partenaire local (ou une partie de son personnel) peut également être bénéficiaires. Similairement le groupe cible peut être composé d’un ou de plusieurs niveaux de bénéficiaires.

Nous préconisons en tout cas de distinguer un maximum de parties prenantes. Il existe plusieurs techniques d’analyse des parties prenantes. Nous suggérons d’utiliser la matrice à double entrée qui les regroupe en fonction de leur intérêt dans l’intervention et de leur pouvoir de décision sur l’intervention (en anglais : stakeholder mapping)47. En fonction du classement dans la matrice, la méthode préconise quatre mode de gestion différents: engager étroitement et influencer activement, maintenir satisfait, maintenir informé, suivre avec le minimum d’efforts.

47 Fiche sur "Analyse des parties prenantes" tirée du module de formation de la FAO et de l'Union européenne sur les "Techniques de collaboration et de plaidoyer".

58

Tableau 3: Analyse et gestion des parties prenantes

Comme toute activité, la gestion des parties prenantes a un coût qu’il convient de répercuter sur le budget de l’intervention.

Enfin, l’analyse des parties prenantes est aussi un élément de justification du choix du partenaire local et des bénéficiaires.

6.1.6. Une durée et un planning détaillé de l’intervention

Non seulement la durée, mais aussi le planning de l’intervention sont des éléments essentiels à l’évaluation.

Normalement la durée d’une intervention devrait découler du niveau d’ambition des objectifs et de la planification des activités prévues en tenant compte de leur difficultés, des moyens disponibles et du contexte particulier (saison culturale, calendrier scolaire,…). Un projet en agriculture est forcément davantage tributaire du calendrier saisonnier qu’un projet de construction mais la construction d’une école doit aussi de préférence se terminer avant le début de l’année scolaire.

Pour des raisons compréhensibles de programmation, la durée des interventions est limitée / fixée à trois ans pour les interventions des ACNG et à cinq ans pour les interventions du FBSA. Seuls les projets bilatéraux bénéficient d’une marge de manœuvre plus grande. Il n’est donc pas toujours possible d’adapter le planning des interventions à la nature des activités prévues et au niveau d’ambition des objectifs. Dans ce cas nous recommandons d’adopter la stratégie inverse : adapter le niveau d’ambition à la durée prévue.

La durée totale d’une intervention entre directement en ligne de compte dans l’évaluation de l’efficience. Un projet en retard signifie qu’il faudra le prolonger ou que tous les résultats prévus ne seront pas atteints à la date de fin prévue. Cette prolongation a un coût ; ce qui influence donc directement l’efficience.



Sauf si cela est mentionné dès l’identification de la phase 1, le recours à une phase 2, ou à un autre bailleur pour finalement atteindre les objectifs de la phase 1 en deux fois plus de temps et avec deux fois plus d’argent diminue fortement l’efficience globale.

Tant pour la planification que pour le suivi des activités, nous recommandons d’utiliser le diagramme de Gantt48:

« Le diagramme de Gantt, couramment utilisé en gestion de projet, est l'un des outils les plus efficaces pour représenter visuellement la planification et l'état d'avancement des différentes activités qui constituent une intervention. La colonne de gauche du diagramme énumère toutes les activités à effectuer, tandis que la ligne d'en-tête représente les unités de temps les plus adaptées à l’intervention. Chaque activité est matérialisée par une barre horizontale, dont la position et la longueur représentent la date de début, la durée et la date de fin. Ce diagramme permet donc de visualiser d'un seul coup d'œil :

• Les différentes activités à envisager

• La date de début et la date de fin de chaque activité

• La durée escomptée de chaque activité

• Le chevauchement éventuel des activités, et la durée de ce chevauchement

• La date de début et la date de fin de l’intervention dans son ensemble

En résumé, un diagramme de Gantt répertorie toutes les activités à accomplir pour mener l’intervention à bien, et indique la date à laquelle ces activités doivent être effectuées (le planning). »

6.1.7. Le budget de l’intervention est détaillé et structuré

Les informations budgétaires nécessaires à l’appréciation de l’efficience sont décrites au point 6.4.

Le principe général à adopter dans l’élaboration du budget d’une intervention est qu’une activité qui ne dispose pas de moyens financiers adéquats ne se fera pas, même si cette activité est explicitement prévue.

Nous préconisons le format adopté par la coopération gouvernementale qui distingue

• un volet reprenant des postes attribuables à des activités, et par-delà à des résultats bien précis ; et

• un volet pour les moyens généraux, reprenant des postes qui ne sont pas attribuables à des résultats précis. Par exemple, les frais de personnel, les frais d’investissement, les frais de fonctionnement, les frais de formation et les frais de suivi, d’audit et d’évaluation. Autrement exprimé : Les coûts récurrents, inhérents à toute organisation qui ne peuvent être couverts par un financement par activité ; ou encore : un budget de moyens généraux qui servent l’ensemble des activités : investissements, personnel, fonctionnement, suivi et évaluation.

Seule cette manière de faire permettra l’évaluation du critère d’efficience qui, rappelons- le, se penche sur le rapport qualité / prix des résultats.

48 Adapté de http://www.gantt.com/fr/ et d’autres sources internet.

60

6.1.8. Prévoir un budget spécifique pour le suivi et pour l’évaluation

Une des conditions nécessaires à la mise en œuvre d’une évaluation est bien sûr qu’un budget ait été prévu à cet effet. De même, il faudra réserver un budget pour les activités de suivi (définition d’indicateurs et établissement de leur valeur de base, suivi des indicateurs de résultats, suivi de l’évolution du contexte, suivi des risques potentiels). Celui-ci peut être global pour l'ensemble des activités de suivi mais un budget ventilé par activité, tenant compte des ressources humaines nécessaires, pourra contribuer à leur mise en œuvre concrète.

Nous pensons qu’il faudrait notamment prendre en compte :

• La mise en place d’un système de suivi ;

• La détermination de la valeur de base des indicateurs sélectionnés ;

• Le suivi des indicateurs de résultats ;

• Le suivi de l’évolution du contexte ;

• Le suivi des risques et suppositions ;

• Le suivi financier ;

• Les missions de suivi et de backstopping technique ;

• Les évaluations en cours ou à mi-parcours ; et

• Les évaluations finales.

Nous pensons aussi que le budget pour le suivi et l’évaluation doit être ‘réservé’ ; c’est-à-dire qu’il ne peut être modifié ou réalloué à d’autres activités que dans des circonstances exceptionnelles et moyennant l’accord unanime des parties prenantes

6.1.9. Les risques doivent être analysés

L’analyse des risques est définie par le CAD comme « l’analyse ou appréciation de facteurs (appelés hypothèses dans le cadre logique) qui contribuent, ou pourraient contribuer, à l’atteinte des objectifs d’une intervention donnée. Examen détaillé des conséquences non voulues et négatives qu’une action de développement pourrait avoir sur la vie humaine, la santé, la propriété ou l’environnement. Processus visant à identifier systématiquement les conséquences indésirables et les risques, avec quantification de leur probabilité d’apparition et leur impact prévisible ».

Les risques doivent être analysés parce qu’ils se trouvent par définition hors du champ d'action de l’intervention mais peuvent influencer celui-ci.

L’identification, le suivi et la gestion des risques sont des sujets à cheval sur les critères de pertinence, d’efficacité et d’efficience. En effet, l’évaluateur doit pouvoir déterminer si tous les risques ont été identifiés et si leur probabilité et leur importance ont été bien appréciées (pertinence), s’ils ont été gérés de telle sorte qu’ils aient le moins de conséquences possibles sur les résultats (efficacité) et au moindre coût (efficience).

Nous conseillons de traiter simultanément les risques et les suppositions car chaque supposition porte en elle le risque de ne pas se matérialiser. Il s’agit en fait d’une même situation décrite positivement pour les suppositions et négativement pour les risques.

Nous conseillons également de classer, au cours de la formulation de l’intervention, les risques dans une matrice portant d’un côté la probabilité d’occurrence des risques (ou



de non-matérialisation de la supposition) et de l’autre côté le degré d’importance des conséquences.

Si le risque a une grande probabilité d’occurrence et que les conséquences de sa matérialisation sont graves, l’intervention sera une perte sèche pour le pays partenaire et la DG-D et l’on peut considérer qu’il n’est pas pertinent de l’entamer.

De même, lorsqu’une supposition a très peu de chance de se réaliser et que cette non-réalisation entraine des conséquences graves sur l’intervention (anciennement la ‘supposition fatale’), cette intervention ne sera pas pertinente.

La matrice suivante donne les différentes attitudes à adopter suivant le classement des risques en fonction de leur probabilité et de leur conséquence49 :

Conséquence importante

3. Assurer un suivi et prendre

des mesures

4. Modifier le DTF pour diminuer la probabilité ou la

conséquence

5. Rejeter la proposition

d’intervention

Conséquence moyenne

2. Accepter le risque

3. Assurer un suivi et prendre des

mesures

4. Modifier le DTF pour diminuer la probabilité ou la

conséquence

Conséquence faible



3. Assurer un suivi et

prendre des mesures

Probabilité faible Probabilité moyenne

Probabilité élevée

Tableau 4: Tableau d’analyse et de gestion des risques

Un DTF présenté à l’approbation et au financement de l’Administration ne devrait plus contenir de risques de niveau 4 ou 5.

Seuls les risques de niveau 3 doivent être traités dans le DTF.

6.1.10. Autres points d’attention

Nous suggérons que la fréquence, le contenu et le niveau de détail des rapports narratifs et financiers soient standardisés ou à tout le moins harmonisés. Les rapports relatifs à une intervention sont indispensables à la préparation des missions d’évaluation sur le terrain. De bons rapports ne remplacent pas les missions de terrain qui restent indispensables à l’objectivation des perceptions/conclusions par triangulation50. Cependant des informations écrites, correctes et chiffrées disponibles avant la mission proprement dite permettent généralement de raccourcir celle-ci et de diminuer les perturbations dans le fonctionnement normal de l’intervention qu’une évaluation engendre fatalement.

Le choix de limites géographiques existantes et de thèmes/secteurs gérés localement par une entité administrative unique facilite l’évaluation par l’accès aux statistiques locales et la limitation des parties prenantes à consulter.

49 Nous conseillons vivement la lecture du chapitre 2.4. ‘Risques’ dans ‘More Results, Partie 1’, CTB Juin 2013 50 Les trois instruments généralement utilisés dans l’évaluation sont la lecture de documents, les entretiens individuels ou collectifs avec les parties prenantes, et l’observation sur site.

62

6.2. Conditions nécessaires à l’évaluation de la pertinence

Le critère de pertinence répond aux questions de savoir si cela vaut la peine d’intervenir dans le domaine concerné, dans la zone géographique concernée, avec les acteurs concernés, avec les partenaires concernés et pour la période concernée compte tenu de multiples éléments contextuels. La pertinence n’est pas absolue et déterminée une fois pour toute. En effet, le contexte évolue avec le temps. Une intervention qui était pertinente au moment de sa formulation ne l’est peut-être plus au moment de l’évaluation à mi-parcours ou finale. Une première évaluation de la pertinence est effectuée ex ante, avant d’accorder le financement. Mais l’évaluation de la pertinence reste importante en cours et en fin d’intervention.

6.2.1. Les objectifs de l’action de développement sont clairement décrits

Le critère de pertinence examine les objectifs de l’action de développement au regard de différentes situations, priorités et besoins. L’évaluation de la pertinence est donc impossible si ces objectifs ne sont pas correctement décrits.

Nous préconisons que les objectifs d’une intervention répondent aux problèmes identifiés et aux opportunités de développement déterminées en tenant compte des points 6.2.2 à 6.2.7 qui suivent. S’ils ne sont pas déterminés de façon ‘SMART’ il faut au moins qu’il soit possible de leur attribuer des indicateurs d’atteinte qui soient eux, SMART.

Comme le programme général d’un ACNG est considéré comme un intervention, nous encourageons ces acteurs à avoir des objectifs plus réalistes et plus précis ; ce qui suppose pour la plupart d’entre eux qu’il se focalisent davantage sur un thème, un secteur, un pays, un type de partenaire ou de bénéficiaire

6.2.2. Le contexte général doit être décrit et son évolution suivie

Le DTF doit contenir une description des éléments de contexte interne et externe à l’intervention.

Une façon de le faire est d’effectuer une analyse SWOT.

L'analyse SWOT51 (Strengths – Weaknesses – Opportunities – Threats) ou AFOM (Atouts - Faiblesses – Opportunités – Menaces) est un outil d'analyse stratégique. Il combine l'étude des forces et des faiblesses de l’intervention avec celle des opportunités et des menaces de son environnement, afin d'aider à la définition d'une stratégie de développement et, dans le cas de l’évaluation, d’aider à l’appréciation de la pertinence.

Positif Négatif

Interne Atouts Faiblesses

Externe Opportunités Menaces

Tableau 5: Tableau d’analyse SWOT - AFOM

51 Source et plus amples explications : ‘L’analyse SWOT’, méthodologie d’évaluation de EuropeAid, http://ec.europa.eu/europeaid/evaluation/methodology/examples/too_swo_res_fr.pdf



Le but de l’analyse est de prendre en compte dans la stratégie, à la fois les facteurs internes et externes, en maximisant les potentiels des forces et des opportunités et en minimisant les effets des faiblesses et des menaces.

Les forces sont les aspects positifs internes que l’intervention contrôle, et sur lesquels on peut bâtir dans le futur.

Par opposition aux forces, les faiblesses sont les aspects négatifs internes mais qui sont également contrôlés par l'intervention, et pour lesquels des marges d'amélioration importantes existent.

Les opportunités sont les possibilités extérieures positives, dont on peut éventuellement tirer parti, dans le contexte des forces et des faiblesses actuelles. Elles se développent hors du champ d'influence de l’intervention ou à la marge.

Les menaces sont les problèmes, obstacles ou limitations extérieures, qui peuvent empêcher ou limiter les résultats de l’intervention. Elles sont souvent hors du champ d'influence de l’intervention ou à la marge.

L'analyse SWOT étant basée sur le jugement de ceux qui la font, elle est par nature subjective et qualitative. Il est dès lors important d’effectuer cette analyse avec des représentants de toutes les parties prenantes.

L’analyse SWOT ne suffit généralement pas à décrire totalement le contexte général. Elle peut être complétée ou éventuellement remplacée par une analyse contextuelle narrative inspirée d’un exercice similaire fait par un autre bailleur (bilatéral ou multilatéral) ou mieux, conjointement entre la communauté des bailleurs et le pays partenaire.

L’analyse contextuelle ne dispense pas de l’analyse plus détaillée des autres points ci-dessous. Par ailleurs, le contexte étant par nature variable dans le temps, son évolution doit être suivie également.

6.2.3. Les attentes des bénéficiaires (et des autres parties prenantes) sont décrites

Traditionnellement la méthode ‘PIPO’ de planification des interventions par objectif donnait une large part la participation des parties prenantes qui déterminaient ensemble au cours d’un séminaire participatif un ‘arbre à problèmes’, un ‘arbre à objectif’, un objectif spécifique et une stratégie pour l’atteindre.

Cette méthode n’est plus appliquée de façon systématique par tous les acteurs.

Nous recommandons cependant que non seulement les attentes des parties prenantes soient décrites, mais aussi la manière dont il a été procédé pour collecter ces informations et pour en tenir compte.

Il faut faire en sorte que les problèmes soient discutés avec les parties prenantes car sinon, on court le risque de provoquer leur désintérêt et par là l’échec de l’intervention.

De plus, pour que les évaluateurs puissent porter un jugement sur la pertinence, il est important de décrire exactement comment et à quel stade les différentes parties prenantes ont été ou seront impliquées.

S’il y a convergence de vues entre les différentes parties prenantes, il faut le mentionner car c’est un élément de pertinence important. Délimiter de champ de convergence des intérêts des parties est un travail ardu et un point important car c'est le lieu de tous les malentendus, accidentels ou volontaires.

64

Toute divergences de vues entre ou avec les parties prenantes doit être considérée comme un risque (voir 6.1.9.) et peut souvent expliquer en partie l’échec/la faiblesse des résultats d’une intervention, même si des différences de point vue ne conduisent pas toujours à l’échec.

6.2.4. La correspondance des objectifs avec les priorités globales est décrite

Par priorités globales on peut entendre les objectifs du millénaire pour le développement (OMD), mais le terme est sujet à interprétation. On peut aussi y ajouter d’autres priorités comme la lutte contre le changement climatique, la mise en œuvre de la déclaration de Paris, de l’agenda d’action d’Accra, du forum de Buzan.

Nous suggérons, pour les dossiers en préparation, de vérifier si les objectifs de l’intervention ne sont pas contraires aux priorités globales telles que définies dans les objectifs de développement durable ‘post 2015’. Il est en tout cas bon de les avoir à l’esprit.

Dans l’attente d’une version définitive nous mettons ci-dessous, à titre indicatif, les objectifs tels que proposés aujourd’hui par l’Open Working Group on Sustainable Development Goals52 :

Objectif 1: Eradiquer la pauvreté sous toutes ses formes et partout.

Objectif 2: Eradiquer la faim, réaliser la sécurité alimentaire et améliorer la nutrition, et promouvoir l’agriculture durable.

Objectif 3: Assurer des vies en bonne santé et promouvoir le bien-être pour tous, à tous âges.

Objectif 4: Assurer une éducation inclusive et équitable de qualité et promouvoir des opportunités d’apprentissage pour tous, tout au long de la vie.

Objectif 5: Atteindre l’égalité des genres et autonomiser toutes les femmes et les filles.

Objectif 6: Assurer la disponibilité de l’eau et de l’assainissement pour tous.

Objectif 7: Assurer l’accès pour tous à des énergies modernes, durables, abordables et fiables.

Objectif 8: Promouvoir une croissance économique soutenue, inclusive et durable, le plein emploi productif et le travail décent pour tous.

Objectif 9: Construire une infrastructure résistante, promouvoir une industrialisation inclusive et durable, et promouvoir l’innovation.

52 Traduction libre de : Goal 1: End poverty in all its forms everywhere. Goal 2: End hunger, achieve food security and improved nutrition, and promote sustainable agriculture. Goal 3: Ensure healthy lives and promote well-being for all at all ages. Goal 4: Ensure inclusive and equitable quality education and promote life-long learning opportunities for all. Goal 5: Achieve gender equality and empower all women and girls. Goal 6: Ensure availability and sustainable management of water and sanitation for all. Goal 7: Ensure access to affordable, reliable, sustainable, and modern energy for all. Goal 8: Promote sustained, inclusive and sustainable economic growth, full and productive employment and decent work for all. Goal 9: Build resilient infrastructure, promote inclusive and sustainable industrialization and foster innovation. Goal 10: Reduce inequality within and among countries. Goal 11: Make cities and human settlements inclusive, safe, resilient and sustainable. Goal 12: Ensure sustainable consumption and production patterns. Goal 13: Take urgent action to combat climate change and its impacts. Goal 14: Conserve and sustainably use the oceans, seas and marine resources for sustainable development. Goal 15: Protect, restore and promote sustainable use of terrestrial ecosystems, sustainably manage forests, combat desertification, and halt and reverse land degradation and halt biodiversity loss. Goal 16: Promote peaceful and inclusive societies for sustainable development, provide access to justice for all and build effective, accountable and inclusive institutions at all levels. Goal 17: Strengthen the means of implementation and revitalize the global partnership for sustainable development.



Objectif 10: Réduire les inégalités à l’intérieur et entre les pays.

Objectif 11: Rendre les cités et agglomérations humaines inclusives, sûres, résistantes et durables.

Objectif 12: Assurer des comportements durables de production et de consommation.

Objectif 13: Prendre des mesures urgentes pour combattre les changements climatiques et leur impact.

Objectif 14: Préserver et utiliser durablement les océans, les mers et les ressources marines pour un développement durable.

Objectif 15: Protéger, restaurer et promouvoir l’utilisation durable des écosystèmes terrestres, gérer durablement les forêts, combattre la désertification, arrêter et inverser la dégradation des terres et stopper la perte de biodiversité.

Objectif 16: Promouvoir des sociétés pacifiques et inclusives en vue d’un développement durable, fournir à tous l’accès à la justice et construire des institutions effectives, redevable et inclusives à tous les niveaux.

Objectif 17: Renforcer les moyens de mise en œuvre et revitaliser le partenariat mondial pour un développement durable.

S’il est évident que le ou les objectifs des interventions ne doivent pas systématiquement s’inscrire dans un ou plusieurs objectifs globaux ci-dessous, il est tout aussi évident que les interventions ne devraient pas aller à l’encontre de l’un ou de plusieurs objectifs globaux. L’appréciation de la pertinence nécessite donc une évidence écrite de l’examen d’une absence de contradiction entre les objectifs de l’intervention et les objectifs globaux.

6.2.5. Les politiques du pays partenaire sont décrites et analysées de manière critique

Cette description et cette analyse critique sont nécessaires pour permettre à l’évaluation d’apprécier la pertinence de l’intervention par rapport aux politiques du pays partenaire dans le(s) secteur(s) concerné(s) et plus généralement par rapport au DSRP ou au document qui en tient lieu. Les politiques peuvent être sujettes à changement, par exemple à la suite de la mise en place d’un nouveau gouvernement. A ce titre, l’évolution des politiques du pays partenaire doit être suivie et une modification de ces politiques doit être prise en considération dans l’analyse des risques.

6.2.6. Le DTF décrit la manière dont les notes stratégiques belges ont été prises en compte

Cette description est nécessaire pour permettre à l’évaluation d’apprécier la pertinence de l’intervention par rapport aux stratégies belges dans les secteurs et/ou thèmes concernés par l’intervention. Comme la plupart des thèmes transversaux ont fait l’objet d’une note stratégique, les informations reprises ici pour ces thèmes transversaux seront complétées par celles mentionnées dans le point 6.2.7 suivant. Les stratégies belges sont aussi sujettes à changements, mais ces changements entraînent beaucoup plus rarement des conséquences sur la pertinence des interventions.

Dans les cas, rares mais existants, où l’intervention résulte d’une décision politique prise en concertation ou conjointement avec une autorité politique d’un pays partenaire, il convient également de le mentionner ici.

Il en va de même si l’intervention a pris en compte des recommandations d’évaluations stratégiques approuvées par une réponse du management.

66

6.2.7. L’interaction éventuelle de l’intervention avec tous les thèmes transversaux est mentionnée

De même que pour les objectifs globaux, le DTF doit contenir des informations permettant aux évaluateurs d’apprécier si l’intervention n’a pas de conséquences négatives sur un quelconque thème transversal ou sur une quelconque thématique prioritaire. Pour rappel il s’agit, conformément à la loi du 19 mars :

• de la consolidation de la société. (Développement et consolidation de la démocratie et de l’état de droit, en ce compris la bonne gouvernance).

• des droits humains en ce compris les droits de l’enfant. (Respect de la dignité humaine, des droits humains dans toutes leurs dimensions, et des libertés fondamentales, portant une attention particulière à la lutte contre toute forme de discrimination).

• du travail décent et durable. (Promotion d’une croissance économique inclusive équitable et durable, donnant priorité à l’entrepreneuriat local, à l’économie sociale et à l’Agenda pour le travail décent de l’ l’Organisation internationale du travail).

• de la dimension genre qui vise l’empowerment des femmes et de l’égalité des hommes et des femmes dans la société.

• de la protection de l’environnement et des ressources naturelles, y compris la lutte contre les changements climatiques, la sécheresse et la déforestation mondiale.

Ceci est spécialement valable pour les thèmes du genre et de l’environnement qui doivent légalement être intégrés dans toutes les interventions de coopération.

Outre genre, environnement et bonne gouvernance, certains thèmes transversaux doivent être examinés de manière plus spécifique pour répondre aux impératifs de rapportage internationaux et pour faciliter l’encodage des marqueurs dans la base de données ODA.be. Il s’agit de :

• développement du commerce,

• désertification,

• biodiversité,

• mitigation des changements climatiques,

• adaptation aux changements climatiques,

• droits de l’enfant,

• VIH-SIDA, et

• santé reproductive, maternelle, du nouveau-né et de l’enfant.

Nous examinons les thèmes transversaux sous le critère de pertinence parce que nous estimons qu’une intervention qui nuirait de quelque façon à l’un de ces thèmes transversaux ne serait pas pertinente car contraire à l’esprit de la loi.

Cette absence de résultats contraires à l’un ou l’autre thème transversal ne signifie pas nécessairement pour nous qu’il faille en faire systématiquement un objectif secondaire important (marqueur CAD 1), ou l’objectif principal de l’intervention (marqueur CAD 2) ; alors qu’inversement l’attribution d’un marqueur CAD 2 ou 1 impose que l’objectif principal ou qu’un objectif secondaire important porte expressément sur un thème transversal. (Voir point 3.6).



Pour rappel, dans les programmes et projets du FBSA, des indicateurs portant sur les thèmes transversaux du genre, de l’environnement et des changements climatiques et donc, par-delà ces indicateurs, des résultats (outputs et outcomes) doivent être identifiés.

6.3. Conditions nécessaires à l’évaluation de l’efficacité

Pour constater des changements et des impacts, il faut un point de comparaison ou de référence (Bonnet et al., 2004) :

Comparer la situation « avant intervention » avec celle observée « après intervention ». Cela implique concrètement la répétition dans le temps d’enquêtes comparables, avant et après l’intervention ;

Comparer la situation « sans intervention » avec la situation « avec intervention » à un moment donné. Cela nécessite de mener une enquête sur deux échantillons de personnes ou de communautés analogues et dans la même zone, l’un ayant participé à l’intervention (échantillon de bénéficiaires), contrairement à l’autre (échantillon témoin)53.

6.3.1. Une approche logique à trois niveaux orientée vers les résultats

L’évaluation de l’efficacité porte sur l’appréciation de l’atteinte des résultats prévus au niveau des outputs et des outcomes54. Elle nécessite la présence d’une approche logique orientée vers les résultats, attestée par :

• La distinction de (au moins) 3 niveaux de résultats : output (résultats immédiats, produits,…), outcomes (résultats à court ou moyen termes, réalisations, objectif(s) spécifique(s),…), impact (résultats à long terme, objectif(s) général(raux)).

• L’existence d’un lien causal (certes théorique) d’un niveau à l’autre de la chaine logique : ressources (financières, matérielles et humaines) � activités �outputs �outcomes �impact.

• Une description des 2 premiers niveaux de résultats (outputs, outcomes).

La logique d’intervention doit être explicitée, étape par étape, sans n’en sauter aucune. A cette fin, il est conseillé d’inclure dans le DTF (ou en annexe de celui-ci), l’arbre à problèmes et l’arbre à objectifs dont les formulateurs de l’intervention se sont inspirés pour construire cette logique d’intervention.

6.3.2. Les outputs et outcomes doivent être pourvus d’indicateurs

Afin de faciliter l’évaluation, les indicateurs d’outputs et d’outcomes doivent être le plus ‘SMART’ possibles. (Voir point 3.2).

Ces indicateurs doivent être pourvus d’une valeur de base permettant de mesurer les progrès réalisés aux 2 premiers niveaux de résultats (outputs, outcomes)55

53 Légèrement adapté de : Indicateurs d’impact des projets de gestion durable des terres, de lutte contre la dégradation des terres et la désertification ; document de travail 139, Agence française de développement, 3ième trimestre 2014. 54 Output et outcomes peuvent éventuellement être remplacés par un terme comparable tel que mentionné au point 3.4. 55 Using the Evaluability Assessment Tool ; Guidance Note 11, ILO Evaluation Unit, page 6.

68

Les notions de valeur de base et de valeur cible s’appliquent différemment aux indicateurs quantitatifs et aux indicateurs qualitatifs. Dans un cas comme dans l’autre cependant, l’absence de valeur de départ et de valeur cible rend plus difficile, voire impossible, l’évaluation objective des progrès réalisés et du degré d’atteinte du but fixé. L’établissement des valeurs de base des indicateurs est en effet cruciale pour la crédibilité des conclusions en matière d’efficacité et, comme nous le verrons plus loin des conclusions en matière d’efficience, de durabilité et d’impact.

Plus spécifiquement :

• les valeurs de base doivent rendre possible l’appréciation de la performance de l’intervention par rapport à la situation de départ.

• Les valeurs de base doivent être spécifiques à l’intervention : elles doivent rencontrer les besoins et les intérêts des personnes clés impliquées.

• Les valeurs de base doivent décrire clairement la situation avant l’intervention ; leur (mauvais) niveau participe à la justification (et donc à la pertinence) de l’intervention.

• Les valeurs de base doivent permettent d’apprécier le degré et la qualité des changements dus à l’intervention.

• Les indicateurs doivent être pourvus de moyens de vérification : la source des données doit être connue, les données doivent pouvoir être récoltées à un coût et à un niveau d’effort raisonnable. L’usage d’indicateurs qui font partie d’un système existant déjà localement permet de diminuer les frais de suivi et d’établir plus aisément des comparaisons entre les résultats obtenus dans et hors de la zone d’intervention.

Ces indicateurs devraient aussi être pourvus de valeurs cibles à atteindre chaque années, à mi-parcours et à la fin de l’intervention. Les progrès des (éventuels) indicateurs qualitatifs doivent être objectivement vérifiables56.

La détermination d’indicateurs, de leur valeur de base et de leurs valeurs cibles après différentes périodes de temps est un exercice important qu’il est rarement possible de faire lors de la phase préparatoire d’une intervention. Il faut donc préciser que les indicateurs ainsi que les différentes valeurs qui leur sont données dans le DTF initial sont de nature indicative et provisoire.

Les indicateurs définitifs ainsi que leurs valeurs initiales et cibles seront élaborés au début de la phase d’exécution en utilisant des ateliers participatifs, des enquêtes ou d’autres sources d’information.

Pour rappel, l’usage de données qui font déjà l’objet d’une collecte locale doit être privilégié dans la mesure du possible. Il ne s’agit pas seulement de statistiques nationales surtout utilisées au niveau de la mesure des outcomes et même de l’impact, mais aussi de données locales comme par exemple les registres d’inscription, de présence et de réussite aux examens dans les écoles ou les données relevées sur les patients des centres de santé dans la zone d’intervention. Dans ces deux exemples, les données sont en plus désagrégées au niveau du genre.

Certaines statistiques ne sont pas collectées chaque année mais à l’occasion d’enquêtes nationales comme par exemple les recensements de la population ou les enquêtes de pauvreté. L’utilisation de ces enquêtes dans le cadre du suivi régulier ou de l’évaluation est plus difficile mais nous suggérons néanmoins de voir s’il est possible de se raccrocher à ce système avant d’en inventer un autre.

56 Par exemple : présence ou absence d’un plan d’action, disponibilité ou indisponibilité d’un responsable,…



6.3.3. Des indicateurs permettent aussi de mesurer les résultats attendus en ce qui concerne les thèmes transversaux

Si un thème transversal tient lieu d’objectif principal ou d’objectif secondaire important d’une intervention, le raisonnement général expliqué ci-dessus s’applique tant pour la logique d’intervention que pour les différents indicateurs, leur valeur initiale et leurs diverses valeurs cibles.

6.4.4. L’influence des risques et suppositions sur les résultats est envisagée et appréciée

La logique veut que l’occurrence d’un risque, même prévu, même bien géré et même si les conséquences en sont faibles entraine une réduction des résultats initialement prévus pour une situation idéale où aucun risque ne se matérialiserait. L’analyse des risques, corrigée au début de l’intervention, doit donc idéalement contenir des informations sur l’influence de l’occurrence des risques sur les valeurs cibles des différents indicateurs.

6.4. Conditions nécessaires à l’évaluation de l’efficience

La définition de l’efficience en fait sans doute le critère d’évaluation le plus sujet à interprétation. ‘De manière économe’ est une expression sujette à très large interprétation et ce n’est pas parce qu’un résultat a pu être atteint avec un certain montant dans un certain projet qu’il peut/doit nécessairement être atteint avec le même montant dans un autre projet, dans un autre pays ou pour atteindre un autre objectif.

L’appréciation de l’efficience ne se penche pas sur le simple rapport coût – résultats. Ce critère se penche également sur les déterminants de ce rapport : la durée des interventions, les modalités et les coûts de gestion ainsi que la flexibilité dans la redéfinition des résultats, des activités et de l’allocation des ressources.

Idéalement il faut aussi examiner la possibilité d’une étude comparative (benchmarking) soit sur une intervention similaire financée par un autre bailleur actif dans le même pays, soit sur une intervention similaire (co)financée par la Belgique dans un pays similaire.

6.4.1. Chaque résultat dispose d’un budget spécifique

De par la définition même du critère, il est important, pour pouvoir se prononcer sur l’efficience, de connaître le budget prévu et le coût réel de chaque résultat. Pour cela il faut à la fois que tant le budget que le rapportage financier soit libellé de cette façon.

La vérité sur le coût réel des résultats exige aussi qu’une fraction proportionnelle des coûts de gestion, des coûts de la représentation locale, des coût du siège et même des frais administratifs du bailleur soit prise en compte dans le calcul ; toutes choses qui rendent difficile une appréciation objective de l’efficience.

La présentation du budget des interventions de coopération gouvernementale telle que proposée par la CTB nous semble (la plus) propice à l’évaluation de ce critère (voir 6.1.7). L’évaluation de l’efficience vérifiant si les résultats ont été obtenus de façon économe, il est important de connaître dans les DTF les prévisions de dépenses pour l’obtention de chaque résultat. Sur ce point, le SES partage les vues du service de contrôle financier à la DG-D qui, dans une note interne suggère de vérifier si un lien peut être établi entre le budget réalisé, les activités exécutées et les résultats engrangés.

La loi du 19 juin 2011 exécutant et modifiant la loi du 19 janvier créant un Fonds belge pour la Sécurité alimentaire nous semble la plus claire dans la définition des différentes formes de coûts :

70

• Les frais de structure sont les frais liés à la réalisation de l’objet social de l’organisation et qui , bien qu’influencés par la mise en œuvre du projet, ne sont ni isolables, ni directement imputables au budget du projet.

• Les coûts de gestion sont les coûts isolables liés à la gestion, l’encadrement, la coordination, le suivi et l’évaluation nécessités par la mise en œuvre du projet.

• Les coûts opérationnels sont les coûts liés aux résultats du projet et représentant les dépenses inhérentes aux activités menées. Ils ne peuvent inclure aucune forme de coût de gestion.

Dans son manuel de procédures, le FBSA précise davantage encore ces définitions :

• Coûts opérationnels: il s’agit de coûts réalisés dans le cadre d’un projet qui sont directement imputables à la mise en œuvre des activités et par conséquent, profitent directement aux groupes cibles. Ces coûts cessent d’exister aussitôt que le programme est arrêté ou vient à échéance. Tous les frais de cette catégorie sont liés à un … résultat d’une intervention spécifique. Contrairement à ce que propose le FBSA, nous sommes plutôt partisans de reprendre les frais de préparation des interventions dans les coûts de gestion. En effet, s’agissant de frais encourus lors de la formulation des interventions: dépenses faites pour des missions, des frais logistiques et de personnel, ils ne sont pas imputables à un résultat spécifique. Le même raisonnement est valable pour les frais liés aux bureaux de coordination ou de représentation dans les pays du Sud.

• Coûts de gestion: il s’agit de coûts découlant spécifiquement de la mise en œuvre d’un projet mais ne profitant pas directement aux groupes cibles tels que les frais relatifs à la gestion, la coordination, l’évaluation, au suivi, monitoring…. Ces frais sont liés directement et uniquement à une intervention dans la mesure où ils arrêtent d’exister aussitôt que le projet est arrêté ou vient à échéance.

6.4.2. La durée des interventions est fixée et les activités planifiées

Pour pouvoir se prononcer sur l’efficience il est important de connaitre la durée de l’intervention. Une intervention prévue pour durer trois ans qui atteint effectivement ses objectifs en trois ans sera beaucoup plus efficiente qu’une intervention qui atteint ses objectifs en cinq ans car il faudra, dans ce dernier cas financer deux ans de frais de fonctionnement supplémentaires.

La comparaison entre le plan d’activité élaboré pendant la formulation et éventuellement consolidé en début d’intervention et les rapports d’activités doivent permettre de mettre en évidence si l’intervention est en retard, en ligne, ou en avance sur certaines activités.

6.4.3. Le DTF décrit la manière dont l’intervention sera gérée

Nous recommandons une gestion axée sur les résultats (voir point 3.7.). La gestion axée sur les résultats est un mode de gestion dynamique qui autorise :

• la modification des activités et de l’affectation des moyens (y compris budgétaires) en fonction des progrès dans l’atteinte des résultats, des circonstances et de l’occurrence éventuelle des risques ; et

• une éventuelle (re)définition des résultats intermédiaires (output) s’il s’avère que leur nature ou les valeurs cibles de leurs indicateurs se révèlent trop ou trop peu ambitieux en cours d’exécution.



La redéfinition des résultats à un plus haut niveau (outcomes & impact) ne relève normalement pas des attributions des personnes qui mettent directement en œuvre l’intervention. Cette modification ne peut se faire qu’en application de recommandations d’une évaluation intermédiaire et/ou moyennant l’approbation d’instances supérieures (Comité des partenaires, Bailleurs, missions du Siège…). Une évaluation n’aurait pas de sens si elle ne permettait aucune modification au DTF en vue d’appliquer ses recommandations. Par contre, toute modification des résultats souhaités en dehors d’une période d’évaluation ne permettrait plus à l’évaluateur de se prononcer objectivement sur l’efficacité et par-delà sur l’efficience, la durabilité et l’impact de l’intervention (voir points 4.4.4. et 6.4.).

Le mode de gestion inclut aussi une description de la manière dont les responsabilités sont partagées entre le personnel national, le personnel international de l’intervention, les intermédiaires locaux, les Représentations locales et les sièges en Belgique; et ceci tant sur le plan administratif et technique, que financier. Le degré de flexibilité qui est laissé à chaque équipe de gestion dans la modification des activités et des lignes budgétaires devrait également être précisé.

6.4.4. Le DTF contient une estimation du coût que l’occurrence des risques ou la non-réalisation des suppositions peut avoir sur les résultats

L’occurrence d’un risque influence directement l’efficience en ce sens que soit l’atteinte d’un même résultat coûtera plus ; soit le budget prévu ne permettra pas d’atteindre la totalité du résultat prévu initialement. L’analyse des risques, corrigée au début de l’intervention, doit donc idéalement contenir des informations sur l’influence de l’occurrence des risques sur le coûts d’atteinte des valeurs cibles des différents indicateurs.

6.5. Conditions nécessaires à l’évaluation de la durabilité

Par définition la durabilité au sens strict ne peut être évaluée que lorsqu’une intervention est clôturée. Nous sommes cependant d’avis que le DTF d’une intervention peut et doit contenir des indications permettant une appréciation des chances de durabilité des résultats de l’intervention après la fin de celle-ci.

La communauté des bailleurs et des évaluateurs distinguent les notions de durabilité financière / économique, de durabilité technique, de durabilité organisationnelle / opérationnelle, de durabilité institutionnelle, de durabilité socio-culturelle et de durabilité environnementale. Parfois même la durabilité politique est analysée. Ces différents éléments sont étroitement liés : Une pièce d’équipement est durable sur le plan technique si elle reste dans son emballage ; elle n’est pas durable sur le plan économique si cela est dû au manque de moyens pour la faire fonctionner ; elle n’est pas durable sur le plan socio-culturel si son usage est contraire aux pratiques locales. Pour cette raison, nous sommes d’avis que c’est l’élément qui présente la durabilité spécifique la plus faible qui conditionne la durabilité générale de l’intervention.

Outre la définition de la durabilité telle que définie par le CAD57, il y a lieu de tenir compte de la définition de développement durable donnée dans la loi58. Les deux définitions sont convergentes sur certains points mais ne sont pas identiques. Les deux définitions sont légales puisque l’une est expressément contenues dans la loi ; l’autre qualifie un critère d’évaluation du CAD, également mentionné dans la loi.

57 Voir point 3.1. 58 Voir point 3.1.

72

La prépondérance des différents aspects qui conditionnent la durabilité varie selon la nature des interventions. Le critère de durabilité est évalué de manière différente selon qu’il s’agisse d’une intervention de type ‘investissement’, d’une intervention de type ‘renforcement de capacités ou d’interventions mixtes qui mélangent à divers degrés ces différents aspects : investissements en appui au renforcement des capacités ou renforcement de capacités pour faire fonctionner correctement des investissements.

Certaines interventions partent d’une situation ‘non-développée’ et aboutissent à une situation ‘développée’. Par exemple, dans un projet dont l’objectif est de relier deux villages par la construction d’un pont, le dit pont est normalement achevé à la fin de l’intervention. L’évaluation de la durabilité se penchera surtout sur le planning d’entretien et les moyens financiers et humains affectés à cet entretien (par un système de péage, une cotisation des utilisateurs, un comité de gestion de l’ouvrage…).

Dans la plupart des interventions cependant le bailleur donne un coup de pouce au processus de développement mais se retire bien avant que la région cible et/ou le groupe cible ne soit entièrement développé. L’évaluation de la durabilité se penchera alors surtout sur l’examen de la continuité des ressources financières, matérielles et humaines.

Pour que les effets continuent après la fin de l’intervention des bailleurs, il faut en général que la structure de l’intervention soit maintenue, que le personnel local ait été complètement formé, que ce personnel continue à percevoir un salaire, que des moyens restent disponibles pour entretenir et à terme remplacer les équipements fournis, que les ressources environnementales utilisées par le projet se renouvellent au même rythme que leur utilisation,… La durabilité est donc un facteur qui se prépare pendant et même avant l’intervention. De même qu’il existe des indicateurs de résultats, il existe aussi des indicateurs objectivement vérifiables de durabilité ou à contrario de non-durabilité. Fort heureusement, la plupart de ces outils peuvent être utilisés ‘ex-ante’, sur base des résultats de la formulation et de la description de l’intervention. En effet, si l’on s’aperçoit qu’une intervention n’est pas durable à la fin de celle-ci, il est généralement trop tard pour agir.

De manière générale :

• La durée de l’intervention (et le nombre de phases) doit être en rapport avec le degré d’ambitions des objectifs. Toute prolongation importante de la durée de l’intervention ou toute planification d’une phase 2 ou 3 non prévue au départ est un constat d’échec pour la durabilité. Cette manière de faire induit en plus, progressivement et sournoisement, une dépendance du groupe cible par rapport à l’aide extérieure.

• La durabilité n’est pas réglée par une simple déclaration d’intentions telle que : « la partie locale s’engage à prendre les dispositions institutionnelles, administratives et budgétaire nécessaires pour garantir la poursuite des activités après la cessation de l’intervention belge ». Le DTF doit permettre à l’évaluateur de vérifier dans quelle mesure la partie locale pourra / saura tenir cet engagement.

• Des stratégies de sortie qui tiennent compte de la durée et de la fin prévue du financement extérieur doivent être mises en place le plus tôt possible ; en concertation avec les groupes cibles/bénéficiaires et faire l’objet d’un suivi régulier. La fin de l’intervention doit être planifiée. L’intervention doit avoir une stratégie de sortie qui prévoit la diminution progressive de toutes ses ressources extérieures jusqu’à leur suppression totale à la fin du projet.

• Les actions intégrées qui tiennent compte du contexte, des différents niveaux supérieurs (régional, national,…) et des autres acteurs de développement actifs dans la zone et dans le secteur d’intervention offrent une garantie plus grande de durabilité que les actions isolées. Ceci est dû au fait que plusieurs secteurs, plusieurs groupes cibles, plusieurs points d’entrée, plusieurs niveaux, plusieurs types



d’activités sont couverts. Les actions intégrées sont aussi d’avantage susceptibles de synergie59.

• Enfin l’on accordera une attention encore plus grande au critère de durabilité dans les intervention qui visent à ‘réhabiliter’. En effet, la notion de réhabilitation contient fréquemment l’objectif de ‘faire à nouveau fonctionner ce qui a fonctionné dans le passé mais qui ne fonctionne plus’. Pour éviter un nouvel échec, les déterminants de ce premier manque manifeste de viabilité doivent être analysés et pris en compte avec soin.

6.5.1. Le processus de prise de décision politique est documenté (durabilité politique)

La durabilité d’une intervention est conditionnée par la manière dont elle s’insère dans la politique du pays ou, à tout le moins sa neutralité par rapport à un possible changement de politique. Il n’est en effet pas rare que dans les secteurs traditionnels d’intervention de la Belgique des nouveaux gouvernements dans les pays bénéficiaires changent leurs priorités. Par exemple sur la gratuité de l’enseignement fondamental, sur le développement de l’enseignement technique, sur la structure du système de santé, sur les subsides agricoles, sur les droits de douane à l’importation de matériaux ou d’équipements, etc. Un tel changement affecte la pertinence s’il survient en début d’intervention, l’efficacité et l’efficience s’il survient en cours d’intervention, et la durabilité s’il survient à la fin ou après la fin de l’intervention. Les effets sur la durabilité sont les plus graves parce qu’ils interviennent à un moment ou des mesures correctrices ne sont que difficilement possibles.

La durabilité politique peut aussi être influencée par des décisions belges telles que le changement de secteur prioritaire ou l’abandon, sans phase de transition, de la qualité de partenaire prioritaire.

6.5.2. Le DTF décrit comment fonctionne l’institution partenaire ou bénéficiaire (durabilité institutionnelle)

La durabilité institutionnelle est importante dans les interventions de renforcement des capacités institutionnelles : aide à la décentralisation, banque de micro-crédits, organisations non gouvernementales, autres institutions partenaires,…. Par exemple, dans un projet dont l’objectif est d’améliorer les services à la population en renforçant les capacités d’une administration, le DTF doit contenir des éléments expliquant comment la dite administration va continuer à rendre les mêmes services une fois que les financements extérieurs auront cessé.

La durabilité institutionnelle est mieux assurée si l’intervention est totalement intégrée dans un programme national. La présence d’une unité de gestion de l’intervention séparée administrativement et/ou physiquement de l’administration ou de l’organisation de la société civile locale qui devra reprendre les tâches de l’intervention à la fin du financement extérieur est un indicateur de risque pour la durabilité60.

L’évaluation de la durabilité institutionnelle se penchera alors surtout sur la continuité des moyens de fonctionnement de la structure partenaire: bâtiments, équipements, personnel et finances. Le DTF devrait donc contenir des informations sur les points suivants:

59 Synergie doit être comprise dans le sens que si des actions sont coordonnées, elles ont des résultats supérieurs aux résultats des mêmes actions effectuées de manière isolée. 60 Pour rappel, « renforcer les capacités en évitant les structures de mise en œuvre parallèles» est également l’indicateur 6 de la Déclaration de Paris.

74

6.5.2.1. Les installations / bâtiments qui abriteront le personnel chargé de la

mise en œuvre de l’intervention (durabilité administrative et

technique)

L’importance de cette condition varie bien évidemment fortement selon la nature de l’intervention. Si des bâtiments sont construits pour abriter les équipements et le personnel nécessaires à l’intervention et à la poursuite des activités après la fin de l’aide extérieure, le DTF doit clairement mentionner les conditions de remise – reprise de ces bâtiments.

6.5.2.2. Le mode de gestion des équipements techniques et du personnel

technique/scientifique local (durabilité technique)

La durabilité technique porte essentiellement sur la continuité des effets de l’assistance technique, à savoir la transmission de connaissances et la transmission de moyens techniques.

La durabilité du savoir technique transféré est conditionnée par les formations prévues pour le personnel local dans leur nature, leur durée et leur période.

Nous recommandons que ce personnel soit formé en début d’intervention et non à la fin ou après la fin (ce qui déforcerait d’avantage le partenaire local après le départ de l’assistance technique). La formation reçue doit être pertinente par rapport aux fonctions à exercer dans le futur. Il ne faut par exemple pas qu’elle se fasse sur des équipements sophistiqués qui seront inaccessibles une fois de retour sur place. Des dispositions doivent être prévues pour que les personnes ayant bénéficié d’une formation réintègrent leurs fonctions dans l’intervention tout en gardant leur droit à une progression dans leur parcours professionnel. Il doit être prévu que l’assistance technique transmette son savoir et son expérience technique aux homologues nationaux en s’impliquant le moins possible et de moins en moins dans la mise en œuvre proprement dite de l’intervention. Si les assistants techniques (AT) font de la substitution, c'est-à-dire s’ils font le travail à la place du personnel national, les activités seront fortement freinées, voire abandonnées après le départ des AT.

La durabilité des équipements techniques fournis par l’intervention est conditionnée par :

• son maintien à disposition de l’intervention. Le préalable à la durabilité des équipements techniques est bien évidemment que la partie partenaire s’engage à ce que les équipements et matériels acquis dans le cadre de l’intervention deviennent (ou restent) la propriété de la partie partenaire et restent affectés aux structures pour lesquelles ils ont été prévus. »

• par le réapprovisionnement en consommables et la provision de modalités d’entretiens et de réparation pendant et surtout après la fin de l’intervention. Même bien entretenus et réparés, les équipements ne sont pas éternels ou deviennent obsolètes. La durabilité parfaite n’est donc en fait assurée que si un amortissement est prévu.

Le DTF doit donc mentionner ce que deviennent les équipements à la fin de l’aide extérieure, qui les entretient, qui les répare et comment ils seront remplacés.

Il y a lieu de tenir compte aussi du fait qu’un partenaire local ne jouit généralement pas des mêmes facilités de douane, de détaxe, et de commande sur le marché international, qu’une organisation de coopération basée en Belgique.



6.5.2.3. Le mode de gestion du personnel, du mobilier et des équipements

administratifs (durabilité organisationnelle)

Le DTF doit donner des informations sur la manière dont l’intervention sera gérée et sur la manière dont l’intervention continuera à être gérée après la fin du financement extérieur. Il doit montrer comment les capacités organisationnelles des personnes, groupements et/ou organisations appelées à prendre le relais seront, le cas échéant, renforcées.

Nous recommandons que les capacités soient développées à différents niveaux : groupements économiques, communautés locales, autorités décentralisées…

Comme il sera également mentionné dans le point ci-dessous relatif à la durabilité financière, la rémunération du personnel de gestion influence aussi fortement la durabilité organisationnelle. L’absence de politique salariale concertée entre bailleurs, état partenaire, société civile et organisations internationales hypothèque lourdement la poursuite des activités par les cadres de gestion. La généralisation de grandes différences salariales pour un même niveau de compétence et d’expérience est un système doublement pernicieux puisqu’il n’assure ni la motivation ni la permanence du personnel local.

La transparence totale dans la gestion des ressources vis-à-vis de la population locale est également un facteur de durabilité organisationnelle.

6.5.3. Le DTF explique le mode de financement de l’institution partenaire (ou bénéficiaire) et de ses activités (durabilité financière)

On peut distinguer ici :

• d’une part, les ressources financières nécessaires au fonctionnement normal de l’institution partenaire ; c’est-à-dire les ressources nécessaires au maintien des infrastructures, à l’entretien des équipements et au salaire du personnel ; et

• d’autre part, les ressources nécessaires au fonctionnement administratif et à la poursuite des activités de développement.

L’analyse du budget de l’intervention permet une appréciation relativement bonne de la durabilité financière. Le budget du programme, à l’exception du coût de l’assistance technique et des investissements sur le long terme, doit progressivement être couvert par le budget national, notamment et plus spécifiquement en ce qui concerne le salaire du personnel local, les frais opérationnels et l’amortissement des équipements et des véhicules ; un poste qui est d’ailleurs très rarement pourvu. Au plus le bailleur supporte ces frais en dernière année du projet, au plus le risque est grand pour la durabilité.

Une intervention qui paye un salaire ou un complément de salaire à son personnel local doit prévoir comment ces personnes seront payées après la fin de l’intervention. Dans notre esprit, il est évident que l’on ne peut pas prétendre que l’intervention est durable si les coûts récurrents, et particulièrement aussi les primes et compléments aux salaires étatiques ne peuvent être couverts par la part financière du gouvernement, et s’il faudra chercher un appui financier d’une autre source. Idéalement, le personnel local ne devrait bénéficier d’aucune prime. Si son salaire est doublé pendant la durée du projet, est-il raisonnable de penser qu’après le retrait du bailleur, ce personnel poursuivra ses activités avec la même ardeur et le même enthousiasme qu’avant ? En fait, en dehors de tout incrément salarial, le personnel local bénéficie le plus souvent déjà d’avantages substantiels apportés par l’assistance technique, notamment en terme d’équipement, de conditions de travail, de per diem, de formations ou de voyages d’étude à l’étranger, …

76

La durabilité financière d’une intervention en matière de (micro)crédit est plus que toute autre intervention, déterminée par des règles économiques. Le montant des intérêts demandés doit être suffisant pour couvrir les frais de gestion (en termes de personnel, de matériel et de locaux), les défauts de remboursement (en cas de décès ou de force majeure) et les pertes dues à l’inflation.

Une forte attention doit être accordée à la profitabilité économique, aux débouchés sur les marchés et au développement des capacités économiques de toutes les initiatives entrepreneuriales promues.

6.5.4. L’intervention s’inscrit dans le milieu socio-culturel dans lequel elle est mise en œuvre (durabilité socio-culturelle)

Ces conditions sont bien réelles ; à titre d’exemple on peut mentionner des droits ou des interdits séculaires liés à la structure des communautés, à la consommation d’eau, à l’utilisation de la terre, aux périodes agricoles, à la distribution des tâches entre hommes et femmes, aux congés locaux, aux fêtes religieuses, etc. ….

De manière plus générale, le DTF doit montrer comment il tient compte du contexte local, tant sur le plan social que culturel et religieux. Il faut cependant garder à l’esprit que l’intervention vise à améliorer ce contexte, notamment en faveur des femmes, des groupes défavorisés et des plus pauvres.

Le DTF doit aussi donner des informations sur la manière dont les diverses parties prenantes, y compris les leaders traditionnels et les bénéficiaires ultimes, hommes et femmes, ont été, sont et seront associés à la conception, à la planification et au suivi de la mise en œuvre de l’intervention.

6.5.5. Le DTF précise les ressources environnementales nécessaires à l’intervention (nature, volumes utilisés, fréquence, rythme de renouvellement…) et les conséquences potentielles sur le climat, la désertification et la biodiversité

Comme toute intervention consomme de l’énergie et d’autres ressources environnementales, elle exerce des pressions défavorables sur l’environnement. Il y a cependant des interventions qui de par leur nature interagissent de façon plus importantes avec l’environnement : agriculture et élevage, eau et assainissement, exploitation forestière. Ces activités influencent fortement l’érosion et la qualité des sols ainsi que le niveau et la qualité des nappes phréatiques. Pour être durable le résultat net de l’intervention sur l’environnement doit être neutre ou positif.

Le DTF de l’intervention doit montrer comment les ressources naturelles sont utilisées, valorisées et gérées en tenant compte du rythme de leur renouvellement.

Nous conseillons vivement l’utilisation de la boite à outils KLIMOS: (http://www.vub.ac.be/klimostoolkit/documents?tid_2%5B%5D=29).

La boite à outils KLIMOS fournit de l’information en appui au maintien de l’environnement dans le courant principal de la coopération au développement (mainstreaming). La boite à outils se compose de 2 parties:

• Une feuille d’examen sélectif consistant en un set de questions orientées en vue d’assister l’utilisateur:

� dans l’appréciation des impacts environnementaux des interventions de coopération au développement (par exemple les projets); et



� dans l’appréciation des risques environnementaux auxquels les interventions de coopération au développement (par exemple les projets) sont confrontées.

• Une base de données contenant des informations sur l’environnement, organisée selon trois critères d’accès: le pays, le thème et le secteur61.

6.6. Impact

Pour rappel nous considérons ‘l’impact au sens strict’, tel qu’il est défini dans le glossaire du CAD et au sens plus général, tel que décrit dans le tableau de correspondances du point 3.4.

Il existe trois grands types d’approches pour mesurer l’impact, qui ont chacun leurs forces et leurs faiblesses62 :

• La méthode quantitative (quanti) ou encore scientifique, expérimentale ou quasi-expérimentale s’appuie sur des données issues d’expérimentations et/ou d’enquêtes. Ces données sont traitées au moyen d’outils statistiques et économétriques pointus. La méthode permet de conclure sur l’attribution, c’est-à-dire sur la part des résultats (outcomes et impact) qui est réellement attribuable à l’intervention. Elle n’est pas très effective si l’on cherche à expliquer comment et pourquoi les résultats ont été obtenus. Elle ne se penche pas non plus sur les résultats inattendus.

• La méthode qualitative (quali) ou mixte s’appuie sur une approche inductive, une focalisation sur des informateurs clés et une analyses de données qualitatives et quantitatives récoltées. La méthode permet de conclure sur la contribution – parfois même sur le degré de contribution – de l’intervention aux impacts. Elle permet d’expliquer davantage comment et pourquoi les résultats attendus et inattendus ont été obtenus.

• La méthode participative (parti) s’appuie sur l’implication et sur la participation à tous les niveaux de l’évaluation des acteurs clés y compris des bénéficiaires pour déterminer avec eux ce que l’intervention a (le plus) changé. Bien que moins rigoureuse dans la démonstration de l’impact cette méthode permet le mieux d’expliquer les résultats inattendus et est très utiles dans l’amélioration des pratiques.

Les trois méthodes requièrent en fait des conditions d’évaluabilité relativement similaires.

6.6.1. Le DTF décrit l’impact attendu

Par impact attendus nous entendons également les autres qualifications du même concept mentionnées au point 3.4 : Objectif général de l’intervention, effets à long terme induits par une action de développement.

61 Traduction libre de : The toolkit provides information in support of environmental mainstreaming in development cooperation. The toolkit consists of two parts: • A Screening Sheet that consists of a set of guiding questions that assists the user: to assess the environmental impacts of development co-operation interventions (e.g. projects) on the environment; and to assess the environmental risks faced by the development co-operation interventions (e.g. projects). •A database that contains environmental information, organized along three access criteria: country, theme and sector. 62 Adapté de « Considérations générales sur l’évaluation de l’impact » ; Ministère des affaires étrangères et européennes ; République française ; 2008.

78

6.6.2. L’impact (ou les impacts) est (sont) pourvu(s) d’indicateurs

Afin de faciliter l’évaluation, les indicateurs d’impact(s) doivent être le plus ‘SMART’ possibles (Voir point 3.2).

Ces indicateurs doivent être pourvus d’une valeur de base permettant de mesurer les progrès réalisés au troisième niveau de résultats (impact(s))63 ; c’est-à-dire :

• les valeurs de base doivent rendre possible l’appréciation de la performance de l’intervention par rapport à la situation de départ.

• Les valeurs de base doivent être spécifiques à l’intervention : elles doivent rencontrer les besoins et les intérêts des personnes clés impliquées.

• Les valeurs de base doivent décrire clairement la situation avant l’intervention ; leur (mauvais) niveau participe à la justification (et donc à la pertinence) de l’intervention.

• Les valeurs de base doivent permettent d’apprécier le degré et la qualité des changements dus à l’intervention.

• Les indicateurs doivent être pourvus de moyens de vérification : la source des données doit être connue, les données doivent pouvoir être récoltées à un coût et à un niveau d’effort raisonnable. L’usage d’indicateurs qui font partie d’un système existant déjà localement permet de diminuer les frais de suivi et d’établir plus aisément des comparaisons entre les résultats obtenus dans et hors de la zone d’intervention.

Ces indicateurs doivent aussi être pourvus de valeurs cibles à atteindre à mi-parcours, à la fin de l’intervention et à plus long terme. Les progrès des (éventuels) indicateurs qualitatifs doivent être objectivement vérifiables64.

Tout comme pour les deux premiers niveaux de la chaine des résultats, la détermination d’indicateurs, de leur valeur de base et de leurs valeurs cibles après différentes période de temps est un exercice important qu’il est rarement possible de faire lors de la phase préparatoire d’une intervention. Il faut donc préciser que les indicateurs ainsi que les différentes valeurs qui leur sont données dans le DTF initial sont de nature indicative et provisoire.

Les indicateurs définitifs ainsi que leurs valeurs initiales et cibles seront élaborés au début de la phase d’exécution en utilisant des ateliers participatifs, des enquêtes ou d’autres sources d’information.

L’usage de données qui font déjà l’objet d’un relevé par l’institut de statistiques du pays partenaire doit être privilégié dans la mesure du possible.

Si une évaluation par méthode expérimentale est prévue, les données chiffrées relatives aux différents indicateurs doivent aussi être relevées dans un groupe témoin ou contrefactuel au sein de la population cible65.

Si une évaluation par méthode quasi expérimentale est prévue, les données chiffrées relatives aux différents indicateurs doivent pouvoir être reconstituées à postériori dans un groupe contrefactuel au sein d’une communauté similaire à la population cible. Si les indicateurs d’impact sont des données statistiques reprises dans le système national, seules manquent les valeurs cibles puisque

63 Using the Evaluability Assessment Tool ; Guidance Note 11, ILO Evaluation Unit, page 6. 64 Par exemple : présence ou absence d’un plan d’action, disponibilité ou indisponibilité d’un responsable,… 65 Il s’agit d’un groupe de personnes choisies au hasard dans la population cibles mais qui ne bénéficierons délibérément pas de l’intervention.



les valeurs de départ et après une période déterminée sont disponibles dans ces statistiques nationales66.

66 S’il est vrai que certaines statistiques nationales ne sont pas toujours fiables à cent pour cent, il est aussi vrai que de nombreux efforts ont été faits dans ce domaine, souvent avec l’aide des partenaires techniques et financiers (PTF). Les statisticiens et économétriciens disposent par ailleurs de méthodes permettant de vérifier la robustesse et la fiabilité des données en leur possession.


7. Proposition de schéma standard de DTF d’une intervention

Le schéma de présentation de DTF proposé est développé pour une intervention de coopération de type ‘projet individuel’. L’adaptation à des interventions de niveau supérieur (programme pays, programme sectoriel ou thématique, programme général) ne requiert que des modifications mineures si l’on se réfère à la conception du cadre logique en cascade développée au point 6.1.1. Chaque élément de cette cascade peut faire l’objet d’un DTF spécifique sans qu’il n’y ait de redoublements au niveau des ressources, des activités et des objectifs.

Cadre 1 : Données synthétiques

Titre de l’intervention

Numéros et codes attribués à l’intervention

Organisation belge responsable de la mise en œuvre

Dénomination, données de contact67, numéro de compte de l’intervention.

Responsable, données de contact

Données complètes de la personne de contact

Organisation partenaire locale responsable de la mise en œuvre

Dénomination, données de contact, numéro de compte de l’intervention.

Responsable, données de contact

Données complètes de la personne de contact

Budget

Budget total

Budget DG-D belge

Budget partenaire belge

Contribution(s) du (des) partenaire(s) local (locaux)

Durée

Durée totale

Date (estimée) de démarrage

Date (estimée) de fin

Code secteur CAD

Objectif général de l’intervention / impact prévu

Objectif(s) spécifique(s) de l’intervention / outcomes prévu

Marqueur(s) thématique(s) 68

67 Données de contact = adresse, téléphone, fax, E-mail. Pour les organisations : + Site internet. Pour les Personnes : + titre, nom et prénom. 68 2 pour le thème qui constitue l’objectif principal ; = 1 si pour les thèmes qui sont des objectifs secondaires importants.

82

Cadre 2 : Cadre logique69

Titre du projet :

Logique d’intervention

Indicateurs (provisoires) mesurables ou objectivement vérifiables

Sources de vérification

Hypothèses & risques

Objectif général (impact) Objectif spécifique / outcome 1

Résultat / output 1.1



Activités spécifiques à 1 Ressources spécifiques à 1

…………. ………….. …………….. ………….. Objectif spécifique / outcome n

Résultat / output n.1



Activités spécifiques à n Ressources spécifiques à n

Préconditions

69 Le cadre logique présente une vue d’ensemble synthétique de l’intervention, il n’est pas sensé aller dans le détails des activités et des ressources

Schéma standard de DTF


Cadre 3 : Analyse contextuelle

Contexte général du pays (ou de la région) d’intervention (Pour les ACNG, référence à l’analyse contextuelle commune). Inclure les éléments politiques, sociaux, culturels et religieux susceptible d’influencer la pertinence, l’efficacité, l’efficience, la durabilité et l’impact de l’intervention.

Description des problèmes spécifiques que l’intervention prétend résoudre, de la manière participative dont ces problèmes ont été définis et des stratégies adoptées pour les résoudre. Arbre à problèmes et arbre à objectifs (en annexe)

(Surtout) pour les ACNG : Présentation de l’ACNG et des compétences spécifiques qui en font l’acteur idéal pour aider à résoudre les problèmes identifiés. Éventuellement analyse SWOT.

Présentation de l’organisation partenaire locale en lien avec les compétences nécessaires pour aider à résoudre les problèmes identifiés. Éventuellement analyse SWOT.

Analyse des autres parties prenantes en fonction de leur intérêt dans l’intervention et de leur pouvoir de décision sur l’intervention. Indicateurs pour l’appropriation de l’intervention par ces parties prenantes.

Description du contexte spécifique au secteur principal de l’intervention – y compris la politique du pays partenaire dans ce secteur

Description du contexte spécifique au(x) secteur(s) secondaire(s) importants de l’intervention – y compris la politique du pays partenaire dans ce(s) secteur(s)

Relation avec les priorités globales

Relation avec le DSRP du pays partenaire

Relation avec la stratégie belge dans le secteur principal et le(s) secteur(s) secondaire(s) de l’intervention

Relation et synergies possibles avec d’autres activités de développement appuyées par des bailleurs internationaux ou locaux.

Démonstration que l’intervention ne nuit à aucun thème transversal

Démonstration qu’il n’y a pas ou plus de risques à probabilité forte et à conséquences fortes, ni de suppositions fatales. Démonstration qu’il n’y a pas ou plus de risques à conséquences fortes et probabilité moyenne ou de risques à probabilité forte et à conséquences moyennes.

84

Cadre 4 : Description opérationnelle de l’intervention

Objectif général

Description de l’objectif général ou de l’impact attendu.

Description des indicateurs SMART qui seraient utilisés pour vérifier l’atteinte de l’objectif général avec si possible et si cela a du sens des valeurs de bases et des valeurs cibles provisoires pour ces indicateurs70

Description

• des risques et des suppositions sur l’atteinte de l’OG à partir du ou des objectif(s) spécifique(s) ;

• des conséquences sur l’impact attendu engendrées par la matérialisation des risques ou la non-matérialisation des suppositions à ce niveau.71

Objectif spécifique A

Description de l’objectif spécifique 1 ou de l’outcome attendu.

Description des indicateurs SMART qui seraient utilisés pour vérifier l’atteinte de cet objectif spécifique avec si possible et si cela a du sens des valeurs de base et des valeurs cibles provisoires pour ces indicateurs.

Description

• des risques et des suppositions sur l’atteinte de cet objectif spécifique à partir des résultats intermédiaires (ou outputs) requis pour atteindre cet objectif spécifique;

• des conséquences sur cet objectif spécifique engendrées par la matérialisation de ces risques ou la non-matérialisation des suppositions à ce niveau.

Résultat attendu A01

Description du résultat attendu 1 (ou output) requis pour atteindre cet objectif spécifique.

Description des indicateurs SMART qui seraient utilisés pour vérifier l’atteinte de ce résultat avec si possible et si cela a du sens des valeurs de base et des valeurs cibles provisoires pour ces indicateurs.

Description

• des activités A0101 à A01n à mettre en œuvre pour atteindre ce résultat.

• des risques et des suppositions sur l’atteinte de ce résultat à partir des activités prévues ;

70 Nous sommes d’avis que les indicateurs, mais surtout leur valeur de base et leur valeur cible ne peuvent être déterminé définitivement que de manière participative en début de mise en œuvre. 71 Les mesures correctrices à prendre pour mitiger les risques à ce niveau sont de la compétence de l’équipe de gestion de l’intervention



• des conséquences sur ce résultat engendrées par la matérialisation de ces risques ou la non-matérialisation des suppositions à ce niveau.

• Des mesures qui seront prises pour mitiger les conséquences de la matérialisation des risques ou de la non-matérialisation des suppositions à ce niveau.

Résultats attendus A02 à An

Reprendre pour chaque résultat les descriptions de même nature que pour le résultat A01

Objectifs spécifiques B à n

Au cas où il y aurait un ou plusieurs autres objectifs spécifiques, reprendre pour chaque objectif les descriptions de même nature que pour l’objectif A

86

Cadre 5 : Mode de gestion

Dans la détermination du mode de gestion, tenir compte de l’appropriation, de l’approche participative, de la durabilité, de l’analyse des risques et suppositions et de la gestion axée sur les résultats.

5.1. Gestion stratégique

Partage des responsabilités entre les organisations partenaires, le siège en Belgique, la représentation locale, l’unité de gestion de l’intervention,…

5.2. Gestion quotidienne

Partage des responsabilités techniques et opérationnelles dans le planning, la mise en œuvre et la révision éventuelle du plan d’activités

Partage des responsabilités dans la gestion du personnel national et expatrié

Règlementation qui sera utilisée en matière de marchés publics

Partage des responsabilités en matière de suivi des indicateurs de résultats, de suivi de l’évolution du contexte et du suivi des risques & suppositions

Partage des responsabilités en matière de rapportage narratif et financier.

5.3. Gestion financière

Répartition des responsabilités en matière d’engagements. Seuils des délégations de pouvoirs. Qui et comment signe-t-on les bons de commandes ?

Répartition des responsabilités en matière de liquidation. Seuils des délégations de pouvoirs. Qui et comment signe-t-on les chèques/ordres de transfert,… ?



Cadre 6 : Backstopping, audit, suivi et évaluation(s)

6.1. Backstopping

Décrire ici qui effectuera et quand et comment s’effectueront les appuis techniques ponctuels à l’intervention. En général il s’agit de missions de courte durée effectuées par un agent technique du siège ou un expert indépendant.

6.2. Audit

Décrire ici qui effectuera et quand et comment s’effectueront les contrôles de la régularité et de la conformité avec les procédures et règlements en vigueur sur le plan financier, comptable et (éventuellement) administratif.

6.3. Suivi

Décrire dans cette partie :

• comment s’effectuera le relevé des valeurs de base des indicateurs et le suivi de ces indicateurs ;

• comment s’effectuera le suivi des risques et des suppositions :

• comment s’effectuera le suivi de l’évolution du contexte ;

tant sur le plan local (intervention + éventuellement bureau de représentation) qu’au niveau du siège (missions de suivi, leur fréquence et leur objectif)

6.4. Evaluation(s)

Nature des évaluations prévues (auto-évaluation, évaluation interne, externe, indépendante), leur moment (ex ante, à mi-parcours, finale, ex-post), leur objet (ce qu’on évaluera exactement), leur objectif (pourquoi on évaluera) et leur champ (jusqu’à quel niveau de détail ira-t-on ?).



Cadre 7 : Plan provisoire d’activités (diagramme de Gantt)

Dans la mesure ou une certaine flexibilité est prévue pour permettre d’accélérer ou de modifier certaines activités pour notamment l’adapter à l’occurrence d’un risque, et afin d’obtenir dans les délais les outcomes prévus, il est inutile de détailler ce plan au-delà des 6 premiers mois de mise en œuvre. Le diagramme ci-dessous est donné à titre d’exemple.

Description de l'activité

1ier mois

2ième mois

3ième mois

4ième mois

5ième mois

6ième mois

3ième trim.

4ième trim.

3ième sem.

4ième sem. An 3 An... An n-1 An n

Activité A0101

Activité A0102

Activité A01…

Activité A0201

Activité A02…

Activité A…01

Activité A… …

Activité B0101

Activité B01…

Activité B…01

Activité B… …

…

Z070101 Organisation du suivi

Z070102 Etude de la baseline

Z070103 Suivi local Z0702 Missions de suivi

Z0703 Evaluation à mi-parcours et finale



Cadre 8 : Stratégie de sortie

La stratégie de sortie doit être envisagée dès la rédaction du DTF et mise en œuvre dès que possible. Les différents points à considérer dans la préparation de l’après intervention sont72 :

Décrire la procédure de remise et reprise des équipements et (éventuellement) bâtiments.

Décrire la procédure de remise et reprise des moyens financiers à fin de l’intervention (reliquat budgétaire éventuel ; mais surtout fonds de garantie, fonds de roulement,…)

Décrire les activités qui devront être poursuivies ou les nouvelles activités qui seront nécessaires pour maintenir la continuité des résultats.

Décrire les ressources humaines qui seront nécessaires pour maintenir la continuité des résultats. Décrire ce qu’il adviendra des autres ressources humaines nationales impliquées dans la mise en œuvre.

Décrire d’où proviendront les ressources financières nécessaires

• au fonctionnement, à l’entretien, à la réparation et au remplacement éventuels des équipements ;

• à la poursuite des activités ; et

• au maintien des ressources humaines.

(prolongation, phase 2, intégration des activités dans une autre interventions, reprise par un autre bailleur, financement par le gouvernement partenaire, participation forfaitaire des utilisateurs, revenu de ventes, subvention...etc.)

Décrire les renforcements institutionnels (institutional strengthening) envisagés en vue d’assurer la durabilité.

Décrire les renforcements de capacités des ressources humaines (capacity building) envisagés en vue d’assurer la durabilité.

Décrire comment les leçons tirées de l’intervention seront capitalisées au profit du bailleur, des parties prenantes et du public.

72 Adapté de « Guide de gestion des programmes », Danida, septembre 2011.



Cadre 9 : Budget

9.1. Budget par résultat Contribution

belge

Contribution

locale Année 1 Année 2 Année… Année n-1 Année n Total %

Objectif spécifique A

Résultat A 01

A 01 01 Budget pour activité A 01 01


A 01 … Budget pour activité A 01 …

A 01 n-1 Budget pour activité A 01 n-1

A 01 n Budget pour activité A 01 n

Résultat A 02


A 02 … Budget pour activité A 02 …

Résultat A …

A … … …

Résultat A n-1

A n-1 01 Budget pour activité A n-1 01

A n-1 … Budget pour activité A n-1 …

Résultat A n

A n 01 Budget pour activité A n 01

A n … Budget pour activité A n …

Objectif spécifique B

Résultat B 01

B 01 01 Budget pour activité B 01 01

B 01 … Budget pour activité B 01 …

B 01 n-1 Budget pour activité B 01 n

B … … …

Total général



9.2. Budget des moyens généraux

Contrib.

belge

Contrib.

locale

An

1

An

2 An…

An

n-1

An

n Total %

Z 01

Personnel

Z 01 01 Assistance technique

Z 01 02 Personnel local

Z 01 03 Personnel du siège

Z 01 04 Backstopping technique

Z 01 05 Autre …

Z 02

Construction(s)

Z 02 01 Matériaux

Z 02 02 Main d'œuvre

Z 02 03 Autre …

A … … …

Z 03

Investissements

Z 03 01 Véhicules

Z 03 02 Equipements (techniques,

informatiques, mobiliers)

Z 03 03

Software (livres, logiciels

informatiques, …)

Z 03 04 Autre …

Z04 Fonctionnement

Z 04 01 Communications

Z 04 02 Eau et énergie

Z 04 03 Fournitures consommables

Z 04 04 Véhicules (carburant, lubrifiant,

entretien et réparations)

Z 04 05 Bâtiments (entretien et nettoyage)

Z 04 06 Frais bancaires

Z 04 07 Autre …

Z 05

Information et sensibilisation

Z 05 01 Conception du matériel

Z 05 02 Fabrication/impression du matériel

Z 05 03 Diffusion du matériel

Z 05 04 Autre …

Z 06

Formations

Z 06 01 Formations locales

Z 06 02 Bourses

Z 06 03 Autre …

Z 07

Suivi, audit et évaluation

Z 04 01

Etablissement du système de suivi ;

notamment valeurs de base

Z 04 02 Suivi administratif local

Z 04 03 Suivi financier local

Z 04 04 Missions de suivi

Z 04 05 Missions d'évaluation

Z 04 06 Missions d'audit

Z 04 07 Autre …

Total



Cadre 10 : Cadre de suivi

Logique

d'intervention Indicateurs

Source de

vérification +

responsable

du relevé

Valeur de

base des

indicateurs

Valeurs des indicateurs attendues

(a) et observées (o),fin de … Valeurs des

indicateurs à mi-

parcours

Valeurs des indicateurs attendues (a) et

observées (o),fin de … Valeurs des

indicateurs fin de

l’intervention (an n) Valeur des indicateurs

ex-post

an 1 an 2 an … an … an n-2 an n -1

a o a o a o a o a o a o a o a o

Impact I1

I2

I3

Outcome 1 I11

I12

I13

Output 1 I111

I112

I113

Output 2 I121

I122

I123

Output … I1…1

I1…2

I1…3

Outcome … I…1

I…2

I…3

Output…1 I…11

I…12

I…13

Output…2 I…21

I…22

I…23

Output… I… … 1

I… … 2

I… … 3

98

Idéalement le cadre de suivi devrait être finalisé en début d’intervention en concertation avec les parties prenantes. Pour que l’intervention reste évaluable, tant les résultats au niveau des outcomes et de l’impact que les indicateurs de ces résultats ne devraient pas être modifiés entre deux exercices d’évaluation. La nature de l’intervention, l’instant (début, milieu ou fin de l’intervention) de la mesure, ou encore la nature de l’indicateur (d’impact, d’outcome ou d’output) peuvent justifier des intervalles73 plus ou moins longs entre 2 mesures consécutives de la valeurs des indicateurs. Pour les mêmes motifs le nombre d’indicateurs par impact, outcome ou output peut parfois être inférieur à trois.

73 Fixé arbitrairement à 1 an dans le modèle ci-dessus.


Liste des annexes

Annexe A1 : Termes de référence

Annexe A2 : Bibliographie

Annexe A3 : Tableaux des budgets

Annexe A4 : Grille d’analyse utilisée

100


Annexe A1 : Termes de référence

A1.1. Introduction

A1.1.1. Définitions

L’évaluabilité d’une intervention de coopération est définie comme:

« mesure selon laquelle une activité ou un programme peut être évalué de façon fiable et crédible »74 ;

ou encore :

« un processus systématique qui permet d’identifier si l’évaluation d’une intervention est justifiée, faisable et susceptible de fournir des informations utiles. Elle ne montre pas seulement si l’évaluation d’une intervention a du sens mais aussi si la conduite de l’évaluation est susceptible de contribuer à l’amélioration de la gestion et des résultats de l’intervention.75 »

Pour les besoins de l’étude et conformément aux dispositions légales, les définitions, critères, principes et normes approuvés par les pays membres du CAD de l’OCDE et largement répandus au sein des agences de développement bilatérales et multilatérales contenues dans les documents suivants seront utilisées: - Principes du CAD pour l’évaluation de l’aide au développement, OCDE 1991 - Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats

; CAD-OCDE 2002 - Évaluer la Coopération pour le développement – récapitulatif des normes et standards de

référence ; deuxième édition, OCDE - Normes de qualité pour l’évaluation du développement ; OCDE 2010 - Méthodologie d’évaluation de l’aide extérieure de la Commission européenne

De l’ensemble de ces documents, il ressort clairement que pour être évaluable, une intervention doit permettre aux consultants extérieurs de se prononcer à tout moment du cycle d’intervention, de manière impartiale et indépendante, crédible et utile sur sa pertinence, son efficacité (atteinte des résultats immédiats, à court et à moyen terme), son efficience (value for money), sa durabilité et son impact.

A1.1.2. Contexte et raison d’être de l’étude

Voir chapitre 1 (introduction)

A1.1.3. cadre légal et réglementaire

L’arrêté royal du 25 février 2010 portant création d’un service Evaluation spéciale de la Coopération internationale précise en son article 2, §1er, que «Le service Evaluation spéciale 74 Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats ; CAD-OCDE 2002. 75 Evaluability Assessment : Examining the readiness of a Program for evaluation ; Juvenile Justice Evaluation Center ; Washington D.C.; 2003.

102

de la Coopération internationale est habilité à évaluer la coopération belge au Développement» ; et en son §2, que « … le Service Evaluation spéciale exécute ses tâches conformément aux principes et normes approuvés par les pays membres du CAD de l’OCDE. » Par ailleurs, la Loi du 19 mars 2013 relative à la coopération au développement stipule en son article 33 que le Roi détermine les modalités destinées à harmoniser et à certifier les systèmes d’évaluation des acteurs gouvernementaux et non gouvernementaux. L’exposé des motifs de la loi précise que « la certification vise une garantie de qualité qui sera confiée à l’Evaluateur spécial… ». L’arrêté royal du 25 avril 2014 modifiant l’arrêté royal du 25 février 2010 portant création d’un service ‘évaluation spéciale de la coopération internationale, confirme et précise ce mandat en son article 2/1. Le 3° de cet article mentionne que « le Service Evaluation spéciale est chargé d’évaluer ex-post la qualité des systèmes de suivi et d’évaluation harmonisés des acteurs de la coopération belge au développement ». Parallèlement, des dispositions visant à assurer le suivi et l’évaluation interne des actions et des résultats de la CTB et des acteurs indirects ont été inscrites respectivement dans l’AR portant assentiment du 4ème contrat de gestion, et dans l’Arrêté royal relatif aux cofinancement des acteurs non-gouvernementaux ainsi que dans la note stratégique ‘résultats de développement’.

A1.2. Objet de l’étude

L’objet de l’étude est l’évaluabilité des interventions, telle que définie en B1.1.

A1.3. Objectifs de l’étude

L’objectif de l’étude est triple : - Déterminer, avec les partenaires concernés, les conditions nécessaires, suffisantes et

réalistes pour permettre l’évaluation objective d’interventions de coopération; - Produire des enseignements utiles à l’harmonisation et la certification des systèmes

d’évaluation des acteurs décidées par le législateur ; et - Vérifier dans quelle mesure les conditions d’évaluabilité mentionnées ci-dessus

coïncident (ou non) avec les conditions nécessaires au suivi et à la gestion axée sur les résultats de développement des interventions et avec le cadre légal et réglementaire précités.

Sur le plan opérationnel, cette étude doit être utile : - Au Service de l’Evaluation spéciale pour lui permettre de déterminer et ensuite de suivre

l’application des mécanismes d’harmonisation prévus par la législation. L’application des méthodes d’évaluation harmonisées pourra progressivement être introduite dans les critères de certification également prévus par la législation.

- Aux services de la DG-D et aux Attachés pour la coopération internationale. Cette étude devrait les aider à identifier les conditions nécessaires et suffisantes à un bon suivi des interventions et à des évaluations de qualité. L’étude doit aussi permettre de juger de la capacité des intervenants à suivre et à rapporter sur les progrès à chaque niveau de résultats (output, outcomes, impact).

Annexe A


- Aux organismes partenaires de la Coopération bilatérale et non-gouvernementale, pour leur permettre de mieux intégrer le suivi, la gestion axée sur les résultats et l’évaluation dès la formulation des interventions.

L’objectif général de l’étude n’est donc pas de déterminer si les interventions actuelles sont évaluables ou non, mais bien de rendre toutes les interventions futures évaluables à plus ou moins court terme. L’évaluabilité des études de cas individuelles n’est pas un objectif de l’étude ; cependant les opérateurs des cas étudiés seront informés individuellement et confidentiellement de leurs résultats en matière d’évaluabilité.

A1.4. Champ de l’étude

A1.4.1. Champ conceptuel

Le concept d’évaluabilité peut être examiné des deux façons différentes et complémentaires suivantes :

1) L’évaluabilité ‘théorique’ concerne le design du projet, y compris sa logique d’intervention /théorie du changement. Vérifier l’évaluabilité théorique, c’est vérifier s’il est possible d’évaluer l’intervention telle que décrite dans le dossier technique et financier (DTF), le document de présentation de l’intervention ou tout autre document de même nature rédigé avant la mise en œuvre. L’évaluabilité ‘théorique’ d’une intervention peut être appréciée sur base d’une étude documentaire qui examine si ses objectifs et les moyens pour y parvenir sont clairement décrits. L’examen de l’évaluabilité théorique est clarifié dans ce sens par le CAD de l’OCDE de la façon suivante : « l’appréciation de l’évaluabilité suppose d’examiner à l’avance l’activité projetée afin de vérifier si ses objectifs sont définis de façon adéquate et si les résultats sont vérifiables.76 »

2) L’évaluabilité ‘pratique’ se penche sur les données réellement collectées et disponibles et sur la crédibilité et l’objectivité de ces données. Elle examine aussi les systèmes mis en place et les ressources engagées pour récolter ces données. Enfin elle se penche sur les éléments de contexte qui peuvent éventuellement favoriser, défavoriser, voire empêcher l’évaluation. La détermination des conditions pratiques d’évaluabilité suppose des études de cas sur la réalité du terrain.

Dans un soucis de fournir aux responsables de la programmation des instruments permettant d’apprécier et de suivre le volet ‘suivi-évaluation-rapportage des résultats’ des interventions, les extensions suivantes du concept d’évaluabilité doivent également être prises en compte :

- Examen de l’utilité d’une évaluation d’une intervention déterminée.

- Examen d’une intervention déterminée en vue d’améliorer son système de gestion axée résultats et de suivi-évaluation.

- Examen d’une intervention dans le cadre d’un processus d’assurance qualité : Effectué dans ce cadre, l’examen de l’évaluabilité permet de vérifier si tous les éléments nécessaires au suivi et à l’évaluation sont en place et de combler les éventuelles lacunes.

76 Glossaire des principaux termes relatifs à l’évaluation et à la gestion axée sur les résultats ; CAD-OCDE 2002.

104

A1.4.2. Modalités à examiner

L’étude se focalisera sur les interventions financées par l’Etat fédéral qui font l’objet d’une fiche dans la base de donnée ODA.be:

- projets individuels

- programmes des acteurs non gouvernementaux

- programmes du Fonds belge de sécurité alimentaire

- actions de sensibilisation au Développement.

- interventions de coopération déléguée.

- bourses

- interventions d’aide humanitaire

- programmes d’appui au secteur privé.

Est exclue du champ de l’étude toute modalité de coopération qui n’est pas spécifiquement mentionnée dans le champ ci-dessus.

A1.4.3. Acteurs à examiner

L’étude se focalisera sur les acteurs de la coopération gouvernementale et non-gouvernementale visés à l'article 2, 4°, 5° et 6° de la loi du 19 mars 2013 relative à la Coopération au Développement.

Cependant, dans la mesure où les programmes du Fonds belge pour la Sécurité alimentaire peuvent inclure la participation d’une organisation multilatérale, l’évaluabilité de ce programme sera examinée dans son ensemble.

Hormis ce cas précis, les projets et programmes des organisations multilatérales et des banques de développement (co)financés par la Belgique sont expressément exclus du champ de l’étude.

A1.4.4. Champ temporel

L’appréciation de l’évaluabilité d’une intervention spécifique peut être effectuée à différents moments dans la gestion du cycle d’intervention :

1) Au moment de la formulation. L’appréciation est alors purement théorique ; son objectif est d’améliorer la qualité de la formulation avant l’approbation.

2) Au moment de la mise en place du système de suivi – évaluation, pendant la phase de démarrage / l’année zéro. L’appréciation accompagne alors la mise en place pratique du système de S-E en vue de l’améliorer.

3) Juste avant une évaluation. L’appréciation vise alors à examiner si l’intervention vaut l’effort d’une évaluation ou si une évaluation est susceptible de produire des connaissances utiles.

4) Pendant une évaluation. Ceci est pratiquement fait par la plupart des évaluateurs lorsqu’ils examinent les limites et contraintes de leur mandat. Les rapport d’évaluation contiennent à cet égard des informations précieuses.

Annexe A


L’évaluabilité sera étudiée sur un échantillon représentatif d’interventions en cours au moment de l’étude. Les éléments nécessaires à l’atteinte des objectifs de cette étude qui nécessitent une visite de terrain seront, dans la mesure du possible, étudiés sur des interventions qui auront dépassé le stade ‘mi-parcours’.

A1.4.5 Champ géographique

Les d’études de cas seront choisies en concertation avec les membres du comité d’accompagnement en Belgique (bourses d’études, actions Nord,…), et dans les trois pays partenaires suivants : la République démocratique du Congo, le Rwanda et le Bénin

A1.5. Approche et méthode

A1.5.1. Approche générale

L’étude se fait en plusieurs étapes et se penche sur les aspects théoriques et sur la mise en pratique du suivi-évaluation des interventions (co)-financées par la Coopération belge au Développement

L’évaluabilité théorique aura été examinée à travers l’examen documentaire de dossiers techniques et financiers (DTF), de documents de présentation de l’intervention ou de tout autre document de même nature rédigé avant la mise en œuvre.

L’évaluabilité pratique sera examinée à travers l’examen documentaire des documents rédigés pendant la mise en œuvre et à l’occasion de missions sur le terrain. Remarques importante :

Les résultats des études de cas individuelles ne seront rendus publics qu’aux opérateurs des interventions concernées.

Tant l’étude documentaire que les visites de terrain doivent se limiter à collecter les informations utiles pour atteindre les objectifs de l’étude et se prononcer sur les questions clefs.

A aucun moment il ne faudra procéder à une évaluation proprement dite des cas d’étude.

A1.5.2. Echantillonnage des études de cas

Les interventions qui ont servi d’études de cas pour se prononcer sur l’évaluabilité théorique ont été sélectionnées comme suit :

- Dans un premier temps toutes les interventions en cours en 2013, soit 2460 interventions ont été listées et numérotées de 1 à 2460.

- Ensuite une liste de 200 nombres aléatoires entre 1 et 2460 a été générée.

- Les interventions relatives aux nombres aléatoires générés ont successivement été examinées sur les points suivants :

o situation dans ou hors du champ de l’étude défini en B4. Par exemple, les interventions de core funding aux organisations multilatérales ou les interventions financées par les provinces et communes tombent hors du champ de l’étude.

o disponibilité ou accès potentiel aux documents relatifs à l’intervention (documents de programme, dossiers techniques et financiers, rapports d’activité…). Si

106

l’intervention porte sur un projet faisant partie d’un programme, le programme dans son ensemble a été pris en compte. Si l’intervention porte sur un programme terminé en 2013, le programme débutant en 2014 a été pris en considération.

o pays d’intervention. Si l’intervention portait sur un (sous)programme faisant partie d’un programme général multi-pays, tous les pays du programme ont été pris en considération.

- Les résultats ont été portés dans un tableau Excel jusqu’à obtenir une liste suffisante d’interventions mises en œuvre dans 3 pays de coopération – le Bénin, la R.D. du Congo et le Rwanda) et en Belgique (activités ‘Nord’ et gestion de programmes). Afin d’inclure un maximum de variabilité, l’échantillon des interventions obtenues par échantillonnage a été complété par des modalités de coopération/acteurs sous représentés.

Le choix des études de cas en vue de porter un jugement sur l’évaluabilité en pratique et atteindre les objectifs de cette étude, aura lieu au début de la phase 3 de l’étude de commun accord entre le service dirigeant, les membres du comité d’accompagnement et le consultant en tenant compte des éléments suivants :

- Pays sélectionnés : Bénin, R.D. Congo, Rwanda et Belgique.

- Interventions déjà étudiées dans le cadre de l’évaluabilité théorique

- Variété de modalités et d'acteurs.

- Un total de 40 interventions : 10 en Belgique et 10 (en moyenne) dans chacun des pays visités.

A1.6. Phases de l’étude

A1.6.1. Phase 1 : Cadre d’analyse de l’évaluabilité théorique

Cette phase a été exécutée en interne par le Service de l’Evaluation spéciale de la Coopération belge au Développement. Elle consistait en la lecture de :

• Documents constituant le cadre légal et réglementaire de la coopération belge en matière de suivi et d’évaluation.

• Bibliographie spécialisée sur les méthodes de suivi, d'évaluation et de gestion axée sur les résultats ainsi que sur l’ appréciation de l’évaluabilité.

• Développement d’un cadre d’analyse de l’évaluabilité théorique des interventions.

• Test de ce cadre d’analyse sur un échantillon limité de 6 interventions. Cette première phase a fait l’objet d’un rapport.

A1.6.2. Phase 2 : Phase d’étude de l’évaluabilité théorique

Pendant la phase d’étude de l’évaluabilité théorique, également effectuée en interne par le SES, chaque intervention sélectionnée, son contexte et sa spécificité ont été confrontés au cadre d’analyse développé en phase 1. Une fiche d’évaluabilité théorique a été établie après consultation des documents et rapports relatifs à la préparation des interventions (rapport de mission d’identification et de formulation, DTF, documents de programmes ACNG.

Annexe A


Tout comme pour la phase 1, Le résultat général est actuellement synthétisé dans un rapport intermédiaire et sera discuté avec différentes parties prenantes en Comité d’accompagnement. Ce rapport intermédiaire contiendra

• un état des connaissances quant aux objectifs de l’étude, obtenu après l’examen de l’évaluabilité théorique,

• les hypothèses à vérifier au cours des missions de terrain.

A1.6.3. Phase 3 : phase d’étude de l’évaluabilité pratique

Cette phase commence par la détermination de l’échantillon définitif des interventions dont l’évaluabilité pratique sera étudiée et le développement de fiches/questionnaires pour les missions de terrain. Les missions de terrain seront préparées • à l’aide d’interviews de

o DGD : services géographiques et thématiques concernés par les études de cas. o DGD : service qualité et résultats. o CTB : desks géographiques et thématiques concernés par les études de cas. o CTB : responsable qualité/évaluation. o ACNG : gestionnaires responsables des études de cas. o ACNG : personnes responsables du suivi-évaluation.

• par l’étude des documents de préparation et de suivi-évaluation disponibles pour les études de cas

• par une étude rapide du contexte général des pays à visiter, du contexte sectoriel des études de cas et de leur contexte spécifique.

Missions proprement dites : • Observer les interventions ‘études de cas’ « en action » et les apprécier sur le plan de

l’évaluabilité réelle sur le terrain. • Apprécier la capacité du projet/programme à collecter des données fiables, à les analyser

et apprécier dans quelle mesure la gestion est axée sur l’atteinte des résultats. • Identifier des facteurs limitant et favorisant l’évaluabilité de l’intervention. • Observer des éléments de contexte local influençant l’évaluabilité des interventions • Déterminer, le cas échéant et pour chaque étude de cas, jusqu’à quel niveau (activités,

outputs, outcomes, impact) une évaluation est faisable, pertinente et utile, en l’état. • Pour chaque étude de cas, rencontrer des personnes clés, capables de fournir des

informations critiques sur la mise en œuvre du système de suivi-évaluation : collecte de données, analyse des données, gestion axée sur les résultats (utilité des données) : Gestionnaires des interventions (belges et/ou nationaux), assistants techniques, experts, membres des structures de concertation, bénéficiaires

• Pour chaque pays visité, rencontrer les différentes personnes, expatriées ou nationales impliquées dans la préparation, le suivi et l’évaluation des interventions étudiées : Attaché de coopération, Ministères pertinents, Autorités locales concernées.

• Présenter les principaux constats par pays au cours d’une réunion de débriefing local. • Rédiger une fiche d’évaluabilité définitive par intervention étudiée. Cette fiche ne sera

communiquée qu’aux opérateurs de chaque intervention.

108

A1.6.4. Phase 4 : analyse et synthèse

Sur base des étapes précédentes, rédiger une proposition de rapport final contenant : - une synthèse des constats faits à partir des études de cas :

• Déterminer les conditions minimales d’évaluabilité et dans quelle mesure les interventions examinées satisfont à ces conditions.

• Capitaliser les bonnes pratiques observées en matière de préparation et de mise en œuvre du système de suivi et d’évaluation,

• Faire un inventaire des mauvaises pratiques et des principales lacunes observées en matière de préparation et de mise en œuvre du système de suivi et d’évaluation; identifier les principales raisons qui font qu’une intervention ne satisfait pas aux conditions minimales d’évaluabilité (expertise technique, raisons financières, imprécisions dans le cadre réglementaire)

- une conclusion sur l’ensemble des aspects de suivi-évaluabilité - des recommandations en vue d’améliorer l’évaluabilité dans le futur

- Le contenu du rapport doit aussi prouver que les différents objectifs de l’étude, explicités en B3, ont été atteints

Le projet de rapport final sera discuté en comité d’accompagnement (voir point B 7.3 ci-dessous) ; à la suite de quoi un rapport final définitif sera rédigé

A1.7 Responsabilité pour la gestion et le suivi de l’étude

A1.7.1. Le fonctionnaire dirigeant (FD)

• Le Service de l’Evaluation spéciale (S4) est le service chargé de la mise sur le marché de l’étude et du pilotage administratif du contrat. Il représente le pouvoir adjudicateur et à ce titre est fonctionnaire dirigeant de l’étude. Dans ce sens, il vérifie la conformité de l’étude (sur base du cadre légal et du cahier spécial des charges) mais également la qualité du processus et des produits de l’étude.

• S4 gère tout le processus de l’étude du début à la fin et pour ce faire il :

o est responsable de la procédure de marché public (préparation du cahier spécial des charges, attribution du marché, ordonnancement des factures, etc)

o assure la conformité et la cohérence de l’étude, depuis les termes de référence jusqu’à l’impression du rapport final et sa diffusion

o coordonne et pilote l’activité des différents acteurs (comité d’accompagnement et équipe de consultants) ; prépare et préside les réunions, en rédige les PV, gère les conflits éventuels, etc

o supervise et vérifie la qualité du travail aux différentes phases (entre autres : s’assure que les conclusions ont des bases méthodologiques et factuelles solides)

o est garant du bon déroulement de l’étude (entre autres : facilite le travail des consultants et leur accès aux sources d’informations)

o est garant de l’indépendance des consultants. Toutefois, il s’assure que les commentaires et avis des parties prenantes sont pris en compte et que ceux qui ne le sont pas font l’objet d’une réponse motivée des consultants.

Annexe A


o valide le rapport final en utilisant une grille d’appréciation (et approuve les derniers paiements pour services rendus).

o organise la dissémination des résultats de l’étude et suscite la réponse managériale.

o organise les sessions de restitution finale.

• S4 en tant que fonctionnaire dirigeant est seul responsable de la conduite de cette étude.

A1.7.2. Les parties prenantes (ou acteurs concernés)

• Les parties prenantes (stakeholders) sont les individus, les groupes ou les organisations qui ont des responsabilités et/ou des intérêts directs ou indirects dans l’objet de cette étude (projet, programme, secteur, pays, etc). Elles peuvent être affectées ou non par les résultats de cette étude. Elles sont consultées aux différentes étapes de l’étude afin de leur permettre de fournir un avis sur les termes de référence et produits fournis (entre autres : rapports provisoires). Dans certains cas, leur collaboration est sollicitée pour la collecte d’informations (et pour l’organisation des missions de terrain). Elles peuvent également être entendues par les consultants en l’absence de S4 ou d’autres parties prenantes. Certaines de ces parties prenantes peuvent être membres du Comité d’accompagnement. Leur sélection/invitation de participer à ce comité relève de la responsabilité de S4.

• Pour cette étude, les partie prenantes sont les services de la DG-D gestionnaires de la coopération bilatérale et non-gouvernementale, les services de la DG-D responsable pour le contrôle de qualité et les résultats, les responsable de l’évaluation interne de la CTB, les fédérations d’ONG et les autres acteurs de la coopération non-gouvernementale.

• Le Service de l’Evaluation spéciale est exceptionnellement aussi partie prenante.

A1.7.3. Comité d’accompagnement

• Le Service de l’Evaluation spéciale constituera un comité d’accompagnement (CA) composé de représentants des acteurs concernés et d’experts indépendants. Ce comité contribue à la qualité, la crédibilité et l’utilité de l’étude. Il donne un avis sur la méthodologie envisagée ainsi que sur les constats, les conclusions et les recommandations de l’étude. Le cas échéant, il complète ou corrige l’information des consultants.

• Le SES veille à la mixité de ce comité

• Seront membres de ce comité :

- Minimum deux membres du Service de l’Evaluation spéciale

- Plusieurs membres de la DGD impliqués et/ou intéressés dans la thématique (notamment le service D4.3).

- Des représentants de la CTB et des acteurs de la coopération non-gouvernementale.

• Le CA est convoqué, préparé et présidé par le Service de l’Evaluation spéciale qui en rédige les comptes rendus.

• Le CA est un groupe de travail « technique » qui a un mandat de réflexion et de proposition. Il est chargé de suivre, d’accompagner et de faciliter le processus de l’étude. Par la diversité de sa composition, le CA enrichit de ses différents points de vue le processus de l’étude. Le CA garantit l’accès des consultants aux sources d’informations utiles (documentation, base de données et personnes). Les membres du CA jouent un rôle d’interface avec les services, directions et institutions dont ils font partie (DGD, CTB, acteurs indirects). Ainsi ils informent leur service et/ou direction du processus et des produits de

110

l’étude et facilitent l’accès à l’information, l’organisation des interviews etc. Ils contribuent activement à la diffusion des conclusions et recommandations de l'évaluation. En faisant partie du CA, les parties prenantes concernées sont encouragées à s’approprier les résultats de l’étude. Toutefois, le Service de l’Evaluation spéciale assurera un équilibre entre le caractère participatif de l’étude et l’efficience du processus (arriver à ce que l’étude produise des résultats en temps utile).

A1.8. Equipe de l’étude

Comme il a déjà été dit, les phases 1 et 2 sont réalisées en interne par le service d’évaluation spéciale. Les prestations relatives aux phases 3 et 4 de l’étude doivent être exécutés par une équipe de consultants indépendants et font l’objet de ce marché public. Le fait, pour ces consultants d’avoir déjà participé à l’évaluation d’interventions de la coopération belge et d’avoir ainsi une expérience des difficultés rencontrées constitue un avantage. Les consultants ne pourront toutefois pas se voir assigner l'étude d'un cas qu'ils auraient déjà formulé ou évalué par ailleurs. Autant que possible l’expertise mise en œuvre devra combiner des connaissances - en suivi & évaluation d’interventions, - en gestion du cycle d’intervention de coopération, et - dans les pays et secteurs traditionnels de la coopération belge au Développement. Les consultants devront démontrer une expérience de la pratique de l'évaluation sur le terrain. La bonne compréhension des documents établis par l’Administration belge et dans les différents pays sélectionnés pour les études de cas requiert la connaissance active au sein de l’équipe de consultants du français, du néerlandais (niveau langue maternelle), de l’anglais (niveau avancé) et de l’espagnol (niveau avancé). Les mêmes exigences linguistiques sont requises pour l’édition des différentes traductions du rapport final définitif. La mixité au sein de l’équipe responsable de l’étude est requise. Le team leader devra avoir de l’expérience en gestion d’études d’ampleur similaire, et en gestion d’équipe. Il/elle devra également être au fait des nouvelles approches proposées en matière de gestion, suivi et évaluation d’interventions (gestion axée sur les résultats, outcome mapping, most significant change, theory based evaluation, méthodes quantitatives,…) Dans chacun des pays visités pour les études de cas un expert local est également requis.

A1.9. Chronogramme indicatif

La phase 1 de l’étude a déjà été réalisée en interne. La phase 2 (évaluabilité théorique) est en cours de réalisation et sera terminée en décembre 2014. Le rapport relatif à cette phase sera communiqué en temps utile à l’attributaire. Le marché de services requis pour la réalisation des phases 3 et 4 sera attribué à un consultant extérieur. Le début des prestations est fixé à janvier 2015

Annexe A


A1.10. Les rapports

B10.1. Nature des rapports

Les produits de l’étude sont :

- Un cadre méthodologique à la fin de la phase 1

- Un rapport intermédiaire et les fiches d’évaluabilité théorique pour les interventions étudiées à la fin de la phase d’étude (phase 2).

- Les fiches d’évaluabilité pratiques pour les interventions visitées et les présentations PowerPoint des débriefings de fin de mission (phase 3).

- Une proposition de rapport final et un rapport final (phase 4).

A1.10.2 Structure du rapport final

La structure détaillée du rapport final sera convenue en cours d’étude. Le plan d’ensemble du rapport fera cependant apparaître les parties suivantes :

- Synthèse

- Contexte de l’étude

- Synthèse des réponses aux questions relatives à l’évaluabilité des études de cas.

- Autres constats

- Leçons (au sens de la définition du Glossaire du CAD)

- Conclusions

- Recommandations ; principalement proposition des conditions nécessaires et suffisantes et des mesures à prendre pour permettre l’évaluabilité théorique et pratique d’une intervention (co)financée par la Belgique.

- Annexe1 obligatoire : termes de référence

Le rapport final devra être court (60 pages hors annexes au maximum). Les informations supplémentaires sur le contexte, le programme ou les aspects globaux de la méthodologie et de l'analyse seront placées dans les annexes.

Les annexes devraient comprendre : la méthodologie ; les questionnaires ; les critères de jugement ; la liste des personnes rencontrées ; la liste de documentation y compris la bibliographie éventuelle ; les TdR ; les commentaires exprimés sur la proposition de rapport final qui n’ont pas été pris en compte par les consultants et les raisons justifiant cette non prise en compte ; toute autre information servant de base à l’analyse ou aux tableaux.

A1.10.3. Qualité

Les rapports seront rédigés en utilisant les styles et le lay-out fournis par le Fonctionnaire dirigeant.

Les rapports doivent être de très haute qualité. Les résultats, l’analyse, les conclusions et les recommandations devront être approfondis. Ils devront refléter une approche méthodique faisant apparaître clairement les séquences du raisonnement.

112

Les rapports seront soumis par le service dirigeant à une grille d’assurance de qualité qui sera communiquée aux consultants en temps utile.

A1.10.4. Ponctualité

Les rapports soumis à l’appréciation des différentes réunions du comité d’accompagnement devront être en possession du pouvoir adjudicateur au moins 6 jours ouvrables avant la date fixée de commun accord pour le comité.

A1.10.5. Langue des rapports

Les documents provisoires peuvent être rédigés en français ou en néerlandais au choix du consultant.

Le rapport final définitif sera rédigé soit en français, soit en néerlandais, et traduit dans l’autre langue.

Un résumé en deux pages devra être préparé en français, en néerlandais et en anglais. .

Les présentations Powerpoint en Belgique devront se faire en partie en français, en partie en néerlandais, en respectant un certain équilibre entre les deux langues.

Les présentations Powerpoint de débriefing des missions de terrain devront se faire dans une langue internationale du pays concerné.

Les traductions devront être éditées par le consultant ; pour les versions française et néerlandaise, obligatoirement par un membre de l’équipe dont c’est la langue maternelle.

A1.11. Bibliographie

Voir annexe A2 Bibliographie ci-dessous


Annexe A2 : Bibliographie

- DFID Report, 2013. “Planning evaluability assessments. A synthesis of the literature with recommendations.” Report of a study commissioned by the Department of International Development.

- Laura C. Leviton, Laura Kettel Khan, Debra Rog, Nicola Dawkins, and David Cotton; “Evaluability Assessment to Improve Public Health Policies, Programs and Practices”; Annual Review of Public Health, 2010.

- UNIFEM Evaluation Unit ; 12/2009 ; “Guidance Note on Carrying Out an Evaluability Assessment”.

- ADE (Analysis for Economic Decision), CRED (Centre de Recherche en Economie du Développement), 2013. « Evaluation ex-post d’impact de 4 projets de coopération gouvernementale ».

- ITAD ltd, the Overseas Develoment Institue, 2000. “The Evaluability of Democracy and Human Rights Projects: A logframe-related assessment” (Sida studies in evaluation).

- Michael S. Trevitan and Yi Min Huang, Washington state University, Pullman, Washington; “Evaluability Assessment: A Primer”.

- Mott MacDonald Ltd, HLSP, 2010. Evaluability Study of Partnership Initiatives - Norwegian Support to Achieve Millennium Development Goals 4 & 5 (Norad evaluation department).

- Wholey J. S., Hatry H. P., Newcomer K. E., 2010. Handbook of practical program evaluation.

- “Evaluability Assessment: Examining the readiness of a program for evaluation.” http://www.jrsa.org/pubs/juv-justice/evaluability-assessment.pdf

- Wilfreda E. Thurston, Jennifer Graham, University of Calgary, Jennifer Hatfield, “Evaluability Assessment ; A Catalyst for Program Change and Improvement”; June 2003.

- “Evaluability-is it Relevant for EBRD?”, European Bank for Reconstruction and Development, June 2012.

- UN Office for Drugs and Crime: “Evaluability assessment template”.

- “Guidance Note on Carrying Out an Evaluability Assessment”, UNIFEM Evaluation Unit, December 2009.

- “Using the Evaluability Assessment Tool”, International Labour Organization –Evaluation Unit, Guidance Note 11, December 2011.

- “Tools and Guidelines for Improving the Evaluability of INGO Empowerment and Accountability Programmes”; Center for Development Impact, March 2013.

- “Strategienota Ontwikkelingsresultaten”, DG-D, Juni 2014

114

- “Checklist M&E system at sector level”, (Powerpoint) Nathalie Holvoet & Liesbeth Inberg, IOB Institute for Development Policy and Management

- “MORE Results. Lignes directrices en matière de monitoring et de revue des résultats. Partie 1 : Monitoring et Evaluation – approche et système” ; CTB Agence belge de Développement ; 2013.

- “MORE Results. Lignes directrices en matière de monitoring et de revue des résultats. Partie 2 : More Results au niveau de l’intervention” ; CTB Agence belge de Développement ; 2013.

- « Indicateurs d’impact des projets de gestion durable des terres »; AFD, Document de travail N°139, septembre 2014

- « Guide d’élaboration d’un Programme Indicatif de Coopération » ; SPF AE, CE et CD, Bruxelles ; décembre 2008.

- Service de l’évaluation spéciale (2013), « Méta-évaluation des programmes des acteurs non-gouvernementaux », SPF Affaires étrangères, Commerce extérieur et Coopération au Développement, Bruxelles.

- « Manuel pour l’application de la planification des interventions par objectifs (PIPO) à l’AGCD » ; deuxième édition, mars 1991.

- “ Promoting a Harmonized Approach to Managing for Development Results: Core Principles “ ; Second international roundtable, Marrakesh 2014.

- “Considérations générales sur l’évaluation de l’impact” , ministère des Affaires étrangères et européenne; République française, 2008.

- « Cheminement d’une action de développement : de l’identification à l’évaluation, Etienne Baudoux et al. ; L’Harmattan ; 1992.

- « Evaluer pour améliorer les actions de développement. Plan d’action 2014-2016 » ; Agence française de Développement ; juillet 2014.

- « Guide de gestion des programmes » ; Ministère des Affaires étrangères danois - DANIDA ; septembre 2011.


Annexe A3 : Tableaux des budgets

BUDGET TOTAL Mode

d'exécution

BUDGET

TOTAL % ANNEE 1 ANNEE 2 ANNEE 3 ANNEE 4 ANNEE 5

A objectif spécifique A

A 01 Résultat A01

A 01 01 Activité A0101


A 02 Résultat A02



A 03 Résultat A03



A 04 Résultat A04



B objectif spécifique B

B 01 Résultat B01

B 01 01 Activité B0101



X Réserve budgétaire (maximum 5 % du total)

X 01 Réserve budgétaire

Figure 1 : Modèle de budget par objectif pour les interventions de coopération gouvernementale

116

Z

Moyens généraux

Z 01

Frais de personnel

Z 01 01 Assistant technique

Z 01 02 Primes personnel national

Z 01 03 Consultances

Z 01 04 Appui scientifique

Z 01 05 Formation personnel DEP

Z 01 06 Formations - Bourses

Z 01 07 Assistance technique et appui à la CAG

Z 02

Investissements

Z 02 01 Véhicules

Z 02 02 Matériel informatique

Z 02 03 Equipements

Z 02 04 Réhabilitation

Z 02 05 Littérature

Z 03

Frais de fonctionnement

Z 03 01 Communications

Z 03 02 Frais de bureau

Z 03 03 Frais de véhicules

Z 03 04 Frais bancaires

Z 03 05 Frais divers

Z 04

Audit, suivi et évaluation

TOTAL

Figure 2 : Modèle de budget des moyens généraux pour les interventions de coopération gouvernementale

Annexe A3


Pays

Objectif

spécifique Année Investissements Fonctionnement Personnel Total DGD

Belgique OS1 2014

2015

2016

Total

""" """ 2014

2015

2016

Total

TOTAL VOLET NORD 2014

2015

2016

Total

Pays 1

2014

2015

2016

Total

Pays 2

2014

2015

2016

Total

Pays …

2014

2015

2016

Total

TOTAL VOLET SUD 2014

2015

2016

Total

COUTS DE GESTION 2014

2015

2016

Total

TOTAL PROGRAMME 2014

2015

2016

Total

RESUME

Année

Total

Programme ANG1 DGD

2

Frais de

Structure

0,0%

Subside (=

DGD +FS)

2014

2015

2016

Total

S’il y a plusieurs OS dans un pays, veuillez les mentionner tous et totaliser par pays et par an.

1Pour les ONG : 20% du budget total. Pour les autres ANG : 0%.

2Pour les ONG : 80% du budget total. Pour les autres ANG : 100%

Figure 3 : Modèle de budget général pour les programmes des ACNG (tableau 1)

118

Budget A1 A2 A3 TOTAL Belgique

Pays a

1. Investissements

A1 A2 A3 Total A1 A2 A3 Total

1.1 Immobilier

1.2 Mobilier

2. Fonctionnement

2.1 Missions

2.2 Monitoring et

Evaluations

2.3 …..

3. Personnel

3.1 Du siège

3.2 Local

3.3 Expatriés

TOTAL

Figure 4 : Modèle de budget des coûts de gestion pour les programmes des ACNG (tableau 2)

Budget An1 An2 An3 TOTAL

1. Investissements

1.1 Immobilier

1.2 Mobilier

2. Frais de fonctionnement

2.1 Missions

2.2 …

3. Personnel

3.1

3.2

TOTAL

R1

Rn

Figure 5 : Modèle de budget des coûts opérationnels pour les programmes des ACNG en Belgique (tableau 3)

Budget Objectif spécifique

Si sous-région : Pays n

An 1 An 2 An 3 TOTAL An 1 An 2 An 3 TOTAL

1. Investissements

1.1 Immobilier

1.2 Mobilier

1.3 Fonds de crédit

2. Fonctionnement

2.1

2.2

2.3

3. Personnel

3.1 Local

3.2 Expatrié

3.3 Bourses

TOTAL

R1

Rn

Figure 6 : Modèle de budget des coûts opérationnels pour les programmes ’pays’ des ACNG (tableau 4)

Annexe A3


Budget du Projet Résultat 1 Résultat 2 Résultat x Résultat n Total An 1 An 2 An n

1. Coûts opérationnels

1.1. Investissements

Immobilier

Mobilier

Fonds de crédit

S/total

1.2. Fonctionnement

Détails

S/total

1.3. Personnel

1.3.1 Local

Détails

S/total

1.3.2 International

Détails

S/total

Nombre de

coopérants/mois

1.3.3 Autres expatriés

Détails

S/total

1.3.4 Total personnel

S/total

1.4. Total coûts opérationnels

Total

2. Coûts de gestion

Détails

S/total

3. Frais de structure (support costs)

4. Coûts totaux

5. Subside demandé à la DGD

6. Contribution propre

Figure 7 : Modèle de budget des coûts opérationnels pour les projets des programmes du FBSA

120

Budget A1 A2 An TOTAL Belgique

Bureau de coordination

A1 A2 An TOTAL A1 A2 An TOTAL

1. Investissements

1.1 Immobilier

1.2 Mobilier

2. Fonctionnement

2.1 Missions

2.2 Evaluations

2.3 …

3. Personnel

3.1 Siège

3.2 Local

3.3 Coopérants

TOTAL

Figure 8 : Modèle de budget des coûts de gestion pour les projets des programmes du FBSA


Annexe A4 : Grille d’analyse utilisée

1. Accessibilité de documents technique et financiers relatifs à l’intervention.

2. La possibilité d’effectuer une évaluation est inscrite dans les documents

3. Les évaluations à mi-parcours et finale prévues sont pourvues d’un budget

4. Le financement du système d’étude de la situation de départ (baseline) est prévu

5. Le financement du système de mesure régulière des indicateurs + moyens de fonctionnement de la (des) personne(s) chargée(s) du suivi) est prévu

6. Le financement du système de suivi de l’évolution du contexte + moyens de fonctionnement de la (des) personne(s) chargée(s) du suivi) est prévu

7. Le financement du système de suivi des risques, des préconditions et conditions + moyens de fonctionnement de la (des) personne(s) chargée(s) du suivi) est prévu

8. Il y a un budget détaillé.

9. Les limites temporelles, géographique, financières, sectorielles, thématiques,…etc. de l’intervention sont définies.

10. Les bénéficiaires (et les non-bénéficiaires) sont définis clairement et à tous les niveaux (direct, périphérique et ultime).

11. Les organisations partenaires sont définies clairement et le processus qui a mené à cette définition est décrit.

12. Une certaine flexibilité dans la redéfinition des résultats immédiats / à court terme (outputs), des activités et de l’affectation des ressources est prévue

13. Le système de suivi est défini dans le détail (fréquence, sources et responsabilités.

14. Le ou les problèmes que l’intervention se proposent de résoudre sont définis en détail.

15. La prise en compte du genre comme thématique transversale est définie.

16. La prise en compte de l’environnement comme thématique transversale est définie.

17. Les attentes des bénéficiaires ainsi que le processus qui a permis de déterminer les attentes des bénéficiaires sont décrits.

18. Les besoins du pays relatifs à l’objet de l’intervention sont décrits ainsi que le processus qui a permis de déterminer ces besoins sont décrits

19. Le lien de l’intervention avec les priorités globales est décrit.

20. Il a été tenu compte de la note stratégique pour les interventions dans un secteur / thème / pays /activité pour lequel une note stratégique belge a été rédigée.

122

21. Les rapports entre les autorités et la société civile sont décrits en lien avec l’objet de l’intervention.

22. La manière dont l’intervention s’insère dans la stratégie locale de réduction de la pauvreté est décrit.

23. Les activités et objectifs des autres acteurs (acteurs locaux, acteurs belges, bailleurs de fonds / acteurs internationaux) évoluant dans le secteur ou dans le territoire de l’intervention sont décrits et pris en compte.

24. Les préconditions, suppositions et risques relatifs aux personnes et aux facteurs extérieurs à l’intervention mais susceptibles d’en influencer positivement ou négativement le résultat ou le coût sont analysées dans le détail.

25. La gestion des risques (en termes d’atténuation des conséquences de leur occurrences) est prévue.

26. Au cas où il y aurait des divergences de vue entre les parties prenantes, ces divergences sont explicitées.

27. Il y a distinction de (au moins) 3 niveaux de résultats : output (résultats immédiats, produits,…), outcomes (résultats à court ou moyen termes, réalisations, objectif(s) spécifique(s),…), impact (résultats à long terme, objectif(s) général(raux)).

28. Il y a un lien causal théorique d’un niveau à l’autre de la chaine logique : ressources � activités �outputs �outcomes �impact.

29. Il y a une description des 2 premiers niveaux de résultats et de leurs indicateurs qualitatifs et/ou quantitatifs avec leurs valeurs de base, leurs valeurs cibles. Les indicateurs sont libellés en termes SMART’.

30. La mesure de données de bases suffisantes pour établir un point de départ permettant de mesurer les progrès réalisés au niveau des 2 premiers niveaux de résultats (outputs, outcomes) est prévue

31. Les indicateurs sont pourvus de moyens de vérification : la sources des données est connue, les données peuvent être récoltées régulièrement à un coût et à un niveau d’effort raisonnable.

32. Les progrès des (éventuels) indicateurs qualitatifs sont objectivement vérifiables.

33. Dans la mesure du possible, les indicateurs qui font partie d’un système existant déjà localement sont utilisés

34. Les bases (atelier participatif, expériences précédentes, arbre à problèmes…) de l’approche logique adoptée sont décrites

35. La prise en compte du genre comme thématique transversale est définie de manière telle qu’elle pourra être évaluée.

36. les données de bases sont désagrégées au niveau du genre.

37. La prise en compte de l’environnement comme thématique transversale est définie de manière telle qu’elle pourra être évaluée.

38. Un rapportage narratif régulier sur les résultats/activités est prévu.

39. La durée totale de l’intervention est définie.

40. Le Budget est libellé par résultat / objectif spécifique

Management response


41. Les ressources nécessaires à la mise en œuvre de chaque activité prévue sont définies dans le détails

42. Un rapportage financier régulier est prévu

43. Ce rapportage financier permettra de chiffrer le coût de chaque résultat obtenu.

44. La manière dont l’intervention sera gérée est décrite

45. La (ou les) personne(s) et la (ou les) institution(s) responsables de la livraison des ressources financières, matérielles et humaines nécessaires sont identifiées

46. Les informations sur le suivi des indicateurs de résultats après l’intervention sont disponibles.

47. Les informations sur le suivi du contexte (et des risques) après l’intervention sont disponibles.

48. Les informations sur la prise en charge des (éventuels) frais d’investissement après la fin de l’intervention sont disponibles.

49. Les informations sur la prise en charge des frais de fonctionnement ou de gestion pendant l’intervention sont disponibles

50. Les informations sur la prise en charge des frais de fonctionnement après la fin de l’intervention sont disponibles.

51. Les informations sur l’entretien et la maintenance des équipements pendant l’intervention sont disponibles.

52. Les informations sur l’entretien et la maintenance des équipements après la fin de l’intervention sont disponibles.

53. Les informations sur la prise en charge de la gestion après la fin de l’intervention sont disponibles.

54. Les informations sur le renforcement des capacités du personnel national pendant l’intervention sont disponibles.

55. Les informations sur le statut du personnel national pendant et après la fin de l’intervention sont disponibles.

56. Il existe ou il est prévu de prendre des données de bases suffisantes pour établir un point de départ permettant de mesurer les progrès réalisés au niveau de l’impact / de l’objectif général.

57. Il existe une description du 3ième niveau de résultat (impacts attendus, objectif général) et de ses indicateurs qualitatifs et quantitatifs avec leurs valeurs cibles finales et ex post.

58. Les indicateurs d’impact sont définis de façon ‘SMART’, font partie d’un système existant déjà localement et sont relevés par un organisme national ou international dont la fiabilité est reconnue

59. Les progrès des (éventuels) indicateurs qualitatifs d’impact sont objectivement vérifiables

60. Une évaluation par méthode quasi-expérimentale ou mixte a été prévue dès la conception de l’intervention

61. La situation de base d’un groupe contrefactuel sera mesurée ou pourra être reconstituée

62. Les indicateurs d’outcome et d’impact dans cette population contrefactuelle pourront être mesurés.

124

63. Le financement de ce dispositif est prévu

64. L’évaluation répondra à un besoin de rendre compte, de connaissance ou de prise de décision

65. L’évaluation projetée portera sur un secteur, un pays, une thématique, un instrument, un partenaire de mise en œuvre.

66. Les statistiques reprises dans la banque de données ODA.be sont complètes et à jour pour le secteur, le pays, la thématique, l’instrument, le partenaire,… concerné.

67. La banque de donnée mentionne les résultats escomptés et les résultats obtenus pour les interventions dans le secteur, le pays, la thématique concerné.

68. Les indicateurs relatifs au secteur/thème/pays/modalité concernés sont utilisés internationalement et/ou sont harmonisés avec les indicateurs du DSRP et/ou sont désagrégés par genre/ région/conditions socio-économiques

ROYAUME DE BELGIQUE


Affaires étrangèresCommerce extérieur etCoopération au Développement

Service de l’Evaluation spéciale de la Coopération belge au développement

Egmont • rue des Petits Carmes 15, B-1000 Bruxelles • + 32 2 (0) 501 38 34 • www.diplomatie.belgium.be • www.dg-d.be • [email protected]

Dépôt légal n° 0218/2015/13

Nos interventions sont-elles évaluables ?

Nos in

tervention

s sont-elles évaluables ?


ROYAUME DE BELGIQUE


Affaires étrangères,Commerce extérieur etCoopération au Développement