Méta-évaluation des programmes des acteurs non ......période 2011-2013, mais n‘existent plus ou sont en phase de liquidation. 9 Etant donné que les frais administratifs représentent

Service public fédéral Affaires étrangères, Commerce extérieur et Coopération au Développement

Service de l’Évaluation spéciale de la Coopération internationale

Méta-évaluation des programmes

des acteurs non gouvernementaux

Rapport final

Volume II - Annexes

Juillet 2013

La présente évaluation a été réalisée par ADE avec l’appui d’un comité

d’accompagnement. Le Service de l’Evaluation Spéciale a assuré la conformité de l’évaluation aux termes de référence.

Les opinions exprimées dans ce document représentent les points de vue des auteurs et ne reflètent pas nécessairement celles du SPF Affaires étrangères, Commerce extérieur et Coopération au Développement.

© SPF Affaires étrangères, Commerce extérieur et Coopération au Développement

Juillet 2013

Production graphique : Sandra Fernandez Bernardo, Service Communication SPF

Impression : Service Imprimerie

Evaluation N° S4/2012/01

Le rapport complet de l’évaluation est disponible en Français et Néerlandais en format

PDF sur le CD-ROM joint au résumé de l’évaluation, auprès du Service de l’Évaluation spéciale ou sur le site http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation

http://diplomatie.belgium.be/fr/politique/cooperation_au_developpement/evaluation

META-EVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX - ANNEXES 3

Table des matières

TABLE DES MATIÈRES

ACRONYMES ET ABRÉVIATIONS

ANNEXE 1 - CAHIER DES CHARGES

ANNEXE 2 - CADRE RÉGLEMENTAIRE

ANNEXE 3 - ECHANTILLON

ANNEXE 4 - QUESTIONS D’ÉVALUATION

ANNEXE 5 - MATRICE D’ÉVALUATION (ET RÉSULTATS)

ANNEXE 6 - FICHE RAPPORT (ET RÉSULTATS)

ANNEXE 7 - FICHE ACTEUR (ET RÉSULTATS)

ANNEXE 8 - ENQUÊTE ANG

ANNEXE 9 - ENQUÊTE EVALUATEURS

ANNEXE 10 - ENQUÊTE DGD

ANNEXE 11 - GRILLE DE CONCLUSIONS ET RECOMMANDATIONS RÉCURRENTES

ANNEXE 12 - PRATIQUES INNOVANTES

ANNEXE 13 - LISTE DES PERSONNES RENCONTRÉES

ANNEXE 14 – BIBLIOGRAPHIE

MÉTA-ÉVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX - ANNEXES 5

Acronymes et abréviations

ANG1 Acteur non gouvernemental

C Conclusion

CA Comité d’accompagnement (de l’évaluation)

CAD Comité d'aide au développement (de l’OCDE)

DGD Direction générale de la Coopération au développement (belge)

I Indicateur

M&E Suivi (monitoring) et évaluation

OCDE Organisation de coopération et de développement économiques

ONG Organisation non gouvernementale

Q Question d’évaluation

R Recommandation

SES Service de l’Évaluation spéciale de la Coopération internationale

SPF Service public fédéral

TdR Termes de référence

1 La dénomination d’ « acteur non gouvernemental » (ANG) utilisée durant la période d’évaluation 2008-2011

a été remplacée par celle d’« acteur de la coopération au développement non gouvernementale » (ACNG) dans le projet d’arrêté royal approuvé le 29 mars 2013 par le Conseil des Ministres. A des fins de clarté, nous utilisons de façon uniforme dans ce rapport la dénomination qui était d’application durant la période d’évaluation, soit celle d’ANG.


Annexe 1 - Cahier des charges

Cette annexe présente les prescriptions techniques (Partie B) du cahier des charges.

Annexe 1-Cahier des charges


B. Prescriptions techniques

EVALUATION DES EVALUATIONS DES ACTEURS NON GOUVERNEMENTAUX ET

LEUR SUIVI PAR LES SERVICES QUI EN SONT RESPONSABLES AUPRES DE LA

DGD

TERMES DE REFERENCE

0. Introduction

Le Service de l’Evaluation spéciale de la Coopération internationale (SES) est un service d’évaluation externe de la coopération au développement fédérale belge, compétent pour l’évaluation de toutes les activités de l’Etat fédéral pour lesquelles les dépenses sont comptabilisés en tant qu’APD auprès de l’OCDE-CAD. Le SES rend des comptes vis-à-vis du Parlement et de l’opinion publique la politique menée et l’utilisation des moyens. Le SES doit également tirer des conclusions des évaluations et des recommandations à formuler, « qui peuvent être utilisées de manière optimale pour améliorer ou corriger la politique relative à la coopération au développement »2.

Une enquête menée en 2010 par la plateforme d’étude Pulse et portant sur le soutien

public pour la coopération au développement a démontré que 70% de la population belge est en faveur d’une coopération au développement et trouve que l’aide au développement bien organisée a des conséquences positives pour le Tiers Monde. A peine 20% sont toutefois clairement satisfaits de la manière dont le budget de coopération est utilisé, tandis que la confiance dans plusieurs acteurs, entre autres les ONG, est en baisse.

Le Service de l’Evaluation spéciale a récemment effectué une évaluation du rapportage des résultats de la DGD (Direction générale pour la coopération au développement du SPF Affaires étrangères, Commerce extérieur et Coopération au développement). Il en est ressorti que les instructions relatives au rapportage peuvent différer d’un service à l’autre et peuvent parfois être interprétées différemment par les collaborateurs d’un même service. Une des recommandations visait à formuler un ensemble cohérent d’instructions de rapportage, aussi bien pour la DGD que pour les partenaires de mise en œuvre. En ce qui concerne plus spécifiquement l’évaluation, on a affirmé qu’elle jouait actuellement un rôle limité dans le rapportage sur les résultats. « Les organisations partenaires de mise en œuvre réalisent des évaluations, mais la mesure dans laquelle les informations issues de ces évaluations sont communiquées à la DGD et la mesure dans laquelle la grande quantité d’informations peut effectivement être absorbée par la DGD sont limitées ».3 C’est à partir de cette recommandation et suite à une réforme prévue

2 Arrêté royal portant création d’un service « Evaluation spéciale de la Coopération internationale », date de promulgation : 25 février 2010, publié au Moniteur belge du 15 mars

2010. Article 2, §1.

3 Evaluation du rapportage des résultats de la DGD, page 2 du résumé (pas encore publié).

de la DGD que l’on a avancé la nécessité d'étudier de plus près les pratiques d’évaluation des acteurs non gouvernementaux (ANG) et leur suivi au sein de la DGD.

1. Contexte et justification

La coopération non gouvernementale belge représente un budget de quelque 230 millions d’euros par an, dont environ 118 millions d'euros sont destinés au financement des programmes des ONG. Le VLIR et le CIUF4 reçoivent respectivement 30 millions d’euros et presque 28 millions d’euros, les institutions scientifiques5 perçoivent 17 millions d’euros et d’autres acteurs, comme le VVOB, l’APEFE6, les syndicats, etc. rassemblent ensemble près de 30 millions d’euros7.

Actuellement, 62 ONG ont un programme en cours dans le cadre du cofinancement de la DGD8. De 1997 à 2006, le cadre réglementaire a prévu l’obligation pour les ONG d’accorder en moyenne au moins 10% des coûts administratifs prévus à l’évaluation9. Cette obligation a été abandonnée avec la suppression des articles y afférents par l’AR du 24 septembre 2006, qui prévoyait une mesure de transition. Les ONG pouvaient volontairement choisir d’intégrer cette disposition dans un nouveau plan d’action si elles répondaient à certaines conditions. Cette obligation a entièrement disparu le 1er janvier 2011.

On prévoit de manière générale la possibilité pour les acteurs non gouvernementaux

d’utiliser les évaluations dans le cadre du dialogue politique10. Les évaluations peuvent servir de document de base et de motivation lors de l'introduction du programme. Elles peuvent donner une orientation en ce qui concerne l’objectif que l’on vise et ce que l’on veut réaliser. Les évaluations peuvent donc servir de document de base pour les éventuelles corrections ou une meilleure base du programme. Dans les instruments d’évaluation, les directives et les instructions actuels, l’attention est accordée à l’évaluation, bien que les pratiques puissent différer d’un service à l’autre (cf. plus loin).

Si plusieurs acteurs non gouvernementaux, comme les universités et les ONG, sont déjà familiarisés depuis plusieurs années avec l'évaluation, il ne s’agit pour quelques autres (les villes et communes, les syndicats, etc.) que d’une nouvelle pratique en ce domaine, qui est encouragée par la DGD.

4 VLIR : Vlaamse Interuniversitaire Raad (Conseil interuniversitaire flamand); CIUF : Centre interuniversitaire de la Communauté française

5 L’Institut de Médecine tropicale (IMT) d'Anvers, le Musée royal de l'Afrique centrale (MRAC) de Tervueren et l'Institut royal des Sciences naturelles de Belgique à Bruxelles.

6 Vlaamse Vereniging voor Ontwikkelingssamenwerking en technische bijstand (VVOB, Association

flamande pour la coopération au développement et l’assistance technique), Association pour la promotion de l’éducation et de la formation à l’étranger (APEFE).

7 Tous les chiffres sont des chiffres de 2010, mais ils donnent toutefois la tendance pour une plus

longue période. Source : Annuaire statistique de l’aide au développement belge officielle, à consulter sur www.diplomatie.be

8 Les ONG Aquadev, Atol et Volens avaient également un programme qui a été approuvé pour la

période 2011-2013, mais n’existent plus ou sont en phase de liquidation.

9 Etant donné que les frais administratifs représentent 10% du budget total, selon cette règle, 1% du budget total devrait être accordé à l'évaluation. Cette obligation est connue sous le nom de « règle de 1% » et elle a fait l'objet d'une évaluation qui a pris fin en avril 2005.

10 Le dialogue politique est une rencontre annuelle entre les représentants de l‘acteur non gouvernemental et les collaborateurs de la DGD. Lors de ces entrevues, le programme que la

DGD cofinance est discuté.

http://www.diplomatie.be/



Le SES veut savoir si les acteurs non gouvernementaux (ANG) rendent correctement

compte via les évaluations des résultats qu’ils obtiennent avec les moyens qu’ils reçoivent de la DGD. C’est pourquoi il fera réaliser une méta-évaluation des évaluations de programme des ANG belges dans le cadre de leurs programmes qui sont cofinancés par la DGD. Cette méta-évaluation fait partie de cette évaluation, dont le but plus large est de passer à la loupe l'évaluation des ressources attribuées par la DGD dans le cadre de la coopération non gouvernementale et le suivi de la (des) évaluation(s).

L’OCDE-CAD définit la méta-évaluation comme suit : « L’évaluation est un résumé de

constatations découlant d’une série d’évaluations. Le terme peut aussi être utilisé pour

désigner l’évaluation d’une évaluation, afin d’en évaluer la qualité et/ou la prestation des

évaluateurs. » 11

Cette évaluation répondra aux deux définitions d’une méta-évaluation.

Tout d’abord, la qualité des évaluations des ANG sera évaluée à l’aide d’une matrice

d’évaluation. L’objectif est en outre que les principaux points qui reviennent plusieurs

fois dans l’échantillon d’évaluations soient résumés. Le but n'est pas que toutes les

constatations soient reprises, mais que l’on ne mentionne que les constatations

récurrentes et les plus importantes. L'élément essentiel doit se situer au niveau du

contrôle de la qualité, de la fiabilité, de l’indépendance et de l’utilité des rapports et des

processus d’évaluation.

Il convient cependant aussi de tenir compte du cadre dans lequel les ANG effectuent leurs évaluations, car les pratiques sont assez différentes en ce qui concerne l’implication de la DGD dans ces évaluations. Les ONG travaillent par exemple de manière très autonome pour leurs évaluations, tandis que pour leurs dernières évaluations, les syndicats ont impliqué la DGD dans la rédaction des termes de référence et les gestionnaires de dossier ont aussi participé au processus d’évaluation proprement dit en tant que membre du comité de pilotage. La pratique adoptée au niveau de la collaboration universitaire se situe entre ces deux extrêmes. Comme nous l’avons déjà dit, la « tradition » en matière d’évaluation varie fortement d'un acteur à l'autre : tout le monde n’a pas la même expérience et n’y porte pas le même intérêt.

Il est également ressorti de l’évaluation du rapportage des résultats de la DGD qu’il était

possible de s’améliorer en ce qui concerne l’utilisation des informations issues des évaluations. Cette évaluation devrait fournir plusieurs pistes de changement plus concrètes.

Une réforme de la DGD est actuellement prévue. Grâce à celle-ci, les différents services de la direction « Société civile » ne seront plus organisés par acteur, mais géographiquement. Une approche cohérente et coordonnée avec les autorités en matière de suivi et d’évaluation n’est donc pas sans importance. Cette évaluation peut émettre plusieurs recommandations à ce niveau.

2. Objectif et champ de l’évaluation

L’objectif de l’évaluation est de savoir si les évaluations des ANG ont été réalisées indépendamment, si elles sont solidement basées sur des preuves à l’appui, si elles sont fiables et si elles peuvent être utilisées pour les justifications et les corrections stratégiques. Il convient également de vérifier si les évaluations sont utilisées effectivement : quelle suite les ANG et (le cas échéant) la DGD ont-ils donnée aux conclusions et aux recommandations des évaluations ? Il convient également de faire une comparaison entre les pratiques des différents ANG ainsi que celles des services qui en sont responsables au sein de la DGD en matière de suivi et d'évaluation afin de les améliorer et de les uniformiser si nécessaire.

11 Source :

Cette évaluation donnera plusieurs recommandations basées sur les bonnes et les moins

bonnes pratiques d’évaluation. Ces recommandations pourront alors contribuer à la mise en place d’une réglementation cohérente et d’une politique coordonnée en matière de suivi et d’évaluation au sein de la DGD dans le cadre du travail avec les acteurs non gouvernementaux.

Le champ de l’évaluation se compose donc de trois parties : tout d’abord, la qualité du rapport d’évaluation, ensuite l’évaluation du processus d’évaluation et enfin, (l'utilisation du) le contenu des évaluations. Ces trois aspects sont abordés ci-dessous.

2.1 Rapport d’évaluation

En ce qui concerne la qualité du rapport d’évaluation, les évaluateurs dresseront à l’aide d’une matrice d’évaluation un avis nuancé et argumenté sur les évaluations de programme des ANG. On étudiera pour cela un échantillon qui se composera d’une évaluation de programme par acteur non gouvernemental. Nous entendons par évaluations de programme les évaluations dans leur ensemble (ou une partie considérable, dépassant le niveau de projet) du programme cofinancé par les pouvoirs publics belges (DGD – D3.1 « ONG », D3.2 « Universités et instituts scientifiques », D3.3 « autres partenaires »). Sur cette base, des recommandations pourront être formulées afin d'améliorer les aspects susmentionnés de ces évaluations.

On choisit sciemment de ne pas reprendre d'organisations financées sur base de projets,

et ce en vue d’assurer l’uniformité de l’échantillon.

2.2 Processus d’évaluation

En ce qui concerne les aspects de processus, les évaluateurs cibleront deux niveaux : le premier niveau est celui du processus d’évaluation concret (comment une évaluation se développe-t-elle), tandis que le second niveau est celui de la politique d'évaluation (aussi bien des ANG que de la DGD).

Pour ce qui est de l’évaluation individuelle, les évaluateurs intégreront plusieurs critères à ce propos dans la matrice d’évaluation. Il faudra aussi accorder de l'attention à l'aspect d'apprentissage et à d'autres conséquences positives ou négatives de la manière dont l'évaluation s'est déroulée, a été dirigée, etc.

En ce qui concerne la politique d’évaluation, les consultants devront demander certaines données aux ANG et tirer des informations des interviews sur l’existence d’une politique d’évaluation, ce qu’elle comporte, combien de personnes s’occupent de l’évaluation, etc. Idéalement, une corrélation peut être réalisée entre l’existence ou non d’un spécialiste ou d’une politique d’évaluation au niveau des ANG et la qualité du rapport et du processus d’évaluation.

Outre cet accent sur la politique d’évaluation auprès des ANG, qui rejoint la méta-

évaluation de leurs rapports d’évaluation, l’évaluation se concentrera aussi sur la politique d’évaluation de la DGD. Cela implique : la réglementation (réglementation, procédures, directives, circulaires, etc.) relative à ces évaluations, leur suivi et l’utilisation qu’il en est fait dans les différents départements de l’administration qui sont responsables du cofinancement des acteurs non gouvernementaux de l’actuelle direction D3 de la DGD. On étudiera dans quelle mesure la présence ou l'absence de réglementation contribue aux bons ou aux mauvais résultats d'évaluation auprès des ANG, mais aussi dans quelle mesure ces évaluations sont utilisées pour assurer un travail de qualité au niveau des ANG (en utilisant par exemple les évaluations dans le suivi quotidien ou dans le cadre de l’évaluation des programmes et du dialogue



politique12). Dans ce cadre, il faudra aussi accorder de l’attention à des éléments plus implicites, comme l’interprétation des directives écrites, des habitudes non écrites dans les relations « quotidiennes » entre les gestionnaires de dossiers des différents services au sein de la direction D3 de la DGD et les ANG dont ils sont responsables.

2.3 Contenu des évaluations

La troisième partie concerne le contenu des évaluations. L’objectif est de savoir si ces évaluations sont effectivement utilisées, aussi bien par les ANG que par la DGD. Débouchent-elles sur un meilleur suivi ? Il convient cependant de savoir que les évaluations ne constituent pas la seule manière dont les ANG se justifient vis-à-vis de la DGD ; le back-donor est aussi informé via un rapportage financier et narratif. Les évaluateurs tenteront donc de définir la plus-value des évaluations par rapport aux deux autres types de rapportage et contrôleront s'il est fait un usage maximal des évaluations pour procéder par exemple à des corrections du programme.

En tant que base d’évaluation, les évaluateurs devront dresser un aperçu des principales constatations, conclusions et recommandations récurrentes dans ces rapports d’évaluation. Cela permettra d’avoir une idée des problèmes ou des avantages communs que présente le travail des ANG et de vérifier ce que l’on peut entreprendre avec ce contenu.

3. Approche et méthodologie

La méthodologie propre à l’évaluation sera dressée par les consultants, en tant qu’élément de l’offre. Ils la développeront dans une note méthodologique, qui reprendra le cadre d’évaluation entièrement développé et la matrice d’évaluation pour les rapports individuels. Voici toutefois quelques amorces sur la base desquelles la méthodologie proprement dite peut être développée.

a. Approche

Les exigences susmentionnées pour l’évaluation comprennent déjà les attentes suivantes :

- La réalisation d’un inventaire des évaluations de programme des ANG à hauteur d’une évaluation par acteur (maximum 76 rapports).

- Une analyse de la manière dont les ANG comprennent et abordent leurs évaluations, en tenant compte du fait que l’ANG dispose ou non d’une politique d’évaluation et quel rôle elle joue dans la qualité des prestations d’évaluation ainsi que dans leur suivi et leur utilisation. Cela se fait entre autres via des interviews des acteurs non gouvernementaux, des consultants qui ont réalisé ces évaluations et des gestionnaires de dossiers responsables à la DGD.

- L’estimation de la qualité des évaluations à l’aide d’une matrice d’évaluation, dans

laquelle on tient compte de l’indépendance, de la fiabilité et de l’utilité des évaluations ainsi que du processus de l’évaluation. Cela débouchera sur une fiche

12 Il existe deux « types » de dialogue politique. Le premier est le dialogue politique ex ante, réalisé lors de l’évaluation d’un nouveau programme, qui a lieu avant que le programme ne commence. Le second est le dialogue politique ex post, où il est question du rapportage pendant le programme et du rapportage final. Le rapportage est réalisé selon des formats définis et il en existe deux types : le rapportage financier et le rapportage narratif. L’évaluation

peut alimenter et compléter les deux types de rapportage et le dialogue politique correspondant, ainsi que la formulation du nouveau programme.

d’évaluation par rapport d’évaluation, qui fera partie d'une note individuelle par acteur (cf. ci-dessous).

- La rédaction d’un bref aperçu des principaux éléments récurrents dans les rapports d’évaluation des acteurs non gouvernementaux.

- La réalisation d’un inventaire des différentes réglementations, directives et pratiques dans la direction D3 actuelle lorsqu’il est question du suivi et de l’évaluation, et une étude de la manière dont l'on utilise les rapports d'évaluation des acteurs non gouvernementaux au sein de D3.

- La réalisation d'une analyse de l'effet de ce cadre réglementaire et des pratiques

qui s'y rapportent sur les évaluations réalisées, leur qualité et leur application dans la pratique ; indiquer comment on peut utiliser ces rapports d'évaluation de manière optimale dans le cadre de D3 pour le suivi des acteurs non gouvernementaux.

- La formulation de conclusions et de recommandations pour améliorer les pratiques à l'avenir, aussi bien des ANG que de la DGD.

b. Questions d’évaluation

- Quelles directives existe-t-il en matière de suivi et d’évaluation de la part de la DGD ? Comment sont-elles suivies par les ANG ? Permettent-elles d’avoir des informations essentielles sur les résultats obtenus ? Comment les directives et leur application peuvent-elles être améliorées ?

- Les évaluations sont-elles pertinentes ? Les informations rassemblées sont-elles

fiables ? La qualité des évaluations est-elle suffisante ? Comment peut-elle être améliorée ? Le processus de l’évaluation a-t-il contribué à l’amélioration et à l’apprentissage communs ?

- Les évaluations sont-elles indépendantes ? Quels sont les éléments présents qui garantissent l’indépendance de l’évaluation ? Quelles sont les pratiques qui portent atteinte à l’indépendance ? Comment améliorer ce point ?

- Quelle est la crédibilité des évaluations ? Quels sont les éléments qui y contribuent ? Quels sont les facteurs qui portent préjudice à cette crédibilité ? Comment peut-on améliorer ce point ?

- Comment les ANG utilisent-ils ces évaluations de programme ? Des leçons en

sont-elles tirées ? Comment sont-elles appliquées ? Ce point est-il repris pour l’avenir ? Des modifications ont-elles été apportées au programme ? Comment la DGD suit-elle ce point ?

- Comment la DGD utilise-t-elle ces évaluations ? Quel rôle les évaluations jouent-elles dans l’évaluation d’un nouveau programme et dans le dialogue politique ? Comment l’utilisation des évaluations peut-elle être optimisée par la DGD ?

- Y a-t-il des constatations, des conclusions ou des recommandations qui reviennent toujours dans les rapports des acteurs non gouvernementaux ? Quels sont les principaux points positifs ou négatifs de l’ensemble des rapports d’évaluation ?

Cette liste de questions d’évaluation est générale et non exhaustive. Il reviendra aux

consultants de dresser un cadre d’évaluation au sein duquel l’exercice se déroulera. Tout ce processus devra être complété avec une checklist devant permettre d’évaluer la qualité des processus et des produits d’évaluation des ANG. Aussi bien le cadre d’évaluation que la checklist feront partie de l’offre des souscripteurs et feront donc l’objet de l'évaluation de l’offre par le comité de sélection. La méthodologie sera en outre décrite dans les détails dans une note méthodologique, qui sera abordée au sein du



comité d'accompagnement (cf. plus loin), après quoi elle pourra être validée par le commanditaire et être utilisée pour l'évaluation.

c. Evaluation des rapports d’évaluation individuels

L’évaluation concrète de la qualité des rapports et des processus d’évaluation sera réalisée à l’aide d’une matrice d’évaluation, que les consultants développeront eux-mêmes, mais qui sera approuvée après une concertation au sein du comité d’accompagnement. La matrice peut être basée sur des listes d’évaluation existant déjà et tirées d’exercices similaires. La proposition doit être fondée, argumentée et clairement expliquée dans l’offre. La méthodologie définitive sera validée après une réunion avec le comité d’accompagnement.

L’évaluation des évaluations individuelles n’est qu’une partie de cette évaluation, qui va plus loin que la simple estimation de la qualité des rapports et des processus d’évaluation des ANG. Elle est toutefois un élément important et un fondement pour le reste de l’évaluation, qui doit permettre de savoir comment la coopération avec les ANG peut être suivie et évaluée au mieux.

4. Déroulement de l’évaluation

a. Phase préparatoire

Cette phase est assez courte et comprend principalement l'organisation d’une réunion de démarrage avec le comité d'accompagnement (cf. ci-dessous). Lors de cette réunion, les consultants présenteront leur offre au comité d'accompagnement afin de donner l'occasion aux membres du groupe d'y réagir et de faire des suggestions pour poursuivre le développement de la note méthodologique. Des aspects plus pratiques seront aussi abordés pour la poursuite de l’évaluation, comme la définition du calendrier de réunion, la communication des données déjà disponibles et des personnes à contacter, etc.

Au niveau de l'équipe d'évaluation, le chef d'équipe, au moins, participera à chaque réunion organisée avec le comité d'accompagnement. Si le chef d’équipe ne maîtrise pas suffisamment le français et le néerlandais, le bilinguisme de l’équipe d’évaluation doit être assuré d’une autre manière afin que les contacts avec le comité d’accompagnement se déroulent correctement.

b. Développement de la méthodologie et rassemblement des

données

Après la phase de lancement, on poursuivra le développement de la méthodologie déjà proposée dans l’offre des consultants. On rassemblera les données nécessaires via la lecture des documents, les interviews avec les personnes intéressées (DGD, consultants qui ont réalisé les évaluations, personnes de contact chez les acteurs non gouvernementaux, etc.).

Un test de la matrice d'évaluation sera réalisé. Ce point sera abordé avec le comité

d'accompagnement en vue d'apporter d'éventuelles améliorations. Tous les rapports d’évaluation seront testés par rapport à cette matrice et pour chacun d’entre eux, une fiche d’évaluation sera rédigée.

Pendant cette phase, des interviews sont menées avec les personnes pertinentes au niveau des acteurs non gouvernementaux, de la DGD (de préférence des interviews individuels, plutôt que des conversations en groupe), mais aussi parmi les consultants qui ont réalisé des évaluations pour les acteurs non gouvernementaux. D’éventuels autres interlocuteurs peuvent être identifiés après suggestion par le comité d’accompagnement ou à l’initiative des consultants.

c. Phase d’analyse

Pendant la phase d’analyse, toutes les informations soulevées durant les phases précédentes sont analysées et le rapport final est rédigé. On veillera à ce qu’il y ait un lien clair entre les constatations, les conclusions et les recommandations.

d. Restitution

Les consultants sont priés de prévoir du temps pour une restitution dans leur offre. Cela peut se faire au niveau de la gestion, mais aussi plus largement, avec les différentes parties prenantes de l’évaluation et d’éventuelles autres parties intéressées.

5. Produits de l’évaluation

L’évaluation débouchera sur différents rapports : une note méthodologique, une note par acteur avec une fiche d’évaluation par rapport d’évaluation, un rapport final avec le résumé correspondant et document de deux pages.

La date de fourniture de ces rapports et le calendrier pour la réunion avec le comité d’accompagnement seront définis en concertation avec le commanditaire après la réunion de démarrage organisée avec le comité d’accompagnement.

Les consultants veilleront toujours à assurer la lisibilité et le caractère compréhensible de leurs rapports et ils suivront les directives du SES en ce qui concerne la mise en forme.

a. La note méthodologique

La note méthodologique est élaborée après la première réunion de démarrage avec le comité d’accompagnement. Cette note complètera et soutiendra l’offre du bureau d’étude en tenant compte des remarques du comité d’accompagnement.

La note méthodologique décrit dans les détails l’approche et la méthodologie telles

qu’elles sont validées par le pouvoir adjudicateur après discussion au sein du comité d’accompagnement. Ce rapport précise le mandat de l’évaluation, le cadre d’analyse (avec le cadre d’évaluation), l’approche méthodologique et l'approche de l’évaluation.

Cette note sera rédigée en français ou en néerlandais et elle fera l’objet d’une présentation pour le comité d’accompagnement, qui sera suivie d’une discussion. La présence du chef d’équipe, au moins, est requise lors des réunions avec le comité d’accompagnement. Si celui-ci n’est pas bilingue, l’équilibre linguistique doit être assuré d’une autre manière par le bureau d'étude.

b. Note individuelle par acteur

Une note par acteur (aussi bien pour les ANG que pour la DGD) sera rédigée. Elle reprendra les informations basiques rassemblées, qui serviront de base pour l'analyse dans le rapport final. L’objectif est de garantir une base claire sur le plan du contenu des analyses reprises dans le rapport final.

Au niveau des ANG, la note reprendra plusieurs données de base sur l’organisation

(taille, nombre de membres du personnel, etc.), mais aussi sur l’évaluation (nombre de membres du personnel chargés de l'évaluation, politique d'évaluation, etc.). La note comprendra également une fiche d’évaluation individuelle sur le rapport d’évaluation repris dans l'échantillon pour cet acteur. De l’attention devra également être accordée au processus d’évaluation et à l’utilisation de l’évaluation dans la pratique : qu’en a-t-on fait par la suite ?



En ce qui concerne la DGD, la note reprendra des informations sur la politique en

matière de suivi et d’évaluation (cadre réglementaire et directives, mais aussi des éléments plus informels), sur la manière dont les ANG sont accompagnés et sur la manière dont leurs évaluations sont utilisées pour le suivi.

La note individuelle est rédigée en néerlandais ou en français. Ces notes seront communiquées aux acteurs intéressés, qui pourront émettre des commentaires ou des suggestions d’amélioration à ce propos. Ces commentaires seront transmis aux consultants, qui y réagiront.

c. Rapport final

Les résultats finaux de l’évaluation sont présentés dans ce rapport. Le rapport présentera brièvement le contexte, le mandat et la méthodologie de l’évaluation, ainsi que les problèmes que l’on a éventuellement rencontrés lors de l’évaluation. On y ajoutera une partie reprenant les constatations, les conclusions et les recommandations sur la qualité des rapports et des processus d’évaluation (indépendance, fiabilité, validité, utilité), sur l’utilisation qui en est faite, le suivi et les directives en matière de suivi et l’évaluation de la part de la DGD. De l’attention sera aussi accordée au contenu des rapports d'évaluation. Des recommandations seront formulées pour les ANG, la DGD et la politique sur le rôle qu'ils assument en matière de suivi et d'évaluation et sur la manière dont la qualité, l'indépendance, la fiabilité et l'utilité de ces évaluations peuvent être garanties.

Plusieurs annexes seront reprises dans ce rapport final : les termes de référence, une liste des documents consultés, une liste des personnes interviewées, les notes sur chaque acteur, la note méthodologique, etc.

Les consultants présenteront une version provisoire de ce rapport au comité

d’accompagnement, après quoi une discussion sera menée à ce sujet et des commentaires d'amélioration pourront être partagés. Ces commentaires seront transmis aux consultants, qui y réagiront. Un rapport final définitif sera ensuite rédigé et traduit.

Le rapport final (avec annexes) doit être disponible en format Word et sera rédigé à l’origine en français ou en néerlandais. Le rapport final (pas les annexes) sera ensuite traduit dans l'autre langue nationale. Les consultants veilleront à ce que les textes du rapport final et celui des traductions soient de bonne qualité et puissent être publiés dans la série des rapports d’évaluation du Service de l’Evaluation spéciale. Ils suivront pour cela les directives du service en matière de mise en page et de mise en forme du texte. Les évaluateurs sont responsables du contrôle de la qualité des traductions, qui doivent être révisées par un locuteur natif. Les évaluateurs veillent également à ce que leurs textes soient concis, bien lisibles et compréhensibles.

d. Résumé

Le résumé sera une partie du rapport final et reprendra les principaux éléments du rapport. Sa longueur est limitée à 10 pages maximum.

Le résumé doit être disponible en néerlandais, en français et en anglais. Les consultants

sont responsables de la qualité des traductions, qui doivent être révisées par un locuteur natif. Les évaluateurs veillent également à ce que leurs textes soient bien lisibles et compréhensibles. En ce qui concerne la mise en forme, les mêmes exigences que celles applicables pour le rapport final sont valables.

e. Document de deux pages

Ce document de deux pages (two-pager) doit reprendre un résumé des principaux points de l’évaluation, destiné à un lecteur de l’équipe de gestion. Il ne devra donc pas

présenter la méthodologie ; l’accent doit être mis sur les principales constatations, conclusions et recommandations.

Ce two-pager doit être disponible en néerlandais, en français et en anglais. Les consultants sont responsables de la qualité des traductions, qui doivent être révisées par un locuteur natif. Les évaluateurs veillent également à ce que leurs textes soient bien lisibles et compréhensibles. En ce qui concerne la mise en forme, les mêmes exigences que celles applicables pour le rapport final sont valables.

6. Profil des évaluateurs et attentes par rapport à l’offre

On attend des évaluateurs qu’ils rédigent une offre cohérente, transparente en ce qui concerne le travail qui sera fourni et la répartition des tâches entre les membres de l’équipe.

Les points maximaux attribués par critère et la manière dont les offres seront cotées

sont expliqués ci-dessous. Comme nous l‘avons déjà mentionné dans les dispositions administratives, 30% du nombre total de points est réservé au prix. Les 70% restants sont attribués en fonction de l'appréciation du contenu et sont répartis comme suit :

1. Compréhension des questions clés et organisation de l'évaluation et de l'approche méthodologique (total : 25%)

L'offre ne doit pas répéter ce qui est déjà mentionné dans les spécifications techniques du cahier des charges. Les soumissionnaires doivent démontrer qu’ils comprennent le contexte, l’objectif et le mandat de l’évaluation, ainsi que le sujet qu’ils traiteront. Ils doivent présenter leur interprétation des questions d’évaluation et indiquer comment ils veulent y répondre. Ils sont libres d’adapter ou de compléter les questions d’évaluation du cahier des charges. L’évaluation de l’approche méthodologique se fera selon les trois éléments suivants :

a. Evaluation de la qualité des rapports d'évaluation (10%)

Les soumissionnaires doivent également présenter la méthodologie qui, selon eux, serait la mieux adaptée pour l’évaluation des rapports d’évaluation. Le choix de tel ou tel critère dans la liste d’évaluation doit être argumenté en fonction des questions d’évaluation et doit concorder au cadre d’évaluation plus large que les soumissionnaires dresseront. Les soumissionnaires présenteront également la manière dont ils souhaitent rassembler, trianguler les informations nécessaires et dont ils veulent traiter les données pour aboutir à une bonne conclusion, avec les recommandations correspondantes.

b. Evaluation des processus d’évaluation (10%)

Les soumissionnaires expliqueront comment ils évalueront les processus d’évaluation au

sein du cadre d’évaluation et ils commenteront leurs choix. On demande également à ce niveau une explication de la manière dont on rassemblera et analysera les informations et de la manière dont on souhaite garantir la fiabilité et l'indépendance de l'avis sur les processus d'évaluation.

c. Leçons transversales tirées des évaluations et utilisation de ces leçons (5%)

Les évaluateurs indiqueront comment ils rassembleront, structureront et analyseront les éléments transversaux des évaluations et comment ils évalueront leur utilisation par les différentes parties prenantes.

2. Approche et organisation de l’évaluation (10%)

Les soumissionnaires présenteront leur approche et les aspects pratiques de l’organisation de cette évaluation en fonction des attentes de l’évaluation, telles que formulées dans le cahier des charges. Les aspects importants à ce niveau sont un plan de travail et un calendrier clairs, une répartition bien déterminée du travail (qui est



responsable de quoi, nombre de jours par consultant par phase de l’évaluation) et l’équilibre linguistique (NL/FR) au sein de l’équipe.

Il est très important que les consultants qui exécutent cette mission soient neutres par rapport à l’objet de l'étude. C’est pourquoi chaque consultant qui a participé à une évaluation de programme qui sera évaluée dans le cadre de cette évaluation sera exclu à l’avance. Les consultants qui se trouvent dans une position pouvant présenter un conflit d’intérêts (par exemple un (ex) collègue qui a réalisé une ou plusieurs des évaluations, l’existence de liens étroits avec un des ANG dans l’évaluation, etc.) doivent le signaler à l’avance et indiquer comment l’équipe agira afin de garantir la neutralité et l’objectivité de l’évaluation.

3. Connaissance de l’objet de l’évaluation, de la coopération au développement en général et des acteurs non gouvernementaux en particulier (15%)

Les consultants démontreront dans leur offre qu’ils savent comment fonctionne la

coopération au développement, avec une attention particulière pour le cofinancement des acteurs non gouvernementaux.

4. Expérience dans la méta-évaluation et sa méthodologie (10%)

Avoir de l’expérience dans la méta-évaluation et sa méthodologie est un atout. Les consultants sont invités à décrire brièvement leur expérience à ce niveau et à indiquer quelles ont été les leçons positives ou négatives qu’ils ont tirées de cette expérience préalable.

7. Calendrier indicatif

Semaine 0 : Envoi de la lettre de notification.

Semaine 1 : Réunion de démarrage (réunion comité d’accompagnement 1).

Semaine 3 : Envoi de la note méthodologique au comité d’accompagnement.

Semaine 5 : Présentation de la note méthodologique + liste de rapports rassemblés au

comité d’accompagnement + proposition de plan d’approche pour la suite de l’évaluation (réunion comité d’accompagnement 2).

Semaine 6 : Envoi du test de matrice d’évaluation au comité d’accompagnement.

Semaine 7 : Discussion du test de matrice d’évaluation avec le comité d’accompagnement (réunion comité d’accompagnement 3).

Semaine 13 : Envoi des fiches d’évaluation individuelles complétées + plan d’approche

pour la suite de l’évaluation au comité d'accompagnement.

Semaine 20 : Envoi du projet de rapport final.

Semaine 22 : Présentation et discussion du projet de rapport de synthèse avec le comité d'accompagnement (réunion du comité d'accompagnement 4).

Semaine 24 : Clôture du rapport final dans la langue originale.

Semaine 30 : Fourniture définitive de tous les rapports et des traductions.

8. Informations complémentaires

L’évaluation sera assistée par un comité d'accompagnement, qui assurera le rôle de contrôleur de qualité et qui servira de chambre de réflexion lors de la discussion des

rapports. Ce groupe pourra ainsi donner son avis sur la méthodologie que l’on souhaite utiliser pour cette évaluation ainsi que sur les constatations, conclusions et recommandations. Si nécessaire, il complètera ou améliorera les informations dont disposent les consultants. Il facilitera aussi l’accès aux informations et aux informateurs.

Le comité d’accompagnement est un groupe de travail technique mandaté pour faire des propositions et pour réfléchir à propos de l’évaluation. Sa tâche consiste à suivre, accompagner et faciliter l’évaluation. Grâce à sa composition variée, le comité d’accompagnement enrichit les différentes conceptions relatives à cette évaluation. Il garantit l’accès des consultants aux sources d’informations utiles (documents, personnes, etc.), ses membres font office d’interface avec l’organisation à laquelle ils appartiennent ou qu’ils représentent. Ils informent cette dernière du processus et des produits de l’évaluation et ils facilitent l’accès aux informations, l'organisation d’interviews, etc.

Le comité d’accompagnement se réunira quatre fois : une fois lors de la réunion de démarrage, une fois lors de la discussion de la note méthodologique, une fois lors de la discussion du test de la matrice d'évaluation et une fois lors de la présentation du projet de rapport de synthèse. Entre-temps, des feed-backs doivent être assurés avec le pouvoir adjudicateur (= le Service de l’Evaluation spéciale) afin permettre un suivi du processus de l’évaluation et de le corriger si nécessaire.

Le comité d’accompagnement se composera de représentants du Service de l’Evaluation

spéciale, de membres de la DGD et d’une représentation des acteurs non gouvernementaux qui sont impliqués dans l’évaluation. Le comité d’accompagnement peut être élargi avec un expert indépendant, qui surveille aussi la qualité de l’évaluation. L'orientation du parcours d'évaluation est confiée au Service d'évaluation spéciale, qui prend les décisions finales après l'avis du comité d'accompagnement.


Annexe 2 - Cadre réglementaire

Cette annexe reprend le cadre réglementaire relatif à l’évaluation des programmes des

différents acteurs non gouvernementaux cofinancés par la DGD durant la période 2008-

2011.

Les directives relatives à l’évaluation se retrouvent en fait dans une série de documents

de types multiples et variés, qui dépendent du type d’acteur voire d’un acteur à l’autre.

Les documents repris ci-dessous sont ceux du cadre réglementaire qui font référence à

l’évaluation. Les dispositions relatives à l’évaluation sont décrites ci-dessous de façon

exhaustive ; les textes ne fournissent ainsi pas plus de détail que ce qui est spécifié dans

cette annexe.

Les dispositions relatives à l’évaluation sont présentées par type d’acteur :

ONG ;

Universités et institutions scientifiques ; et

Autres Partenaires.

Cadre réglementaire pour les ONG

Arrêtés royaux

2006 : AR relatif à la subvention des programmes et projets présentés par les ONG de

développement agréées

L’arrêté ne mentionne l’évaluation que dans la liste des coûts de gestion sans autre

spécification.

2007: AR régissant l'agrément et la subvention des Fédérations des ONG de

développement

L’arrêté ne mentionne rien sur l’évaluation.

Arrêtés ministériels

2007: AM portant éxécution de l'AR du 24 septembre 2006 relatif à la subvention des

programmes et projets présentés par les ONG de développement agréées


2008: AM portant éxécution de l'AR du 24 septembre 2006 relatif à la subvention des

programmes et projets présentés par les ONG de développement agréées



2 MÉTA-ÉVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX - ANNEXES

Directives

2007: Schéma de présentation d'un programme13

Le document mentionne que dans la présentation de leur programme, les ONG qui le

souhaitent peuvent présenter pour chaque objectif spécifique leur « méthodologie

(identification (analyse des problèmes, des stratégies, des parties prenantes,…),

formulation, exécution, suivi, évaluation) ». Il n'y a pas davantage de spécification à

propos de l’évaluation.

2007: Fiche d’appréciation des programmes14

La fiche cite que les rapports d'évaluations commanditées par l'ONG ainsi que les

rapports d'évaluations externes sont des documents potentiellement utilisés dans

l'examen d'un programme.

L'approche méthodologique du programme est jugée sur base de différents indicateurs

dont quatre sont liés à l'évaluation:

55. « Existe-t-il une méthodologie d'évaluation permettant de tirer des

informations utiles de l'expérience accumulée et de les restituer sous forme de

recommandations? »

56. « La portée et la planification des évaluations sur les trois ans du programme

sont-elles adéquates?»

57. « Les outils de monitoring et d'évaluation mis en place permettent-ils à l'ONG

d'assurer un suivi approprié du programme? »

58. « Les rôles respectifs des différents intervenants (ONG, partenaires, groupes-

cible) dans le suivi et l'évaluation sont-ils bien définis? ».

Guide pour l'utilisation, la justification et le contrôle des subsides15(non daté)

Le texte mentionne l’évaluation dans la liste des coûts de gestion, sans autre

spécification.

Le texte précise néanmoins que les « honoraires de plus de 500,00 EUR par jour

effectif de consultance (HTVA) » seront considérés comme des dépenses non

subsidiables. Il en va de même pour les « marchés de toute nature de plus de 5.500

EUR (HTVA) n’ayant pas fait l’objet d’une procédure d’appel d’offres ». Ces deux

dispositions s’appliquent également aux frais d’évaluation.

13 Ce document a été revu en 2010. La nouvelle version mentionne que l'ONG « doit » dans la description de

son programme expliquer son système de monitoring et d'évaluation.

14 Ce document a été revu en 2010. La nouvelle version mentionne que les critères sont jugés sur la base de scores allant de insuffisant à excellent. Les indicateurs pour juger de l'approche méthodologique sont maintenant:

42. L’ONG utilise-t-elle, sur base du cadre logique, un instrument de monitoring et de rapportage basé sur des indicateurs objectivement vérifiables? Cet instrument permet-il à l’ONG de suivre correctement les résultats de son programme, y compris l’aspect genre ?

43. Des évaluations sont-elles prévues pendant et à la fin du programme? La portée et la planification des évaluations sur les trois ans du programme sont-elles adéquates?

44. Les leçons apprises du programme précédent ont-elles été intégrées?

45. L’ONG a-t-elle tenu compte des recommandations précédentes faites par la DGCD?

15 Ce guide est d’application pour les ONG ainsi que pour les « autres partenaires » (pas pour les universités ni pour les institutions scientifiques).



2008: Directive sur les rapports narratifs des programmes

La directive mentionne que « Le rapport final passe en revue l'ensemble du programme

et contient les éléments suivants: les leçons apprises par l’ONG et ses partenaires y

compris des évaluations externes », sans autre précision.

2008: Directive sur les aspects comptables et financiers des programmes

La directive ne mentionne rien sur l’évaluation.

Cadre réglementaire pour les universités

Conventions16

1997: Conventions générales entre l'Etat Belge et (1) les Universités francophones

(CIUF) ; et (2) les Universités néerlandophones (VLIR) concernant la coopération au

développement

La convention indique que c’est un comité de concertation qui est chargé du suivi et de

l'évaluation. Ce comité de concertation comprend, pour les universités francophones :

(i) un président de la Commission de Coopération universitaire au développement du

CIUF ; (ii) trois représentants désignés par le CIUF ; (iii) trois représentants de

l'AGCD ; et (iv) un représentant du ministre de la Coopération au Développement. La

présidence est réalisée par le CIUF. Les mêmes dispositions s’appliquent au VLIR, pour

les universités néerlandophones.

La convention pour les universités francophones mentionne également les points

suivants (les dispoitions sur l’évaluation sont similaires pour les universités

néerlandophones, mutatis mutandis) :

« Evaluation de la coopération universitaire indirecte :

4.10.1. Les deux parties sont convaincues de la nécessité d'un suivi et d'une évaluation

fréquents des activités dans le cadre de la coopération universitaire indirecte.

Cela aussi bien pour l'ensemble de cette coopération que pour les activités

particulières.

Celles-ci comprennent :

- les cours intemationaux et les programmes de stage universitaires;

- les projets Outre-Mer dans le cadre des initiatives propres des universités belges

francophones ;

- les programmes de coopération institutionnelle Outre-Mer.

4.10.2. L'appréciation des projets et programmes Outre-Mer, dans le cadre de la

coopération universitaire indirecte, peut se faire de différentes façons :

- par le biais d'une évaluation externe: l'AGCD organisera, sur avis du

Comite de Concertation, au moins une évaluation externe par an;

- par le biais d'une mission de suivi CIUF-AGCD: au moins une mission par an;

- par le biais d'une mission de suivi organisée par le CIUF.

16 Les conventions mentionnées ici sont les conventions relatives aux évaluations présentes dans l'échantillon

de notre méta-évaluation



4.10.3. Annuellement le CIUF est tenu de dépenser au minimum 1 % du budget global

de la coopération universitaire indirecte, dont le budget pour le secrétariat du CIUF et

les frais de formation pour les étudiants étrangers ont été déduits, à l'évaluation d'une

ou plusieurs de ses activités dans le cadre de la coopération universitaire indirecte au

développement. II revient au CIUF de décider annuellement quelles sont 1es actions a

évaluer dans I ‘ensemble de la coopération universitaire indirecte au développement.

Le but n'est pas de tout évaluer annuellement.

4.10.4. L'Administration peut procéder à tout moment, et selon ses propres modalités,

à l'évaluation des activités dans le cadre de la coopération universitaire indirecte.

Les coûts de l'Administration en vue de l'exécution des évaluations ne seront pas

imputés à charge du budget de la coopération universitaire indirecte ».

1997: Conventions spécifiques entre l'Etat belge et (1) les universités francophones

(CIUF) ; et (2) les universités néerlandophones (VLIR) relative à la coopération

universitaire institutionnelle

Le texte renvoit en termes d'évaluation au point 4.10 des conventions générales

détaillées ci-dessus.

Les documents citent en plus l’évaluation comme une ligne budgétaire à part entière.

2002: Conventions spécifiques entre l'Etat belge et (1) les universités francophones

(CIUF) (2) ; et les universités néerlandophones (VLIR) relative aux Actions-Nord

Le texte mentionne que le programme Actions-Nord précisera les évaluations qui

seront éventuellement réalisées au cours de l'année.

Cadre réglementaire pour les Institutions scientifiques17

Convention et Protocole

2008 : Convention de Coopération entre l’Etat Belge et l’Institut de médecine

tropicale

La convention mentionne les points suivants :

1. Les frais d’évaluation sont considérés comme des coûts de gestion.

2. La responsabilité des évaluations est donnée à un comité de pilotage.

3. Le comité de pilotage pour est composé de quatre représentants de l’Etat Belge

et quatre représentants de l’IMT.

4. Les activités des programmes de six ans auront au moins toutes une fois fait

une évaluation.

17 Les conventions mentionnées ici sont les conventions relatives aux évaluations présentes dans l'échantillon

de notre méta-évaluation



2007 : Protocole de Coopération concernant le financement des actions en matière de

coopération initiée par le Musée Royal de l’Afrique Centrale

Le protocole mentionne les points suivants :

1. Les frais d’évaluation sont considérés comme des coûts de gestion.

2. La responsabilité des évaluations est donnée à un comité de pilotage18.

3. Le comité de pilotage déterminera les termes de références, le contenu et le

budget de l’évaluation ainsi que la manière dont cela s’organisera.

4. Le budget pour ces évaluations représentera au moins 1% du budget total du

programme et ne dépassera pas les 5%.

Cadre réglementaire pour les « Autres partenaires » 19

Arrêtés royaux

Il existe un arrêté royal par acteur. Ceux-ci ne donnent cependant pas de détail

concernant l’évaluation. Ces arrêtés royaux font référence aux documents de référence

cités ci-dessous.

Documents de référence (2007)

Grille d'analyse - Avis de la cellule d'appréciation concernant la qualité de

programme pluriannuel (PPA)20

La grille indique que l'analyse de l'approche méthodologique est basée sur différents

critères dont certains mentionnent l'évaluation:

- « L'ASBL fait le choix d'une approche méthodologique basée sur des instruments

adéquats pour l'identification, l'instruction, l'appréciation, la formulation, l'exécution, le

suivi et l'évaluation des actions ? »

- « Les évaluations prévues suivent une méthodologie appropriée prévoyant une

rétroaction et un suivi aussi bien pour les partenaires que pour l'ASBL ? »

L'appréciation du ou des partenariats que l'ASBL créerait pour son programme est

aussi analysée selon certains critères dont un mentionne l'évaluation: « Une évaluation

externe indépendante des relations de partenariat sur base de termes de référence

élaborés conjointement est prévue? »

18 Le comité de pilotage pour le MRAC est composé de quatre représentants du Ministère de la Coopération au

développement (3 membres de la DGCD (actuellement DGD) et 1 membre de l’unité politique du Ministre de la Coopération au développement) et quatre représentant du Ministère des Politiques scientifiques (dont 2 membres du MRAC, 1 membre de la Politique Scientifique Générale et 1 membre de l’unité politique du Ministre des Politiques scientifiques).

19 Les « autres partenaires » ayant bénéficié de cofinancement de leur programme durant la période 2008-2011 sont les suivants: trois syndicats (FGTB/IFSI, CGSLB/MSI, CSC/IEOI), des pouvoirs locaux (UVCW, Province de Hainaut, VVSG), ainsi que Africalia, APEFE, ATOL, Benelux Afro Center et VVOB.

20 Ce document ressemble fort à la fiche d'appréciation des programmes d’ONG. Une des différences est qu'ici ils mettent des scores à chaque critère au lieu d’une réponse « oui-non ».



Normes financières et dispositions administratives des programmes21

Ce document donne certaines dispositions sur l’évaluation dans la section relative aux

coûts de gestion :

« IV.9. Frais d’évaluation :

IV.9.1. Définition :

Frais exposés au cours de la période d’ordonnancement couverte par le PA en vue de

l’évaluation des actions ou des programmes par des personnes relevant de

l’organisation du Nord ou de l’association partenaire du Sud (évaluation interne) ou par

des tiers (évaluation externe). Ces frais comprennent les frais de déplacement, de

séjour et les honoraires des évaluateurs externes (évaluation externe).

Il peut y avoir plusieurs types d’évaluation : études ex-ante, évaluation à mi-parcours,

évaluation ex-post, audit… ; elles peuvent être internes, externes, conjointes.

Pour rappel :

- Une évaluation est un processus récurrent d’accompagnement dans la conduite d’un

PPA, d’un PA, d’une politique. Elle est engagée en vue d’une amélioration prospective.

Elle est globale et qualitative, et le volet financier n’en constitue qu’un élément.

- Un audit est une mission ponctuelle de contrôle d’une action effectuée à la demande

d’un contrôle extérieur. Il porte prioritairement sur les aspects financiers.

Les frais d’évaluation sont considérés comme des coûts de gestion.

IV.9.2. Principes :

• Au moins une évaluation externe indépendante doit avoir lieu en fin de PPA et une

évaluation à mi-parcours externe indépendante dans le cas où le PPA est d’une durée

supérieure à 4 ans.

• Les termes de référence (TdR) des évaluations externes indépendantes sont soumis à

l’approbation préalable du Comité de concertation22.

• Des frais pourront être imputés en vue de l’évaluation d’actions d’un PA, soit par des

personnes de l’association partenaire du Sud, soit par des personnes de l’organisation

du Nord, soit par des tiers indépendants de ces deux structures.

• Les frais à prendre en compte sont les mêmes que ceux mentionnés dans les frais de

missions du point IV.8.

• Pour les évaluateurs tiers (externes) indépendants, des honoraires pourront être

21 Ce document a été modifié en 2011. Les principaux changements, qui sont d’application à partir de 2012, sont les suivants:

1. L'évaluation est maintenant considérée comme un coût opérationnel et plus comme un coût de gestion

2. Le document ne définit plus en détail le terme « évaluation »

3. La phrase: « une évaluation à mi-parcours externe indépendante dans le cas où le programme

pluriannuel est d'une durée maximale de 4 ans" est remplacée par "au terme d’une stratégie de 6 ans (2 PPA de 3 ans), toutes les composantes d’un PPA devront avoir fait l’objet d’une évaluation externe indépendante. »

4. Le document ajoute que « pour toute évaluation externe indépendante, il est constitué un Comité de Pilotage (CdP) de l’évaluation, dont DGD et l’ON feront minimale déjà parties. » (ON : Organisation au Nord)

5. Concernant les termes de références il est ajouté que « Les TdR sont soumis à la Loi des Offres publics. Si l’Organisation au Nord estime que les offres pour l’évaluation passeront les 67.500€ (HTVA), l’appel aux offres devra être publié. »

6. Les honoraires maximum pour les évaluateurs tiers (externes) montent de 500 EUR/jour à 580 EUR/jour de prestation (HTVA).

22 Le comité de concertation est composé d’un membre de la Cellule stratégique du Ministre de la Coopération au Développement, de représentants de la DGCD et de représentants de l’organisation du Nord.



attribués avec un maximum de 500,00 EUR/jour de prestation (HTVA) et feront l’objet

d’un contrat accompagnant les TdR de la mission d’évaluation. Pour les nuitées passées

dans un pays partenaire du Sud, les honoraires se cumulent aux autres frais de

mission (per diem et indemnités de logement).

• Les contrats seront conformes aux législations en cours. Ils veilleront tout

spécialement à y intégrer les aspects fiscaux liés à ce type de services.

• Les évaluations font l’objet d’une description détaillée dans le PA.

• Les synthèses (max. 5 pages) des rapports d’évaluation interne sont transmises à

l’administration dans le mois qui suit la fin de la mission. Les synthèses sont

accompagnées des TdR et des rapports de mission

• Les synthèses (max. 5 pages) des rapports d’évaluation externe sont transmises à

l’administration dans le mois qui suit le dépôt du rapport final approuvé par

l’organisation du Nord et au plus tard 3 mois après la fin de la mission d’évaluation.

Les synthèses sont accompagnées des TdR et des rapports de mission.

IV.9.3. Pièces justificatives :

• Les ordres de mission d’évaluation ou trois offres et la motivation du choix lorsque

l’évaluation est confiée à des consultants externes.

• Le contrat de consultance lorsque l’évaluation est confiée à des consultants externes.

Les rapports d’évaluation et de mission datés et signés

• Les déclarations de créance des indemnités journalières.

• Les factures originales acquittées d’hôtel.

• Les factures originales acquittées des titres de transport aérien et copie de ceux-ci.

• Les déclarations de créance de déplacement en voiture personnelle en Belgique et/ou

les tickets de train en 2ème classe.

• Les notes d’honoraires ».

Le Programme pluriannuel

Le document indique que le programme pluriannuel doit comprendre dans l'explication

de sa partie situation spécifique par pays « les modalités de mise en oeuvre, y

compris les mécanismes permanents mis en place pour la gestion journalière axée sur

les résultats, et le mode d’évaluation de ces résultats sur les différents niveaux de

bénéficiaires (directs et indirects) à moyen et long terme. »

Le document parle plutôt ici d'évaluation interne des résultats et non d'éventuelles

évaluations externes.

Le Plan d'action annuel

Le document mentionne que le plan d'action annuel doit préciser « la manière dont le

suivi, les évaluations, les synergies et les conventions de collaboration seront

concrétisés ».

Le Rapport annuel

Le document mentionne que le rapport annuel doit faire le point sur l’atteinte des

résultats, sans faire référence à l'évaluation en particulier :

« Le Rapport Annuel (RA n) du Plan d’Action annuel (PA n) présente de manière

concrète les résultats et les activités qui les ont produits durant l’année de référence n

concernée. Il fait le point de la situation par rapport aux objectifs et établit une

comparaison entre les résultats atteints et ceux qui étaient prévus au PA en se référant

aux indicateurs (IOV) préalablement élaborés tant qualitativement que

quantitativement. »



Guide pour l'utilisation, la justification et le contrôle des subsides23

Le texte précise néanmoins que les « honoraires de plus de 500,00 EUR par jour

effectif de consultance (HTVA) » seront considérés comme des dépenses non

subsidiables. Il en va de même pour les « marchés de toute nature de plus de 5.500

EUR (HTVA) n’ayant pas fait l’objet d’une procédure d’appel d’offres ». Ces deux

dispositions s’appliquent également aux frais d’évaluation.

Nouveau système de subsidiation

Le texte ne mentionne l’évaluation que dans la liste des coûts de gestion, sans autre

spécification.

23 Ce guide est d’application pour les ONG également.


Annexe 3 - Echantillon

Un échantillon de 66 rapports (de 64 ANG) a été défini au début de la phase

préparatoire par le Service de l’Évaluation spéciale (SES) en accord avec l’équipe

d’évaluation. Il inclut un rapport par ANG, pour pratiquement tous les ANG dont un

programme a été cofinancé durant la période 2008-2011.24 Il visait en particulier à

inclure l’évaluation de l’ensemble du programme triennal d’un ANG, pour autant qu’une

telle évaluation fût conduite. A défaut, un rapport s’en rapprochant le plus possible fut

sélectionné (voir critères ci-dessous).

Cet échantillon fut construit dans un premier temps sur base des rapports d’évaluation

disponibles à la DGD.25 Il fut complété et révisé par la suite en concertation entre le SES,

l’équipe d’évaluation et les membres du Comité d’accompagnement, en ce compris les

fédérations d’ONG. La sélection des évaluations s’est faite en donnant priorité aux

critères suivants, en fonction des études que chacun des ANG a fait réaliser :

- évaluations de l’ensemble du programme triennal d’un ANG cofinancé par la DGD

(ou du moins d’une partie la plus large possible du programme) ;

- évaluations couvrant la période 2008-2010 et finalisées avant fin 201126 ;

- évaluations externes ;

- évaluations du volet Sud (vs. volet Nord) ;

L’échantillon sélectionné était composé de 66 rapports des types d’acteurs suivants :

- 49 évaluations de programmes d’ONG ;

- 6 évaluations de programmes d’universités et d’institutions scientifiques27 ; et

- 11 évaluations de programmes d’« autres partenaires »28.

24 1 rapport d’évaluation a été sélectionné par ANG, à l’exception de la coopération universitaire pour lesquels

2 rapports ont été sélectionnés par acteur afin de disposer d’une masse critique : 2 pour les universités flamandes et 2 pour les universités francophones.

25 La DGD n’était en fait pas en possession de nombreux rapports, comme expliqué dans le Chapitre 3 du rapport principal.

26 Des évaluations conduites en 2012 ont été considérées lorsque celles-ci (i) permettaient d’inclure un ANG dans l’échantillon qui aurait sinon été exclu ; (ii) permettaient de couvrir une part plus substantielle du programme cofinancé ; et (iii) étaient disponsibles au moment de la sélection finale de l’échantillon (en août 2012).

27 La coopération universitaire francophone (CIUF-CUD) et néerlandophone (VLIR-UOS), l’Institut de Médecine Tropicale et le Musée Royal pour l’Afrique Centrale

28 Les « autres partenaires » ayant bénéficié de cofinancement de leur programme durant la période 2008-2011 sont les suivants: trois syndicats (FGTB/IFSI, CGSLB/MSI, CSC/IEOI), des pouvoirs locaux (UVCW, Province de Hainaut, VVSG), ainsi que Africalia, APEFE, ATOL, Benelux Afro Center et VVOB.



L’échantillon des rapports peut être considéré comme donnant une image assez juste de

l’évaluation auprès de l’ensemble des 64 ANG, dans la mesure où il contient un rapport

pour chaque ANG. Au niveau des types d’acteurs, l’interprétation des chiffres nécessite

davantage de prudence, en particulier pour les universités et institutions scientifiques (6

rapports) et pour les « autres partenaires » (11 rapports), vu le nombre de cas limité ;

celui-ci était plus élevé pour les ONG (49 rapports). Notons qu’il ne nous est pas possible

de déterminer la « représentativité statistique » de l’échantillon, étant donné que nous

ne disposons pas du nombre total d’évaluations réalisées (de nombreux acteurs ayant en

effet réalisé plusieurs évaluations dans le cadre du programme cofinancé, par exemple

pour différentes composantes).

La figure ci-dessous montre la répartition des 66 rapports entre des évaluations de volet

Nord, Sud, ou Nord et Sud ; elle montre également les différents types d’étude

d’« évaluation » qui ont pu être sélectionnés en fonction des critères retenus.

Les 18 rapports qui ne sont pas explicitement nommés d’« évaluation » sont tous des

rapports d’ONG. Ils représenent 23% du total des ANG repris dans l’échantillon et 31%

des ONG. Cela a du sens de les inclure dans l’examen car ils reflètent également la

qualité de l’information générée par les ANG pour tirer des leçons sur les résultats et la

mise en œuvre de leurs programmes cofinancés. Ils s’inscrivent également dans la

demande de la DGD au travers de son cadre réglementaire que les ONG définissent une

« méthodologie d’évaluation » de leur programme, que celles-ci y aient répondu par des

études appelées d’« évaluation » ou pas explicitement. L’analyse statistique montre que

l’inclusion de ces rapports dans l’échantillon n’a en fait pas eu d’influence sur les

constats généraux sur la qualité (cf. Chapitre 3).29

29 Il peut en effet être attendu que ces rapports répondent aux mêmes standards de qualité : description

d’une méthodologie rigoureuse, argumentation solide des constats, conclusions valides, etc.. La part relative (minoritaire) de ces autres types d’études dans le total des ANG et celui des ONG explique le faible impact sur les totaux de légères variations observées, et donc le peu d’effet sur les constats généraux. Des taux systématiquement plus élevés (même si légèrement) ont toutefois été observés dans la prise en compte des ‘critères d’évaluation’ (pertinence, efficacité, etc.), comme indiqué dans la section 3.1.2. De toute manière, malgré de légères variations, l’ensemble des constats reste valable.

Volet Nord / Sud

Nord et Sud

Type d’étude

Nord Sud13

(20%)

14

(21%)39

(59%)

20

(30%)

28

(42%)

15

(23%)

Évaluation d'activités spécifiques

Évaluation du programme triennal

Autres – p.ex:• Étude de visibilité• Étude de ciblage• Exercice de

synthèse• Capitalisation • Apprentissage

stratégique

Source: Échantillon de la méta-évaluation

Évaluation

d’accompagnement3 (5%)



La figure ci-après présente un aperçu du budget des évaluations sélectionnées dans

l’échantillon30 ; elle montre également la distribution entre les évaluations conduites par

un (ou plusieurs) bureau(x) d’étude, et celles dont l’équipe était composée d’experts

contractés à titre individuel.

Notons que la distinction entre évaluations ‘à mi-parcours’ et finale s’est souvent avérée

trompeuse dans cette étude et a donc généralement été évitée. Des évaluations dites à

mi-parcours (par rapport au cadre stratégique sur 6 ans) pouvaient en effet être une

appréciation finale d’un programme de 3 ans. A l’inverse, une évaluation dite finale du

premier programme de 3 ans était en fait à mi-parcours de la période totale de 6 ans.

30 Un détail du budget des évaluations par type d’acteur est détaillé dans la réponse à la question Q2 dans le

rapport principal (section 3.2.3).

Budget

40.000-80.000€

Équipe d’évaluation

20.000-40.000€

<10.000€

10.000-20.000€

58%42%

Bureau(x) d’étude

Évaluateurs individuels

80.000-200.000€

>200.000€

Non déterminé

39%

18%8%

14%

11%

2%8%

Source: Échantillon de la méta-évaluation



Échantillon des 66 rapports pour les 64 ANG

# Nom de l’ANG Titre du rapport Date du

rapport

1 ACTEC

Informe de evaluación: 'Impacto de los Programas de

capacitación del IRVG y eficiencia operativa y organizativa del

Centro de Formación para el Desarrollo de la Agricultura'

(Cañete, Perú)

mars-11

2 Damiaanactie Evaluation of the Damien Foundation Belgium support to the

TB Control Programme in China mars-10

3 ARCB Rotary Evaluation externe du programme Vacci-Plus (2008-2010)

dans la province de Kinshasa mars-10

4 Autre Terre Evaluation externe du volet nord du programme 2008-2010 de

l'ONG Autre Terre févr-10

5 CETRI Evaluation du programme triennal 2008-2010 du centre

tricontinental déc-10

6 Caritas Evaluation finale du volet RDC du Programme Triennal 2009-

2011 de Caritas International Belgique févr-12

7 CNCD-11.11.11

Evaluation externe du CNCD: note stratégique/programme

2008-2010. Satisfaction des membres et attentes par rapport

au programme 2011-2013

mai-10

8 COTA Evaluation de l'influence du COTA dans le secteur. Les effets

résultant de l'action du COTA durant les années 2003-2009 juin-10

9 Croix-Rouge de

Belgique

Mid-term evaluation 'Support of orphans and other vulnerable

children - Rwanda' janv-11

10 DISOP Evaluation de l'éfficacité et de la viabilité du Réseau

d'Assistance Technique et de Vulgarisation Agricole - REPARTE avr-11

11 Echos

Communication

Evaluation globale du programme DGCD 2008-2010 (volets

Nord et Sud) avr-11

12 Entraide et

fraternité Evaluation globale du programme DGCD 2008-2011 nov-10

13 Frères des

Hommes

Evaluation externe finale de l'appui au renforcement des

activités économiques des femmes micro entrepreneuses et

des ménages ruraux par l'APEF au Sud Kivu en RD Congo pour

la période 2009 -2011

oct-11

14 Handicap

International

Evaluation transversale relative à la thématique d'appui aux

associations de personnes handicapées déc-10

15 Iles de Paix Etude d'impact des animations d'Iles de paix dans

l'enseignement primaire 2010

16 ITECO Evaluation du programme triennal 2008-2010 avr-11

17 Le Monde Selon

les Femmes

Evaluation-accompagnement du programme 2008-2010 du

Monde Selon les Femmes (M/F) mars-10




rapport

18 Louvain

Développement

La maison de l'entrepreneur: rapport d'évaluation de fin de

phase janv-11

19

Steunfonds

Derde Wereld

(devenu

Geneeskunde

voor de Derde

Wereld)

Informe final de evaluación: movimiento para la salud de los

pueblos - latinoamérica (MSP-LA)

juil-10

20 Memisa

Programme triennal 2008-2010 DGCD-Memisa: volet de lutte

contra la THA à l'Equateur Nord (RDC) - rapport d'une

évaluation externe

nov-10

21 Max Havelaar Bekendheidsonderzoek Max Havelaar 2011 janv-12

22 Miel Maya

Honing

Rapport de l'évaluation du projet de sensibilisation de Miel

Maya Honing envers des groupes d'adultes organisés juil-10

23 MSF A study of stakeholders’ perception of Médecins Sans

Frontières support to Thyolo district in Malawi mai-11

24 Oxfam

Solidariteit

Assessment Report: The Contribution of the Oxfam-Solidarity

Program on the Empowerment of Farmers in South East Asia déc-10

25 Petits Pas Evaluation externe Petits Pas programme triennal 2009-2011 sept-11

26 SCI

Evaluation sur la pertinence et les effets de la formation à

l'utilisation de l'outil « Sudestan » proposée par le Service civil

international - Belgique

mars-10

27 SLCD

Evaluation du projet « dynamiser les villages de la zone IBI

pour améliorer leur accessibilité financière aux soins de santé,

à l'éducation et à une agriculture respectueuse de

l'environnement dans un système de développement rural

intégré durable »

mars-11

28 WSM (Solidarité

Mondiale)

Evaluation interne du programme 2008-2010 de WSM : leçons

apprises et recommandations déc-11

29 Solidarité

Protestante

Evaluation mi-parcours du programme triennal 2008-2010:

« appui à la lutte contre le sida, la tuberculose et la lèpre en

Afrique centrale et l'Afrique de l'Ouest » - partenaire TLM

programme Maniema

août-09

30 Solidarité

Socialiste

Evaluation externe du programme 2008-2010 de l'ONG

Solidarité Socialiste mai-10

31 SOS Faim

« Soutenir les ruraux dans leur lutte contre la pauvreté » -

volet sud du programme 2008-2010 de SOS Faim cofinancé

par la Coopération belge

mai-10

32

DMOS - COMIDE

(devenu VIA

DON BOSCO)

Coherentie, complementariteit en coördinatie binnen de

Noord- en Zuidwerking van DMOS-COMIDE déc-10




rapport

33 Vétérinaires

Sans Frontières

Rapport évaluation finale projet de promotion d'un service

vétérinaire privé de proximité au sud du Rwanda (Proxivet I) déc-11

34 11.11.11 11.11.11 programma 2008-2010 - Tussentijdse evaluatie –

finaal syntheserapport août-10

35 Artsen Zonder

Vakantie (AZV)

Evaluation externe du programme MSV 2008-2010 dans le

Sud-Kivu en République Démocratique du Congo mars-10

36 Broederlijk

Delen Evaluation of the KRC Information project nov-10

37 Bevrijde Wereld Capitalisation of the New World experiences on capacity

building déc-11

38 CARAES DGCD Programme 2008-2010 Soins de santé mentale SWV

Caraes mars-10

39 CDI Bwamanda Evaluation en cours d'exécution du projet DGCD OS5 santé

2008-2010 dans le Sud Borgou juin-10

40 Djapo Evaluatie van Djapo's vormings- en educatief aanbod juin-10

41 FOS Evaluatie van het gezondheidsprogramma van FOS déc-09

42 IPIS Evaluatie van het DGOS-programma 2008-2010 van de NGO

« IPIS » avr-10

43 Oxfam

Werelwinkels

Evaluation of the organic coffee development project of the

Kagera Cooperative Union, Republic of Tanzania, funded by

Oxfam Wereldwinkels / DGD

avr-12

44 Protos

Evaluation transversale 2010 - mise en oeuvre de la stratégie

GIRE et intégration de la problématique changement

climatique

mars-11

45 Rode Kruis

Vlaanderen

Rapport de la mission d'évaluation finale des deux projets de

la Croix-Rouge du Burundi financés par la Croix-Rouge de

Belgique Flandre 2008-2010

mars-11

46 TRIAS TRIAS 2008-2010

Evaluation report MTE (final version) avr-11

47 UCOS Doelgroeponderzoek 2010 - Eindverslag 2010

48 VIC An Evaluation of the VIC Program in the Philippines déc-10

49 Vredeseilanden Strategic Learning Assessment mai-12

50 Africalia Evaluation du programme en RDC oct-11

51 APEFE Rapport définitif de l'évaluation finale du programme santé en

République Démocratique du Congo (10-26 avril 2011) mai-11

52 ATOL Evaluation du programme d'ATOL 'Appui méthodologique aux

initiatives de développement' Programme 2008-2010 sept-10




rapport

53 AVCB-UVCW Evaluation des Programmes « Coopération internationale

communale – CIC 2008/2009-2012 » juil-12

54 BAC (Benelux

Afro Center)

Rapport d’évaluation externe du Programme Pluri-Annuel PPA

/ BAC-CNOS 2009

55 ACLVB/BIS -

CGSLB/MSI

Evaluatie van het Meerjarenprogramma 2009-2011 van de

vzw BIS-MSI sept-11

56 CIUF-CUD Evaluation à mi-parcours du programme CUI P3 2010-

2011

57 CIUF-CUD Evaluation à mi parcours des cours internationaux mars-11

58 VLIR‐UOS

Final evaluation of the IUC partner programme with the Saint

Louis University and the Benguet State University, Philippines

- Phase I and II (1999‐2008) avr-10

59 VLIR‐UOS Mid-term evaluation of the ongiong cooperation with the

Jimma University Ethiopia mai-11

60 ABVV/ISVI -

FGTB/IFSI

Externe evaluatie van het programma voor

vakbondssamenwerking 2009-2011 van ABVV/ISVI sept-11

61 ACV/IIAV -

CSC/IEOI

IEOI-CSC - Evaluation externe du programme de coopération

syndicale 2009-2011. Rapport final de synthèse sept-11

62 ITG-IMT

Mid Term Review of the Strategic Network Projects Sub-

programme of the Third ITM-DGDC Agreement Programme -

Final Synthesis Report

mai-10

63 KMMA-MRAC Project Evaluation: Fruit fly pest control in small scale

orchards in Tanzania avr-08

64 Province de

Hainaut

Programme Solidarité Santé au Sud-Kivu. Partenariat Province

du Sud-Kivu - Province du Hainaut - Rapport d'évaluation mai-12

65 VVOB Geïntegreerd rapport. Evaluatie van 11 VVOB programma's in

9 partnerlanden mai-10

66 VVSG Evaluatie Federaal Programma Gemeentelijke Internationale

Samenwerking 2008-2012 mai-12

Légende :

Gris clair : ONG

Gris intermédiaire : Universités et institutions scientifiquesGris foncé : ‘

Autres partenaires’


Annexe 4 - Questions d’évaluation

Le cadre d’analyse global de cette évaluation reposait sur un set de questions

d’évaluation (Q), définies dans les termes de référence. Ces questions ont été

structurées au démarrage de l’évaluation en accord avec le Comité d’accompagnement,

en une série de sous-questions, avec définition d’indicateurs (I) pour chacune d’elles.

Un aperçu des questions d’évaluation est présenté dans le tableau ci-dessous. Les

questions sont détaillées une par une dans la suite de cette annexe.

Tableau 1 – Aperçu des questions d’évaluation

Q1 Politique

d’évaluaton

Quelles exigences la DGD a-t-elle définies en matière de

suivi et d’évaluation des programmes cofinancés ?

Comment sont-elles suivies par les ANG ? Permettent-

elles d’avoir des informations essentielles sur les

résultats obtenus ? Comment les directives et leur

application peuvent-elles être améliorées ?

Q2 Qualité Les évaluations répondent-elles aux besoins et sont-

elles de bonne qualité ? Quelle a été l’incidence du

processus d’évaluation en matière de qualité de

l’évaluation et d’apprentissage pour les parties

prenantes ? Comment améliorer la qualité ?

Q3 Indépendance Dans quelle mesure les évaluations sont-elles

indépendantes ?

Q4 Crédibilité Quelle est la crédibilité des évaluations ?

Q5 Contenu Y a-t-il des constats, des conclusions ou des

recommandations qui reviennent toujours dans les

rapports des acteurs non gouvernementaux ? Quels

sont les principaux points positifs ou négatifs de

l’ensemble des rapports d’évaluation ?

Q6 Utilisation par

les ANG

Comment les ANG utilisent-ils les évaluations ?

Q7 Utilisation par

la DGD

Comment la DGD utilise-t-elle les évaluations ?

La première question (Q1) porte sur la politique d’évaluation de la DGD et des ANG. Les

question suivantes portent sur les rapports d’évaluation, en termes de qualité (Q2),

d’indépendance (Q3) et de crédibilité (Q4), ainsi que sur leur contenu (Q5). Les deux

dernières questions ont trait à l’utilisation des rapports d’évaluation par les ANG (Q6) et

par la DGD (Q7).



Q1 –

Politiques

Quelles exigences la DGD a-t-elle définies en matière de

suivi et d’évaluation des programmes cofinancés ? Comment

sont-elles suivies par les ANG ? Permettent-elles d’avoir des

informations essentielles sur les résultats obtenus ?

Comment les directives et leur application peuvent-elles

être améliorées ?

Champ et

justification

Cette question porte sur la politique d’évaluation des programmes

cofinancés. Elle vise tout d’abord à déterminer quelles exigences la

DGD a fixé pour l’évaluation des programmes des ANG, par exemple

au travers d’arrêtés, de directives ou d’autres types de documents de

référence. Elle étudie si ces exigences étaient claires et détaillées et si

elles ont été harmonisées pour les différents (types d’) ANG, tout en

permettant la flexibilité nécessaire.

La question porte ensuite sur le respect de ces exigences dans les

évaluations des ANG. Elle étudie également la mesure dans laquelle les

ANG ont défini une approche interne d’évaluation.

En lien avec les points abordés dans ces sous-questions, il s’agit

également de formuler des recommandations sur l’amélioration à la

fois des exigences de la DGD et de leur mise en œuvre par les ANG.

Sous-questions et indicateurs (I) Sources

Q1.1 Dans quelle mesure la DGD a-t-elle défini des exigences en

matière de suivi et d’évaluation des programmes cofinancés?

Dans quelle mesure les exigences sont-elles claires et détaillées ?

I-1.1.1 Indications sur les objectifs attendus du

suivi et de l’évaluation (p.ex.

‘accountability’ et/ou ‘learning’)

Cadre réglementaire ;

vues de la DGD

I-1.1.2 Indications sur le type d’évaluation

attendue (ex ante, à mi-parcours, in

itinere, ex post, d’impact, etc.) ou de suivi

(p.ex. monitoring, suivi financier).

I-1.1.3 Indications sur les champs thématique,

géographique et temporel. Par exemple :

- programme entier ou activités

spécifiques ?

- évaluations couvrant également

d’autres activités de l’ANG ou

d’autres acteurs (p.ex. évaluations

pays ou sectorielles) ?

- volets Nord et Sud ?

- évaluation ex post tous les X ans ?

I-1.1.4 Indications sur la méthodologie attendue

(p.ex. cadre logique, QE, indicateurs

SMART, critères d’évaluation, outils

d’évaluation, etc.)

I-1.1.5 Définition du rôle de la DGD dans

l’évaluation (p.ex. observateur, conseiller

méthodologique, participant à la prise de

décision, pas de rôle)



I-1.1.6 Indications sur les documents finaux à

envoyer à la DGD et leur utilisation

I-1.1.7 Indications sur les mesures attendues pour

favoriser l’indépendance de l’évaluation

(p.ex. évaluateurs externes)

I-1.1.8 Indications sur d’autres mesures attendues

pour favoriser la qualité et la crédibilité de

l’évaluation

I-1.1.9 Indications sur le budget à consacrer par

l’ANG à l’évaluation des programmes

cofinancés + spécifications comptables et

financières (p.ex. niveau des honoraires

journaliers, dépenses admissibles,

réaffectation entre lignes budgétaires)

Dans quelle mesure les exigences sont-elles harmonisées entre (types d’) ANG?

I-1.1.10 Points communs et différences des

exigences formelles de la DGD entre types

d’ANG voire entre ANG


vues de la DGD

Dans quelle mesure les exigences de la DGD permettent-elles une certaine flexibilité ?

I-1.1.11 Degré de détail des exigences Cf. indicateurs ci-dessus

I-1.1.12 Indications de flexibilité des exigences

(p.ex. réunions de discussions, précision

de contextes spécifiques, permission

d’innovations méthodologiques)


vues de la DGD et des ANG

I-1.1.13 Exemples de manque de flexibilité des

exigences

Vues de la DGD et des

ANG

Dans quelle mesure la DGD a-t-elle rempli le rôle qui avait été défini pour elle ?

I-1.1.14 Rôle rempli par la DGD dans les

évaluations, en fonction du rôle défini par

type d’acteur (p.ex. observateur, conseiller

méthodologique, participant à la prise de

décision, pas de rôle spécifique)

Rapports d’évaluation ;


ANG

Q1.2 Dans quelle mesure les ANG ont-ils répondu aux exigences de la

DGD?

I-1.2.1 Degré de connaissance au sein des ANG

des exigences formelles de la DGD

Vues des ANG et des

évaluateurs

I-1.2.2 Degré de confiance des ANG dans leur

interprétation des exigences (formelles et

informelles) de la DGD

Vues des ANG

I-1.2.3 Incorporation des exigences de la DGD

dans une approche interne d’évaluation

définie par les ANG

Voir Q1.3 ci-dessous

I-1.2.4 Respect des exigences de la DGD dans les

évaluations des ANG

Voir QE 2, 3 et 4, ainsi que

l’analyse de l’inventaire



Q1.3 Dans quelle mesure les ANG ont-ils défini une approche interne

pour évaluer leur programme cofinancé par la DGD?

I-1.3.1 Nombre (et types) d’ANG ayant produit un

guide d’évaluation interne (détaillant les

directives et pratiques internes en matière

d’évaluation)

Vues des ANG ; Etude des

documents des ANG

I-1.3.2 Année de la production de ce guide

I-1.3.3 Année d’entrée en vigueur de pratiques

d’évaluation internes

I-1.3.4 Indications que la définition d’une telle

approche a été motivée par les exigences

de la DGD

I-1.3.5 Indications que la définition d’une telle

approche a contribué à la qualité des

évaluations des programmes cofinancés

par la DGD

I-1.3.6 Point de ressemblance et de divergence

des approches internes des ANG et des

exigences de la DGD

Vues des ANG ; Etude des

documents des ANG

I-1.3.7 Nombre de personnes formées en

évaluation au sein de l’ANG (en 2008,

2010 et 2012)

Vues des ANG

I-1.3.8 Budget consacré au suivi et à l’évaluation

au sein de l’ANG. Part approximative des

efforts consacrés à l’évaluation (baseline,

ex ante, à mi-parcours, finale) par rapport

au suivi (monitoring)

Vues des ANG

Q1.4 Comment les exigences de la DGD et leur application par les ANG

auraient-elles pu être améliorées ?

I-1.4.1 Points forts et faiblesses des exigences de

la DGD et de leur application par les ANG

Cf. Q1.1, Q1.2, Q1.3

I-1.4.2 Suggestions d’amélioration des exigences

de la DGD et de leur application par les

ANG

Vues des parties prenantes

I-1.4.3 Bonnes pratiques identifiées auprès

d’autres bailleurs et d’acteurs

Revue documentaire

générale, Autres parties



Q2 – Qualité Les évaluations répondent-elles aux besoins et sont-elles de

bonne qualité ? Quelle a été l’incidence du processus

d’évaluation en matière de qualité de l’évaluation et

d’apprentissage pour les parties prenantes ? Comment

améliorer la qualité ?

Champ et

justification

Cette question vise à déterminer si les rapports d’évaluation

répondent correctement aux attentes de la DGD et des ANG en

matière d’évaluation. Elle concerne le volet « qualité » des rapports

d’évaluation. Couvrant la qualité dans son ensemble, elle s’interroge

sur la pertinence des évaluations, leur qualité (y compris en termes de

fiabilité des données), l’incidence du processus d’évaluation sur cette

qualité, mais aussi en termes d’effets d’apprentissage pour les

différentes parties prenantes. Enfin, la question en appelle aussi à

faire des recommandations pour améliorer la qualité.

La réponse à la question s’agencera autour des trois dimensions clés

de l’analyse de la qualité :

La pertinence des évaluations, c’est-à-dire leur capacité à bien

répondre aux besoins (de la DGD et des ANG)

La qualité de l’approche et du livrable (le rapport d’évaluation)

La qualité du processus et de l’apprentissage.


Q2.1 Les évaluations répondent-elles aux besoins de la DGD et des

ANG ?

I-2.1.1 Type de besoin exprimé dans les cahiers

des charges (rendre compte des

résultats, apprentissage, répondre à une

demande spécifique, etc.)

Cahier des charges

I-2.1.2 Description dans les cahiers des charges

du champ à couvrir (champ temporel,

géographique, thématique,

réglementaire, …) et des

outils/approches fourni pour préciser ce

champ (par exemple via des questions

d’évaluation)

Cahier des charges

I-2.1.3 Clarté et utilité du type de besoin

exprimé et du champ à couvrir dans les

cahiers des charges

Rapports d’évaluation et

vues de la DGD, des ANG

et évaluateurs

I-2.1.4 Degré auquel les évaluations répondent

à la demande (en y faisant référence de

manière explicite) et couvrent le champ

décrit dans le cahier des charges et en

utilisant les outils/approches (p.ex. des

questions d’évaluation) prévus à cet

effet


vues des ANG

I-2.1.5 L’évaluation examine la logique de

l’intervention, ainsi que ses outputs,

résultats et impacts, y compris les

interactions et conséquences visées et

non visées avec les politiques

Rapports d’évaluation



I-2.1.6 Conduite des évaluations à un moment

approprié (ex. en cours de mise en œuvre

pour ajuster l’intervention, avant un

nouveau financement, avant la mise en

place d’un nouveau programme, ex post

pour apprécier les impacts et leur

durabilité)

Cahier des Charges


Vues des parties

prenantes

I-2.1.7 Degré d’intérêt des parties prenantes pour

la conduite des évaluations

Vues des parties

prenantes

I-2.1.8 Réalisme et cadrage des demandes

formulées dans les termes de

référence (budget approprié ; profil des

experts ; approche proposée ; etc.)

Cahier des charges,

rapports d’évaluation et

vues des évaluateurs et

des ANG

Q2.2 L’approche méthodologique et le livrable sont-ils de qualité ?

Rigueur de la méthodologie appliquée par

l’évaluation

I-2.2.1 L’évaluation s’est déroulée en différentes

étapes structurées, suivant une séquence

logique (par exemple : structuration de

l’exercice – phase de collecte des données

– phase d’analyse et synthèse – phase de

dissémination).


I-2.2.2 L’évaluation a structuré l’exercice

(reconstruction d’une logique

d’intervention, définition et structuration

de questions d’évaluation) avant de

passer à la collecte des données


I-2.2.3 L’évaluation justifie le choix des sources

utilisées (documents, personnes

ressource, bases de données, etc.)


I-2.2.4 L’évaluation justifie le choix des « outils »

utilisés (guide d’interviews, focus groups,

visite de projets, etc.)


Fiabilité et « représentativité » des données

I-2.2.5 L’évaluation dispose d’une « baseline » et

de mesures de résultats pour juger des

effets de l’intervention


I-2.2.6 L’évaluation s’appuie sur un ensemble de

données suffisamment large pour

permettre d’en tirer des constats d’ordre

général


et/ou vues des

évaluateurs et

commanditaires

I-2.2.7 L’évaluation a pris soin de vérifier les

sources et la validité des données


et/ou vues des

évaluateurs et

commanditaires

I-2.2.8 Les échantillons utilisés obéissent, le cas

échéant, à des règles de sélection

rigoureuse spécifiés dans le rapport (sans

nécessairement prétendre à une

représentativité au sens statistique du

terme)


et/ou vues des

évaluateurs et

commanditaires



I-2.2.9 L’évaluation se base sur un mélange

approprié de données :

- données primaires (de première

main) et secondaires (existantes) ;

- données quantitatives et

qualitatives


et/ou vues des

évaluateurs et

commanditaires

I-2.2.10 Consultation de l’ensemble des parties

prenantes lors de la collecte d’information


et/ou vues des

évaluateurs et parties

prenantes

I-2.2.11 Les rapports d’évaluations sont explicites

sur les limites de fiabilité et d’utilité des

données utilisées


et/ou vues des

évaluateurs et parties

prenantes

Solidité de l’analyse

I-2.2.12 L’évaluation applique une fqologie

spécifique pour l’analyse


I-2.2.13 Triangulation des informations provenant

de différentes sources lors de l’analyse


I-2.2.14 Validité des constats :

- les constats découlent d’une

analyse (croisée) des données

(voir I-2.2.12)

- les constats expliquent les liens de

cause à effet entre l’intervention et

ses conséquences

- les constats sont basés sur des

comparaisons (avant/après,

bénéficiaires/ non bénéficiaires,

avec/sans)

- les hypothèses sous-jacentes sont

expliquées

- les constats sont présentés de

façon logique et justifiée (pas

d’erreurs de raisonnement,

d’inférences injustifiées, etc.)

- les sources utilisées sont

référencées


Validité et utilité des conclusions

I-2.2.15 Les conclusions sont valides:

- sont basées sur les constats

- sont plus que des constats généralisés

- évitent les biais de jugement


et/ou vues des parties

prenantes

I-2.2.16 Les conclusions sont utiles (couverture

des points clés, intérêt stratégique et

opérationnel, valeur ajoutée, présentation

de manière structurée / hiérarchique,

etc.)


et/ou vues des parties

prenantes



Validité et utilité des recommandations

I-2.2.17 Les recommandations découlent d’une ou

plusieurs conclusions (ou ont une autre

base factuelle claire)

Rapports d’évaluation et/ou

vues des parties prenantes

I-2.2.18 Utilité des recommandations :

- sont pratiques et opérationnelles et

ont une valeur ajoutée

- sont présentées de manière

hiérarchique

- ont été testées

- évitent les biais de jugement


vues des parties prenantes

Clarté de la présentation

I-2.2.19 Présentation claire et succincte des

rapports d’évaluation structuration des

rapports autour de sections dédiées aux

(i) constats), (ii) conclusions, (iii) et

recommandations et résumé exécutif


I-2.2.20 Clarté de la rédaction (claire et facile à

lire) et de l’argumentation utilisée (lien

recommandations – conclusions –

constats – analyse – données utilisées –

sources)


I-2.2.21 Mise en page et graphismes attrayants Rapports d’évaluation

Q2.3 Le processus d’évaluation vise-t-il l’amélioration de la qualité et

l’apprentissage ?

Processus de qualité et amélioration de la qualité

I-2.3.1 L’équipe a soumis l’évaluation à un

processus de qualité avec vérification de

la qualité des livrables par un expert

externe


vues des évaluateurs

I-2.3.2 Le commanditaire a effectué une

vérification de la qualité des livrables

Rapports d’évaluation et vues

des ANG

I-2.3.3 L’équipe d’évaluation et le commanditaire

estiment que ces processus de qualité ont

contribué à améliorer/assurer la qualité

(tout en évitant de ralentir ou d’alourdir le

processus)

Vues des évaluateurs et des

vues des ANG

Calendrier

I-2.3.4 Existence et respect d’un calendrier clair

et réaliste pour le déroulement de

l’évaluation et la soumission des livrables


vues des évaluateurs et des

ANG

Apprentissage

I-2.3.5 Pratiques dans le processus d’évaluation

visant l’apprentissage et leur contribution

à l’apprentissage

Voir Q6



I-2.3.7 Qualité de l’interaction entre les

différentes parties prenantes tout au long

du processus d’évaluation


I-2.3.8 Types de recommandations faites par les

parties prenantes en matière

d’apprentissage


Q3 –

Indépen-

dance

Dans quelle mesure les évaluations sont-elles indépendantes ?

Champ et

justification

L’indépendance de l’évaluation et la transparence du jugement donné dans

les rapports d’évaluation peuvent avoir une influence sur la qualité et la

crédibilité des évaluations. Cette question est donc étroitement liée aux

questions 2 et 4. Elle vise à examiner l’indépendance sous un triple angle :

(i) le caractère indépendant du lancement de l’évaluation et de la sélection

de l’équipe d’évaluateurs ; (ii) le déroulement du processus d’évaluation

sans pression ni entrave ; (iii) et finalement l’autonomie des évaluateurs

dans la rédaction du rapport final.


Q3.1 Les évaluations ont-elles été lancées en favorisant

l’indépendance ?

I-3.1.1 L’appel d’offre et le cahier des charges

contiennent des provisions pour garantir

l’indépendance en matière de sélection

d’équipe et de déroulement de l’évaluation

Cahiers des charges et vues

des parties prenantes

I-3.1.2 Le commanditaire des évaluations n’a pas

de lien fonctionnel ou hiérarchique avec

les parties prenantes du projet à évaluer

Termes de référence et/ou

vues des ANG, de la DGD et


I-3.1.3 Aucun engagement professionnel ou

personnel passé, présent ou à venir n’est

venu influencer le jugement du

commanditaire




I-3.1.4 Les évaluateurs n’ont pas de lien

fonctionnel ou hiérarchique avec les

parties prenantes du projet à évaluer




I-3.1.5 Aucun engagement professionnel ou

personnel passé, présent ou à venir ne

vient influencer le jugement des

évaluateurs

Vues des ANG et des

évaluateurs

Q3.2 Le processus d’évaluation s’est-il déroulé de façon indépendante ?

I-3.2.1 Liberté des commanditaires par rapport à

toute influence politique et à toute

pression organisationnelle

Vues de la DGD, des ANG et

des évaluateurs

I-3.2.2 Liberté des évaluateurs par rapport à

toute influence politique et à toute

pression organisationnelle

Vues de la DGD, des ANG et

des évaluateurs

I-3.2.3 Accès et utilisation libre de l’information :

possibilité d’enquêter auprès de tout

informateur potentiel sans entrave

Rapports d’évaluation et vues

des évaluateurs



I-3.2.4 Absence de distorsion d'information de la

part des informateurs


I-3.2.5 Absence de pressions sur l’équipe par les

parties prenantes pour orienter les

conclusions ou les recommandations (les

commentaires ne concernent que les

erreurs factuelles ou de raisonnement)

Vues des évaluateurs

I-3.2.6 Respect d’un code éthique de bonne

conduite de la part des évaluateurs :

neutralité, extériorité, impartialité


Q3.3 Le rapport final présente-t-il un jugement impartial ? A-t-il été

diffusé publiquement ?

I-3.3.1 Les rapports ne présentent pas de

constats, conclusions ou recommandations

qui peuvent être qualifiés de biaisés ou

subjectifs



I-3.3.3 Les rapports finaux ont été rendus publics Vues des parties prenantes

Q4 –

Crédibilité

Quelle est la crédibilité des évaluations ?

Champ et

justification

La crédibilité des évaluations dépend d’abord de leur qualité : plus une

évaluation est de bonne qualité, plus elle est crédible. Le caractère

indépendant des évaluations va également garantir la crédibilité des

évaluations auprès des audiences extérieures. Cette question est donc

étroitement liée aux deux questions précédentes. Elle vise à examiner la

crédibilité à différents niveaux et concerne la crédibilité : (i) des acteurs,

(ii) de la méthodologie, (iii) du processus, (iv) des livrables et (v) de la

communication des résultats finaux. La réponse à cette question reposera

donc en grande partie sur les constats émergeant des questions 2 et 3.


Q4.1 Les acteurs sont-ils crédibles ?

I-4.1.1 Indépendance et compétences du

commanditaire

Voir Q3 et vues des parties

prenantes

I-4.1.2 Indépendance et compétences de l’équipe

d’évaluation

Voir Q3, qualifications des

évaluateurs et vues des

parties prenantes

I-4.1.2 Fiabilité des personnes ressource

consultées


4.2 Les évaluations reposent-elles sur des méthodologies d’évaluation

crédibles ?

I-4.2.1 Couverture complète du champ de

l’évaluation

Voir Q2.1

I-4.2.1 Les rapports d’évaluation décrivent les

méthodes utilisées et sont transparents sur

leurs limites

Voir Q2.2



I-4.2.3 L’approche méthodologique (y compris en

termes de collecte de données) répond aux

standards généralement reconnus dans le

métier

Voir Q2.2 et vues des

parties prenantes et du

méta-évaluateur

Q4.3 Le processus d’évaluation a-t-il contribué à la crédibilité de

l’évaluation ?

I-4.3.1 Le commanditaire à consulté les parties

prenantes pertinentes avant le lancement

de l’évaluation (par exemple au moment de

la rédaction du cahier des charges, pour les

informer du lancement, etc.)

Vues des ANG et des autres

parties prenantes

I-4.3.2 Suivi approprié des évaluations (i.e comités

de pilotage pour discuter des livrables

intermédiaires et finaux ; processus de

suivi qualité de l’évaluation par l’équipe y

compris l’utilisation d’un « contrôleur

qualité » ; etc.)

Rapports d’évaluation et /ou


parties prenantes

I-4.3.3 Les moyens consacrés aux évaluations en

termes de temps et ressources sont

appropriés

Voir Q2.1 et Q2.2

I-4.3.4 Caractère participatif des évaluations et

appropriation des résultats des évaluations

par les parties prenantes (les évaluations

est basée sur la consultation des parties

prenantes pertinentes)

Rapports d’évaluation et /ou


parties prenantes

Q4.4 Le livrable (rapport final) est-il crédible ?

I-4.4.1 La qualité des données utilisées et de

l’analyse contribuent à la crédibilité


parties prenantes

I-4.4.2 Les parties prenantes reconnaissent le bien

fondé des conclusions et l’utilité des

recommandations


I-4.4.3 La présentation des rapports (clarté de la

rédaction, mise en page, références aux

sources, présence d’annexes pertinentes,

etc.) contribue à leur crédibilité


parties prenantes

I-4.4.4 Les rapports sont transparents sur leur

approche et leurs limites

Voir Q2.2

Q4.5 La stratégie de communication des résultats de l’évaluation

contribue-t-elle à sa crédibilité ?

I-4.5.1 Le cahier des charges prévoyait une

stratégie de communication des résultats

de l’évaluation

Cahier des charges

I-4.5.2 Des activités de communication

transparentes des résultats de l’évaluation

ont été entreprises et les différentes parties

prenantes y ont pris part




Q5 –

Contenu

Y a-t-il des constats, des conclusions ou des

recommandations qui reviennent fréquemment dans les

rapports des acteurs non gouvernementaux ? Quels sont les

principaux points positifs ou négatifs de l’ensemble des

rapports d’évaluation ?

Champ et

justification

Cette question d’évaluation porte sur le contenu des évaluations. Elle

vise à présenter les principaux constats, conclusions et

recommandations qui ressortent des différents rapports d’évaluation

en vue d’analyser les principales forces et faiblesses du travail des

ANG. L’analyse présentée dans cette question se fondera sur la grille

de contenu récurrent qui dresse un aperçu des constats, conclusions

et recommandations récurrents. Cette question suivra étroitement la

structure adoptée dans la grille de contenu récurrent. Elle sera donc

articulée autour des cinq critères d’évaluation du CAD de l’OCDE (la

pertinence, l’efficacité, l’impact, la durabilité et l’efficience), et de la

coordination et des thèmes transversaux.


Q5.1 Y a-t-il des constats, conclusions et recommandations

récurrents liés à la pertinence des programmes ?

I-5.1.1 Constats/conclusions/recommandations

récurrents liés à l’analyse des besoins


vues des parties

prenantes


récurrents liés à la stratégie du

programme


vues des parties

prenantes

Q5.2 Y a-t-il des constats,f conclusions et recommandations

récurrents liés à l’efficacité et à l’impact des programmes ?


récurrents liés à la clarté des objectifs

fixés et à leur ciblage


vues des parties

prenantes


récurrents liés aux questions de mesure

des effets des programmes


vues des parties

prenantes


récurrents liés au degré d’atteinte des

objectifs


vues des parties

prenantes


récurrents liés aux facteurs ayant favorisé

l’atteinte des objectifs


vues des parties

prenantes


récurrents liés aux facteurs ayant entravé

l’atteinte des objectifs


vues des parties

prenantes

Q5.3 Y a-t-il des Constats, conclusions et recommandations

récurrents liés à la durabilité des programmes ?


récurrents liés à la durabilité des effets du

programme après leur clôture


vues des parties

prenantes




vues des parties


MÉTA-ÉVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX 13

la durabilité des effets du programme

après leur clôture

prenantes



la durabilité des effets du programme

après leur clôture


vues des parties

prenantes


récurrents liés à l’efficience des programmes ?


récurrents liés aux délais de mise en

œuvre encourus par les programmes


vues des parties

prenantes


récurrents liés aux coûts de mise en

œuvre des programmes


vues des parties

prenantes


récurrents liés au suivi effectué pendant la

mise en œuvre des programmes


vues des parties

prenantes



l’efficience des programmes


vues des parties

prenantes



l’efficience des programmes


vues des parties

prenantes


récurrents liés à la coordination ?


récurrents liés à la coordination des

acteurs


vues des parties

prenantes


récurrents liés aux synergies entre

programmes


vues des parties

prenantes


récurrents liés à la prise en compte des thèmes transversaux ?


récurrents liés au degré de prise en

compte des thèmes transversaux (i.e

genre, environnement, etc.) dans les

programmes


vues des parties

prenantes


récurrents liés à la pertinence des thèmes

transversaux retenus dans les

programmes


vues des parties

prenantes


récurrents liés aux facteurs ayant

favorisé/entravé la prise en compte des

thèmes transversaux


vues des parties

prenantes



Q6 –

Utilisation

par les ANG

Comment les ANG utilisent-ils les évaluations ?

Champ et

justification

Cette question porte sur l’utilisation qui est faite des rapports

d’évaluation par les différents types d’ANG. Les évaluations peuvent

être utilisées par les ANG pour trois types de finalités principalement :

accumuler des connaissances et transférer les leçons apprises ; rendre

des comptes ; et aider à la décision. Ces trois modes d’utilisation ne

sont pas exclusifs l’un de l’autre. Cette question visera à examiner

chacun de ces trois modes d’utilisation. Etant donné que la tradition

en matière d’évaluation varie fortement d’un acteur à un autre, elle

prêtera attention à analyser les types d’utilisation en fonction du type

d’ANG.


Q6.1 Les évaluations sont-elles un outil d’accumulation de

connaissances en vue de transférer les leçons apprises ?

I-6.1.1 Identification et diffusion des bonnes

pratiques et des leçons apprises durant

l’exercice d’évaluation au travers

d’ateliers participatifs/focus groups/panels

de discussion

Rapports d’évaluation,

documents des ANG

et/ou vues des

évaluateurs, des ANG et

parties prenantes

I-6.1.2 Identification des facteurs de contexte qui

conditionnent ou limitent le transfert des

leçons apprises

I-6.1.3 Identification et réutilisation par les

évaluateurs des leçons apprises des

précédentes évaluations qui ont été

correctement transférées

I-6.1.4 Mise en valeur des bonnes pratiques et

des leçons apprises dans les rapports

d’évaluation (section spécifique, résumé,

etc.)


I-6.1.5 Présentation de l’évaluation après la

remise du rapport final en vue de

transférer les connaissances

Rapports d’évaluation,

documents des ANG

et/ou vues des

évaluateurs, des ANG et

parties prenantes I-6.1.6 Utilisation récurrente des évaluations en

tant qu’outil d’accumulation des

connaissances par les ANG

I-6.1.7 Formation des parties prenantes sur

l’évaluation dans le cadre du processus

d’évaluation

Q6.2 Les évaluations permettent-elles de rendre des comptes ?

I-6.2.1 Les évaluations émettent un jugement

d’ensemble sur le programme évalué


I-6.2.2 Les jugements émis dans les évaluations

sont indépendants et transparents

Voir Q3



I-6.2.3 Les évaluations traitent les points

d’intérêt de la DGD

Vues de la DGD

I-6.2.4 Type de valeur ajoutée des évaluations

par rapport au rapportage narratif et

financier

Documents des ANG,

vues des ANG et de la

DGD

I-6.2.5 Utilisation récurrente des évaluations pour

rendre des compte par les ANG

Q6.3 Les évaluations sont-elles un outil d’aide à la décision ?

I-6.3.1

Mise en place et suivi d’un plan d’actions

par les ANG pour utiliser les résultats de

l’évaluation (i.e document de

positionnement sur les recommandations

de l’évaluation)

Documents des ANG,

vues des ANG

I-6.3.2

Utilisation des évaluations (en particulier

des recommandations et des leçons

apprises) par les ANG pour corriger la

mise en œuvre des projets / modifier les

programmes

Documents des ANG,

vues des ANG

I-6.3.3

Utilisation des évaluations (en particulier

des recommandations et des leçons

apprises) par les ANG comme document

de base lors de l’introduction d’un

nouveau programme

Vues des ANG et de la

DGD

I-6.3.4 Utilisation récurrente des évaluations en

tant qu’outil d’aide à la décision par les

ANG

Documents des ANG,

vues des ANG


16 MÉTA-ÉVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX

Q7 –

Utilisation

par la DGD

Comment la DGD utilise-t-elle les évaluations ?

Champ et

justification Cette question porte sur l’utilisation qui est faite des rapports

d’évaluation par les différents départements de l’(ex) D3 de la DGD

responsables du cofinancement des acteurs non gouvernementaux.

Elle vise tout d’abord à examiner la mesure dans laquelle la DGD a

utilisé les évaluations pour deux types de finalité :

(i) le suivi quotidien de la qualité du travail des ANG ; et

(i) l’apport de corrections à un programme ou l’appréciation d’un

nouveau programme dans le cadre du dialogue politique entre les ANG

et la DGD.

Elle vise ensuite à identifier des pistes d’amélioration pour l’utilisation

des évaluations.


Q7.1 La DGD utilise-t-elle les évaluations pour suivre au quotidien la

qualité du travail des ANG ?

I-7.1.1 Flux d’informations approprié entre les

ANG et la DGD (accès aisé de la DGD aux

termes de référence et aux rapports

d’évaluation, contacts réguliers entre les

ANG et la DGD)


ANG

I-7.1.2 Mise en place d’actions de suivi par la

DGD pour s’assurer de la prise en compte

des leçons apprises des évaluations (e-

mailing, suivi sur le terrain, suivi des

documents de positionnement sur les

recommandations de l’évaluation, etc.)


ANG, Etude documentaire

générale


dans le suivi au quotidien du travail des

ANG par rapport au rapportage narratif et

financier

Vues de la DGD

Q7.2 La DGD utilise-t-elle les évaluations dans le cadre du dialogue

politique entre les ANG et la DGD ?

I-7.2.1

Utilisation des évaluations lors du

dialogue politique comme document de

référence pour apporter des modifications

à un programme


ANG

I-7.2.2

Utilisation des évaluations lors du

dialogue politique comme document de

référence pour introduire un nouveau

programme


ANG


dans le cadre du dialogue politique par

rapport au rapportage narratif et financier

Vues de la DGD



Q7.3 Comment améliorer l’utilisation des évaluations par la DGD ?

I-7.3.1

Points forts et faiblesses de l’organisation

de l’(ex) D3 de la DGD dans le but de

maximiser l’utilisation des évaluations

(circulation de l’information, mémoire

institutionnelle, etc.)

Vues de la DGD

I-7.3.2 Suggestions d’amélioration sur l’utilisation

des évaluations par la DGD

Vues de la DGD

META-EVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX - ANNEXES 1

Annexe 5 - Matrice d’évaluation (et résultats)

La matrice d’évaluation a été élaborée pour permettre d’apprécier les évaluations sur

base de critères et d’indicateurs communs et harmonisés.

Elle a été conçue spécifiquement pour cette méta-évaluation, mais elle s’inspire d’autres

sources, principalement la grille d’appréciation de la qualité de l’évaluation utilisée par

l’Unité d’évaluation des relations externes de l’Union européenne31 et, dans une moindre

mesure, d’outils utilisés pour une méta-évaluation publiée en 2011 par le Ministère des

affaires étrangères des Pays-Bas32.

La matrice est constituée de deux volets principaux. Elle comprend au total 12 critères

de qualité comprenant 88 indicateurs spécifiques :

Le volet « qualité des rapports d’évaluation » permet d’apprécier les rapports en

tant que tels, en utilisant ceux-ci pour seule source (ainsi que les TdR). Les sept

critères utilisés ont trait à la qualité des termes de référence, de la méthodologie,

des données, de l’analyse, des conclusions, des recommandations et de la clarté de

lecture générale.

Le volet « qualité du processus, indépendance et crédibilité » des évaluations

se base sur des informations qui vont au-delà des seuls rapports d’évaluation et

inclut en particulier d’autres documents transmis par les ANG. Il se base sur cinq

critères : outre le processus, l’indépendance et la crédibilité, ce volet examine

également les pratiques d’évaluation des ANG et leur utilisation des évaluations

produites.

Une grande attention a été donnée à l’harmonisation des appréciations pour l’ensemble

des rapports et des pratiques d’évaluation. Des valeurs de jugement harmonisées ont

ainsi été définies au niveau de chaque critère de jugement. Le chef d’équipe a par

ailleurs cadré étroitement l’étude des rapports et des documents par les membres de

l’équipe d’évaluation. Ceci inclut entre autres que les experts ont fait la plupart du travail

d’analyse des rapports dans la même pièce ou physiquement proches, afin de favoriser

le partage d’expérience et le feedback immédiats. Ces dispositions ont montré leur

utilité.

Cette matrice a été développée au démarrage de l’évaluation. Elle a été discutée avec le

Comité d’accompagnement et révisée sur base des commentaires reçus. Elle a ensuite

fait l’objet d’un test sur la base de 6 rapports et pratiques d’ANG et d’une nouvelle

31 Voir : http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_qal_flr_en.htm

32 Ministerie van Buitenlandse Zaken (in Nederland). IOB Evaluatie. Methodische kwaliteit van Programma-evaluaties in het Medefinancieringsstelsel-1 2007-2010, December 2011.

http://ec.europa.eu/europeaid/evaluation/methodology/guidelines/gui_qal_flr_en.htm

Annexe 5 - Matrice d’évaluation (et résultats)


discussion avec le Comité d’accompagnement. Elle a alors été finalisée puis approuvée,

avant d’être utilisée pour l’ensemble des rapports et pratiques d’ANG.

La matrice d’évaluation est présentée dans les pages qui suivent, en même temps que

les résultats agrégés. Ces résultats sont donnés en quatre matrices distinctes :

Matrice avec les résultats agrégés du total des 66 rapports ;

Matrice avec les résultats agrégés des 49 rapports pour les ONG ;

Matrice avec les résultats agrégés des 6 rapports pour les universités et

institutions scientifiques ; et

Matrice avec les résultats agrégés pour les 11 rapports des ‘autres partenaires’.

Les nuances de gris permettent de visualiser directement si les résultats obtenus sont

plutôt positifs ou négatifs : au plus le pourcentage de réponses est élevé pour un score

(de 1 à 4), au plus le gris sera foncé.


Annexe 6 - Fiche Rapport (et résultats)

L’examen des 66 rapports de l’échantillon a débouché sur une Fiche Rapport pour chacun

d’eux. Celle-ci vise à donner une appréciation synthétique de la qualité du rapport, sur

base des différentes sources d’information disponabiles : outre l’étude détaillée du

rapport au travers de la matrice d’évaluation, elle tient compte également des

informations fournies lors d’entretiens éventuels et dans l’enquête auprès de l’ANG et

celle auprès de l’équipe d’évaluation du programme en question.

Les fiches rapports se basent ainsi sur 19 indicateurs synthétiques, dont 3 sur la réponse

à la demande, 14 sur des éléments de qualité (méthodologie, fiabilité, analyse, etc.) et 1

donnant l’appréciation générale de la qualité du rapport. Un indicateur donne également

une appréciation des ‘garanties d’indépendance’ du rapport.33

La Fiche Rapport est présentée dans les pages qui suivent, en même temps que les

résultats agrégés. 34 Ces résultats sont donnés en quatre fiches distinctes :

Fiche Rapport avec les résultats agrégés du total des 66 rapports ;

Fiche Rapport avec les résultats agrégés des 49 rapports pour les ONG ;

Fiche Rapport avec les résultats agrégés des 6 rapports pour les universités et

institutions scientifiques ; et

Fiche Rapport avec les résultats agrégés pour les 11 rapports des ‘autres

partenaires’.




33 L’indicateur ‘garanties d’indépendance’ est basé sur une série d’éléments tels que l’exigence exprimée dans

les TdR de l’indépendance des experts, l’exigence de fournir une déclaration d’absence de conflit d’intérêt, l’impartialité du choix de l’échantillon, l’accès des experts aux informations, l’absence de pression (information demandée aux évaluateurs au travers de l’enquête et lors d’entretiens), etc.

34 Les résultats individuels ne sont pas publiés, comme décidé avec le Comité d’accompagnement.



Fiches Rapports - Résultats totaux

2. Appréciation de la qualité du rapport d'évaluation

Degré d'appréciation : 1: très faible ; 2: faible ; 3: bon ; 4: excellent

1 2 3 4 TOT 1 2 3 4 TOT Scores

1 +2

Scores

3 + 4

Total Scores

1 +2

Scores

3 + 4

Total

0 9 35 21 65 0% 14% 54% 32% 100% 9 56 65 14% 86% 100%

0 3 30 31 64 0% 5% 47% 48% 100% 3 61 64 5% 95% 100%

18 20 16 11 65 28% 31% 25% 17% 100% 38 27 65 58% 42% 100%

2.2 Qualité de l'approche méthodologique et du rapport d'évaluation

Degré d'appréciation : 1: très faible ; 2: faible ; 3: bon ; 4: excellent 1 2 3 4 TOT 1 2 3 4 TOT

7 12 26 20 65 11% 18% 40% 31% 100% 19 46 65 29% 71% 100%

14 17 20 14 65 22% 26% 31% 22% 100% 31 34 65 48% 52% 100%

4 19 35 8 66 6% 29% 53% 12% 100% 23 43 66 35% 65% 100%

25 29 10 1 65 38% 45% 15% 2% 100% 54 11 65 83% 17% 100%

1 13 33 19 66 2% 20% 50% 29% 100% 14 52 66 21% 79% 100%

1 13 38 14 66 2% 20% 58% 21% 100% 14 52 66 21% 79% 100%

26 22 13 5 66 39% 33% 20% 8% 100% 48 18 66 73% 27% 100%

10 18 31 7 66 15% 27% 47% 11% 100% 28 38 66 42% 58% 100%

6 18 39 3 66 9% 27% 59% 5% 100% 24 42 66 36% 64% 100%

Validité des

conclusions8 18 33 7 66 12% 27% 50% 11% 100% 26 40 66 39% 61% 100%

Validité et caractère

opérationnel des

recommandations

9 15 39 3 66 14% 23% 59% 5% 100% 24 42 66 36% 64% 100%

6 17 35 8 66 9% 26% 53% 12% 100% 23 43 66 35% 65% 100%

2 18 23 23 66 3% 27% 35% 35% 100% 20 46 66 30% 70% 100%

3 22 22 19 66 5% 33% 33% 29% 100% 25 41 66 38% 62% 100%

2 14 42 8 66 3% 21% 64% 12% 100% 16 50 66 24% 76% 100%

2.4 Appréciation générale 12 20 34 0 66 18% 30% 52% 0% 100% 32 34 66 48% 52% 100%

Le rapport témoigne de la triangulation des différentes données collectées

Les constats sont solides (élaborés logiquement sur la base de données rendues explicites

dans le rapport )

2.1 Compréhension des Termes de Référence et couverture du champ de l'évaluation

Réponse à la

demande et

couverture du champ

Le rapport reprend la demande formulée dans le cahier des charges (objectifs, questions

d'évaluation, etc. ) et y répond

Le rapport présente une couverture complète du champ de l'évaluation (champs

temporel, géographique et thématique )

Le rapport témoigne d'une revue critique de la conception du programme

(questionnement du cadre logique, des liens de cause à effet attendus et des indicateurs

Rigueur de la

méthodologie

Le rapport indique que l'évaluation s'est déroulée suivant un processus phasé (par

exemple: structuration, étude documentaire, visite de terrain, analyse et synthèse)

Le rapport présente des questions d'évaluation précises et adaptées au programme

Le rapport présente et justifie la méthodologie utilisée (outils de collecte et d'analyse,

sources d'information, limites de la méthodologie )

2.3 Garanties d'indépendance de l'évaluation (dans la procédure d'appel d'offres, l'accès au terrain et aux

sources d'information, la rédaction du rapport final )

Les conclusions sont valides (étayées par des constats ) et répondent à la demande du

cahier des charges

Les recommandations dérivent des conclusions et sont opérationnelles (précisant les

actions à entreprendre, les acteurs responsables, le degré d'urgence, etc. )

Clarté de la

présentation

Le rapport est organisé de manière claire et logique en différentes parties (par exemple:

méthodologie, constats, conclusions, recommandations ) et comporte un résumé

Le texte du rapport est aisé à lire de par sa clarté et sa concision

La présentation du rapport est attractive (mise en page et longueur, tableaux, graphiques

et autres illustrations )

Fiabilité et

représentativité des

données collectées

Parmi les données collectées, certaines proviennent d'un système de suivi autorisant les

comparaisons (par exemple: existence d'indicateurs avec baseline et niveaux cibles )

Les données collectées sont issues de sources d'information multiples et sont

suffisamment larges pour tirer des constats généraux

Les données collectées sont équilibrées (données primaires et secondaires, qualitatives

et quantitatives )

Le rapport précise les limites de fiabilité des données collectées

Solidité de l'analyse



Fiches Rapports - Résultats pour les ONG




1 +2

Scores

3 + 4

Total Scores

1 +2

Scores

3 + 4

Total

0 8 28 12 48 0% 17% 58% 25% 100% 8 40 48 17% 83% 100%

0 3 26 18 47 0% 6% 55% 38% 100% 3 44 47 6% 94% 100%

15 14 9 10 48 31% 29% 19% 21% 100% 29 19 48 60% 40% 100%



5 9 21 13 48 10% 19% 44% 27% 100% 14 34 48 29% 71% 100%

11 14 15 8 48 23% 29% 31% 17% 100% 25 23 48 52% 48% 100%

2 16 26 5 49 4% 33% 53% 10% 100% 18 31 49 37% 63% 100%

17 22 8 1 48 35% 46% 17% 2% 100% 39 9 48 81% 19% 100%

1 10 24 14 49 2% 20% 49% 29% 100% 11 38 49 22% 78% 100%

1 8 30 10 49 2% 16% 61% 20% 100% 9 40 49 18% 82% 100%

21 16 7 5 49 43% 33% 14% 10% 100% 37 12 49 76% 24% 100%

8 11 24 6 49 16% 22% 49% 12% 100% 19 30 49 39% 61% 100%

4 16 27 2 49 8% 33% 55% 4% 100% 20 29 49 41% 59% 100%

Validité des

conclusions5 16 25 3 49 10% 33% 51% 6% 100% 21 28 49 43% 57% 100%


opérationnel des

recommandations

7 12 29 1 49 14% 24% 59% 2% 100% 19 30 49 39% 61% 100%

5 13 28 3 49 10% 27% 57% 6% 100% 18 31 49 37% 63% 100%

0 14 20 15 49 0% 29% 41% 31% 100% 14 35 49 29% 71% 100%

1 19 17 12 49 2% 39% 35% 24% 100% 20 29 49 41% 59% 100%

2 10 30 7 49 4% 20% 61% 14% 100% 12 37 49 24% 76% 100%



Réponse à la

demande et

couverture du champ







Rigueur de la

méthodologie






Fiabilité et








et quantitatives )







dans le rapport )


cahier des charges



Clarté de la

présentation








Fiches Rapports - Résultats pour les Universités et Institutions Scientifiques




1 +2

Scores

3 + 4

Total Scores

1 +2

Scores

3 + 4

Total

0 0 2 4 6 0% 0% 33% 67% 100% 0 6 6 0% 100% 100%

0 0 2 4 6 0% 0% 33% 67% 100% 0 6 6 0% 100% 100%

2 1 3 0 6 33% 17% 50% 0% 100% 3 3 6 50% 50% 100%



0 3 3 0 6 0% 50% 50% 0% 100% 3 3 6 50% 50% 100%

0 1 3 2 6 0% 17% 50% 33% 100% 1 5 6 17% 83% 100%

0 2 4 0 6 0% 33% 67% 0% 100% 2 4 6 33% 67% 100%

1 5 0 0 6 17% 83% 0% 0% 100% 6 0 6 100% 0% 100%

0 1 3 2 6 0% 17% 50% 33% 100% 1 5 6 17% 83% 100%

0 1 4 1 6 0% 17% 67% 17% 100% 1 5 6 17% 83% 100%

1 4 1 0 6 17% 67% 17% 0% 100% 5 1 6 83% 17% 100%

0 2 3 1 6 0% 33% 50% 17% 100% 2 4 6 33% 67% 100%

0 0 5 1 6 0% 0% 83% 17% 100% 0 6 6 0% 100% 100%

Validité des

conclusions0 0 4 2 6 0% 0% 67% 33% 100% 0 6 6 0% 100% 100%


opérationnel des

recommandations

0 1 3 2 6 0% 17% 50% 33% 100% 1 5 6 17% 83% 100%

0 0 3 3 6 0% 0% 50% 50% 100% 0 6 6 0% 100% 100%

0 1 1 4 6 0% 17% 17% 67% 100% 1 5 6 17% 83% 100%

0 1 2 3 6 0% 17% 33% 50% 100% 1 5 6 17% 83% 100%

0 0 5 1 6 0% 0% 83% 17% 100% 0 6 6 0% 100% 100%



Réponse à la

demande et

couverture du champ







Rigueur de la

méthodologie






Fiabilité et








et quantitatives )







dans le rapport )


cahier des charges



Clarté de la

présentation








Fiches Rapports - Résultats pour les ‘Autres partenaires’




1 +2

Scores

3 + 4

Total Scores

1 +2

Scores

3 + 4

Total

0 1 5 5 11 0% 9% 45% 45% 100% 1 10 11 9% 91% 100%

0 0 2 9 11 0% 0% 18% 82% 100% 0 11 11 0% 100% 100%

1 5 4 1 11 9% 45% 36% 9% 100% 6 5 11 55% 45% 100%



2 0 2 7 11 18% 0% 18% 64% 100% 2 9 11 18% 82% 100%

3 2 2 4 11 27% 18% 18% 36% 100% 5 6 11 45% 55% 100%

2 1 5 3 11 18% 9% 45% 27% 100% 3 8 11 27% 73% 100%

7 2 2 0 11 64% 18% 18% 0% 100% 9 2 11 82% 18% 100%

0 2 6 3 11 0% 18% 55% 27% 100% 2 9 11 18% 82% 100%

0 4 4 3 11 0% 36% 36% 27% 100% 4 7 11 36% 64% 100%

4 2 5 0 11 36% 18% 45% 0% 100% 6 5 11 55% 45% 100%

2 5 4 0 11 18% 45% 36% 0% 100% 7 4 11 64% 36% 100%

2 2 7 0 11 18% 18% 64% 0% 100% 4 7 11 36% 64% 100%

Validité des

conclusions3 2 4 2 11 27% 18% 36% 18% 100% 5 6 11 45% 55% 100%


opérationnel des

recommandations

2 2 7 0 11 18% 18% 64% 0% 100% 4 7 11 36% 64% 100%

1 4 4 2 11 9% 36% 36% 18% 100% 5 6 11 45% 55% 100%

2 3 2 4 11 18% 27% 18% 36% 100% 5 6 11 45% 55% 100%

2 2 3 4 11 18% 18% 27% 36% 100% 4 7 11 36% 64% 100%

0 4 7 0 11 0% 36% 64% 0% 100% 4 7 11 36% 64% 100%



Réponse à la

demande et

couverture du champ







Rigueur de la

méthodologie






Fiabilité et








et quantitatives )







dans le rapport )


cahier des charges



Clarté de la

présentation







Annexe 7 - Fiche Acteur (et résultats)

L’examen des pratiques en évaluation des 64 acteurs non gouvernementaux (ANG) a

débouché sur une Fiche Acteur pour chacun d’eux.

Celle-ci vise à donner :

- une appréciation synthétique de la politique et de la guidance interne en

évaluation de l’ANG, sur base des informations et documents transmis par les

ANG et d’autres sources d’information (termes de référence, rapports, enquêtes,

entretiens, etc.) ;

- une appréciation des pratiques en évaluation mises en œuvre dans le cadre de

l’évaluation sélectionnée dans l’échantillon ;

- des informations sur les connaissances en évaluation du personnel de l’ANG, tel

que communiqué directement par l’ANG au moyen de l’enquête ;

- une appréciation de l’utilisation par l’ANG du rapport sélectionné dans

l’évaluation, sur base des informations et documents transmis par les ANG et

d’autres sources d’information (termes de référence, rapports, enquêtes,

entretiens, etc.).

La Fiche Acteur est présentée dans les pages qui suivent, en même temps que les

résultats agrégés.35 Ces résultats sont donnés en quatre fiches distinctes :

Fiche Acteur avec les résultats agrégés pour le total des 66 rapports ;

Fiche Acteur avec les résultats agrégés pour les 49 ONG ;

Fiche Acteur avec les résultats agrégés pour les 4 universités et institutions

scientifiques (et leurs 6 rapports) ; et

Fiche Acteur avec les résultats agrégés pour les 11 rapports des ‘autres

partenaires’.




35 Les résultats individuels ne sont pas publiés, comme décidé avec le Comité d’accompagnement.



Fiches Acteurs – Résultats totaux pour les 64 ANG (et les 66 processus d’évaluation examinés)

2. Qualité de la pratique de l'évaluation

1 2 3 4 TOT 1 2 3 4 TOTScores

1 + 2

Scores

3 + 4Total

Scores

1 + 2

Scores

3 + 4Total

2.1 Approche/ Méthode générale d'évaluation

28 20 8 8 64 44% 31% 13% 13% 100% 48 16 64 75% 25% 100%

36 6 16 6 64 56% 9% 25% 9% 100% 42 22 64 66% 34% 100%

2.2 Processus mis en œuvre dans le cadre de l'évaluation contenue dans l'échantillon

1 12 17 35 65 2% 18% 26% 54% 100% 13 52 65 20% 80% 100%

8 24 26 8 66 12% 36% 39% 12% 100% 32 34 66 48% 52% 100%

8 16 32 10 66 12% 24% 48% 15% 100% 24 42 66 36% 64% 100%

3. Connaissances du personnel de l'ANG en évaluation (réponses à l'enquête auprès des ANG )

4. Utilisation par l'ANG du rapport d'évaluation contenu dans l'échantillon

16 11 17 21 65 25% 17% 26% 32% 100% 27 38 65 42% 58% 100%

26 10 20 9 65 40% 15% 31% 14% 100% 36 29 65 55% 45% 100%

3 6 22 34 65 5% 9% 34% 52% 100% 9 56 65 14% 86% 100%

7 23 32 4 66 11% 35% 48% 6% 100% 30 36 66 45% 55% 100%

Formations en évaluation suivies par le personnel depuis 2007 ( interne ou externe )

L'évaluation a été utilisée comme outil de capitalisation des connaissances et des leçons apprises

Le rapport d'évaluation a été utilisé pour rendre des comptes sur les résultats du programme

Le rapport d'évaluation a été utilisé comme outil d'aide à la décision (développement/ amendement

d'un nouveau programme, modification du programme en cours )

Le rapport d'évaluation a été diffusé à l'ensemble des parties intéressées (ANG, partenaires de l'ANG,

autres ANG, DGD, grand public )

Nombre de personnes travaillant au siège de l'ANG et ayant la maîtrise des concepts et pratiques de

l'évaluation (par exemple: formation approfondie, conduite d'une évaluation )


L'ANG a défini des directives précises et formelles en vue de l'évaluation de ses actions, au moment

de l'évaluation contenue dans l'échantillon (par exemple: élaboration d'un guide d'évaluation détaillé )

L'ANG a appliqué ces directives/ principes dans le cadre de l'évaluation contenue dans l'échantillon

L'ANG a élaboré un cahier des charges clair et complet (précisant l'objectif de l'évaluation, le contexte,

l'objet, le champ, les questions clefs, les attentes en matière d'équipe, de calendrier, de budget, etc. )

L'ANG a assuré l'encadrement du processus d'évaluation (par exemple: mise en place et réunion

fréquente d'un comité de pilotage au cours du processus, contrôle qualité des rapports )

L'évaluation a été conduite selon une approche participative (favorisant la contribution des

partenaires au processus et leur apprentissage des leçons apprises )

Nombre de personnes travaillant au siège de l'ANG (estimation de la taille actuelle de l'ANG )

Nombre de personnes travaillant au siège de l'ANG et ayant des connaissances de base en évaluation

(par exemple: formation d'introduction à l'évaluation, gestion d'un processus d'évaluation )



Fiches Acteurs – Résultats pour les ONG



1 + 2

Scores

3 + 4Total

Scores

1 + 2

Scores

3 + 4Total


19 16 7 7 49 39% 33% 14% 14% 100% 35 14 49 71% 29% 100%

26 3 14 6 49 53% 6% 29% 12% 100% 29 20 49 59% 41% 100%


1 11 14 22 48 2% 23% 29% 46% 100% 12 36 48 25% 75% 100%

8 20 18 3 49 16% 41% 37% 6% 100% 28 21 49 57% 43% 100%

6 13 23 7 49 12% 27% 47% 14% 100% 19 30 49 39% 61% 100%



9 8 13 18 48 19% 17% 27% 38% 100% 17 31 48 35% 65% 100%

19 7 13 9 48 40% 15% 27% 19% 100% 26 22 48 54% 46% 100%

3 5 12 28 48 6% 10% 25% 58% 100% 8 40 48 17% 83% 100%

5 16 25 3 49 10% 33% 51% 6% 100% 21 28 49 43% 57% 100%

























Fiches Acteurs – Résultats pour les Universités et Institutions Scientifiques



1 + 2

Scores

3 + 4Total

Scores

1 + 2

Scores

3 + 4Total


1 2 1 0 4 25% 50% 25% 0% 100% 3 1 4 75% 25% 100%

1 1 2 0 4 25% 25% 50% 0% 100% 2 2 4 50% 50% 100%


0 0 1 5 6 0% 0% 17% 83% 100% 0 6 6 0% 100% 100%

0 1 5 0 6 0% 17% 83% 0% 100% 1 5 6 17% 83% 100%

0 2 3 1 6 0% 33% 50% 17% 100% 2 4 6 33% 67% 100%



2 1 2 1 6 33% 17% 33% 17% 100% 3 3 6 50% 50% 100%

2 2 2 0 6 33% 33% 33% 0% 100% 4 2 6 67% 33% 100%

0 0 5 1 6 0% 0% 83% 17% 100% 0 6 6 0% 100% 100%

0 3 2 1 6 0% 50% 33% 17% 100% 3 3 6 50% 50% 100%

























Fiches Acteurs – Résultats pour les ‘Autres Partenaires’



1 + 2

Scores

3 + 4Total

Scores

1 + 2

Scores

3 + 4Total


8 2 0 1 11 73% 18% 0% 9% 100% 10 1 11 91% 9% 100%

9 2 0 0 11 82% 18% 0% 0% 100% 11 0 11 100% 0% 100%


0 1 2 8 11 0% 9% 18% 73% 100% 1 10 11 9% 91% 100%

0 3 3 5 11 0% 27% 27% 45% 100% 3 8 11 27% 73% 100%

2 1 6 2 11 18% 9% 55% 18% 100% 3 8 11 27% 73% 100%



5 2 2 2 11 45% 18% 18% 18% 100% 7 4 11 64% 36% 100%

5 1 5 0 11 45% 9% 45% 0% 100% 6 5 11 55% 45% 100%

0 1 5 5 11 0% 9% 45% 45% 100% 1 10 11 9% 91% 100%

2 4 5 0 11 18% 36% 45% 0% 100% 6 5 11 55% 45% 100%
























Annexe 8 - Enquête ANG

1. PROCESSUS ............................................................................................. 1

1.1 LE GROUPE CIBLE ................................................................................... 2

1.2 LE QUESTIONNAIRE................................................................................. 2

1.3 LA DISTRIBUTION DU QUESTIONNAIRE ET SON CALENDRIER ................................ 10

1.4 LE TAUX DE REPONSES ET L’ANALYSE DES DONNEES ......................................... 10

2. RESULTATS ........................................................................................... 11



1. Processus

1.1 Le groupe cible

Le groupe cible de cette enquête en ligne était l’ensemble des 64 ANG sélectionnés dans

l’échantillon de cette Méta-évaluation. Ceux-ci couvraient les 66 rapports sélectionnés

dans l’échantillon (voir Annexe 3).

Cet ensemble de 64 ANG se compose de :

49 ONG ;

4 Universités et institutions scientifiques (pour 6 rapports) ;

11 Autres partenaires (syndicats, pouvoirs locaux, etc.)36

1.2 Le questionnaire

Le questionnaire de l’enquête a été rédigé en grande partie sur base des indicateurs

définis dans les différentes questions d’évaluation (voir Annexe 4). Il visait à collecter

des opinions qu’il était important de croiser avec l’analyse des rapports et documents

d’ANG. Il visait également à recueillir des informations qui ne se trouvaient pas dans les

rapports d’évaluation ou dans les documents d’ANG, ou pas systématiquement.

Afin de s’assurer d’un degré élevé de réponses, le questionnaire a été formulé de

manière telle qu’il puisse être complété dans un délai de 20 à 30 minutes. Le

questionnaire avait ainsi un nombre limité de questions et privilégiait les questions à

choix multiple. De nombreuses questions permettaient toutefois de collecter des

informations plus qualitatives, notamment par la possibilité de laisser des commentaires.

Les enquêtés ont eu le choix entre une version du questionnaire en français ou en

néerlandais.

Le tableau ci-dessous présente l’ensemble des questions.

36 Les « autres partenaires » ayant bénéficié de cofinancement de leur programme durant la période 2008-

2011 sont les suivants: trois syndicats (FGTB/IFSI, CGSLB/MSI, CSC/IEOI), des pouvoirs locaux (UVCW, Province de Hainaut, VVSG), ainsi que Africalia, APEFE, ATOL, Benelux Afro Center et VVOB.



1 Budget de l’évaluation:

Veuillez sélectionner une seule des propositions suivantes :

- <10.000€

- 10.000€ - 20.000€

- 20.000€ - 40.000€

- 40.000€ - 80.000€

- 80.000€ - 200.000€

- >200.000 €

2 Dans quelle mesure trouvez-vous que les exigences de la DGD en matière

d’évaluation de vos activités étaient-elles suffisamment claires et précises

pour organiser vos évaluations et pour que celles-ci soient satisfaisantes

aux yeux de la DGD? (Exigences formelles)

1. Problèmes importants dans la compréhension des exigences

formelles

2. Problèmes dans la compréhension des exigences formelles

3. Exigences formelles relativement claires et précises

4. Exigences formelles tout à fait claires et précises

5. n.a.

3 Dans quelle mesure trouvez-vous que les exigences de la DGD en matière

d’évaluation de vos activités étaient-elles suffisamment claires et précises

pour organiser vos évaluations et pour que celles-ci soient satisfaisantes

aux yeux de la DGD? (Exigences informelles)

1. Problèmes importants dans la compréhension des exigences

informelles

2. Problèmes dans la compréhension des exigences informelles

3. Exigences informelles relativement claires et précises

4. Exigences informelles tout à fait claires et précises

5. n.a.

4 Les exigences (formelles et informelles) de la DGD vous ont-elles donné la

flexibilité nécessaire pour mener à bien vos évaluations et pour maximiser

leur utilité ?

1. Problèmes de flexibilité importants

2. Problèmes de flexibilité

3. Exigences relativement flexibles

4. Exigences tout à fait flexibles pour optimiser l’évaluation

5. n.a.

5 Nombre de personnes travaillant structurellement au siège de votre

ANG (estimation de la taille actuelle de votre ANG)

6.1. Nombre de ces personnes ayant des connaissances en évaluation (à

l’heure actuelle): Connaissances de base (formation d’introduction à

l’évaluation, gestion d’un processus d’évaluation, etc.)



6.2. Nombre de ces personnes ayant des connaissances en évaluation (à

l’heure actuelle): Maîtrise des concepts et pratiques de l’évaluation

(formations approfondies, conduite d’évaluations, etc.)

7 Disposez-vous au sein de votre ANG d’un guide d’évaluation (ou assimilé),

détaillant vos pratiques et méthodes internes en matière d’évaluation?

1. Pas de définition des pratiques et méthodes internes

2. Certaines références à des pratiques et méthodes internes, mais

assez générales

3. Références et instructions claires dans un document/chapitre

spécifique

4. Guide d’évaluation avec instructions détaillées

5. n.a.

8 Utilisez-vous ce ‘guide d’évaluation’ (ou assimilé) en pratique ?

1. Très peu

2. Peu

3. Régulièrement

4. Systématiquement

5. n.a.

9 Dans quelle mesure donnez-vous de l’importance dans votre organisation à

l’ « évaluation » (ex ante, à mi-parcours, ex post), par rapport au suivi

(monitoring) et à d’autres formes de rapportage (reporting comptable et

financier, etc.)?

1. Notre organisation ne réalise pas d’ « évaluations » en tant que

telles

2. Notre organisation ne réalise que peu d’« évaluations »

3. L’« évaluations » est bien ancrée dans notre organisation

4. L’« évaluations » est structurellement ancrée dans notre

organisation

5. n.a.

10 Les capacités de votre organisation en matière d’évaluation ont-elles

évolué depuis 2007 (connaissances du personnel, guide d’évaluation,

etc.)?

1. Statu quo ou diminution

2. Augmentation limitée

3. Augmentation tangible

4. Augmentation forte

5. n.a.

11 Avez-vous permis à du personnel de votre organisation de suivre une

formation en évaluation depuis 2007?

- Non

- Formation interne

- Formation externe

- n.a.



12 Les exigences de la DGD sont-elles à l’origine du renforcement des

capacités de votre organisation en évaluation?

1. Pas du tout

2. Peu

3. En partie

4. Principalement

5. n.a.

13 Lequel ou lesquels des objectifs suivants sont-ils considérés comme

prioritaires pour l’évaluation au sein de votre organisation, de manière

générale? (cochez toutes les réponses adéquates)

1. Accumuler les connaissances et transférer les leçons apprises

2. Rendre des comptes sur l’atteinte des résultats attendus

3. Aider à la prise de décision

4. n.a.

14 La méthodologie appliquée dans l’évaluation était-elle rigoureuse ?

(structuration adéquate, choix des sources d’information, choix des outils

d’évaluation, etc.)

1. Pas du tout rigoureuse

2. Peu rigoureuse

3. Rigoureuse

4. Très rigoureuse

5. n.a.

15 Les données utilisées étaient-elles fiables et « représentatives » ?

(sélection d’un échantillon, taille de l’échantillon, baseline, données

primaires/secondaires, différentes sources d’information pertinentes,

indications des limites, etc.)

1. Problèmes sérieux de fiabilité / représentativité

2. Problèmes sérieux de fiabilité / représentativité

3. Données relativement fiables / représentatives

4. Données très fiables / représentatives

n.a.

16 L’analyse était-elle solide ? (méthodologie et outils d’analyse, triangulation,

comparaisons avant-après/contrefactuel/…, liens de cause-à-effet, logique

de raisonnement, etc.)

1. Problèmes sérieux de solidité de l’analyse

2. Problèmes de solidité de l’analyse

3. Analyse relativement solide

4. Analyse très solide

5. n.a.



17

Les conclusions étaient-elles valides? (couverture des points clés, intérêt

stratégique et opérationnel, valeur ajoutée, base factuelle, évitant les biais

de jugement, etc.)

1. Problèmes sérieux dans la validité des conclusions

2. Problèmes de validité pour certaines conclusions

3. Ensemble de conclusions valides

4. Ensemble de conclusions très valides

5. n.a.

18 Les conclusions étaient-elles utiles? (couverture des points clés, intérêt

stratégique et opérationnel, valeur ajoutée, base factuelle, évitant les biais

de jugement, etc.)

1. Conclusions de peu d’utilité

2. Conclusions d’utilité limitée

3. Ensemble de conclusions utile

4. Ensemble de conclusions très utile

5. n.a.

19 Les recommandations étaient-elles valides et utiles? (couverture des points

clés, intérêt stratégique et opérationnel, valeur ajoutée, base factuelle,

évitant les biais de jugement, etc.)

1. Recommandations peu valides ou utiles

2. Recommandations de validité ou d’utilité limitée

3. Ensemble de recommandations valide et utile

4. Ensemble de recommandations très valide et utile

6. n.a.

20 Quels facteurs ont été déterminants pour la qualité du rapport?

20.1 Calendrier

1. Rôle négatif important

2. Rôle négatif

3. Rôle positif

4. Rôle positif important

5. n.a.

20.2 Budget


2. Rôle négatif

3. Rôle positif


5. n.a.



20.3 Méthodologie


2. Rôle négatif

3. Rôle positif


5. n.a.

20.4 Evaluateurs


2. Rôle négatif

3. Rôle positif


5. n.a.

20.5 Implication des différents types d’acteurs


2. Rôle négatif

3. Rôle positif


5. n.a.

20.6 Imprévus divers


2. Rôle négatif

3. Rôle positif


n.a.

20.7 Autres


2. Rôle négatif

3. Rôle positif


5. n.a.



21 Dans quelle mesure votre organisation attache-t-elle de l’importance à

l’indépendance des évaluateurs, de façon générale ?

1. L’indépendance n’est pas une priorité

2. L’indépendance est secondaire à d’autres priorités (budgétaires,

temporelles, connaissance du contexte, etc.)

3. L’indépendance est promue activement, tout en tenant compte de

certaines contraintes

4. L’indépendance est une priorité

5. n.a.

22 L’équipe d’évaluation du rapport sélectionné était composée de :

1. Evaluateurs externes (bureau ou experts indépendants)

2. Pairs (autres ANG, professeurs d’autres facultés/universités, etc.)

3. Evaluateurs internes (personnel de l’ANG ou associé)

4. Equipe d’évaluation mixte (évaluateurs internes, externes, pairs)

5. n.a.

23 Conflit d’intérêt potentiel : dans quelle mesure les évaluateurs avaient-ils

un lien passé ou présent avec le projet/programme à évaluer, et/ou un lien

fonctionnel ou hiérarchique avec les acteurs du projet/programme?

1. Lien direct

2. Lien partiel

3. Aucun lien

4. Aucun lien + signature d’une déclaration d’absence de conflit

d’intérêt

5. n.a.

24 L’équipe d’évaluation a-t-elle pu conduire l’évaluation et écrire son rapport

en toute indépendance (absence de pressions politiques ou

organisationnelles, accès libre à l’information, rédaction sans contraintes

des conclusions et recommandations, etc.)?

1. Fortes contraintes ayant affecté l’indépendance

2. Contraintes ayant légèrement affecté l’indépendance

3. Indépendance, en dépit de certaines contraintes

4. Indépendance totale 5. n.a.

25 Dans quelle mesure les différents types d’acteurs du projet/programme

ont-ils été consultés durant le processus d’évaluation (au moment de la

rédaction du cahier des charges, pour le suivi du processus, lors de la

dissémination du rapport final, etc.) ?

1. Pas d’implication

2. Faible implication, ad hoc

3. Implication aux étapes clés

4. Implication forte tout au long du processus

5. n.a.



26 Dans quelle mesure votre organisation a-t-elle activement diffusé le

rapport d’évaluation sélectionné auprès des acteurs du projet/programme

et au-delà ? (cochez toutes les réponses adéquates)

1. Pas de diffusion particulière

2. Diffusion auprès de l’ensemble du personnel de l’ANG

3. Diffusion auprès d’acteurs du projet / programme

4. Diffusion auprès d’un public cible plus large (membres de l’ANG,

autres ANG, destinataires de lettre d’information, participants à un

séminaire, etc.)

5. Envoi du rapport au gestionnaire de la DGD

6. Publication sur un site web (sans restriction d’accès)

7. n.a.

27 Y a-t-il eu une diffusion plus large d’une partie du rapport (p.ex. résumé,

recommandations)?

- Oui

- Non

- n.a.

28 Dans quelle mesure votre organisation a-t-elle utilisé le rapport

d’évaluation sélectionné dans une optique d’accumulation des

connaissances et de transfert des bonnes pratiques au sein de votre

organisation?

1. Pas du tout utilisé comme tel

2. Peu utilisé

3. Utilisation réelle

4. Utilisation importante

5. n.a.


d’évaluation sélectionné comme outil d’aide à la décision (p.ex. pour

ajuster l’approche du projet/programme, pour améliorer l’organisation

interne, pour la conception de futurs programmes, etc.)?


2. Peu utilisé



5. n.a.


d’évaluation sélectionné dans le dialogue politique avec la DGD (pour le

programme évalué ou pour des programmes futurs)?


2. Peu utilisé



5. n.a



1.3 La distribution du questionnaire et son calendrier

La distribution du questionnaire s’est faite par email. L’email présentait les objectifs de

l’enquête ainsi que le lien permettant d’accéder au questionnaire en ligne.

L’ensemble des 64 ANG a été invité à remplir le questionnaire. Les invitations ont été

envoyées aux personnes de contact de chaque ANG pour cette Méta-évaluation.

Le questionnaire a été envoyé le 12 octobre 2012 ; il demandait de répondre à l’enquête

pour le 26 octobre 2012. Un email de relance a été envoyé quand de besoin le 30

octobre 2012, qui demandait une réponse pour le 9 novembre 2012. L’enquête a

finalement été clôturée le 15 janvier 2013.

1.4 Le taux de réponses et l’analyse des données

Le taux de réponse pour cette enquête est de 63 sur 66 questionnaires envoyés. Ceci

donne un taux de réponse en pourcentage de 95,5%. Ce chiffre très élevé nous permet

de considérer les résultats obtenus comme très significatifs.

Les réponses obtenues proviennent de 46 des 49 ONG, de toutes les 6 universités et

institutions scientifiques et des tous les 11 ‘autres partenaires’.

Notons que le total des réponses n’est pas toujours de 64 (ANG) ou 66 (rapports), dans

la mesure où quelques enquêtés n’ont pas répondu à chaque question.

Les résultats de cette enquête ont nourri l’analyse générale de cette méta-évaluation,

qui est présentée dans les réponses aux questions d’évaluation dans le Chapitre 3 du

Rapport principal. Celle-ci a utilisé et croisé les résultats de cette enquête ainsi que ceux

des enquêtes auprès des évaluateurs et des gestionnaires de la DGD, et les informations

provenant d’autres outils d’évaluation (matrice, fiches, entretiens, etc.).

Les réponses à cette enquête ont été utilisées en combinaison avec d’autres sources

d’information pour identifier des correlations potentielles. Les correlations fortes et

signifactives identifiées sont utilisées et mentionnées dans l’analyse générale.



2. Résultats

Les résultats de l’enquête sont distingués en fonction des trois groupes d’ANG:

- ONG

- Universités et institutions scientifiques

- Autres partenaires (syndicats, pouvoirs locaux, etc.)

1. Budget de l’évaluation:

Type

<10.00

0

10.000

€ -

20.000

€

20.000

€ -

40.000

€

40.000

€ -

80.000

€

80.000€

-

200.000

€ >200.000 Total

ONG 23 3 6 3 0 8 43

Univ. &

Inst. Scient. 1 1 2 0 1 1 6

Autres

Partenaires 2 3 0 3 3 0 11

Total 26 7 8 6 4 9 60

ONG 53% 7% 14% 7% 0% 19% 100%

Univ. &

Inst. Scient. 17% 17% 33% 0% 17% 17% 100%

Autres

Partenaires 18% 27% 0% 27% 27% 0% 100%

Total 43% 12% 13% 10% 7% 15% 100%



2. Dans quelle mesure trouvez-vous que les exigences de la DGD en matière d’évaluation de vos

activités étaient-elles suffisamment claires et précises pour organiser vos évaluations et pour que

celles-ci

soient satisfaisantes aux yeux de la DGD? [Exigences formelles)

Type

1 - Problèmes

importants

dans la

compréhension

2 - Problèmes

dans la

compréhension

3 -

Relativement

claires et

précises

4 - Tout

à fait

claires

et

précises NA

Sans

Réponse Total

ONG 0 3 20 5 10 8 46

Univ. &

Inst.

Scient 0 0 1 2 2 1 6

Autres


Total 1 8 23 9 12 10 63

ONG 0% 7% 43% 11% 22% 17% 100%

Univ. &

Inst.

Scient 0% 0% 17% 33% 33% 17% 100%

Autres

Partenaires 9% 45% 18% 18% 0% 9% 100%

Total 2% 13% 37% 14% 19% 16% 100%



1. Dans quelle mesure trouvez-vous que les exigences de la DGD en matière d’évaluation de vos

activités étaient-elles suffisamment claires et précises pour organiser vos évaluations et pour

que celles-ci soient satisfaisantes aux yeux de la DGD? [Exigences informelles)

Type

1 - Problèmes

importants

dans la

compréhension

2 - Problèmes

dans la

compréhension

3 -

Relativement

claires et

précises

4 - Tout

à fait

claires

et

précises NA

Sans

Réponse Total

ONG 1 4 24 6 5 6 46

Univ. &

Inst.

Scient 0 1 3 1 0 1 6

Autres


Total 1 7 31 12 5 7 63

ONG 2% 9% 52% 13% 11% 13% 100%

Univ. &

Inst.

Scient 0% 17% 50% 17% 0% 17% 100%

Autres

Partenaires 0% 18% 36% 45% 0% 0% 100%

Total 2% 11% 49% 19% 8% 11% 100%



2. Les exigences (formelles et informelles) de la DGD vous ont-elles donné la flexibilité

nécessaire pour mener à bien vos évaluations et pour maximiser leur utilité ?

Type

1 -

Problème

s de

flexibilité

important

s

2 -

Problème

s de

flexibilité

3 -

Exigences

relativemen

t flexibles

4 -

Exigences

tout à fait

flexibles

pour

optimiser

l’évaluatio

n NA

Sans

Répons

e Total

ONG 0 2 14 22 8 0 46

Univ. &

Inst. Scient 0 0 1 1 2 2 6

Autres


Total 0 7 17 25 10 4 63

ONG 0% 4% 30% 48% 17% 0% 100%

Univ. &

Inst. Scient 0% 0% 17% 17% 33% 33% 100%

Autres

Partenaires 0% 45% 18% 18% 0% 18% 100%

Total 0% 11% 27% 40% 16% 6% 100%

3. Nombre de personnes travaillant structurellement au siège de votre ANG (estimation de

la taille actuelle de votre ANG):

< 5 5-9 10-14

15-

19 20-29 30-44

45-

99 >100

Sans

Réponse Total

7 10 13 7.00 11 0 7 5 3 63

11% 16% 21% 11% 17% 0% 11% 8% 5% 100%



4. Nombre de ces personnes ayant des connaissances en évaluation (à l’heure actuelle):

4.1. Connaissances de base (formation d’introduction à l’évaluation, gestion d’un

processus d’évaluation, etc.):

0 1-2 3-4 5-6 7-9 10-12 13-15 16-19 >20 Sans Réponse Total

0 12 12 10 12 6 3 1 4 3 63

0% 19% 19% 16% 19% 10% 5% 2% 6% 5% 100%

En % du nombre total de personnes travaillant structurellement au siège de l'ANG

0% <20% 20%=<30% 30%=<50% 50%=<70% >70% Sans Réponse Total

0 16 14 14 9 7 3 63

0% 25% 22% 22% 14% 11% 5% 100%

4.2. Maîtrise des concepts et pratiques de l’évaluation (formations approfondies,

conduite d’évaluations, etc.)

0 1-2 3-4 5-6 7-9 >10 Sans Réponse Total

7 19 15 9 6 4 3 63

11% 30% 24% 14% 10% 6% 5% 100%

En % du nombre total de personnes travaillant structurellement au siège de l'ANG



5. Disposez-vous au sein de votre ANG d’un guide d’évaluation (ou assimilé), détaillant vos

pratiques et méthodes internes en matière d’évaluation?

Type

1 - Pas

de

définition

des

pratiques

et

méthodes

internes

2 -

Certaines

références

à des

pratiques

et

méthodes

internes,

mais

assez

générales

3 - Références et

instructions claires

dans un

document/chapitre

spécifique

4 - Guide

d’évaluation

avec

instructions

détaillées NA

Sans

Réponse Total

ONG 4 17 21 4 0 0 46

Univ. &

Inst.

Scient 2 0 2 0 2 0 6

Autres


Total 8 24 25 4 2 0 63

ONG 9% 37% 46% 9% 0% 0% 100%

Univ. &

Inst.

Scient 33% 0% 33% 0% 33% 0% 100%

Autres

Partenaires 18% 64% 18% 0% 0% 0% 100%

Total 13% 38% 40% 6% 3% 0% 100%



6. Utilisez-vous ce ‘guide d’évaluation’ (ou assimilé) en pratique ?

Type

1 -

Très

peu

2 -

Peu

3 -

Régulièremen

t

4 -

Systématiquemen

t NA

Je ne

sais

pas Total

ONG 1 6 23 11 1 4 46

Univ. &

Inst. Scient 0 0 0 2 0 4 6

Autres


Total 1 9 27 15 1 10 63

ONG 2% 13% 50% 24% 2% 9% 100%

Univ. &

Inst. Scient 0% 0% 0% 33% 0% 67% 100%

Autres

Partenaires 0% 27% 36% 18% 0% 18% 100%

Total 2% 14% 43% 24% 2% 16% 100%



7. Dans quelle mesure donnez-vous de l’importance dans votre organisation à

l’ »évaluation » (ex ante, à mi-parcours, ex post), par rapport au suivi (monitoring) et

à d’autres formes de rapportage (reporting comptable et financier, etc.)?

Type

1- Notre

organisati

on ne

réalise pas

d’«

évaluation

s » en tant

que telles

2 - Notre

organisati

on ne

réalise que

peu d’«

évaluation

s »

3 - L’«

évaluation

s » est

bien

ancrée

dans notre

organisati

on

4 - L’«

évaluations »

est

structurelleme

nt ancrée dans

notre

organisation NA

Sans

Répons

e Total

ONG 0 5 23 17 0 1 46

Univ. &

Inst.

Scient 0 0 1 2 2 1 6

Autres

Partenair

es 0 2 4 4 1 0 11

Total 0 7 28 23 3 2 63

ONG 0% 11% 50% 37% 0% 2%

100

%

Univ. &

Inst.

Scient 0% 0% 17% 33%

33

% 17%

100

%

Autres

Partenair

es 0% 18% 36% 36% 9% 0%

100

%

Total 0% 11% 44% 37% 5% 3%

100

%



8. Les capacités de votre organisation en matière d’évaluation ont-elles évolué depuis 2007

(connaissances du personnel, guide d’évaluation, etc.)?

Type

1 - Statu

quo ou

diminution

2 -

Augmentation

limitée

3 -

Augmentation

tangible

4 -

Augmentation

forte NA

Sans

Réponse Total

ONG 0 16 25 4 1 0 46

Univ. &

Inst.

Scient 0 1 2 0 2 1 6

Autres


Total 0 20 33 6 3 1 63

ONG 0% 35% 54% 9% 2% 0% 100%

Univ. &

Inst.

Scient 0% 17% 33% 0% 33% 17% 100%

Autres

Partenaires 0% 27% 55% 18% 0% 0% 100%

Total 0% 32% 52% 10% 5% 2% 100%



9. Avez-vous permis à du personnel de votre organisation de suivre une formation

en évaluation depuis 2007? (cochez toutes les réponses adéquates)

Type Non

Formation

interne

Formation

externe NA

Sans

Réponse Total

ONG 8 21 27 1 0 46

Univ. & Inst.

Scient 0 0 3 1 0 6

Autres

Partenaires 3 6 4 0 0 11

Total 11 27 34 2 0 63

ONG 17% 46% 59% 2% 0% 100%

Univ. & Inst.

Scient 0% 0% 50% 17% 0% 100%

Autres

Partenaires 27% 55% 36% 0% 0% 100%

Total 17% 43% 54% 3% 0% 100%

10. Les exigences de la DGD sont-elles à l’origine du renforcement des capacités de votre

organisation en évaluation?

Type

1 - Pas

du

tout

2 -

Peu

3 - En

partie

4 -

Principalemen

t NA

Sans

Répons

e Total

ONG 9 12 19 6 0 0 46

Univ. & Inst.

Scient 0 2 1 0 2 1 6

Autres


Total 11 20 22 7 2 1 63

ONG 20% 26% 41% 13% 0% 0% 100%

Univ. & Inst.

Scient 0% 33% 17% 0% 33% 17% 100%

Autres

Partenaires 18% 55% 18% 9% 0% 0% 100%

Total 17% 32% 35% 11% 3% 2% 100%



11. Lequel ou lesquels des objectifs suivants sont-ils considérés comme prioritaires

pour l’évaluation au sein de votre organisation, de manière générale? (cochez

toutes les réponses adéquates)

Type

Accumuler les

connaissances

et transférer

les leçons

apprises

Rendre

des

comptes

sur

l’atteinte

des

résultats

attendus

Aider à

la prise

de

décision NA

Sans

Réponse Total

ONG 43 34 35 0 0 46

Univ. & Inst.

Scient 3 3 3 2 0 6

Autres

Partenaires 10 10 10 0 0 11

Total 56 47 48 2 0 63

ONG 93% 74% 76% 0% 0% 100%

Univ. & Inst.

Scient 50% 50% 50% 33% 0% 100%

Autres

Partenaires 91% 91% 91% 0% 0% 100%

Total 89% 75% 76% 3% 0% 100%



12. La méthodologie appliquée dans l’évaluation était-elle rigoureuse ? (structuration

adéquate, choix des sources d’information, choix des outils d’évaluation, etc.)

Type

1 - Pas du

tout

rigoureus

e

2 - Peu

rigoureus

e

3 -

Rigoureus

e

4 - Très

rigoureus

e NA

Sans

Répons

e Total

ONG 0 8 30 8 0 0 46

Univ. & Inst.

Scient 0 0 2 4 0 0 6

Autres


Total 0 11 39 13 0 0 63

ONG 0% 17% 65% 17% 0% 0% 100%

Univ. & Inst.

Scient 0% 0% 33% 67% 0% 0% 100%

Autres

Partenaires 0% 27% 64% 9% 0% 0% 100%

Total 0% 17% 62% 21% 0% 0% 100%

13. Les données utilisées étaient-elles fiables et « représentatives » ? (sélection d’un

échantillon, taille de l’échantillon, baseline, données primaires/secondaires, différentes

sources d’information pertinentes, indications des limites, etc.)

Type

1- Problèmes

sérieux de fiabilité /

représentativité

2 -

Problèmes de fiabilité / représentativ

ité

3 - Données

relativement fiables /

représentatives

4 - Données très fiables / représentati

ves NA

Sans Répon

se Total

ONG 0 3 32 11 0 0 46

Univ. & Inst. Scient 0 0 2 3 1 0 6

Autres Partenaires 0 1 9 1 0 0 11

Total 0 4 43 15 1 0 63

ONG 0% 7% 70% 24% 0% 0% 100%

Univ. & Inst.

Scient 0% 0% 33% 50%

17

% 0%

100

%

Autres Partenaires 0% 9% 82% 9% 0% 0%

100%

Total 0% 6% 68% 24% 2% 0% 100%



14. L’analyse était-elle solide ? (méthodologie et outils d’analyse, triangulation,

comparaisons avant-après/contrefactuel/…, liens de cause-à-effet, logique de

raisonnement, etc.)

Type

1 -

Problème

s sérieux

de solidité

de

l’analyse

2 -

Problème

s de

solidité de

l’analyse

3 - Analyse

relativemen

t solide

4 -

Analyse

très

solide NA

Sans

Répons

e Total

ONG 0 3 37 5 0 1 46

Univ. &

Inst. Scient 0 1 3 2 0 0 6

Autres


Total 0 8 45 9 0 1 63

ONG 0% 7% 80% 11% 0% 2%

100

%

Univ. &

Inst. Scient 0% 17% 50% 33% 0% 0%

100

%

Autres

Partenaires 0% 36% 45% 18% 0% 0%

100

%

Total 0% 13% 71% 14% 0% 2%

100

%



15. Les conclusions étaient-elles valides? (base factuelle, évitant les biais de jugement,

etc.)

Type

1 -

Problèmes

sérieux

dans la

validité

des

conclusion

s

2 -

Problèmes

de validité

pour

certaines

conclusion

s

3 -

Ensemble

de

conclusion

s valides

4 -

Ensemble

de

conclusion

s très

valides NA

Sans

Répons

e Total

ONG 0 6 31 9 0 0 46

Univ. &

Inst. Scient 0 1 3 2 0 0 6

Autres


Total 0 12 38 12 1 0 63

ONG 0% 13% 67% 20% 0% 0%

100

%

Univ. &

Inst. Scient 0% 17% 50% 33% 0% 0%

100

%

Autres

Partenaires 0% 45% 36% 9% 9% 0%

100

%

Total 0% 19% 60% 19% 2% 0%

100

%

16. Les conclusions étaient-elles utiles? (couverture des points clés, intérêt stratégique et

opérationnel, valeur ajoutée, etc.)

Type

1 -

Conclusion

s de peu

d'utilité

2 -

Conclusion

s d’utilité

limitée

3 -

Ensemble

de

conclusion

s utile

4 -

Ensemble

de

conclusion

s très utile NA

Sans

Répons

e Total

ONG 0 4 33 8 0 1 46

Univ. &

Inst. Scient 0 0 3 3 0 0 6

Autres


Total 0 8 40 14 0 1 63

ONG 0% 9% 72% 17% 0% 2% 100



%

Univ. &

Inst. Scient 0% 0% 50% 50% 0% 0%

100

%

Autres

Partenaires 0% 36% 36% 27% 0% 0%

100

%

Total 0% 13% 63% 22% 0% 2%

100

%

17. Les recommandations étaient-elles valides et utiles? (couverture des points clés, intérêt stratégique et opérationnel, valeur ajoutée, base factuelle, évitant les biais de jugement, etc.)

Type

1 -

Recommandations peu

valides ou utiles

2 - Recommandat

ions de validité ou

d’utilité limitée

3 - Ensemble

de recommandations valide et

utile

4 - Ensemble

de recommandat

ions très valide et utile

NA

Sans Répon

se Tota

l

ONG 1 5 33 7 0 0 46

Univ. & Inst.

Scient 0 0 6 0 0 0 6

Autres Partenai

res 0 4 6 1 0 0 11

Total 1 9 45 8 0 0 63

ONG 2% 11% 72% 15% 0% 0%

100%

Univ. & Inst.

Scient 0% 0% 100% 0% 0% 0%

100%

Autres Partenai

res 0% 36% 55% 9%

0

% 0%

100

%

Total 2% 14% 71% 13% 0% 0%

100%



18. Quels facteurs ont été déterminants pour la qualité des rapports ?

18.1. Calendrier

Type

1 - Rôle

négatif

important

2 -

Rôle

négatif

3 -

Rôle

positif

4 - Rôle

positif

important NA

Sans

Réponse Total

ONG 0 8 20 10 5 3 46

Univ. & Inst.

Scient 0 1 0 3 1 1 6

Autres


Total 0 12 25 15 6 5 63

ONG 0% 17% 43% 22% 11% 7% 100%

Univ. & Inst.

Scient 0% 17% 0% 50% 17% 17% 100%

Autres

Partenaires 0% 27% 45% 18% 0% 9% 100%

Total 0% 19% 40% 24% 10% 8% 100%

18.2. Budget

Type

1 - Rôle

négatif

important

2 -

Rôle

négatif

3 -

Rôle

positif

4 - Rôle

positif

important NA

Sans

Réponse Total

ONG 1 10 19 4 7 5 46

Univ. & Inst.

Scient 0 0 3 1 2 0 6

Autres


Total 1 14 27 5 10 6 63

ONG 2% 22% 41% 9% 15% 11% 100%

Univ. & Inst.

Scient 0% 0% 50% 17% 33% 0% 100%

Autres

Partenaires 0% 36% 45% 0% 9% 9% 100%

Total 2% 22% 43% 8% 16% 10% 100%



18.3. Méthodologie

Type

1 - Rôle

négatif

important

2 -

Rôle

négatif

3 -

Rôle

positif

4 - Rôle

positif

important NA

Sans

Réponse Total

ONG 0 2 28 15 0 1 46

Univ. & Inst.

Scient 0 0 1 4 1 0 6

Autres


Total 0 3 36 22 1 1 63

ONG 0% 4% 61% 33% 0% 2% 100%

Univ. & Inst.

Scient 0% 0% 17% 67% 17% 0% 100%

Autres

Partenaires 0% 9% 64% 27% 0% 0% 100%

Total 0% 5% 57% 35% 2% 2% 100%

18.4. Evaluateurs

Type

1 - Rôle

négatif

important

2 -

Rôle

négatif

3 -

Rôle

positif

4 - Rôle

positif

important NA

Sans

Réponse Total

ONG 0 4 13 28 0 1 46

Univ. & Inst.

Scient 0 0 2 4 0 0 6

Autres


Total 0 5 21 35 1 1 63

ONG 0% 9% 28% 61% 0% 2% 100%

Univ. & Inst.

Scient 0% 0% 33% 67% 0% 0% 100%

Autres

Partenaires 0% 9% 55% 27% 9% 0% 100%

Total 0% 8% 33% 56% 2% 2% 100%

18.5. Implication des différents types d’acteurs



Type

1 - Rôle

négatif

important

2 -

Rôle

négatif

3 -

Rôle

positif

4 - Rôle

positif

important NA

Sans

Réponse Total

ONG 0 1 20 22 2 1 46

Univ. & Inst.

Scient 0 0 0 6 0 0 6

Autres


Total 0 2 26 32 2 1 63

ONG 0% 2% 43% 48% 4% 2% 100%

Univ. & Inst.

Scient 0% 0% 0% 100% 0% 0% 100%

Autres

Partenaires 0% 9% 55% 36% 0% 0% 100%

Total 0% 3% 41% 51% 3% 2% 100%



18.6. Imprévus divers

Type

1 - Rôle

négatif

important

2 -

Rôle

négatif

3 -

Rôle

positif

4 - Rôle

positif

important NA

Sans

Réponse Total

ONG 0 6 1 0 19 20 46

Univ. & Inst.

Scient 0 0 0 6 0 0 6

Autres


Total 0 9 2 6 22 24 63

ONG 0% 13% 2% 0% 41% 43% 100%

Univ. & Inst.

Scient 0% 0% 0% 100% 0% 0% 100%

Autres

Partenaires 0% 27% 9% 0% 27% 36% 100%

Total 0% 14% 3% 10% 35% 38% 100%

18.7. Autres

Type

1 - Rôle négatif

important

2 - Rôle

négatif

3 - Rôle

positif

4 - Rôle positif

important NA

Sans

Réponse Total

ONG 0 0 0 0 11 35 46


Autres


Total 0 1 0 0 15 47 63

ONG 0% 0% 0% 0% 24% 76% 100%

Univ. & Inst. Scient 0% 0% 0% 0% 67% 33% 100%

Autres

Partenaires 0% 9% 0% 0% 0% 91% 100%

Total 0% 2% 0% 0% 24% 75% 100%



19. Dans quelle mesure votre organisation attache-t-elle de l’importance à l’indépendance des évaluateurs, de façon générale ?

Type

1 - L’indépendance n'est

pas une priorités

2 - L’indépendance est

secondaire à d’autres priorités (budgétaires, temporelles, connaissance

du contexte, etc.)

3 - L’indépendan

ce est promue activement, tout en tenant compte de

certaines contraintes

4 - L’indépendan

ce est une priorité NA

Sans

Réponse

Total

ONG 0 8 19 19 0 0 46

Universités 0 0 1 5 0 0 6

Autres Partenaire

s 0 1 6 4 0 0 11

Total 0 9 26 28 0 0 63

ONG 0% 17% 41% 41% 0% 0% 100%

Université

s 0% 0% 17% 83% 0% 0%

100

%

Autres

Partenaires 0% 9% 55% 36% 0% 0%

100%

Total 0% 14% 41% 44% 0% 0%

100%

20. L’équipe d’évaluation du rapport sélectionné était composée de :

Type

Evaluateurs externes

(bureau ou

experts indépendan

ts)

Evaluateurs internes (personnel

de l’ANG ou

associé)

Pairs (autres ANG, professeurs

d’autres facultés/universi

tés, etc.)

Equipe d’évaluatio

n mixte (évaluateu

rs internes, externes,

pairs) NA

Sans Répons

e Total

ONG 38 2 4 4 2 0 46



Total 44 3 5 5 2 0 63



ONG 83% 4% 9% 9% 4% 0% 100%

Univ. & Inst. Scient 100% 0% 17% 17% 0% 0%

100%


100%

Total 70% 5% 8% 8% 3% 0%

100%

21. Conflit d’intérêt potentiel : dans quelle mesure les évaluateurs avaient-ils un lien passé ou

présent avec le projet/programme à évaluer, et/ou un lien fonctionnel ou hiérarchique avec les acteurs du projet/programme?

Type 1 - Lien direct

2 - Lien partiel

3 -

Aucun lien

4 - Aucun

lien + signature

d’une déclaratio

n d’absence

de conflit d’intérêt NA

Sans Réponse Total

ONG 1 4 41 0 0 0 46


Autres


Total 2 6 52 3 0 0 63

ONG 2% 9% 89% 0% 0% 0% 100%

Univ. & Inst. Scient 0% 0% 83% 17% 0% 0% 100%

Autres

Partenaires 9% 18% 55% 18% 0% 0% 100%

Total 3% 10% 83% 5% 0% 0% 100%



22. L’équipe d’évaluation a-t-elle pu conduire l’évaluation et écrire son rapport en toute indépendance (absence de pressions politiques ou organisationnelles, accès libre à

l’information, rédaction sans contraintes des conclusions et recommandations, etc.)?

Type

1 - Fortes contraintes

ayant affecté l’indépendan

ce

2 - Contraintes

ayant légèrement

affecté l’indépendan

ce

3 - Indépendanc

e, en dépit de certaines contraintes

4 - Indépendan

ce totale NA

Sans Répons

e Total

ONG 0 1 5 38 1 1 46



Total 0 1 9 50 1 2 63

ONG 0% 2% 11% 83% 2% 2%

100

%

Univ. & Inst. Scient 0% 0% 33% 67% 0% 0%

100%


100%

Total 0% 2% 14% 79%

2

% 3%

100

%

23. Dans quelle mesure les différents types d’acteurs du projet/programme ont-ils été consultés durant le processus d’évaluation (au moment de la rédaction du cahier des charges, pour le suivi du processus, lors de la dissémination du rapport final, etc.) ?

Type 1 - Pas

d’implication

2 - Faible implication,

ad hoc

3 - Implication aux étapes

clés

4 - Implication forte tout au long du processus NA

Sans Réponse Total

ONG 2 7 30 6 0 1 46



Total 2 8 42 10 0 1 63

ONG 4% 15% 65% 13% 0% 2% 100%

Univ. & 0% 0% 67% 33% 0% 0% 100%



Inst. Scient

Autres

Partenaires 0% 9% 73% 18% 0% 0% 100%

Total 3% 13% 67% 16% 0% 2% 100%

24. Dans quelle mesure votre organisation a-t-elle diffusé activement le rapport d’évaluation sélectionné auprès des acteurs du projet/programme et au-delà ? (cochez toutes les réponses adéquates)

Type

Diffusion auprès de l’ensembl

e du personnel de l’ANG

Diffusion auprès

d’un public

cible plus large

Envoi du

rapport au gestionnaire de la DGD

Publication sur un site web

(sans restriction d’accès)

Diffusion auprès

d’acteurs

du projet / programm

e

Pas de

diffusion particulièr

e Total

ONG 39 3 32 1 0 0 46



Total 56 6 48 1 0 0 63

ONG 85% 7% 70% 2% 0% 0% 100%

Univ. & Inst. Scient 100% 33% 100% 0% 0% 0%

100%


100%

Total 89% 10% 76% 0% 0% 0% 100%



25. Y a-t-il eu une diffusion plus large d’une partie du rapport (p.ex. résumé, recommandations)?

Type Oui Non NA Sans

Réponse Total

ONG 12 30 1 3 46

Univ. & Inst. Scient 2 4 0 0 6

Autres Partenaires 3 7 1 0 11

Total 17 41 2 3 63

ONG 26% 65% 2% 7% 100%

Univ. & Inst. Scient 33% 67% 0% 0% 100%

Autres Partenaires 27% 64% 9% 0% 100%

Total 27% 65% 3% 5% 100%

26. Dans quelle mesure votre organisation a-t-elle utilisé le rapport d’évaluation sélectionné dans une optique d’accumulation des connaissances et de transfert des bonnes pratiques au sein de votre organisation?

Type

1 - Pas du tout utilisé comme

tel

2 - Peu

utilisé

3 - Utilisation

réelle

4 - Utilisation important

e NA

Sans

Réponse Total

ONG 0 11 28 7 0 0 46



Total 2 15 33 12 0 1 63

ONG 0% 24% 61% 15% 0% 0% 100%

Univ. & Inst. Scient 33% 0% 17% 50% 0% 0% 100%

Autres Partenaires 0% 36% 36% 18% 0% 9% 100%

Total 3% 24% 52% 19% 0% 2% 100%



27. Dans quelle mesure votre organisation utilise-t-elle le rapport d’évaluation sélectionné comme outil d’aide à la décision (p.ex. pour ajuster l’approche du projet/programme, pour améliorer

l’organisation interne, pour la conception de futurs programmes, etc.)?

Type

1 - Pas du tout

utilisé comme

tel 2 - Peu utilisé

3 - Utilisation réelle

4 -

Utilisation important

e NA Sans

Réponse Total

ONG 0 2 32 12 0 0 46



Total 0 3 38 21 1 0 63

ONG 0% 4% 70% 26% 0% 0% 100%

Univ. & Inst. Scient 0% 0% 33% 67% 0% 0% 100%


Total 0% 5% 60% 33% 2% 0% 100%

28. Dans quelle mesure votre organisation a-t-elle utilisé le rapport d’évaluation sélectionné dans le dialogue politique avec la DGD (pour le programme évalué ou pour des programmes

futurs)?

Type

1 - Pas

du tout utilisé comme

tel 2 - Peu utilisé

3 - Utilisation

réelle

4 - Utilisation importante NA

Sans Réponse Total

ONG 3 10 22 11 0 0 46



Total 4 13 28 17 1 0 63

ONG 7% 22% 48% 24% 0% 0% 100%

Univ. &

Inst. Scient 17% 33% 33% 17% 0% 0% 100%


Total 6% 21% 44% 27% 2% 0% 100%


Annexe 9 - Enquête Evaluateurs

1. PROCESSUS ............................................................................................. 2

1.1 LE GROUPE CIBLE ................................................................................... 2

1.2 LE QUESTIONNAIRE ................................................................................ 2

1.3 LA DISTRIBUTION DU QUESTIONNAIRE ET SON CALENDRIER .................................. 8

1.4 LE TAUX DE REPONSES ET L’ANALYSE DES DONNEES ........................................... 9

2. RESULTATS ........................................................................................... 10



1. Processus

1.1 Le groupe cible

Le groupe cible de cette enquête en ligne était l’ensemble des équipes d’évaluation

(bureaux d’étude ou évaluateurs contractés à titre individuel ayant réalisé une évaluation

reprise dans l’échantillon de cette Méta-evaluation.





d’ANG. Il visait également à recueillir des informations qui ne se trouvaient pas dans les

rapports d’évaluation ou dans les documents d’ANG, ou pas systématiquement. Ceci

incluait par exemple des questions relatives aux difficultés rencontrées et à

l’indépendance de l’évaluation.







néerlandais.


1 Le besoin fondamental auquel l’évaluation visait à répondre était-il

clairement exprimé dans le cahier des charges (rendre compte des

résultats atteints, apprentissage, besoins particuliers, etc.)?

59. Besoin fondamental pas clair du tout

60. Besoin fondamental peu clair

61. Besoin fondamental clair

62. Besoin fondamental très clair

63. n.a.

2 Le champ (géographique, thématique, temporel) était-il exprimé

clairement dans le cahier des charges ?

1. Champ pas clair du tout (existence de fortes divergences

d’interprétation)

2. Champ peu clair (existence de divergences d’interprétation)

3. Champ clairement défini

4. Champ très clairement défini

5. n.a.



3 Le budget de l’évaluation était-il réaliste par rapport aux demandes

exprimées dans le cahier des charges ?

1. Budget pas du tout réaliste

2. Budget peu réaliste

3. Budget réaliste

4. Budget tout à fait réaliste

5. n.a.

4 Le calendrier de l’évaluation était-il réaliste par rapport aux demandes

exprimées dans le cahier des charges ?

1. Calendrier pas du tout réaliste

2. Calendrier peu réaliste

3. Calendrier réaliste

4. Calendrier tout à fait réaliste

5. n.a.

5 Les consignes méthodologiques étaient-elles claires et précises, tout en

laissant la flexibilité nécessaire pour définir une approche d’évaluation qui

soit la plus efficace et efficiente possible?

1. Consignes méthodologiques insuffisantes, inadéquates ou rigides

2. Consignes méthodologiques peu claires et/ou laissant peu de

flexibilité

3. Consignes méthodologiques claires, laissant la flexibilité nécessaire

4. Consignes méthodologiques très claires, laissant une grande

flexibilité

5. n.a.

6 Les consignes de composition de l’équipe d’évaluation laissaient-elles la

flexibilité nécessaire pour constituer une équipe qui puisse mener

l’évaluation de la façon la plus efficace et efficiente possible?

1. Consignes sur l’équipe inadéquates ou rigides

2. Consignes sur l’équipe laissant peu de flexibilité

3. Consignes sur l’équipe laissant la flexibilité nécessaire

4. Consignes sur l’équipe laissant une grande flexibilité

5. n.a.



7 La qualité de l’évaluation était-elle une priorité pour le commanditaire ?

(vs. considérations budgétaires, calendrier, intérêt du commanditaire, etc.)

1. La qualité n’était pas une priorité

2. La qualité était secondaire par rapport à d’autres priorités

3. La qualité était une considération importante, tout en tenant

compte de certaines contraintes

4. La qualité était la priorité (le budget, le calendrier, la méthodologie,

etc. ont été établis en conséquent)

5. n.a.

8 La méthodologie appliquée dans l’évaluation était-elle rigoureuse ? (en

termes de structuration adéquate, de choix justifié des sources

d’information et des outils d’évaluation, etc.)

1. Méthodologie pas du tout rigoureuse

2. Méthodologie peu rigoureuse

3. Méthodologie rigoureuse

4. Méthodologie très rigoureuse

5. n.a.

9 Les données utilisées étaient-elles fiables et « représentatives » ?

(sélection et taille de l’échantillon, existence d’une baseline, équilibre des

données primaires/secondaires, variété des sources d’information, mention

des limites, etc.)

1. Données présentant des problèmes sérieux de fiabilité /

‘représentativité’

2. Données présentant des problèmes de fiabilité / ‘représentativité’

3. Données relativement fiables / ‘représentatives’

4. Données très fiables / ‘représentatives’

5. n.a.

10 L’analyse était-elle solide ? (existence d’une méthodologie et d’outils

d’analyse solides, recours à la triangulation, à la comparaison avant-

après/contrefactuel/…, identification des liens de cause-à-effet, etc.)

1. Problèmes sérieux de solidité de l’analyse

2. Problèmes de solidité de l’analyse

3. Analyse relativement solide

4. Analyse très solide

5. n.a.



11 Les conclusions du rapport étaient-elles claires et étayées par des faits?

(mention des constats sous-jacents, évitement des biais de jugement, etc.)

1. Ensemble de conclusions peu claires et/ou étayées

2. Certaines conclusions peu claires et/ou étayées

3. Ensemble de conclusions claires et étayées

4. Ensemble de conclusions très claires et étayées

5. n.a.

12 Les recommandations du rapport étaient-elles valides et utiles?

(couverture des points clés, intérêt stratégique et opérationnel, valeur

ajoutée, base factuelle, évitement des biais de jugement, etc.)

1. Ensemble de recommandations peu valides ou utiles

2. Ensemble de recommandations de validité ou d’utilité limitée

3. Ensemble de recommandations valides et utiles

4. Ensemble de recommandations très valides et utiles

5. n.a.

13 L’évaluation a-t-elle été soumise à un processus de qualité propre au

bureau d’évaluation ou à l’équipe d’évaluation?

1. Absence de processus de qualité interne à l’évaluation

2. Processus de qualité interne limité

3. Processus de qualité interne structuré

4. Processus de qualité interne structuré avec contrôle qualité externe

à l’équipe d’évaluation

5. n.a.

14 L’évaluation a-t-elle été soumise à un processus de qualité du

commanditaire?

1. Absence de processus de qualité du commanditaire

2. Processus de qualité du commanditaire limité

3. Processus de qualité structuré du commanditaire

4. Processus de qualité structuré du commanditaire, avec contrôle

qualité externe

5. n.a.

15 Ces processus de qualité (des évaluateurs et/ou du commanditaire) ont-ils

contribué à garantir la qualité de l’évaluation ?

1. Pas du tout

2. Peu

3. En partie

4. Fortement

5. n.a.



16 Quels facteurs ont été déterminants pour la qualité du rapport?

16.1 Calendrier


2. Rôle négatif

3. Rôle positif


5. n.a.

16.2 Budget


2. Rôle négatif

3. Rôle positif


5. n.a.

16.3 Méthodologie


2. Rôle négatif

3. Rôle positif


6. n.a.

16.4 Capacité des évaluateurs


2. Rôle négatif

3. Rôle positif


5. n.a.

16.5 Implication des acteurs concernés


2. Rôle négatif

3. Rôle positif


5. n.a.



16.6 Imprévus divers


2. Rôle négatif

3. Rôle positif


5. n.a.

16.7 Autres


2. Rôle négatif

3. Rôle positif


5. n.a.

17 Avez-vous développé ou utilisé des pratiques d’évaluations innovantes

dans votre évaluation ?

1. Absence de pratiques innovantes

2. Utilisation de pratiques innovantes

3. Développement de pratiques innovantes

4. n.a.

18 L’équipe d’évaluation qui a rédigé le rapport sélectionné était composée

de :

1. Evaluateurs externes (bureau d’études ou experts indépendants)

2. Pairs (autres ANG, fédérations, professeurs d’autres

facultés/universités, etc.)

3. Evaluateurs internes (personnel de l’ANG ou associé)

4. n.a.

19 La rédaction du cahier des charges et la sélection des offres et/ou des

évaluateurs visaient-elles l’indépendance de l’évaluation?

1. L’indépendance n’était pas recherchée

2. L’indépendance était secondaire par rapport à d’autres priorités

(budgétaires, temporelles, connaissance du contexte, etc.)

3. L’indépendance était recherchée, de façon assez souple (p.ex.

évaluation par des pairs)

4. L’indépendance était la priorité

5. n.a.



20 Y a-t-il eu des soucis d’indépendance en matière de rédaction des termes

de référence et de sélection des offres et experts ?

- Oui

- Non

21 Conflit d’intérêt potentiel : Tout ou partie des évaluateurs avaient-ils un

lien passé ou présent avec le projet/programme à évaluer, et/ou un lien

fonctionnel ou hiérarchique avec les acteurs du projet/programme?

1. Lien direct

2. Lien partiel ou indirect

3. Aucun lien

4. Aucun lien et signature d’une déclaration d’absence de conflit

d’intérêt

5. n.a.

22 Les conditions étaient-elles réunies pour que l’équipe conduise l’évaluation

en toute indépendance (absence de pressions politiques ou

organisationnelles, accès libre à l’information, etc.)?

1. Fortes contraintes ayant affecté l’indépendance

2. Contraintes ayant légèrement affecté l’indépendance

3. Indépendance, en dépit de certaines contraintes

4. Indépendance totale

5. n.a.


La distribution du questionnaire s’est faite par email. L’email envoyé présentait les

objectifs de l’enquête ainsi que le lien permettant d’accéder au questionnaire en ligne.

Au total l’enquête a été envoyée aux équipes d’évaluation de 65 des 66 rapports pour

lesquelles nous avons trouvé une adresse email.

Le questionnaire a été envoyé le 19 octobre 2012. Il demandait une réponse pour le 2

novembre 2012. Un email de relance quand de besoin a été envoyé le 6 novembre 2012

qui demandait une réponse pour le 16 novembre 2012 au plus tard.

L’enquête a été clôturée le 20 novembre 2012.





donne un taux de réponse en pourcentage de 56,9%. Ce chiffre est élevé, même si

moindre que pour l’enquête auprès des ANG (à laquelle tous les ANG ont répondu sauf

exceptions).




des enquêtes auprès des ANG et des gestionnaires de la DGD, et les informations

provenant d’autres outils d’évaluation (matrice, fiches, entretiens, etc.).






2. Résultats

Les résultats de l’enquête sont distingués en fonction des trois groupes d’ANG:

- ONG

- Universités et institutions scientifiques

- Autres partenaires (syndicats, pouvoirs locaux, etc.)

1. Le besoin fondamental auquel l’évaluation visait à répondre était-il clairement exprimé

dans le cahier des charges (rendre compte des résultats atteints, apprentissage, besoins

particuliers, etc.)?

Type

1 - Besoin

fondamental pas clair

du tout

2 - Besoin fondamental peu clair

3 - Besoin fondament

al clair

4 - Besoin fondamental très clair NA

Sans Répons

e Total

ONG 2 1 13 8 0 1 25



Total 2 3 19 12 0 1 37

ONG 8% 4% 52% 32% 0% 4% 100%

Univ. & Inst. Scient 0% 20% 40% 40% 0% 0%

100%


100%

Total 5% 8% 51% 32%

0

% 3%

100

%



2. Le champ (géographique, thématique, temporel) était-il exprimé clairement dans le cahier des charges ?

Type

1 - Champ pas clair du tout

(existence de fortes

divergences d’interprétatio

n)

2 - Champ peu

clair / (existence de divergences

d’interprétation)

3 - Champ

clairement défini

4 - Champ

très clairemen

t défini NA

Sans Répons

e Total

ONG 1 2 11 10 0 1 25



Total 3 2 11 18 0 3 37

ONG 4% 8% 44% 40% 0% 4%

100

%

Univ. & Inst. Scient 20% 0% 0% 80% 0% 0%

100%


100%

Total 8% 5% 30% 49%

0

% 8%

100

%

3. Le budget de l’évaluation était-il réaliste par rapport aux demandes exprimées dans le cahier des charges ?

Type

1 - Budget pas du

tout réaliste

2 - Budget

peu réaliste

3 -

Budget réaliste

4 - Budget tout à

fait réaliste NA

Sans Réponse Total

ONG 1 7 13 1 2 1 25



Total 2 13 17 1 2 2 37

ONG 4% 28% 52% 4% 8% 4% 100%

Univ. & Inst. Scient 20% 20% 40% 0% 0% 20% 100%




Total 5% 35% 46% 3% 5% 5% 100%

4. Le calendrier de l’évaluation était-il réaliste par rapport aux demandes exprimées dans le cahier des charges ?

Type

1 - Calendrier

pas du tout

réaliste

2 -

Calendrier peu

réaliste

3 - Calendrier

réaliste

4 -

Calendrier tout à fait réaliste NA

Sans Réponse Total

ONG 0 4 12 8 0 1 25

Univ. & Inst.

Scient 0 2 3 0 0 0 5


Total 0 8 20 8 0 1 37

ONG 0% 16% 48% 32% 0% 4% 100%

Univ. & Inst. Scient 0% 40% 60% 0% 0% 0% 100%


Total 0% 22% 54% 22% 0% 3% 100%

5. Les consignes de composition de l’équipe d’évaluation laissaient-elles la flexibilité nécessaire pour constituer une équipe qui puisse mener l’évaluation de la façon la plus efficace et efficiente possible?

Type

1 - Consignes

sur l’équipe inadéquates

ou rigides

2 - Consignes

sur l’équipe laissant peu de

flexibilité

3 - Consignes

sur l’équipe

laissant la flexibilité

nécessaire

4 - Consignes

sur l’équipe laissant

une grande

flexibilité NA

Sans

Réponse Total

ONG 0 2 14 4 3 2 25



Total 0 2 20 9 4 2 37

ONG 0% 8% 56% 16% 12% 8% 100%



Univ. & Inst. Scient 0% 0% 40% 40% 20% 0%

100%


Total 0% 5% 54% 24% 11% 5%

100%

6. Les consignes méthodologiques étaient-elles claires et précises, tout en laissant la flexibilité nécessaire pour définir une approche d’évaluation qui soit la plus efficace et efficiente possible?

Type

1 - Consignes méthodologiq

ues insuffisantes, inadéquates ou rigides


ues peu claires et/ou laissant peu de flexibilité


ues claires, laissant la flexibilité

nécessaire

4 - Consignes

méthodologiques très claires,

laissant une grande

flexibilité NA

Sans Répon

se Tota

l

ONG 1 3 15 6 0 0 25



Total 3 3 24 6 1 0 37

ONG 4% 12% 60% 24% 0% 0% 100%

Univ. & Inst. Scient 20% 0% 80% 0% 0% 0%

100%

Autres Partenaires 14% 0% 71% 0%

14% 0%

100%

Total 8% 8% 65% 16% 3% 0%

100%



7. Les consignes de composition de l’équipe d’évaluation laissaient-elles la flexibilité

nécessaire pour constituer une équipe qui puisse mener l’évaluation de la façon la plus efficace et efficiente possible?

Type

1 - La qualité n'était

pas une priorité

2 - La qualité

était secondaire par rapport des autres priorités

3 - La qualité était une

considération

importante, tout en tenant

compte de certaines

contraintes

4 - La qualité était la priorité NA

Sans Réponse Total

ONG 0 0 13 12 0 0 25



Total 0 0 22 15 0 0 37

ONG 0% 0% 52% 48% 0% 0% 100%

Univ. & Inst. Scient 0% 0% 80% 20% 0% 0% 100%


Total 0% 0% 59% 41% 0% 0% 100%

8. La méthodologie appliquée dans l’évaluation était-elle rigoureuse ? (structuration adéquate, de choix justifié des sources d’information et des outils d’évaluation, etc.)

Type

1 - Méthodologi

e pas du tout

rigoureuse

2 - Méthodolog

ie peu rigoureuse

3 - Méthodolog

ie rigoureuse

4 - Méthodolog

ie très rigoureuse NA

Sans Répons

e Total

ONG 0 3 18 4 0 0 25



Total 0 4 24 9 0 0 37

ONG 0% 12% 72% 16% 0% 0%

100

%

Univ. & Inst. Scient 0% 20% 80% 0% 0% 0%

100%


100%

Total 0% 11% 65% 24%

0

% 0%

100

%



9. Les données utilisées étaient-elles fiables et « représentatives » ? (sélection et taille de l’échantillon, existence d’une baseline, équilibre des données primaires/secondaires,

variété des sources d’information, mention des limites, etc.)

Type

1 - Données présentant

des problèmes sérieux de fiabilité / « représentativité »

2 - Données

présentant des problèmes de fiabilité / « représentativité »

3 - Données relativement fiables / « représentatives »

4 - Données très fiables / « représentatives »

NA

Sans Réponse

Total

ONG 0 5 13 6 1 0 25



Total 0 7 22 7 1 0 37

ONG 0% 20% 52% 24% 4% 0%

100%

Univ. & Inst. Scient 0% 20% 80% 0%

0% 0%

100%

Autres Partenai

res 0% 14% 71% 14%

0

% 0%

100

%

Total 0% 19% 59% 19% 3% 0%

100%



10. L’analyse était-elle solide ? (existence d’une méthodologie et d’outils d’analyse solides, recours à la triangulation, à la comparaison avant-après/contrefactuel/…, identification des

liens de cause-à-effet, etc.)

Type

1 - Problèmes sérieux de

solidité de l’analyse

2 - Problèmes de solidité

de l’analyse

3 - Analyse

relativement solide

4 - Analyse

très solide NA

Sans

Réponse Total

ONG 0 4 14 6 1 0 25

Univ. & Inst.

Scient 0 0 4 1 0 0 5


Total 0 4 23 9 1 0 37

ONG 0% 16% 56% 24% 4% 0% 100%

Univ. & Inst. Scient 0% 0% 80% 20% 0% 0%

100%


100

%

Total 0% 11% 62% 24% 3% 0%

100

%

11. Les conclusions du rapport étaient-elles claires et étayées par des faits? (mention des constats sous-jacents, évitement des biais de jugement, etc.)

Type

1 - Ensemble

de conclusion

s peu claires et/ou

étayées

2 - Certaines conclusion

s peu claires et/ou

étayées

3 - Ensemble

de conclusions claires et

étayées

4 - Ensemble

de conclusion

s très claires et

étayées NA

Sans Répons

e Total

ONG 0 2 16 7 0 0 25



Total 0 2 21 13 1 0 37

ONG 0% 8% 64% 28% 0% 0% 100



%

Univ. & Inst.

Scient 0% 0% 40% 40%

20

% 0%

100

%


Total 0% 5% 57% 35% 3% 0%

100

%

12. Les conclusions du rapport étaient-elles utiles? (couverture des points clés, intérêt

stratégique et opérationnel, valeur ajoutée, etc.)

Type

1 -

Ensemble de conclusionsde peu d’utilité

2 - Ensemble

de conclusions d’utilité limitée

3 -

Ensemble de conclusions utiles

4 - Ensemble

de conclusions très utiles NA

Sans Réponse Total

ONG 0 1 14 8 1 1 25



Total 0 1 19 14 2 1 37

ONG 0% 4% 56% 32% 4% 4% 100%

Univ. & Inst.

Scient 0% 0% 60% 20%

20

% 0% 100%


Total 0% 3% 51% 38% 5% 3% 100%



13. Les recommandations du rapport étaient-elles valides et utiles? (couverture des points

clés, intérêt stratégique et opérationnel, valeur ajoutée, base factuelle, évitement des biais

de jugement, etc.)

Type

1 - Ensemble

de recommandations peu valides ou utiles

2 - Ensemble de

recommandations de validité ou d’utilité limitée

3 - Ensemble de recommandations valides et utiles

4 - Ensemble

de recommandations très valides et utiles NA

Sans Réponse

Total

ONG 0 1 16 5 2 1 25

Univ. &

Inst. Scient 0 0 3 0 1 1 5


Total 0 1 23 8 3 2 37

ONG 0% 4% 64% 20% 8% 4% 100%


20% 20%

100%

Autres

Partenaires 0% 0% 57% 43% 0% 0%

100%

Total 0% 3% 62% 22% 8% 5%

100%

14. L’évaluation a-t-elle été soumise à un processus de qualité du commanditaire?

Type

1 - Absence de processus de qualité du

commanditai

re

2 - Processus de qualité du

commanditai

re limité

3 - Processus de qualité structuré du

commanditai

re

4 -

Processus de qualité structuré du commanditaire avec contrôle

qualité

externe NA

Sans

Répons

e Total

ONG 5 6 9 1 2 2 25



Total 6 7 15 1 3 5 37



ONG 20% 24% 36% 4% 8% 8% 100%

Univ. & Inst. Scient 20% 0% 80% 0% 0% 0%

100%


14% 43%

100%

Total 16% 19% 41% 3% 8% 14% 100%

15. Ces processus de qualité (des évaluateurs et/ou du commanditaire) ont-ils contribué à garantir la qualité de l’évaluation ?

Type 1 - Pas du tout 2 - Peu

3 - En partie

4 -

Fortement NA

Sans Réponse Total

ONG 0 1 16 6 1 1 25


Autres


Total 0 1 23 9 3 1 37

ONG 0% 4% 64% 24% 4% 4% 100%

Univ. & Inst.

Scient 0% 0% 80% 0% 20% 0% 100%


Total 0% 3% 62% 24% 8% 3% 100%

16. Quels facteurs ont été déterminants pour la qualité du rapport?

16.1. Calendrier

Type

1 - Rôle

négatif important

2 - Rôle négatif

3 - Rôle positif

4 - Rôle

positif important NA

Sans Réponse Total

ONG 0 5 12 5 1 2 25



Total 1 7 18 7 1 3 37



ONG 0% 20% 48% 20% 4% 8% 100%

Univ. & Inst. Scient 20% 20% 40% 0% 0% 20% 100%


Total 3% 19% 49% 19% 3% 8% 100%

16.2. Budget

Type

1 - Rôle négatif

important

2 - Rôle négatif

2

3 - Rôle

positif

4 - Rôle positif

important NA

Sans

Réponse Total

ONG 1 6 9 1 5 3 25



Total 1 12 11 3 5 5 37

ONG 4% 24% 36% 4% 20% 12% 100%

Univ. & Inst. Scient 0% 20% 20% 20% 0% 40% 100%


Total 3% 32% 30% 8% 14% 14% 100%

16.3. Quels facteurs ont été déterminants pour la qualité du rapport?

[Méthodologie]

Type

1 - Rôle négatif

important 2 - Rôle négatif

3 - Rôle positif

4 - Rôle positif

important NA Sans

Réponse Total

ONG 0 0 8 16 0 1 25



Total 0 0 12 24 0 1 37

ONG 0% 0% 32% 64% 0% 4% 100%

Univ. & Inst. Scient 0% 0% 40% 60% 0% 0% 100%


Total 0% 0% 32% 65% 0% 3% 100%

16.4. Capacité des évaluateurs



Type

1 - Rôle

négatif important

2 - Rôle négatif

3 - Rôle positif

4 - Rôle

positif important NA

Sans Réponse Total

ONG 0 0 7 17 1 0 25



Total 0 0 11 25 1 0 37

ONG 0% 0% 28% 68% 4% 0% 100%

Univ. & Inst. Scient 0% 0% 40% 60% 0% 0% 100%


Total 0% 0% 30% 68% 3% 0% 100%

16.5. Implication des différents types d’acteurs

Type

1 - Rôle négatif


3 - Rôle positif

4 - Rôle positif

important NA Sans

Réponse Total

ONG 0 1 7 15 1 1 25



Total 0 1 11 23 1 1 37

ONG 0% 4% 28% 60% 4% 4% 100%

Univ. & Inst. Scient 0% 0% 40% 60% 0% 0% 100%


Total 0% 3% 30% 62% 3% 3% 100%



16.6. Autres (à préciser dans la boîte de commentaires)

Type

1 - Rôle négatif


3 - Rôle positif

4 - Rôle positif

important NA Sans

Réponse Total

ONG 1 0 3 1 7 13 25



Total 1 2 3 3 10 18 37

ONG 4% 0% 12% 4% 28% 52% 100%

Univ. & Inst. Scient 0% 20% 0% 20% 0% 60% 100%


Total 3% 5% 8% 8% 27% 49% 100%

17. Avez-vous développé ou utilisé des pratiques d’évaluations innovantes dans votre

évaluation?

Type

1 - Rôle négatif


3 - Rôle positif NA

Sans Réponse Total

ONG 7 5 8 2 3 25

Univ. & Inst. Scient 2 0 1 1 1 5

Autres Partenaires 5 1 0 0 1 7

Total 14 6 9 3 5 37

ONG 28% 20% 32% 8% 12% 100%

Univ. & Inst. Scient 40% 0% 20% 20% 20% 100%


Total 38% 16% 24% 8% 14% 100%


MÉTA-ÉVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX -ANNEXES 23

18. L’équipe d’évaluation qui a rédigé le rapport sélectionné était composée de:

Type

1 - Rôle négatif

important 2 - Rôle négatif 2

3 - Rôle positif NA

Sans Réponse Total

ONG 22 0 1 0 2 25

Univ. & Inst. Scient 4 1 0 0 0 5

Autres Partenaires 6 1 0 0 0 7

Total 32 2 1 0 2 37

ONG 88% 0% 4% 0% 8% 100%

Univ. & Inst. Scient 80% 20% 0% 0% 0% 100%


Total 86% 5% 3% 0% 5% 100%

19. La rédaction du cahier des charges et la sélection des offres et/ou des évaluateurs

visaient-elles l’indépendance de l’évaluation?

Type

1 - L’indépendance n'était pas recherchée

2 -

L’indépendance était secondaire par rapport à d’autres priorités

(budgétaires

, temporelles, connaissance du contexte, etc.)

3 - L’indépendance était

recherchée,

de façon assez souple (p.ex. évaluation par des pairs)

4 - L’indépendance était la priorité NA

Sans Réponse Total

ONG 0 5 6 9 4 1 25



Total 0 5 8 16 5 3 37

ONG 0% 20% 24% 36% 16% 4%

100%


20% 20%

100%


100%

Total 0% 14% 22% 43% 14% 8%

100%



20. Y a-t-il eu des soucis d’indépendance en matière de rédaction du cahier des charges

et de sélection des offres et experts?

Type Oui Non Sans Réponse Total

ONG 2 18 5 25

Univ. & Inst. Scient 0 5 0 5

Autres Partenaires 0 6 1 7

Total 2 29 6 37

ONG 8% 72% 20% 100%

Univ. & Inst. Scient 0% 100% 0% 100%


Total 5% 78% 16% 100%

21. Conflit d’intérêt potentiel: Tout ou partie des évaluateurs avaient-ils un lien passé ou

présent avec le projet/programme à évaluer, et/ou un lien fonctionnel ou

hiérarchique avec les acteurs du projet/programme?

Type

1 - Lien

direct

2 - Lien partiel ou

indirect

3 - Aucun

lien

4 - Aucun lien et

signature d’une déclaration d’absence de conflit

d’intérêt NA

Sans

Réponse Total

ONG 0 3 20 1 0 1 25



Total 0 3 31 2 0 1 37

ONG 0% 12% 80% 4% 0% 4% 100%

Univ. & Inst. Scient 0% 0% 100% 0% 0% 0% 100%


Total 0% 8% 84% 5% 0% 3% 100%


MÉTA-ÉVALUATION DES PROGRAMMES DES ACTEURS NON-GOUVERNEMENTAUX -ANNEXES 25

22. Les conditions étaient-elles réunies pour que l’équipe conduise l’évaluation en toute

indépendance (absence de pressions politiques ou organisationnelles, accès libre à

l’information, etc.)?

Type

1 - Fortes contraintes ayant affecté l’indépendance

2 -

Contraintes ayant légèrement affecté l’indépendance

3 - Indépendance, en dépit de certaines contraintes

4 - Indépendance totale NA

Sans Réponse Total

ONG 0 1 5 17 0 2 25



Total 0 1 7 27 0 2 37

ONG 0% 4% 20% 68% 0% 8%

100%


0% 0%

100%


0% 0%

100%

Total 0% 3% 19% 73%

0

% 5%

100

%


Annexe 10 - Enquête DGD

1. PROCESSUS ............................................................................................. 2

1.1 LE GROUPE CIBLE ................................................................................... 2

1.2 LE QUESTIONNAIRE................................................................................. 2

1.1 LA DISTRIBUTION DU QUESTIONNAIRE ET SON CALENDRIER ................................ 14

1.2 LE TAUX DE REPONSES ET L’ANALYSE DES DONNEES ......................................... 14

2. RESULTATS ........................................................................................... 15



1. Processus

1.1 Le groupe cible

Le groupe cible de cette enquête en ligne était l’ensemble des personnse qui ont été

gestionnaires d’un ou de plusieurs programme(s) d’ANG durant la période 2008-2013 à

la Direction générale de la Coopération au développement (DGD). Ces gestionnaires

faisaient ainsi partie de l’(ex-)direction D3 ‘Programmes non gouvernementaux’ (avant la

réforme organisationnelle de 2012) :

(ex-)D3.1 « ONG »

(ex-)D3.2 « Universités et institutions scientifiques »

(ex-)D3.3 « Autres partenaires »: syndicats, pouvoirs locaux et autres »





d’ANG.







néerlandais.

Notons que les gestionnaires avaient généralement été en charge de plusieurs ANG. Il

était ainsi difficile de leur demander un avis sur un rapport en particulier. Les

questionnaire a tenu compte de cette contrainte dans la formulation des questions. Les

réponses donnent donc une indication sur la proportion du nombre de

gestionnaires ayant une certaine opinion, et pas sur la proportion du nombre de

rapports ou d’ANG sur lesquels sont basés ces vues.




1 Type d’ANG dont vous aviez la charge du suivi (directement ou

indirectement) : (veuillez cochez une ou plusieurs cases)

1. Organisations non gouvernementales (ONG)

2. Universités et institutions scientifiques

3. Autres partenaires (pouvoirs locaux, syndicats, etc.)

4. N.a.

2 Nombre total de programmes d’ANG pour la période 2008-2010 pour

le(s)quel(s) vous avez été impliqué(e) dans leur suivi (afin d’estimer le

nombre de programmes sur lequel porteront vos réponses à l’enquête) :

1. 1-3

2. 4-6

3. 7-10

4. >10

3 Les exigences formelles de la DGD (cadre réglementaire : directives, arrêtés,

documents de référence, etc.) en matière d’évaluation des programmes des

ANG étaient-elles suffisamment claires et précises pour que les ANG puissent

organiser leur(s) évaluation(s) et pour que celle(s)-ci soi(en)t satisfaisante(s)

aux yeux de la DGD?

3.1. Objectifs de l’évaluation (p.ex. rendre compte sur les résultats et/ou tirer des

leçons en termes d’apprentissage)

1. Exigences formelles pas du tout claires ni précises

2. Exigences formelles peu claires ou précises



5. Pas d’exigences formelles

6. Je ne sais pas

3.2. Objet de d’évaluation (p.ex. programme triennal cofinancé, activités

spécifiques, volets Nord/Sud, etc.)






6. Je ne sais pas



3.3. ‘Moment’ de l’évaluation (ex ante, à mi-parcours, ex post ou autre)






6. Je ne sais pas

3.4. Critères d’évaluation (pertinence, efficacité, efficience, impact, durabilité,

thèmes transversaux, etc.)






6. Je ne sais pas

3.5. Méthodologie d’évaluation (p.ex. cadre logique, outils d’évaluation,

indicateurs, etc.)






6. Je ne sais pas

3.6. Mesures favorisant l’indépendance de l’évaluation (p.ex. évaluateurs

externes)






6. Je ne sais pas

3.7. Mesures favorisant la qualité et la crédibilité de l’évaluation (p.ex. contrôle

qualité, diffusion publique du rapport, etc.)






6. Je ne sais pas



3.8. Rôle de la DGD dans l’évaluation (p.ex. membre d’un comité de pilotage,

conseiller méthodologique, participation à la prise de décision, aucun rôle,

etc.)






6. Je ne sais pas

3.9. Envoi du rapport d’évaluation à la DGD






6. Je ne sais pas

4 Les exigences informelles de la DGD (interactions entre les gestionnaires de

la DGD et les ANG, au-delà du strict cadre réglementaire) en matière

d’évaluation des programmes des ANG étaient-elles suffisamment claires et

précises pour que les ANG puissent organiser leur(s) évaluation(s) et pour

que celle(s)-ci soi(en)t satisfaisante(s) aux yeux de la DGD?



- Je n’ai donné aucune indication additionnelle au cadre réglementaire

- J’ai donné des clarifications sur le cadre réglementaire, sans ajouter

d’instructions

- J’ai donné des instructions additionnelles (personnelles ou non) au

cadre réglementaire strict

- n.a.





d’instructions



- n.a.



4.3. ‘Moment’ de l’évaluation (ex ante, à mi-parcours, ex post ou autre)



d’instructions



- n.a.





d’instructions



- n.a.


indicateurs, etc.)



d’instructions



- n.a.


externes)



d’instructions



- n.a.





d’instructions



- n.a.



etc.)





d’instructions



- n.a.




d’instructions



- n.a.

5 Y a-t-il eu des problèmes en matière de respect des exigences formelles et

informelles de la DGD (divergences d’interprétation, non-respect des règles,

etc.),?



1. Problèmes de respect des exigences importants et fréquents

2. Problèmes de respect des exigences fréquents

3. Problèmes de respect des exigences peu importants et peu fréquents

4. Aucun problème de respect des exigence

5. Je ne sais pas

6. n.a.

5.2. Objet de d’évaluation (p.ex. programme triennal cofinancé, activités

spécifiques, volets Nord/Sud, etc.)




4. Aucun problème de respect des exigences

5. Je ne sais pas

6. n.a.

5.3. Moment’ de l’évaluation (ex ante, à mi-parcours, ex post ou autre)







5. Je ne sais pas

6. n.a.







5. Je ne sais pas

6. n.a.


indicateurs, etc.)





5. Je ne sais pas

6. n.a.


externes)





5. Je ne sais pas

6. n.a.









5. Je ne sais pas

6. n.a.



etc.)





5. Je ne sais pas

6. n.a.






5. Je ne sais pas

6. n.a.

6 Les exigences formelles et informelles de la DGD ont-elles donné aux ANG la

marge de manœuvre nécessaire à la conduite d’évaluations solides et utiles?

1. Exigences très rigides limitant la solidité et/ou l’utilité de l’évaluation

2. Exigences relativement rigides

3. Exigences relativement flexibles

4. Exigences flexibles garantissant la solidité et l’utilité de l’évaluation

5. Je ne sais pas

6. n.a.



7 Les capacités en matière d’évaluation des ANG dont vous aviez la charge du

suivi ont-elles évolué depuis 2007 (p.ex. renforcement des connaissances de

la pratique du personnel, développement de bonnes pratiques, etc.)?

1. Statu quo ou diminution des capacités dans la plupart des cas

2. Augmentation limitée des capacités dans la plupart des cas

3. Augmentation tangible des capacités dans la plupart des cas

4. Augmentation forte des capacités dans la plupart des cas

5. Je ne sais pas

6. n.a.

8 Dans quelle mesure jugez-vous que les rapports d’évaluation des ANG dont

vous aviez la charge du suivi étaient de qualité, sur la base des critères

suivants ?

8.1 Rigueur de la méthodologie (structuration adéquate, choix justifié des

sources d’information, des outils d’évaluation, etc.)

1. Problèmes de qualité importants et fréquents

2. Problèmes de qualité fréquents

3. Souvent de bonne qualité

4. Toujours de très bonne qualité

5. Je ne sais pas

6. n.a.

8.2

Fiabilité et « représentativité » des données? (sélection et taille de

l’échantillon, existence d’une ‘baseline’, équilibre des données

primaires/secondaires, variété des sources d’information, mention des

limites, etc.)





5. Je ne sais pas

6. n.a.

8.3 Solidité de l’analyse (recours à la triangulation/vérification des informations,

comparaisons avant-après/contrefactuel/…, identification des liens de cause à

effet, etc.)





5. Je ne sais pas

6. n.a.



8.4 Validité des conclusions (couverture des points clés, intérêt stratégique et

opérationnel, valeur ajoutée, base factuelle, évitement des biais de

jugement, etc.)





5. Je ne sais pas

6. n.a.

8.5 Validité des recommandations (couverture des points clés, intérêt stratégique

et opérationnel, valeur ajoutée, base factuelle, évitement des biais de

jugement, etc.)





5. Je ne sais pas

6. n.a.

9 Considérez-vous - à titre strictement personnel - que les évaluations des

programmes d’ANG doivent être indépendantes?

1. L’indépendance n’est pas une prioritaire dans ce contexte

2. L’indépendance est secondaire par rapport à d’autres priorités

(budgétaires, temporelles, contextuelles, etc.)

3. L’indépendance doit être recherchée, en tenant compte des

contraintes qui pèsent sur l’évaluation

4. L’indépendance constitue la priorité

n.a.

10 Considérez-vous que les évaluations ont été conduites en toute

indépendance dans leur ensemble ? (appels d’offres rigoureux, choix justifié

des experts, absence de conflit d’intérêt des évaluateurs, absence de

pression sur les évaluateurs, etc.)

1. Certains faits et/ou vues mettent en évidence que certaines conditions

n’étaient pas réunies pour assurer l’indépendance de nombreuses

évaluation

2. Certains faits et/ou vues mettent en évidence que certaines conditions

n’étaient pas réunies pour assurer l’indépendance d’une ou plusieurs

évaluation

3. Certains faits et/ou vues mettent en évidence que toutes les

conditions étaient réunies pour assurer l’indépendance de toutes les

évaluations

4. Il y a consensus autour de l’indépendance de l’évaluation dans tous

les cas, et ce alors que des risques importants pesaient sur cette

indépendance (p.ex. évaluation d’un programme controversé,

conclusions très négatives du rapport)



11 Considérez-vous que les évaluations étaient crédibles? (indépendance,

expertise des évaluateurs, solidité de la méthodologie et de l’analyse, qualité

et clarté du rapport)

1. Majorité d’évaluations peu crédibles

2. Un ou plusieurs cas d’évaluation peu crédibles

3. Majorité d’évaluations crédibles

4. Totalité d’évaluations crédibles

5. Je ne sais pas

6. n.a.

12 Avez-vous eu accès au rapport final (et annexes) des évaluations?

1. Rarement

2. Peu souvent

3. Dans la plupart des cas


5. Je ne sais pas

6. n.a

13 Avez-vous reçu ces rapports d’évaluation spontanément de la part des ANG

ou en avez-vous fait la demande expresse ?

1. Rapports non envoyés par l’ANG et absence de demande expresse de

la DGD dans la plupart des cas

2. Rapports envoyés par l’ANG suite à une demande expresse de la DGD

dans plusieurs cas

3. Rapports envoyés spontanément par les ANG dans tous les cas

4. Je ne sais pas

5. n.a.

14 Avez-vous examiné la prise en compte par les ANG des leçons apprises et

recommandations du rapport d’évaluation (réponse managériale formelle,

développement d’un plan d’actions, etc.)

1. Rarement

2. Peu souvent

3. Dans la plupart des cas


5. Je ne sais pas

6. n.a.

15 Dans quelle mesure ces rapports d’évaluation ont-ils une valeur ajoutée dans

votre travail de suivi des programmes des ANG, en plus du rapportage

narratif et financier?

1. Les rapports ont une faible valeur ajoutée dans la plupart des cas

2. Les rapports ont peu souvent une valeur ajoutée

3. Les rapports ont une valeur ajoutée dans la plupart des cas

4. Les rapports ont une grande valeur ajoutée dans la plupart des cas

5. Je ne sais pas

6. n.a.



16 Utilisez-vous ces rapports d’évaluation dans le cadre du dialogue politique

avec les ANG?

1. Rarement

2. Peu souvent

3. Souvent


5. Je ne sais pas

6. n.a.

17 La DGD est-elle organisée de manière à maximiser l’utilisation des

évaluations des programmes des ANG ? (p.ex. stockage et circulation de

l’information, etc.)

1. Fort mal organisée

2. Relativement mal organisée

3. Relativement bien organisée

4. Très bien organisée

5. Je ne sais pas

6. n.a.

18 Pourriez-vous indiquer les points forts et points faibles de l’organisation de la

DGD du point de vue de la maximalisation de l’utilisation des évaluations des

programmes des ANG ?

19 Avez-vous des suggestions d’amélioration sur l’utilisation des évaluations par

la DGD ?

20 Remarque finale : Y a-t-il d’autres points pertinents que vous aimeriez nous

communiquer dans le cadre de la méta-évaluation ? (p.ex. :

recommandations particulières pour les directives futures de la DGD en

matière d’évaluation des programmes des ANG cofinancés ?)




La distribution du questionnaire s’est faite par email. L’email présentait les objectifs de

l’enquête ainsi que le lien permettant d’accéder au questionnaire en ligne.

Au total l’enquête a été envoyée aux 24 gestionnaires présents sur la liste envoyée par

le Service de l’évaluation spéciale.

Le questionnaire a été envoyé le 24 octobre 2012. Il demandait une réponse pour le 9

novembre 2012. Un email de relance quand de besoin a été envoyé le 13 novembre

2012 et demandait une réponse avant le 23 novembre 2012.

L’enquête à été clôturée le 6 décembre 2012.



donne un taux de réponse en pourcentage de 70,8%. Ce chiffre élevé nous permet de

considérer les résultats obtenus comme représentatifs.




des enquêtes auprès des ANG et des évaluateurs, et les informations provenant d’autres

outils d’évaluation (matrice, fiches, entretiens, etc.).






2. Résultats

Les résultats de l’enquête sont répartis en deux groupes de gestionnaires:

Les gestionnaires de l’(ex-)D3.1 « ONG »

Les gestionnaires de l’(ex-)D3.2 « Universités et institutions scientifiques » et D3.3

« Autres partenaires » - ceux-ci ont été groupés afin d’obtenir une certaine masse

critique pour le traitement des réponses et pour assurer l’anonymat des réponses.

1. Type d’ANG dont vous aviez la charge du suivi (directement ou indirectement)

Type ONG

Universités et

institution

s

scientifiques

Autres partenaire

s (pouvoirs

locaux,

syndicats, etc.) NA

Sans Réponse Total

D3.1 11 0 1 0 0 11

D3.2+D3.3 2 3 5 0 0 9

Total 13 3 6 0 0 20

D3.1 100% 0% 9% 0% 0% 100%

D3.2+D3.3 22% 33% 56% 0% 0% 100%

Total 65% 15% 30% 0% 0% 100%

2. Nombre total de programmes d’ANG pour la période 2008-2010 pour le(s)quel(s) vous

avez été impliqué(e) dans leur suivi (afin d’estimer le nombre de programmes sur lequel

porteront vos réponses à l’enquête):

Type 1-3 4-6 7-10 >10 NA Sans

Réponse Total

D3.1 1 5 4 1 0 0 11

D3.2+D3.3 4 2 1 2 0 0 9

Total 5 7 5 3 0 0 20

D3.1 9% 45% 36% 9% 0% 0% 100%

D3.2+D3.3 44% 22% 11% 22% 0% 0% 100%

Total 25% 35% 25% 15% 0% 0% 100%

1. Les exigences formelles de la DGD (cadre réglementaire : directives, arrêtés,

documents de référence, etc.) en matière d’évaluation des programmes des ANG

étaient-elles suffisamment claires et précises pour que les ANG puissent organiser

leur(s) évaluation(s) et pour que celle(s)-ci soi(en)t satisfisante(s) aux yeux de la

DGD?

3.1. Objectifs d’évaluation



Type

1- Exigences

formelle pas du

tout claires ni précises

2 -

Exigences formelles

peu claires ou

précises

3 -

Exigences formelles

relativement claires

et précises

4 -

Exigences formelles tout à fait claires et précises

Je ne sais pas

Pas d’exigences formelles Total

D3.1 0 1 3 1 0 4 9

D3.2+D3.3 0 0 3 3 1 0 7

Total 0 1 6 4 1 4 16

D3.1 0% 11% 33% 11% 0% 44% 100%

D3.2+D3.3 0% 0% 43% 43% 14% 0% 100%

Total 0% 6% 38% 25% 6% 25% 100%

3.2. Objet d’évaluation

Type

1- Exigences formelle pas du tout

claires ni précises

2 - Exigences formelles peu claires

ou précises

3 - Exigences formelles relativeme

nt claires et précises

4 - Exigences formelles tout à fait

claires et précises

Je ne sais pas

Pas

d’exigences formelles Total

D3.1 0 3 0 2 0 4 9

D3.2+D3.3 0 0 2 4 1 0 7

Total 0 3 2 6 1 4 16

D3.1 0% 33% 0% 22% 0% 44% 100%

D3.2+D3.3 0% 0% 29% 57% 14% 0% 100%

Total 0% 19% 13% 38% 6% 25% 100%



3.3. Moment d’évaluation

Type

1- Exigences formelle pas du tout claires ni

précises

2 - Exigences formelles peu claires ou

précises

3 - Exigences formelles relativement claires et

précises

4 - Exigences formelles tout à fait claires et

précises

Je ne

sais pas

Pas d’exigences

formelles Total

D3.1 0 2 1 2 0 4 9

D3.2+D3.3 0 0 3 3 1 0 7

Total 0 2 4 5 1 4 16

D3.1 0% 22% 11% 22% 0% 44% 100%

D3.2+D3.3 0% 0% 43% 43% 14% 0% 100%

Total 0% 13% 25% 31% 6% 25% 100%

3.4. Critères de l'évaluation

Type

1- Exigences

formelle pas du

tout claires ni précises

2 - Exigences

formelles peu

claires ou précises

3 - Exigences

formelles relative

ment claires et précises

4 - Exigences

formelles tout à

fait claires et précises

Je ne sais pas


D3.1 1 1 2 1 1 2 8

D3.2+D3.

3 0 0 4 2 1 0 7

Total 1 1 6 3 2 2 15

D3.1 13% 13% 25% 13% 13% 25% 100%

D3.2+D3.3 0% 0% 57% 29% 14% 0% 100%

Total 7% 7% 40% 20% 13% 13% 100%



3.5. Méthodologie de l'évaluation

Type

1-

Exigences formelle pas du tout claires ni précises

2 - Exigences formelles peu claires ou précises

3 -

Exigences formelles relativement claires et précises

4 -


Je ne sais pas


D3.1 1 0 2 2 1 3 9

D3.2+D3.3 0 0 3 2 1 1 7

Total 1 0 5 4 2 4 16

D3.1 11% 0% 22% 22% 11% 33% 100%

D3.2+D3.3 0% 0% 43% 29% 14% 14% 100%

Total 6% 0% 31% 25% 13% 25% 100%

3.6. Mesures favorisant l'indepéndance de l'évaluation

Type

1- Exigences formelle

pas du tout claires ni

précises

2 - Exigences

formelles peu claires ou

précises

3 - Exigences formelles

relativement claires et

précises

4 - Exigences formelles

tout à fait claires et

précises

Je ne

sais pas

Pas d’exigences

formelles Total

D3.1 0 1 2 2 1 3 9

D3.2+D3.3 0 0 2 3 1 1 7

Total 0 1 4 5 2 4 16

D3.1 0% 11% 22% 22% 11% 33% 100%

D3.2+D3.3 0% 0% 29% 43% 14% 14% 100%

Total 0% 6% 25% 31% 13% 25% 100%



3.7. Mesures favorisant la qualité et la credibilité de l'évaluation

Type

1-

Exigences formelle pas du tout claires ni précises

2 - Exigences formelles peu claires ou précises

3 -

Exigences formelles relativement claires et précises

4 -


Je ne sais pas


D3.1 1 2 0 1 1 4 9

D3.2+D3.3 0 1 3 0 1 2 7

Total 1 3 3 1 2 6 16

D3.1 11% 22% 0% 11% 11% 44% 100%

D3.2+D3.

3 0% 14% 43% 0% 14% 29% 100%

Total 6% 19% 19% 6% 13% 38% 100%

3.8. Rôle de la DGD dans l'évaluation

Type

1-

Exigences formelle

pas du tout claires ni précises

2 - Exigences

formelles peu claires ou précises

3 -

Exigences formelles

relativement claires et précises

4 -

Exigences formelles

tout à fait claires et précises

Je ne sais pas


D3.1 0 0 0 1 1 5 7

D3.2+D3.3 1 0 3 2 1 1 8

Total 1 0 3 3 2 6 15

D3.1 0% 0% 0% 14% 14% 71% 100%

D3.2+D3.3 13% 0% 38% 25% 13% 13% 100%

Total 7% 0% 20% 20% 13% 40% 100%



3.9. Envoi du rapport de l'évaluation à la DGD

Type

1- Exigences formelle pas du tout

claires ni précises

2 - Exigences formelles peu

claires ou précises

3 - Exigences formelles relativement


4 - Exigences formelles tout à fait


Je ne sais pas

Pas

d’exigences formelles Total

D3.1 0 1 1 4 1 1 8

D3.2+D3.3 0 0 1 5 1 0 7

Total 0 1 2 9 2 1 15

D3.1 0% 13% 13% 50% 13% 13% 100%

D3.2+D3.3 0% 0% 14% 71% 14% 0% 100%

Total 0% 7% 13% 60% 13% 7% 100%

2. Les exigences informelles de la DGD (interactions entre les gestionnaires de la

DGD et les ANG, au-delà du strict cadre réglementaire) en matière d’évaluation

des programmes des ANG étaient-elles suffisamment claires et précises pour que

les ANG puissent organiser leur(s) évaluation(s) et pour que celle(s)-ci soi(en)t

satisfisante(s) aux yeux de la DGD?

4.1. Objectifs de l'évaluation

Type

J’ai donné des instructions

additionnelles (personnelles

ou non) au cadre

réglementaire

strict

J’ai donné des clarifications sur le cadre

réglementaire, sans ajouter

d’instructions

Je n’ai donné aucune

indication additionnelle

au cadre

réglementaire

Je ne

sais pas NA Total

D3.1 3 4 1 0 0 8

D3.2+D3.3 2 2 1 1 1 7

Total 5 6 2 1 1 15

D3.1 38% 50% 13% 0% 0% 100%

D3.2+D3.3 29% 29% 14% 14% 14% 100%

Total 33% 40% 13% 7% 7% 100%



4.2. Objet de l'évaluation

Type


additionnelles

(personnelles ou non) au

cadre réglementaire

strict

J’ai donné des

clarifications sur le cadre


d’instructions

Je n’ai donné

aucune indication

additionnelle au cadre

réglementaire

Je ne sais pas NA Total

D3.1 3 3 2 0 0 8

D3.2+D3.3 2 1 2 1 1 7

Total 5 4 4 1 1 15

D3.1 38% 38% 25% 0% 0% 100%

D3.2+D3.3 29% 14% 29% 14% 14% 100%

Total 33% 27% 27% 7% 7% 100%

4.3. Moment de l'évaluation

Type



ou non) au

cadre

réglementaire strict


réglementaire,

sans ajouter d’instructions


indication

additionnelle

au cadre réglementaire

Je ne

sais pas NA Total

D3.1 3 4 1 0 0 8

D3.2+D3.3 2 2 1 1 1 7

Total 5 6 2 1 1 15

D3.1 38% 50% 13% 0% 0% 100%

D3.2+D3.3 29% 29% 14% 14% 14% 100%

Total 33% 40% 13% 7% 7% 100%




Type


additionnelles



strict

J’ai donné des



d’instructions

Je n’ai donné

aucune indication


réglementaire


D3.1 3 4 1 0 0 8

D3.2+D3.3 2 2 1 1 1 7

Total 5 6 2 1 1 15

D3.1 38% 50% 13% 0% 0% 100%

D3.2+D3.3 29% 29% 14% 14% 14% 100%

Total 33% 40% 13% 7% 7% 100%


Type



ou non) au

cadre



réglementaire,



indication

additionnelle


Je ne

sais pas NA Total

D3.1 1 4 2 0 1 8

D3.2+D3.3 2 1 2 1 1 7

Total 3 5 4 1 2 15

D3.1 13% 50% 25% 0% 13% 100%

D3.2+D3.3 29% 14% 29% 14% 14% 100%

Total 20% 33% 27% 7% 13% 100%



4.6. Mesures pour favoriser l'indépendance de l'évaluation

Type


additionnelles



strict

J’ai donné des



d’instructions

Je n’ai donné

aucune indication


réglementaire


D3.1 1 3 3 0 1 8

D3.2+D3.3 3 1 1 1 1 7

Total 4 4 4 1 2 15

D3.1 13% 38% 38% 0% 13% 100%

D3.2+D3.3 43% 14% 14% 14% 14% 100%

Total 27% 27% 27% 7% 13% 100%

4.7. Mesures pour favoriser la qualité et la crédibilité de l'évaluation

Type


additionnelles



strict

J’ai donné des



d’instructions

Je n’ai donné

aucune indication


réglementaire


D3.1 1 0 5 1 1 8

D3.2+D3.3 0 4 1 1 1 7

Total 1 4 6 2 2 15

D3.1 13% 0% 63% 13% 13% 100%

D3.2+D3.3 0% 57% 14% 14% 14% 100%

Total 7% 27% 40% 13% 13% 100%




Type



ou non) au cadre



réglementaire,



indication additionnelle


Je ne

sais pas NA Total

D3.1 0 1 6 0 0 7

D3.2+D3.3 1 2 2 1 1 7

Total 1 3 8 1 1 14

D3.1 0% 14% 86% 0% 0% 100%

D3.2+D3.3 14% 29% 29% 14% 14% 100%

Total 7% 21% 57% 7% 7% 100%

4.9. Envoi du rapport d'évaluation à la DGD

Type


additionnelles



strict

J’ai donné des



d’instructions

Je n’ai donné

aucune indication


réglementaire


D3.1 4 2 0 1 0 7

D3.2+D3.3 2 0 3 1 1 7

Total 6 2 3 2 1 14

D3.1 57% 29% 0% 14% 0% 100%

D3.2+D3.3 29% 0% 43% 14% 14% 100%

Total 43% 14% 21% 14% 7% 100%



5. Y a-t-il eu des problèmes en matière de respect des exigences formelles et

informelles de la DGD (divergences d’interprétation, non-respect des règles,

etc.)?

5.1. Objectifs de l'évaluation

Type

1 - Problèmes de respect des exigences important

s et fréquents

2 - Problèmes de respect des

exigences fréquents

3 - Problèmes de respect des exigences peu important

s et peu fréquents

4 - Aucun problème de respect des

exigences

Je ne

sais pas NA Total

D3.1 0 3 3 2 0 0 8

D3.2+D3.3 0 0 3 3 1 0 7

Total 0 3 6 5 1 0 15

D3.1 0% 38% 38% 25% 0% 0% 100%

D3.2+D3.3 0% 0% 43% 43% 14% 0% 100%

Total 0% 20% 40% 33% 7% 0% 100%

5.2. Objet de l'évaluation

Type

1 - Problèmes de respect des exigences

importants et fréquents

2 - Problèmes de respect

des exigences fréquents

3 - Problèmes de respect des exigences peu

importants et peu fréquents

4 - Aucun problème de respect

des exigences


D3.1 1 1 3 3 0 0 8

D3.2+D3.3 0 0 2 4 1 0 7

Total 1 1 5 7 1 0 15

D3.1 13% 13% 38% 38% 0% 0% 100%

D3.2+D3.3 0% 0% 29% 57% 14% 0% 100%

Total 7% 7% 33% 47% 7% 0% 100%



5.3. Moment de l'évaluation

Type


s et fréquents




s et peu fréquents


exigences

Je ne

sais pas NA Total

D3.1 0 2 3 3 0 0 8

D3.2+D3.3 0 1 1 4 1 0 7

Total 0 3 4 7 1 0 15

D3.1 0% 25% 38% 38% 0% 0% 100%

D3.2+D3.3 0% 14% 14% 57% 14% 0% 100%

Total 0% 20% 27% 47% 7% 0% 100%


Type


des

exigences importants et fréquents

2 - Problème

s de

respect des exigences fréquents


exigences

peu importants et peu fréquents

4 - Aucun problème

de

respect des exigences


D3.1 0 1 5 2 0 0 8

D3.2+D3.3 0 0 2 4 1 0 7

Total 0 1 7 6 1 0 15

D3.1 0% 13% 63% 25% 0% 0% 100%

D3.2+D3.3 0% 0% 29% 57% 14% 0% 100%

Total 0% 7% 47% 40% 7% 0% 100%




Type


s et fréquents




s et peu fréquents


exigences

Je ne

sais pas NA Total

D3.1 0 1 4 2 0 0 7

D3.2+D3.3 0 0 4 2 1 0 7

Total 0 1 8 4 1 0 14

D3.1 0% 14% 57% 29% 0% 0% 100%

D3.2+D3.3 0% 0% 57% 29% 14% 0% 100%

Total 0% 7% 57% 29% 7% 0% 100%

5.6. Mesures pour favoriser l'indépendance de l'évaluation

Type

1 - Problèmes

de respect des exigences

importants et fréquents

2 -

Problèmes de respect

des exigences fréquents


des exigences peu

importants et peu fréquents

4 - Aucun

problème de respect

des exigences


D3.1 0 1 3 4 0 0 8

D3.2+D3.3 0 1 2 2 1 1 7

Total 0 2 5 6 1 1 15

D3.1 0% 13% 38% 50% 0% 0% 100%

D3.2+D3.3 0% 14% 29% 29% 14% 14% 100%

Total 0% 13% 33% 40% 7% 7% 100%



5.7. Mesures pour favoriser la qualité et la crédibilité de l'évaluation

Type


des exigences importants et fréquents

2 - Problème

s de respect des exigences fréquents


exigences peu importants et peu fréquents

4 - Aucun problème



D3.1 1 1 2 2 1 0 7

D3.2+D3.3 0 0 3 1 1 1 6

Total 1 1 5 3 2 1 13

D3.1 14% 14% 29% 29% 14% 0% 100%

D3.2+D3.3 0% 0% 50% 17% 17% 17% 100%

Total 8% 8% 38% 23% 15% 8% 100%


Type


des

exigences importants et fréquents

2 - Problème

s de

respect des exigences fréquents


exigences

peu importants et peu fréquents

4 - Aucun problème

de

respect des exigences


D3.1 1 0 1 3 1 2 8

D3.2+D3.3 0 0 4 2 1 0 7

Total 1 0 5 5 2 2 15

D3.1 13% 0% 13% 38% 13% 25% 100%

D3.2+D3.3 0% 0% 57% 29% 14% 0% 100%

Total 7% 0% 33% 33% 13% 13% 100%



5.9. Envoi du rapport d'évaluation à la DGD

Type


des exigences importants et fréquents

2 - Problème

s de respect des exigences fréquents


exigences peu importants et peu fréquents

4 - Aucun problème



D3.1 0 1 3 3 1 0 8

D3.2+D3.3 0 0 3 3 1 0 7

Total 0 1 6 6 2 0 15

D3.1 0% 13% 38% 38% 13% 0% 100%

D3.2+D3.3 0% 0% 43% 43% 14% 0% 100%

Total 0% 7% 40% 40% 13% 0% 100%

6. Les exigences formelles et informelles de la DGD ont-elles donné aux ANG la

marge de manœuvre nécessaire à la conduite d’évaluations solides et utiles?

Type

1 - Exigences

très rigides

limitant la solidité et/ou l'utilité de l'évaluation

2 - Exigences relativement rigides

3 - Exigences relativement flexibles

4 - Exigences flexibles

garantiss

ant la solidité et l’utilité de l’évaluation


D3.1 0 0 3 3 1 0 7

D3.2+D3.3 0 0 3 3 1 0 7

Total 0 0 6 6 2 0 14

D3.1 0% 0% 43% 43% 14% 0% 100%

D3.2+D3.3 0% 0% 43% 43% 14% 0% 100%

Total 0% 0% 43% 43% 14% 0% 100%



7. Les capacités en matière d’évaluation des ANG dont vous aviez la charge du suivi

ont-elles évolué depuis 2007 (p.ex. renforcement des connaissances de la

pratique du personnel, développement de bonnes pratiques, etc.)?

Type

1 - Statu quo ou diminution des capacités

dans la plupart des cas

2 - Augmentation limitée des capacités

dans la plupart des cas

3 -

Augmentation tangible des capacités dans

la plupart des cas

4 - Augmentation forte des capacité

s dans la plupart des cas


D3.1 1 5 2 0 2 0 10

D3.2+D3.3 0 0 1 4 2 0 7

Total 1 5 3 4 4 0 17

D3.1 10% 50% 20% 0% 20% 0% 100%

D3.2+D3.3 0% 0% 14% 57% 29% 0% 100%

Total 6% 29% 18% 24% 24% 0% 100%

8. Dans quelle mesure jugez-vous que les rapports d’évaluation des ANG dont vous aviez la

charge du suivi étaient de qualité, sur la base des critères suivants ?

8.1. Rigueur de la méthodologie

Type

1 - Problèmes de qualité fréquents et importants

2 - Problèmes de qualité fréquents

3 - Souvent de bonne qualité

4 - Souvent de très bonne qualité


D3.1 0 4 5 0 1 0 10

D3.2+D3.3 0 2 4 0 1 0 7

Total 0 6 9 0 2 0 17

D3.1 0% 40% 50% 0% 10% 0% 100%

D3.2+D3.3 0% 29% 57% 0% 14% 0% 100%

Total 0% 35% 53% 0% 12% 0% 100%



8.2. Fiabilité et representativité des données

Type


et importants

2 - Problèmes

de qualité fréquents

3 - Souvent de

bonne qualité

4 - Souvent de très

bonne qualité

Je ne

sais pas NA Total

D3.1 0 2 7 0 1 0 10

D3.2+D3.3 0 3 2 0 2 0 7

Total 0 5 9 0 3 0 17

D3.1 0% 20% 70% 0% 10% 0% 100%

D3.2+D3.3 0% 43% 29% 0% 29% 0% 100%

Total 0% 29% 53% 0% 18% 0% 100%

8.3. Solidité de l'analyse

Type

1 -

Problèmes de qualité fréquents et importants





D3.1 0 4 4 0 1 0 9

D3.2+D3.3 0 2 3 0 2 0 7

Total 0 6 7 0 3 0 16

D3.1 0% 44% 44% 0% 11% 0% 100%

D3.2+D3.3 0% 29% 43% 0% 29% 0% 100%

Total 0% 38% 44% 0% 19% 0% 100%



8.4. Validité des conclusions

Type


et importants

2 - Problèmes

de qualité fréquents

3 - Souvent de

bonne qualité

4 - Souvent de très

bonne qualité

Je ne

sais pas NA Total

D3.1 0 3 6 1 0 0 10

D3.2+D3.3 0 2 4 0 1 0 7

Total 0 5 10 1 1 0 17

D3.1 0% 30% 60% 10% 0% 0% 100%

D3.2+D3.3 0% 29% 57% 0% 14% 0% 100%

Total 0% 29% 59% 6% 6% 0% 100%

8.5. Validité des recommendations

Type

1 -

Problèmes de qualité fréquents et importants





D3.1 0 3 6 1 0 0 10

D3.2+D3.3 0 2 5 0 0 0 7

Total 0 5 11 1 0 0 17

D3.1 0% 30% 60% 10% 0% 0% 100%

D3.2+D3.3 0% 29% 71% 0% 0% 0% 100%

Total 0% 29% 65% 6% 0% 0% 100%



9. Considérez-vous - à titre strictement personnel - que les évaluations des

programmes d’ANG doivent être indépendantes?

Type

1 -

L’indépendance n’est pas une priorité

2 - L’indépendance est

secondaire par rapport à d’autres priorités (budgétai

res, temporelles, contextuelles, etc.)

3 - L’indépendance doit être

recherchée, en tenant compte des contrainte

s qui pèsent sur l’évaluation

4 - L’indépendance constitue la priorité


D3.1 1 1 6 2 0 0 10

D3.2+D3.3 0 1 4 2 0 0 7

Total 1 2 10 4 0 0 17

D3.1 10% 10% 60% 20% 0% 0% 100%

D3.2+D3.3 0% 14% 57% 29% 0% 0% 100%

Total 6% 12% 59% 24% 0% 0% 100%



10. Considérez-vous que les évaluations ont été conduites en toute indépendance

dans leur ensemble ? (appels d’offres rigoureux, choix justifié des experts,

absence de conflit d’intérêt des évaluateurs, absence de pression sur les

évaluateurs, etc.)

Type

1 - Certains faits et/ou vues mettent

en évidence que certaines

conditions n’étaient pas réunies pour assurer

l’indépendance de nombreuses évaluation

2 - Certains faits et/ou

vues mettent en évidence que certaines conditions n’étaient

pas réunies

pour assurer l’indépendance d’une

ou plusieurs évaluation

3 - Certains faits et/ou

vues mettent en évidence que toutes les condition

s étaient réunies

pour assurer l’indépendance de

toutes les évaluations

4 - Il y a consensus autour

de l'indépendence de l'évaluation dans tous les cas, et ce

alors que des

risques importants pesaient

sur cette indépendence

Je

ne sais pas NA Total

D3.1 1 5 2 0 0 0 8

D3.2+D3.3 0 4 3 0 0 0 7

Total 1 9 5 0 0 0 15

D3.1 13% 63% 25% 0% 0% 0% 100%

D3.2+D3.3 0% 57% 43% 0% 0% 0% 100%

Total 7% 60% 33% 0% 0% 0% 100%



11. Considérez-vous que les évaluations étaient crédibles? (indépendance, expertise

des évaluateurs, solidité de la méthodologie et de l’analyse, qualité et clarté du

rapport)

Type

1 - Majorité d’évaluations peu crédibles

2 - Un ou plusieurs cas d’évaluation peu crédibles

3 - Majorité d’évaluations crédibles

4 - Totalité d’évaluations crédibles


D3.1 1 2 6 0 1 0 10

D3.2+D3.3 1 1 4 1 0 0 7

Total 2 3 10 1 1 0 17

D3.1 10% 20% 60% 0% 10% 0% 100%

D3.2+D3.

3 14% 14% 57% 14% 0% 0% 100%

Total 12% 18% 59% 6% 6% 0% 100%

12. Avez-vous eu accès au rapport final (et annexes) des évaluations?

Type

1 - Raremen

t

2 - Peu

souvent

3 - Dans la

plupart

des cas

4 - Systémat

iquement

Je ne

sais pas NA Total

D3.1 0 3 5 2 0 0 10

D3.2+D3.3 1 0 2 4 0 0 7

Total 1 3 7 6 0 0 17

D3.1 0% 30% 50% 20% 0% 0% 100%

D3.2+D3.3 14% 0% 29% 57% 0% 0% 100%

Total 6% 18% 41% 35% 0% 0% 100%



13. Avez-vous reçu ces rapports d’évaluation spontanément de la part des ANG ou en

avez-vous fait la demande expresse ?

Type

Rapports envoyés

par l’ANG suite à une demande expresse

de la DGD dans

plusieurs cas

Rapports envoyés

spontaném

ent par les ANG dans tous les

cas

Rapports non

envoyés par l’ANG

et absence de

demande expresse

de la DGD dans la plupart des cas


D3.1 6 1 2 0 0 9

D3.2+D3.3 4 3 0 0 0 7

Total 10 4 2 0 0 16

D3.1 67% 11% 22% 0% 0% 100%

D3.2+D3.3 57% 43% 0% 0% 0% 100%

Total 63% 25% 13% 0% 0% 100%

14. Avez-vous examiné la prise en compte par les ANG des leçons apprises et

recommandations du rapport d’évaluation (réponse managériale formelle,

développement d’un plan d’actions, etc.)

Type

1 - Raremen

t 2 - Peu souvent

3 - Dans la plupart des cas

4 - Systématiquement


D3.1 0 2 4 4 0 0 10

D3.2+D3.3 0 1 2 4 0 0 7

Total 0 3 6 8 0 0 17

D3.1 0% 20% 40% 40% 0% 0% 100%

D3.2+D3.3 0% 14% 29% 57% 0% 0% 100%

Total 0% 18% 35% 47% 0% 0% 100%



15. Dans quelle mesure ces rapports d’évaluation ont-ils une valeur ajoutée dans

votre travail de suivi des programmes des ANG, en plus du rapportage narratif et

financier?

Type

1 - Les

rapports ont une faible valeur ajoutée dans la

plupart de cas

2 - Les rapports ont peu souvent une

valeur ajoutée

3 - Les rapports ont une valeur ajoutée dans la

plupart des cas

4 - Les

rapports ont une grande valeur ajoutée dans la

plupart des cas


D3.1 0 1 5 4 0 0 10

D3.2+D3.3 0 2 1 4 0 0 7

Total 0 3 6 8 0 0 17

D3.1 0% 10% 50% 40% 0% 0% 100%

D3.2+D3.3 0% 29% 14% 57% 0% 0% 100%

Total 0% 18% 35% 47% 0% 0% 100%

16. Utilisez-vous ces rapports d’évaluation dans le cadre du dialogue politique avec

les ANG?

Type

1 - Rarement

2 - Peu souvent

3 - Souvent

4 - Systématiquement


D3.1 0 1 8 1 0 0 10

D3.2+D3.3 0 3 0 3 0 1 7

Total 0 4 8 4 0 1 17

D3.1 0% 10% 80% 10% 0% 0% 100%

D3.2+D3.3 0% 43% 0% 43% 0% 14% 100%

Total 0% 24% 47% 24% 0% 6% 100%



17. La DGD est-elle organisée de manière à maximiser l’utilisation des évaluations

des programmes des ANG ? (p.ex. stockage et circulation de l’information, etc.)

Type

1 - Rarement

2 - Relative

ment mal organisée

3 - Relativement

bien organisée

4 - Très

bien organisée


D3.1 5 2 2 0 1 0 10

D3.2+D3.3 1 3 3 0 0 0 7

Total 6 5 5 0 1 0 17

D3.1 50% 20% 20% 0% 10% 0% 100%

D3.2+D3.3 14% 43% 43% 0% 0% 0% 100%

Total 35% 29% 29% 0% 6% 0% 100%


Annexe 11 - Grille de conclusions et

recommandations récurrentes

Les principales conclusions et recommandations de chaque rapport d’évaluation de

l’échantillon ont été listées et catégorisées au moyen d’une grille spécifique. Les

catégories et sous-catégories sur lesquelles se basait cette grille sont fournies ci-

dessous. Elles ont été définies par les évaluateurs et discutées avec le Comité

d’acommpagnement. Elles se basent sur les cinq critères d’évaluation du Comité d’aide

au développement (CAD) de l’OCDE, ainsi que sur la coordination et les synergies

éventuelles et sur certains thèmes transversaux. Elles se basent également sur

l’expérience de l’équipe d’évaluation et celle d’une méta-évaluation antérieure37.

Codes Catégories de contenu récurrent

1. Pertinence

1.1 Analyse des besoins

1.2 Stratégie

1.2.1 Reflet des besoins

1.2.2 Priorisation des objectifs/ Logique de l'intervention

1.2.3 Plan d'action opérationnel/ Feuille de route

1.2.4 Cohérence interne de la stratégie

1.2.5 Alignement par rapport aux stratégies des acteurs nationaux/ locaux

1.2.6 Participation des bénéficiaires (à l'élaboration de la stratégie)

1.3 Autres éléments

2. Résultats

2.1 Clarté des objectifs et leur ciblage

2.2 Mesure/ suivi/ évaluation des résultats (problèmes de mesure)

2.3 Atteinte des résultats attendus

2.4 Facteurs favorisant/ entravant l'atteinte des résultats attendus

37 Particip, 2012. Synthesis of the geographical evaluations managed by the Evaluation Unit during the period

1998-2006.



Codes Catégories de contenu récurrent



3. Impact

3.1 Production de l'impact attendu

3.2 Production d'effets inattendus

3.3 Facteurs favorisant/ entravant la production de l'impact

3.4 Mesure/ suivi/ évaluation de l'impact (problème de mesure)


4. Durabilité

4.1 Durabilité des effets (après l'intervention)

4.2 Facteurs favorisant/ entravant la durabilité des objectifs


5. Coordination/ Synergie

5.1 Coordination avec les acteurs nationaux/ locaux

5.2 Coordination avec d'autres acteurs (internationaux)

5.3 Synergie avec les interventions d'autres acteurs


6. Efficience/ Mise en œuvre

6.1 Mesure/ suivi/ évaluation de l'efficience (problème de mesure)

6.2 Qualité de la mise en œuvre

6.2.1 Coûts encourus

6.2.2 Délais encourus

6.3 Procédures (difficultés liées à la gestion)

6.4 Facteurs favorisant/ entravant l'efficience


7. Thèmes transversaux (genre, environnement, etc.)

7.1 Degré de prise en compte des thèmes transversaux (résultats)

7.2 Pertinence des thèmes transversaux retenus

7.3 Facteurs favorisant/ entravant la prise en compte des thèmes transversaux


8. Autres éléments


Annexe 12 - Pratiques innovantes

Cette annexe fournit un bref descriptif des pratiques innovantes observées dans les

évaluations des programmes d’ANG examinées dans le cadre de cette méta-évaluation.

Elle vise simplement à fournir au lecteur une idée de ce qu’est chacune de ces pratiques

mentionnées dans la section 3.2.2 du rapport principal, sans entrer dans le détail et sans

fournir d’appréciation (ce qui n’est pas l’objet de cet exercice).

1. Méthode du changement le plus significatif (The Most Significant Change

- MSC) 38:

La méthode du changement le plus significatif a été développé en 1995 par Rick Davies.

C’est une méthode qualitative et participative, de monitoring et d’évaluation, qui

implique de nombreuses parties prenantes.

La méthode suppose la collecte d’histoires significatives de changements qui émanent de

la réalité du terrain. Elle implique le choix systématique des histoires les plus

significatives par un panel de décideurs. Quand le choix a été fait, le panel discute

ensemble de ces changements rapportés.

La technique comprend dix étapes qui précisent comment récolter les histoires les plus

significatives et les sélectionner, et explique, pour finir, comment en faire ressortir de

l’information valable.

38 Rick Davies et Jess Dart, 2005. The ‘most significant change’ (MSC) technique, a guide to its use.

http://www.mande.co.uk/docs/MSCGuide.pdf

Et COTA, 2007. Fiche 9, technique du changement le plus significatif. http://www.cota.be/?wpfb_dl=42

Évaluation d’impact

Most significant change

Thick description

PADEV (Participatory Assessment of Development)

MARP (Méthode Accélérée de Recherche Participative)

Modèle d’analyse (au lieu d’une logique d’intervention)

Système de mesure du degré de support de la société à la

coopération (cf. PULSE)

5 Compétences clés pour le renforcement de capacités Revue par des pairs

…

Outcome mapping

Théorie intégrale

Méthode basée sur la théorie des réseaux

http://www.mande.co.uk/docs/MSCGuide.pdf



2. Participatory Assessment of Development (PADev)39

PADEV est une méthode globale et participative qui utilise des données quantitatives et

qualitatives. Cette méthode se veut être un indicateur d’impact en plus et ne veut pas

remplacer les méthodes traditionnelles. Elle a pour but d’avoir une vue d’ensemble du

développement et des changements dans une zone à travers le temps. Elle donne une

voix importante aux bénéficiaires du développement.

La méthode PADEV se réalise typiquement sous la forme d’un atelier de 3 jours qui

comprend 9 exercices pratiques. Les participants évaluent les changements et projets

sur base de leurs perceptions. La méthode regarde les changements qui ont eu lieu

depuis les 20 à 30 dernières années dans une certaine zone. Ceci peut donner une

information aux agences de développement car cela leur permet de connaître leur impact

par rapport aux autres acteurs présents. De plus, elles apprennent aussi quels étaient les

projets perçus comme plus efficaces et pertinents et pourquoi.

3. La cartographie des incidences (Outcome Mapping) 40

La cartographie des incidences fournit les outils au programme pour qu’il réfléchisse

globalement et concrètement aux résultats qu’il souhaite obtenir.

La méthode définit la vision d’amélioration à laquelle un programme espère contribuer

d’un point de vue de l’humain, du social et de l’environnement. Elle se concentre sur des

facteurs et des acteurs qui se trouvent dans la sphère d’influence directe du programme.

La contribution du programme est mesurée par rapport à l’influence qu’il a sur ses

partenaires pour faire changer les choses. Le concept central de cette méthode est que

le développement est fait par et pour les personnes. Elle ne regarde pas l’importance des

changements d’état (eau plus propre, économie plus forte…) mais bien plus les

changements de comportements que ces changements apportent.

Cette méthode se veut participative et implique donc le plus possible de parties

prenantes. Cette méthode comporte typiquement trois parties et douze étapes, tout en

se voulant flexible et modulable.

4. La méthode de description approfondie (Thick Description)41

Cette méthode réfère à une description qui ne peint pas uniquement le comportement de

quelque chose mais aussi son contexte pour que le comportement devienne

compréhensible par quelqu’un d’externe.

39 Dietz, T., R. Bymolt, A. Bélemvire, K. van der Geest, D. de Groot, D. Millar, F. Obeng, N. Pouw, W.

Rijneveld & F. Zaal. 2013. PADev Guidebook. Participatory Assessment of Development, version 1.1. Amsterdam: AISSR. http://www.padev.nl/other_output/PADev_guidebook_2013.pdf

40 Overseas development Institute (ODI), 2009. Tools for knowledge and learning, outcome mapping. http://www.odi.org.uk/sites/odi.org.uk/files/odi-assets/publications-opinion-files/6385.pdf

Et COTA, 2007. Fiche 5, Méthode de cartographie des incidences (CDI). http://www.cota.be/?wpfb_dl=44

41 Geertz Clifford, 1973. Thick Description: Toward an Interpretive Theory of Culture. http://hypergeertz.jku.at/GeertzTexts/Thick_Description.htm

http://www.padev.nl/other_output/PADev_guidebook_2013.pdf

http://www.odi.org.uk/sites/odi.org.uk/files/odi-assets/publications-opinion-files/6385.pdf



5. Méthode accélérée de recherche participative (MARP)42

La MARP est une méthode participative qui vise à renforcer l’autonomie des populations

locales. On les encourage, par cette méthode, à discuter entre elles et à planifier,

contrôler et agir.

Les outils utilisés sont orientées vers le groupe, ils sont visuels et comparatifs. Il y a par

exemple la cartographie participative (carte représentant la communauté qui sert de

base de discussion), les transects villageois (petit groupe se promenant dans le village et

regardant les changements), le classement, le calendrier…

La combinaison de toutes les informations recueillies donne une image explicite de la vie

quotidienne de la population. Cela permet à la population d’avoir une base de discussion.

6. Méthode d’analyse de groupe43

C’est une méthode en 4 phases:

a. Le récit : Les participants racontent leurs expériences sous forme de récit.

Certains récits sont ensuite sélectionnés pour en faire une analyse. Ceux qui sont

choisis sont détaillés.

b. Les interprétations : Chaque participant propose son interprétation du récit

choisit.

c. L’analyse : Les idées sont regroupées dans un tableau de synthèse. A l’aide

d’hypothèses proposées par les évaluateurs de nouvelles problématiques

surviennent.

d. Les recommandations : On ressort de l’exercice des perspectives pratiques.

7. Les 5 compétences clés d’ECDPM44

Les 5 compétences clés permettent de donner une base pour juger d’une situation à un

moment donné et suivre son évolution dans le temps. Les compétences deviennent des

critères de monitoring. Les 5 compétences clés sont les suivantes:

- La capacité d’être cohérent: De savoir répondre à des questions comme Quoi ?

Quand ? Comment ? Avec qui ?

- La capacité de s’adapter et de se renouveler : De répondre à, quelles sont les

tendances de changement et est ce qu’on a réussit à s’adapter ?

- La capacité de survivre et d’agir : Que devrait-on avoir pour être efficace et

efficient ? Est-ce qu’on a cela ?

- La capacité de générer des résultats de développement : Quels résultats doit on

atteindre pour satisfaire notre groupe cible et les donateurs ? Est-ce qu’on les a

obtenus ?

- La capacité de relier : Quels partenariats doit on faire pour atteindre nos

résultats ?

42 Site de l’Organisation des Nations Unies pour l’alimentation et l’agriculture (FAO)

http://www.fao.org/Participation/french_website/content/MARP_fr.html 43 Van Campenhoudt L., Chaumont J-M et Franssen A., « La méthode d’analyse en groupe. Applications au

phénomènes sociaux », Paris, Dunod, 2005. http://www.reseaumag.be/sites/www.reseaumag.be/IMG/pdf/sociologies-2968-la-methode-d-analyse-en-groupe.pdf

44 http://www.ecdpm.org/Web_ECDPM/Web/Content/Navigation.nsf/index2?readform&http://www.ecdpm.org/Web_ECDPM/Web/Content/Content.nsf/0/A1649F5CBFFEB410C12573B5005C5030?OpenDocument





8. Théorie intégrale45

La vision intégrale fait référence à l'œuvre de Ken Wilber, penseur américain.

Il a inventé un système intégral (AQAL) qui tient en cinq notions fondamentales : les

niveaux, les quadrants, les états, les lignes, états et les types. Il donne à partir de cela

des pistes pour intégrer différentes dimensions (physique, émotionnelle, intellectuelle et

spirituelle) dans la vie quotidienne.

9. Revue par des pairs

L'évaluation par les pairs désigne le fait que des personnes donnent leur avis sur le

travail d’autres personnes ayant des compétences égales aux leurs. L’intérêt de cette

technique consiste à casser l’asymétrie prédéfinie entre évaluateur et évalué. La revue

par des pairs permet aussi d’avoir un regard neuf par des personnes externes.

10. Modèle d’analyse

Un « modèle d’analyse » d’un type particulier a été utilisé dans une évaluation

examinée.46 Celui-ci permettait de regarder de plus près le processus de renforcement

des capacités, les acteurs impliqués et les facteurs explicatifs existant dans un

partenariat Nord-Sud. Ce modèle avait pour but d’émettre des conclusions sur les

contributions du renforcement des capacités des partenaires du Sud. Il faisait ressortir

les résultats planifiés ou non ainsi que les effets positifs et négatifs. Ces effets étaient

expliqués par les liens existant entre les changements qui ont eu lieu chez les

partenaires du Sud et les différents facteurs explicatifs. Il distinguait quatre sortes de

facteurs explicatifs qui peuvent être étroitement liés et se chevaucher parfois :

- Les facteurs contextuels;

- Les caractéristiques des acteurs dans le partenariat ;

- Les caractéristiques du partenariat en tant que tel ; et

- Les caractéristiques de l’exécution et du comportement du partenariat.

11. Méthode basée sur la théorie des réseaux47

Des réseaux stratégiques peuvent être définis dans le but d’optimiser les synergies et la

coordination entre les partenaires du Sud. Ces réseaux peuvent être répertoriés de

façon thématique ou normative. Chaque réseau se voit assigner un coordinateur et tous

les partenaires ensemble s’impliquent pour préparer un cadre logique spécifique et des

résultats à obtenir par réseau.

12. Initiative PULSE48

PULSE est une initiative de plusieurs instituts de recherche belges (et un néerlandais),

consistant en une plateforme de recherche sur le degré de soutien de la société

(draagvlak) à la coopération. Le soutien de la société peut être défini comme toute

activité influençant les comportements, les attitudes et les connaissances vers un acteur,

une action liés au développement. PULSE a pour objectif de sensibiliser la population

belge au soutien qu’elle pourrait donner et d’apporter des pratiques innovantes pour

45 Ken Wilber, pas de date. Introduction to the Integral Approach (and the AQAL Map)

http://www.kenwilber.com/Writings/PDF/IntroductiontotheIntegralApproach_GENERAL_2005_NN.pdf 46 South Research, 2011. Evaluatie van het Meerjarenprogramma 2009-2011 van de vzw BIS-MSI 47 HERA, 2010. Mid Term Review of the Strategic Network Projects Sub-programme of the Third ITM-DGDC

Agreement Programme - Final Synthesis Report 48 Site internet de la plateforme PULSE : http://www.pulse-oplatform.com/#

http://www.pulse-oplatform.com/#/effectiviteit/4538978180

http://www.pulse-oplatform.com/

http://www.pulse-oplatform.com/#/effectiviteit/4538978180



rendre ce soutien plus efficace. Plusieurs pratiques sont proposées sur le site internet de

PULSE. 49

49 www.pulse-oplatform.com

http://www.pulse-oplatform.com/


Annexe 13 - Liste des personnes rencontrées

Cette annexe fournit une liste des 67 personnes rencontrées au cours des 37 entretiens

et focus groups, en plus des réunions du Comité d’accompagement, conduits dans le

cadre de cette méta-évaluation. La liste présente, dans l’ordre, les membres du Service

de l’Evaluation spéciale (SES), de la Direction générale Coopération au développement et

Aide humanitaire (DGD), du Cabinet du Ministre de la Coopération au Développement,

des acteurs non gouvernementaux (ONG, coopération universitaire, institutions

scientifiques et autres partenaires) et enfin des équipes d’évaluateurs ayant conduit les

évaluations examinées.

Notons par ailleurs que les trois enquêtes ont permis de recueillir l’avis de

63représentants d’ANG, de 37 évaluateurs et de 17 gestionnaires de la DGD (voir

respectivement les Annexes 8, 9 et 10). En ce comprit certaines personnes citées ci-

dessous.

Service de l’Evaluation spéciale (SES)

Nom, Prénom Fonction

de CROMBRUGGHE Dominique Evaluateur spécial

COOLS Karel Attaché

DIRKX Sofie Attaché

Direction générale Coopération au Développement et Aide humanitaire (DGD)

Nom, Prénom Département Fonction

d’ADESKY Edgar D3.2 Afrique du Nord et de l’Ouest et Monde arabe

Chef de service

DEGRAUWE Katrien D3.4 Asie et Amérique latine

Chef de service

FEYS Juan D3.4 Asie et Amérique latine

Attaché de coopération

HAEX Veerle D4.2 Gestion du risque Chef de service

HEUS Corinne D3.3 Afrique centrale et australe

Directrice de programme

JONCKHEERE Benoît D3.2 Afrique du Nord et de l’Ouest et Monde arabe




LOIR Jean-Pierre D3 Société civile Chef de département

MOLDEREZ Dirk D3.3 Afrique centrale et australe

Chef de service

TERLINDEN Claire D3.4 Asie et Amérique latine


THERY Olivier D4.3 Qualité et Résultats Responsable de département

Cabinet du Ministre de la Coopération au Développement

Nom, Prénom Fonction

DEWORME Michèle Conseillère Coopération non-gouvernementale

WEMAERE Véronique Conseillère Coopération non-gouvernementale

Organisations non gouvernementales (ONG)

Nom, Prénom ONG Fonction

DUBUISSON Denis ACODEV Coordinateur du department Appui-qualité

GRAFFE Sylvie ACODEV Responsable des réglementations financières

POPOVITCH Mirko Africalia Directeur

DEMOLDER Jef Broederlijk Delen Coordinateur de programme

VAN RAEMDONCK Bernadette Caritas International Adjoint du Chef du département

Coopération Internationale

DUTERME Bernard CETRI Directeur

POLET François CETRI Rédaction - Recherche – Formation

REYNAERT Jean CNCD 11-11-11 Coordinateur de programme

BUCCI Mario COTA Chargé d’études

RISAIO Simonetta Croix-Rouge de Belgique Responsable des actions internationales

THIBAULT Florence Entraide et Fraternité Responsable des fonds institutionnels

DE CEUKELAIRE Wim Geneeskunde voor de Derde Wereld

Directeur

LIPPOLIS Graziella Handicap International Responsable du secteur méthodes et qualité

VANGODTSENHOVEN Inge Louvain Coopération Adjointe au Directeur des Programmes

COTTENIE Johan ngo federatie Directeur



DEMEDTS Annemie ngo federatie Coordinateur actions Nord

NEIRYNCK Heleen ngo federatie Cellule qualité

DESPIEGELAERE Marc Protos Coordinateur actions Nord

BASTIN Jacques Solidarité Socialiste Directeur des programmes

DHONT Machteld Solidarité Socialiste Responsable de département des actions Nord

VANDERCAM François SOS Faim Service appui partenaire

DECLERCQ Katrijn Trias Responsable du département Qualité

PATROONS Tine UCOS Manager

TIMMERMANS Eddy Vétérinaires Sans

Frontières

Programme expert, coordinateur pour

l’Afrique Centrale

BEIRINCKX Katrien WSM Responsable économie sociale

Coopération Universitaire et Institutions scientifiques

Nom, Prénom Organisation Fonction

ANDERSSON Murielle Conseil interuniversitaire de la Communauté française-Commission universitaire

pour le développement (CIUF-CUD)

Gestionnaire Programme FRSD

GOETHALS Tanguy CIUF-CUD Chargé de la coopération universitaire institutionnelle

KABASHI Fabien CIUF-CUD Chargé de la coordination et de la gestion des cours et stages internationaux

STEWARD Benjamin CIUF-CUD Chargé d’information et de communication

COENEN Jan Institut de Médecine Tropicale

Coordinateur Gestion de projets

DE LANNOY Peter Vlaamse Interuniversitaire Raad (VLIR) – Universitaire Ontwikkelingssamenwerkin

g (UOS)

Coordinateur Sud

VERBRUGGHEN Kristien VLIR-UOS Directrice

VERVISCH Thomas VLIR-UOS Gestionnaire de programmes



Autres partenaires


RENIERS Jean-Michel Association de la Ville et des Communes de la Région de Bruxelles-Capitale (AVCB-VSGB)

Conseiller Coopération Internationale

AMEYE Luc Association pour la Promotion de l’Education et de la Formation à l’Etranger (APEFE)

Consultant

LENS Veerle Confédération des syndicats

chrétiens (CSC-ACV), Affaires Internationales

Responsable des Petites et Moyennes

entreprises

SINTUBIN Stijn CSC Affaires Internationales Collaborateur du Service International

VAN DE VOORDE Joris CSC Affaires Internationales Collaborateur du Service International

ATSOU Laurent Fédération Générale du Travail de Belgique (FGTB- ABVV) / Institut de formation syndicale Internationale (IFSI-ISVI)

Gestionnaire de projets

OCKERMAN Lotte FGTB / IFSI Responsable de projet

VANDERMEIREN Chantal Province du Hainaut Chargée de relations

LE ROUX Maresa Syndicat libéral (CGSLB-

ACLVB) / Mouvement pour la solidarité internationale

(MSI-BIS)

Coordinatrice du Programme

ROLAND Dominik CGSLB / MSI Responsable de projet

ROOVERS Stijn CGSLB / MSI Responsable de projet

ROOMS Sven Vlaamse Vereniging voor Ontwikkelingssamenwerking en Technische Bijstand (VVOB)

Programme Director

JANSSENS Bert Vereniging van Vlaamse

Steden en Gemeenten vzw (VVSG)

International, Directeur



Evaluateurs50


GREGA Pierre DRIS Consult Expert – Gérant

HUYSE Huib HIVA Onderzoekinstituut voor arbeid en samenleving (K.U.Leuven)

Responsable du groupe de recherche sur le développement durable

KERSTENS Birgit HERA Partner

PHLIX Geert ACE Europe Manager

SIMAEYS Barbara South Research Consultant

VAN ESBROECK Dirk South Research Consultant

50 Membres d’équipes d’évaluateurs ayant conduit des évaluations de programmes d’ANG


Annexe 14 – Bibliographie

Cette annexe présente les documents consultés et utilisés pour cette méta-évaluation

dans le cadre de l’analyse générale. Les rapports d’évaluation ayant été étudiés

individuellement en détail sont quant à eux présentés dans l’échantillon en Annexe 3.51

Des hyperliens sont fournis pour les documents rendus publics et téléchargeables, afin

d’en faciliter l’accès immédiat.

4e Forum à haut niveau sur l’efficacité de l’aide, 2011.

Partenariat de Busan pour une coopération efficace au service du développement.

http://www.oecd.org/fr/cad/efficacite/4.pdf

Agence française de développement, 2012.

L’AFD et les Organisations Non Gouvernementales. Un partenariat renouvelé et renforcé .

http://www.afd.fr/webdav/site/afd/shared/PORTAILS/PUBLICATIONS/PLAQUETTES/AFD-ONG-vf.pdf

Chambre des représentants de Belgique, 1997.

Suivi des problèmes de l’Administration Générale de la Coopération au Développement.

http://www.lachambre.be/FLWB/PDF/49/1123/49K1123001.pdf

Collectif d’Echanges pour la Technologie appropriée (COTA), 2009.

Evaluation en Education au Développement. Une analyse des pratiques et des besoins des ONG francophones de Belgique – Des pas vers une capitalisation ACODEV-GSED.

http://www.acodev.be/sites/default/files/ressources/capitalisation_ed_-_rapport_final_definitif_-

_annexes.pdf

51 Des documents propres à chaque acteur non-gouvernemental ont également été examinés ; ils ne sont pas

repris en annexe car il s’agit de documents internes.

http://www.oecd.org/fr/cad/efficacite/49650184.pdf



http://www.lachambre.be/FLWB/PDF/49/1123/49K1123001.pdf

http://www.acodev.be/sites/default/files/ressources/capitalisation_ed_-_rapport_final_definitif_-_annexes.pdf

http://www.acodev.be/sites/default/files/ressources/capitalisation_ed_-_rapport_final_definitif_-_annexes.pdf



Collectif d’Echanges pour la Technologie appropriée (COTA), 2013.

Etude sur la facilité d’innovation pour les ONG (FISONG).

Agence Française de Développement.

http://www.afd.fr/webdav/site/afd/shared/PUBLICATIONS/RECHERCHE/Evaluations/Evaluation-capitalisation/48-Evaluation-capitalisation.pdf

Commission européenne, 2006.

Guides d’évaluation pour l’aide externe de l’Union européenne.

http://ec.europa.eu/europeaid/how/evaluation/methodology/index_fr.htm

Cour des Comptes de Belgique, 2006.

Tirer des enseignements des évaluations de projets de développement.

https://www.ccrek.be/docs/2006_28_FondDeSurvie.pdf

Department for International Development, 2009.

Building the evidence to reduce poverty, The UK’s policy on evaluation for

international development.

http://www.dfid.gov.uk/Documents/publications1/evaluation/evaluation-policy.pdf

UK Department for International Development, May 2013.

International Development Evaluation Policy.

https://www.gov.uk/government/publications/dfid-evaluation-policy-2013

Development Researchers’ Network, 2008.

Synthesis of the geographical evaluations managed by the Evaluation Unit during

the period 1998-2006.

European Commission.

http://ec.europa.eu/europeaid/how/evaluation/evaluation_reports/reports/2008/1256_en.pdf

Particip, 2008.

Evaluation of EC aid delivery through civil society organizations.

European Commission.

http://ec.europa.eu/europeaid/how/evaluation/evaluation_reports/reports/2008/1259_vol1_en.pdf

Etat belge, 1999.

Loi relative à la Coopération internationale belge.

http://diplomatie.belgium.be/fr/binaries/loi_cooperation_internationale_25051999_tcm313-149062.pdf

Etat belge, 2006.

Arrêté royal relatif à la subvention des programmes et projets présentés par les organisations non gouvernementales de développement agréées.

http://www.ejustice.just.fgov.be/cgi/api2.pl?lg=fr&pd=2006-10-06&numac=2006015146



http://ec.europa.eu/europeaid/how/evaluation/methodology/index_fr.htm

https://www.ccrek.be/docs/2006_28_FondDeSurvie.pdf

http://www.dfid.gov.uk/Documents/publications1/evaluation/evaluation-policy.pdf

http://ec.europa.eu/europeaid/how/evaluation/evaluation_reports/reports/2008/1256_en.pdf

http://ec.europa.eu/europeaid/how/evaluation/evaluation_reports/reports/2008/1259_vol1_en.pdf






Etat belge, 2007.

Arrêté Ministériel portant éxécution de l'Arrêté Royal du 24 septembre 2006 relatif à la

subvention des programmes et projets présentés par les ONG de développement agréées.


Etat belge, 2007.

Arrêté royal régissant l'agrément et la subvention des Fédérations des organisations gouvemementales de développement.

Etat belge, 2008.

Arrêté Ministériel portant éxécution de l'Arrêté Royal du 24 septembre 2006 relatif à la subvention des programmes et projets présentés par les ONG de développement

agréées.

Etat belge, 2013.

Loi relative à la Coopération au Développement.

http://www.ejustice.just.fgov.be/doc/rech_f.htm

Etat belge, 2013.

Projet de loi modifiant la loi du 19 mars 2013 relative à la Coopération au

Développement.

http://www.lachambre.be/FLWB/pdf/53/2923/53K2923005.pdf

Etat belge, 2013.

Arrêté royal concernant la subvention des programmes, projets, projets de synergie

et projets de partenariat avec la coopération gouvernementale des acteurs de la

coopération au développement non gouvernementale (projet approuvé par le

Conseil des Ministres en date du 29 Mars 2013).

Finnish Consulting Group Ltd, 2007.

Meta-Analysis of Development Evaluations in 2006.

Ministry for Foreign Affairs of Finland, Department for Development Policy.

http://formin.finland.fi/public/download.aspx?ID=28704&GUID=90fc9f25-de30-44b4-a0da-fafab9b363b9

Fonds pour la promotion des Etudes préalables, des Etudes transversales et des

Evaluations (F3E), non daté.

Des ressources pour l’évaluation, des repères pour l’action.

www.f3e.asso.fr

Forum sur l’efficacité du développement des Organisations de la Société civile, 2010.

Principes d’Istanbul sur l’efficacité du développement des Organisations de la

Société Civile.

http://www.cso-effectiveness.org/page-d-accueil,093


http://www.ejustice.just.fgov.be/doc/rech_f.htm

http://www.lachambre.be/FLWB/pdf/53/2923/53K2923005.pdf



http://www.f3e.asso.fr/

http://www.cso-effectiveness.org/page-d-accueil,093



Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB), 2006.

De kwaliteit van Programma-evaluaties in het medefinancierings-programma 2003-

2006.

Ministerie van Buitenlandse Zaken.

http://www.minbuza.nl/binaries/content/assets/minbuza/nl/import/nl/producten_en_diensten/evaluatie/afgeronde_onderzoeken/2006/06/iob_evaluaties_mfp_breed_3_studies/iob---de-kwaliteit-

van-programmaevaluaties-in-het-medefinancieringsprogramma-2003-2006


Methodische kwaliteit van Programma-evaluaties in het Medefinancieringsstelsel-I 2007-2010.


http://www.minbuza.nl/binaries/content/assets/minbuza/nl/import/nl/producten_en_diensten/evaluatie/afgeronde_onderzoeken/2011/methodische-kwaliteit-van-programma-evaluaties-in-mfs-i-2007-2010/iob---methodische-kwaliteit-van-programma-evaluaties-in-mfs-i-2007-2010


Leren van NGOs: Studie van de basic education activiteiten van zes Nederlandse

NGOs.


http://www.minbuza.nl/binaries/content/assets/minbuza/nl/services/evaluatie/studie-van-de-basic-education-activiteiten-van-zes-nederlandse-ngos.pdf

Iram, 2005.

Evaluation de l’utilisation du 1% du programme quinquennal des ONG consacré à

l’évaluation, rapport de synthèse.

Service Public Fédéral Affaires Etrangères Commerce extérieur et coopération au

développement, Direction Générale de la Coopération au Développement (DGCD).

http://www.oecd.org/derec/belgium/40778589.pdf

ITECO, Décembre 2010. Antipodes n°191,

Evaluer l’évaluation.

http://www.iteco.be/-Evaluer-l-evaluation

Meulders Caroline, 2009.

Evolution du cofinancement des ONG de développement par la DGCD au travers des principales réformes réglementant la matière : 1976,1991,1997 et 2006. Analyses et comparaisons.

Ministerie van Buitenlandse Zaken ( in Nederland), 2012.

Betreft IOB-rapport “De methodische kwaliteit van programma-evaluaties in het

Medefinancieringsstelsel-I (2007-2010)”.

http://www.rijksoverheid.nl/bestanden/documenten-en-publicaties/kamerstukken/2012/01/25/kamerbrief-iob-rapport-de-methodische-kwaliteit-van-programma-evaluaties-in-het-medefinancieringsstelsel-i-2007-2010/kamerbrief-iob-rapport-de-methodische-kwaliteit-van-programma-evaluaties-in-het-medefinancieringsstelsel-i-2007-2010.pdf

http://www.minbuza.nl/binaries/content/assets/minbuza/nl/import/nl/producten_en_diensten/evaluatie/afgeronde_onderzoeken/2006/06/iob_evaluaties_mfp_breed_3_studies/iob---de-kwaliteit-van-programmaevaluaties-in-het-medefinancieringsprogramma-2003-2006








http://www.oecd.org/derec/belgium/40778589.pdf

http://www.iteco.be/-Evaluer-l-evaluation







Ministère des Affaires Etrangères, Commerce extérieur et Coopération au Développement, 2013.

Acteurs de la Coopération non gouvernementale: priorité à la cohérence et la

complémentarité de leurs actions.

http://diplomatie.belgium.be/fr/Newsroom/actualites/communiques_de_presse/cooperation/2013/03/ni_290313_acteurs_cooperation_non_gouvernementale.jsp

Organisation for Economic Co-operation and Development (OECD), Development

Assistance Committee (DAC), 1991.

Principles for Evaluation of Development Assistance.

http://www.oecd.org/development/evaluation/2755284.pdf

Organisation de Coopération et de Développement Economiques (OCDE), Le Réseau du CAD sur l’évaluation en matière de développement, 2011.

Récapitulatif des normes et standards de référence, Deuxième édition.

http://www.oecd.org/dac/evaluation/dcdndep/47832438.pdf

Organisation de Coopération et de Développement Economiques (OCDE), Comité d’aide

au Développement (CAD), 2011.

Normes de qualité pour l’évaluation au développement.


Prolog Consult, 2007.

Evaluation of humanitarian aid by and for NGOs, a guide with ideas to consider

when designing your own evaluation activities.

European Commission, Directorate-General for Humanitarian Aid.

http://ec.europa.eu/echo/files/evaluation/2007/humanitarian_guide.pdf

Sénat de Belgique, 1999.

Projet de loi relative à la coopération internationale belge, procédure d’évocation.Toulemonde, J., Jacob, J.L., Bern, S., Lang, P. Genard, 2006.

Appropriation des résultats de l'évaluation, leçons de la pratique en Région

Limousin.

http://www.eureval.fr/IMG/pdf/Appropriation_Limousin2006.pdf

Service de l’Evaluation spéciale de la Coopération au Développement, 2008.

Evaluation de la loi du 25 mai 1999 relative à la coopération internationale belge.

Service Public Fédéral Affaires Étrangères, Commerce extérieur et Coopération au développement.

http://diplomatie.belgium.be/fr/binaries/evaluation_loi_cooperation_fr_tcm313-64782.pdf

Service de l’Évaluation spéciale de la Coopération internationale, 2008.

La Coopération belge au Rwanda Evaluation 1994-2006.


http://diplomatie.belgium.be/fr/binaries/evaluation_rwanda_fr_tcm313-64757.pdf



http://www.oecd.org/development/evaluation/2755284.pdf


http://ec.europa.eu/echo/files/evaluation/2007/humanitarian_guide.pdf

http://www.eureval.fr/IMG/pdf/Appropriation_Limousin2006.pdf

http://diplomatie.belgium.be/fr/binaries/evaluation_loi_cooperation_fr_tcm313-64782.pdf

http://diplomatie.belgium.be/fr/binaries/evaluation_rwanda_fr_tcm313-64757.pdf



Service de l’Evaluation spéciale de la Coopération au Développement, 2010.

Evaluation des partenariats des ONG orientés vers le renforcement des capacités.


http://diplomatie.belgium.be/fr/binaries/evaluation_partenariats_ong_renforcement_capacites_tcm313-112949.pdf

Service de l’Évaluation spéciale de la Coopération internationale, 2012.

Evaluation du rapportage des résultats de la Direction générale de la Coopération

au Développement.


http://diplomatie.belgium.be/nl/binaries/evaluation_rapportage_resultats_dgd_rapport_final_fr_tcm314-214079.pdf



