Evaluation de la coopération internationale menée par la Belgique … · 2014-11-21 · ONG €89.5 m FBS €61.1 m Aide urgence/ aide alimentaire €2.3 m Programmes de sensibilisation

24 février 2011

Le point de vue du commanditaire et de l’évaluateur

Evaluation de la coopération internationale menée par la Belgique

Ce document est un support à la présentation orale; il n’est pas destiné à être utilisé séparément ou en dehors de ce cadre.

Objectifs de la présentation

Points clés

- Le champs de l’évaluation: les évaluations stratég iques

- Le processus d’évaluation

- Le cadre méthodologique

- Les types de conclusions et de recommandations

L’évaluation de la note stratégique « Agriculture et Sécurité

alimentaire » de la Coopération belge (mai 2002) et sa

mise en œuvre « comme fil conducteur.2

Enseignements tirés de l’expérience d’ADE en matièr e d’évaluations stratégiques menées pour la coopération belge

Un exemple. Evaluation de la note stratégique agriculture et sécurité alimentaire

3

(1) Codes objets SNPC CAD ‘secteur principal’Source: Termes de Référence

Objectif

Fournir les éléments nécessaires à la définition d’ une nouvelle stratégie de la coopération belge en matière d’agri culture et de sécurité alimentaire, sous forme de constats, leçons, conclusions et recommandations (« évaluation thématique et prospective »)

Objet Note stratégique "Agriculture et Sécurité alimentai re" de la Coopération belge (mai 2002) et sa mise en œuvre

Champ• Période 2003-2007• Secteurs principaux CAD1: “Agriculture”, “Sylviculture”, “Pêche”,

“Développement Rural” et “Aide alimentaire (…)”






4

Les évaluations stratégiques ne sont pas des évaluations de projet

Enjeux méthodologiques

Enjeux de gestion d’un processus complexe5

Evaluations de projets

Logique d’action explicite

Ensemble limités d’actions cohérentes

Questionnement évaluatif « standard »

Bénéficiaires identifiables et accessibles

Evaluations Stratégiques

Logique d’action peu explicite

Volume ,diversité et niveaux d’interventions

Variété des options en matière de questionnement évaluatif

Bénéficiaires à différents niveaux





- Les types de conclusion et des recommandations

6

Processus d’évaluation long et complexe

7

Hypothèses de réponse aux QE

Questions d’Evaluation (QE)

Critères de JugementIndicateurs

Proposition d’un échantillon:- 12 pays

- Environ 30 projets

Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002)

Inventaire (avec enquête on-line)

Rédaction du Rapport

intermédiaire provisoire

Séminaireinterne

Mise en œuvre des études de cas dans les 6 pays sélectionnés:

- visite des projets- interviews des parties

prenantes- focus-groupes avec les

bénéficiaires- rédaction d’un aide-

mémoire- séminaire de restitution

Rédaction des 6 rapports-pays

CdP: 7/11/2008

CdP: 26/05/2009

Réponses aux questions d’éval.

Rédaction du Rapport final provisoire

Conclusions

Recommandations

Séminaireinterne

CdP:10/09/2009

Mission à Rome (FAO, PAM, FIDA)

CdP: 9/01/2009

CdP=Comité de Pilotage

Phase de préparation Phase d’étude

Collecte des informations:- Documents - Interviews

(Bruxelles)

Phase de terrain Phase de synthèse






8

Bases méthodologiques d’évaluation de la Commission Européenne

http://ec.europa.eu/europeaid/evaluation/methodolog y/methods/mth_fr.htm

Cadre méthodologique bien défini

Caractéristique: « theory based evaluation » : l’évalua tion par

rapport à une logique d’intervention (chaine de cau salité) explicite

ou implicite

9

Activités Réalisations Résultats Impacts

Cadre méthodologique

• Une logique d’intervention

• Un inventaire détaillé

• Des questions d’évaluations

– Des critères de jugement

– Des indicateurs

• Des outils d’analyse:

• A un niveau global

• Sur un échantillon: visites de terrain

10

Logique d’intervention de la Note stratégique

11






– Des indicateurs



• Sur un échantillon

12

Inventaire: analyse géographique

13

AmC€13.2m

IC€1.7m

AO€64.2m

AC€47.1m

AA€21.2m

AE€29.9m

UNI/n.s./ BE€39.1m

AI€32.6m

MM€10.1m

AFR. n.s .€.22.0m

Total 2003-2007

€330m

Source: Base de données ODA.be, analyse ADE-IDIS, 2008.

AS€48.2m

AmC€13.2m

IC€1.7m

AO€64.2m

AC€47.1m

AA€21.2m

AE€29.9m

UNI/n.s./ BE€39.1m

AI€32.6m

MM€10.1m

AFR. n.s .€.22.0m

Total 2003-2007

€330m

Total 2003-2007

€330m

Source: Base de données ODA.be, analyse ADE-IDIS, 2008.

AS€48.2m

Inventaire: principaux secteurs d’intervention

14

Total 2003-2007

Aide alimentaire -Programmes de sécurité et d'aide alimentaire (52010) €0.5 m

Pêche et aquaculture (313) €5.2 m

Sylviculture (312) €8.7 m

Agriculture et élevage (311) €219.5 m

Multisecteur–Développement rural (43040) €95.9 m

Source: base de données ODA.be 2008, analyse ADE-IDIS

€330m

29.1%

6.7%2.6%

66.6%0.2%

Inventaire: types d’intervention

15

4.1%

3.1%

2.9%

2.1%

2.1%

2.1%

9.3% 6.5%

11.6%

14.0%

32.9%

16.5%

4.6%4.7%

Développement agricole €72.3 m

Recherche agronomique €30.7 m

Bétail €25.5 m

NB: La catégorie “Autres” rassemble la “Vulgarisation agricole” (€3.1 m), les “Services vétérinaires” (€2.3 m), les “Services agricoles” (€2.1 m), les “Ressources en terres cultivables” (€0.6 m), la “Protection des plantes et des récoltes, lutte antiacridienne” (€0.5 m) et la “Production industrielle de récoltes/ récoltées destinées à l’exportation” (€0.5 m). Source:Base de données ODA.be, 2008; analyse ADE-IDIS

Coopératives agricoles €20.4 m

Education et formation €10.3 m

Production agricole €14.2 m

Politique agricole et gestion administrative €10 m

Ressources en eau à usage agricole €6.9 m

Autres €9.1 m

Réforme agraire €6.3 m

Services financiers agricoles €4.7 m

Développement agricole alternatif €4.6 m

Produits à usage agricole €6.3 m

Total Agriculture et élevage 2003-2007

€219.5 m

Inventaire: canaux d’intervention

16

27.1%

18.5%

12.7%

8.4%

27.4%

4.4% 0.7%

0.5%

0.3%

0.0%

1.5%Appui politique €1.5 m

Prog. non. gouv. – autres partenaires €1.1 m

Prog. gouv. €90.5 m

ONG €89.5 m

FBS €61.1 m

Aide urgence/ aide alimentaire €2.3 m

Programmes de sensibilisation €0.1 m

Source: base de données ODA.be, 2008; analyse ADE-IDIS

NU/ Inst. BW €41.8 m

Univ./ Inst. Sc. €14.5 m

Fonds/ prog. sect. €27.6 m

Total 2003-2007

€330m

27.1%

18.5%

12.7%

8.4%

27.4%

4.4% 0.7%

0.5%

0.3%

0.0%

1.5%Appui politique €1.5 m

Prog. non. gouv. – autres partenaires €1.1 m

Prog. gouv. €90.5 m

ONG €89.5 m

FBS €61.1 m

Aide urgence/ aide alimentaire €2.3 m

Programmes de sensibilisation €0.1 m

Source: base de données ODA.be, 2008; analyse ADE-IDIS

NU/ Inst. BW €41.8 m

Univ./ Inst. Sc. €14.5 m

Fonds/ prog. sect. €27.6 m

Total 2003-2007

€330m

Dépenses 2003-2007






– Des indicateurs



• Sur un échantillon

17

Les questions d’évaluation

Les question doivent couvrir

- les critères du CAD

- la logique d’intervention

- des préoccupations spécifiques du commanditaire

18

12 Questions d’évaluation

19

QE 1 Pertinence de la stratégie

QE 2 Cohérence dans la mise en œuvre

QE 3Cohérence de la stratégie par rapport à l’ensemble de la coopération belge

et aux différents canaux d’intervention

QE 4 Efficacité des interventions pour augmenter les revenus agricoles

QE 5Efficacité des interventions en termes d’amélioration de la sécurité

alimentaire

QE 6 Efficacité des interventions en termes d’économie rurale

QE 7 Renforcement des capacités institutionnelles

QE 8 Durabilité

QE 9 Efficience de la stratégie et des interventions

QE 10 Coordination et complémentarité

QE 11 Questions transversales – Egalité hommes-femmes

QE 12Questions transversales – Gestion des ressources naturelles et

réchauffement climatique

20

Questions d’évaluation (exemple)

QE4 : Efficacité des interventions pour augmenter les revenus agricoles

Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ?

QE5 : Efficacité des interventions en termes d’amélioration de la sécurité alimentaire

Dans quelle mesure les interventions ont-elles permis d’améliorer la sécurité alimentaire des populations ciblées ?

QE6 : Efficacité des interventions en termes d’économie rurale

Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles et non agricoles des populations ciblées ?

QE7 : Renforcement des capacités institutionnelles

Dans quelle mesure les interventions menées ont-elles permis de renforcer les capacités institutionnelles des partenaires ?

21

Questions d’évaluation (exemple)

Critères de jugement Indicateurs Sources

C.J.4.1 – Les interventions ont un impact sur l’augmentation des revenus agricoles.

I.4.1.1 – Augmentation du rendement et de la production par ménage

I.4.1.2 – Accès aux marchésI.4.1.3 – Accès aux intrants I.4.1.4 – Accès aux et adoption des technologies

améliorésI.4.1.5 – Diffusion et utilisation des résultats de la

recherche dans les interventionsI.4.1.6 – Evolution du revenu agricole

Documents de programmation des interventionsRapports de suivi et d’évaluation des interventions Missions de terrain

C.J.4.2 – L’échelle d’intervention et le choix des bénéficiaires permettent d’atteindre un impact significatif au niveau de la zone d’intervention (pays, région, commune).

I.4.2.1 – Type de ciblage I.4.2.2 – Nombre et type de bénéficiaires I.4.2.3 – Choix de la spéculation agricole/animale

Statistiques agricolesDocuments de programmation des interventionsRapports de suivi et d’évaluation des interventionsMissions de terrain

QE4 : Efficacité des interventions pour augmenter les revenus agricoles

Dans quelle mesure les interventions ont-elles permis d’augmenter de manière durable les revenus agricoles des populations ciblées ?

Réponse à la question 4

Deux dimensions clé:

Dimension micro.

Vérifier les résultats des actions sur les rendements/sur les revenus à l’échelle des interventions

(approche qualitative ou quantitative en fct des informations disponibles)

Dimension macro.

Combien de producteurs sont concernés par les actions ?Le nombre est-il suffisant pour espérer un impact significatif?

=>Conclusion

22






– Des indicateurs



• Sur un échantillon de pays et d’intervention

23

24

Choix des pays et des interventions: un enjeu clé, la représentativité

• Qualification du pays: pays partenaire (P) / pays non partenaire (NP) de la Coopération belge• Aide de la DGCD (2003-2007)

– Aide totale de la DGCD– Aide totale de la DGCD en agriculture, FBS inclus– Part relative du FBS dans l’aide DGCD en agriculture– Part relative de l’aide DGCD en agriculture, hors FBS

• Caractéristiques des interventions financées– Nombre d’interventions en agriculture – Acteurs des interventions (CTB, ONG, VLIR, CIUF, CGIAR, FAO, BM, etc.)– Canal d’intervention (en part relative de l’aide DGCD en agriculture, hors FBS)– Type d’intervention: code CAD (311, 312, 313, 43040 et 520; en part relative de l’aide DGCD en

agriculture, hors FBS)• Indicateurs-clés des différents pays:

– Classification du pays par revenus (BM, 2008)– Densité de population agricole (FAO, 2001-2003)– Part relative des exportations agricoles dans les exportations totales (FAO, 2002-2004)– % des personnes malnutries (FAO, 2002-2004)

25

Choix des pays et des interventions: un enjeu clé, la représentativité

• Privilégier la coopération bilatérale directe (programmes gouvernementaux -CTB)

• Représentativité des autres canaux d’intervention

• Représentativité des différents types d’intervention (code CAD)

Processus d’évaluation

26

Hypothèses de réponse aux QE

Questions d’Evaluation (QE)

Critères de JugementIndicateurs

Proposition d’un échantillon:- 12 pays

- Environ 30 projets

Reconstruction de la logique d’intervention sur base de la Note « Agriculture et Sécurité alimentaire » (Mai 2002)

Inventaire (avec enquête on-line)

Rédaction du Rapport

intermédiaire provisoire

Séminaireinterne

Mise en œuvre des études de cas dans les 6 pays sélectionnés:

- visite des projets- interviews des parties

prenantes- focus-groupes avec les

bénéficiaires- rédaction d’un aide-

mémoire- séminaire de restitution

Rédaction des 6 rapports-pays

CdP: 7/11/2008

CdP: 26/05/2009

Réponses aux questions d’éval.

Rédaction du Rapport final provisoire

Conclusions

Recommandations

Séminaireinterne

CdP:10/09/2009

Mission à Rome (FAO, PAM, FIDA)

CdP: 9/01/2009

CdP=Comité de Pilotage

Phase de préparation Phase d’étude

Collecte des informations:- Documents - Interviews

(Bruxelles)

Phase de terrain Phase de synthèse






27

Type de conclusions Q4: Efficacité des interventions pour augmenter les revenus

28

• Résultats positifs en termes d’augmentation des rendements et de la production

• Impacts sur les revenus non-constatés• Pas mesuré alors qu’il s’agit d’un objectif

explicit de 50% des projets étudiés• Cette mesure devient une préoccupation

croissante et quelques bonnes pratiques constatées

Niveau micro –(interventions,

projet)

• Nombre limités de bénéficiaires et/ou espace limité d’intervention => impact global limité

Niveau macro-appréciation de l’impact

global

Type de recommandations:

29

Indiquer aux différents partenaires les champs d’intervention

de la coopération belge

Inscrire concrètement la coopération belge

dans la Déclaration de Paris et l’agenda d’Accra

Préciser les objectifs, guider les choix,

orienter les discussions

Future « Note stratégique »

R1. Une nouvelle stratégie utile pour améliorer l’efficacité de l’aide traduite dans un document cadre utile à toutes les parties concernées est nécessaire

R3: La future « Note stratégique » n’est pas un aboutissement en soi, elle devrait être un instrument dynamique de la coopération belge

30

Future « Note

stratégique »

Promotion

Dispositions pratiques

Suivi documenté

Etapes de la définition et de la mise en pratique d e la Note stratégique

Processus participatif

Type de recommandations

Pour terminer: les évaluations stratégiques ?

Aspects positifs

Aspects négatifs

Processus long et complexe: ne pas se perdre dans le processus

Repose largement sur des critères qualitatifs

Bénéficiaires finaux peu présentsReprésentativité des études de cas

Champs trop large risque de « dilution » des conclusions et

recommandations

Processus d’interaction avec le commanditaire bien rodé

Méthodologie rigoureuse standardisée

Jugement global sur un secteur, une stratégie

31