1

OBJECTIFS DE LA SESSION

PROMOUVOIR LES PDEA ET LEUR UTILISATION PAR LES EVALUATEURS ET LES UTILISATEURS DES EVALUATIONSRENFORCER LES CAPACITES DES ANIMATEURS DE GROUPES DE TRAVAIL DU ReNSE POUR UNE INTEGRATION DES PDEA DANS LES TRAVAUX DE GROUPEAMELIORER LA QUALITE DES EVALUATIONS ET DES RAPPORTS D’EVALUATION

LES PRINCIPES DIRECTEURS DE L’EVALUATION AFRICAINE

Utilité, Opportunité, Enjeux

Niamey, 20/08/2004

3

PDEA – Qu’est-ce que c’est?

Liste de contrôles (checklist) pour : la négociation et l’établissement de contrats d’évaluation clairs; le suivi des progrès d’une évaluation; l’atteinte des résultats attendus d’une évaluation

4

PDEA – Pourquoi?

Assurer une meilleure qualité du processus d’évaluation de programmes et projetsPouvoir anticiper et expliquer les raisons des succès/échecs du processus d’évaluation et prendre des décisions pour réajuster le processus à temps

5

PDEA – Quand et comment les utiliser?

Au cours de 3 phases principales:La planification/préparation d’une évaluationLa mise en œuvre d’une évaluation: conception et conduite de l’évaluationL’utilisation: communiquer et utiliser les résultats

6

PDEA – Quand et comment les utiliser?

La planification/préparation d’une évaluation :

Identifier les parties prenantes et le profil de l’équipe d’évaluateursDresser la liste des questions d’évaluationElaborer le budget de l’évaluationSélectionner les membres de l’équipe

7

PDEA – Quand et comment les utiliser?

La mise en œuvre : conception et conduite de l’évaluation :

Etablir l’échantillon, déterminer la couverture géographique, les méthodes de collecte de donnéesCollecter les donnéesAnalyser et interpréter les données

8

PDEA – Quand et comment les utiliser?

Communiquer et utiliser les résultats :Valider les résultats par tous les utilisateursCommuniquer les résultats et les points clés/recommandationsUtiliser le processus de réalisation et ses résultats pour l’aide à la prise de décision et pour l’élaboration de politiques et programmes de développement

9

PDEA – Contexte

L’Association américaine d’Evaluation a identifié 30 critères garantissant la qualité d’une évaluation et les a présenté sous la forme d’une checklistLa checklist peut être utilisée pour apprécier la complétude et la qualité d’une évaluationUne série d’ateliers techniques a été organisée entre 1998-2002 en Afrique

10

PDEA – Contexte

La plupart des Réseaux nationaux de S&E africains impliqués ont reconnu que les standards US devaient être adaptés au contexte africainEst-ce que les standards US d’évaluation de programmes sont appropriés pour une utilisation en Afrique (cultures, traditions, etc.)?

11

PDEA – Un besoin

Le besoin d’élaborer les PDEA :1. Il est acceptable d’adopter un

modèle international qui serait suffisamment sensible au contexte africain. Mais les standards US ne prennent pas en compte certaines valeurs culturelles et sociales présentent en Afrique

12

PDEA – Un besoin

2. Il est inacceptable d’imposer à l’Afrique un jeu de standards développé hors du continent. Une révision des standards US par les parties prenantes africaines est suggérée

3. La procédure appropriée serait de tester les standards US sur le terrain en Afrique pour dégager leur pertinence et le besoin d’une révision pan-africaine

13

PDEA – Leur structure

Les 30 standards US sont regroupés dans 4 groupes qui correspondent à 4 dimensions clés d’une évaluation de programme juste et de qualité4 catégories de critères constituent les PDEA:

1. Utilité2. Faisabilité3. Propriété4. Précision

14

PDEA – UTILITELes principes directeurs de l’Utilité sont destinés à assurer que l'évaluation réponde aux besoins en informations des futurs utilisateurs et que les parties prenantes se les approprient

U1 Identification des parties prenantesU2 Crédibilité de l'EvaluateurU3 Domaine et Choix de l'InformationU4 Identification des ValeursU5 Clarté des RapportsU6 Disponibilité des Rapports à Temps etDissémination des RapportsU7 Evaluation de l'Impact

15

PDEA – FAISABILITELes principes directeurs de Faisabilité sont destinés à assurer que l'évaluation est réaliste, prudente, diplomatique et économique

F1 Procédures Pratiques

F2 Viabilité Politique

F3 Efficacité du Coût

16

PDEA – PROPRIETELes principes directeurs de Propriété sont destinés à assurer que les évaluations sont conduites légalement avec éthique et avec une attention particulière pour le bien-être de ceux qui sont impliqués et touchés par les résultats

P1 Orientation du ServiceP2 Accords formelsP3 Droits des parties prenantesP4 Les rapports humainsP5 Evaluation Complète et SatisfaisanteP6 Diffusion des ConclusionsP7 Conflits d'IntérêtsP8 Responsabilité Fiscale

17

PDEA – PRECISIONLes principes de Précision sont destinés à assurer qu'une évaluation révélera et apportera une information techniquement adéquate autour des caractéristiques qui déterminent la valeur du programme évalué

A1 Documentation du ProgrammeA2 Analyse du ContexteA3 Buts et Procédures PrésentésA4 Sources d'Information DéfendablesA5 Information ValideA6 Information FiableA7 Information Systématique

18

PDEA – PRECISION

A8 Analyse de l'Information QuantitativeA9 Analyse de l'Information QualitativeA10 Conclusions JustifiéesA11 Impartialité du rapportA12 Méta-évaluation

19

PDEA – Leur Utilisation en Afrique

Ont été contextualisés à l’Afrique par les africainsSont mis gratuitement à la disposition des évaluateurs et des utilisateurs des évaluationsOnt été testés par plusieurs bureaux de l’UNICEF en Afrique de l’Est et du Sud avec des résultats positifs

20

PDEA – Leur Utilisation en Afrique

POURTANT… Faible utilisation: Pourquoi?

Promotion insuffisanteFormation insuffisanteUtilisation d’autres standards propres aux organismes de développement

Les PDEA constituent davantage une source d’inspiration pour les agences afin d’enrichir et contextualiser des standards existants par ailleurs

21

AfrEA 2002 – Nairobi 3 recommandations1. Les réseaux et associations nationaux de

S&E doivent adopter les PDEA en tant que standards reconnus et utilisés pour l’élaboration des TDR, la validation des rapports d’évaluation et la dissémination des résultats

22

AfrEA 2002 – Nairobi 3 recommandations2. Les Gouvernements et organismes

publics doivent encourager l’utilisation des PDEA pour assurer l’harmonie, la consistance, la reddition, la qualité et l’appropriation de l’évaluation

23

AfrEA 2002 – Nairobi 3 recommandations3. Les agences du SNU et les partenaires

multilatéraux doivent relever le défi d’utiliser les PDEA pour contrôler la qualité de leurs évaluations de programmes de développement

Utilisation des PDEA dans l’évaluation d’un programme-pays UNICEF

Etude de cas 1 - RCA

Utilisation des PDEA dans le contrôle qualité de rapports d’évaluation - métaévaluation

Etude de cas 2 – Prog. VIH/SIDA Unicef

26

PISTES DE DISCUSSIONPartages d’expériences dans l’utilisation des standards – avantages, inconvénients rencontrés, etc.Quelles sont les contraintes à l’institutionnalisation des PDEA au Niger et à leur utilisation + systématique par les acteurs du S&E?Qu’est-ce que l’on peut faire de plus (à travers les groupes de travail)??? (dernier point)

Exercice de groupe

Analyse de Termes de Références à l’aide des PDEA

PAUSE CAFE ! ! ! !

Merci UNICEF!!

Standards d’Evaluation de Programmes - UNICEF

Standards US d’Evaluation de Programme

Source : Joint Committee, 1994, ou site web: http://www.eval.org

31

Utility StandardsThe utility standards are intended to ensure that an evaluation will serve the information needs of intended users

U1 Stakeholder Identification—U2 Evaluator Credibility--U3 Information Scope and Selection--U4 Values Identification--U5 Report Clarity--U6 Report Timeliness and Dissemination—U7 Evaluation Impact--

32

Feasibility StandardsThe feasibility standards are intended to ensure that an evaluation will be realistic, prudent, diplomatic, and frugal

F1 Practical Procedures--F2 Political Viability--F3 Cost Effectiveness--

33

Propriety StandardsThe propriety standards are intended to ensure that an evaluation will be conducted legally, ethically, and with due regard for the welfare of those involved in the evaluation, as well as those affected by its results

P1 Service Orientation—P2 Formal Agreements—P3 Rights of Human Subjects—P4 Human Interactions—P5 Complete and Fair Assessment--P6 Disclosure of Findings—P7 Conflict of Interest—P8 Fiscal Responsibility--

34

Accuracy StandardsThe accuracy standards are intended to ensure that an evaluation will reveal and convey technically adequate information about the features that determine worth or merit of the program being evaluated

A1 Program Documentation--A2 Context Analysis—A3 Described Purposes and Procedures—A4 Defensible Information Sources—A5 Valid Information—A6 Reliable Information--A7 Systematic Information—A8 Analysis of Quantitative Information—A9 Analysis of Qualitative Information—A10 Justified Conclusions--A11 Impartial Reporting—A12 Metaevaluation--

Les critères du CAD-OCDE

Source: The DAC Principles for the Evaluation of Development Assistance, OECD (1991), ou http://www.ocde.org

36

PertinenceLe degré d’adéquation entre l'activité d'aide et les priorités et politiques du groupe cible, du destinataire et du donateur. En évaluant la pertinence d'un programme ou d'un projet, il est utile de considérer les questions suivantes :

Dans quelle mesure les objectifs du programme sont-ils encore valides ? Les activités et les produits du programme sont-ils conformes au but global et à l'accomplissement de ses objectifs? Les activités et les produits du programme préparent-ils aux impacts et aux effets attendus ?

37

Efficacité Une mesure du degré d’atteinte des objectifs par une activité d'aide. En évaluant l'efficacité d'un programme ou d'un projet, il est utile de considérer les questions suivantes :

Dans quelle mesure ont été atteints les objectifs / sont-ils en passe d’être atteints ? Quels étaient les facteurs principaux influençant l'atteinte ou non des objectifs ?

38

EfficienceL'efficience établit la relation entre les produits et les intrants. Signifie que l'aide emploie les ressources les moins coûteuses possibles afin de réaliser les résultats désirés. En évaluant l'efficacité d'un programme ou d'un projet, il est utile de considérer les questions suivantes :

Les activités étaient-elles coût-efficaces ? Est-ce que des objectifs ont été atteints dans les délais impartis ?Est-ce que le programme ou projet a été mis en œuvre de la manière la plus efficace par rapport aux solutions alternatives ?

39

Impact Les changements positifs et négatifs produits par une intervention de développement, directement ou indirectement, prévue ou fortuite. Ceci implique les principaux impacts et effets de l'intervention sur les indicateurs sociaux, économiques, environnementaux au niveau local. En évaluant l'impact d'un programme ou d'un projet, il est utile de considérer les questions suivantes :

Que s'est-il produit du fait du programme ou du projet ?Quelle vraie différence l'activité a-t-elle occasionnée sur les bénéficiaires ?Combien de personnes ont été affectées ?

40

DurabilitéPermet de savoir si les bienfaits d’une intervention peuvent se poursuivre malgré l’arrêt du financement extérieur. Les projets doivent être soutenables au plan financier et environnemental. En évaluant la soutenabilité d'un programme ou d'un projet, il est utile de considérer les questions suivantes :

Dans quelle mesure les bienfaits d'un programme ou d'un projet se poursuivent-ils après le retrait du donateur ? Quels étaient les facteurs principaux influençant l'atteinte ou non de la soutenabilité du programme ou du projet ?

DISCUSSION

42

PERSPECTIVES POUR LES GROUPES DE TRAVAIL

La promotion et la maîtrise des PDEA:

Qu’est-ce que le ReNSE peut faire de plus???Comment intégrer les PDEA dans les travaux des groupes?Restitution aux groupes…

43