Présentation du Guide Zewo pour projets et programmes 1

Fondation Zewo

efficacitéLa mesure de l’efficacité dans la coopération au développement Présentation du Guide Zewo pour projets et programmes

La présente brochure offre un aperçu du Guide Zewo sur la mesure de l’efficacité pour projets et programmes dans la coopération au déve­loppement, publié en ligne et disponible sur www.zewo.ch. © Publication de la fondation Zewo Zurich 2011

La fondation Zewo est le service suisse de certifica-tion pour les organisations d’utilité publique qui ré- coltent des dons. Son but est d’assurer la transpa-rence et la loyauté sur le marché des dons en Suisse, en contrôlant les organisa-tions d’utilité publique sous l’angle de leur utilisation conscien cieuse des mon-tants ré coltés. Les œuvre d’entraide qui remplissent les exigences posées re - çoivent le label de qualité Zewo.

Les dons et les contribu-tions des pouvoirs publics doivent produire un effet tangible. C’est ce que re- cherchent les œuvres d’entraide, au même titre

que l’ensemble des donat-rices et donateurs. C’est pourquoi, une approche axée sur l’efficacité doit être adoptée dans le cadre de la planification, de la mise en oeuvre et de l’éva- luation des projets et programmes. Par ailleurs, mesurer l’effet atteint permet à une organisation de tirer un enseignement des actions qu’elle réalise et de s’améliorer en perma-nence. Les œuvres d’en-traide peuvent alors mobiliser leurs forces là où elles sont le plus utiles et le plus performantes. Avec son Guide sur la mesure de l’efficacité, la Zewo aide les œuvres d’entraide à suivre une approche axée sur l’efficacité.

Présentation du Guide Zewo pour projets et programmes 3

4 | Les œuvres d’entraide sont assistées

5 | En 6 étapes

6 | La mesure de l’efficacité

8 | Etape 1 : Définir les objectifs du projet

10 | Etape 2 : Elaborer un modèle d’efficacité

12 | Etape 3 : Planifier la mesure de l’efficacité

14 | Etape 4 : Recenser les données

16 | Etape 5 : Evaluer l’efficacité

18 | Etape 6 : Utiliser les constats

20 | Aides et ressources

21 | Bonne pratique

22 | Le Guide en ligne

23 | Institutions ayant contribué au Guide

SOMMAIRE

4 La mesure de l’efficacité dans la coopération au développement

Les œuvres d’entraides sont assistées dans l’analyse de l’effet généré par leurs projets et programmes. Elles peuvent développer et mettre en oeuvre un système de mesure de l’efficacité adapté à leur organisation.

Les constats recueillis répondent à des questions fondamentales :

■ Faisons­nous ce qu’il faut ?

■ Le faisons­nous comme il faut ?

■ Comment pouvons­nous nous améliorer ?

Présentation du Guide Zewo pour projets et programmes 5

En étapes la mesure de l’efficacité est intégrée dans le cycle de gestion de projet. Des jalons importants interviennent déjà au stade de la planification. Au cours d’un projet, les diverses phases peuvent se répéter plusieurs fois. Le Guide s’appuie sur l’approche du cadre logique. Il s’agit d’une norme de planification de projet largement répandue dans la coopération au développement. Différents passages du Guide examinent des approches et procédés alternatifs.

6

La structure modulaire facilite la compréhension.

6 La mesure de l’efficacité dans la coopération au développement

Input

Savoir, concepts, finances

Construction d’écoles et formation d’enseignants

Ecoles érigées, enseignants formés

Les enfants reçoiventune formation

L’instruction et le bien-être s’accroissent

Activités Output Outcome Impact

Evaluation des processus Mesure de la prestation

Travaux planifiés Résultats visés

Mesure de l’efficacité

La mesure de l’efficacité se penche tout d’abord sur les effets déclenchés auprès des destinataires par les œuvres d’entraide, à travers leurs prestations, mais aussi sur les effets à plus long terme, qui transcendent le groupe cible.

Les concepts principaux sont clairment expliqués.

InputMoyens financiers, humains et matériels uti­lisés pour l’action de développement.

ActivitésActions entreprises ou travaux menés en vue de produire des réalisations spécifiques. L’activité mobilise des ressources telles que des fonds, une assistance technique et d’autres types de moyens.

Output ( prestations, produits )Biens, équipements ou services qui résul­tent de l’action de développement. Le ter­me peut s’appliquer à des changements in­duits par l’action qui peuvent conduire à des effets directs.

Outcome ( effets directs, réalisation )Les effets que l’action doit accomplir ou a ac­compli à court ou à moyen terme à travers des outputs d’une mesure.

ImpactEffets à long terme, positifs et négatifs, pri­maires et secondaires, induits par une action de développement, directement ou non, in­tentionnellement ou non.

Source : OCDE/CAD

8 La mesure de l’efficacité dans la coopération au développement

Etape 1 : Définir les objectifs du projetCe qui doit tout d’abord être clair, c’est ce qu’un projet est censé générer. Pour ce faire, les problèmes, leurs causes et les besoins doivent être analysés de concert avec le groupe cible. Le Guide montre quelles mé­thodes sont envisageables, comment des objectifs d’efficacité peuvent être formulés et à quoi il convient de faire particulièrement attention.

Children contract malaria

Lack of effectivemedicine

Children are inadequately protected from infection

Medical treatment is bad

Mothers use unclean drinking water

Vaccine is too expensive

Research into effective medicine halted

Mothers know too little about the links

Clean water is too far away

Clinics are too far away

Lack of medicine

Children contractdiarrhoea

High child mortality in region x, y, z

Les enfantssouffrent depaludisme

Les médica-ments efficacesmanquent

Les enfants nesont pas assezprotégés de lacontamination

Les traitementsmédicaux sontmédiocres

Les mères utilisent de l’eaupotable nonsalubre

Vaccin trop cherRecherche pourmédicamentsplus efficacessuspendue

Les mères neconnaissent passuffisammentles liens de causeà effet

L’eau proprese trouve à unetrop grandedistance

Les relaismédicaux sonttrop éloignés

Les médica-ments font défaut

Les enfantssouffrent dediarrhée

Taux de mortalitéinfantile élevédans la régionx, y, z

L’arbre à problèmes est utilisé pour iden­tifier les problèmes et leurs causes.

Présentation du Guide Zewo pour projets et programmes 9

L’objectif de projet décrit les effets souhaités, directs, à court et moyen terme, que le projet doit générer auprès du groupe cible. La finalité décrit les effets à long terme qui seront ( co­ )déclenchés par le projet. Elle établit le lien entre le projet et les objectifs supérieurs, propres et extérieurs à l’organisation. Le Guide montre comment formuler correctement des objectifs et les harmoniser, de sorte à pouvoir les transposer à terme en autant d’indicateurs mesurables.

Les objectifs et indica­teurs sont définis et utili­sés dans la variante pré­sentée en exemple. Le Gui­de contient par ailleurs l’ensemble des variantes rencontrées dans la pra­tique, qui ne doivent toute­fois pas être mélangées.

Variant 1 ( e.g. EU )

Objectif Indicateur

Niveau Impact Moins d’enfants meurent de diarrhée dans la région x

Mortalité infantile à < 5% ( d’ici 2015 )

Niveau outcome Meilleur accès à l’eau potable

Distance jusqu’au prochain puits < 15 min pour 90% des ménages à x ( d’ici 2015 )

Niveau output Construire des puits 100 puits en exploitation

10 La mesure de l’efficacité dans la coopération au développement

Etape 2 : Elaborer un modèle d’efficacitéAfin de pouvoir mesurer et vérifier l’efficacité d’un projet, il convient d’établir clairement la manière dont l’effet visé doit être atteint. Le Guide montre comment identifier les solutions possibles, choisir les straté­gies d’intervention et élaborer les modèles d’efficacité.

Moins d’enfantssouffrent depaludisme

Des médicamentsefficaces sontdisponibles

Les enfants sontmieux protégésde la contamin-ation

Les traitementsmédicaux sontmeilleurs

Plus de mèresutilisent del’eau potablesalubre

La recherchereprend

Les mères com-prennent mieuxcertains liensde cause à effet

La populationjouit d’unmeilleur accèsà l’eau salubre

Plus d’enfantspeuvent êtretraités en tempsvoulu

Plus d’enfants reçoivent lesmédicamentsappropriés

Organiser des cours sur l’hygiène pour les mères

Construiredes puits

Mettre sur pieddes dispensairesmobiles

Distribuer desmédicaments

Moins d’enfantssouffrent de diarrhée

Le taux de mor- talité infantilebaisse dans larégion x,y,z

Les enfants sontvaccinésgratuitement

Stratégie retenueEffet secondaire souhaitéPas d’intervention

L’arbre à objectifs est utilisé pour dévelop­per différentes solu­tions.

Présentation du Guide Zewo pour projets et programmes 11

Le modèle logique est une méthode simple et largement répandue, qui permet de cartographier le lien entre cause et effet et de révéler le mode d’action d’un projet. Le Guide montre dans quels cas il est indiqué et quelles méthodes alternatives peuvent être adoptées.

Exemple projet cours sur l’hygiène et la santé

Exemple d’un modèle logique simple.

CHF 2 mio. pour la formation

Donner lescours

Les mères sont allées aux cours

Davantage demères compren-nent les liens de cause à effet

Les mères utili-sent plus sou-vent de l’eau potable salubre

Input Activitiés Output Outcome Impact

12 La mesure de l’efficacité dans la coopération au développement

Etape 3 : Planifier la mesure de l’efficacitéAvant même la mise en oeuvre du projet, il convient de planifier la manière dont l’efficacité de ce dernier sera plus tard mesurée et évaluée. Des objectifs d’efficacité doivent être transposés en indicateurs mesu­rables et le recensement des données, de même que l’analyse de ces dernières doivent être prédéfinis. Le Guide montre comment définir des indicateurs, quelles méthodes qualitatives et quantitatives peuvent être utilisées, quelles comparaisons sont indiquées et par rapport à quoi, tout comme les précautions à prend­re dans le cadre de l’évaluation de l’efficacité.

Dans le cas d’une compa­raison Avant/Après avec groupe de contrôle, l’on va comparer l’évolution inter­venue au sein du groupe cible avec celle d’un grou­pe de contrôle n’ayant pas bénéficié des presta­tions du projet. Ainsi, tout facteur d’influence extéri­eure est exclu et il de vient possible d’établir ce qui se serait passé sans le pro­jet. Ce procédé est toute­fois laborieux et exigeant du point de vue méthodo­logique. Le Guide montre quelles sont les méthodes alternatives envisageables.

Début Mi-parcours Fin

Groupe cible

Groupe de contrôle

Présentation du Guide Zewo pour projets et programmes 13

Les pièges, les obstacles et sources d’erreur les plus fréquents sont présentés et ce dont il faut particu­lièrement tenir compte est mis en évidence.

ATTENTIONDans la pratique, on accorde parfois trop peu d’attention aux sources, et, à terme, les don­nées se révèlent souvent ne pas être disponibles, ce qui rend caduque l’indicateur. Un indi­cateur sans source de données authentique ne peut être mesuré et ne pourra donc pas ser­vir à la mesure de l’efficacité.

IMPORTANTUn bon indicateur devrait être SMART :•Specific: l’indicateur doit être clair et univoque.•Measurable: l’indicateur doit pouvoir être mesuré à un coût approprié.•Achievable: le seuil donné par l’indicateur doit pouvoir être atteint.•Relevant: l’information que revêt l’indicateur doit être un repère significatif pour le chef

de projet.•Time-bound: l’indicateur doit mentionner d’ici à quand l’objectif devrait être atteint.

Source : Commission européenne, Guide PCM

14 La mesure de l’efficacité dans la coopération au développement

Etape 4 : Recenser les donnéesIdéalement, les données nécessaires à la mesure de l’efficacité doivent être collectées pendant la phase de mise en oeuvre du projet. Le Guide montre comment intégrer les indicateurs de l’efficacité dans le mo­nitoring du projet, ce à quoi il faut prêter attention, au moment du recensement des données, et comment les dérives peuvent être détectées de manière précoce et rectifiées à temps.

Programme Santé de l’enfant

Le cadre logique est un tableau standardi­sé, qui résume le mode d’action d’un projet et son système de monito­ring et d’évaluation.

Stratégie d’intervention Indicateur Source 2009 2010 2011 2012

Impact Contribue à un meilleur état de santé des enfants: la mortalité infantile recule

Mortalité infantile dans les régions x, y, z réduite de 10% à 2%

Statistiquenationale

x :10%y :10%z :10%

x :5%y :7%z :12%

Outcome Les mères connaissent le lien Les participantes du cours peuvent mettre en pratique le contenu du cours dans un jeu de rôle

Vidéo, apprécia­tion par les responsables

bonne suffi­sante

Les enfants qui tombent malades peuvent être traités avec succès

95% des traitements d’enfants avec la diarrhée sont un succès

Etudes de cas 89% 80%

Meilleur accès à l’eau potable salubre

Marche jusqu’au prochain puits < 15 minutes pour 80% des ménages

Observation 50% 60%

Output Cours 100 cours organisés Rapport de projet 23 42

Traitements 1000 traitements/an Statistique de traitements

955 1112

Puits 50 nouveaux puits dans la région

Rapport de projet 12

Activités Organiser des cours

Mettre sur pied des dispensaires mobiles

Construire des puits

Présentation du Guide Zewo pour projets et programmes 15

Evaluation intermédiaire projet Cours

L’exemple illustre com­ment procé­der en vue d’une évalua­tion intermé­diaire.

Objectif Indicateur Devrait être Etre Ecart Commentaire Mesures opérationnelles

Conséquences sur l’efficacité

E1 Application dans un jeu de rôle

au min. bonne

Bonne – Evaluation aisée

aucune

P1 Nbre cours 1 ( Pilote ) 1 ( Pilote ) – aucune

P2 Nbre participantes

35 45 + 30% Demande élevée

Cours plus étendus

Groupe cible plus grand que prévu

Coûts 10 000 15 000 + 5 000 Nbre partici­pantes plus élevé, cours plus chers

Economie par jour de cours à vérifier, De­mander hausse de budget

Mise en œuvre poten­tiellement moins effi­ciente.

Délai Mai 09 Juin 09 1 mois de retard

Recherche de conféren­ciers plus ardue que prévu

Formation de conférenciers suppl. requise

Objectifs d’effi­cacité moins vite atteints que prévu, vu la for­mation de con­férenciers nécessaire.

Legend for colour code

RESULTAT MESURE Réjouissant Planifier renforcement et assise de la réussite

Critique Introduire des rectificatifs

Encore incertain Continuer à observer

Comme prévu Pas nécessaire

16 La mesure de l’efficacité dans la coopération au développement

Etape 5 : Evaluer l’efficacitéLe Guide assiste les responsables, tout au long de la synthèse et de l’interprétation des données qualita­tives et quantitatives. Il montre dans quels cas un effet peut être attribué à un projet et comment agréger les effets de projets différents.

Le résumé du chapitre condense les éléments les plus importants, étape par étape.

Comment procéder

Activités Les responsables du projet ou expertes et experts externes procèdent aux comparaisons et en déduisent l’effet du projet à l’aide des données dispo­nibles. Il s’agit ici de suivre les normes d’évaluation en vigueur. Les résultats sont généralement fixés par écrit et documentés.

Questions On commence la 5ème étape de la mesure de l’efficacité en répondant aux questions suivantes.•Toutes les données requises sont­elles disponibles sous la forme

appropriée?•Qu’est­ce qui a changé ou a été induit auprès du groupe cible?•Qu’est­ce qui aurait changé pour le groupe cibles sans le projet?•Quels sont les motifs d’écarts éventuels par rapport aux objectifs du

projet?•Quelles affirmations et hypothèses se sont avérées, lesquelles étaient

erronées?•Quels ont été les effets secondaires intentionnels ou non?•Est­il plausible que le projet ait contribué à quelque objectif supérieur?•Quels effets peuvent être attribués au projet de façon univoque?•Quelles recommandations sont nécessaires?

Résultats Un rapport ou une présentation de l’efficacité du projet ou programme a été dressé(e).

Présentation du Guide Zewo pour projets et programmes 17

Les résultats de la mesure de l’efficacité devraient être communiqués sous une for­me appropriée – indépendamment qu’ils soi­ent tels qu’attendus, inattendus, positifs ou négatifs. Souvent, un rapport écrit est dressé à cette fin. Le Guide montre comment s’articule d’habitude un tel rapport et quelles formes de communication alternatives sont envisa­geables.

Les modèles présentés facilitent le travail des utilisatrices et utili­sateurs.

Modèled’aménagement d’un rapport sur la mesure de l’efficacité

I Synthèse

II Les bases1. Objectif et finalité ( motifs, intention )2. Ampleur de la mesure de l’efficacité ( scope )3. Questions de la mesure de l’efficacité 3.1 Question a 3.2 Question b4. Contexte de la mesure de l’efficacité5. Equipe

III Procédé1. Discussion méthodologique, sources d’information

et qualité des données2. Implication des principales parties prenantes

IV Constats1. Question a 1.1 Constations 1.2 Evaluations et conclusions2. Question b 2.1 Constatations 2.2 Evaluations et conclusions

V Appréciation générale et recommandations

18 La mesure de l’efficacité dans la coopération au développement

Etape 6 : Utiliser les constatsLes constats peuvent servir à développer le savoir au sein d’une organisation et à en tirer un enseignement pour l’avenir, afin d’orienter les activités sur l’efficience ou encore afin d’informer les donateurs, les organi­sations partenaires et groupes cibles au sujet de l’effet généré par les projets et programmes.

Légitimer

Diriger

Apprendre

Présentation du Guide Zewo pour projets et programmes 19

Le Guide montre ce qu’implique un processus d’apprentissage réussi, comment les constats peuvent ser­vir de base décisionnelle et comment ils peuvent être intégrés dans le rapport de performance d’une orga­nisation. Les principes d’une bonne mesure de l’efficacité sont exposés clairement et dévoilent ce que doit coûter une mesure de l’efficacité.

Un modèle et des exemp­les concrets informent sur la manière dont les résultats de la mesure de l’efficacité peuvent être intégrés dans le rapport de performance.

20 La mesure de l’efficacité dans la coopération au développement

Aides et ressourcesLes principales approches et méthodes de mesure de l’efficacité sont présentés sous forme synthétique mais exhaustive. De plus, un compendium pratique et bien structuré englobe les liens et documents à télé­charger sur le thème de la mesure de l’efficacité.

Approches et méthodes

■ L’approche du cadre logique – La norme en matière de planification de projet axée sur les résultats dans la coopération au développement.

■ Outcome Mapping ( La cartographie des incidences ) – Approche alternative pour mettre au point un sys­tème d’analyse de l’efficacité.

■ Theory of Change – Une approche de planification de projet axée sur les résultats, qui repose sur un mo­dèle d’efficacité un peu plus ouvert que celui de l’approche du cadre logique.

■ Most Significant Change – Une technique qualitative et participative très spécifique pour évaluer les ef­fets de projets et programmes. Cette technique repose sur une évaluation systématique des expériences individuelles, totalement indépendante d’indicateurs ou de chiffres.

■ MAPP ( Méthode d’appréciation de l’impact de projets et programmes ) – Un procédé participatif très spéci­fique pour évaluer les effets de projets et programmes. Ce procédé s’appuie sur des discussions de groupe, par lesquelles les effets et évolutions sont analysés de manière rétrospective en suivant une procédure fixe.

Liens

■ Survols de méthodes ■ Guides de suivi et d’évaluation ■ Boîte­à­outils ■ Comptes­rendus d’expériences

Présentation du Guide Zewo pour projets et programmes 21

Bonne pratiqueLe système suprême de la mesure de l’efficacité n’existe pas. Chaque organisation doit mettre au point un concept adapté à ses propres contingences. Pour y parvenir, le Guide Zewo montre ce que l’on entend par bonne pratique en matière de mesure de l’efficacité, par le biais de quelques principes clairs définissant ce qu’est une mesure de qualité, la publication des résultats et leur communication.

La fondation Zewo entend promouvoir la diffusion d’une mesure systématique de l’efficacité dans la pratique et aider les œuvres d’entraide à développer et à mettre en œuvre des systèmes de mesure de l’efficacité conformes à leurs contingences et à l’esprit de cette bonne pratique.

22 La mesure de l’efficacité dans la coopération au développement

Le Guide en ligneLe site www.zewo.ch/impact/fr vous donne accès au Guide élec­tronique. Celui­ci peut aussi être téléchargé sous un format de fichier PDF.

Présentation du Guide Zewo pour projets et programmes 23

Institutions ayant contribué au GuideLa Direction du développement et de la coopération ( DDC ) est l’agence vouée à la coopération internationale du Département fédéral des af­faires étrangères ( DFAE ). Elle a contribué au développement du Guide, qu’elle a considérablement favorisé par son soutien.

La Société suisse d’évaluation ( Seval ) encourage le dialogue et les échanges d’expériences en matière d’évaluation. Elle s’engage active­ment pour la promotion de la qualité des évaluations et de leur diffusi­on. Elle soutient le lancement de ce Guide en qualité de partenaire de communication.

Les études postgrade pour les pays en développement ( Nadel ) de l’EPF de Zurich forment les experts et la relève de demain du monde de la coo­pération au développement. Dans leur cursus des méthodes de planifi­cation et d’analyse axées sur les résultats, ainsi que le Guide Zewo sur la mesure de l’efficacité sont exposés, entre autres.

Nous remercions les membres du groupe de travail chargé de développer ce Guide : Bernard Du Pasquier ( EPER ), Diether Grünenfelder ( EcoSolidar ), Maya Natarajan ( IAMANEH Suisse ), Constanze Bunzemeier ( En­fants du monde ), Peter Schmidt ( Helvetas ), Gerhard Siegfried ( DDC ) et Christian Varga ( Caritas Suisse ), ainsi qu’Oliver Bieri et Stefan Rieder d’Interface Etudes politiques Recherche Conseil.

Fondation ZewoLägernstrasse 278037 ZürichTéléphone +41 ( 0 )44 366 99 55Fax +41 ( 0 )44 366 99 50info@zewo.chwww.zewo.ch