LA GESTION DU CYCLE DE PROJET SURVEILLANCE DES PROGRES ET L’ EVALUATION DES

RESULTATS ET DE L’ IMPACT(Project Cycle Management - Monitoring and Evaluation )

Atelier International sur le Paludisme - Institut Pasteur de MadagascarAntananarivo Madagascar

15.03 - 24.04 2004

Dr. Luciano TUSEOOMS

GESTION DU CYCLE DU PROJET - DEFINITION ET OBJECTIFS

La Gestion du Cycle du Projet (GCP) est un méthode qui permet d’améliorer la qualité de la conception et de la gestion, afin d’augmenter l’efficacité des projets.

L’objectif de la GCP est l’amélioration de la gestion des actions, projets et programmes en tenant mieux compte des questions essentielles et des conditions - cadres dans la conception et la mise en oeuvre des projets et programmes.

La détermination d’objectifs clairs et réalistes pour les projets et programmes

L’identification des facteurs de « qualité » qui assurent les bénéfices du projet à long terme

La cohérence avec et la contribution aux « objectifspolitiques cadres plus larges » des projets et programmes.

GESTION DU CYCLE DU PROJET - DEFINITION ET OBJECTIFS (suite)

3 ÉLÉMENTS FONDAMENTAUX :

GCP - L' APPROCHE INTEGREE

La GCP est donc une approche intégrée de gestion des projets :

Elle suit les phases du cycle de projet afin d’assurer un processus de prise de décision structuré et argumenté

Elle utilise l’approche du cadre logique comme outil central pour la conception et la gestion des projets afin de garantir une analyse complète et cohérente

Elle met l’accent sur l’implication des bénéficiaires dans la prise de décisions

Elle insère les facteurs clés de la viabilité dans la conception des projets

Elle utilise un format standard pour planifier les activités et les ressources ainsi que pour présenter des documents sous une formetransparente et complète, et ce aux différentes phases du cycle de projet

LE CYCLE DU PROJET

PROGAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATION

Le Cycle du Projet fixe les séquences des actions nécessaires et préétablies, réalisées pour chaque Projet

LA GESTION DU CYCLE DU PROJET

PROGRAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATIONEtude de Pré - FaisabilitéObjectivesRésultatsActivités

Etude de FaisabilitéViabilitéFinalisation

PropositionApprobationConvention

ExécutionPlan OpérationnelRapport de Suivi

Analyse de RésultasAnalyse de l'ImpactÉvaluation Final (Ré-analyse de la Situation)

Analyse de la SituationPriority Setting ProcessAnalyse MultisectorielAnalyse des "Stakeholders"

PROGRAMMATIONPROGAMMATION

MISE EN OEUVRE

ÉVALUATIO N

INSTRUCTIONFINANCEMENT

IDENTIFICATIONInformations- Documents de Stratégie par Pays

- Conteste territorial- Contexte sectoriel

- Contexte Socio anthropologique (survey, focus group)- Etc.

Orientation Stratégique

Analyse de la Situation

Identification des principaux Problèmes (objectifs) et les priorités sectorielles

IDENTIFICATION

Analyse des Problèmes, des Besoins et Intérêts des parties prenantesOrientations et Priorités définies dans le cadre dela phase de Programmation.

Études sectorielles, thématiques Préfaisabilité)

Objectives

RésultatsPremière élaboration des idées du Projet

Activités

Étude De Faisabilité

PROGAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATION

INSTRUCTIONPROGAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATION

ELABORATION D’UN CADRELOGIQUE DU PROJET

Résultats

Activités

Indicateurs

HypothèsesMISE EN OEUVRE DU PROJETET STRUCTURE DE GESTION

BUDGET GLOBAL PAR GRAND POSTE

CALENDRIER PRÉVISIONNEL DE TRAVAIL

Tous les aspects importants de l’idée de projet sont examinés, en tenant compte des résultats de l’étude de préfaisabilité, desfacteurs de qualité clés et des points de vue des principales parties prenantes.

FINANCEMENTPROGAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATION

EVALUATION EX ANTE

PROPOSITION DE FINANCEMENT

CONVENTION DE FINACEMENT

MISE EN OEUVREPROGAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATION

PLAN OPERATIONEL

PASSATION DE CONTRATS DE SERVICES DE FOURNITURES

OU DE TRAVAUX.

RAPORTS SUR L’ ÉTAT D’ AVANCEMENT DU PROJET

MONITORING(Surveillance)

SUIVI RÉGULIER PERMETTANT L’ AJUSTEMENT À L’ ÉVOLUTION

DE LA SITUATION.

VIABILITÉVIABILITÉ

IMPACTIMPACT EFFICACITÉ,EFFICACITÉ,

EFFICIENCE,EFFICIENCE,

PERTINENCE,PERTINENCE,

PROGRAMMES.PROGRAMMES.

ÉVALUATION

PROGAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATIONL’évaluation est l’action qui consiste à porter une appréciation, aussi systématique et objective que possible, sur un projet en cours ou achevé, un programme ou un ensemble de lignes d’action, sa conception, sa mise en oeuvre et ses résultats.

VIABILITÉVIABILITÉ

IMPACTIMPACT EFFICACITÉEFFICACITÉ

EFFICIENCEEFFICIENCE

PERTINENCEdes

Objectives

PERTINENCEdes

Objectives

PROJETPROJET

INFORMATIONS CRÉDIBLES ET UTILES

ENSEIGNEMENTS TIRÉS

ÉLABORATION DES DÉCISIONS

PLANIFICATION ET LA MISE EN OEUVRE DEPROJETS COMPARABLES À L’AVENIR.

LOGIQUE DE L' INTERVENTIONElaboration du cadre de travail d'un Projet définissant l'Objectif, les Résultats et les Activités

OBJECTIFSGENERAUX

OBJECTIVSSPECIFIQUES

RESULTATS

ACTIVITESRESSOURCES

ÉVALUATION STRATÉGIE

L' effet auquel le programmecherche à contribuer

Le principal objectif du Programme, que ce dernier est en mesure d'atteindre

Les produits directs du Programme qui conduisentá la réalisation de l'objectif

Les interventions du Programme, qui conduisent á l'obtention des résultats

LOGIQUE TEMPOREL DU PROJET

PROBLEMES RESSOURCES

ACIVITES

RESULTATS EFFETS

IMPACT(Effets a long terme)

STRATEGIE:- Objectifs- Résultats- Activités

INDICATORS INDICATORS

PREPARATION REALISATION RESULTAT

LE CADRE LOGIQUE

Toutes les informations décisives sont ainsi utilement récapitulées dans un seul document: le Cadre Logique

Le cadre logique est utile pour la mise en oeuvredu projet. Il sert de base pour la préparation des plans d’action, l’élaboration d’un système de suiviet constitue le cadre de l’évaluation.

L’approche du cadre logique est constituée de 2 phases :

Phase d’analyse constituée de 4 étapes :

Analyse des parties prenantes

Analyse des problèmes (perception de la réalité)

Analyse des objectifs (perception d’une situation améliorée dans le futur)

Analyse d’une stratégie (comparaison de différentes options pourchanger une situation donnée)

LE CADRE LOGIQUE (suite)

Phase de planification qui va développer le cadre logique en un plan opérationnel pour la mise en oeuvre du programme. Il s’agit de détailler le cadre logique et de planifier les activités et les ressources humaines et financières. Étapes:

1. Analyse des parties prenantes

2. Identifier le ou les problème(s) existant(s) à aborder

3. Déterminer les objectifs (du projet) à partir du (ou des) problème(s) identifié(s)

4. Identifier une stratégie pour résoudre ce ou ces problème(s)

5. Sur base de la stratégie identifiée, définir des résultats attendus du projet et les activités à entreprendre pour atteindre les résultats

6. Identifier les Indicateurs Objectivement Vérifiables (I.O.V.) et les sources de vérification, qui permettront d’évaluer la façon dont le projet atteint ses objectifs

7. Définir les moyens physiques et non physiques nécessaires à la réalisation des activités du projet et à sa gestion et identifier les sources de financement

8. Définir les hypothèses, c’est-à-dire les facteurs externes qui échappent à l’influence directe de l’intervention mais qui sont très importants pour atteindre les objectifs du projet

9. Apprécier la pertinence, la faisabilité et la viabilité du projet et donc, prouver que le projet est susceptible de résoudre le (ou les) problème(s) et d’atteindre le (ou les) objectif(s) définis.

LE CADRE LOGIQUE (suite)

LA MATRICE DU CADRE LOGIQUE

PRE-CONDITIONS

COUTSRESOURCESACTIVITES

RESULTATS(ou Produits)

OBJECTIVES SPECIFIQUES

(ou But du Projet)

OBJECTIVES GENERAUX

(ou Ob. Globaux)

CONDITIONSSOURCES DE VERIFICATION

INDICATEURS(IOV)

STRATEGIELOGIQUE DE L' INTERVENTION

EXEMPLE D' UN CADRE LOGIQUE POUR UNE STRATEGIE DE DISTRIBUTION DES MII

COUTSRESOURCESACTIVITES-

1. Le déclin économique général pourrit inverser la tendance actuelle à l'accroissement de la demande.

2. La demande ne diminue pas du fait de crainte et de rumeurs liées à la toxicité de l'insecticide.

3. Les méthodes visant à empêcher le coulage des MII subventionnes peuvent échouer

1. Enquête CAP groupe de discussion, enquête sur la disponibilité des moustiquaires chez les détaillants.

2. Entretiens informels, discussion de groupes, enquêtes des stock, ventes.

3. Rapports de projets, rapports d'évaluation sociale et économique

1.1 Augmentation de ventes et de l'utilisation des MII du projet1.2 Augmentation de ventes et de l'utilisation des MII trouvées dans le commerce1.3 Augmentation du pourcentage des ménages disposant d'au moins une MII

2.1Nombre de point de vente dans le commerce

3. Enquête sur le devenir des moustiquaires fournies à des prix subventionnes.

RESULTATS1. Augmentation de la connaissance et demande accrue des moustiquaires. Leur utilisation devient la norme et non l'exception2. Mise en place de un systèmes efficaces de distribution et amélioration de l'accès aux moustiquaires disponibles dans le commerce3. Meilleur accès aux moustiquaires des groupes vulnérables (enfants femmes enceintes familles pauvres) grâces à une utilisation efficaces des subventions

Toute une série de stratégie appropriées et instructives sont testées. Le processus de surveillance est satisfaisant. Certaines stratégies s'avèrent réalisables, et les plus susceptibles d'être maintenues à moyen terme continuent d'être suivies pendant des périodes plus longues

1. Propositions, rapports et publications d'autres projets.2. Enquêtes de couverture; registres de la consommation 3. Rapports de surveillance et d'évaluation, ateliers publications scientifiques.

1. Stratégie testées dans le projet, adoptées avec succès ailleurs dans des interventions à plus grand échelle.2. Amélioration dans l'accès aux moustiquaires et aux insecticides et leur utilisation.3. La preuve du bien fonde des stratégique documentée

OBJECTIFElaborer des stratégies réalisables durables et testées pour augmenter la disponibilité, l'accès, à la propriété et l'utilisation des moustiquaires pour une application à grande échelles.

BUTRéduire l'incidence de paludisme et de ses séquelles en terme de maladie ou du décès

HYPOTHESECOMMENT LES QUANTIFIER ET LES EVALUER

(Source de Vérification)

INDICATEUR DE REALISATION (IOV)

STRUCTURE DU PROJECT

470,000,000-Supervisory reports and community reports

- No. of villages with defined health volunteers and right mark-up on drugs- Turn over rate of distributors - Number of quarterly meetings held with distributors

-Work with VHCs and communities to determine how to motivate distributors-Train and give certificates to community distributors-Follow up and supervise trained distributors

Rewarding and retaining of community drug distributors

400,000,000Private sector will take up sale of pre-packs at low profit margins

-Activity reports-Supervision reports-survey

-No of drug shops/vendors selling pre-packs-Amount of drugs sold through the private sector

-Develop guidelines for working with the private sector-Publicise the pre-packs to drug shops and vendors-Discuss with the private sector to determine the right mark-up on drugs-Publicising pre-packs to the communities-Monitor regulate prices of pre-packs in the private sector

Commercial marketing of pre-packs

1,782,800,000500,000,0000

Production of pre-packaged C/Q & SP at a reasonable costPublic & private sectors will work together

-Delivery notes -NDA reports-Activity reports-Community reports-Supervisory reports

-Amount of pre-packaged drugs procured and distributed-No of communities with drug distributors-Distribution system established-Proportion of drug shops/vendors recruited for distribution of pre-packs

-Drug quantification-Procure pre-packaged drugs that are appropriately labeled-Identify community distribution drug distributors through the IMCI tailored PRA approach-Establish distribution system for pre-packs through the private sector-Establish drug stock units for communities -Identify drug shops/vendors in communities to be used for distribution

Distribution of pre-packs through both the public and private sectors

BUDGET(Ug. Shs.)

ASSUMPTIONS

MEANS OF VERIFICAT.

INDICATORSACTIVITIESSTRATEGIES

Objective 1: To increase to 60% the proportion children under five years suffering from fever/malaria who have access to pre-packaged antimalarials at household level, by the end of 2003.

LOGFRAME FOR HOME BASED MANAGEMENT

1.2 Objectif Specifique

1.1.2.2 Activite

1.1.2.2 Activite

1.1.2.1 Activite

1.1.2 Resultat

1.1.1.2 Activite

1.1.1.1 Activite

1.1.1 Resultat1.1 Objectif Specifique

432143214321STRATEGIE200620052004

Le Project ne peut pas être considère complet sans la définition des temps d’exécution. Le Diagramme de GANTT permit d’individuérvisiblement et avec facilite la séquence dans le quelles les différentes activités seront réalisés

LE PLAN DE TRAVAILLE – GANTT CHART

Plande

TravailRBM

COMPOSITION DU BUDGET (GFATM)

• Frais de consultance technique à court terme, déplacements, visites sur le terrain et autres frais de planification du programme, supervision et administration (y compris ceux de gestion des relations avec les sous-bénéficiaires, monitoring et évaluation, et gestiondes achats et des stocks)• Frais généraux tels que loyers de bureaux, eau, électricité, téléphone, frais de communication internes, assurances, frais légaux, comptables et de contrôle, etc.• Imprimés et frais de communication liés aux campagnes en relation avec le programme, etc. (non compris les ressources humaines qui doivent être incluses dans la catégorie Ressources humaines ci-dessus)

Planification et Administration

Thérapie antirétrovirale, médicaments contre les infections opportunistes, médicaments contre le paludisme, médicaments anti-paludisme, etc.Médicaments

Moustiquaires, préservatifs, diagnostics, microscopes, seringues, etc.Matières premières et produits

Ateliers, réunions, manuels de formation, déplacements en vue d'une formation, etc. (non compris le coût des ressources humaines relatives à la formation qui doivent être comprises dans la catégorie Ressources Humaines)

Formation

Technologie de l'information (TIC) et infrastructure immobilière, équipementde bureau, équipement audiovisuel, véhicules et frais d'entretien et deréparation, etc.

Infrastructure et équipement

Salaires, traitements et coûts associés (retraites, incitants et autres avantagessociaux) relatifs au personnel (y compris celui sur le terrain), consultants(hors consultants à court terme inclus dans les catégories ci-dessous) et fraisde recrutement

Ressources humaines

EXEMPLES DE DÉPENSESCATÉGORIE

Les propositions doivent aussi inclure et préciser tous les coûts relatifs:

• au monitoring et à l'évaluation (dont le renforcement de toutecapacité associé à la consolidation des systèmes nationaux et aurenforcement de capacité parmi les partenaires de la mise en oeuvre);

• à la gestion des achats et des stocks (dont le renforcement decapacité et/ou l'assistance technique aux Bénéficiaires principaux ou aux sousbénéficiaires);

• à l'assistance technique (depuis l'assistance initiale dans lepréparation des plans jusqu'à l'expertise technique permanente pendant la mise en oeuvre.

COMPOSITION DU BUDGET (GFATM) suite

24

Grants by expenditure (GFATM)

Infrastructure & Equipment (15%)

Administration (4%)

Drugs & Commodities (46%)

Other (5%)

Human resources and training (25%)

Monitoring &Evaluation (5%)

SE GFATMBudget

Projet Budget

LE PROJET

CONTEXTE- Objectifs politiques cadres du bailleurs de fonds et du gouvernement partenaire, et liens avec le programme ou stratégie pays établi par le bailleur de fonds, engagement du gouvernement partenaire vis-à-vis des objectifs politiques cadres du bailleur de fonds

- Analyse sectorielle et analyse des problèmes, y compris l’analyse des parties prenantes

DESCRIPTION DU PROJET / PROGRAMME, OBJECTIFS, ET STRATÉGIE POUR LES ATTEINDRE- Prise en compte des leçons du passé, et lien avec les activités mises en oeuvre par les autres bailleurs de fonds

- Description de l’intervention (objectifs, et stratégie pour les atteindre, y compris l’objectif spécifique, les résultats et les activités, et les indicateurs principaux) (Diagramme des Problèmes - Diagramme des Objectifs)

HYPOTHÈSES, RISQUES ET FLEXIBILITÉ

• MODALITÉS DE MISE EN OEUVRE- Moyens physiques et non physiques- Procédures organisationnelles et de mise en oeuvre- Calendrier de mise en œuvre (GANTT Chart)- Estimation des coûts et plan de financement- Conditions spéciales et mesures d’accompagnement

du gouvernement / des partenaires- Suivi et évaluation

FACTEURS DE QUALITÉ- Participation et appropriation par les bénéficiaires- Politique(s) de soutien- Technologie appropriée- Aspects socioculturels- Egalité hommes / femmes- Protection de l’environnement- Capacités institutionnelles et de gestion- Viabilité économique et financière

MONOTORING ET EVALUATION

ANNEXE- Cadre logique. - GANTT Chart. - Budget. - Diagramme des Problèmes et des Objectifs. - Etc. Project

Pattern

LE PROJET (suite)

ProjectProposal

Project Time Table

Budget 01

SituationAnalysis

L’ ANALYSE DES STAKEHOLDERS

Stakeholdes sont celles, individus ou institutions, que ont des relations direct ou indirect avec les activités du Projet

Un Project que ne prend pas en considération les Stakeholders n’a aucun possibilité de succès

AJUTANTS BLOQUANTS

ALLIESHOSTILES

Opposition Active

SupportPassive

SupportActive

Haute Impact

Moyenne Impact

Bas Impact

Les Alliés appuient les changements proposés et sont objet de l’effet du projet.

Les Ajutants appuient les changements proposés mais ne sont pas l’objet de l’effet du projet.

Les Bloquants s’opposent aux changements mais ne font pas partie du projet.

Les Hostiles s’opposent aux changements proposés et sont objet de l’effet du projet.

PROGRAMME - PROJET - COMPOSANTE DU PROJET

En prenant un projet de dimensions considérables, et en décomposant la stratégie en levant les niveaux des membres différents:

- Les Objectifs Spécifiques deviendront Objectifs Généraux - Les Résultats seront Objectifs Spécifiques- Les Activités monteront de degré en devenant Résultats

De cette manière chaque Objectif Spécifique du premier projet,en devenant Objectif Général, il donnera origine à un Projet avec son individualité

Si la décomposition continuât et les mêmes Résultats fussent levés tellement de niveau à devenir Objectifs Généraux, on obtiendra un Projet pour chaque Résultat

PROGRAMME

Objectif Général

Objectif Spécifique

Résultat

Activité

PROJET

Activités

Résultat

Objectif Spécifique

Objectif Général

Activités

Résultats

Objectif Spécifique

Objectif Général

COMPOSANTE PROJET

NIVEAU D' INTERVENTION

WORK PACKAGE

CHACUN DES RÉSULTATS PRÉVUS PAR UN PROJET OU PROGRAMME COMPLEXE EST ARTICULÉ AVEC SES ACTIVITÉS CORRESPONDANTES, IL POURRAIT ÊTRE DÉCRIT DANS LE DOCUMENT RELATIF AU PROJET, COMME PAQUETS DE TRAVAIL CONSOLIDÉS (workpackage)

ÉVALUATION

PROGAMMATION

MISE EN OEUVRE

ÉVALUATION

INSTRUCTIONFINANCEMENT

IDENTIFICATIONL’évaluation est l’action qui consiste à porter une appréciation, aussi systématique et objective que possible, sur un projet en cours ou achevé, un programme ou un ensemble de lignes d’action, sa conception, sa mise en oeuvre et ses résultats.

SOUTENABILITÉSOUTENABILITÉ

IMPACTIMPACT EFFICACITÉEFFICACITÉ

EFFICIENCEEFFICIENCE

PERTINENCEdes

Objectives

PERTINENCEdes

Objectives

PROJETPROJET

INFORMATIONS CRÉDIBLES ET UTILES

ENSEIGNEMENTS TIRÉS

ÉLABORATION DES DÉCISIONS

PLANIFICATION ET LA MISE EN OEUVRE DEPROJETS COMPARABLES À L’AVENIR.

SURVEILLANCE et ÉVALUATION

SURVEILLANCE (Monitoring)

Est un processus continu qui permet d'estimer dans quelle mesure les activités du programme sont conformes à la planification et si des changements s'opèrent effectivement. La Surveillance peut être permanente ou périodique.

L'aspect le plus important de la surveillance est l'analyse des données recueillies et l'utilisation des résultats pour modifier les activités en fonction du besoin.

La surveillance permet de suivre pas à pas les progrès enregistrés par les Programmes. Cela permet aussi de détecter tout problèmes ou tout obstacle éventuel afin de les signaler aux autorités concernées et de les aider à perfectionner la planification des actions ultérieures possiblesIl importe des choisir les indicateurs de fonctionnement

SURVEILLANCE (Monitoring)

L’action du monitoring commence simultanément avec la phase de réalisation (début des activités), perdure pendant toute la durée du projet et se termine avec la fin des activités.

Le monitoring est constitué de deux actions principales:

1. Collecte et analyse des informations (indicateurs en corrélation avec les objectifs et les résultats des projets)

2. Réalisation des rapports périodiques du monitoring

ÉVALUATION

Est une vue d'ensemble d'un programme à un moment donné. Son but est de déterminer dans quelles mesures les activités permettent, ou ont permis, d'obtenir les résultats escomptés et ces dernier vont effectivement permettre ou ont permis, d'atteindre l'objectif vise.

Les évaluations sont normalement effectuées pendant et à la fin d'un programme, donc de manière discontinue Des évaluations au milieu du programme peuvent permettre l'identification de problèmes qui pourraient l'empêcher d'atteindre son objectif et ainsi apporter les changements nécessaires aux niveaux des activités et des résultats.Les évaluations en fin de programme permettent d'évaluer son succès général et de résumer les enseignements tirés

L’Evaluation des résultats et de l’impact permet de rendre compte périodiquement de la mesure dans la quelle certaines stratégies et activités mise en œuvre ont atteint les objectifs fixés en examinant:

- Leurs Résultats (par ex. Les changements interevenus dans les connaissances, les attitudes et le comportement de la population )

- Leur Impact ( par ex. mesurer la réduction de la morbidité, de la mortalité ou des pertes économiques

SURVEILLANCE et ÉVALUATION

ÉVALUATION- Une évaluation peut avoir lieu dans la phase précédente à la décision de financement: ÉVALUATION EX ANTE

- Au cours de la mise en oeuvre d’un projet: ÉVALUATION À MI PARCOURS

- A la fin d’un projet: ÉVALUATION FINALE

- Après son achèvement : ÉVALUATION EX POST, soit pour réorienter le projet ou pour tirer les leçons pour les futurs projets et la programmation suivante.

ÉVALUATION EX ANTE

ÉVALUATION À MI PARCOURS

ÉVALUATION FINALE

ÉVALUATION EX POST

LES TEMPS DU MONITORING ET DE L'ÉVALUATION

ÉVALUATION CYCLE DU PROJET MONITORING

PROGAMMATION

IDENTIFICATION

INSTRUCTION

FINANCEMENT

MISE EN OEUVRE

ÉVALUATION

EVALUATION EX ANTE

ÉVALUATION À MI-PARCOURS

ÉVALUATION FINALE

ÉVALUATION EX POST

MO

NO

TOR

ING

CRITERES D’ ÉVALUATION

Flux des avantages pour les bénéficiaires, et pour la société dans son ensemble, susceptible de durer après la fin du financement

PertinenceLe caractère approprié des objectifs du projet par rapport aux problèmes réels, aux besoins et priorités des groupes cibles et bénéficiaires envisagés auxquels le projet est supposé répondre,ainsi que par rapport à l’environnement physique et politique dans lequel le projet est mis en oeuvre

Efficience

Impact

Efficacité

Le fait que les résultats aient été atteints à des coûts raisonnables. Mesure dans laquelle les moyens et les activités ont été convertis en résultats, et la qualité des résultats atteints.

Mesure dans laquelle les résultats ont contribué à la réalisation de l’objectif spécifique. L’efficacité prend en compte la mesuredans laquelle les hypothèses ont affecté les accomplissements du projet.

Viabilité

Effet du projet sur son environnement plus large, et sa contribution aux objectifs sectoriels plus larges résumés dans les objectifs globaux du projet, et sur la réalisation des objectifspolitiques cadres.

LES CRITERES DE L' EVALUATION: RELATION ENTRE LES ELEMENTS DE LA STRUCTURE LOGIQUE DU PROJET

PROBLEMS

OBJECTIFS GENERAUX

OBJECTIFSSPECIFIQUES

RESSOURCES

ACTIVITES

RESULTATS

EFFETS

IMPACT(Effets a long terme

PREPARATION

REALISATION

RESULTAT

PER

TIN

ENC

E

IMPA

CT

VIAB

ILITE

EFFICIEN

CE

EFFICA

CITE

LES CRITERES DE L' EVALUATION:

L’ETAT D’AVANCEMENT

L’état d’avancement est détermine par la comparaison entre les activités effectives et les activités escomptées. C’est ici que faut identifier les raisons des succès ou des échecs et suggérés des mesures correctives pour les secondes

PRINCIPALES CARACTERISTIQUES DES INDICATEURS

INDICATEURS D’ INTRANTS

(INPUT)

INDICATEURS DE RÉALISATIONS

DIRECTES (OUTPUT)

INDICATEURS DE RÉSULTAT

(OUTCOME OU RESULTS)

INDICATEURSD’ IMPACT

LES INDICATEURS D’ INTRANTS (INPUT) Permettent de mesurer les ressources financières,administratives et réglementaires fournies par le Gouvernement et les bailleurs de fonds. Il est nécessaire de faire le lien entre les ressources utilisées et les résultats obtenus afin d’évaluer l’efficience des actions menées.Ex : Part du budget consacrée aux dépenses sanitaires.

LES INDICATEURS DE RÉALISATIONS DIRECTES (OUTPUT)Permettent de mesurer les conséquences immédiates et concrètes des mesures prises et des ressources fournies (inputs).Ex : Nombre des formations sanitaires construites, nombre de techniciens sanitaires formés

LES INDICATEURS DE RÉSULTAT (OUTCOME OU RESULTS) Permettent de mesurer les résultats au niveau des bénéficiaires.Ex : Taux d' utilisation de FS., Pourcentage de femmes accouchants dans les FS

LES INDICATEURS D’ IMPACTPermettent de mesurer les conséquences de l’évolution des résultats. Ils mesurent les objectifs généraux en terme de développement du pays et de réduction de la pauvreté.Ex : Taux morbidité, taux de mortalité

PRINCIPALES INDICATEURS DANS UN PROGRAMME NATIONAL DE LUTTE CONTRE LE PALUDISME

INDICATEURS D' IMPACT

1. Taux de mortalité et morbidité pour toutes maladies, paludisme, anémie sévère dans les hôpitaux par tranche d’âge (moins de 5 ans, plus de 5 ans, total). Voir tableau. 2. Nombre de cas de paludisme simple et sévère (présumé et confirmé) notifié dans les Formations Sanitaires, par tranche d’âge (moins de 5 ans, plus de 5 ans, total)3. Prévalence de l' infestation placentaire chez les femmes enceintes dans la maternité des structures sanitaires en étude

INDICATEURS DE RÉSULTATS

1. % des enfants de moins de 5 ans (0-59 mois) fébriles qui ont reçu à domicile un traitement approprie antipaludique dans le 24 heures2. % des cas de paludisme parasitologiquement confirmé chez les enfants de moins de 5 ans 3. % des malades des moins de 5 ans avec paludisme simple et % des malades moins de 5 ans avec paludisme sévère qui ont reçu le traitement correct dans les 24 heures depuis l’admission dans la Formation Sanitaire4. % des structures sanitaires ayant des ruptures de stock en médicaments antipaludéens conformes à la politique nationale, pas plus d' une semaine dans le dernier trimestre5. % de malades hospitalisés pour paludisme qui utilisent des moustiquaires imprégnées d’insecticides et celle qui utilisent la moustiquaire non imprégnée6. % des femmes ayant accouché qui utilisent les moustiquaires imprégnées d’insecticides et celle qui utilisent la moustiquaire non imprégnée.7. % des femmes ayant accouché qui ont reçu la chimioprophylaxie antipalustre conforme à la politique nationale

INDICATEURSExemple d' Indicateurs pour un Programme de mise en œuvre des MII

INDICATEURS D' IMPACT

-Morbidité attribuée au paludisme (grave ou non compliquée) chez les moins de 5 ans- Anémie chez les femmes enceintes.-Bébés avec un petit poids à la naissance

Réduction de la morbidité

- Taux brut de mortalité chez les enfants de moins de 5 ans- Taux de mortalité par paludisme chez les enfants de moins de 5 ans- Taux de létalité chez les enfants de moins de 5 ans atteints de paludisme grave et admis dans les hôpitaux et les centres de santé correctement équipés pour hospitaliser les malades

Réduction de la mortalité

(Instruments de recueil:- Système Surv. Sanit- Enquêtes spécifique - Système Surv. Demogr.)

-% des ménages de la population cible possèdent des MII- % des ménages utilisant correctement des MII

Secours d'urgence

- % des ventes de MII au niveau commercialVentes promotionnelles

- % des ménages possédant des MII- % des ménages utilisant correctement des MII

Marketing social

- % des ménages possédant des MII- % des ménages utilisant correctement des MII

Autogestion

- % de couverture dans les ménages comportant des groupes cibles ou vulnérables - % de couverture dans les ménages comportant des groupes cibles ou vulnérables utilisant correctement des MII

Subventions durables pour maintenir l'équité

- % de ménages ayant des MII- % de ménages utilisant correctement les MII- % de Femmes enceintes utilisant une MII

Création d'une demande

INDICATEURS D' OBJECTIFSTRATEGIE

INDICATEURSExemple d' Indicateurs pour un Programme de mise en œuvre des Moustiquaires Imprégnées d’Insecticides

INDICATEURS D' OBJECTIF (Dépendant de la Stratégie choisie)

INDICATEURSExemple d' Indicateurs pour un Programme de mise en œuvre des MII

Registres du Programme- Nombre de MII distribuées Secours d'urgence

Enregistrement des ventes au détail

- Nombre de MII vendusVentes promotionnelles

-Surveillance des ventes du programme -Enregistrement des prix de ventes au détail - Comptabilité générale

-Volume de ventes du programme-Volume de ventes commerciales- Coût par MII fournie- "Attractivité" (augmentation des ventes MII hors Programme au niveau du secteur commercial) et "Répulsivité" (diminution des ventes de MII hors du Programme au niveau du Secteur Commercial)

Marketing social

- Enregistrement des ventes- Comptabilité générale- Chiffre d'affaires des ventes dans le recouvrement des coûts

-Volume de ventes du programme-- Viabilité financière (indépendance vis a vis des subventions)- Coût par MII fournie

Autogestion

- Enquête familial dans les groupes cibles- Enregistrement des ventes- Comptabilité générale

- Efficacité du ciblage (pour éviter le coulage vers de groupes non cible)- Coût par MII fournies au groupe cible

Subventions durables pour maintenir l'équité

- Enregistrement des prix au détail- Volume de ventes commerciales (en %)Création d'un demande

MOYENS DE VERIFICATION

INDICATEURS DE RESULTATSSTRATEGIE

INDICATEURS de Résultats (Dépendant de la Stratégie choisie)

Les niveaux stratégiques sont liés aux niveaux des indicateurs:

Global Fund, pour exemple, définit les différents niveaux d'indicateurs comme suit:

IMPACT :les changements sur un période longue des comportements à risque et/ou des comportements sanitaires qui débouchent sur des changements des taux d'infection, de morbidité et/ou de mortalité indiquant des progrès sur la voie des buts fondamentaux des interventions (programmes)

COUVERTURE : les changements à moyen terme dans les variables essentielles qui démontrent que de plus en plus d'individus sont informés et profitent de l'amélioration des services ou des interventions;

PROCESSUS : les activités, systèmes et autres résultats qui doivent être réalisés à brève échéance pour atteindre les améliorations ou l'extension des services offerts.

ProcessusActivités CouvertureObjectifs (Services à fournir)

ImpactBut

NIVEAU INDICATEURNIVEAU STRATÉGIQUE

Tous les indicateurs doivent spécifier la quantité, la qualité et les délais. A titre d'exemple, ils doivent mentionner quels services seront fournis, à combien de personnes (par ex., le nombre de bénéficiaires touchés) et à quel niveau de qualité (par ex., “selon des normes et directives convenues au niveau local”).

Les indicateurs doivent également être réalistes car ils doivent éviter de formuler des objectifs trop ambitieux dans les délais fixés.

Il conviendra de choisir les indicateurs pour leur utilité, qu'il s'agisse de fournir des données en vue de la prise de décision ou d'évaluer les résultats et l'impact.

Si possible, des chiffres de référence devront être inclus pour tous les indicateurs (ou des données historiques qui permettent de les estimer).

Les niveaux stratégiques sont liés aux niveaux des indicateurs (suite)

Détermination Méthode Collecte de Données

Définitions du Système

d' Information

Collecte de Données

Evaluation

Mise en Oeuvre&

Monitoring

ProgrammationEvaluation

desOptions

Encadrementdes

Priorités

Analyse de la

Situation

Erreur

Inconsistance

Validité

Calcul

Validationdes

Données

Interprétation

Rapport

Calcul des Indicateurs

Collation des Donnes

STRATEGIE

- Ministère de la Santé / SLPP

- Partenaires RBM

Choix des Sites Sentinelle

Définition des ObjectifsTarget et Indicateurs

STRATEGIES

Utilisation

Communication

STEPS IN EVALUATION

Steps in Evaluation

CONCEPT DE LA PLANIFICATION ET DE L’ÉVALUATION

Cibles de fonctionnement

Cibles de résultats

Cibles opérationnelles

Stratégies ou approchesInterventionsServicesPersonnelsPopulation visée

Résultats

Objectifs d’impact =Objectifs épidémiologiques =Objectifs

EpidémiologiqueSocio - Economique

Impact

Activités du programme :Outputs : (Sorties)-de production-De personnes formées-De fournitures distribuées

Fonctionnement

Inputs : (Entrées)-de personnes-de ressources

OBJECTIFS ET CIBLESELÉMENTS CONCERNÉSNIVEAUCHAÎNE DE CAUSALITÉ

PRINCIPES

Tous les programmes de lutte antipaludiques doivent comporter une composante d’évaluation comme caractéristique permanente pour faire face à des changements de situation

la planification, la mise en œuvre, l’évaluation et la re planification doivent représenter un processus continu et une caractéristique intégrante à tout programme antipaludique

Les méthodes d’évaluation et les données pertinentes à récolter doivent être strictement liées aux objectifs, aux activités et aux résultats attendus du programme

L’évaluation d’un programme de lutte antipaludique devrait tenir compte de la situation du paludisme avant le début du plan et après sa mise en œuvre

Au point de vue de l’aspect quantitatif de l’évaluation, les outils d’une évaluation appropriée devraient être sélectionnés avec une attention particulière pour leur simplicité, leur coût et la pertinence des informations recueillies par rapport aux objectifs du programme

Une évaluation quantitative devrait être routinière et basée sur une supervision appropriée pour s’assurer que la qualité du rendement opérationnel est maintenue au niveau optimalSélection et définition des méthodes d’évaluation dans la lutte antipaludique

Des professionnels bien formés et expérimentés devraient jouer un rôle clé dans l’évaluation du processus pour :

- préciser les outils appropriés pour l’évaluation- concevoir les formulaires- former et superviser le personnel engagé dans le travail d’évaluation- gérer des situations de terrain et des études

PRINCIPES (Suite)

Evaluation de la Lutte Antipaludique

% de patients atteints de paludisme simple qui reçoivent un traitement correct, dans une formation sanitaire ou au niveau de la communauté, conformément aux directives nationales, dans les 24 heures qui suivent l’apparition des symptômes

Les indicateurs de résultat doivent refléter l’évolution des connaissances, des attitudes, du comportement ou du nombre de formations sanitaires, prévue dans les objectifs de résultat

RESULTATS INTERMEDIAIRES LIES AUX

INTERVENTIONS PRIORITAIRES DU

PROGRAMME

Taux (cas présumés et confirmés) de mortalité liée au paludisme parmi les groupes cibles

Réduction de la mortalité et de la morbidité

IMPACT

% du personnel soignant formé à la prise en charge des cas de paludisme et à la prise en charge intégrée des maladies de l’enfant

Les indicateurs de fonctionnement doivent permettre de vérifier que les activités prévues - ont bien été réalisées- en temps voulu

PROCESSUS OU FONCTIONNEMENT

EXEMPLES D’INDICATEURS A SELECTIONNER

QUE FAUT-ILSURVEILLER ET

EVALUER

OBJECTIFS DES PLANS D’ACTION FRP

LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E

UNITE M & E

Une unité M & E mise en place dans le Ministère de la Santé avec les équipes techniques et de gestion appropriées

Un budget pour le M & E entre 5 et 10 % du budget commun national pour le VIH/SIDA, la tuberculose et un budget pour le paludisme englobant tous les financements

Une importante contribution nationale pour le budget national M & E (ne pas compter exclusivement sur les financements extérieurs)

Une relation formalisée (M&E), particulièrement avec les Ministères, ONG, donateurs et les institutions de recherche visant à renforcer les efforts en matière de recherche

Un groupe de travail multisectoriel pour fournir des données et aboutir à un consensus sur les indicateurs de sélection et les aspects variés de méthode et de mise en œuvre

Expertise épidémiologique dans l’unité M & E et associés

Constitution d’une base de données et expertise statistique dans l’unité M & E et associés

Dissémination de l’expertise des données dans l’unité M & E et associés

BUTS :

Programme national bien défini ou documents de projet avec des buts et des objectifs bien clairs ainsi que des plans opérationnels,

Revue réguliers / évaluations du progrès de la mise en œuvre du programme national ou des projets

Directives pour les districts, régions et provinces pour M & E

Directives pour la liaison de M & E à d’autre secteurs

Coordination de l’Etat et les donneurs pour les besoins de M & E

LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E

INDICATEURS :

Un ensemble d’indicateurs prioritaires et des indicateurs supplémentaires à différents niveaux du M & EIndicateurs pouvant être comparés à tout momentUn nombre d’indicateurs clés pouvant être comparés avec ceux desautres pays

COLLECTE DE DONNES ET ANALYSE :

Collecte de données à niveau national et plan d’analyse incluant une assurance de la qualité des donnéesUn plan de collecte de données et une analyse périodique des indicateurs à différents niveaux de juridiction du M & E (y compris géographique)Sureveillance de seconde génération, où des données de comportement sont liées aux données de surveillance HIV/SIDA

LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E

RESTITUTION DES DONNEES :

Un plan de restitution des données à niveau national effectif

Diffusion de rapports annuels d’information sur l’unité M & E

Réunion annuel pour diffuser et discuter des résultats des recherches M & E, avec les techniciens, plannificateurs et exécuteurs

A clearinghouse for generation and diffusion des résultats des recherches

Une banque de données ou une bibliothèque sur HIV/AIDS, TB, etPaludisme, incluant les recherches en cours

Une coordination de l’Etat et les donneurs pour M & E pour la répartition des besoins

LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E

SECTEURS CRITIQUES POUR LA SURVEILLANCE ET L' EVALUATION ROLL BACK MALARIA

PREVENTION et CONTROLE des

EPIDEMIES

DIAGNOSTIC PRECOCEet TRAITEMENT

EFFECTIFPREVENTION

ACTIONCOMMUNAUTAIRE

POLITIQUE de la SANTÉ

LIAISONINTERSECTORIEL

SERVICES DELIVRES

SUPPORT TECHNIQUE

PARTENARIATNATIONAL

RECHERCHE OPERATIONELLE

FARDEAUDU

PALUDISME

PARTENARIATGLOBAL

IMPACT

PREVENTION du PALUDISME et PRISE en CHARGE de la MALADIE

DEVELOPPEMENT du SECTEUR de la SANTE

LIAISONS INTERSECTORIEL

APPUI & PARTENARIAT

GESTION SERVICES

SANITAIRES

BIBLIOGRAPHIEWHO, UNAIDS, GFATM, USAID, CDC, UNICEF, WB (January 2004) Monitoring and Evaluation Toolkit HIV/AIDS , Tuberculosis and Malaria. Roll Back Malaria (2000) Cadre pour la Surveillance des Progrès et l’Evaluation des Résultats et de l’Impact. WHO GenèveWHO/RBM,(Juillet 2003) La Planification de programme de lutte Contre le Plaudisme. WHO GenèveMinistero degli Affari Esteri Italia, Direzzione Generale per la Cooperazione allo Sviluppo, CooperazioneItaliana (Aprile 2002): Manuale operativo di monitoraggio e Valutazione delle Iniziative di Cooperazione allosviluppo. RomaDetogni C. (2001). Manuale di Progettazione Sanitaria Internazionale. Franco Angeli, MilanoSt Leger A.S., Schnieden H. (1992) Evaluation Health Services Effectiveness. Open University Press. Philadelphia ACYF CORE (2001) The Program Manager Guide to evaluation. www.acf.dhhs.govCDC (1999) Framework for Program Evaluation in Public Health. U.S. Department of Health & Human Service. AtlantaDe Angelis V., Ricciardi N., Storchi G. (1998) ORAHS 98 Monitoring, Evaluating, Planning Health Service. World ScientificDrew H. C., Duivenboden J., Bonnefoy X. (2000) Guidelines for evaluation of Environmental Health Service. WHO Regional Publications Series CopenhagenEuropean Commission (2001) Project Cycle Management. BruxellesEvaluation Cookbook (1999) Design Experiments www.icbi.hw.ac.ukMcNamara C. (2001) Basic Guide To Program Evaluation www.mapnp.orgNational Advisory Council on Aging (1988). A Participatory Evaluation Guide. Ottawa K1A 1B4NSF (1997) User-Friendly handbook for Mixed Method Evaluation. www.ehr.nsf.govNational Advisory Council on Aging (1998) A participatory Evaluation Guide. NACA Ottawa K1A 1B4Rotman I. & Others (2001) Evaluation in Health Promotion. WHO Regional Publication European Series. DenmarkSaint-Germain M.A. (2001) Research Methods. www.csulb.eduScotCIT (1998) ScotCIT Evaluation Framework www.scotcit.ac.ukThe World Bank Group (2001) evaluation Design www.worldbank.orgTrochim W. (2000) Research Methods Knowledge Base. http://trochim.huiman.cornell.eduU.S. General Accounting Office (1991) Program Evaluation and Methodology Division. www.gao.govKarani F. A. (1984) Monitoring and Evaluation. UNICEF Nairobi, KenyaW.K. Kellogg Foundation (1998) Evaluation Handbook

Dr. Luciano TUSEORoll Back Malaria OMS - Madagascar

OMS BP 362 Antananarivo Madagascarmaloms@iris.mg