Suivi & Evaluation des progrès de la réponse au VIH/SIDA

Atelier organisé par l’IAS à ICASA 2008

Par Laetitia Lienart

IAS Coordinatrice Evaluation

Quelques mots sur

le Suivi & l’Evaluation

Pourquoi le S&E est-il important? C’est une partie essentielle de votre travail quotidien qui vous aide à identifier les développements indésirables et améliorer sans cesse votre travail.

Qu’est-ce-que l’évaluation?

C’est l’analyse objective de l’information afin de répondre à des questions

spécifiques et d’évaluer la réussite d’un projet en fonction d’indicateurs

préalablement déterminés. Les critères d’évaluation potentiels pour des projets

sont : Pertinence: Les objectifs du projet correspondent-ils aux besoins du groupe

cible? Efficience: Les ressources sont-elles employées de manière adéquate? Efficacité: Les objectifs du projet ont-ils été atteints? Impact: Quels sont les effets positifs et négatifs, directs et indirects, intentionnels

et non intentionnels induits par le projet? Durabilité: Les bénéfices du projet peuvent-ils perdurer?

Quelques mots sur

le Suivi &l’Evaluation (suite)

Qu’est-ce-que le suivi?

Contrairement à l’évaluation, le suivi est une analyse continue de

l’information, qui indique si le projet est exécuté, ou non,

conformément au plan. Sur cette base, un projet peut-être adapté et

les processus optimisés en fonction des besoins.

Qu’est-ce qui est essentiel pour le processus de suivi&évaluation?

Bien que ce ne soit pas la seule exigence, il est essentiel d’avoir un

projet bien structuré guidé par un cadre logique.

Qu’est-ce-que le cadre logique?

Il s‘agit d’un tableau présentant une image claire et synthétique des

objectifs globaux et spécifiques, des résultats et des activités d’un

projet, ses indicateurs objectivement vérifiables et sources de

vérification ainsi que les risques susceptibles d’affecter la mise en

œuvre du projet.

Pourquoi un cadre logique est-il utile ?

essentiel pour le processus de suivi&évaluation mais aussi

outil de référence durant le cycle du projet en vue d’une Gestion axée

sur les Résultats (GR), c.-à-d. une stratégie de gestion qui se

concentre sur la performance et la réalisation des objectifs.

outil de référence pour rendre compte et communiquer constamment

entre partenaires.

 

Introduction au cadre logique

La méthode du cadre logique aide à guider la planification d’un voyage du point où nous sommes, ICI, au point où nous voulons aller, LA-BAS. 1 – Qui sommes “nous”? Qui a un intérêt et est un acteur important devant être impliqué? 2 – Où sommes-nous maintenant? Quels sont les problèmes et les besoins associés à ceux-ci? 3 – Où voulons-nous arriver? Quelles sont les options? Quels sont nos objectifs et les résultats attendus? 4 – Comment arriverons-nous là-bas? Quelle est la stratégie résultante? Quelles activités devons-nous entreprendre? 5 – Quels obstacles pourraient nous empêcher d’arriver là-bas? Quels sont les risques et comment pouvons-nous les gérer? Quelles hypothèses formulons-nous? 6 – Comment saurons-nous que nous sommes arrivés là-bas? Quels sont les indicateurs et les cibles? De quelles preuves avons-nous besoin? 7 – De quoi avons-nous besoin pour arriver là-bas? Quelles sont les ressources précises et le budget requis?

ICI

LA-BAS

Introduction au cadre logique (suite)

L’objectif principal est l’objectif de premier ordre, l’impact à plus long terme,

auquel le projet va contribuer.

Ne formuler qu’un seul objectif principal.

Des progrès contribuant à l’objectif principal doivent être mesurables au

cours du projet.

L’objectif principal fournit une « vue d’ensemble » du besoin ou du

problème traité. Il exprime la justification de ce qui est planifié.

Utiliser un verbe: ex. Accélérer la réponse au VIH/SIDA dans la région de

Nbiya.

ETAPE 1 – DEFINIR “L’OBJECTIF DE DEVELOPPEMENT” OU L’OBJECTIF PRINCIPAL

L’objectif spécifique décrit les résultats spécifiques et immédiats du

projet.

L’objectif spécifique doit être Simple, Mesurable, Réalisable, Pertinent &

avoir une Echéance

N’ayez qu’un seul objectif spécifique. Si vous pensez en avoir plusieurs,

alors vous devez avoir plusieurs cadres logiques; sinon vos objectifs

(spécifiques) multiples sont en fait des indicateurs d’un seul objectif

spécifique ou des résultats attendus.

ETAPE 2 – DEFINIR “L’OBJECTIF IMMEDIAT” OU L’OBJECTIF SPECIFIQUE

L’objectif spécifique ne doit pas être entièrement réalisable, c.-à-d. qu’il n’est

pas totalement sous le contrôle du responsable du projet. S‘il est atteint,

il s’agit alors d’un résultat. Ex. ‘Vous pouvez emmener un patient à l’hôpital

mais vous ne pouvez pas être sûr(e) qu’il/elle suivra les prescriptions du

médecin’. Le projet peut consister à « fournir » l’accès à l’hôpital mais il ne

peut pas contrôler le comportement du patient.

Le responsable du projet peut, au mieux, exercer une influence sur la

réalisation de l’objectif spécifique en maximisant l’accomplissement des

résultats et en atténuant les risques.

Utiliser un verbe: ex. Améliorer l’accès au traitement du VIH/SIDA dans la

région de Nbiya.

ETAPE 2 – DEFINIR “L’OBJECTIF IMMEDIAT” OU L’OBJECTIF SPECIFIQUE

(suite)

Les résultats décrivent ce que le projet livrera/produira afin d’atteindre

l’objectif spécifique. Ils doivent être entièrement sous le contrôle du

responsable de projet.

Utiliser des noms+adjectifs Ex.: a) Infrastructures médicales

réhabilitées/renforcées dans la région de Nbiya; b) Sensibilisation au

VIH/SIDA des habitants de la région de Nbiya renforcée; c) Personnel

médical de la région de Nbiya formé correctement sur le VIH/SIDA; d)

Partenariats initiés entre le gouvernement de Nbiya et un(des) fournisseur(s)

de médicaments; etc.

En général, il y a de 2 à 8 résultats; le cadre logique devient trop complexe

s’il y en a plus.

ETAPE 3 – DECRIRE LES RESULTATS OU PRODUITS

Les activités décrivent les actions qui seront entreprises pour réaliser

chaque résultat/produit.

Les activités sont généralement des actions (sous forme de noms). Ex:

évaluation des besoins, recrutement d’experts/consultants, conception de

documents/matériel didactique, développement de programme de formation,

sélection de participants/formateurs/fournisseurs, organisation de réunions

de coordination, distribution de posters/affiches de sensibilisation, mise en

œuvre de travaux, achat d’équipement et de fournitures, etc…

ETAPE 4 – DEFINIR LES ACTIVITES

Lorsque les 4 lignes de la colonne 1 ont été remplies, la logique doit être

testée: utilisez la méthode « SI/ALORS » pour vérifier les causes et les

effets, en lisant le tableau du bas vers le haut:

Si nous réalisons ces activités, alors ce résultat sera livré.

Si nous livrons ces résultats, alors cet objectif spécifique sera atteint.

Si cet objectif spécifique est atteint, alors il contribuera à l’objectif

principal.

ETAPE 5 – TESTER LE CADRE LOGIQUE DU BAS VERS LE HAUT

Considérant toutes les activités requises pour le résultat 1, posez-vous la

question: « Si nous réalisons ces activités avec succès, alors qu’est-ce-

qui peut nous empêcher de livrer le résultat 1? » Répétez cela pour tous

les autres résultats, en prenant chaque résultat et les activités qui y sont

associées.

Considérant l’ensemble des résultats, posez-vous la question: « Si nous

livrons tous ces résultats avec succès, alors qu’est-ce-qui peut nous

empêcher d’atteindre cet objectif spécifique? »

Maintenant posez-vous la question: « Si nous atteignons cet objectif

spécifique avec succès, alors qu’est-ce-qui peut nous empêcher de

contribuer à cet objectif principal? »

IDENTIFIER LES RISQUES

ETAPE 6 – ENTREPRENDRE UNE ANALYSE DES RISQUES

Quel est son impact probable? fort, moyen, faible.

Quelle est sa probabilité? forte, moyenne, faible. A ce stade, vous pouvez

décider d’ignorer les risques négligeables.

Discutez et accordez-vous sur les possibles mesures d’atténuation, transférez

les dans la colonne 1 (comme activités supplémentaires) de votre cadre logique.

Exemple:

Risque: diminution du personnel médical affecté dans la région de Nbiya.

Mesure d’atténuation/nouvelle activité: plaidoyer/lobbying auprès des

autorités et parties prenantes engagées dans la gestion du personnel

médical.

ETAPE 6 – ENTREPRENDRE L’ANALYSE DES RISQUES

ANALYSER ET GERER CHAQUE RISQUE

Les hypothèses sont ce qu’il reste après que les mesures d’atténuation aient

été mises en place (même si les mesures d’atténuation sont menées avec

succès, il est peu probable que le risque soit complètement éliminé).

Les hypothèses sont des facteurs extérieurs qui peuvent affecter la réussite du

projet mais que le responsable de projet ne contrôle pas directement.

Exemple: « Un engagement fort et un soutien continu des autorités de Nbiya en

faveur de la lutte contre le VIH/SIDA ».

Test de logique: une fois que les activités ont été exécutées, et si les

hypothèses sont vérifiées, les résultats seront produits/livrés. Répétez

cette même logique pour les niveaux supérieurs.

ETAPE 7 – FORMULER LES HYPOTHESES

ETAPE 8 – IDENTIFIER LES INDICATEURS OBJECTIVEMENT VERIFIABLES (IOV)

L’un des principaux points forts du cadre logique est qu’il oblige l’équipe de

planification à déterminer dès la conception du projet comment celui-ci

sera suivi et évalué.

Les indicateurs et leur moyen de vérification sont nécessaires pour

montrer quelles sont les données que nous envisageons d’utiliser pour

mesurer les progrès et comment elles seront collectées.

La plupart du temps, lors de la conception du projet, il n’y a pas assez de

données de base disponibles (situation au démarrage du projet) qu’on

puisse utiliser comme référence pour mesurer les progrès effectués; dans ce

cas, le cadre logique aide à identifier les lacunes et déterminer ce qui

doit être fait.

Utiliser la maxime QQT – Quantité, Qualité, Temps.

Etape 1: Déterminer l’indicateur de base.

Etape 2: Ajouter le facteur Quantité – un montant ou un pourcentage qui sera atteint.

Etape 3: Ajouter le facteur Qualité – une mesure qualitative pour préciser l’indicateur.

Etape 4: Ajouter le facteur Temps– date à laquelle cela doit être accompli. Eviter

l’utilisation de phrases générales telles que ‘Dès que possible.’ Il est important

d’équilibrer les indicateurs de fin de projet (CIBLE) avec les indicateurs intermédiaires

(JALON).

ETAPE 8 – FORMULER LES IOV

Etape 1: Augmentation de l’accès au traitement HIV/SIDA

Etape 2 (Quantité): Augmentation de [%], par rapport à la norme de référence, du nombre de

personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments ou au moins

[X] % des personnes infectées par le VIH/SIDA (dans la région de Nbiya) reçoivent des

médicaments.

Etape 3 (Qualité): Augmentation de [%], par rapport à la norme de référence, du nombre de

personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments de manière

durable.

Etape 4 (Durée): Augmentation de [%], par rapport à la norme de référence, du nombre de

personnes atteintes du VIH/SIDA (dans la région de Nbiya) recevant des médicaments de manière

durable en [année/mois] ou d’ici [durée].

ETAPE 8 – FORMULER UN IOV (exemple)

Les indicateurs sont un moyen par lequel le changement sera mesuré alors que jalons et

cibles sont respectivement des objectifs à moyen terme et finaux.

Vu qu’au stade préliminaire d’un projet, il se peut qu’il n’y ait pas l’information de

référence nécessaire pour fixer les cibles, il y aura donc principalement des indicateurs.

Des réunions ultérieures entre parties prenantes et des collectes d’information conduiront à

la conception de ces cibles.

Exemple (pour un projet d’une durée de 4 ans ):

Augmentation de [%], p/r à la référence, du nombre de personnes atteintes du VIH/SIDA

recevant des médicaments de manière durable d’ici [X] années est un indicateur

Augmentation de 10%, p/r à la référence, du nombre de personnes atteintes du

VIH/SIDA recevant des médicaments de manière durable d’ici 2 ans est un jalon

Augmentation de 25%, p/r à la référence, du nombre de personnes atteintes du

VIH/SIDA recevant des médicaments de manière durable fin 2012 est une cible

ETAPE 8 – EVOLUTION D’UN INDICATEUR EN JALON/CIBLE

Le dernier élément de la réalisation d’un cadre logique est de décider

comment les indicateurs seront mesurés – quelles preuves utiliserons-

nous. Il s’agit d’une étape cruciale dans la planification initiale qui est

souvent négligée. Identifier les moyens de vérification dès la planification

rendra bien plus facile le suivi et l’évaluation du projet.

Les moyens de vérification seront presque invariablement des documents

(ou parfois des interviews, films, DVD, vidéo ou cassette audio).

La vérification des indicateurs doit se faire simultanément à leur

formulation; vous compléterez ainsi en même temps les colonnes 2 et 3 du

cadre logique.

ETAPE 9 – IDENTIFIER LES MOYENS DE VERIFICATION/PREUVES

Quelques sources typiques de vérification

Compte rendu de réunions et liste de participation

Opinion des parties prenantes & groupes cibles

Questionnaires/sondages et rapports

Journaux, radio, enregistrements TV, photographies, images satellites

Statistiques nationales et internationales

Progrès enregistrés lors de projets, révision et rapports intermédiaires/finaux de projets

Rapport d’évaluation externe, questionnaire d’évaluation de formation, etc.

ETAPE 9 – IDENTIFIER LES MOYENS DE VERIFICATION/PREUVES (suite)

ETAPE 10 – ET FINALEMENT, UNE 5EME LIGNE?

Pour simplifier, nous schématisons le cadre logique au moyen d’un tableau

4x4, mais 4 cases sont souvent rajoutées en-dessous des 16 cases du

cadre logique pour indiquer les coûts et les ressources nécessaires au

financement des activités du projet, ainsi que les pré-conditions qui

doivent être arrêtées.

Intrants/Ressources Résumé du

Budget

Personnel/mois

Catégories &

codes

budgétaires

Pré-conditions;

Hypothèses

formulées pour

mener à bien les

activités

EXEMPLE DE CADRE LOGIQUE COMPLETToujours dater un cadre logique!

Logique d’intervention Indicateurs / Jalons / Cibles Vérification Hypothèses

Objectif principal : Accélérer la

réponse au VIH/SIDA dans la

Nbiya

La proportion d’infections du VIH/SIDA a

diminué de [X]% en 2012 (I)

Rapports, statistiques,

enquêtes, etc.

Objectif spécifique: Améliorer

l’accès au traitement du VIH/SIDA

dans la Nbiya

Augmentation de 25%, par rapport à la

norme de référence, du nombre de

personnes atteintes du VIH/SIDA (dans

la Nbiya) recevant des médicaments de

manière durable d’ici 2012 (C)

Rapports, statistiques,

enquêtes, liste de

présence des patients,

reçus de livraison des

médicaments, etc.

Engagement

durable des

autorités et des

partenaires

Résultats:

R1. Infrastructures médicales

réhabilitées/renforcées dans la

Nbiya

R2. Sensibilisation au VIH/SIDA

des habitants de la Nbiya renforcée

R3. Personnel médical de la Nbiya

formé correctement sur le

VIH/SIDA

R4. Partenariats initiés entre le

gouvernement de Nbiya et un(des)

fournisseur(s) de médicaments

1. Au moins un hôpital fonctionne de

manière indépendante dans la Nbiya

d’ici 2 ans (J)

2. [Nombre] de campagnes de

sensibilisation organisées d’ici 2010 (I)

3. Au moins 50 travailleurs médicaux de

la Nbiya formés d’ici 2012/4 ans (C)

4.1 [Nombre] de partenariats initiés d’ici

2010/2 ans (I)

4.2 Au moins 2 contrats de partenariats

signés d’ici 2012/4 ans (C)

1. Rapports des visites

de contrôle régulier

dans les hôpitaux

2. Affiches/brochures et

autres matériels de

sensibilisation

3. Rapports de

formation & évaluation

des compétences post-

formation

4. MoU/accord/compte

rendu de réunions

Infrastructures

médicales

régulièrement

entretenues.

Pas de restriction

sécuritaire qui

puisse empêcher

l’accès à certaines

populations.

Activités: à développer avec la même méthode

LE CADRE LOGIQUE COMME OUTIL DE COMMUNICATION

Le cadre logique peut aider à informer/rendre comptes aux partenaires,

sponsors et autres parties prenantes de ce que nous faisons et pourquoi. Cela

peut être réalisé en adoptant une présentation étape par étape:

1. Objectif principal: “L’objectif principal est de ............."

2. Objectif spécifique: “Afin de contribuer à l’objectif principal, dans ce projet, nous............"

3. Résultats: “Nous atteindrons cet objectif spécifique en prenant la responsabilité directe de............"

4. Activités: “Laissez-moi décrire plus en détails notre stratégie. Nous pensons que si nous.............."

5. Hypothèse au niveau des activités: “Et si .........."

6. Indicateurs de résultat: “Nous atteindrons nos cibles de............."

7. Objectif spécifique: “En plus d’atteindre ces différentes cibles, plusieurs conditions doivent être remplies si nous voulons réaliser notre objectif (spécifique) de............"

8. Hypothèse au niveau des résultats: “Ces conditions/hypothèses, échappant à notre contrôle, incluent........."

9. Hypothèse au niveau de l’objectif spécifique: “Nous pensons que si nous pouvons atteindre notre objectif spécifique, nous contribuerons à notre objectif principal. Cependant, cette contribution dépend de facteurs extérieurs à ce projet. Ils incluent........ Toutes ces facteurs réunis seront suffisants pour réaliser cet objectif. La stratégie que nous proposons est une étape importante et rentable pour parvenir à cette fin."

10. Vérification: “Nous proposons que notre performance soit suivie/mesurée et évaluée de la manière suivante..........."

LE CADRE LOGIQUE COMME OUTIL DE COMMUNICATION (suite)

RAPPORT SOUS FORME DE CADRE LOGIQUE

Complétez le tableau pour chaque niveau d’intervention, à différentes périodes du cycle du projet.

RAPPORT DE SUIVI DES PROGRÈS PAYS…………TITRE DU PROJET……………… PERIODE COUVERTE………… CODE…………… DATE …………….. PREPARE PAR………………

Structure du

projet

Indicateurs de

réalisation

Progrès/Etat

d’avancement

Commentaires &

recommandations

Estimation

Insérer les

activités et

les intrants

du cadre

logique

Insérer les

indicateurs du

cadre logique

Fournir un

rapport sur

chaque

activité et sur

l’utilisation

des intrants

Fournir un rapport sur

chaque activité et ses

intrants (ex. dans

quelle mesure les

hypothèses sont

vérifiées) & formuler

des

recommandations si

nécessaire

1. Probable qu’il soit

totalement réalisé

2. Probable qu’il soit

partiellement réalisé

3. Improbable qu’il soit

réalisé

x Trop tôt pour juger du

niveau de réalisation

OÙ TROUVER DE PLUS AMPLES INFORMATIONS

http://www.parcinfo.org http://ec.europa.eu/europeaid/evaluation/methodology/

egeval/methods/mth_cyc_en.htm http://www.worldbank.org/evaluation/ http://www.oecd.org/pages/

0,2966,en_35038640_35039563_1_1_1_1_1,00.html http://www.undp.org/eo/ http://www.uneval.org/ http://www.unaids.org/en/PolicyAndPractice/

MonitoringAndEvaluation/default.asp http://www.ideas-int.org/

EXERCICE POUR PRATIQUER LE CADRE LOGIQUE

Sujet: La région de Nbiya est gravement affectée par le VIH/SIDA,

comptant enfants et femmes parmi les populations les plus

infectées. Vous souhaitez répondre à un appel d’offre lancé par un

bailleur de fonds pour répondre aux problèmes de santé dans la

région.

Méthodologie: chaque groupe est supposé suivre les étapes

présentées ci-dessus pour concevoir et présenter au final un cadre

logique complet avec au moins 3 résultats et 3 activités par résultat.

Utilisez la fiche d’information pour connaître le contexte

d’intervention.

EVALUATION

Votre opinion étant extrêmement importante pour évaluer le succès

d’ICASA 2008, vous serez sollicités peu après la conférence

pour remplir un questionnaire en ligne (disponible en anglais

& français); toutes vos données resteront confidentielles.

Pour participer à cette évaluation, nous vous remercions de bien

vouloir compléter la fiche d’information en cours de circulation.