Séminaire sur le « Suivi et Évaluation des programmes de santé au niveau du district : Applications pratiques» CESAG, Dakar, Sénégal 14 juin – 2 juillet

Séminaire sur le « Suivi et Évaluation des programmes de santé au niveau du district :

Applications pratiques»CESAG, Dakar, Sénégal 14 juin – 2 juillet 2010

APPROCHE METHODOLOGIQUE:EVALUATION D’IMPACT

M. Moustapha THIAMProfesseur associé

CESAG/ISMS

Dakar, le 21 juin 2010

OBJECTIF GENERAL

• A la fin du module, le participant doit être capable d’analyser l’impact d’un programme à partir du logiciel Spectrum

2. Objectifs spécifiques A la fin de cette séance, vous devrez être capables de :

• Définir les différents concepts ;

• Enumérer et définir les différentes méthodes d’évaluation d’impact;

• Identifier les critères de choix d’une méthode d’évaluation d’impact;

• Décrire les méthodes d’analyse et de calcul d’impact.

3. Contenu

• Définitions et concepts

• Liste et définition des méthodes d’évaluation d’impact;

• Critères de choix d’une méthode d’évaluation d’impact;

• Méthodes d’impact ;

• Introduction à l’outil Spectrum

• Méthodes d’analyse et de calcul d’impact;

Définition

L’évaluation d’impact vise à mesurer le changement attribué à un programme ou à une intervention donnée.

Contrairement au suivi de programme qui constate simplement le changement, l’évaluation d’impact s’intéresse à la question de causalité.

Bertrand et al.1996

.

DébutProgramme

Fin ou milieuProgrammeTemps

Résultat

Combien de cechangement estattribuable auprogramme?

Impact du programme

Avec le programme

Sans le programme

Quelques définitions

• La finalité : c’est l’idéal vers lequel on tend. La finalité ne se décrit pas, elle n’est pas “photographiable” ; elle est immatérielle et fait référence à des valeurs : la dignité, la liberté, l’égalité, etc.

• Le but : c’est la matérialisation de la finalité que l’on se donne. Le but est concret, il peut être décrit, mais il n’est pas accessible immédiatement.


• L’ o b j e c t i f : c’est le résultat attendu d’une action. C’est la succession des objectifs qui

concourent à atteindre le but que l’on s’est fixé. Les objectifs sont ordonnés dans le temps et dans l’espace. On parle alors d’objectifs principaux, de sous objectifs, etc.

• Les moyens : ce sont les outils et méthodes techniques que l’on met en œuvre pour atteindre les objectifs.

Quelques définitions• Et la stratégie d’action ? C’est l’organisation, dans le temps et dans l’espace, des divers

objectifs à atteindre.• Et la tactique ? C’est la manière de mobiliser les moyens et méthodes de travail

pour atteindre chaque objectif.• Et la démarche ? C’est le fondement “philosophique” de l’action : choix des moyens

et méthodes à mettre en œuvre, choix des priorités dans l’organisation des objectifs.

• Et la méthode ? C’est la façon d’utiliser les moyens.


• L’efficacité : compare les résultats aux objectifs prévus, mesure les écarts et tente de les interpréter (analyse quantitative). Le critère d’efficacité permet d’établir le degré de réalisation atteint.

• L’efficience : compare les résultats avec les moyens humains et matériels mis en œuvre, les délais pour atteindre les objectifs, les méthodes utilisées. Le critère d’efficience tend à repérer si l’on a fait les bons choix pour optimiser, qualitativement et quantitativement, les moyens mis à disposition.


• La viabilité : capacité de l’action à se poursuivre sans appuis extérieurs.

• La pertinence : capacité à choisir la ou les actions les mieux adaptées pour répondre à la demande des bénéficiaires.

• L’impact : mesure dynamique des effets de l’action .

Quand évaluer l’impact?

• Quand le programme semble avoir produit des effets (d’ après le suivi).

• Les ressources pour une collecte et une analyse supplémentaires de données sont disponibles.

• Nécessité de démontrer l’impact ( par exemple, pour justifier un financement continu ou nouveau)

POURQUOI S’INTÉRESSE-T-ON À L’IMPACT DES ACTIONS ?

• Cet intérêt pour la prise en compte de l’impact dans l’évaluation des actions est né :

• – du constat que les incidences à long terme des projets de développement n’étaient pas toujours à la hauteur des attentes de leurs promoteurs ;

• – de nouvelles préoccupations liées à l’évolution du contexte dans lequel s’exercent les actions de développement.

•

CONSTATS

• Les évaluations finales des projets confirment régulièrement que les objectifs fixés ont été atteints et que, le plus souvent, la viabilité des actions engagées est assurée.

• Pourtant, dans de nombreux cas, les résultats atteints au terme de l’action disparaissent rapidement : les pratiques et les modes de fonctionnement mis en place sont progressivement abandonnés, les bâtiments désaffectés, les équipements techniques inutilisés et souvent hors d’usage. Ce constat vaut aussi bien pour les projets publics que pour ceux conduits par des ONG.

CAUSES DES DEFAILLANCES

• – de la conception de l’action et de son exécution qui conduisent à des résultats immédiats, mais ne permettent pas de créer les conditions d’un changement durable ;

• – des limites des évaluations, trop centrées sur la capacité à atteindre les objectifs fixés, et pas suffisamment sur les changements induits par l’action.

DEFINITION DE L’IMPACT

• L’impact d’une action de développement, c’est la situation issue de l’ensemble des changements significatifs et durables, positifs ou négatifs, prévus ou imprévus, dans la vie et l’environnement des personnes et des groupes et pour lesquels un lien de causalité direct ou indirect peut être établi avec l’action de développement.

•

Impact = ensemble des changements

• L’ensemble des changements doit être pris au sens de l’ensemble des résultats et des effets. Exemple . L’implantation d’un dispensaire autogéré et sans financement externe, peut avoir un effet bénéfique sur la santé des patients et les compétences en gestion.

• Mais la répercussion des coûts introduit des changements dans l’affectation des ressources au détriment d’autres postes de coût et probablement celui des guérisseurs. Ces derniers risquent ainsi de disparaître avec leur savoir.

Impact = des changements significatifs

• L’impact ce n’est pas uniquement “ce qui change” . C’est aussi l’importance ressentie de ces changements. Ce qui conduit à s’interroger sur qui décide et sur ce qui est important ou non.

Impact = changements durables

• L’impact, c’est ce qui demeure après l’action. Cela ne signifie pas qu’il faille attendre la fin de l’action pour en connaître la teneur. Si tel était le cas, nous perdrions la possibilité de repérer en cours d’action des combinaisons d’effets positives qui seraient à renforcer, ou négatives, et qu’il faudrait dans ce cas minimiser par une réorientation de l’action.

Impact = changements positifs ou négatifs

• L’impact prend évidemment en compte les changements ayant apporté une amélioration mais aussi ceux qui apportent des contraintes supplémentaires. La détermination positive ou négative de ces changements dépend du système de référence choisi. Il peut être d’ordre économique, social ou culturel…

Impact = chgts prévus et imprévus dans la vie des personnes et de l’environnement

• Les changements pris en compte pour déterminer l’impact concernent également les interférences avec les réponses spontanées de la population ou d’autres actions en cours dans la zone.

• L’impact devra prendre en compte les changements aux niveaux de l’individu, de son groupe d’appartenance et de son milieu de vie. Ces niveaux peuvent être différents.

L’impact = des changements qui ont un lien de causalité direct ou indirect avec l’action

• La relation, même indirecte, avec l’action doit pouvoir être établie, faute de quoi la détermi- nation de l’impact relève de la méthode du coucou : on profite du nid des autres…

Evaluation des résultats

• L’évaluation des résultats consiste à comparer les résultats atteints et les résultats définis par les objectifs initiaux de l’action. L’évaluation prend en compte :

• – la mesure de l’écart entre le prévu et le réalisé, au plan quantitatif ;

• – la différence de nature entre les réalisations prévues et celles réalisées, au plan qualitatif.

•

Evaluation des effets

• L’évaluation des effets est plus difficile car ceux-ci dépendent à la fois de l’opérateur et du milieu où s’exerce l’action.

• L’évaluation devra prendre en compte que :• – le public concerné par les effets est plus large que le

public cible de l’action ;• – les stratégies menées par les populations sont

souvent opaques et difficiles à cerner avec précision ;• – des actions conduites par d’autres opérateurs ont pu

interférer avec l’action à évaluer.

Evaluation de l’impact

L’évaluation de l’impact prend en compte la complexité des interactions entre l’action de développement et l’ensemble de la population concernée par l’action. La complexité des situations conduit obligatoirement à faire des choix permettant de retenir ce qui est significatif et de porter un jugement à partir d’un système de repérage des changements et de pondération de leur importance.

5 questions vont alors se poser.

Pourquoi évaluer l’impact?

• L’évaluation de l’impact doit permettre:• – d’établir l’utilité de l’action dans la durée ;• – de définir les réorientations et les suites à

donner à l’action ;• – d’améliorer la qualité des actions futures.

Quand peut-on évaluer l’impact?

• L’impact, c’est ce qui reste quand le projet est fini. Une évaluation de l’impact deux, trois ou cinq ans après la fin du projet permet à l’évidence de repérer les changements durables. Avec le temps cependant, les liens de causalité entre l’action et les changements peuvent devenir plus difficiles à établir.

Qui décide qu’un changement est significatif?

• Quatre groupes, qui ont chacun leur propre critère d’appréciation, sont concernés par cette “qualification”.

• En premier lieu, la “population concernée” Attention, la “population concernée” n’est pas

un groupe homogène. Elle comprend des individus ou des groupes, aux intérêts parfois différents, qu’il faudra identifier et prendre en compte pour mener correctement l’évaluation.

Qui décide qu’un changement est significatif?

•L ’opérateur du projetCelui-ci fondera ses choix à partir de la finalité qu’il s’est

donnée.•L ’Etat et les collectivités localesLes pouvoirs publics jugeront en fonction des priorités des

politiques nationales et locales.• Les bailleurs de fondsAu-delà du contrôle des fonds qu’ils mettent à la disposition

des opérateurs, les bailleurs ont également des comptes à rendre sur la qualité des actions qu’ils soutiennent.

Comment évaluer l’impact d’une action?

• La démarche est la suivante :• Repérer et inventorier les changements : résultats et

effets .• Sélectionner les effets produisant des changements

significatifs et durables.• Etablir une grille de lecture commune pour tous les

effets retenus. Cette grille rassemble des champs thématiques différents choisis pour leur pertinence.

Comment évaluer l’impact d’une action?

• Etablir des indicateurs qui permettront de donner une “valeur” à chaque élément de la grille

• Analyser, de façon systématique, les relations entre ces divers éléments et leur importance relative. Cette analyse n’est pas la compilation de résultats et d’effets mais une lecture des dynamiques en cours. Elle doit dégager un sens (orientation et signification), qui donne une cohérence à la multiplicité des effets de l’action.

La mesure de l’impact est-elle fiable ?

• La fiabilité de la mesure d’impact dépend :– de la qualité du repérage des effets ;– de la pertinence de la grille de lecture et des

indicateurs mis en œuvre;– de la prise en compte de l’incertitude sur la

durabilité ;– de la qualité de la synthèse.

INVENTORIER LES CHANGEMENTS CONSTITUTIFS DE L’IMPACT

L’impact d’une action de développement, c’est la situation issue de l’ensemble des changements significatifs et durables, positifs ou négatifs, prévus ou imprévus, dans la vie et l’environnement des personnes et des groupes et pour lesquels un lien de causalité direct ou indirect peut être établi avec l’action de développement.

Point de départ : la situation de référence

• Identifier des changements nécessite tout d’abord de connaître les éléments de départ. Rassemblés, ceux-ci constituent ce qu’on appelle “la situation de référence”.

• La situation de référence couvre :– l’ensemble des activités touchées par le projet ;– la situation des populations concernées (attention,

celles-ci dépassent parfois le public défini a priori comme cible) ;

Point de départ : la situation de référence

– le repérage des acteurs locaux (leaders, groupes et groupements, fonctionnaires et agents de tutelle, opérateurs économiques, représentants de cultes, etc.) et leurs stratégies : que font-ils, que veulent-ils, avec quels moyens et méthodes ?

– l’identification des opérateurs externes (ONG, agences de développement), avec les résultats, les effets et si possible l’impact de leurs actions passées et en cours ;

–éventuellement enfin, les données historiques, géographiques et socio-économiques liées à la zone.

MESURE DES CHANGEMENTS : LES INDICATEURS D’IMPACT

Les indicateurs d’impact sont des signes vérifiables et mesurables qui, par comparaison à une référence (ou une norme), permettent de porter une appréciation sur les critères d’évaluation.

Les indicateurs de l’impact sont-ils différents des autres indicateurs ?

• Les indicateurs de l’impact ont une caractéristique commune avec tous les autres indicateurs utilisés au cours d’une évaluation : ils doivent permettre de mesurer un écart entre la situation constatée au moment de l’évaluation et une situation de référence, généralement celle qui existait au début de l’action ;

Les indicateurs de l’impact sont-ils différents des autres indicateurs ?

• Ils se différencient des indicateurs habituels pour deux raisons :

– en plus de mesurer un écart, ils doivent donner des indications sur les dynamiques de changement ;

– dans cette perspective, ils sont mis en relation au moyen de la grille de lecture des effets

Santé: Exemples d’effets constitutifs de l’impact Indicateurs

• Rôle des aînés : les vieux sont plus nombreux pour un nombre constant de fonctions honorifiques.

• Capacité festive : moins de maladies donc moins d’obstacles aux réjouissances et autres manifestations collective.

• Augmentation ou baisse de la fragilité de la population.

• Plus grande disponibilité au travail.

• Fréquence des conflits d’accès aux fonctions honorifiques.

• Respect du calendrier des fêtes. Pourcentage de participation. Invitations entre familles.

• Invitations d’hôtes externes.• Prévalence de certaines

affections : allergies, asthme… Evolution du nombre de personnes invalides ou handicapées.

Santé: Exemples d’effets constitutifs de l’impact Indicateurs

• L’augmentation de la force de travail et la croissance démographique conduisent à :

– de nouveaux besoins en équipements collectifs ;

– une pression foncière plus forte.• Pour financer les soins : évolution

des systèmes de solidarité.

• Temps de présence sur les lieux de travail.

• Nouvelles demandes, non programmées d’équipements collectifs. Evolution des demandes en cours.

• Evolution du couvert végétal. Ratio friches /

• espaces cultivés. Coût d’accès au foncier.

• Affectation des tontines. Affectation des ressources procurées par les activités collectives.

Critères de choix d’une méthode d’évaluation d’impact

• La validité de la méthode - estimateur de l’impact cohérent et significatif.

• Les hypothèses requises - moins nombreuses et moins strictes

• Possibilité d’isoler les effets du programme– Impact directement attribuable au

programme.

Critères de choix d’une méthode d’évaluation d’impact

• Coût– Coûts de la collecte et de l’analyse de

données raisonnables– ratio coût-avantage

• Exigences des données – Faciles à collecter et moins vulnérables au

risque d’erreur.

Méthodes expérimentales

Expériences aléatoires “Etalon d’or ” permettant de mesurer les résultatsd’un programme ou d’une intervention

• Post-test avec groupe témoin

Groupe expérimental X O1RA Groupe témoin O2

• RA = Répartiltion aléatoire de l’échantillon • = durée du programme• X = programme ou intervention • O = observation

Méthodes expérimentales

• Prétest et Post-test avec groupe témoin

Groupe expérimental O1 X O2

RA Groupe témoin O3 O4

Méthodes expérimentales– Forces

• flexibilité• forte validité• quelques hypothèses requises• simple analyse

– Limitations et considérations pratiques• sensibilités politiques et éthiques• temps et coûts• menaces à la validité

– contamination– confusion des influences externes– variation dans le traitement

Méthodes quasi - expérimentales• Prétest et Post-test sur deux groupes

indépendants

Groupe du pré-test O1 X

Groupe du test final X O2

Méthodes quasi - expérimentales• Prétest et Post-test avec groupe témoin non

identique L’ approche de base est la même que l’approche

expérimentale sauf que la répartition des sujets en groupe n’est pas aléatoire

---- Groupe témoin non identique

Groupe expérimental O1 X O2

-----

Groupe témoin O3 O4

Méthodes quasi - expérimentales

– Forces• approximation d’une expérience aléatoire• plus flexible pour les conditions sur le terrain• disposition pour une évidence solide

– Limitations et considérations pratiques• biais de sélection• nécessite des méthodes statistiques appropriées• possibilité des facteurs non observés qui peuvent

influencer les résultats en cours• pas aléatoire

Méthodes non - expérimentales

• Test final seulementGroupe expérimental X O1

• Pré - test et Test final Groupe expérimental O1 X O2

Méthodes non expérimentales• Série chronologique

Pré-test et un test final avec des observations répétées en amont et en aval du programme.

Groupe expérimental O1 O2 O3 X O4 O5 O6

Méthodes non expérimentales

– Forces• Adaptées aux études descriptives et aux études de

cas• Utiles pour diagnostiquer les causes possibles d’un

problème

– Limites• Ces méthodes ne sont pas recommandées pour

évaluer l’impact d’un programme spécifique.

Méthodes de régressionHypothèses

Formalisation des hypothèses

Confrontation avec les donnéesEstimation de l’impact

Les hypothèses sont validées Les hypothèses ne sont pas validées

Tests d’ hypothèses

Méthodes de régression

• Utilisent les données de différents niveaux (structure sanitaire, communauté, individuel) dans les analyses de régression.

• Démontrent une relation statistique entre les activités au niveau du programme et les mesures d’impact.

• Déterminent s’il y a un processus causal pendant ce temps.


• Modèles de régression longitudinale à plusieurs niveaux

grappes de personnes

formations sanitaires

utilisées

hôpitalcentre de santé

maternité


• Forces• mesure directement l’impact• aucune étude expérimentale requise• permet de contrôler plusieurs facteurs

(si les données sur ces facteurs existent)


• Limites• exigent des données au niveau de la population

et au niveau des programmes • nécessitent des modèles statistiques appropriés• nécessitent une connaissance des lieux et du

programme • pas sensible aux investigations avant la période

en question.

Récapitulatif des approches préférées

Approche Observations

Méthode expérimentale "Etalon-or" mais généralement peu pratiques suite aux difficultés à établir et à maintenir des conditions expérimentales contrôlées dans les études nationales.

Méthode quasi-expérimentale

Plus pratique car la répartition aléatoire n'est pas nécessaire. Mais plus vulnérable au biais de sélection et autres risques de validité que les expériences aléatoires.

Récapitulatif des approches préférées

Approche Observations


La moins exigeante des approches non expérimentales préférées. Evaluation de la relation entre les variables mesurant les activités du programme de planification familiale et des effets en fonction des données transversales de ménages et d'établissements sanitaires recueillis dans les mêmes régions géographiques (par exemple, grappes EDS).

Limitation-clé : risque d'estimations biaisées lorsque les programmes ne sont pas exécutés de manière uniforme ou aléatoire entre les régions géographiques.

TRAVAUX DE GROUPE

• Evaluer l’impact du VIH/ SIDA en utilisant Spectrum

• Charger les données de la Côte d’Ivoire

Exercice sur Spectrum• Créer un fichier de projection nommé «Khourounar » pour la

période 1980 – 2015• Charger les données démographiques de la Cote d’Ivoire• Charger les modules démographiques et SIDA• L’épidémie a commencé en 1986. Le pays n’a pas de système de

recueil continue des données mais on dispose de 3 séries de mesures de la prévalence du VIH avec l’EDS:

Années 1986 1996 20061.5 3.2 4.1

• Dans le plan stratégique, la prévalence estimée pour 2015 est de 5%

QUESTIONS

Exercice sur Spectrum• Q1. Quelle sera la population estimée de Khourounar en

2015?• Q2. Déterminer la taille de la population âgée de 15 à 49

ans révolus en 2009 ?• Q3. Générer une courbe de prévalence du VIH à

khourounar pour la tranche d’age des 15-49 ans ?• Q4. Combien d’enfants perdront leurs mères à cause du

VIH/SIDA en 2015?• Q5. Déterminer le nombre des nouvelles infections à

khourounar en 2015?• Q6 Déterminer le nombre de cas tuberculose en 2015?• Q7. Combien de femmes auront besoin d’ARV en 2008?

Exercice sur Spectrum• Q1. Quelle sera la population estimée de Khourounar en

2015?• Q2. Déterminer la taille de la population âgée de 15 à 49

ans révolus en 2009 ?• Q3. Générer une courbe de prévalence du VIH à

khourounar pour la tranche d’age des 15-49 ans ?• Q4. Combien d’enfants perdront leurs mères à cause du

VIH/SIDA en 2015?• Q5. Déterminer le nombre des nouvelles infections à

khourounar en 2015?• Q6 Déterminer le nombre de cas tuberculose en 2015?• Q7. Combien de femmes auront besoin d’ARV en 2008?

• Je vous remercie de votre aimable attention

2ème PARTIE

SPECTRUM

Planification stratégique, opérationnelle et financière des programmes VIH / SIDA CESAG, 07 – 11 décembre 2009

INTRODUCTION A L’OUTIL SPECTRUM

Mamadou Moustapha THIAMStatisticien-Démographique-Economiste

Université Cheikh Anta Diop/Dakar


OBJECTIF GENERAL

APPLIQUER L’OUTIL SPECTRUM DANS LES PROJECTIONS


OBJECTIFS SPECIFIQUES

1. IDENTIFIER LES COMPOSANTES DE SPECTRUM

2. APPLIQUER SPECTRUM


Introduction à

Spectrum


QU’EST-CE DEMPROJ?

Le modèle démographique de Spectrum connu sous le nom de Demproj est un programme informatique permettant de faire des projections démographiques pour des pays ou des régions.


Pourquoi réaliser des projections démographiques?

Point de départ des projections sur les besoins futurs en termes:

1. D’emplois2. D’enseignants3. De médecins4. D’habitat


ETAPES POUR FAIRE UNE PROJECTION DEMOGRAPHIQUE

1. CHOISIR LA ZONE GEOGRAPHIQUE2. DETERMINER LA PERIODE DE PROJECTION3. COLLECTER DES DONNEES4. FORMULER DES HYPOTHESES5. SAISIR LES DONNEES6. EXAMINER LES PROJECTIONS7. REALISER D’AUTRES PROJECTIONS

INTRANTS REQUIS

Données du pays• Données

démographiques• Prévalence des adultes• Description du

Programme PTME • Couverture PTME• Couverture ARV des

adultes• Couverture du

traitement des enfants

Tendances épidémiologiques• Effets du VIH sur la fertilité• Progression de l’infection au

besoin de traitement et à la mort due au SIDA

• Taux de prévalence par sexe• Distribution par age de

l’infection• Taux de transmission mère

/enfant par des options de régime et de nutrition

• Effet du traitement des enfants


DONNEES DEMEGRAPHIQUES NECESSAIRES POUR LES PROJECTIONS

1. FECONDITE DE L’ANNEE DE BASE2. FECONDITE (ISF)3. MORTALITE (Espérance de vie. TM/âge 4. MIGRATION INTERNATIONALE5. POPULATION ACTUELLE: URB - RUR

COMMENT CREER UNE NOUVELLE PROJECTION?

LES MODULES DE SPECTRUM

CREATION DU FICHIER DE PROJECTION

PERIODE DE LA PROJECTION

The first year of the projection must be before the start of the AIDS epidemic, usually 1980

NOMMER LA PROJECTION

ACTIVATION DES MODULES DEMOGRAPHIE ET EPIDEMIOLOGIE

CHARGEMENT DE LA BASE DONNEES DEMOGRAPHIQUES DES N.U.

Creates a projection using the UN Population Division’s World Population Prospects

PROCESSUS D’ENTRÉE DES DONNEES EPIDEMIOLOGIQUES

SELECTION DES MODULES

DONNEES DE PREVALENCE DU VIH CHEZ LES ADULTES

SOURCES DES DONNEES EPIDEMIOLOGIQUES

EFFETS DU VIH SUR LA FERTILITE

EFFETS DU VIH SUR LA FERTILITE

15-19: 50% increase

20-49: 30% decrease

TFR of HIV- adjusted to leave population TFR unchanged

DISTRIBUTION PAR AGE ET SEXE DE LA PREVALENCE DU VIH

MISE A JOUR DES DONNEES DE SEROPREVALENCE

MISE A JOUR DES DONNEES DE SEROPREVALENCE

MISE A JOUR DU SEXE RATIO

TAUX DE COUVERTURE ARV

TRAITEMENT DES ENFANTS

EXTRANTS DE SPECTRUM

EXTRANTS DE SPECTRUM

Documents

Séminaire sur le « Suivi et Évaluation des programmes de santé au niveau du district : Applications pratiques» CESAG, Dakar, Sénégal 14 juin – 2 juillet