Synthèse générale

Synthèse générale

Séminaire sur le Suivi et l’Evaluation des programmes de santé au niveau du district: Applications pratiques.

14 juin – 02 juillet 2010, Dakar/Sénégal

Suivi et Evaluation des programmes de Santé

CESAG- Dakar, Sénégal : 14 juin – 02 juillet 2010

Semaine 1 Introduction aux théories S & E Elaboration d’un Plan S & E; Présentation des Tdr des travaux de groupes sur les

plans de S & E; Rôle de l’information stratégique; Les cadres de S & E;



Semaine 1

Les indicateurs de S & E; Les sources d’information en S & E; Elaboration d’un plan de S & E; Méthodes Quantitatives d’analyse des données

sanitaires;



Semaine 2

Méthodes Qualititatives d’analyse des données sanitaires;

Méthodologie d’évaluation de l’impact; Evaluation de la rentabilité et de l’efficience d’un

projet/programme; Programme de Communication pour le Changement

de Comportement;

Suivi des projets et programmes;



Semaine 2

Gestion de la logistique des médicaments; Programme de santé de l’enfant : PCIME; Programme Elargi de Vaccination: PEV; Programme SR; Programme de santé de l’enfant : Nutrition Elaboration d’un plan de S & E : Etat

d’avancement.



Semaine 3 :

Elaboration d’un plan de S&E; Programme IST/sida/TB; Programme Paludisme; Préparation des TP sur le terrain; TP sur le terrain; Analyse et interprétation des résultats des travaux de

terrain; Finalisation des travaux sur le terrain; Présentation des divers travaux et clôture.



Différences SUIVI et EVALUATION?



Suivi ET Evaluation

Suivi : Que faisons-nous ?Suivi des intrants, processus et extrants pour déterminer si les

programmes s’exécutent comme prévu(formations, distribution de préservatifs, etc.)

Évaluation : Qu’avons-nous accompli ?Évaluation de l’impact des programmes sur les

comportements ou la santé(usage du préservatif lors des derniers rapports sexuels risqués, incidence du VIH,

etc.)



Définitions

Le SUIVI est une fonction L’EVALUATION est un exercicecontinue qui vise à fournir aux limité dans le temps qui vise àgestionnaires du programme et mesurer objectivement l’impactaux principales parties prenantes, (résultats) observé au niveau de

des indications sur le progrès de la population, attribuable auxréalisés ou des difficultés interventions du projet/program-rencontrées au cours de la mise me.en œuvre du programme.



Définitions : suivi

La collecte routinière des informations sur les activités d’un programme/projet, ses produits, résultats attendus

La mesure des progrès réalisés dans le sens de la l’atteinte des objectifs d’un programme/projet ; c’est le comptage des extrants

Surveillance routinière de l’utilisation des ressources financières et le fonctionnement d’un programme/projet.

Constitue la base de l’évaluation d’un programme/projet lorsqu’il est lié à un programme/projet spécifique.



Définitions : évaluation

L’analyse rigoureuse, à caractère scientifique des informations relatives aux ressources, activités, et résultats du projet/programmes pour déterminer le mérite ou la valeur dudit programme

Requière la conception d’études ; parfois un groupe de contrôle ou témoin; souvent la mesure dans le temps.

L’analyse des données de suivi pour améliorer les projets/programmes et informer les décisions concernant les futures allocations de ressources.



Intrants

Ce sont les Ressources utilisées dans le cadre d’un projet/programme, telles que les ressources financières, humaines, matérielles :

- ressources financières provenant du gouvernement, des partenaires et bailleurs;

- personnel;

- protocoles et directives;

- supports de formation;

- etc



Processus/Activités

Ce sont les Activités que le projet/programme mènent pour atteindre ses objectifs, telles que la sensibilisation, la distribution de supports, les séances de counseling, les ateliers et formations, la supervision….

* Assurer le counseling pré-test, le test du VIH, la distribution des moustiquaires



Extrants/Résultats au niveau du programme Ce sont les Produits directs ou produits

livrables du projet/programme tels que les séances d’interventions réalisées, les personnes atteintes ou les supports éducatifs distribués:

* Nombre d’agents formés;

* nbre de clients recevant un counseling pré-test,se faisant dépister du VIH et bénéficiant de counseling post-test.



Effets

Ce sont les Résultats du programme qui se produisent aussi bien immédiatement qu’un certain temps après l’achèvement des activités tels que les changements au niveau des connaissances, des attitudes, des croyances,des compétences,comportements,de l’accès au services, des politiques.



Impacts

Ce sont les Résultats à long terme d’un ou de plusieurs programmes, dans le temps tels que les changements au niveau de l’infection, de la morbidité:

- taux de transmission;

- taux d’incidence;

- morbidité et mortalité.



Quelle est la fonction d’un Plan S/E?



Plan S&E: Fonctions Résume comment le programme mesurera ses résultats:

Imputabilité Résume le processus de consensus:

Transparence Responsabilité

Guide la mise en œuvre du système S&E Standardisation Coordination

Archive la mémoire institutionnelle

Un plan S&E est un document vivant qui aura besoin d’être ajusté quand le programme est modifié

La fonction et la forme d’un plan S&E sera différent aux différents niveaux du système



Quels sont les éléments clés d’un Plan S/E?



Eléments clés d’un plan de S&E(1/2)1. Introduction/Description du problème de santé

2. Description du programme- buts, objectifs, cadre conceptuel, activités, cadre des résultats

3. Description des indicateurs avec sources de données, etc. (matrice et feuilles de référence)

4. Description des mécanismes de collecte des données

Suivi

Evaluation



Eléments clés d’un plan de S&E(2/2)

5. Plan de démonstration de l’impact;

6. Plan de dissémination et utilisation des données/résultats

7. Analyse des obstacles à la qualité des données et solutions potentielles;

8. Plan de mise en œuvre du Plan S/E avec calendrier et budget



Barrières à l’utilisation des données?



Déterminants de la Demande et Utilisation Déterminants de la Demande et Utilisation des données et des Informationsdes données et des Informations

APPROCHE SYSTEMES

APPROCHE TECHNIQUE

COMPORTEMENT INDIVIDUEL

POLITIQUE

CULTURE

SOCIETE

La prise de décisions intervient dans des contextes sociopolitiques et culturel définisLa prise de décisions intervient dans des contextes sociopolitiques et culturel définis



Déterminantstechniques• Conception du système• Indicateurs• Collecte des données• TIC • Capacité du personnel

Determinants systémiques: Leadership, structure, culture, rôles/responsabilités, ressources

DéterminantscomportementauxValeurs, attitudes, motivation

EntrantsEvaluation du SISStrategies & interventions

Le cadre conceptuel “Prism”

ETAT DE SANTEAMELIORE

Performance amélioré du

systèmede santé

Extrants souhaités• SIS performant =

• information de qualité• utilisation de l’ information pour la prise de décision



Quels sont les 3 types de cadres qui peuvent être utiles pour les gestionnaires de programmes et staff de S/E quand ils ont besoin de décrire leur programme??



Synthèse Cadres de S/E:Type de cadre

Description Gestion de Programme

Utilité dans le S/E

Conceptuel Interaction entre différents facteurs

Détermine quels sont les facteurs qui vont influencer les résultats/impacts du programme

Explique les résultats, surtout dans Evaluation d’Impact

Logique Montre les liens logiques entre les intrants, les activités, produits/ résultats du programme

Montre les relations causales entre les activités et les résultats

Suivi/évaluation du processus et du résultat

Résultat Montre les liens logiques entre les objectifs du programme

Montre les relations causales entre les objectifs du programme

Suivi/évaluation des résultats



Qu'est ce que c’est, un indicateur?



Qu’est-ce qu’un indicateur ?

une variable qui mesure un aspect du programme ou projet



Quelle est l’utilité des indicateurs standardisés au niveau international?



Ces indicateurs : aident chaque pays à évaluer l’efficacité de sa riposte

nationale;

permettent de fournir des informations majeures sur l’efficacité de la riposte aux plans régional et mondial;

améliorer la comparabilité des données et/ou réponses entre pays ou entre régions;

mesurer les progrès dans le secteur de la mobilisation des ressources, de la politique générale et de la défense de la cause en matière de santé.



Quelles sont les différentes sources des données ?



Système d’information sanitaire: données pour la planification, le suivi et l’évaluation dans le secteur de population, santé et nutrition

Routine Non-Routine

Special

FSClient

Commun.i

Dossier Client Dossiers FinanciersLogistiquesFSy registres, dossiersDonnées Commun.

Gestion et suivi client Gestion unité de santéPlanning travail/ de fin. Priorités

Enquêtes de Population

EDS

Méthodes Évaluation

Rapide

Niveau District

Enquêtes de servicesDe santé

Aggreg. Stat. ServicesAggreg. Données gestionSites Sentinelles Liste ObservationAuto-Évaluation

Planification)Management (Qualité/Efficience)Supervision (Performance)Surveillance de maladie

Niveau National

Aggreg. Statist. de ServiceAggreg. Données de gestionAggreg. Données SurveillDonnées financièresEtat civil

Décision de politiquePlanification stratégiqueSuivi de programmeSurveillance de maladieSoutien Technique & Logistique

Naissances et décèsDossiers ScolairesRegistres ASCRecouvrement des coûts

Gestion et suivi clientGestion logistiquesSensibilisation Communauté

TYPE UTILISATION

Études Spéciales

Recensement



Quelles sont les six dimensions de la qualité des données?

1. Exactitude ou validité;

2. Fiabilité;

3. Précision;

4. Exhaustivité;

5. Promptitude;

6. Intégrité.



Quel est le rôle particulier des méthodes qualitatives et quantitatives d’analyse des données dans un bon système de suivi et

évaluation?



Différences entre enquêtes qualitatives et quantitatives (1/3)Qualitative Quantitative

Permet d ’explorer les attitudes, les motivations, les pratiques etc.

Mesure les évolutions, les niveaux, etc.

Détermine “pourquoi” Décrit: Combien, combien de fois

Les modèles, les processus et les interactions sont plus faciles à observer

Relations entre variables sont indiquées avant l’étude

Le questionnaire est ouvert – l’information provient des interviewés

A un objectif défini: tous les termes et les questions importantes sont limités aux questions posées

Permet d’explorer les sujets sensibles Plus difficile de prendre en compte les questions sensibles

N’a pas besoin d’échantillons de grande taille

Exige des échantillons importants



Différences entre études qualitatives et quantitatives(2/3)

Qualitative Quantitative

Relativement moins cher à réaliser et les résultats sont faciles à obtenir

Coûteux et prend du temps

Les résultats ne peuvent pas être généralisés à des populations plus larges

Les résultats peuvent être généralisés à des populations plus larges

Il y a beaucoup de données et l’analyse est ardue

Le traitement et l’analyse de données importantes est relativement facile

Pas besoin d’expert en statistiques pour l’analyse des données

Connaissance statistique indispensable pour l’analyse

Les agents de santé peuvent participer à l ’étude

Enquêteurs et agents de santé peuvent participer à l ’enquête



Différences entre études qualitatives et quantitatives(3/3)

Qualitative Quantitative

interprétation peut être biaisée par le chercheur

Possibilité de maîtriser le biais



Quels sont les différents avantages des approches d’évaluation d’impact?



Récapitulatif des approches préférées Approche Observations

Méthode expérimentale Généralement peu pratique suite aux difficultés à établir et à maintenir des conditions expérimentales contrôlées dans les études nationales.

Méthode quasi-expérimentale Plus pratique car la répartition aléatoire n'est pas nécessaire. Mais plus vulnérable au biais de sélection et autres risques de validité que les expériences aléatoires.

Méthodes de régression à niveaux multiples

La moins exigeante des approches non expérimentales préférées. Evaluation de la relation entre les variables mesurant les activités du programme et des effets en fonction des données transversales de ménages et/ou d'établissements sanitaires recueillis dans les mêmes régions géographiques (par exemple, grappes EDS).

Limitation-clé : risque d'estimations biaisées lorsque les programmes ne sont pas exécutés de manière uniforme ou aléatoire entre les régions géographiques.



Programmes de santé : Description des cadres de S/E (Conceptuel, Logique et

Résultats) ; Identification des interventions/approches majeures permettant

d’améliorer le programme ; Discussion de l’impact principal et des indicateurs de résultat et

identification des forces et faiblesses de ces indicateurs ; Exemples spécifiques sur la manière dont les indicateurs de

S&E sont utilisés pour l’amélioration du programme et la prise de décision ;

Développement d’ un cadre conceptuel et identification des indicateurs de S&E d’une des interventions identifiées; discussion également des sources de données, des forces et faiblesses des indicateurs ( but des études de cas).



MERCI

Documents

Synthèse générale