ÉVALUATION

Marion Ravit, Ingénieur biostatisticienne, UVSQ.

Economiste de la santé

DU médecine humanitaire en gynécologie et obstétrique 8 décembre 2015

Définition

Définitions

Pas de définitions unique de l’évaluation (diffère selon les

organisations)

L'évaluation est un processus qui vise à déterminer aussi

systématiquement et objectivement que possible la pertinence,

l'efficacité, l'efficience et l'impact des activités à la lumière des

objectifs fixés.

C’est un processus organisationnel et un outil de gestion orientée vers

l'action pour améliorer à la fois des activités courantes et la planification

future, la programmation et la prise de décision.

Unicef, guide pour le monitoring et l’évaluation

Évaluer:

• Comprendre ce qui se passe

• Porter un jugement sur tout ou partie d’une intervention

• Développer les connaissances

Pourquoi évaluer ?

2 grands objectifs :

• Permet aux responsables d’un programme de rendre des comptes

dans une perspective d’imputabilité = évaluation sommative (ex post)

• Produire des informations utiles pour corriger la manières dont les

activités d’un programme sont mises en œuvre = évaluation formative

(pendant la mise en œuvre)

+

• Améliorer l’état des connaissances à propos de l’efficacité d’une

intervention (construction d’une théorie et publications d’article)

• Moyen de renforcer la capacité d’agir des participants

Pour qui évaluer ?

- Pour les financeurs

- Pour les participants

- Pour les citoyens (utilisateurs, non utilisateurs…)

- Pour vous-même

Souvent évaluation = sanction.

Mais c’est une étape qui permet interrogation et remise en cause de ses

propres pratiques.

Évaluer un partenariat dans un souci de qualité et une aide extérieure peut être

utile pour réorienter ou redynamiser les projets en cours.

L’objectif de l’évaluation n’est pas de remettre en cause un partenariat

dans son ensemble mais bien de redéfinir et réorienter les priorités.

Quand évaluer?

• Avant

• Pendant

• Après

La mise en œuvre de l’intervention

Planifier une évaluation

Phases de l’évaluation

1/ Phase préévaluative

2/ Phase évaluative

+

3/ Utilisation des résultats de l’évaluation pour la prise de décision

(responsabilité de l’évaluateur?)

Phase préévaluative

Objectifs :

- Est-il possible de réaliser une évaluation?

- Toutes les informations nécessaires à l’évaluation sont-elles

disponibles?

Modèle logique de l’intervention à évaluer : quelles sont les

activités prévues et les effets attendus?

=> Définitions de questions d’évaluation.

Figure : Représentation générique de la logique d’une intervention

Participants

Exemple d’intervention : programme de maternité à moindre risque

Mortalité, morbidité des femmes en âge de procréer

Réduire la mortalité maternelle

Participants

Région de l’Afrique

Ressources financières et humaines nécessaires à la mise en place des activités

Livres, bâtiment de la maternité

Processus : formation, chantier de construction

Patientes et sages-femmes Qualité des soins

Réduction du taux de mortalité maternelle

Autres programmes (éducation des filles), changements contextuels

Questions d’évaluations :

Les commanditaires veulent tout savoir sur tout, en peu de

temps et dans un budget restreint.

Contraintes de l’évaluation :

- Ressources

- Temps

- Accès aux données

+

- Critères politiques ou stratégiques

Contraintes de ressources

• Limitation de la portée de l’évaluation

- Information: mesures de résultats, réalisations intermédiaires

mesures tardives

- Sources d’information primaires (vs secondaires)

- Comparateurs: situations de référence (prétests/témoins)

• Restriction de la démarche d’évaluation

- Préparation: capacite à préparer, organiser l’évaluation

- Equipe: constitution d’une équipe pluridisciplinaire/appropriée

- Méthodes: choix du devis, validation méthodes et instruments

- Travail de terrain, analyses, revue des résultats, restitutions.

• Dépendance à l’égard des commanditaires du programme

- Risques d’interférence, propriéte des résultats

- Contraintes à la diffusion des résultats de l’évaluation.

Bamberger, 2006

Contraintes de temps

• Restriction des fenetres d’observation

- Faisabilité d’un pré-test

- Capacité à mesurer des résultats de moyen-long terme

- Capacité à mesurer des impacts (vs extrants–effets).

• Pressions sur la conduite de l’évaluation

- Pression sur leprocessus de planification de l’évaluation, le

travail de terrain, la revue des résultats, les restitutions.

• Pressions pour la présentation des résultats

- Limitent le travail de recoupements, de confrontation des

sources et des indicateurs,

- conditionnent l’ampleur ,la rigueur des analyses, les efforts de

validation avec les acteurs de terrain

Bamberger, 2006

Contraintes de données

• Restriction des comparateurs possibles

- Devis réflexif: situation prévalant avant le programme

- Devis comparatif: témoins non exposés (avant ou apres)

• Capacité à générer des données primaires?

- Des données populationnelles (utilisateurs vs populations)

• Indicateurs de succes

- Effets de long terme, impacts populationnels

- Réalisations intermédiaires

• Mise en contexte des réalisations

- Contexte

- Histoire de l’intervention

• Recours à des sources secondaires:

- Pertinence, qualité des données (i.e.: administratives); stabilité des

méthodes/ instruments. Bamberger, 2006

La mise en œuvre d’une

évaluation : types et

approches

Types d’évaluation

Type d’évaluation : objet sur lequel porte le jugement de

l’évaluateur.

Composant du programme ou relation entre ses composantes.

Figure : Les types d’évaluation et leurs relations avec les composantes d’un programme

Participants

BESOINS

PERTINENCE

BESOINS

BESOINSPROCESSUS EFFICIENCE

EFFICACITE IMPACT

• Peu importe le type d’évaluation : toujours analyser le

contexte. Selon sa nature, un programme n’aura pas les

memes effets et ne sera pas mise en œuvre de la meme

façon.

• Prendre en compte les effets imprévus (favorables ou non).

• Dans l’évaluation d’efficience ou « évaluation économique »

: minimisation des coûts, coût-efficacité, coût-utilité et coût-

bénéfices.

• Possibilité de réaliser une évaluation de l’équité (rarement

fait).

Les approches évaluatives

= Manière dont les experts interagissent avec les individus

concernés par l’évaluation.

Façon dont l’évaluateur assume son rôle.

L’approche utilisée varie en fonction :

- Des situations

- De l’organisation dans laquelle l’évaluateur évolue

- De ses caractéristiques personnelles

- Des besoins précisés par les personnes concernées

Pas d’approche meilleure qu’une autre, il faut prendre la plus

pertinente.

Approche directive

Evaluateur = rôle d’expert :

- Neutre et distant par rapport à l’objet évalué

- Dirige l’ensemble des opérations et prend les décisions

- Différents acteurs ne sont que des sources d’information

à un moment donné

- Seul juge de la valeur et du mérite d’un programme

Approche axée sur le développement d’n programme

Les résultats et le processus de l’évaluation sont utilisés

pour faire évoluer le programme au cours de sa mise en

œuvre.

Evaluateur =

- membre de l’équipe du projet

- Participe aux décisions

- Guide les parties prenantes pour que le projet

s’améliore, s’adapte et réponde aux besoins des

participants

Approche moins connue.

Approche participative

Processus évolutif selon une démarche de coopération

entre des évaluateurs et des personnes concernées par

l’évaluation mais qui ne sont pas des évaluateurs

professionnels.

3 raisons :

- pragmatique (augmente les chance de réussite et

maximise l’utilisation des résultats)

- Politique (souci démocratique de participation citoyenne

et d’émancipation)

- Épistémologique (pluralité des points de vue essentielle).

2 tendances dans l’approche participative :

Evaluation pratique

Pour résoudre des problèmes, à améliorer un programme

et prendre des décisions.

Partenariat égalitaire entre l’évaluateur et les parties

prenantes.

Evaluation émancipatrice

Processus évaluatif doit favoriser l’accroissement du

pouvoir d’agir (empowerment) des parties prenantes, dans

une perspective de justice sociale.

Décisions prises par les parties prenantes et non

l’évaluateur.

Normes de pratique

• OICÉ : Organisation internationale de coopération en

évaluation (2003).

• En Afrique de l’ouest francophone : en 1999, Réseau nigérien

de suivi et d’évaluation (ReNSE). Quelques associations

professionnelles d’évaluateurs dans cette région mais rares.

• But des associations : normes de pratiques, codes d’éthique,

liste de compétences essentielles.

Exemple d’évaluation : Évaluation d’impact du forfait

obstétrical mis en place en

Mauritanie

Présentation du forfait obstétrical

Problématique : Réduction de la mortalité maternelle et infantile en

Mauritanie dans le cadre des Objectifs du Millénaire (OMD 4 et 5)

Initiative: Le forfait obstétrical ou « forfait grossesse »

But : Améliorer l’accès aux soins et diminuer la mortalité maternelle,

péri- et néonatale :

- Un système de recouvrement des coûts (assurance de partage de

risque)

- Prise en charge la surveillance de la grossesse et de

l’accouchement

Il vise particulièrement l’amélioration de l’accessibilité des femmes les

plus démunies aux soins préventifs et curatifs de qualité lors de la

grossesse, de l’accouchement et du post-partum.

Forfait obsétrical : en quoi consiste-t-il?

Historique

À partir de 2002 déploiement du Forfait obstétrical (FO)

soutenu par les autorités sanitaires Mauritaniennes et

l’Agence Française de Développement (AFD).

Déploiement du Forfait obstétrical (FO)En 2011, 15 Moughataa avaient adhéré au FO

Appui pour réduction de la mortalité

maternelle et infantile en Mauritanie :

• Renforcement de l'accessibilité et de la qualité de la prise

en charge obstétricale (forfait obstétrical). Mise à disposition

des centres de santé d’un fonds de roulement et

d’équipements, formation du personnel de santé et des

gestionnaires du forfait, sensibilisation des populations.

• Renforcement des capacités du ministère de la Santé

pour la coordination et le suivi de la stratégie nationale de

santé de la reproduction (Assistance technique auprès du

Programme National de Santé de la Reproduction - PNSR)

• Amélioration de la prise en charge des problèmes

néonataux

Objectif primaire de l’évaluation

Évaluer l’effet de la disponibilité du FO sur l’amélioration de

la disponibilité, de l’accès et de la qualité des soins

maternels et périnataux en Mauritanie depuis sa création

Objectifs secondaires• Accès au soins de santé maternels :

- Contraception

- CPN qualifiée, CPN 4

- Accouchements assistés, césariennes

- CPON

• Santé néonatale :

- Mortalité à 7j et 28j

• Disponibilité et qualité des soins :

- Actes ou soins disponibles

- Qualification du personnel

- Taux de létalité et autres

- Matériel, médicaments et strucutres

• Pérennité

• Equité

Méthodes• Utilisation de données secondaires : bases de données issues

d’enquêtes ménages et d’enquêtes de routine institutionnelle entre

2001 et 2011

• Entrevue avec les partenaires : mission à Nouakchott

3 étapes :

1/ Création d’une plateforme de données

2 bases : données ménages (individuelles) et base SONU

2/ Design quasi-expérimental

Hiérarchisé (grappe niveau 1)

Contrôle/ Intervention (FO)

Avant/ Après

3/ Analyses statistiques

Différence des différences (DID)

Rapport de côtes (OR)

Séries chronologiques interrompues (ITS)

Analyses statistiques : variable d’ajustement

-Zone (Ouest, Sud ou Nord)

-Moughataa de Nouakchott (oui/non)

-% d’adhésion au FO

-Formation sanitaire la plus élevée dans la moughataa de résidence (poste,

centre, hôpital)

-Formation sanitaire la plus élevée dans la commune de résidence (poste,

centre, hôpital)

-Résidence en milieu rural/urbain

-Taille du ménage

-Catégorie du score de richesse du ménage

-Éducation, statut marital (oui/non)

-Catégorie d’âge (<18. 18-35 et 35+)

-Parité, grossesse multiple (oui/non)

Résultats :

Sur les différents objectifs :

• Accès au soins de santé maternels

• Santé néonatale

• Disponibilité et qualité des soins

• Pérennité

• Equité

Discussion

- Biais (niveau d’étude: la moughataa, migration des femmes

d’autres Moughataa)

- Manque d’information sur l’existence du FO parmi les

femmes? Accès à l’information

- Interventions en parallèle indépendamment du FO (écoles

médicales rurale , formation de gynécologues obstétriciens,

ONG, ….)

=> Nécessité d’études qualitatives et complémentaires

Exemple d’évaluation : Etat des lieux de la mise en œuvre

de la PTME dans les districts de

Dakar, points forts, points faibles et

recommandations.

Contexte

Estimation VIH 2014 (ONUSIDA) au SénégalTaux de prévalence chez les adultes de 15 à 49 ans :

0.5% [0.4% - 0.6%]

(en 2005 : 0.7%)

PTME au SénégalJuillet 2000 : le Sénégal a mis en place dans 3 sites à Dakar un projet

pilote de PTME.

Objectif: rendre plus accessible le dépistage du VIH chez femmes

enceintes lors des consultations prénatales, de diminuer

significativement les nouvelles infections à VIH chez les nouveau-nés

nés de meres séropositives par la prophylaxie ARV et l’alimentation

artificielle.

Au vu des résultats encourageants de la phase pilote, la

décentralisation a été initiée en 2004.

Source : Site de la DLSI

Évolution du nombre de femmes enceintes dépistées

Fin 2006: une faible proportion (53%) de femmes enceintes a bénéficié du conseil dépistage lors des CPN. 46% de femmes enceintes séropositives ont bénéficié d’une ARV prophylaxie complète ; ce qui est très loin de l’engagement d’offrir la prophylaxie ARV à 80% de femmes enceintes séropositives en fin 2005 pris par les pays signataires de la déclaration de l’assemblée extraordinaire des Nations Unies en 2001.

Objectif :

Réaliser un état des lieux de la PTME dans les districts de Dakar

: points forts, points faibles et recommandations.

Pourquoi pas une évaluation d’impact? Analyse de l’efficacité :

peu de données et ne permet pas forcément de comprendre le

succès ou l’échec dans la mise en oeuvre

Pourquoi pas sur tout le Sénégal? : peu de moyens

=> Enquête auprès des femmes enceintes et du personnel

qui dispense la PTME

Méthodes

• Méthode d’échantillonnage sur place pour les femmes enceintes

(méthode empirique) car nous ne pouvions savoir en arrivant dans

le centre de santé le nombre exact de femmes enceintes qui serait

reçu en consultation dans la journée. L'échantillon étudié est défini

par un lieu, ici le service maternité du centre de santé de chaque

district. La population à enquêter est caractérisée par les femmes

enceintes venant d’être reçues en consultation prénatale.

• Personnel de santé : enquête auprès de tous les prestataires

impliqués dans la PTME et plus précisément le personnel en contact

avec les femmes enceintes présent au moment de notre passage :

gynécologues, sages-femmes, assistants sociaux et médiateurs.

Les différents points abordés dans notre enquête ont été,

entre autres : les connaissances qu’ont les femmes sur la

PTME, l’information du personnel de santé sur le protocole

mis en place, le déroulement des CPN, l’organisation de la

structure de santé, ou encore les tests de dépistage.

PrésentationNous sommes actuellement en stage au sein du ministère de la santé, dans la division de lutte contre le Sida et les IST. Ce questionnaire a pour but de recueillir vos impressions sur le déroulement des CPN et de ce qui vous est proposé par ce centre. Nous vous remercions de nous accorder quelques minutes pour le remplir avec nous.Ce questionnaire est anonyme.

Compréhension du français : …………

1) Quel âge avez-vous?………………………

2) Quel est votre statut matrimonial ?a. Mariéeb. Célibatairec. Veuve

3) Quel est le revenu mensuel de votre foyer ? (Métier du mari)a. Moins de 30 000 FCFAb. Entre 30 000 et 100 000 FCFAc. Plus de 100 000 FCFA

4) Est-ce votre première CPN dans ce centre pour cette grossesse? a. Ouib. Non

5) Si non, combien de CPN avez-vous déjà réalisé dans ce centre ? ……………………………

6) Avez-vous déjà suivi une CPN en dehors de ce centre ? a. Ouib. Non

7) Si oui, pourquoi avez-vous changé ? a. Déménagementb. Famille, connaissance travaillant dans le centrec. Qualité du centred. Autre

8) Avez-vous déjà entendu parler de la PTME ?a. Ouib. Non

Si non, allez à 12)

Extrait : Questionnaire pour les femmes enceintes

Résumés des résultatsLa quasi-totalité du personnel concerné a été formé en PTME,

ce qui représente une grande réussite, puisque le programme

PTME ne peut être efficace sans personnel qualifié.

Beaucoup de points restent à améliorer tels que :

- la connaissance que les femmes ont de la PTME

- le temps d’attente des femmes dans le centre

- le fait que toute les femmes enceintes ne se voient pas

proposer le test de dépistage du VIH/Sida lors de leur 1ère

CPN.

Les principaux problèmes rencontrés par le personnel de santé

dans la mise en œuvre de la PTME semblent etre le manque de

moyens et de disponibilité de produits, particulièrement de lait

artificiel, la confidentialité des consultations, le manque de

personnel, le manque de motivation de certains prestataires. Le

manque de moyens de communications est aussi à souligner.

Exemples de recommandations :

Les centres de santé disposent presque tous de télévisions

et sachant que les femmes attendent généralement

plusieurs heures avant de passer en CPN, il serait sans

doute possible de diffuser des K7 de sensibilisation sur la

PTME sur les télévisions disposées dans les salles

d'attente.

Cela permettrait d'informer les femmes sur la PTME, de

corriger les inexactitudes propagées par les médias de

masse et de sensibiliser les femmes pour qu'elles

acceptent ensuite le test qui sera proposé durant la

consultation prénatale.

Exemples de recommandations :

Seul 1/3 des femmes interrogées, et ayant déjà réalisé le test de

dépistage du VIH/Sida, ont bénéficié du test rapide et ont obtenu leur

résultat en moins d’une heure.

Les centres de santé équipés de tests rapides sont les plus

efficaces et ont les meilleurs taux d'acceptation et de réalisation du

test de dépistage du VIH/Sida. Cela peut s'expliquer par la forte

réduction du temps d'attente pour la femme enceinte.

Si la femme doit revenir le lendemain ou le surlendemain, il peut arriver

qu'elle refuse finalement d'avoir le résultat du test, après avoir parlé à

des membres de sa famille ou à des amies. La mise en place

généralisée du test rapide permettrait de contourner ce problème.

Le test rapide est fait directement par les sages-femmes. Il faut donc

que celles-ci aient été formées pour faire le test. Cela implique une

augmentation de la charge de travail pour les sages-femmes.

Il faudra associer les sages-femmes à la généralisation du procédé.

CONCLUSION

Evaluer pour évoluer!

• Evaluation ne doit pas être une sanction.

• Evaluation doit permettre d’améliorer une intervention, des

pratiques.

• Evaluation peut (et doit) se faire à tous les niveaux.

• Evaluer, c’est se remettre en question!

MERCI!

Références

• A UNICEF Guide for Monitoring and Evaluation.Making a Difference? : http://preval.org/documentos/00473.pdf

• Ridde V, Dagenais C (sous la direction de), (2009), Approches et pratiques en évaluation de programme, PUM, 358p

• Bamberger M, J. Rugh, et L. Mabry (2006), RealWord Evaluation : working under budget , time, data and political constraints, Sage publication

• http://www.centraider.org/les-outils/conseils-methodologiques/291-fiche-technique-n10---evaluer-son-projet-de-cooperation-et-de-solidarite-internationale.html

• http://www.centraider.org/les-outils/conseils-methodologiques/219-fiche-technique-n5--elaborer-la-strategie-de-votre-projet-cadre-logique.html

• http://www-wds.worldbank.org/external/default/WDSContentServer/WDSP/IB/2006/03/29/000090341_20060329094344/Rendered/PDF/207450FRENCH0iehandbook1fr.pdf