Utilisation de données pour éclairer la prise de décisions · accès accru à des aliments nutritifs et diversifiés Augmentation moyenne de 35,5 % des mères/fournisseurs de soins

Westin Ottawa

Utilisation de données pour éclairer

la prise de décisions

18-19 AVRIL 2018

Panélistes

• Ibrahim Daibes, directeur, Paramètres de mesure (CanSFE)

• Abena Thomas, gestionnaire des subventions/conseillère en S&É, projet ENRICH (Vision Mondiale Canada)

• Rudy Broers, directeur, Suivi et évaluation (Plan International Canada)

• Peter Berti, directeur adjoint/conseiller en nutrition (HealthBridgeFoundation of Canada)

• Vaughn Lantz, directeur, Cohérence et efficacité des programmes (Affaires mondiales Canada)

APRIL 18-19 AVRIL, 2018

Ibrahim DaibesDirecteur, Paramètres de mesure,

CanSFE

Westin Ottawa APRIL 18-19 AVRIL, 2018

Abena ThomasGestionnaire des subventions/

conseillère en S&É, projet ENRICH

Vision Mondiale Canada


Westin Ottawa

Suivi annuel des résultats : Établissement de systèmes de suivi axés sur les résultats au moyen du

contrôle par échantillonnage de la qualité des lots (LQAS)



Projet de renforcement des services de nutrition aux fins d’améliorerla santé maternelle et infantile en Afrique et en Asie (ENRICH)

Où : Bangladesh, Kenya, Myanmar, Pakistan, Tanzanie

Quand : mars 2016 – septembre 2020

Bénéficiaires directs :2 millions de personnes, y compris :

740 000 enfants de moins de 2 ans835 000 femmes enceintes et allaitantes

Partenaire du consortium : Nutrition International

Partenaires de mise en œuvre : Harvest Plus, Société canadienne de santé internationale, Université de Toronto

Calendrier de S&É conventionnel


AF 2016 AF 2017 AF 2018 AF 2019 AF 2020

Début du projetMars 2016

Base de référenceOctobre 2016 – janvier 2017

ÉvaluationSeptembre – octobre 2018

Évaluation finaleAvril – juin 2020

Fin du projetSeptembre 2020


• Changements dans les contextes, circonstances, besoins/priorités

• Suivi et rapport semestriels des résultats immédiats et rapport annuel des résultats intermédiaires exigés par le bailleur de fonds

• Suivi du rendement et des activités montrant « ce qui a été accompli », sans indiquer si « nous avons fait les BONNES choses » ou si « ce que nous faisons mène à des changements »

• Absence d’outils/de plateformes efficientes nécessaires pour collecte de données aux fins de prise de décisions et de planification annuelle du travail

Mise en œuvre du projet : observations, défis et solutions

• Collecte fréquente de données nécessaire pour gestion axée sur les résultats dynamique

• Négociation du suivi et rapport annuel des résultats

• Méthodologie d’enquête efficiente nécessaire pour mesurer l’acquisition de connaissances et le changement de comportement


Contrôle par échantillonnage de la qualité des lots (LQAS) :méthode d’échantillonnage aléatoire simple et peu coûteuse

Peut aider à établir l’étendue de la couverture du secteur d’intervention du programme, ET

• cerner les zones de supervision (ZS) à faible couverture :

• Cerner les causes de la faible couverture

• Axer les efforts et ressources sur les ZS peu couvertes

• Augmenter la couverture du secteur de programme en améliorant la couverture dans ces ZS

• cerner les zones de supervision à grande couverture :

• Étudier et cerner ce qui fonctionne bien

• Cerner des stratégies pouvant être appliquées à d’autres ZS

Valadez, J., Weiss, W., Leeburg, C., Davis, R. 2003. Assessing Community Health Programs: A Trainer’s Guide Using LQAS for Baseline Surveys and Regular Monitoring.


Identification des principaux secteurs d’intervention et regroupement en sites de mise en œuvre gérables

Ensemble, les sous-districts représentent la zone desservie

Individuellement, ils représentant les 5 zones de supervision


10 Unions69 Villages

21 Unions105 Villages

8 Unions39 Villages

8 Unions47 Villages

6 Unions29 Villages

Bureau de projet de sous-district

Principaux secteurs d’intervention ENRICH – District Thakurgaon, Bangladesh

APRIL 18-19 AVRIL, 2018APRIL 18-19 AVRIL, 2018

Utilisation de LQAS pour éclairer la prise de décisions liées aux programmes


Zones de supervision RËEL Cible

Indicateur Question de l'enquête baliadangi haripur pirganj ranisankailthakurgaon_sadar

TotalTaille de l’échantillion

PourcentageTotal

Rèlge de décision

baliadangi haripur pirganj ranisankailthakurgaon_sadar

PourcentageRègle de d´cision

baliadangi haripur pirganj ranisankailthakurgaon_sadar

% d'enfants de 6 à 23,9 mois ayant

reçu un apport alimentaire minimum

acceptable (diversification alimentaire

minimum et nombre minimum de

repas)

Poursuite de l'allaitement au sein20 21 20 21 21 103 105 98.1 18 Y Y Y Y Y

Diversification alimentaire13 9 13 13 11 59 105 56.2 10 Y N Y Y Y

Fréquence des repas18 19 18 16 16 87 105 82.9 16 Y Y Y Y Y

Apport alimentaire minimum

acceptable 11 7 11 12 10 51 105 48.6 8 Y N Y Y Y 43.8 6 Y Y Y Y Y

11

7

11

12

10

0

2

4

6

8

10

12

14

Baliadangi Haripur Pirganj Ranisankail Tharkurgaon S.

# d

e ré

po

nse

sco

rrec

tes

Couverture totale 48,6 %

# Correct Responses Actual Decision Rule Target Decision Rule

0

10

20

30

40

50

60

70

Baseline Year1 Year2 Year3 Year4

% des enfants de 6 à 23,9 mois ayant reçu un apport alimentaire minimum acceptable (AAMA) , SUR 4 ANS

ENRICH - Bangladesh

Target


Outils et plateformes de collecte de données


Base de données

de suivi

- Sur Excel (format

numérique en

développement)

- Suit les

activités/sous-

activités

- Désagrégation

selon le sexe

Suivi du rendement

- Consolidation des

données de suivi

- Rapports

semestriels

- Désagrégation

selon le sexe

Suivi des résultats

annuels

- Échantillon de

contrôle de la

qualité des lots

(enquête auprès

des ménages)

- Évaluation

qualitative

- Rapports annuels

- Désagrégation

selon l’âge (non le

sexe)

Évaluation

- Enquête en grappes

- Évaluation

qualitative

- Désagrégation selon

l’âge et le sexe

- Évaluateur

externe/partenaire

universitaire


Notre but : mappage de l’impact – du début à la fin


Plus de 1 000 travailleurs de santé communautaire (TSC) formés

Pus de 32 000 fermiers recevant formation, semences, petits animaux

Quelque 550 000 femmes et enfants recevant éducation et services de santé

Plus de 150 000 hommes, femmes et enfants ayant un accès accru à des aliments nutritifs et diversifiés

Augmentation moyenne de 35,5 % des mères/fournisseurs de soins ayant reçu au moins 1 visite d’un TSC au cours des 3 derniers mois

Augmentation moyenne de 10,9% des mères recevant au moins 4 visites de soins prénataux

Augmentation moyenne de 12,6 % de surveillance et promotion de la croissance chez les enfants de 6-23,9 mois

Augmentation moyenne de 9,8 % de l’apport alimentaire minimum acceptable chez les enfants de 6-23,9 mois

635 morts

néonatales évitées

27 morts

maternelles évitées

265 installations de santé équipées

Rudy BroersDirecteur, Suivi et évaluation

Plan International Canada


Westin Ottawa

La pauvreté et la vulnérabilité dans la prise de décisions liées aux

programmes


Le contexte : ODD de l’ONU (2016-2030)• 17 objectifs de développement durable (objectifs

mondiaux) pour mettre fin à la pauvreté, protéger la planète et assurer la prospérité pour tous

• Entre autres objectifs : pas de pauvreté; faim zéro; bonne santé; éducation de qualité; égalité entre les sexes

• Promesse de ne laisser personne de côté : responsabilité mondiale à l’effet d’améliorer la situation pour les groupes les plus pauvres et marginalisés

• Besoin évident de données pour cerner la situation des groupes vulnérables


Projets ciblant explicitement les groupes les plus vulnérables

Bauchi Opportunities for Responsive Neonatal and MaternalHealth (BORN) Résultat final :

• Contribuer à la réduction de la mortalité maternelle et néonatale dans des régions ciblées chez les femmes et les nouveau-nés les plus marginalisés et vulnérables

Strengthening Health Outcomes for Women and Children (SHOW) Résultats intermédiaires :

• Renforcer l’utilisation des services de santé essentiels par les femmes en âge de procréer, les adolescentes, les nouveau-nés et les enfants de moins de 5 ans très vulnérables et vivant dans la pauvreté

• Améliorer la qualité des services de santé essentiels pour les femmes en âge de procréer, les adolescentes, les nouveau-nés et les enfants de moins de 5 ans très vulnérables et vivant dans la pauvreté


Détermination de la pauvreté et de la vulnérabilité dans la programmation et l’évaluation

• Définition générale de la vulnérabilité : exposition au risque de chocs négatifs portant atteinte au bien-être du ménage.

• À l’étape de la conception, l’analyse et les sources de données existantes peuvent fournir certains éléments quant à la pauvreté et la vulnérabilité.

• À l’étape de mise en œuvre, comment pouvons-nous mieux comprendre les progrès faits par les groupes pauvres et vulnérables, et savoir si nos programmes sont bien ciblés sur les populations pauvres et vulnérables?


Atteindre les personnes les plus marginalisées :indicateurs de pauvreté et de vulnérabilité :

• Indicateur de pauvreté – le Poverty Probability Index (PPI) ou indicateur de probabilité de pauvreté, comprend 10 questions adaptées au pays posées pour évaluer la probabilité de se situer sous le seuil de pauvreté du ménage.

• Indicateur de vulnérabilité – créé par Plan International Canada afin de déterminer le degré de vulnérabilité au moyen de 15 questions socioéconomiques posées tant à l’individu qu’au ménage, assorti d’une grille de notation et d’un classement par catégories.


Indicateur de probabilité de pauvreté (PPI)


Quand :

• Comme pour l’indicateur de vulnérabilité, les questions du PPI ont été intégrées dans l’enquête de référence et seront posées de nouveau à mi-chemin et à terme

• Un classement par catégorie était nécessaire pour grouper les répondants à des fins d’analyse

Notation :

• 10 questions adaptées en fonction du pays

• Catégories de ménages : très pauvres, modérément pauvres, légèrement pauvres, non pauvres, riches

• Types de variables différents selon les pays

Exemples : propriété foncière, télévisions, téléphones mobiles, véhicules, bicycles, bétail; niveau d’instruction; type de carburant, matériaux utilisés pour les planchers, les murs; emplacement; envoi d’argent

Indicateur de vulnérabilité : méthodologie


Quand :• Variables recueillies dans l’enquête de référence auprès des ménages; le seront de nouveau à

mi-chemin et à terme• Enquête de référence menée auprès de femmes ayant des enfants de moins de 2 ans et de

leur époux, mais questions posées seulement aux femmes• 15 questions socio-démographiques

Notation :• Chaque réponse recevait entre 0 et 7 points (0 étant le degré de vulnérabilité le plus élevé)• Pas de questions à choix multiples ou qualitatives• Harmonisation des questions pour les 6 contextes (5 pays, 2 projets), mais notation adaptées

en fonction du contexte local• Selon le nombre de points, les femmes ayant répondu à l’enquête étaient classées selon trois

degrés de vulnérabilité: faible, modéré et élevé

Corrélation entre la probabilité de pauvreté et la probabilité de vulnérabilité

Environ 65 % des très pauvres ont un degré de vulnérabilité modéré, 32 % des modérément pauvres ont aussi un degré de vulnérabilité modéré.


35.3

68.1

93.8100.0

64.7

31.5

6.2

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Très pauvres Modérémentpauvres

Légèrementpauvres

Non pauvres

Vulnérabilité élevée (0-38)

Vulnérabilité modérée (39-56)

Vulnérabilité faible (57-94)

Présence de personnel de santé qualifié à l’accouchement, en fonction du niveau de pauvreté


27.840.1

69.1

100

72.256.2

25

0

0

10

20

30

40

50

60

70

80

90

100

Très pauvres Modérémentpauvres

Légèrementpauvres

Non pauvres

Ne sais pas

Absence depersonnelqualifié àl'accouchement

Présence depersonnelqualifié àl'accouchement

Plan International Canada Inc.

Pourcentage de mères de 20 à 49 ans ayant accouché avec du personnel de santé qualifié (selon le degré de vulnérabilité)

24

Un parallèle a été statistiquement établi entre le degré de vulnérabilité et l’accouchement en présence de personnel de santé qualifié chez les femmes de 20-49 ans au Bangladesh, au Ghana, au Nigeria (Sokoto) et au Sénégal (Test Pearson Chi Square basé sur une valeur de p <0,05 ) 0

20

51

0

60

3541

50

65

10

64

44

6473

67

36

79

0

20

40

60

80

100

NGA - Bauchi BGD GHA HTI NGA-Sokoto SEN

High Moderate Low

Plan International Canada Inc. 25

17.7%

22.9%

35.7%

52.0%

Very Poor Moderately Poor Slightly Poor Non-Poor

Poverty Probability Index

0.0%

19.5%

28.2%

High Moderate Low

Vulnerability Index

Pourcentage de femmes de 20 à 49 utilisant actuellement une méthode moderne de planification familiale par PPI et Vulnerabilité, Sénégal

Plan International Canada Inc. 26

0%

10%

20%

30%

40%

50%

60%

70%

Baseline Midline Endline

% de femmes de 20 à 49 utilisant actuellement une méthode

moderne de planification familialeVery Poor

Utilisation de PPI pour l'évaluation de projet (exemple illustratif)

Leçons tirées de l’intégration de la pauvreté et de la vulnérabilité dans les questionnaires

• Temps requis pour répondre un peu plus long, questions socioéconomiques communes aux deux enquêtes,

• Exploration des corrélations entre pauvreté et vulnérabilité nous permettant d’apprendre sur la population des bénéficiaires

• Apprentissage et pilotage dans d’autres secteurs (éducation, protection etc)

• Focaliser sur la programmation!


Recommandations concernant l’utilisation de ces outils dans l’évaluation

Ciblage : Permet des interventions améliorées et ciblées, et utilisation possible pour mesurer l’évolution de l’incidence de pauvreté au fil du temps. Le PPI permet de montrer la répartition du degré de pauvreté des bénéficiaires dans les projets. Le PPI est très utile pour les projets disposant de ressources limitées, mais visant un grand impact pour les ménages plus pauvres. Évaluation : Utilisation possible pour créer une base de référence et évaluer l’efficacité d’interventions auprès des plus pauvres et vulnérables à mi-chemin et à terme.Exploration possible des liens entre les degrés de pauvreté et de vulnérabilité et les principaux résultats.



À la défense des données

Peter R. Berti

La gestion des données :

une opération difficile


« DHIS2 est un système d’information libre qui permet aux gouvernements et aux organisations de recueillir, de gérer et d’analyser des données dans le domaine de la santé et au-delà. »

Source: https://www.dhis2.org/inaction

DHIS2 dans les projets GROW et

SANI de CARE

Atouts et défis du DHIS2

Avantages

• Logiciel libre

• Gestion et partage des données grandement facilités

• Facilité de production de rapports à tous les niveaux hiérarchiques

• Données entre les mains des décideurs

• Possibilité de contribution et d’intégration aux systèmes de santé nationaux


Avantages et défis du DHIS2

Avantages

• Logiciel libre

• Gestion et partage des données grandement facilités

• Facilité de production de rapports à tous les niveaux hiérarchiques

• Données entre les mains des décideurs

• Possibilité de contribution et d’intégration aux systèmes de santé nationaux


Défis

• Logiciel libre

• Configuration très laborieuse

• Pour en obtenir les avantages :

• Courbe d’apprentissage pour la saisie et la gestion des données

• Pour les décideurs, nécessité de savoir comment interpréter les données

Problèmes non résolus par le DHIS2 (ou tout autre système de gestion de données)

• Mauvaise interprétation – même mot, compréhension différente

• Représentation inexacte – les données représentent qui

• Mauvaise compréhension



Habiletés à décoder avec exactitude des données présentées graphiquement1. Diagramme de dispersion2. Multiples diagrammes de dispersion3. Diagramme en barres 4. Diagramme à secteurs5. Graphique à bulles6. Carte de densité de clics


Vaughn LantzDirecteur, Cohérence et efficacité des

programmes

Affaires mondiales Canada

CanWaCH.ca | CanSFE.ca

Thank YouMerci

Documents

Utilisation de données pour éclairer la prise de décisions · accès accru à des aliments nutritifs et diversifiés Augmentation moyenne de 35,5 % des mères/fournisseurs de soins