UNICEF Evaluation du projet sur la promotion d'EAH dans ......Statut du rapport : Version finale Client: UNICEF Mali Consultant: HYDROCONSEIL (France) Date de démarrage du projet:

s Rapport final Page 1 / 84

UNICEF Evaluation du projet sur la promotion d'EAH

dans les structures de soin au Mali

Rapport final

Martina RAMA, Hydroconseil

Camille SALAUN, Hydroconseil

Garba KEBE, CEFAD

07/08/2017

HYDROCONSEIL


Titre: rapport final –Evaluation du projet sur la promotion d'EAH dans les structures de soin au Mali

Statut du rapport : Version finale

Client: UNICEF Mali

Consultant: HYDROCONSEIL (France)

Date de démarrage du projet: 01/06/2017

Date de remise du rapport : 03/08/2017 (électronique)

Nombre de révisions: 2

Auteurs: Camille SALAUN, Martina RAMA

Email de contact : [email protected]

Crédit photo: Hydroconseil

HYDROCONSEIL


Sommaire

A. RÉSUMÉ EXÉCUTIF ................................................................................................................................... 6

B. CONTEXTE ET OBJECTIFS DE L’ÉVALUATION ........................................................................................... 10

B.1. DESCRIPTION DU PROJET EVALUE ................................................................................................................. 10 B.2. OBJECTIFS ET METHODOLOGIE DE L’EVALUATION ............................................................................................. 15

C. ANALYSE ÉVALUATIVE............................................................................................................................ 19

C.1. PERTINENCE ............................................................................................................................................ 19 C.2. CONCEPTION ........................................................................................................................................... 24 C.3. COMPLEMENTARITE/VALEUR AJOUTEE .......................................................................................................... 29 C.4. EFFICIENCE .............................................................................................................................................. 31 C.5. EFFICACITE .............................................................................................................................................. 33 C.6. IMPACT................................................................................................................................................... 40 C.7. DURABILITE ............................................................................................................................................. 44 C.8. ASPECTS TRANSVERSAUX ............................................................................................................................ 46

D. CONCLUSIONS ........................................................................................................................................ 49

D.1. CONCLUSIONS PAR CRITERE......................................................................................................................... 49 D.2. CONCLUSIONS PAR COMPOSANTE ................................................................................................................ 50 D.3. RECAPITULATIF DES NOTATIONS PAR DIMENSION ET PAR CRITERE ........................................................................ 52 D.4. LEÇONS APPRISES ...................................................................................................................................... 53 D.5. DEFIS ..................................................................................................................................................... 53

E. RECOMMANDATIONS ............................................................................................................................ 54

F. ANNEXES................................................................................................................................................ 56

F.1. MATRICE D’EVALUATION COMPLETEE ........................................................................................................... 56 F.2. CHRONOGRAMME DE L’EVALUATION ............................................................................................................ 56 F.3. LISTE DES DOCUMENTS LUS ET UTILISES ......................................................................................................... 57 F.4. LISTE DES PERSONNES RENCONTREES ............................................................................................................ 58 F.5. LISTE DES CENTRES DE SANTE VISITES ............................................................................................................ 64 F.6. OUTILS DE COLLECTE DE DONNEES ................................................................................................................ 66 F.7. COMMENTAIRES REÇUS ET PRISE EN COMPTE .................................................................................................. 79 F.8. TERMES DE REFERENCES DE L’EVALUATION .................................................................................................... 80 F.9. PRESENTATION DE L’EQUIPE D’EVALUATION ................................................................................................... 84

HYDROCONSEIL


Liste des acronymes

Acronyme Définition

ASACO Associations de Santé Communautaires

AEP Adduction d’Eau Potable

BECEYA Amélioration de l’environnement sanitaire pour les mères et les enfants dans les centres de santé

CCISD Centre de Coopération Internationale en Santé et Développement

CICR Comité International de la Croix Rouge

CS Centre de Santé

CSCOM Centre de Santé Communautaire

DHPS Division Hygiène Publique et Salubrité

DNACPN Direction Nationale de l’Assainissement et de lutte contre les Pollutions et les Nuisances

DNS Direction Nationale de la Santé

DRACPN Direction Régionale de l’Assainissement et de lutte contre les Pollutions et les Nuisances

DRH Direction Régionale de l'Hydraulique

DRS Direction Régionale de la Santé

DTC Directeurs techniques des CSCOM

DUE Délégation de l'Union Européenne

EAH Eau, Assainissement et Hygiène

EUR Euros

FCFA Francs CFA

FELASCOM

Fédération Locale des Associations de Santé Communautaires

FENASCOM

Fédération Nationale des Associations de Santé Communautaires

GDBM Gestion des Déchets Biomédicaux

MSHP Ministère de la Santé et de l'Hygiène Publique

NB Nota bene

OMS Organisation Mondiale de la Santé

ONG Organisation Non Gouvernementale

PCA Programme Cooperation Agreement (contrats entre l'UNICEF et les ONG de mise en œuvre)

PCI Prévention et Contrôle des Infections

PMH Pompe à motricité humaine

SACPN Service d’Assainissement et de lutte contre les Pollutions et les Nuisances

SLIS Système Local d’Information Sanitaire

SLH Service Local de l’Hydraulique

TDR Termes de Référence

UE Union Européenne

UNICEF Fond des Nations Unies pour l'Enfance

USD Dollars Américain

WASH Sigle anglophone pour Eau, Assainissement et Hygiène

HYDROCONSEIL


Liste des tableaux et figures

Table 1: Résumé des forces et faiblesses du projet par critère d’évaluation .......................... 7

Table 2: Activités prévues par le projet .................................................................................12

Table 3: Critères utilisés et définition ....................................................................................16

Table 4: Parallèle besoins du secteur - activités du projet ....................................................20

Table 5: Besoins des acteurs et mesure dans laquelle le projet y a répondu ........................22

Table 6: Frais généraux des différentes organisations du projet ...........................................32

Figure 1: Carte des régions d'intervention ............................................................................11

Figure 2 Carte des régions d'intervention des trois ONG ......................................................14

Figure 3: Besoins des CS auxquels le projet n'a pas répondu ..............................................23

Figure 4: Latrines en mauvais état non réhabilitées dans le centre de santé de Kangaba centre .............................................................................................................................................28

Figure 5: Proportion de DTC bénéficiaires de formations ou d'instructions de la part du projet .............................................................................................................................................35

Figure 6: Bonnes pratiques retenues par les DTC ................................................................37

Figure 7: Impacts principaux du projet selon les DTC ...........................................................42

Figure 8: Taux d’utilisation par les patients du CS selon les DTC .........................................43

Figure 9: Taux d’utilisation par le personnel du CS selon les DTC........................................43

Figure 10: Prise en compte des vulnérables selon les DTC ..................................................47

HYDROCONSEIL


A. Résumé exécutif

A.1.1. Description du projet évalué

Le programme EAH dans les centres de soins a été mis en œuvre dans l’ensemble de la région de Sikasso et dans les cercles de Katy, Kangaba et Dioïla de la région de Koulikoro entre Novembre 2015 et Aout 2017.

Nous pouvons distinguer trois composantes du projet : - Upstream (R1) : plaidoyer et participation à la coordination au niveau national, auprès

de la DNS/DHPS et des autres acteurs nationaux et internationaux du secteur

- Soft (R2) : mobilisation, sensibilisation et renforcement de capacités dans 263 CSCom

et les communautés attenantes grâce à des partenariats avec les ONG Bornefonden,

SNV et CAR-D.

- Hard (R2) : construction d’infrastructures du paquet EAH (système d’adduction d’eau

solaires, latrines, incinérateurs) dans 263 CSCom grâce à des contrats avec des

bureaux d’études (diagnostics techniques), des entreprises de travaux et des bureaux

de contrôle.

Le projet a bénéficié d’un financement de l’Union Européenne d’un montant de 4 940 794 EUR ainsi que 200 000 EUR de financements UNICEF.

A.1.2. Objectifs et méthodologie de l’évaluation

Les objectifs généraux de cette évaluation sont :

- Fournir des éléments en vue de la justification des actions menées, avec des informations destinées au public et aux partenaires et ainsi promouvoir la transparence et la redevabilité de l’UNICEF Mali dans le cadre de ce projet ;

- Recommander des améliorations pour de potentiels futurs projets grâce à la prise en compte des enseignements tirés du passé ;

L’évaluation a eu lieu entre juin et juillet 2017, pendant les deux derniers mois du projet. Elle a suivi les principes retenus par l’OCDE ainsi que les critères suivants : Pertinence, Conception, Complémentarité/ Valeur ajoutée, Efficience, Efficacité, Impact, Durabilité et Aspects transversaux (Genre/inclusion et environnement)

Ces critères ont été subdivisés en questions évaluatives, en sous-questions et en indicateurs dans une matrice évaluative en annexe de ce rapport qui indique aussi les outils mobilisés pour y répondre.

L’équipe d’évaluation a organisé son travail en trois phases :

1) une 1ère phase de revue bibliographique et préparation de la matrice évaluative et des outils d’enquête (guides d’entretien, questionnaires, grilles d’observation)

2) une 2ème phase de collecte de données à travers les entretiens qualitatifs avec les personnes-ressource et les visites terrain au niveau des centres de santé.

3) Une 3ème phase d’analyse des données et de rédaction du rapport

La principale difficulté rencontrée a été due au fait que les travaux n’étaient pas terminés dans les CS visités.

HYDROCONSEIL


A.1.3. Principaux résultats

Table 1: Résumé des forces et faiblesses du projet par critère d’évaluation

Forces Faiblesses

Pertinence Note du critère: 8,3/10

• Le projet est bien aligné sur les politiques et stratégies nationales, qu’il a contribué à élaborer.

• Le projet participe bien à répondre à un besoin important au Mali.

• Certains aspects du paquet EAH n’ont pas été respectés dans la mise en œuvre du résultat 2.

• Certains aspects du projet pourraient être légèrement améliorés pour mieux répondre aux attentes de chacun.

Conception Note du critère: 5,3/10

• La logique d’intervention du projet est cohérente (activités adéquates pour atteindre les résultats).

• Le temps alloué a été sous-estimé tandis que la zone d’intervention est excessivement vaste.

• Le budget infrastructure était bien trop limité à la vue des objectifs quantitatifs très importants du projet.

Complémentarité/Valeur ajoutée Note du critère: 9/10

• Le projet s’inscrit bien en complémentarité avec l’action des autres acteurs du secteur, les efforts nécessaires ont été fournis pour éviter les doublons.

• La valeur ajoutée du projet la plus importante est sa double dimension upstream-downstream. L’UNICEF a aussi apporté son expérience de WASH dans les écoles au Mali.

• Le projet n’a pas inclus une approche progressive avec capitalisation.

Efficience Note du critère: 8/10

• La relation coûts-résultats est bonne. En effet, malgré un budget relativement très restreint, les résultats ont été importants.

• Certains coûts ont été superflus du fait d’erreurs dans la conception des infrastructures et du passage par des ONG internationales pour la composante soft.

Efficacité Note du critère: 6/10

• Les activités du volet soft ont été conformes et de qualité.

• Les infrastructures construites respectent en grande partie les designs

• Le cadre sectoriel a bien été renforcé

• Le suivi a été effectif

• Les activités du volet hard n’ont pas rempli le paquet minimum prévu

• Les designs des infrastructures comportaient des défauts.

• Certaines activités du R1 n’ont pas eu lieu et la gestion de l’information ne semble pas s’être améliorée

• Le projet a accusé des retards, principalement sur la composante infrastructure.

• Le suivi n’a pas permis d’éviter les retards

Impact

HYDROCONSEIL


Note du critère: 7/10

• L’impact principal du projet (pour l’instant) est l’amélioration des pratiques d’hygiène du personnel et des patients des CS, ce qui a permis une réelle amélioration de l’environnement des CS et de leurs alentours et une réduction des risques de transmission des infections.

• Aucun impact négatif n’a été identifié.

• Les résultats du projet sont généralement très utilisés par les bénéficiaires.

• N’étant pas terminées au moment de l’évaluation, les infrastructures n’ont pas encore eu d’impact et ne sont pas encore utilisées.

Durabilité Note du critère: 6/10

• La combinaison upstream-soft-hard semble adéquate pour favoriser la durabilité.

• La durabilité des résultats du projet reste incertaine à ce stade.

• Certains aspects sont réellement préoccupants (manque de capacités pour l’entretien des infrastructures, insuffisance d’appropriation par les communes).

Aspects transversaux Note du critère: 7/10

• Le projet a intégré des préoccupations concernant le genre.

• Les plus vulnérables ont tout autant que les autres bénéficié du projet.

• Le projet a donc contribué à améliorer l’environnement proche des CS.

• L’aspect genre ne se retrouve que faiblement dans la mise en œuvre du projet.

• Les besoins des plus vulnérables n’ont pas été particulièrement pris en compte.

• Il y a des risques environnementaux liés aux incinérateurs

A.1.4. Principales recommandations

a) Pour l’UNICEF

• Prévoir un temps plus long pour un tel projet

• Prévoir un budget unitaire plus élevé et calculé précisément

• Elaborer et disséminer un manuel de gestion des ouvrages

• Mettre à la disposition des ONG de mise en œuvre un guide d’intermédiation sociale

• Prévoir des activités de sensibilisation et mobilisation après la construction des

infrastructures pour accompagner les bénéficiaires dans leur utilisation et entretien

• S’assurer que tous les acteurs qui auront un rôle à jouer dans la pérennisation des

acquis soient impliqués (communes).

• Demander une vérification ou un appui à des spécialistes techniques pour le design

des infrastructures.

b) Pour le gouvernement

• Bien s’approprier le projet et s’impliquer dans sa mise en œuvre pour favoriser l’alignement avec les normes et standards nationaux et la pérennité des acquis.

c) Pour l’Union Européenne

• Si possible, dans l’immédiat accorder un avenant de temps pour la finition des travaux.

HYDROCONSEIL


• Si le temps et le budget sont limités, s’assurer avant la signature que les objectifs sont réalistes.

d) Pour les partenaires de mise en œuvre (ONG)

• Ne pas dépasser 5 à 6 sites par animateur.

e) Pour les partenaires de mise en œuvre (entreprises)

• Utiliser une approche progressive : commencer par terminer les infrastructures dans un nombre très réduit de CS sous la supervision d’un ingénieur pour identifier les points de difficulté et pouvoir résoudre les problèmes avant de passer à l’échelle. Bien calculer l’opportunité d’avancer district par district ou partout en même temps selon le temps et les moyens disponibles ainsi que selon les modalités de paiement.

HYDROCONSEIL


B. Contexte et objectifs de l’évaluation

B.1. Description du projet évalué

B.1.1. Contexte d’intervention

Ce projet s’inscrit dans la période post-Ebola, qui a durement touché l’Afrique de l’Ouest à partir de septembre 2014. Cette crise a démontré les faiblesses du système sanitaire des pays de cette région.

Suite à ce premier constat, UNICEF et l’Organisation Mondiale de la Santé (OMS) ont publié conjointement un rapport sur la situation des services EAH dans les structures de soins dans les pays à faible et moyen revenus. D’après ce rapport, le Mali était dans la situation la plus précaire, avec l’absence de stratégie nationale en la matière et un taux d’accès à l’eau des structures de soins n’atteignant que 20%. Le manque de services EAH adéquat comporte de nombreux risques pour les patients et le personnel de santé, celui-ci s’explique par un manque de moyens mais aussi un manque de coordination du sous-secteur.

Comme indiqué dans le document de proposition, depuis 2012, suite au conflit qu’a connu le Mali, le Ministère en charge de la Santé, par le biais de la Division Hygiène Publique et Salubrité (DHPS) et avec l’appui du bureau pays de l’OMS, a lancé une série d’évaluations rapides des conditions EAH dans 139 structures de santé de quatre régions du pays.

Au niveau national, il est ressorti de ces évaluations les principaux constats1 suivants :

• une insuffisance de la qualité de l’eau qui touche 61 % des structures de santé ;

• une insuffisance dans le stockage de l’eau de consommation qui affecte 50 % des structures;

• une insuffisance d’infrastructures d’assainissement et un manque de gestion/maintenance,

• une insuffisance de tri des déchets médicaux et qui touche 75% des structures ;

• une insuffisance de contenants appropriés pour la pré-collecte et le conditionnement des déchets médicaux et qui présente dans 53% des structures;

• une insuffisance de moustiquaires imprégnées et/ou d’intervention anti-vectorielle dans 87% des structures enquêtées

• une insuffisance d’entretien et désinfection (murs, sols, planchers, matériels) dans 69% des structures;

• le manque d’information des patients et des accompagnants sur les mesures d’hygiène dans 70% des structures ;

• une insuffisance dans la pratique de désinfection des mains (savon et solution chlorée 0,05%) dans 68% des structures.

Face à ces constats, et du fait de son implication dans le secteur EAH au Mali depuis 2012 et dans le sous-secteur de l’EAH dans les structures de santé au niveau mondial, l’UNICEF a voulu s’impliquer pour contribuer à réduire les faiblesses du sous-secteur au Mali.

1 Source : Document de Proposition du projet

HYDROCONSEIL


B.1.2. Zones d’intervention

Le programme EAH dans les centres de soins a été mis en œuvre dans l’ensemble de la région de Sikasso et dans les cercles de Katy, Kangaba et Dioïla de la région de Koulikoro comme indiqué dans la carte ci-dessous :

Figure 1: Carte des régions d'intervention

B.1.3. Cadre logique du projet

a) Objectifs et Résultats visés

Objectif général : Contribuer à la prévention et au contrôle des épidémies de maladies infectieuses, y compris Ebola, en Afrique de l'Ouest.

Objectif spécifique : Améliorer les conditions d'eau, d’assainissement et d’hygiène dans les structures de soins des Régions de Sikasso et Koulikoro (Districts sanitaires de Kati, Kangaba, Dioila).

Les résultats visés par le projet, d’après la proposition initiale, signée en Novembre 2015, sont les suivants :

Résultat 1 : Le cadre institutionnel pour l’Eau, l’Assainissement et l’Hygiène dans les structures de soins au Mali est renforcé par une meilleure gestion de l’information, une coordination plus efficace des acteurs, et des stratégies et normes techniques approuvées (Niveau National).

Résultat 2 : Un paquet Eau, Assainissent et Hygiène, conforme aux standards techniques élaborés, est mis en place dans 213 structures de soins, bénéficiant à environ 2.400.000 résidants dans les districts sanitaires ciblés.

Suite à l’avenant signé en avril 2016, le nombre de structures de soins bénéficiant du projet a été augmenté, atteignant 263.

HYDROCONSEIL


b) Activités prévues

Table 2: Activités prévues par le projet

N° Activités

R1 Activité 1

Atelier de lancement du projet, de revue à mi-parcours et de clôture.

R1 Activité 2

Mise en place d’une plateforme technique multi-acteurs nationale

R1 Activité 3

Elaboration/Mise à jour d’une documentation technique et stratégique nationale pour la mise en œuvre d’un paquet EAH dans les structures de soins

R1 Activité 4

Formation/recyclage du personnel de terrain de la DHPS aux maladies d’origines hydriques, à l’hygiène en milieu hospitalier, au monitoring des activités

R1 Activité 5

Capitalisation de tous les outils/documents/approches mis en œuvre

R2 Activité 1

Etude technique détaillée des travaux de construction/réhabilitation à prévoir par structure de soin

R2 Activité 2

Formation approfondie du personnel des structures de soins aux maladies d’origines hydrique, au maintien d’une hygiène environnementale saine, et à la gestion des ouvrages d’eau et d’assainissement

R2 Activité 3

Construction des ouvrages techniques nécessaires à la bonne gestion EAH dans les structures de soins (points d’eau, latrines, plateforme de gestion des déchets etc…)

R2 Activité 4

Fourniture d’un kit de petits matériels et équipement nécessaire au maintien de l’hygiène des structures de soins y compris dispositif de lavage des mains

R2 Activité 5

Supervisions formatives pour l’accompagnement dans la mise en place d’un paquet EAH fonctionnel et durable

R2 Activité 6

Appui-conseil aux ASACO dans la planification budgétaire annuelle des structures de soins, pour inclure un recouvrement des couts liés aux intrants d’hygiène (savons, javel etc…)

R2 Activité 7

Organisations de séances de plaidoyer autour des 213 structures sanitaires adoptent les bonnes pratiques d`hygiène.

R2 Activité 8

Organisation de séances de causeries de groupes et dialogues communautaires sur les pratiques d`hygiènes

R2 Activité 9

Production et diffusion de micro programmes audio sur les pratiques d`hygiène

c) Hypothèses et risques identifiés

Concernant le résultat 1, la précondition identifiée était la mobilisation, la participation et l’effective collaboration des différents acteurs du secteur, notamment l’UNICEF, l’OMS, la DHPS et les ONG.

Concernant le résultat 2, plusieurs préconditions ont été identifiées dans la proposition :

- L’accessibilité des centres de santé - La disponibilité et la participation des bénéficiaires de renforcement de

capacité/sensibilisation : personnel des structures de soins, les ASACO et les communautés

- L’identification d’entreprises compétentes

HYDROCONSEIL


- La qualité des kits d’hygiène

B.1.4. Chronologie

11 Novembre 2015 : signature de la convention de délégation entre l’Union Européenne et l’UNICEF

A partir de janvier 2016 : Redynamisation de la taskforce nationale EAH en milieu de soin (première nouvelle réunion : 4 février 2016)

22 février 2016 Atelier de lancement du projet de WASH dans les centres de santé

Février 2016, Appui à l’Elaboration du Plan Stratégique National EHA en milieu de soins.

Mars 2016 : Participation à la Redéfinition nationale du paquet EAH en milieu de soins

28 avril 2016 : avenant n°1 (+1 140 794 EUR)

Mai 2016 : Atelier de cadrage et d’orientation dans la région de Sikasso

Mai 2016 : Atelier et élaboration d'une feuille de route sur la redevabilité pour la durabilité des interventions EAH dans le système de santé

Juin 2016 : un atelier de relecture, puis un atelier de validation nationale du module de formation EAH/Prévention et Contrôle des Infections (PCI), du manuel de Gestion des déchets biomédicaux (GDBM) et des Directives PCI

Juillet 2016 : Atelier de formation d’un pool de 27 formateurs/superviseurs en matière de prévention et de contrôle des infections y compris l’accès à l’eau, d’hygiène et d’assainissaient en milieux de santé

Aout 2016 : Atelier de cadrage et d’orientation dans la région de Koulikoro

12 Aout 2016 : réunion de validation des diagnostics dans les 334 centres de soins

Aout – Septembre 2016 : Sélection des sites d’intervention

Sept 2016-Dec 2016 : Sélection des entreprises de travaux et des bureaux de contrôle

Octobre 2016 : début des activités des ONG avec le renforcement de capacité des Associations de Santé Communautaires (ASACO) et sensibilisation des communautés

Novembre 2016 : finalisation du plan de formation des agents des CSRef et CSCom

Début décembre 2016: signature des contrats de travaux et de suivi des travaux

Décembre 2016 : rapport intermédiaire 2

Octobre 2016 – Juin 2017 :

Janvier – Juin 2017 : travaux dans les CSCom

13 Février 2017 : avenant n°2 (+ 3mois)

Mai 2017 : mission de supervision dans la région de Sikasso

Juin 2017 : Début de l’évaluation externe

15 Août 2017 : date de fin du projet

B.1.5. Modalités de mise en œuvre et acteurs impliqués

Les activités liées au résultat 1 - renforcement du secteur au niveau national - sont effectuées

par l’UNICEF directement. Dans ce cadre, le Ministère de la Santé et sa Direction Nationale

de la Santé (DNS) sont ses plus proches partenaires. Dans le cadre de la Taskforce nationale

EAH en milieu de soins, l’UNICEF participe à la coordination du secteur avec :

- La DNS / DHPS

HYDROCONSEIL


- L’Organisation Mondiale de la Santé;

- Le Centre de Coopération International pour la Santé et le Développement;

- Le Center for Disease Control.

- Et d’autres partenaires étatiques, ONG, partenaires financiers, agence des Nations

Unies qui souhaitent participer aux réunions.

Dans la cadre du résultat 2, l’UNICEF a mobilisé plusieurs types de mise en œuvre et de

partenariats selon les activités :

- L’activité 1 (Etude technique des travaux de construction/réhabilitation) a été réalisée

par les bureaux d’études SID-SERTAS pour la région de Sikasso et BICD pour la

région de Koulikoro.

- L’activité 2 (Formation du personnel des structures de soins) est confiée aux 27

formateurs de la DNS ayant été formés par l’UNICEF et BECEYA dans le cadre du

résultat 1, activité 4.

- L’Activité 3 (Construction des ouvrages) est confiée à 4 entreprises de travaux,

contrôlées par deux bureaux d’études.

- L’Activité 4 (Formation/recyclage du personnel de terrain de la DHPS) est effectuée en

collaboration avec les services techniques de la DNS.

- Les Activités de 5 à 9, qui correspondent au volet « soft » du projet sont confiées à

trois ONG :

Organisation Néerlandaise de Développement (SNV), (région de Sikasso, districts

sanitaires de Kadiolo, Koutiala, Kignan, Niena, Sikasso et Yorosso).

BorneFonden (région de Sikasso, districts sanitaires de Bougouni, Yanfohila,

Kolondieba et Selingue)

Carrefour de Développement (CARD) (région de Koulikoro, districts sanitaires de

Kalaban, Kati, Kangaba et Dioila)

Figure 2 Carte des régions d'intervention des trois ONG

HYDROCONSEIL


B.1.6. Origine des financements

A l’origine, le financement du projet était prévu ainsi :

Budget total 4 200 000 EUR

Contribution UE et UNICEF

UE: 4 000 000 EUR

UNICEF: 200,000

EUR

Suite au premier avenant, la contribution de l’Union Européenne a été augmentée de 1 140 794 EUR, atteignant 4 940 794 EUR pour un budget total estimé de 5 140 794 EUR.

B.2. Objectifs et méthodologie de l’évaluation

B.2.1. Objectifs de l’évaluation

Les objectifs généraux de cette évaluation sont :

- fournir des éléments en vue de la justification des actions menées, avec des informations destinées au public et aux partenaires et ainsi promouvoir la transparence et la redevabilité de l’UNICEF Mali dans le cadre de ce projet ;

- améliorer les projets des années futures grâce à la prise en compte des enseignements tirés du passé ;

Selon les TDR, l’objectif de l’évaluation est de « déterminer, par une méthode d’évaluation bien définie, la pertinence des résultats et l’impact du projet réalisé dans les 263 structures de soins ».

Cette évaluation a été commissionnée par la section WASH de l’UNICEF Mali, en conformité avec la convention signée entre l’UNICEF Mali et l’Union Européenne.

Elle intervient dans les deux derniers mois de mise en œuvre du projet pour documenter ce qui a été fait et tirer des enseignements pour de potentiels futurs projets. Selon les résultats de cette évaluation, elle pourrait aussi servir d’outil de plaidoyer dans la recherche de nouveaux financements.

HYDROCONSEIL


B.2.2. Méthodologie de l’évaluation

a) Critères d’évaluation

Conformément aux termes de références, la méthodologie de l’étude a suivi les principes et les critères d’évaluation retenus par l’OCDE2, à savoir : la pertinence, l’efficience, l’efficacité, l’impact et la durabilité. Le critère pertinence a été toutefois scindé en deux, afin de distinguer la pertinence de l’intervention en termes de réponse aux besoins et alignement, et la pertinence de la conception du projet (calendrier, activités, budget). En plus des 5 critères standards de l’OCDE, ont été pris en compte également les 2 critères additionnels qui sont prévus dans le cadre des évaluations de toute intervention financée par l’Union Européenne : La complémentarité et la valeur ajoutée. Enfin, nous avons pris en compte les critères transversaux qui sont importants pour l’UNICEF: l’équité/inclusion et le respect de l’environnement.

Les critères utilisés par cette évaluation et leur définition sont tel qu’il suit :

Table 3: Critères utilisés et définition

Critère Définition

Pertinence

Mesure selon laquelle les objectifs de l'action de développement correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds. Rétrospectivement, la question de la pertinence consiste souvent à s'interroger sur le fait de savoir si les objectifs de l'action ou sa conception sont encore appropriés compte tenu de l'évolution du contexte.

Conception

Pertinence du travail préparatoire ayant abouti à l’élaboration d’une proposition adéquate en termes de cohérence entre ressources mobilisées (budget, timing, ressources humaines), activités prévues, et résultats attendus.

Complémentarité/ Valeur ajoutée

La mesure dans laquelle l’intervention de développement apporte quelque chose de plus ou de mieux que les autres interventions du secteur tout en se coordonnant avec celles-ci pour assurer une complémentarité et éviter les doublons.

Efficience Mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en résultats de façon économe.

Efficacité

Mesure selon laquelle les objectifs de l'action de développement ont été atteints, ou sont en train de l'être, compte tenu de leur importance relative. Ce terme est également utilisé comme système de mesure globale (ou comme jugement) du mérite et de la valeur d'une activité.

Impact

Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non. La mesure de l’impact peut aussi impliquer une réflexion sur la capacité des gains à compenser pour les pertes. Par exemple, si l’évaluation relève l’apparition de risques.

Durabilité

Continuation des bénéfices résultant d'une action de développement après la fin de l'intervention. Probabilité d'obtenir des bénéfices sur le long terme. Situation par laquelle les avantages nets sont susceptibles de résister aux risques.

Aspects transversaux

Mesure dans laquelle les interventions de l’UNICEF ont impliqué et bénéficié aux plus vulnérables : les enfants, les femmes, les personnes

2 Organisation de Coopération et de Développement Economique

HYDROCONSEIL


âgées ou handicapées, les plus démunis et n’ont pas eu d’impact négatif sur l’environnement ou ont contribué à l’améliorer.

b) Les questions évaluatives

Les questions évaluatives sont basées sur la proposition en annexe des termes de références. Certaines ont été amendées pour plus de clarté, d’autres ont été ajoutées pour couvrir les critères d’évaluation supplémentaires. La version finale de la matrice évaluative a été proposée à l’équipe UNICEF WASH dans la note de cadrage, celle-ci a été validée. Une version légèrement amendée et complétée de la matrice a été discutée et validée par l’UNICEF avant la soumission du rapport. Elle figure en annexe F.1.

c) Le périmètre de l’évaluation

Le périmètre de l’évaluation couvre le projet dans sa totalité, en termes géographiques et temporels :

Aire « géographique » Temporalité

Résultat 1 Cadre et coordination sectoriels au niveau national (Bamako particulièrement)

Du début à la fin du projet, les acteurs au niveau national ont été rencontrés entre le 21 et le 23 juin 2017 et lors de l’atelier de restitution le 3 août 2017.

Résultat 2 Région de Sikasso et quatre districts sanitaires de la région de Koulikoro (Kati, Kangaba, Kalabancoro et Dioila)

Du début à la fin du projet, les centres de santés ont été visités entre le 21 juin et le 10 juillet 2017.

d) La méthodologie de l’évaluation

Cette évaluation s’appuie sur une méthodologie quantitative et qualitative non-expérimentale. La méthodologie a prévu 3 phases :

1) une 1ère phase de revue bibliographique et préparation de la matrice évaluative et des outils d’enquête (guides d’entretien, questionnaires, grilles d’observation)

Les outils de terrain ont été élaborés dans le but de couvrir les indicateurs évaluatifs pertinents, notamment concernant l’impact du projet sur les centres de santé et les bénéficiaires et leur durabilité potentielle. Il s’agissait aussi d’évaluer l’atteinte du résultat 2 sur le terrain ainsi que la prise en compte des aspects transversaux que sont l’équité et l’environnement.

Les outils mobilisés pour chaque indicateur évaluatif sont indiqués dans la matrice en annexe F.1 et dans le paragraphe méthodologique des résultats de chaque critère.

Les documents qui ont été utilisés sont listés en annexe F.3, ils sont principalement issus de l’UNICEF Mali. Nous avons aussi analysé les documents clefs du secteur et les données des coûts unitaires fournis par les autres ONG du secteur ainsi que des manuels internationaux sur l’EAH en milieu de soins.

2) une 2ème phase de collecte de données à travers les entretiens qualitatifs avec les personnes-ressource et les visites terrain au niveau des centres de santé.

Lors de la mission des évaluatrices internationales, 27 personnes ont été interviewées à Bamako. Il s’agit de l’équipe UNICEF, de la DUE, la Direction Nationale de la Santé, des ONG et des entreprises de mise en œuvre (bureaux d’études et entreprises de construction), de l’OMS, d’autres ONG œuvrant dans le sous-secteur, de la DNH et de la DNACPN. Leur liste est en annexe F.4., la grille d’entretien utilisée est en annexe F.6.3.

HYDROCONSEIL


La préparation de l’enquête terrain a fait l’objet d’une journée de formation incluant une base théorique et la revue collective des outils avec explications, suivie d’une journée de pilote à Kangaba où ces outils ont été testés en conditions réelles. Suite à ces deux jours, ils ont été légèrement améliorés avant la collecte des données sur le terrain. L’expert national a supervisé l’enquête tout en effectuant des entretiens qualitatifs et des visites de centres de santé.

La mission de terrain a permis de visiter 67 Centres de Santé Communautaires (CSCOM) (25% du total de CSCOM bénéficiaires du projet), qui ont fait l’objet d’observations et dans lesquels a été rencontré un membre du personnel, si possible le Directeur technique du CSCOM (DTC). 15 Entretiens avec les membres des Associations de Santé Communautaires (ASACO) et 12 Focus groupes avec des patients bénéficiaires ont été effectués. Les outils utilisés (questionnaire, grille d’observation, grille d’entretien ASACO, grille de focus groupe) sont en annexe F.6.

De plus, les déplacements ont permis de rencontrer les personnes impliquées dans les districts sanitaires et les régions en utilisant la grille d’entretien en annexe F.6.4.

3) Une 3ème phase d’analyse des données et de rédaction du rapport

Les données qualitatives récoltées à Bamako ont été synthétisées par les évaluatrices internationales, les données qualitatives récoltées dans les régions et districts sanitaires ont été synthétisées par l’évaluateur national. Les données quantitatives ont été saisies dans une base de données Excel et analysées statistiquement, majoritairement en tris à plat et croisés. Elles ont été triangulées avec les informations issues des documents et des entretiens qualitatifs. Enfin, une fois toutes les informations et données collectées et revues, les consultants ont procédé à la rédaction du présent rapport.

L’évaluation s’est déroulée entre mi-juin et début août 2017 selon le chronogramme qui figure en Annexe F.2.

B.2.3. Difficultés rencontrées et limites de l’analyse

Cette évaluation a rencontré des difficultés du fait de retards dans la construction des infrastructures; celle-ci était encore en cours dans la quasi-totalité des centres de santé visités entre juin et juillet 2017. De ce fait, l’impact du projet en termes d’utilisation adéquate des infrastructures par les bénéficiaires, ainsi que la durabilité des résultats, n’ont pas pu être évalués de manière représentative et approfondie. Pour pallier à cette difficulté, les consultants ont évalué les effets du volet « soft » et les effets potentiels du volet « hard » sur la base des perceptions des acteurs. Concernant la durabilité, ont été évaluées les mesures prises pour assurer la durabilité et les risques identifiés.

Pendant la phase de démarrage et la réunion de début de mission avec l’UNICEF, il a été identifié qu’il serait intéressant de rencontrer, lors d’entretiens qualitatifs, certains acteurs supplémentaires dans les districts sanitaires : le médecin chef ou point focal WASH du CSRef et les communes, alors que cela n’était pas prévu dans la proposition technique. Cela a été fait en partie, mais le temps imparti pour la collecte des données terrain était court pour pouvoir conduire des entretiens approfondis.

L’UNICEF n’étant pas le seul acteur agissant au niveau du renforcement du cadre sectoriel au niveau national, l’OMS jouant un rôle important notamment, et plusieurs acteurs ayant œuvré conjointement à ce renforcement dans le cadre de la taskforce, il n’a pas toujours été aisé d’identifier le niveau de responsabilité exact de l’UNICEF dans chaque amélioration du cadre sectoriel.

HYDROCONSEIL


C. Analyse évaluative

C.1. Pertinence

C.1.1. Méthodologie

Définition du critère pertinence : Mesure selon laquelle les objectifs de l'action de développement correspondent aux attentes des bénéficiaires, aux besoins du pays, aux priorités globales, aux politiques des partenaires et des bailleurs de fonds.

Question évaluative

Sous-question Indicateur Outils mobilisés / sources

d'information

Sous-critère 1 : Alignement : le fait de respecter et de s’aligner sur les politiques et stratégies nationales, de ne pas aller à leur encontre

Le projet est-il aligné sur les politiques et stratégies nationales?

Est-ce que le projet est en ligne avec les politiques et stratégies nationales?

Alignement et respect des politiques et stratégies nationales ainsi que du rôle prévu des acteurs par le projet

• Documents de politiques et stratégies, Proposition du projet (Cadre logique notamment),

• Entretiens qualitatifs avec les acteurs au niveau national : DNS, DNH, DNACPN, OMS.

Sous-critère 2 : Sensibilité aux besoins : le fait de répondre aux besoins du secteur et des bénéficiaires, notamment grâce à une identification préalable de ces besoins

Le programme a-t-il pu satisfaire les besoins des différents acteurs et bénéficiaires du sous-secteur de l'EAH en milieu de soins ?

Le projet répond-il à un besoin spécifique au Mali?

Adéquation entre les besoins du sous-secteur et les objectifs du projet

• Etudes de contexte, Proposition (analyse de la situation et Cadre logique), Rapports de diagnostic ;

• Entretiens qualitatifs avec les acteurs au niveau national : DNS, DNH, DNACPN, OMS, Wateraid, TdH, Partenaires de mise en œuvre.

Les besoins du secteur EAH en structures de soins et des bénéficiaires (Médecins et agent de sante, patients, mères et enfants) au Mali ont-ils été évalués?

Effectivité d'un diagnostic initial des besoins

• Proposition (analyse de la situation), Rapports de diagnostic techniques, Checklist utilisée pour le diagnostic technique

• Entretien avec l’UNICEF et les bureaux d’études chargés du diagnostic technique.

Le programme répond-il correctement aux besoins prioritaires et attentes des bénéficiaires et des parties prenantes / partenaires de mise en œuvre ? (Communes, services techniques, ONG, prestataires de travaux…) ?

Mesure dans laquelle les acteurs du sous-secteurs et les bénéficiaires ont l'impression que le projet répond à leur besoin; % de personnel de CS ayant l'impression que le projet a répondu a leur besoin

• Entretiens qualitatifs au niveau national et régional : DNS, DNH, DNACPN, OMS, DRS, DRH, DRACPN, CSRef, Communes

• Questionnaires avec le personnel des CSCom

• Focus Groupes (ASACO, patients) dans les centres de soins

HYDROCONSEIL


C.1.2. Résultats

a) Le projet est-il aligné sur les politiques et stratégies nationales ?

Avant la conception du projet, le cadre règlementaire du sous-secteur de l’EAH en milieu de soins était faible, voire inexistant, avec aucune politique ou stratégie ou décret en la matière, ce qui ne permet pas d’évaluer l’alignement du projet avec celui-ci. Cependant, les acteurs rencontrés à Bamako sont unanimes pour dire que les résultats attendus du projet sont bien alignés sur les aspirations nationales concernant le sous-secteur.

Le projet a lui-même contribué à renforcer le cadre règlementaire, notamment avec une participation (intellectuelle) à l’élaboration du « Paquet Minimum EAH », l’appui à l’élaboration du « Plan Stratégique National » et la participation à l’élaboration de textes régulant le secteur (Guide de Gestion des Déchets Biomédicaux (GDBM) et Module WASH PCI). Ces documents ont été validés par le Ministère de la Santé, cependant, le processus n’a pas encore abouti à la transposition en documents ayant force de loi.

Dans la mise en œuvre sur le terrain, malgré certains efforts d’adaptation du projet afin de respecter le paquet minimum EAH, tels que le passage, grâce à un avenant avec l’Union Européenne, d’un point d’eau isolé à un système d’AEP, certains aspects du paquet minimum EAH n’ont pas été suivis. Par exemple, les CS bénéficiaires n’ont pas été clôturés, certains équipements de protection comme des gants n’ont pas été fournis, de plus, il a été décidé de ne pas réhabiliter les latrines en mauvais état qui ne répondaient pas aux standards nationaux. En général, pratiquement aucun CS bénéficiaire n’a bénéficié de toutes les infrastructures prévues du fait de choix rendus nécessaires par le budget restreint.

Constat général pour la dimension « Alignement » Notation

Le projet est bien aligné sur les politiques et stratégies nationales, qu’il a contribué à élaborer. Cependant, certains aspects du paquet EAH n’ont pas été respectés dans la mise en œuvre du résultat 2.

8,5 / 10

b) Le programme a-t-il pu satisfaire les besoins des différents acteurs et bénéficiaires du sous-secteur de l'EAH en milieu de soins ?

❖ Le projet répond-il à un besoin spécifique au Mali?

Comme indiqué dans le paragraphe sur le contexte de l’intervention, les besoins extrêmes en EAH dans les structures de soins au Mali ont été mis en exergue pendant la crise Ebola. Tous les acteurs rencontrés à Bamako et dans les régions ont reconnu que ce projet participe à y répondre et que le projet est vraiment pertinent dans sa réponse à un besoin spécifique au Mali. Dans le tableau ci-dessous, nous mettons en parallèle les besoins du secteur tels que résumés par l’OMS en 2015 et les activités du projet qui y répondent.

Table 4: Parallèle besoins du secteur - activités du projet

Besoins source : OMS

Activités qui y répondent source : proposition du projet et analyse du consultant

« Les problèmes les plus courants sont des moyens insuffisants d’approvisionnement en eau et de stockage,

Construction de forages équipés de pompes et de réservoirs dans les CS n’ayant pas d’accès à l’eau amélioré (R2-A3)

des carences au niveau de l’entretien de l’infrastructure (citernes et incinérateurs hors service ou latrines bouchées, par exemple),

Construction de nouveaux incinérateurs (R2-A3) et formation des membres des ASACOs sur le fonctionnement et l’entretien des infrastructures EAH et sur le recouvrement des coûts liés à cet entretien. (R2-A6).

HYDROCONSEIL


le manque d’équipement de protection individuelle pour le personnel, une hygiène des mains qui laisse à désirer et une propreté des locaux visiblement inadéquate.

Formation approfondie du personnel des structures de soins sur la prévention des maladies d’origine hydrique, au maintien d’une hygiène environnementale saine (R2-A2) ; Fourniture d’un kit de petits matériels et équipement nécessaire au maintien de l’hygiène des structures de soins y compris dispositif de lavage des mains (R2-A4)

La mauvaise gouvernance (en partie due à un manque de coordination entre les nombreuses parties prenantes),

Contribution à la mise en place d’une plateforme technique multi-acteurs nationale (taskforce) (R1-A2)

le manque d’application d'un cadre politique solide,

Elaboration/Mise à jour d’une documentation technique et stratégique nationale pour la mise en œuvre d’un paquet EAH dans les structures de soins(R1-A3)

des données limitées Capitalisation de tous les outils/documents/approches mis en œuvre (R1-A5) (prévu mais pas mis en œuvre)

et un manque de financement adéquat sont à la base ces problèmes. »

Le projet constitue en lui-même un financement pour le secteur, l’un des plus importants au Mali.

Certaines activités répondent donc clairement aux besoins du secteur, d’autres n’y répondent que partiellement mais peuvent participer à y répondre. Le projet dans son ensemble vise bien à répondre à un besoin important au Mali.

La plupart des acteurs rencontrés remarque que, bien que le projet ait répondu à un besoin spécifique au Mali, les besoins initiaux étaient tellement importants que le projet n’a pu adresser qu’une partie de ces besoins, qui restent bien présents dans de nombreux CS non ciblés par ce projet. D’autres projets seraient nécessaires pour poursuivre avec le travail initié.

❖ Les besoins du secteur EAH en structures de soins et des bénéficiaires (Médecins et agent de santé, patients, mères et enfants) au Mali ont-ils été évalués?

L’UNICEF Mali s'est principalement basé sur deux études effectuées par d’autres acteurs pour identifier les besoins du secteur au Mali3:

- L'étude OMS "L’eau, l’assainissement et l’hygiène et le trachome au Mali : analyse de la situation, priorités et prochaines étapes", publiée en octobre 2015.

- Les résultats de la série d’évaluations rapides effectuées entre 2012 et 2014 par le Ministère de la Santé et de l’Hygiène Publique (MSHP) avec l’appui de ses partenaires.

Ce ne sont pas des études UNICEF, mais leurs résultats, clairs et statistiquement fondés, ont été pris en compte dans la conception du projet.

En plus, dans le cadre du projet, une étude de diagnostic technique a été effectuée par deux bureaux d'études dans 334 centres de santé. Celle-ci a permis d'identifier les besoins en points d’eau, latrines et plateforme de gestion des déchets dans les CS et de les sélectionner en fonction d'une priorisation des besoins.

Il n’y a cependant pas eu de diagnostic sur les besoins en renforcement de capacités dans les CSCom, les CSRef et au niveau des ASACO.

Donc en général, les besoins du secteur EAH en structures de soins et des bénéficiaires ont été évalués, mais plus de focus aurait pu être mis sur l’évaluation des besoins en renforcement de capacités.

3 Proposition UNICEF-UE

HYDROCONSEIL


❖ Le programme répond-il correctement aux besoins prioritaires et attentes des parties prenantes / partenaires de mise en œuvre ? (Communes, services techniques, ONG, prestataires de travaux…) ?

La majorité des acteurs rencontrés estiment que le projet répond en grande partie à leurs besoins prioritaires et à leurs attentes, bien que le niveau de satisfaction varie d’un acteur à l’autre (voir tableau ci-dessous). Les ONG et prestataires de travaux sont dans l’ensemble satisfaits. Les services techniques régionaux et locaux également. Des insatisfactions ont été constatées au niveau des commues et de la DNS.

Table 5: Besoins des acteurs et mesure dans laquelle le projet y a répondu

Acteur En quoi le projet a répondu (ou pas) à leurs atteintes

Communes Les communes ont été trop faiblement impliquées par le projet malgré leur rôle dans la construction et la réhabilitation des infrastructures des CS ainsi que dans le suivi des ASACO pour assurer leur appropriation.

Min Santé - DNS

Au niveau national, les partenaires ministériels avaient des attentes différentes concernant leur implication dans la mise en œuvre (ils auraient voulu en être responsables et gérer le budget associé). Ce décalage entre attentes et réalité a apporté des frustrations et des lourdeurs pour le projet. De plus, la DNS a été mise en difficulté par une procédure UNICEF : elle est passée au rouge (sanction pour non-respect de procédure qui entraine le blocage de tous les fonds pour une entité), ce qui a bloqué une partie de ses activités, notamment l’organisation de la revue à mi-parcours qui n’a pas eu lieu.

Services techniques - niveau régional

Au niveau régional et local, les services techniques de la santé ont été impliqués, cependant, ceux de l’hydraulique et de l’assainissement beaucoup moins, notamment en ce qui concerne les formations. Des réunions mensuelles ont eu lieu au niveau régional à Sikasso entre la DRS, la DRACPN, la DRH, les entreprises de travaux et les bureaux d’études, elles ont permis de bien informer les acteurs présents et de réduire la défiance vis-à-vis du projet. Cependant, une seule réunion a eu lieu à Koulikoro, ce qui n’a pas été suffisant.

Services techniques - niveau local

Selon les acteurs du niveau local rencontré, il n’y a pas eu de réunions mensuelles dans chaque district sanitaire pour assurer une bonne communication entre les différents acteurs, mieux les impliquer et suivre régulièrement l’avancement des activités. Les services techniques locaux n’ont pas reçu les cahiers des charges et plans des ouvrages pour pouvoir assurer le suivi des travaux qui leur revient en ayant connaissance des obligations des entreprises de travaux. De plus, les services techniques ont regretté le fait que le paquet minimum n’ait pas été respecté et que le projet ait choisi quelles infrastructures construire dans chaque CS laissant des besoins importants non traités. Ils ont aussi fait remarquer l’absence de kit d’analyse de l’eau, de pyromètre pour vérifier la température de l’incinérateur et de blouson de protection pour l’incinération dans les kits fournis par le projet.

ONG de mise en œuvre

Les ONG de mise en œuvre pensent que le projet a répondu à leurs besoins et à ceux des bénéficiaires. Elles ont manqué d'instructions claires et d'outils sur la stratégie de mise en œuvre (outils, guide d'animation). Nous pouvons cependant noter ici que l’UNICEF souhaitait utiliser les outils élaborés par la DNS et l’OMS et validés au niveau national mais ce processus n’a pas encore abouti.

HYDROCONSEIL


Prestataires de travaux

Les prestataires de travaux sont satisfaits de la collaboration avec l’UNICEF, mais se sont plaints des échéances de paiement éloignées de l’UNICEF (à 30%, 60% et 100% d’exécution). Ces échéances, du fait de leur capacité financière limitée, du montant des travaux élevé et du manque de coopération des banques maliennes, ont occasionné des difficultés financières qui ont engendré des retards. De plus, les entreprises de travaux de génie civil ne connaissaient pas les incinérateurs de type Montfort. Une d’entre elle a pris l’initiative de contacter une entreprise burkinabé spécialisée dans ces incinérateurs pour avoir des informations qu’elle n’avait pas reçues de la part de l’UNICEF. Cela a impliqué des risques quant à la qualité de leur construction4.

❖ Le programme répond-il correctement aux besoins prioritaires et attentes des bénéficiaires ? (Personnel des centres de santé, ASACO et patients) ?

Les bénéficiaires dans l’ensemble estiment que le projet e répondu à leurs besoins les plus prioritaires, bien que le projet n’ait pas répondu à la totalité de leurs besoins en termes d’eau, d’hygiène et d’assainissement.

Au niveau des CSCOM ciblés, nous avons demandé aux DTC quels étaient les besoins en EAH du centre de santé avant le projet et auxquels celui-ci avait répondu. Dans 37 CS sur 67 (55%), le projet a répondu à tous les besoins cités. Dans les autres CSCOM, nous avons identifié les besoins auxquels le projet n’a pas répondu :

Figure 3: Besoins des CS auxquels le projet n'a pas répondu

Ainsi, un quart des DTC ont indiqué que leurs besoins en eau potable et en eau dans les salles de soins n’ont pas été adressés par le projet. 19% n’ont pas vu leur mauvaise situation en termes de latrines s’améliorer.

Sur les quinze ASACO rencontrées, seules 5 ont considéré que le projet avait répondu à tous les besoins EAH du CS, 7 ont cité l’accès à l’eau, 5 les latrines améliorées, 1 la clôture du CS et 1 l’incinérateur comme des besoins auxquels le projet n’a pas répondu dans leur CS.

Parmi les patients rencontrés lors de 12 focus groupes dans les CS, 5 d’entre eux ont indiqué que le projet a répondu à tous les besoins en EAH du CS, 4 ont cité l’accès à l’eau, 1 la formation en EAH, 1 la clôture et 1 les latrines comme des besoins toujours présents.

Ainsi, le fait que le projet ait eu à choisir quelles infrastructures construire dans chaque centre, avec une priorisation des besoins, a eu pour conséquence qu’une part importante des CS n’aient pas reçu les réponses à tous leurs besoins en EAH alors qu’il était prévu que le projet y réponde par la mise en place du paquet minimum EAH.

4 De nombreux acteurs au niveau local et régional nous ont indiqué qu’ils pensaient que ces incinérateurs

avaient été mal faits, avec des matériaux non adaptés. Cela n’a pas pu être vérifié car la grande majorité

des incinérateurs était toujours en construction.

55%

24%

19%

10%

6%

0% 10% 20% 30% 40% 50% 60%

Aucun: le projet a répondu à tous

Système d'adduction solaire

Latrines

Incinérateur

clôture du CS

HYDROCONSEIL


Constat général pour la dimension « Réponse aux besoins » Notation

En Général, les acteurs sont tous d’accord pour dire que le projet participe bien à répondre à un besoin important, cependant, certains aspects peuvent être améliorés pour mieux répondre aux attentes de chacun dans l’intérêt du projet.

8/10

C.1.3. Conclusion générale pour le critère « Pertinence »

Ce projet est très pertinent au Mali puisqu’il répond à des besoins importants, tant au niveau national que dans les centres de santé bénéficiaires.

Notation globale pour ce critère : 8,3/10

C.2. Conception


Définition du critère Conception : Pertinence du travail préparatoire ayant abouti à l’élaboration d’une proposition adéquate en termes de cohérence entre ressources mobilisées (budget, timing, ressources humaines), activités prévues, et résultats attendus.

HYDROCONSEIL


Question évaluative Sous-question Indicateur

Outils mobilisés /

sources d'information

Logique d’intervention : Concordance des divers moyens et instruments mobilisés pour concourir à la réalisation des objectifs

La logique d’intervention du programme WASH à dans les structures de soin est-elle cohérente ?

Le programme (activités prévues, calendrier), est-il bien approprié et adéquat pour atteindre l’objectif poursuivi ?

Adéquation entre les activités prévues, les résultats attendus et l'objectif

• Cadre logique

Certaines interventions ont-elles été omises qui permettraient d’atteindre plus sûrement les objectifs poursuivis ?

Potentielles activités qui auraient pu faire gagner le projet en cohérence et en résultats

• Cadre logique

• Entretiens qualitatifs avec l’UNICEF et les partenaires de mise en œuvre

Adéquation du budget : mesure dans laquelle le budget prévu était approprié pour effectuer les activités prévues et atteindre les objectifs escomptés

Le budget était-il bien proportionné pour atteindre les résultats ?

Le budget total et les coûts unitaires étaient-ils adéquats pour effectuer les activités prévues ?

Adéquation entre le budget et les activités et résultats prévus

• Budget du projet

• Cadre logique

• Coûts unitaires de projets analogues

C.2.2. Résultats

a) La logique d’intervention du programme WASH dans les structures de soins est-elle cohérente ?

❖ Le programme (activités prévues et calendrier), est-il bien approprié et adéquat pour atteindre l’objectif poursuivi ?

Les activités prévues étaient globalement appropriées pour atteindre les objectifs poursuivis, cependant, la conception des infrastructures a pâti de certaines faiblesses (erreurs dans les plans types), notamment : double rampe d’accès aux latrines et petite taille du siège damu dans la cabine pour les personnes à mobilité réduite (copié du plan type des latrines scolaires), absence de grillage de séparation des 2 chambres de l’incinérateur, poignée métallique non isolée de l’incinérateur impossible à manœuvrer pendant l’incinération en raison de la chaleur (alors que l’ajout des déchets doit se faire graduellement).

La conception du programme était en général trop ambitieuse. En effet, la durée nécessaire pour atteindre de tels objectifs a été sous-estimée : un an et demi n’est pas suffisant pour effectuer un diagnostic technique, mobiliser les partenaires de mise en œuvre, effectuer les travaux, former les personnels des centres de santé et les ASACO, modifier les comportements des personnes des communautés et assurer le suivi pour améliorer la durabilité. Cela est aggravé par l’ampleur du périmètre du projet : 263 centres de santé dans une zone couvrant environ 100 000km². Cette large échelle d’intervention semble d’autant plus excessive qu’il s’agit du premier projet EAH en structures de soins mis en œuvre par l’UNICEF au Mali.

HYDROCONSEIL


❖ Certaines interventions ont-elles été omises qui permettraient d’atteindre plus sûrement les objectifs poursuivis ?

En plus des activités prévues dans le cadre logique initial du projet, d’autres activités non initialement prévues ont été réalisés au cours du projet à travers une approche « learning by doing ». Bien que les activités réalisées aient été globalement appropriées pour atteindre les objectifs poursuivis, certaines activités additionnelles auraient pu améliorer la logique d’intervention.

Les trois composantes du projet - upstream, hard et soft - ont été quelque peu cloisonnées. En effet, elles ont été attribuées à des partenaires de mise en œuvre différents et le suivi de leur mise en œuvre a été réparti entre trois personnes de l’équipe UNICEF WASH, ce qui n’a pas facilité un pilotage clair dans la gestion du projet au niveau de l’UNICEF. Les échanges d’information au niveau central entre les acteurs des différentes composantes n’ont pas été assez fréquents pour permettre de capitaliser et de renforcer l’adéquation et la cohérence de l’ensemble du projet.

Du fait de l’étendue de la zone de mise en œuvre, une répartition géographique des activités soft et hard a aussi été effectuée. Certains échanges ont eu lieu entre des acteurs jouant le même rôle dans des zones différentes (ex : visite d’échange entre CAR-D et Bornefonden) mais ceux-là n’ont pas été suffisants. Il n’y a pas eu de réunions régulières entre entreprises de travaux et bureaux de contrôles d’un côté, entre ONG de l’autre pour permettre des échanges d’expérience et de bonnes pratiques ainsi qu’une meilleure harmonisation dans les différentes zones. Par exemple, l’entreprise de travaux de génie civil dans la zone de Sikasso a ajouté une poignée éloignée à la trappe de l’incinérateur pour pouvoir la saisir sans se brûler, ça n’a pas été répliqué dans les zones d’intervention de l’autre entreprise de travaux.

Au niveau du Résultat 1, le projet n’a malheureusement pas œuvré pour l’intégration d’indicateurs EAH dans le système de suivi du ministère de la santé (SLIS) dans l’objectif de renforcer le secteur au niveau national. Des indicateurs EAH existent dans cette base de données, mais le projet n’a pas contribué à leur mise à jour pour inclure les réalisations du projet dans le système.

Au niveau du Résultat 2, le principal manque concerne l’absence de Guide d’intervention à destination des ONG, détaillant l’approche et les activités, et l’absence d’outils de sensibilisation adaptés. L’UNICEF n’a pas souhaité produire ce guide parce qu’il a considéré que cela est une responsabilité du Ministère de la Santé, et qu’un travail dans ce sens est en cours de réalisation par l’OMS ; cependant, puisque cette activité a pris du retard au niveau du Ministère, l’UNICEF aurait dû mettre en place un palliatif en attendant, pour que les ONG puissent disposer d’orientations claires, au lieu de laisser à chaque ONG la liberté de choisir sa méthode d’intervention.

Toujours au niveau du Résultat 2, il a manqué une formation spécifique technique à l’attention du personnel d’entretien des CSCom pour assurer une bonne utilisation et un bon entretien courant des infrastructures et équipements. Notamment, l’incinérateur doit être utilisé de manière spécifique pour atteindre les 800°C nécessaires tout en évitant les dangers. Certaines personnes nous ont d’ailleurs indiqué, avant la mise en fonction de l’incinérateur, de ne pas être rassurées quant à son utilisation.

Dans le but d’assurer l’utilisation et l’entretien corrects des infrastructures et la durabilité des résultats de la mobilisation sociale, des activités de suivi post-travaux par les ONG auraient pu être prévues.

Enfin, la faible implication de la FENASCOM au niveau national et surtout l’insuffisance d’appropriation des communes au niveau local sont des faiblesses qu’il faudra corriger à l’avenir. Associer également le Comité des Femmes Utilisatrices des CSCOM au niveau local et mettre en place un mécanisme durable de coopération CFU-ASACO auraient aussi été souhaitables.

HYDROCONSEIL


Constat général pour la dimension « Logique d’intervention » Notation

La logique d’intervention du projet est cohérente, mais le temps alloué a été sous-estimés tandis que le nombre de CSCOM ciblés est excessivement vaste. Certaines activités ou méthodes de mise en œuvre auraient pu améliorer la logique d’intervention.

6,5/10

b) Le budget était-il bien proportionné pour atteindre les résultats ?

Selon l’UNICEF et la DUE, le budget disponible était trop limité pour atteindre les résultats escomptés, notamment en ce qui concerne le volet infrastructures. En effet, le budget initial prévu pour mettre en place le paquet minimum EAH dans chaque centre de santé (coût unitaire) était de 9 954 USD. Il s’agissait de réaliser avec ce budget un forage, un bloc de latrines et d’une plateforme de gestion des déchets.

Pour comparaison, un paquet EAH dans les écoles, composé d’un forage et de latrines dans le cadre de projets UNICEF Mali coute entre 15 000 et 22 000 USD. De son côté, BECEYA a prévu environ 73 400 USD par centre de santé, dont 51 400 USD pour l’adduction d’eau sommaire, 5 400 USD pour un bloc de latrine à deux cabines et 11 300 USD pour l’aire de gestion des déchets biomédicaux5. Wateraid, dans un centre dans lequel est réalisé un système d’adduction d’eau sommaire à partir d’un forage existant, un bloc de deux toilettes et un centre d’incinération a prévu un budget de 32 750 USD environ6, dont 24 300 USD pour le système d’adduction sur un forage existant. En cas de connexion du centre à partir de l’AES du village avec création d’un stockage de sécurité interne, le paquet EAH Wateraid se limite à 18 851 USD. Les coûts unitaires UNICEF sont donc excessivement faibles.

L’avenant n°1 a augmenté considérablement le budget total du projet, il a été justifié notamment par le remplacement d’un forage simple avec un système d’adduction d’eau solaire pour respecter le paquet minimum EAH, et par l’ajout de 50 CS non initialement prévus. Cependant, dans le budget révisé, le cout unitaire prévu pour le paquet minimum WASH est resté inchangé, tout en augmentant de 50 le nombre de CS à couvrir, ce qui est incohérent et tout à fait insuffisant. Or à titre d’exemple, le représentant de BECEYA a indiqué que leur cout unitaire initial avait triplé quand ils ont dû le revisiter afin de s’aligner avec le paquet minimum.

Cette inadéquation entre résultats attendus et budget est probablement due au fait que le projet avait initialement été conçu comme une intervention rapide dans le cadre de la crise Ebola, qui devait adresser les urgences imminentes ; par la suite, le projet a été réorienté vers une intervention de développement, toutefois, le budget et/ou le nombre de CSCOM n’ont pas été renégociés avec le bailleur suite à ce changement d’optique.

Alors que le dessein était de sélectionner 263 CS dans lesquels mettre en place le paquet EAH complet, ce budget trop limité a obligé l’UNICEF à faire des choix quant aux infrastructures à construire dans chaque centre. Celui-ci s’est basé sur les résultats du diagnostic technique effectué dans 334 CS par deux bureaux d‘études. Les critères de sélection utilisés ont été les suivants :

5 Données fournies par BECEYA dans un email du 23 juin 2017. Le paquet EAH BECEYA inclut aussi

une douche pour la maternité et une aire de lavage de 4mx4 6 Estimation paquet d’activités_CS.xlsx fourni par Wateraid

HYDROCONSEIL


- Tous les centres de santé qui sont dépourvus de point d’eau seront dotés d’un point d’eau équipé d’un

système de pompage solaire avec distribution dans les différentes unités de soins - Tous les centres de Santé avec une fréquence d’au moins 200 patients par mois et ayant uniquement un

point d’eau équipé de PMH seront dotés d’un système de pompage solaire avec distribution dans les unités de soins

- Les centres de santé qui sont branchés à un réseau existant (interne ou externe) ne sont pas priorisés dans le cadre de ce projet

- Tous les centres de Santé sans incinérateur ou avec un incinérateur non fonctionnel seront dotés d’un incinérateur type De Montfort et d’une plateforme de gestion des déchets

- Tous les centres de Santé sans latrines ou qui n’atteignent pas les standards minimum en terme de nombre/existence de latrine seront dotés d’au moins un bloc de deux cabines en fonction de la fréquentation du centre.

- Les latrines en mauvais état et/ou avec des fosses pleines ne seront pas réhabilitées dans le cadre du présent projet, néanmoins le projet accompagnera les ASACO, à travers les activités d’intermédiation sociale, qui seront encouragés à en assurer la réhabilitation et l’entretien des latrines et cela dans un souci d’efficience et de pérennisation des acquis.

- 263 centres de Santé reçoivent le paquet Soft (renforcement de capacités des agents de santé, Renforcement de capacités des ASACO en gouvernance et maintenance des installations, promotion de l’hygiène en milieu de soins etc.)

Source : Second Rapport Intermédiaire, UNICEF Mali, Décembre 2016.

Ainsi, les latrines, même en très mauvais état comme celles-ci-dessous n’ont pas été réhabilitées. De plus, les centres de santé avec un point d’eau isolé et moins de 200 patients par mois n’ont pas bénéficié d’un système d’adduction solaire alors que cela est prévu dans le paquet minimum EAH, sans que ce soit conditionné au nombre de patients.

De plus, comme indiqué dans le second rapport intermédiaire, la phase de sélection de sites a nécessité des échanges et des réajustements importants avec les services techniques ce qui a été une des causes principales de retards.

Figure 4: Latrines en mauvais état non réhabilitées dans le centre de santé de Kangaba centre

Constat général pour la dimension « Budgétisation » Notation

Le budget, notamment pour la composante infrastructure, était bien trop limité à la vue des objectifs quantitatifs très importants du projet.

4/10

HYDROCONSEIL


C.2.3. Conclusion pour le critère « Conception »

Les activités du projet sont appropriées pour atteindre les résultats, bien que certaines activités supplémentaires aient pu compléter l’ensemble. Cependant, le temps impartis et le budget alloué ne sont pas cohérents avec le nombre d’activités, de CSCom couverts et l’amplitude de la zone d’intervention.

Notation globale pour le critère « conception » : 5,3 / 10

C.3. Complémentarité/Valeur ajoutée


Définition du critère Complémentarité/Valeur ajoutée : La mesure dans laquelle l’intervention de développement apporte quelque chose de plus ou de mieux que les autres interventions du secteur tout en se coordonnant avec celles-ci pour assurer une complémentarité et éviter les doublons.

Question évaluative Sous-question Indicateur Outils mobilisés /


Complémentarité : Concordance avec les actions entreprises par les organisations internationales et les bailleurs multilatéraux, les politiques des partenaires (administration et société civile), et éventuellement les organisations non gouvernementales (cohérence externe/complémentarité).

Le programme s'inscrit-il en complémentarité avec l'action des autres acteurs du sous-secteur?

Les interventions du programme sont-elles coordonnées et complémentaires avec d'autres interventions ayant les mêmes objectifs?

Complémentarité et absence de doublon avec les autres acteurs

• Entretiens Qualitatifs au niveau national (DNS, DHPS, OMS, Wateraid, BECEYA, TdH)

Valeur ajoutée : La mesure dans laquelle l’intervention de développement apporte quelque chose de plus ou de mieux que les autres interventions du secteur.

Quelle est la valeur ajoutée du projet soutenu par l'Union Européenne?

Qu'a apporté le projet de plus ou de mieux que d'autres interventions dans le secteur?

Eléments qui constituent une valeur ajoutée

Entretiens qualitatifs avec l'équipe UNICEF, la DUE et les acteurs du secteur au niveau national

C.3.2. Résultats

a) Le programme s'inscrit-il en complémentarité avec l'action des autres acteurs du sous-secteur?

Au moment de la conception du projet, la recherche de complémentarité a été la préoccupation majeure pour le ciblage géographique. Les régions de Ségou et de Kayes, déjà ciblées par des projets OMS-Wateraid et CCISD ont ainsi été écartées7. Le choix de la région de Sikasso est aussi lié au fait qu’elle soit, avec Mopti, une des deux régions prioritaires de l’UNICEF Mali.

Par la suite, la redynamisation de la taskforce a permis aux organisations œuvrant dans le secteur de se coordonner pour éviter les doublons et assurer la complémentarité. Ainsi, l’UNICEF et BECEYA, travaillant toutes les deux dans la région de Sikasso se sont organisées: elles se sont réparti les CSCom et/ou les composantes au sein d’un même CSCom. Par exemple, là où UNICEF avait prévu d’intervenir uniquement au niveau du point d’eau, BECEYA

7 Proposition pp.13-14

HYDROCONSEIL


a prévu d’intervenir au niveau des latrines et de l’éclairage solaire. De plus, pour éviter les doublons, les personnes participant aux formations du projet BECEYA ne participaient pas à celles du projet de l’UNICEF. Bien que ces complémentarités soient une très bonne initiative, les résultats n’ont pas encore été observés sur le terrain, du fait du timing décalé entre les deux interventions (le projet BECEYA durera 5 ans).

L’UNICEF a aussi participé aux recherches de complémentarité pour le résultat 1 sur le renforcement du cadre règlementaire et institutionnel et pour le plaidoyer auprès du Ministère de la santé. L’UNICEF a travaillé en étroite collaboration et synergie avec les autres partenaires au sein de la taskforce. Certaines activités ont été cofinancées entre UNICEF et d’autres partenaires, par exemple, l’élaboration du module de formation WASH-PCI (protection contre les infections) et la formation d’un pool de formateurs nationaux ont été cofinancés avec BECEYA. Ainsi, l’OMS travaillant avec la DNS pour la mise à jour des outils de sensibilisation EAH dans les centres de santé, l’UNICEF ne s’est pas engagée dans un processus parallèle mais a laissé cette prérogative à l’OMS. De l’autre côté, l’UNICEF s’est chargée de l’appui à l’élaboration du plan stratégique national sans immixtion de l’OMS.

Cependant, parfois, la répartition des tâches a engendré une certaine déresponsabilisation de l’UNICEF sur certains volets (ex. manque de Guide des ONG comme évoqué plus haut, ou Guide de gestion et d’utilisation des infrastructures, faible exploitation du pool de formateurs, désengagement graduel de la taskforce qui était principalement impulsé par l’OMS, etc.).

Constat général pour la dimension « Complémentarité » Notation

Le projet s’inscrit bien en complémentarité avec l’action des autres acteurs du secteur, les efforts nécessaires ont été fournis pour éviter les doublons et multiplier les synergies.

9,5/10

b) Quelle est la valeur ajoutée du projet soutenu par l'Union Européenne?

La valeur ajoutée du projet la plus significative est sa double dimension downstream-upstream : mise en œuvre sur le terrain et plaidoyer institutionnel. En effet, alors que Wateraid et BECEYA œuvrent essentiellement sur le terrain et que l’OMS travaille essentiellement au niveau national avec la DNS, avec ce projet et ses deux résultats, l’UNICEF conjugue les deux niveaux. Cela permet à l’UNICEF de collaborer directement avec tous les acteurs du secteur, tant au niveau central que dans les régions et les districts sanitaires. Les deux dimensions se nourrissent mutuellement et alimentent la crédibilité de l’UNICEF dans le secteur.

Ensuite, bien que l’UNICEF n’ait pas d’expérience préalable en EAH dans structures de soins au Mali, la section WASH a utilisé son expérience du WASH à l’école pour capitaliser les bonnes pratiques. Ainsi, le concours centre de santé propre, qui est innovant dans le secteur et qui a été une initiative très appréciée, est une reprise du concours école propre mise en œuvre pour le WASH à l’école. Ce concours a d’ailleurs fait l’objet d’un réel engouement au niveau des communautés. Les visites d’échanges entre les ASACO semblent aussi dériver des visites d’échanges entre les CGS (comités de gestion scolaire). Ainsi l’expérience de l’UNICEF en WASH à l’école a permis d’inclure des activités intéressantes qui ne sont pas mises en œuvre par les autres acteurs du secteur et qui représentent une valeur ajoutée.

Nous pouvons cependant remarquer que, s’agissant d’un premier projet dans l’EAH en centres de santé, le choix d’agir directement à grande échelle a laissé moins de place à la réflexion stratégique sur son contenu qu’une approche graduelle. Nous comprenons que le temps imparti restreint a été une contrainte, mais effectuer un projet à une telle échelle sans pilote comporte des risques et laisse peu de place à des réorientations et améliorations au cours de la mise en œuvre. Cependant, certains acteurs rencontrés ont considéré que l’amplitude de la zone d’intervention et le nombre de CS bénéficiaires constituaient une valeur ajoutée puisqu’il s’agit du projet de la sorte le plus large. Mais une approche graduelle aurait permis de mieux

HYDROCONSEIL


affiner l’approche sur un petit échantillon de centres avant de passer à large échelle avec les restants.

Constat général pour la dimension « Valeur ajoutée » Notation

La valeur ajoutée du projet la plus importante est sa double dimension upstream-downstream. L’UNICEF a aussi apporté son expérience de WASH dans les écoles au Mali. Le projet a par contre laissé peu de place à la réflexion stratégique du fait du manque d’une approche graduelle.

8,5/10

C.3.3. Conclusion pour le critère “Complémentarité/Valeur ajoutée”

Le projet s’est très bien inscrit en complémentarité avec les initiatives des acteurs du secteur, il a aussi apporté une valeur ajoutée non négligeable en travaillant au niveau national ainsi que sur le terrain, mais sa valeur ajoutée aurait pu être encore plus importante.

Notation globale pour ce critère : 9/10

C.4. Efficience


Définition d’Efficience : Mesure selon laquelle les ressources (fonds, expertise, temps, etc.) sont converties en résultats de façon économe.

Question évaluative

Sous-question Indicateur Outils mobilisés /


Les ressources ont-elles été utilisées de manière efficiente ?

Les résultats ont-ils été optimisés par rapport aux moyens mobilisés ?

Optimisation des résultats en fonction du budget disponible

• Budget,

• Entretiens Qualitatifs avec l’UNICEF, les partenaires et la DUE

Aurait-il été possible d’atteindre les mêmes résultats à moindre coût (coûts unitaires directs, coûts de gestion et coûts de transaction) ?

Adéquation entre le budget et les activités prévues en comparaison avec des projets similaires

• Budget,

• Entretiens Qualitatifs avec l’UNICEF, les partenaires et la DUE,

• Coûts unitaires des autres acteurs du secteur.

C.4.2. Résultats

a) Les ressources ont-elles été utilisées de manière efficiente ?

❖ Les résultats ont-ils été optimisés par rapport aux moyens mobilisés ?

En améliorant les conditions EAH et notamment les pratiques d’hygiène dans 263 CS et leurs environs avec un budget de 5 140 794 EUR, nous pouvons affirmer que le projet a atteint des résultats considérables au regard de son budget.

Concernant le soft, chaque ligne budgétaire a été négociée au centime-près avec les ONG, tout en préservant les activités prévues.

HYDROCONSEIL


Pour la construction des infrastructures, certaines lignes n’ont pas été budgétisées dans le devis tout en étant dans les dessins, comme la grille métallique de l’incinérateur. Cette erreur a été considérée de la responsabilité des entreprises de travaux, qui pouvaient faire des remarques sur les devis et les dessins avant la signature du contrat. De ce fait, certaines parties des infrastructures n’ont même pas été payées par l’UNICEF mais par les entreprises elles-mêmes.

De plus, le choix des infrastructures à construire dans chaque centre du fait du budget unitaire très restreint a impliqué que seules les infrastructures très nécessaires ont été construites.

Enfin, les risques de doublons ont été identifiés et utilisés à l’avantage du projet : si un autre acteur avait déjà prévu de faire une activité, l’UNICEF lui laissait cette prérogative et évitait les coûts associés tout en sachant que ce serait réalisé. L’UNICEF a donc généralement maximisé les résultats en fonction du budget limité disponible.

Cependant, une faiblesse en termes d’arbitrage budgétaire a été identifié au niveau de l’ONG SNV: pour le volet « soft », la proportion entre animateurs et CSCOM couverts était largement inappropriée : afin de couvrir de façon adéquate un tel nombre de CSCOM, il aurait fallu un nombre bien supérieur d’animateurs. Moins de budget aurait donc dû être alloué au paiement des salaires des cadres supérieurs et une partie de ce montant aurait dû être disponibilisé pour recruter plus d’animateurs. Notamment, l’ONG SNV avait 3 cadres à temps plein sur le projet, mais uniquement 8 animateurs (4 de l’ONG ASMADEVI et 4 de l’ONG Gradecom) pour couvrir un total de 94 sites, ce qui signifie, 11-12 sites par animateur ; or les standards pour l’intermédiation sociale sont de 6 sites par animateur afin d’avoir un bon impact sur le terrain.

❖ Aurait-il été possible d’atteindre les mêmes résultats à moindre coût (coûts unitaires directs, coûts de gestion et coûts de transaction) ?

L’UNICEF, la DUE et les partenaires de mise en œuvre se sont accordés pour dire qu’il n’aurait pas été possible d’atteindre les mêmes résultats à moindre coût. Globalement, les coûts unitaires sont en effet largement inférieurs à ceux des autres organisations (voir C.2.2.b). Cependant, comme c’est le très souvent le cas, certaines dépenses auraient pu être évitées.

Ainsi, en ce qui concerne les infrastructures, certaines erreurs dans les dessins techniques ont engendré des frais non nécessaires. Par exemple, les latrines ont été dessinées avec une double rampe d’accès pour les personnes à mobilité réduite (voir ci-dessous). Au-delà du fait que le nombre de chaises roulantes en milieu rural au Mali est très faible, avec une seule latrine réservé pour ce public-cible, une seule rampe d’accès suffit. De plus, les fosses à tranchants et à digestion, évaluée chacune à 250 000 FCFA soit 437 USD par l’entreprise EMET, ne sont pas nécessaires en cas d’incinérateur dépassant les 800°C. En effet, en présence d’incinérateur les tranchants et les déchets anatomiques doivent être incinérés à plus de 800° et finir dans la fosse à cendres comme les autres déchets8. Dans un contexte de budget très limité, ces erreurs, multipliées plus de 200 fois, représentent des coûts inutiles importants.

En ce qui concerne le soft, nous pouvons remarquer l’importance de la somme des coûts généraux entre l’UNICEF et les ONG internationales (SNV particulièrement et Bornefonden) :

Table 6: Frais généraux des différentes organisations du projet

UNICEF SNV* Bornefonden* CAR-D* Total Pourcentage du total du budget

du projet

Personnel hors animateurs (USD) 317 250 140 063 20 900 11 078 489 291 9%

8 Manuel de gestion des déchets médicaux, CICR, Genève, 2011

HYDROCONSEIL


Frais généraux directs (USD)9 238 500 33 382 8 094 8 741 288 717 5%

Frais généraux indirects (USD)10 355 552 25 457 25 325 - 406 335 7%

Total 911 302 198 902 54 319 19 819 1 184 343 21%

* Les montants extraits des budgets ONG représentent la contribution UNICEF, la contribution du partenaire n’a pas été prise en compte puisqu’elle n’est pas à la charge du projet.

Ces chiffres sont élevés et sont sources d’interrogations : Quelle était l’intérêt pour l’UNICEF de passer par des ONG internationales, qui de leur côté sous-traitent avec des ONG nationales, au lieu de signer directement un contrat entre UNICEF et ONG nationales ? Dans le cas spécifique, la présence de l’ONG SNV qui a travaillé avec deux ONG nationales était utile, parce que l’ONG SNV a fourni aux animateurs des orientations méthodologiques pertinentes alors que l’UNICEF ne l’avait pas fait. Mais normalement, cela aurait été le rôle de l’UNICEF de fournir ces orientations directement afin de justifier son overhead.

C.4.3. Conclusion

La relation coûts-résultats est bonne. En effet, malgré un budget relativement très restreint, les résultats ont été importants. Cependant, certains arbitrages budgétaires ont été inappropriés et certains coûts ont été superflus du fait d’erreurs dans la conception des infrastructures et du passage par des ONG internationales aux coûts généraux élevés pour la composante soft.

Notation globale pour ce critère : 8/10

C.5. Efficacité


Définition du critère efficacité : Mesure selon laquelle les objectifs de l'action de développement ont été atteints, ou sont en train de l'être, compte tenu de leur importance relative. Ce terme est également utilisé comme système de mesure globale (ou comme jugement) du mérite et de la valeur d'une activité.



Atteinte des résultats : mesure dans laquelle les résultats ont été atteints, autant en quantité qu’en qualité

La mise en œuvre du paquet EAH sur le terrain a-t-elle été en ligne avec ce qui était prévu ?

Quel est le niveau de conformité des activités terrain par rapport à ce qui était prévu par le projet, tant pour le volet construction que le volet renforcement de capacité des structures et agents de santé?

% des CS visités qui ont reçu les activités prévues en termes de travaux et de renforcement de capacités

• Questionnaires dans les CS

• Observations dans les CS

9 Les frais généraux directs correspondent à la location du bureau, aux frais d’énergie, d’équipement et de

communication 10 Les frais généraux indirects correspondent à l’ « overhead »

HYDROCONSEIL


Quel est le niveau de qualité des interventions sur le terrain pour le volet construction?

% des CS dont les ouvrages construits et les activités de renforcement de capacité ont atteint un bon niveau de qualité



Quel est le niveau de qualité des interventions pour le volet sensibilisation et renforcement de capacité des structures et agents de santé?

Qualité du renforcement de capacités

• Entretiens dans les régions,

• Questionnaire dans les CS,

• Focus groupes avec les patients et les ASACO

Quel a été l’efficacité des activités pour le renforcement du cadre institutionnel du sous-secteur ?

Dans quelle mesure le projet a contribué à améliorer le cadre institutionnel au niveau national ?

Atteinte des objectifs du résultat concernant le contexte institutionnel

• Entretiens qualitatifs au niveau national

• Comptes rendus de réunions

• Documents stratégiques/guidelines élaborés

Timing : mesure dans laquelle les activités se sont déroulées selon le planning et les résultats ont été obtenus dans les temps

Le projet a-t-il atteint les résultats selon le planning prévu ?

Le projet a-t-il respecté les délais et le chronogramme ?

Respect des délais et du chronogramme

• Chronogramme

• Rapports d’activités

Suivi et mesures pour assurer l'atteinte des résultats : Mesure dans laquelle le suivi du projet a permis de prendre des mesures pour assurer que les résultats soient atteints

L'atteinte des résultats a-t-elle été suivie pour être assurée au mieux tout au long du projet?

Dans quelle mesure les mécanismes et outils de suivi ont permis de mesurer les progrès et procéder aux éventuels ajustements à temps ?

Qualité des mécanismes de suivi, prise de mesures adéquates au bon moment pour assurer l'atteinte des objectifs

• Contrats avec les partenaires de mise en œuvre (clauses de suivi)

• Avenants

• Entretiens qualitatifs avec l'équipe UNICEF et ses partenaires

C.5.2. Résultats

a) La mise en œuvre du résultat 2 sur le terrain a-t-elle été en ligne avec ce qui était prévu ?

❖ Quel est le niveau de conformité des activités terrain par rapport à ce qui était prévu par le projet, tant pour le volet construction que le volet renforcement de capacité des structures et agents de santé ?

Le volet soft a été mis en œuvre tel que prévu, voire mieux. Les activités prévues ont eu lieu dans tous les districts. En effet, la quasi-totalité des DTC rencontrés ont bénéficié de formations de la part du projet :

HYDROCONSEIL


Figure 5: Proportion de DTC bénéficiaires de formations ou d'instructions de la part du projet

De plus, 100% des ASACO rencontrées nous ont également indiqué avoir bien reçu des formations sur la redevabilité et le contrôle citoyen et sur la planification budgétaire annuelle et le recouvrement des coûts des intrants d'hygiène.

En ce qui concerne le volet infrastructure, la conformité est difficile à évaluer du fait du retard des travaux, qui n'étaient pas terminés au moment de la visite des enquêteurs. Cependant, le paquet complet EAH n’a été mis en place que dans de rares CS, la plupart ont bénéficié d’une à deux infrastructures. Cela n’est donc pas conforme avec ce qui était prévu initialement. Nous pouvons cependant noter que tous les systèmes d’AEP terminés étaient bien équipés d’un réservoir de plus de 2m3. Dans toutes les latrines terminées (9), les surfaces sont bien lavables et les fosses facilement vidangeables. Il semble donc que les infrastructures construites respectent les standards requis par le projet.

❖ Quel est le niveau de qualité des interventions sur le terrain pour le volet construction?

Il n'est pas possible d'évaluer en profondeur cet aspect du fait des retards dans les travaux, qui n'étaient très majoritairement pas terminés au moment de la visite des enquêteurs.

Les (rares) ouvrages terminés sont majoritairement conformes aux dessins, toutefois, nous avons pu constater quelques défauts dus à une mauvaise conception des infrastructures : les latrines ont été conçues avec deux rampes d’accès pour les personnes à mobilité réduite, de plus, le toit tel qu’il est fait n'empêche pas à l'eau de s'infiltrer dans la plateforme de gestion des déchets. Aussi, la cheminée des incinérateurs est courte (3 mètres) alors que les documents internationaux conseillent 6 mètres pour diminuer la quantité de particules nocives s’en échappant. Enfin, sur les neuf latrines terminées trois n'ont pas été jugées de bonne qualité. Des malfaçons de construction ont également été constatées, par exemple, pour économiser du béton, certaines entreprises ont construit des dalles de latrines trop fines, qui risquent de s’écrouler.

Les acteurs rencontrés dans les régions et districts sanitaires nous ont fait part de leur inquiétude quant à la qualité des matériaux utilisés pour construire les incinérateurs :

Témoignage de Masseydou Traoré, Chef de la Division Hygiène de la DRS de Sikasso

« Dans certaines localités du district sanitaire de Kadiolo, le joint du four qui sert d’incinérateur est en banco et la qualité des briques dans la plupart des localités n’est pas conforme à celle qui est prévue dans la construction des fours Montfort. Il aurait fallu utiliser celles de l’Usine Céramique du Mali, qui sont cuites à 1200 °C durant 48 heures. Cela leur permet de résister à des températures supérieures à 800°C quand elles sont utilisées dans les incinérateurs. C’est d’autant plus inquiétant que nous rencontrons beaucoup de problèmes avec la durée de vie des incinérateurs en général. En effet, les expériences passées ont prouvé la non résistance de plusieurs types d’incinérateurs qui sont aujourd’hui abandonnés sur le terrain. »

3%

97%

n'ont pas bénéficié de formations oud'instructions de la part du projet

ont bénéficié de formations oud'instructions de la part du projet

HYDROCONSEIL


Ces craintes n’ont pu être vérifiées lors de nos visites puisque les incinérateurs n’étaient pas terminés, mais les consultants ont pu observer que les briques étaient bien différentes de celles préconisées. De plus, les joins étaient réalisés en banco. Suite à une réunion technique, la décision a été prise par l’UNICEF de détruire les incinérateurs dont les joins étaient en banco pour les reconstruire avec des joins en argile de poterie. Les résultats des tests seront importants pour vérifier la résistance des incinérateurs à la chaleur.

Quelques photos des réalisations :

Vue intérieure de l’incinérateur du CSCOM de Djoliba (cercle de Kati)

Vue d’ensemble de l’incinérateur du CSCOM de Djoliba (cercle de Kati)

N’Golona ; District Sanitaire Kadiolo : Incinérateur inachevé construit en banco

CSCOM Dialakorobougou (District sanitaire de Kalabankoro) : Latrine avec indicatif homme/femme

CSCOM Mamissa (District sanitaire de Bougouni) : cabine carrelée pour handicapés

Latrine inachevée du CSCOM de Sélingué (District sanitaire de Sélingué)

❖ Quel est le niveau de qualité des interventions pour le volet sensibilisation et renforcement de capacité des structures et agents de santé?

Le volet sensibilisation a été de très bonne qualité. Les acteurs dans les régions nous l'ont affirmé et les résultats des enquêtes le confirment. Les DTC, qui sont satisfaits de leur niveau d'implication et des relations qu'ils ont eu avec l'ONG, ont bien retenu les bonnes pratiques en matière d’hygiène ; celles-ci ont été citées par 90% à 100% d’entre eux :

HYDROCONSEIL


Figure 6: Bonnes pratiques retenues par les DTC

De plus, 100% des DTC ont remarqué une amélioration des pratiques EAH de la population.

Concernant le volet renforcement de capacités, seuls 4 DTC sur 67 ont jugé la qualité de la formation des ASACO insuffisante. D’ailleurs, plus des trois quarts des ASACO ont mis en place un mécanisme pour permettre le recouvrement du prix des intrants EAH et toutes celles que nous avons rencontrées étaient satisfaites de la qualité des formations qu’elles avaient reçues.

Cependant, ce volet pâtit de l’insuffisance de formation concernant l’utilisation et l’entretien des infrastructures, notamment concernant l’incinérateur.

b) Quel a été l’efficacité des activités pour le renforcement du cadre institutionnel du sous-secteur ?

Depuis fin 2015, le cadre institutionnel du sous-secteur de l’EAH dans les structures de soins a bien été renforcé au Mali, et l’UNICEF a participé à cette progression.

La coordination nationale a été renforcée par la redynamisation de la taskforce avec des réunions mensuelles réunissant les différents acteurs du secteur : DNS, DHPS, OMS, Wateraid, Terres des Hommes, BECEYA. Il ne s’est pas agi de la mise en place d’une nouvelle plateforme technique telle que l’activité R1A2 était prévue, mais de la redynamisation d’une plateforme déjà existante et active pendant la période de la crise Ebola. Ces réunions mensuelles ont permis de vrais échanges d’informations entre les acteurs du secteur, et ont favorisé la complémentarité de leur action. Nous devons cependant remarquer que lors de la visite d’évaluation fin juin 2017, plusieurs mois étaient passés depuis la dernière réunion de la taskforce, une nouvelle réunion a finalement eu lieu le 26 Juillet 2017, le rythme a été ralenti pour devenir trimestriel.

Des stratégies et des normes techniques ont été approuvées pendant cette période :

- Plan Stratégique National pour l’Amélioration des Conditions d’Accès à l’Eau Potable, l’Hygiène et l’Assainissement dans les Etablissements de Santé au Mali 2017-2021 : Novembre 2016, financé par l’UNICEF

- module de procédures de GDBM, atelier de validation cofinancé par l’UNICEF et BECEYA le 30 juin 2016

- module de formation sur la PCI/WASH, atelier de validation cofinancé par l’UNICEF et BECEYA le 30 juin 2016

- directives PCI révisés, atelier de validation cofinancé par l’UNICEF et BECEYA le 30 juin 2016.

- La feuille de route sur la redevabilité pour la durabilité des interventions EAH dans le système de santé, financé par le bureau régional de l’UNICEF.

90%

99%

97%

100%

100%

99%

100%

96%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90%100%

Il faut chlorer l'eau

Il faut trier les déchets biomédicaux par catégorie

Il faut traiter les déchets biomédicaux pour éviter la…

Il faut que les latrines soient propres et désinfectées

Il faut que la cour soit propre

Il faut désinfecter les lieux régulièrement

il faut se laver les mains

il faut décontaminer le matériel de soins

HYDROCONSEIL


A noter que le paquet minimum EAH a été approuvé en Septembre 2015, donc avant le début du projet. De plus, ces textes, qui ont été approuvés, n’ont pas pour autant acquis force de loi car ils n’ont pas encore été transposés dans des textes de loi.

L’intitulé du résultat 2 incluait aussi une « meilleure gestion de l’information ». Mise à part la meilleure transmission de l’information grâce à la taskforce, il ne nous est pas semblé qu’il y ait eu une amélioration de la gestion des données et informations au niveau national grâce au projet.

En ce qui concerne les activités prévues, la R2A1 prévoyait la tenue des ateliers de lancement du projet, de revue à mi-parcours et de clôture. L’atelier de lancement a bien eu lieu le 22 février 2016. Cependant, l’atelier de revue à mi-parcours a été annulé puisque la DNS n’a pas pu recevoir les financements à temps, en raison du blocage des virements entre l’UNICEF et la DNS, en raison du non-respect de procédures par une section de la DNS non-impliquée dans le projet. En effet, lorsqu’un organisme ne fournit pas les justificatifs des dépenses effectuées avec les fonds UNICEF dans les trois mois, on dit que cette institution « passe au rouge » et tous les fonds UNICEF qui lui étaient attribués sont bloqués. La DNS étant en charge de l’organisation de l’atelier avec l’appui financier de l’UNICEF, l’organisation de l’atelier n’a pu avoir lieu. L’atelier de clôture est prévu courant le mois d’août 2017, cependant la DNS n’ayant pas encore effectué la requête de financement, des retards sont prévisibles. Pour pallier ces difficultés, l’UNICEF aurait dû organiser ces évènements directement ou en alternative, anticiper sensiblement la planification et améliorer la communication avec la DNS.

Concernant l’activité R1A4 « Formation/recyclage du personnel de terrain de la DHPS aux maladies d’origines hydriques, à l’hygiène en milieu hospitalier, au monitoring des activités », les formations en cascade ont bien eu lieu. En effet, après la formation des agents travaillant au niveau régional, ceux-ci ont formé les agents des cercles et les agents des cercles ont formé les DTC et les agents de surface. Cependant, malgré cela, selon l’enquête les capacités en termes d’utilisation et d’entretien des infrastructures restent insuffisantes.

Aussi, ce volet comprenait une capitalisation de tous les outils/documents/approches mis en œuvre, or cela n’a pas été réalisé d’après les informations dont nous disposons.

En général, l’efficacité des résultats concernant le renforcement du cadre institutionnel a été pénalisé du fait des relations pas toujours aisées entre l’UNICEF-WASH et la DNS, de l’insuffisance d’anticipation dans la planification du côté UNICEF, et de l’insuffisance de réactivité et de flexibilité du côté DNS. Ces difficultés sont dues en partie à un malentendu initial sur le rôle que la DNS devait jouer dans le projet, et en partie aux divergences entre la vision de la DNS et la vision de l’UNICEF-WASH concernant ce rôle.

Constat général pour la dimension « Atteinte des résultats » Notation

Les activités du volet soft ont été conformes et de qualité. Les activités du volet hard n’ont pas rempli le paquet minimum prévu.

Les infrastructures construites respectent en grande partie les designs, mais ceux-ci comportaient des défauts.

Le cadre sectoriel a bien été renforcé mais l’UNICEF n’a pas été le seul acteur qui y a participé. Certaines activités n’ont pas eu lieu et la gestion de l’information ne semble pas s’être améliorée.

7,5/10

c) Le projet a-t-il atteint les résultats selon le planning prévu ?

L’atelier de lancement du projet (R1A1) a bien eu lieu au premier semestre, mais plus de trois mois après la signature de la convention ce qui représente un retard sur ce qui était prévu. En effet la phase de démarrage du projet a été ralentie par les négociations autour de l’avenant et le recadrage des interventions pour la mise en conformité avec le paquet minimum EAH.

HYDROCONSEIL


Les activités A2 et A3 du résultat 1 se sont malgré tout déroulées dans les temps. Elles étaient prévues entre le premier et le deuxième semestre du projet. La plateforme de coordination sectorielle a été redynamisée début Février 2016 et le plan stratégique a été validé en Novembre 2016. Les autres documents techniques ont été mis à jour entre Mars et Juin 2016.

L’activité R1A4 a commencé en Juillet 2016 avec un atelier de formation d’un pool de 27 formateurs/superviseurs en matière de prévention et de contrôle des infections y compris l’accès à l’eau, d’hygiène et d’assainissaient en milieux de santé ce qui reste raisonnable.

Concernant le résultat 2, la composante soft s’est déroulée selon le planning prévu (S2 et S3). En effet, les PCA avec les ONG ont été signés en Juillet-Août 2016, et se sont terminés en Mars 2017.

Par contre, le projet a rencontré beaucoup plus de retards sur la composante infrastructures :

Les diagnostics techniques qui devaient avoir lieu au premier semestre n’ont fait l’objet d’une restitution qu’en Aout 2016. S’en est suivie une phase de sélection des CS et des infrastructures à construire dans chaque CS plus longue car plus complexe que prévu du fait du budget infrastructures limité. Après la sélection des entreprises de travaux et de contrôle, les travaux n’ont finalement commencé qu’au milieu du 3ème semestre, au lieu du courant du 2ème. Les entreprises de travaux ont elles-mêmes connu des retards. Entre temps, grâce à un avenant, la durée du projet a été rallongée de trois mois, cependant, les retards accumulés n’ont permis d’atteindre que 60% d’avancement fin juin 2017. De plus, le retard des travaux n’a pas permis la synchronisation entre "soft" et "hard" et l'accompagnement des bénéficiaires dans l'utilisation et l'entretien des ouvrages par les ONG.

Constat général pour la dimension « Respect du planning » Notation

Le projet a accusé des retards importants, principalement sur la composante infrastructure. Il n’est pas certain que les travaux seront effectivement terminés avant la date de fin officielle du projet.

4/10

d) L'atteinte des résultats a-t-elle été suivie pour être assurée au mieux tout au long du projet?

L’UNICEF s’est assuré de recevoir des rapports périodiques des partenaires de mise en œuvre. En effet, selon les PCA, les ONG devaient rendre un rapport mensuel d’activités et un rapport narratif et financier par trimestre11. Pour le rapport mensuel des ONG, un canevas de reporting simple a été mis à leur disposition. Ce canevas a été apprécié car il a permis aux ONG de transmettre les informations utiles sans lourdeur.

L’avancée des travaux a été suivie grâce aux rapports hebdomadaires des bureaux de contrôle. Cependant, cela n’a pas permis d’assurer leur exécution dans les temps. De plus, si les entreprises de travaux étaient censées être contrôlées par les bureaux d’études, les bureaux d’études eux n’étaient pas suffisamment suivis par l’UNICEF et/ou les services techniques. Or, certaines faiblesses ont été constatées chez le bureau de contrôle BSH, notamment sur la composante génie civil et particulièrement sur l’incinérateur, qui constitue un ouvrage non connu des entreprises avec lesquelles l’UNICEF-WASH a l’habitude de travailler. Il semblerait que les déplacements n’aient été effectués que par l’ingénieur hydraulique et non l’ingénieur génie civil. Dans ce cadre, il a manqué un suivi plus rapproché pour clarifier la situation.

Les retards dans les travaux ont été principalement causés par des difficultés financières des entreprises qui devaient préfinancer 30% du montant des travaux pour recevoir 30% du paiement, puis atteindre 60% d’exécution avant de recevoir la deuxième tranche de 30%, etc.

11 PCA

HYDROCONSEIL


Les lots étant particulièrement importants et les banques maliennes n’étant pas très coopératives, les entreprises se sont retrouvées en difficultés financières et ont ralenti voire arrêté les travaux12. L’UNICEF a débloqué la situation en reconnaissant que 60% des travaux avaient été exécutés et débloquant le 2ème paiement, bien que 60% des infrastructures n’aient pas été terminées, ce qui a relancé les travaux13. Cependant, cette mesure a été prise un peu tardivement, et les délais de décaissements de trois semaines qui se sont ajoutés au délai de réaction ont allongé le temps d’inertie.

Le suivi des activités a permis à l’UNICEF de faire des demandes d’avenant rapidement auprès de l’Union Européenne. Le premier pour augmenter le budget, le deuxième pour repousser la date de fin de trois mois. Cependant, ces demandes ont eu lieu très tôt dans l’exécution du projet et n’ont pas permis de rendre le calendrier et les objectifs suffisamment réalistes.

L'encadrement des partenaires de mise en œuvre semble globalement relativement faible : bien qu’un certain nombre de missions de suivi aient été organisées, celles-ci n’ont pas été suffisantes pour anticiper ou corriger certaines faiblesses constatées. Ainsi, des problèmes de qualité ont été relevés à chaque mission, il a donc manqué un suivi plus rapproché pour s’en rendre compte avant et prendre des mesures préventives plutôt que correctives.

Constat général pour la dimension « Suivi » Notation

Il y a bien eu un suivi mais celui-ci a été relativement léger et n’a pas permis d’éviter les retards ou les faiblesses.

6,5/10

C.5.3. Conclusion pour le critère « Efficacité »

Les activités ont généralement été conformes à la proposition, mis à part le fait qu’il ait été choisi de ne fournir qu’une partie des infrastructures du paquet minimum EAH à chaque CS. La qualité de l’intermédiation sociale a été élevée, celle des infrastructures n’a pas pu être évaluée de manière représentative du fait des retards des travaux. Les travaux représentent les retards les plus importants dans la mise en œuvre du projet. Le suivi des activités a eu lieu mais a été léger et n’a pas suffi à éviter les retards. L’efficacité du projet est donc mitigée.

Notation générale pour ce critère : 6 / 10

C.6. Impact


Définition du critère impact : Effets à long terme, positifs et négatifs, primaires et secondaires, induits par une action de développement, directement ou non, intentionnellement ou non. La mesure de l’impact peut aussi impliquer une réflexion sur la capacité des gains à compenser pour les pertes. Par exemple, si l’évaluation relève l’apparition de risques.



Ressenti : mesure dans laquelle les bénéficiaires et acteurs du programme ont perçu les impacts du projet

12 Entretiens avec les entreprises de travaux 13 Entretien avec l’UNICEF et les entreprises de travaux

HYDROCONSEIL


Quels sont les principaux impacts qui ont été perçus par les différents acteurs du programme ?

Quels sont les principaux changements / effets positifs et négatifs du programme qui ont été perçus par les différentes catégories de bénéficiaires ? (Motivation et engagement des acteurs de santé, apprentissages et pratiques de vie, amélioration économiques ou sociales dans les communautés touchées...) ?

Impacts positifs et négatifs du programme (et balance entre les deux) selon les bénéficiaires

• Focus Groupes dans les CS,

• Questionnaires dans les CS,

• Entretiens qualitatifs dans les régions

Quels sont les principaux changements / effets positifs et négatifs du programme qui ont été perçus par les partenaires de mise en œuvre ?

Impacts positifs et négatifs du programme (et balance entre les deux) selon les partenaires

• Entretiens qualitatifs avec les partenaires de mise en œuvre

Utilisation : Mesure dans laquelle les résultats du programme sont bien utilisés par les bénéficiaires

Les résultats du programmes sont-ils utilisés par les bénéficiaires?

Dans quelle mesure les infrastructures construites par le projet sont-elles utilisées et correctement entretenues par les bénéficiaires?

% des infrastructures (latrines, lave-mains, points d'eau) utilisés; % des infrastructures (latrines, lave-mains, points d'eau) correctement entretenus



C.6.2. Résultats

a) Quels sont les principaux impacts qui ont été perçus par les différents acteurs du programme ?

❖ Quels sont les principaux changements / effets positifs et négatifs du programme qui ont été perçus par les différentes catégories de bénéficiaires ?

Selon les acteurs au niveau local et régional, le changement de comportement du personnel des centres de santé est l’impact du projet le plus incontestable. Ils ont remarqué une réelle prise de conscience du personnel concernant l’insalubrité. Le personnel utilise généralement assez bien les poubelles tricolores et s’assure de la propreté de la cour et des salles. Dans les communautés, le projet a permis de redynamiser les journées de salubrité ce qui a amené à une amélioration de la propreté du village voisin.

Lors de l’enquête, nous avons demandé aux DTC rencontrés quels étaient selon eux les impacts positifs du projet, ils en ont cité jusque trois chacun. Les résultats se trouvent en Figure 7: Impacts principaux du projet selon les DTC ci-dessous.

HYDROCONSEIL


Figure 7: Impacts principaux du projet selon les DTC

L’impact principal selon eux est donc le changement de comportement, en matière de pratiques d’hygiène en général et concernant le lavage des mains ou le tri des déchets en particulier. En effet, les changements de comportement ont été cités par 56 DTC comme impacts principaux du projet. L’amélioration de l’environnement et de la salubrité du CS est en partie une conséquence de ce changement de comportement, il a été cité par la moitié des DTC. L’impact lié aux infrastructures a été moins cité, cela peut s’expliquer par le fait que les infrastructures n’étaient pas finies au moment de l’enquête, celles-ci n’ont pas pu avoir d’impact pour le moment. L’amélioration des pratiques d’hygiène a aussi été identifiée comme un impact principal du projet lors des focus groupes avec les bénéficiaires, notamment dans les communautés, avec plus de lavage des mains, une meilleure propreté des latrines ainsi que du village, notamment grâce à la mise en place d’un comité de salubrité. Ainsi, le projet, en plus d’avoir eu un impact important dans les CS a aussi eu un réel impact dans les communautés attenantes. Les villageois ont aussi remarqué une amélioration de la salubrité du CS et l’amélioration des pratiques d’hygiène dans l’enceinte du CS.

❖ Quels sont les principaux changements / effets positifs et négatifs du programme qui ont été perçus par les partenaires de mise en œuvre ?

Selon les partenaires de mise en œuvre, les principaux changements positifs sont les suivants14:

- prise de conscience par les communautés, les ASACO et le personnel de santé de l'importance de la propreté du CS et de son environnement pour la santé. Celle-ci s’est accompagnée d’un changement de comportement profond des communautés, qui organisent des journées de salubrité qui vont au-delà du périmètre du CS (dans le village) une à deux fois par mois.

- diminution des risques de contamination au niveau des CS - augmentation du taux de fréquentation des CS et augmentation du taux de vaccination

du fait que les patients se sentent plus en sécurité. - diminution des maladies diarrhéiques et de la défécation à l’air libre - installation d'infrastructures nécessaires - mise en place d’un budget EAH des ASACO

Aucun impact négatif du projet n’a été identifié lors de cette évaluation.

14 Entretiens avec CAR-D et Bornefonden

0 5 10 15 20 25 30 35

Changement de comportement

Amélioration de l'environnement et de la salubrité du cs

Changement de comportement concernant le tri des déchets

Changement de comportement en matière de lavage des mains

Meilleures conditions EAH grâce aux infrastructures

Meilleure propreté des latrines

Meilleures conditions EAH grâce aux kits d'hygiène

Meilleure gouvernance de l'EAH dans le CS

Renforcement de capacités du personnel

Diminution des maladies diarrhéiques

HYDROCONSEIL


Constat général pour la dimension « Impact » Notation

L’impact principal du projet (pour l’instant) est l’amélioration des pratiques d’hygiène du personnel et des patients des CS, ce qui a permis une réelle amélioration de l’environnement des CS et de leurs alentours et une réduction des risques de transmission des infections. Aucun impact négatif n’a été identifié.

8/10

b) Les résultats du programme sont-ils utilisés par les bénéficiaires?

En ce qui concerne le résultat 1, les normes validées avec le soutien ou la participation de l’UNICEF sont utilisées par les acteurs du secteur. La plateforme de coordination est relativement moins utilisée par la DNS, puisqu’elle la réunit trimestriellement plutôt que mensuellement.

Concernant le résultat 2, nous avons demandé aux DTC si les patients et le personnel du CS utilisaient les infrastructures et équipements apportés par le projet, les résultats sont présentés sur les Figure 8 et Figure 9 :

Figure 8: Taux d’utilisation par les patients du CS selon les DTC

Figure 9: Taux d’utilisation par le personnel du CS selon les DTC

NB : les pourcentages sont calculés sur le nombre total de CS bénéficiaires de l’infrastructure ou de l’équipement en question

Le taux d’utilisation des infrastructures rapporté est faible parce qu’elles n’étaient pas terminées au moment de l’enquête. Par ailleurs, dans certains CS les infrastructures terminées sont utilisées par le personnel mais pas par les patients, ce qui explique un taux d’utilisation plus élevé des premiers.

Surtout, nous pouvons noter des taux d’utilisation très élevés des équipements du kit d’hygiène, qui comprend les lave mains et les poubelles. Ces taux rapportés sont très élevés autant pour les patients que pour le personnel.

De plus, toutes les ASACO rencontrées ont indiqué mettre en œuvre tous les conseils reçus lors des formations du projet. 87% des DTC ont indiqué mettre toujours en œuvre les conseils, 12% souvent et un seul rarement. 100% des DTC ont affirmé que les pratiques des personnes de la communauté se sont améliorées, ce qui signifie qu’elles suivent les conseils reçus. Tous ces chiffres représentent un biais du fait qu’il s’agisse d’éléments rapportés par les personnes en question, mais cela montre au moins qu’ils sont conscients de leurs devoirs en la matière.

Constat général pour la dimension « Utilisation » Notation

Mises à part les infrastructures qui ne sont pas finies, les résultats du projet sont généralement très utilisés par les bénéficiaires.

6/10

100%

96%

50%

21%

0% 50% 100%

Lave mains

Poubelle noire

Latrines

Points d'eau

100%

98%

56%

50%

19%

0% 20% 40% 60% 80% 100%

Equipements du kitd'hygiène

Poubelles tricolores

Latrines

Points d'eau

Incinérateur

HYDROCONSEIL


C.6.3. Conclusion

L’impact du projet est très important en termes d’amélioration des pratiques d’hygiène et de la salubrité des centres de santé et même des villages attenants. L’impact des infrastructures ne peut pas être mesuré de façon représentative du fait du retard dans les travaux.

Notation générale pour le critère « Impact » : 7 / 10

C.7. Durabilité


Définition du critère durabilité : Continuation des bénéfices résultant d'une action de développement après la fin de l'intervention. Probabilité d'obtenir des bénéfices sur le long terme. Situation par laquelle les avantages nets sont susceptibles de résister aux risques.



La conception du programme et ses modalités de mise en œuvre permettent-ils de maximiser ses chances de durabilité?

Les mesures adéquates ont-elles été prises pour favoriser la pérennité du résultat 2?

% de CS où l'appropriation des bénéficiaires est bonne, % de CS où des mécanismes sont mis en place pour assurer la durabilité financière, technique et institutionnelle des résultats, notamment % d'ASACO adéquatement formées

Focus Groupes dans les CS, Questionnaires et observations dans les CS, Entretiens qualitatifs dans les régions

Les mesures adéquates ont-elles été prises pour favoriser la pérennité du résultat 1?

Risques identifiés pour la pérennité des résultats au niveau national et mesures pour les minimiser

Entretiens qualitatifs au niveau national

C.7.2. Résultats

a) La conception du programme et ses modalités de mise en œuvre permettent-elles de maximiser ses chances de durabilité?

❖ Les mesures adéquates ont-elles été prises pour favoriser la pérennité du résultat 2?

Avec la sensibilisation, le renforcement des capacités et la construction d’infrastructures, le projet a prévu les activités adéquates pour assurer la durabilité de ses résultats.

Cependant, le temps de réalisation a été bien trop court. De ce fait, les activités de sensibilisation ont eu lieu pendant environ 6 mois15, ce qui est trop court pour assurer un changement de comportement profond et pérenne. Le délai n’est apparemment pas non plus

15 les PCA avaient une durée de 9 mois, et 3 mois sont généralement nécessaires pour le lancement des activités

proprement dites

HYDROCONSEIL


suffisant pour terminer les travaux dans de bonnes conditions. Les entreprises ont reçu une pression supplémentaire pour les achever dans les temps, mais cela pourrait avoir engendré des malfaçons.

De plus, il semble que la mise en place de mécanismes de durabilité, notamment pour l’utilisation et l’entretien adéquat des infrastructures, ait été négligée. La grande majorité des acteurs rencontrés dans les districts sanitaires et les régions nous ont indiqué qu’il faudrait une formation du personnel et des ASACO sur ces deux aspects. En effet, les activités de sensibilisation ont cessé avant la fin (voire le début) de la construction des infrastructures. Les ONG n’ont pas pu avoir un rôle dans la pérennisation de celles-ci. L’élaboration et la diffusion d’un manuel de gestion des infrastructures (tel que celui de l’UNICEF Mali pour l’EAH dans les écoles) auraient été salutaires. Il n’y a pas non plus eu de signature d’un protocole d’accord avec les ASACO pour qu’elles assurent la durabilité, mécanisme utilisé par BECEYA dans son projet analogue.

Enfin, l’insuffisance d’appropriation des communes, alors qu’elles ont la maitrise d’ouvrage des infrastructures des CS représente un risque important pris par le projet pour la pérennisation de ses résultats.

Nous pouvons cependant noter que les ASACO et les bénéficiaires sont conscients des risques pour la pérennité des résultats et de l’importance de la bonne gestion et de l’entretien, qui ont été très souvent cités lors des focus groupes avec les communautés et des entretiens avec les ASACO. Ils semblent motivés et conscients de la responsabilité qu’ils ont dans ce cadre.

❖ Les mesures adéquates ont-elles été prises pour favoriser la pérennité du résultat 1?

Le risque majeur identifié pour la durabilité des résultats au niveau national est la forte insuffisance d’appropriation du processus par la DNS. En effet, celle-ci ne se considère pas assez impliquée et ne souhaite donc pas porter le projet. Cette situation est due à un malentendu survenu au début du projet : la DNS pensait qu’elle aurait été responsable de la gestion du projet et de son budget, cette prérogative restant à la section WASH de l’UNICEF, son niveau d’implication ne lui a pas convenu. La section WASH UNICEF a pourtant fait de nombreux efforts pour l’impliquer à chaque étape du projet. Elle a réussi à avoir une meilleure relation avec le point focal que d’autres organisations comme Wateraid ou BECEYA qui lui demandent parfois de faciliter la communication entre eux. Lors de nos entretiens avec le Directeur de la DNS, le Directeur de la DHPS et le Point Focal EAH dans les centres de santé, ils nous ont rappelé qu’ils n’étaient pas satisfaits de leur implication, mais étaient bien au courant du projet ce qui montre qu’ils ont bien été impliqués. Il n’est donc pas assuré qu’ils pérennisent les résultats du projet mais nous pouvons considérer que l’UNICEF a fait des efforts dans ce sens.

Concernant la coordination nationale, il est alarmant qu’elle soit déjà en perte de vitesse avant même la fin du projet puisqu’aucune réunion n’a eu lieu depuis plus de trois mois. Jusque-là, la DNS envoyait les invitations suite à une demande de l’UNICEF ou de l’OMS, lorsque la pression des partenaires a baissé, la DNS n’a plus envoyé d’invitations. La durabilité de la coordination nationale est donc déjà remise en question.

Les textes élaborés ont été validés au niveau national ce qui est une bonne chose pour la pérennité de leur impact. Cependant, ils n’ont pas acquis force de loi grâce à une reconnaissance légale. Ils pourraient donc tomber en désuétude. Il n’y a pas eu de plaidoyer de haut niveau auprès du premier ministre pour favoriser le processus législatif.

Constat général pour la dimension « Durabilité et appropriation » Notation

La durabilité est une faiblesse du projet du fait du décalage entre les volets « hard » et le « soft », de l’insuffisance de formation des CSCOM sur l’utilisation et l’entretien, et de l’insuffisance d’appropriation du projet par la DNS et les communes.

6/10

HYDROCONSEIL


C.7.3. Conclusion

La durabilité des résultats du projet reste incertaine à ce stade, certains aspects, qui ont bien été pris en compte, sont encourageants, d’autres sont réellement préoccupants.

Notation générale pour le critère « Durabilité » : 6 / 10

C.8. Aspects transversaux


Question évaluative Sous-question Indicateur Outils mobilisés

/ sources d'information

Equité et inclusion : Prise en compte et implication des plus vulnérables pour qu’ils bénéficient en priorité des impacts positifs du projet

Le programme a-t-il intégré des préoccupations concernant le genre?

Dans quelle mesure le programme intègre-t-il les besoins spécifiques des filles et des femmes ? le programme a-t-il impliqué les filles et les femmes au moment du diagnostic et tout au long du projet?

% de CS où les latrines sont séparées par genre, % de CS où des femmes sont membres de l'ASACO, présence de considération du genre dans les documents de diagnostic

Questionnaires et observations dans les CS, Documents de diagnostic

Le programme a-t-il intégré des préoccupations concernant l'équité?

Dans quelle mesure le programme intègre-t-il les besoins spécifiques des plus vulnérables (personnes très pauvres, handicapées, âgées, enfants)?

% de CS où les latrines sont accessibles aux personnes à mobilité réduite, % de CS où les latrines sont accessibles aux personnes à mobilité réduite, Niveau d'inclusion des plus vulnérables selon les bénéficiaires

Questionnaires et observations dans les CS, Focus Groupes dans les CS

Environnement : Prise de mesures pour améliorer l’environnement ou limiter l’impact négatif des activités du projet sur l’environnement naturel (air, terre, eau, écosystèmes)

Le programme a-t-il intégré des préoccupations concernant l'environnement?

Dans quelle mesure le programme a contribué à améliorer l'environnement local et a limité ses impacts environnementaux négatifs ?

% de CS où les activités ne sont pas susceptibles d'avoir des impacts environnementaux négatifs

Observations dans les CS

C.8.2. Résultats

a) Le programme a-t-il intégré des préoccupations concernant le genre?

Des préoccupations concernant le genre ont bien été intégrées dans le document de proposition et dans les PCA signés avec les ONG de mise en œuvre.

En général, l'amélioration des conditions EAH dans les CS bénéficie particulièrement aux femmes qui s'y rendent pour les consultations prénatales et l'accouchement ainsi que pour les vaccinations des enfants.

HYDROCONSEIL


Toutefois, dans la réalisation, la prise en compte du genre n’a pas été très prononcé. Les latrines du projet étaient censées être séparées par genre, pour permettre aux femmes et aux filles de les utiliser sereinement mais la construction de celles-ci n’a été prévue que dans 47 CS. De plus, sur cinq blocs de latrines utilisés dans les CS visités, seuls trois étaient séparés par genre.

Presque la moitié des DTC ont considéré que les besoins spécifiques des femmes et des filles n’ont pas été pris en compte. C’est aussi le cas d’un quart des ASACO et d’un tiers des groupes de villageois rencontrés. Ils ont considéré qu’il a manqué plus de sensibilisation destinée spécifiquement aux femmes enceintes et aux filles, notamment sur l’hygiène menstruelle, l’hygiène post-partum et l’utilisation du pot de défécation par les jeunes enfants, ainsi que des équipements pour la maternité dans le kit d’hygiène.

b) Le programme a-t-il intégré des préoccupations concernant l'équité?

Des préoccupations concernant l’équité ont bien été intégrées dans les PCA signés avec les ONG de mise en œuvre.

Le design des latrines inclus les latrines accessibles aux personnes à mobilité réduite (rampes et sièges « Damu »). Mais seuls 47 de CS ont bénéficié de latrines. Les sièges adaptés « Damu » sont trop bas pour les adultes (design utilisé pour les latrines scolaires), ils devraient être 15 cm plus haut pour faciliter la remise sur pieds. Aussi, l’utilité des rampes d’accès pour les personnes à mobilité réduite en milieu rural au Mali n’est pas certaine.

Lors de l’enquête, nous avons demandé aux DTC s’ils pensaient que le projet avait pris en compte des besoins spécifiques des plus vulnérables. Pour chaque catégorie, moins de la moitié a considéré que c’était le cas, comme il est possible de le constater dans la Figure 10 ci-dessous :

Figure 10: Prise en compte des vulnérables selon les DTC

Il aurait été souhaité par certains DTC que des activités de sensibilisation soient particulièrement destinées aux enfants et que le kit d’hygiène contienne des pots de défécation.

Cependant, comme certains bénéficiaires l’ont rappelé lors de focus groupes, la sensibilisation et l’amélioration des conditions EAH dans les centres de santé ont touché tout le monde sans exception ; et étant donné que la plupart des usagers des centres de santé en milieu rural au Mali sont généralement vulnérables, le projet les a touché dans ce sens.

Constat général pour la dimension « Equité et Inclusion » Notation

Le projet a intégré des préoccupations concernant le genre dans la conception, mais cet aspect ne se retrouve que faiblement dans sa mise en œuvre.

Les besoins des plus vulnérables n’ont pas été particulièrement pris en compte, mais on peut considérer que les utilisateurs des CSCOM sont généralement vulnérables donc le projet leur a bénéficié.

6,5 /10

53%

63%

57%

46%

33%

36%

39%

49%

0% 20% 40% 60% 80% 100%

Personnes les plus pauvres

Personnes à mobilitéréduite

Personnes âgées

Enfants

Non

Ne sait pas

Oui

HYDROCONSEIL


c) Le programme a-t-il intégré des préoccupations concernant l'environnement?

Le projet, grâce à la sensibilisation dans les communautés, a contribué à renforcer la prise de conscience et les bonnes pratiques d'hygiène, et donc l’amélioration de la salubrité de l’environnement au niveau des centres de santé, mais aussi dans la communauté attenante. La cour et l'intérieur des CS visités étaient en état général moyen à bon, ce qui représente une amélioration selon les DTC rencontrés.

Nous pouvons cependant noter un risque concernant de la fumée de l'incinérateur, dû à la faible hauteur de la cheminée. En effet, selon l’OMS (2004), si l’on double la longueur de la cheminée de 3 à 6 mètres, les concentrations de polluants dans l’air sont de 5 à 13 fois plus faibles. Or, les cheminées du projet font 3 mètres. De plus, les risques environnementaux liés à la mauvaise manipulation des incinérateurs, des déchets non brûlés (fosse à digestion) et des déchets stockés avant incinération sont élevés du fait de l’insuffisance de formation du personnel d’entretien des CS sur l’utilisation de la plateforme de gestion des déchets. Notamment, il faut que l’incinérateur atteigne une température au-delà des 800°C, ce qui nécessite de suivre des prescriptions d’ordre, de types et de quantités de déchets. De plus, sans pyromètre, il est impossible de s’assurer que cette température est bien atteinte.

Constat général pour la dimension « Environnement » Notation

Le projet a donc contribué à améliorer l’environnement proche des CS. Cependant, certains risquent environnementaux liés aux incinérateurs et à la mauvaise manipulation des déchets existent.

7,5 /10

C.8.3. Conclusion pour le critère « Aspects transversaux »

Le projet a intégré les aspects transversaux du genre, de l’équité et de l’environnement sans qu’ils ne soient pour autant centraux. Le projet a bénéficié à toute la population sans distinction et a contribué à améliorer l’environnement autour des CS.

Notation générale pour ce critère: 7/10.

HYDROCONSEIL


D. Conclusions

D.1. Conclusions par critère

Forces Faiblesses

Pertinence

• Le projet est bien aligné sur les politiques et stratégies nationales, qu’il a contribué à élaborer.

• Le projet participe bien à répondre à un besoin important au Mali.

• Certains aspects du paquet EAH n’ont pas été respectés dans la mise en œuvre du résultat 2.

• Certains aspects du projet pourraient être légèrement améliorés pour mieux répondre aux attentes de chacun.

Conception

• La logique d’intervention du projet est cohérente (activités adéquates pour atteindre les résultats).

• Le temps alloué a été sous-estimé tandis que la zone d’intervention est excessivement vaste.

• Le budget infrastructure était bien trop limité à la vue des objectifs quantitatifs très importants du projet.

Complémentarité/Valeur ajoutée

• Le projet s’inscrit bien en complémentarité avec l’action des autres acteurs du secteur, les efforts nécessaires ont été fournis pour éviter les doublons.

• La valeur ajoutée du projet la plus importante est sa double dimension upstream-downstream. L’UNICEF a aussi apporté son expérience de WASH dans les écoles au Mali.

• Le projet n’a pas inclus une approche progressive avec capitalisation.

Efficience

• La relation coûts-résultats est bonne. En effet, malgré un budget relativement très restreint, les résultats ont été importants.

• Certains coûts ont été superflus du fait d’erreurs dans la conception des infrastructures et du passage par des ONG internationales pour la composante soft.

Efficacité

• Les activités du volet soft ont été conformes et de qualité.

• Les infrastructures construites respectent en grande partie les designs

• Le cadre sectoriel a bien été renforcé

• Le suivi a été effectif

• Les activités du volet hard n’ont pas rempli le paquet minimum prévu

• Les designs des infrastructures comportaient des défauts.

• Certaines activités du R1 n’ont pas eu lieu et la gestion de l’information ne semble pas s’être améliorée

• Le projet a accusé des retards, principalement sur la composante infrastructure.

• Le suivi n’a pas permis d’éviter les retards

Impact

HYDROCONSEIL


• L’impact principal du projet (pour l’instant) est l’amélioration des pratiques d’hygiène du personnel et des patients des CS, ce qui a permis une réelle amélioration de l’environnement des CS et de leurs alentours et une réduction des risques de transmission des infections.

• Aucun impact négatif n’a été identifié.

• Les résultats du projet sont généralement très utilisés par les bénéficiaires.

• N’étant pas terminées au moment de l’évaluation, les infrastructures n’ont pas encore eu d’impact et ne sont pas encore utilisées.

Durabilité

• La combinaison upstream-soft-hard est adéquate pour favoriser la durabilité.

• La durabilité des résultats du projet reste incertaine à ce stade.

• Certains aspects sont réellement préoccupants (manque de capacités pour l’entretien des infrastructures, faible appropriation des communes).

Aspects transversaux

• Le projet a intégré des préoccupations concernant le genre.

• Les plus vulnérables ont tout autant que les autres bénéficié du projet.

• Le projet a contribué à améliorer l’environnement proche des CS.

• L’aspect genre ne se retrouve que faiblement dans la mise en œuvre du projet.

• Les besoins des plus vulnérables n’ont pas été particulièrement pris en compte.

• Il y a des risques environnementaux liés aux incinérateurs

D.2. Conclusions par composante

D.2.1. Résultat 1 : upstream

Les activités du résultat 1 étaient pertinentes parce qu’elles répondaient au manque de coordination et de textes régulant le sous-secteur. Elles ont été alignées avec les aspirations nationales en la matière. Certaines difficultés ont été liées au fait que la DNS aurait voulu avoir un rôle prépondérant dans la gestion du projet ce qui n’a pas été le cas et a créé des frustrations.

Cet aspect du projet a été bien conçu.

Si l’OMS est l’acteur principal du secteur au niveau upstream, l’UNICEF a comme valeur ajoutée d’être aussi impliquée sur le terrain. De plus, les deux organisations se sont bien coordonnées pour assurer leur complémentarité.

La composante upstream n’a pas mis à mal l’efficience du projet.

Le cadre sectoriel a été amélioré, le résultat 1 est donc atteint, les activités ont généralement été réalisées dans les temps.

Les textes élaborés ou mis à jour sont utilisés, la taskforce reste mobilisée mais trimestriellement. L’impact du résultat 1 est difficilement mesurable puisqu’il est indirect.

La durabilité du résultat n’est pas assurée car les textes n’ont pas force de loi.

HYDROCONSEIL


D.2.2. Résultat 2 : soft

La composante soft est pertinente car elle répond à un besoin important au Mali, notamment concernant le tri des déchets et l’environnement des CS mais aussi le lavage des mains.

Cette composante a été bien conçue, les activités étant cohérentes avec les résultats visés mais le temps imparti a été trop faible pour assurer un changement de comportement profond et pérenne. Le renforcement de capacités sur l’utilisation et l’entretien des infrastructures et l’implication des communes n’ont pas fait l’objet d’assez d’efforts. Le manque de guides et d’outils pour le volet « soft » a été pénalisant pour les ONG et pour l’harmonisation de l’approche sur tout le territoire d’intervention.

Le projet a été coordonné avec d’autres pour éviter les doublons sur cette composante. Les acteurs au niveau local et régional n’ont pas remarqué de valeur ajoutée particulière.

La relation coûts-résultats n’a pas été maximisée du fait du passage des ONG internationales plutôt que locales, les premières ayant des coûts généraux bien plus élevés.

Les activités ont été réalisées conformément à ce qui était prévu et dans les temps, avec un niveau de qualité élevé.

L’impact du volet soft est le plus important : il a vraiment permis d’améliorer les pratiques d’hygiène dans les CS et les communautés et d’améliorer la salubrité des CS et de leurs alentours.

Le suivi par les ONG a été trop court pour favoriser la pérennité de ces bons résultats. Tout de même, la motivation des personnes pour les faire perdurer est importante à l’heure actuelle.

Le volet soft a participé à améliorer l’environnement et a bénéficié à toutes les strates de la population. Les acteurs ont indiqué que peu d’activités de sensibilisation étaient spécifiquement dédiées aux femmes enceintes et aux filles.

D.2.3. Résultat 2 : hard

L’apport d’infrastructures dans les centres de santé répondait à un réel besoin et était aligné avec le paquet minimum EAH. Mais ces aspects ont été réduits du fait du nombre limité d’infrastructures construites dans chaque centre.

Le budget unitaire prévu par CS pour le paquet EAH a été tout à fait sous-estimé. La composante hard a pâti d’erreurs de conception, notamment dans les plans types des infrastructures.

Les acteurs au niveau local et régional n’ont pas remarqué de valeur ajoutée particulière concernant les infrastructures du projet UNICEF. L’UNICEF s’est coordonnée avec BECEYA pour éviter les doublons d’infrastructures dans la zone qu’ils ont en commun.

Certaines erreurs de conception se sont traduites en dépenses inutiles, d’autres en parties effectuées par les entreprises de travaux sans paiement.

La composante infrastructure a connu d’importants retards qui font qu’il n’est pas sûr que tout soit construit avant le terme du projet. Les infrastructures sont généralement conformes au design mais présentent des défauts.

La durabilité les infrastructures est incertaine, notamment celle de l’incinérateur, notamment du fait de l’insuffisance de compétences locales pour leur entretien.

Les infrastructures bénéficient équitablement aux personnes de la communauté. L’incinérateur comporte des risques environnementaux.

HYDROCONSEIL


D.3. Récapitulatif des notations par dimension et par critère

Dimensions Questions évaluatives Dimension Critère

Pert

inen

ce

Alignement Le projet est-il aligné sur les politiques et stratégies nationales?

8,5

8,3 Sensibilité aux

besoins

Le programme a-t-il pu satisfaire les besoins des différents acteurs et bénéficiaires du sous-secteur de l'EAH en milieu de soins ?

8,0

Co

ncep

tio

n

Logique d’intervention

La logique d’intervention du programme WASH dans les structures de soin est-elle cohérente ?

6,5

5,3

Budgétisation Le budget était-il bien proportionné pour atteindre les résultats ?

4

Co

mp

lem

en

t

ari

té/V

ale

ur

ajo

uté

e

Complémentarité Le programme s'inscrit-il en complémentarité avec l'action des autres acteurs du sous-secteur?

9,5

9,0

Valeur ajoutée Quelle est la valeur ajoutée du projet soutenu par l'Union Européenne?

8,5

Eff

ici

en

ce

Utilisation des fonds

Les ressources ont-elles été utilisées de manière efficiente ?

8 8,0

8

Eff

icacit

é

Atteinte des résultats

La mise en œuvre du résultat 2 a-t-elle été en ligne avec ce qui était prévu ?

7,5

6,0

Quel a été l’efficacité des activités pour le renforcement du cadre institutionnel du sous-secteur ?

Respect du planning

Le projet a-t-il atteint les résultats dans le planning prévu?

4

Suivi et mesures pour assurer l'atteinte des

résultats

L'atteinte des résultats a-t-elle été suivie pour être assurée au mieux tout au long du projet?

6,5

Imp

act Ressenti

Quels sont les principaux impacts qui ont été perçus par les différents acteurs du programme ?

8

7,0

Utilisation Les résultats du programmes sont-ils utilisés par les bénéficiaires?

6

Du

rab

ilit

é Durabilité et

appropriation

La conception du programme et ses modalités de mise en œuvre permettent-ils de maximiser ses chances de durabilité?

6 6,0

Asp

ects

tran

sve

rsau

x

Equité et inclusion

Le programme a-t-il intégré des préoccupations concernant le genre?

6,5

7,0 Le programme a-t-il intégré des préoccupations concernant l'équité?

Environnement Le programme a-t-il intégré des préoccupations concernant l'environnement?

7,5

HYDROCONSEIL


D.4. Leçons apprises • Le Mali a besoin de projets pour améliorer les conditions EAH dans les centres de

santé car les besoins restent très importants.

• 9954 USD ne sont vraiment pas suffisants pour installer un paquet EAH complet dans un centre de santé : ce budget unitaire trop réduit a obligé l’UNICEF à faire des choix quant aux infrastructures à construire dans chaque CS, créant des frustrations et des retards pour la sélection en priorisant les besoins. Le budget doit être calculé précisément en fonction des infrastructures à construire.

• Un an et demi n’est pas suffisant pour mettre en œuvre un projet qui mobilise de nombreux acteurs et qui prévoie un changement de comportement, de pratiques et un renforcement de capacités au niveau local.

• Effectuer un premier projet sur un périmètre aussi vaste comporte des risques importants, notamment sur un délai aussi court puisqu’il n’y a pas le temps pour identifier les risques, prendre des mesures et capitaliser les bonnes pratiques avant le passage à l’échelle.

• Le concours de centre de santé propre est une bonne innovation, qui a déjà été répliquée par d’autres acteurs du secteur, mais qui demande maintenant une harmonisation des critères de notation au niveau national pour permettre la comparaison.

• L’implication des organisations féminines sur le terrain a été un facteur favorisant pour de nombreux aspects au niveau des CS et des communautés. Il serait souhaitable d’institutionnaliser leur rôle et leur lien avec l’ASACO.

• La formation sur la gestion des déchets a été très importante, de telles formations assorties d’une supervision formative sont nécessaires. Il serait souhaitable de s’assurer qu’elle est bien inclue dans le cursus formatif des personnels de santé.

• Un guide d’intermédiation sociale assorti d’indicateurs de suivi serait bénéfique pour l’harmonisation des approches au niveau du projet ou bien même au niveau national ainsi que pour l’amélioration de la disponibilité des données.

• Les composantes upstream-hard-soft sont complémentaires et apportent une valeur ajoutée, à condition qu’elles soient bien articulées : l’upstream doit apporter des résultats avant le début des activités hard et soft pour qu’elles puissent appliquer les principes approuvés au niveau national, le soft doit avoir lieu avant, pendant et après le hard pour pouvoir accompagner ses activités.

• La coordination au niveau national avec tous les acteurs du secteur a porté ses fruits pour améliorer la complémentarité des projets. Il serait intéressant qu’une telle coordination ait aussi lieu au niveau régional.

D.5. Défis • Avoir de nouveaux financements pour l’appui à ce sous-secteur pour renforcer les

résultats du projet et le répliquer dans d’autres régions.

• Améliorer la conception des projets pour éviter d’avoir à revoir à la baisse les objectifs quantitatifs et éviter les erreurs dans le design des infrastructures.

• Assurer la pérennité des ouvrages mis en place dans les centres de santé en impliquant davantage les communes pour une meilleure appropriation.

• Consolider les acquis des CCC initiées par les ONG dans centres de santé.

• Finir les ouvrages alors que la durée de vie du projet est pratiquement épuisée.

HYDROCONSEIL


E. Recommandations

Dans ce chapitre, les recommandations sont formulées en vue d’un possible projet similaire que l’UNICEF aurait à réaliser à l’avenir toujours dans le domaine de l’EHA en milieu de soin au Mali. Cependant, une grande partie de ces recommandations sont valables en général pour tout autre projet dans l’EHA de l’UNICEF au Mali et ne sont pas applicables exclusivement dans le cadre d’un projet EHA dans les structures de soin au Mali.

E.1.1. Pour l’UNICEF

a) Stratégique

1. Poursuivre les interventions d’EHA dans les centres de soin au Mali

2. Continuer à concevoir des projets incluant les composantes upstream, soft et hard

en les articulant de manière à en maximiser la valeur ajoutée.

3. Prévoir un budget unitaire calculé précisément.

4. Prévoir un temps plus long pour un projet qui prévoit de mobiliser de nombreux

acteurs et qui comprends un objectif de changement de comportement.

5. Prévoir des activités de sensibilisation et mobilisation avant et après la construction

des infrastructures ainsi que du suivi pour accompagner les bénéficiaires dans leur

utilisation et entretien.

6. S’assurer de l’absence de malentendus dès la conception du projet quant au

partage des responsabilités avec les partenaires gouvernementaux dans la gestion

du projet.

7. Prévoir assez de temps pour une réflexion et un réajustement tout au long du projet.

8. Lorsqu’il s’agit d’un sujet nouveau pour l’UNICEF dans le pays, mais avec de

l’expérience dans d’autres bureaux pays, se renseigner auprès des bureaux pays

concernés pour bénéficier de leur expérience. Détacher un staff expérimenté d’un

autre bureau (ex. stretch assignment) au moment de la conception et/ou démarrage

du projet pourrait apporter une valeur ajoutée.

9. Ne pas négliger la réalisation de l’atelier de capitalisation pour tirer des

enseignements de l’expérience des partenaires de mise en œuvre

b) Mise en œuvre

1. S’assurer que tous les acteurs qui auront un rôle à jouer dans la pérennisation des

acquis s’approprient le processus et les résultats du projet (DNS, communes).

2. Assurer la bonne communication et échange d’information entre les différents

acteurs œuvrant sur le projet (upstream, hard et soft)

3. Améliorer la planification participative et anticiper sur les étapes pour bien prendre

en compte les délais administratifs.

4. Assurer un suivi plus rapproché des activités sur le terrain

5. Prévoir un temps suffisant pour les travaux, incluant un délai avant leur démarrage.

6. Eviter d’attribuer des lots trop conséquents/nombreux à une même entreprise.

7. Etre plus exigent /sélectif sur les compétences du bureau de contrôle

HYDROCONSEIL


c) Activités

1. Elaborer et disséminer des manuels et outils (gestion des ouvrages, intermédiation

sociale)

2. Poursuivre le plaidoyer pour la reconnaissance légale du paquet minimum EAH et

des textes régulant le secteur

3. Limiter le nombre de sites par animateur à 6

4. Demander une vérification ou un appui à des spécialistes techniques pour le design

des infrastructures.

5. Prévoir des activités de renforcement de capacités des entreprises

E.1.2. Pour le gouvernement

• Bien s’approprier le projet et s’impliquer dans sa mise en œuvre pour favoriser l’alignement avec les normes et standards nationaux et la pérennité des acquis.

• Continuer à assurer la tenue des réunions de la taskforce régulièrement.

• Avoir une certaine flexibilité pour accepter différentes méthodes de mise en oeuvre au sein de l’UNICEF, ayant en vue l’atteinte d’objectifs importants pour le peuple Malien.

• Renforcer la collaboration entre les structures techniques (DRS, DRH, DRACPN) et la FENASCOM ainsi qu’entre leurs structures déconcentrées

E.1.3. Pour l’Union Européenne

• Si possible, dans l’immédiat accorder un avenant de temps pour la finition des travaux.

• Si le temps et le budget sont limités, s’assurer avant la signature que les objectifs sont réalistes.

• Assurer un suivi trimestriel des activités sur le terrain.

• Prévoir que l’évaluation finale du projet ait lieu après la fin du projet

E.1.4. Pour les partenaires de mise en œuvre (ONG)

• Ne pas dépasser 5 à 6 sites par animateur.

• Avant la signature du PCA, proposer d’inclure le suivi des activités plusieurs mois après la fin des activités proprement dites.

• Favoriser la communication entre les différents acteurs impliqués dans le projet

E.1.5. Pour les partenaires de mise en œuvre (entreprises)

• Utiliser une approche progressive : commencer par terminer les infrastructures dans un nombre très réduit de CS sous la supervision d’un ingénieur pour identifier les points de difficulté et pouvoir résoudre les problèmes avant de passer à l’échelle. Bien calculer l’opportunité d’avancer district par district ou partout en même temps selon le temps et les moyens disponibles ainsi que selon les modalités de paiement.

• Bien vérifier le design des infrastructures, les devis et leur cohérence avant de signer un contrat.

• Ne pas hésiter à informer l’UNICEF de difficultés avant qu’il ne soit trop tard.

HYDROCONSEIL


F. Annexes

F.1. Matrice d’évaluation complétée Disponible séparément

F.2. Chronogramme de l’évaluation

01

-ju

in

02

-ju

in

03

-ju

in

04

-ju

in

05

-ju

in

06

-ju

in

07

-ju

in

08

-ju

in

09

-ju

in

10

-ju

in

11

-ju

in

12

-ju

in

13

-ju

in

14

-ju

in

15

-ju

in

16

-ju

in

17

-ju

in

18

-ju

in

19

-ju

in

20

-ju

in

21

-ju

in

22

-ju

in

23

-ju

in

24

-ju

in

25

-ju

in

26

-ju

in

27

-ju

in

28

-ju

in

29

-ju

in

30

-ju

in

01

-ju

il

02

-ju

il

03

-ju

il

04

-ju

il

05

-ju

il

06

-ju

il

07

-ju

il

08

-ju

il

09

-ju

il

10

-ju

il

11

-ju

il

12

-ju

il

13

-ju

il

14

-ju

il

15

-ju

il

16

-ju

il

17

-ju

il

18

-ju

il

19

-ju

il

20

-ju

il

21

-ju

il

22

-ju

il

23

-ju

il

24

-ju

il

25

-ju

il

26

-ju

il

27

-ju

il

28

-ju

il

29

-ju

il

30

-ju

il

31

-ju

il

01

-ao

ût

02

-ao

ût

03

-ao

ût

04

-ao

ût

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65

Phase 1: Préparation des outils d’évaluation et de collecte des données

Activité 1 : Revue des documents de projet n n

Activité 2 : Réunion de démarrage n

Activité 3 : Finalisation de la matrice d’évaluation n n

Activité 4 : Elaboration des outils de collecte de données n n

Activité 5 : Finalisation de la stratégie d’échantillonnage n

Activité 6 : Rédaction du rapport de démarrage n n

Revue par l'UNICEF puis finalisation w w

Phase 2 : Collecte des données

Voyage international - aller Q

Activité 7 : Collecte d’informations auprès des parties prenantes à Bamako n n n n n

Activité 8 : Revue documentaire n n n n n n n n n

Activité 9 : Formation des enquêteurs et lancement des enquêtes n n

Voyage international - retour Q

Activité 9 : Collecte d’informations auprès des parties prenantes en région n n n n n n n n n n n n n n n n n n

Activité 9 : Enquêtes de terrain dans les structures de santé n n

Activité 9bis: Retranscription des données de l'enquête n n n n

Activité 10: Réunion d'équipe - mise en commun des constats n

Phase 3 : Analyse et rédaction du rapport

Activité 11 : Analyse des données recueillies et élaboration des constats n n n n n n n n n n

Revue par l'UNICEF de la matrice complétée w w

Activité 12 : Elaboration des recommandations n n n

Activité 13 : Rédaction du rapport provisoire n n n n n n

Revue par l’UNICEF w w w w w

Activité 14 : Finalisation du rapport et séance de restitution Q n n Q

HYDROCONSEIL


F.3. Liste des documents lus et utilisés

F.3.1. Documentation du projet

• Proposition de projet, version signée, UNICEF, 2015

• Budget du projet, version signée, UNICEF, 2015

• Plan de visibilité et de communication du projet, UNICEF, 2015

• Liste des centres de santé bénéficiaires du projet, UNICEF, 2016

• Convention Union Européenne-UNICEF relative au projet, 11 Novembre 2015

• Avenant 1 entre l’Union Européenne et l’UNICEF relatif au budget du projet, 20/04/2016

• Avenant 2 entre l’Union Européenne et l’UNICEF relatif à la durée du projet, 13/02/2017

• Second rapport intermédiaire du projet, UNICEF, Décembre 2016

• Rapports d’études diagnostic des centres de santé, BICD, Aout 2016

• Rapports d’études diagnostic des centres de santé, SID-Sertas, Aout 2016

• Document de planification des travaux (liste des infrastructures par site et par lot), UNICEF, 2016

• Rapport de mission de supervision conjointe UE-UNICEF des activités du projet, UNICEF, Mai 2017

• PCA UNICEF-Bornefonden et budget, Juillet 2016

• PCA UNICEF-SNV et budget, Juillet 2016

• PCA UNICEF-CAR-D et budget, Août 2016

F.3.2. Documents relatifs au secteur de l’EAH en milieu de soins au Mali

a) Analyses du secteur

• L’eau, l’assainissement et l’hygiène et le trachome au Mali analyse de la situation, priorités et prochaines étapes, OMS, Octobre 2015

b) Textes régulant le secteur

• Paquet minimum pour l’accès à l’eau potable, l’hygiène et l’assainissement dans les établissements de santé au Mali, Septembre 2015

• Plan stratégique national pour l’amélioration des conditions d’accès a l’eau potable, l’hygiène et l’assainissement dans les établissements de sante au mali 2017-2021, MSHP, Novembre 2016

c) Rapports et compte rendus d’ateliers

• Atelier d’élaboration du plan stratégique national pour l’amélioration de l’accès a l’eau, l’hygiène et l’assainissement (Wash) dans les établissements de santé, Tenu du 22 au 26 au centre Gabriel Cissé a Ségou, DNS, Novembre 2016

• Rapport de la première nouvelle réunion Taskforce EAH en milieu de soins, DNS, Février 2016

• Rapport de l’atelier de validation du manuel de procédure de gestion des déchets biomédicaux et des directives de prévention et contrôle des infections, DNS, Juin 2016

• Rapport de formation des formateurs/superviseurs régionaux en matière de prévention et de contrôle des infections y compris l’accès à l’eau, d’hygiène et l’assainissement en milieu de soins, DNS, Juillet 2016

• Synthèse générale de l’atelier de quantification et de validation du paquet minimum WASH en milieu de soins au mali, Mars 2016

HYDROCONSEIL


F.3.3. Documents de comparaison avec d’autres acteurs

• Coûts unitaires Wateraid

• Coûts unitaires BECEYA

• Boîte à image intégrée, multiples acteurs, 2012

• Outils de formation aux bonnes pratiques d’Hygiène de BECEYA

• Protocole de collaboration BECEYA – ASACO du CSCOM de Wayerma II.

F.3.4. Documents internationaux sur l’EAH en milieu de soins

• Manuel de gestion des déchets médicaux, CICR, Genève, 2011 https://www.icrc.org/fre/assets/files/publications/icrc-001-4032.pdf

• Findings on an Assessment of Smale-scale Incinerators for Health-care Waste (anglais seulement), S. Batterman, OMS, 2004. http://www.who.int/water_ sanitation_health/medicalwaste/en/smincineratorstoc.pdf

F.4. Liste des personnes rencontrées

F.4.1. Personnes interviewées à Bamako

Structure Prénom NOM Poste Contact

UNICEF

Section WASH Yagouba DIALLO

Responsable programme WASH dans les institutions

[email protected]

Section WASH Lalaina ANDRIANAMELASOA

Consultant WASH dans les institutions

[email protected]

Section WASH Kakou Arsene BATCHO

Coordination de cluster WASH

[email protected]

Section Santé Daniel NACOULMA

Health Manager [email protected]

Délégation de l’Union Européenne

EEAS Cheick KAMISSOKO

[email protected]

Acteurs institutionnels maliens

DNS Gaoussou KEITA

Directeur de la DHPS 76023513 [email protected]

DNS Moussa Ag HAMMA

Point Focal [email protected]

DNACPN Niafatouma NIAFO ASCOFARE

Directrice Nationale Adjointe 76028533 [email protected]

DNH Yaya Bouobacar Directeur national [email protected] 76 05 13 51

FENASCOM Hamidou DIARA Secrétaire Général 76379533

ONG de mise en œuvre

SNV Bani SACKO 78106461 [email protected]

CAR-D Diabirou HMAIGA et Bakary BALLO

66710163 76364661 [email protected] [email protected]

Bornefonden Alhousseini Morba

Chef de l’unité des projets 66788968 [email protected]

Bureaux d’études de diagnostic

SID Ousmane KANAKOMO

76458957

https://www.icrc.org/fre/assets/files/publications/icrc-001-4032.pdf

mailto:[email protected]


HYDROCONSEIL


BICD M. DIALL

Entreprises de travaux

ENOC Youssouf GUINDO

Gérant 66794566

EMET Moulahe Emmanuel TOURE

Directeur Général 663605758

Bureaux de contrôle

BSH Mamadou DIAWARA Kader Cissé Aliou Aboubacar Lam

Directeur général Chef de mission volet hydraulique et coordinateur de terrain Chef de projet génie civil

66729591 [email protected]

IGIP Madame DIARRA Alou TRAORE Moise TERA

Chef de mission du volet génie civil pour ce programme. Chef de mission volet hydraulique pour ce programme.


Partenaires de développement du secteur

OMS Fatoumata Sokona MAIGA

[email protected]

BECEYA/CCISD Abdoul Karim MACALOU


WaterAid Drissa TRAORE Programme officer 20295450 [email protected]

Terre des Hommes

Aboubacar BALLO


F.4.2. Personnes interviewées dans les régions

Structure Prénom NOM Poste Contact

FELASCOM Kangaba Kanda TRAORE Président 77 51 73 07

CSREF Kangaba Sanba MALLE Point Focal WASH 71 99 62 69

ONG CAR.D Kangaba Madou CISSE Animateur CAR.D

ONG CAR.D Kangaba Mahamadou A. MAIGA Animateur CAR.D

ONG CAR.D Kangaba Youssouf MAIGA Animateur CAR.D

ONG CAR.D Kangaba Sidy Ali GUINDO Animateur CAR.D

ONG CAR.D Kangaba Halimatou MAIGA Animateur Superviseur

ONG CAR.D Kangaba Amadou DOLO Animateur CAR.D

DRACRN Koulikoro Tiekoro COULIBALY Chef de division 75 16 03 04

DRACRN Koulikoro Mohamed AGALY Comptable 79 41 50 17

DRH Koulikoro Nouhoum COULIBALY Directeur 76 46 22 69

DRS Koulikoro Brahima SYLLA Chef division Hygiene

CSREF Kalabnakoro Mohamed Lamine SIDIBE

Responsable d’Hygiène

FELASCOM Kalabankoro SOCODOGO Aminata Président FELASCOM 76 45 53 12

CSREF Dioïla Abdoulaye SAWADOGO Responsable, Hygiène du district

74 04 23 49

HYDROCONSEIL


FELASCOM Dioîla Dramane MARIKO Président de la structure 75 33 38 39

SACPN Dioila Maxime KEITA Chef de service 79 14 73 04

Commune de Dioila Yacouba Dollé Maire de commune 79 08 08 71

Commune de Dioila Oumar SIDIBE 2eme Adjoint 75 00 45 28

CSREF Yorosso Abdoulaye COULIBALY Responsable d’Hygiène 76 13 34 04

Yorosso Yacouba DIARRA PSI MALI 73 29 25 27

SACPN Yorosso Mahamane SANGARE Chef de service 76 17 68 54

SLH Yorosso Soukalo KONATE Chef de service 74 46 10 70

FELASCOM Yorosso Karim COULIBALY Président YOROSSO 77 40 17 54

PSI Mali à Yorosso Malik CAMARA Agent à YOROSSO

SACPN Koutiala Amadou KEITA Chef de service 76 17 52 14

CSREF Koutiala Issa DOUMBIA Chef de service Hydraulique

76 86 64 81

CSREF Koutiala Mamadou COULIBALY Point Focal Responsable Hygiène

76 83 22 15

Kigna CSREF Baye Ag ALASSANE Responsable 79 34 21 60

Kigna CSREF Aboubacar SANGARE Adjoint Médecin Chef 76 19 52 85

CSREF Kadiolo Bakari TRAORE Médecin chef 66 87 83 04

CSREF Kadiolo Moussa CAMARA Responsable hygiène 66 41 26 66

CSREF Kadiolo Drissa CAMARA Responsable D’Hygiène 79 33 02 65

CSREF Kadiolo Nouhoum TRAORE DRH Sikasso

CSREF Kadiolo Nouhoum TRAORE Ingénieur Hydraulicien Sikasso

75 52 11 15

Nièna FELASCOM Chiaka DAKO Président FELASCOM 72 22 21 00

Nièna FELASCOM Idrissa KOITA Trésorier de FELASCOM 79 04 52 31

DRACPN Sikasso Alou BARRY Adjoint ou Directeur 65 57 84 26

DRACPN Cherif Bollé SANGARE Point focal 76 38 32 80

CSREF Yanfolila Alou COULIBALY Médecin chef adjoint 77 55 31 04

CSREF Yanfolila Mme casse Aïssata SIDIBE

3eme Adjoint au Maire 76 10 72 99

CSREF Sikasso Amadou DIALLO Responsable hygiène 76 20 66 70

Kolodièba CSREF Moussa KANTE Responsable hygiène 79 09 17 20

Kolodièba CSREF Niakoro DEMBELE 4eme adjoint 76 39 56 11

FELASCOM Sikasso Mme Sanogo KAMISSA Secrétaire administratif 76 46 01 16

DRS Sikasso Masedou TRAORE Chef division hygiène 76 79 41 33

DRS Sikasso Datien COULIBALY Technicien supérieur hygiène

70 05 49 97

Nièna CSREF Oumar INA MAIGA Médecin Chef 79 18 85 80

SACPN Kolodièba Gaoussou KONE Chef service 76 39 56 25

SLH Kolodièba Seydou DIAKITE Chef service 70 10 10 07

HYDROCONSEIL


Bougouni SCREF Abdoulaye DIAKITE Responsable hygiène 76 21 89 96

SACPN Bougouni Ba Abdoulaye YATTARA Chef service SACPN 76 25 39 48

SLHA Bougouni Gniki SIDIBE Chef service 75 10 05 28

CSREF Yanfolila Adama SIDIBE Responsable hygiène 75 38 98 34

Yanfolila Mme SIDIBE Rokia DIAKITE

4eme Adjoint

SCREF Selingué Balla TANGARA Responsable hygiène 78 13 50 12

FELASCOM Selingué Madou DOUCOURE Président FLASCOM 76 89 56 87

SLH KATI Moussa KONDE Chef de service

SACPN KATI Mme DIARRA Djiri TRAORE

Chef de service 66 85 84 95

Kati SACPN Sidiki BERTHE Charge d’hygiène

Kati CSREF Malik BALAME Responsable d’hygiène 66 5973 30

KatI CSREF Ismael SIMAGA Médecin chef Kati

CSCOM N'golobougou Ladji Soma Camara DTC 75 27 24 57

CSCOM de Banko Adama YATTARA DTC

CSCOM de Farabana Aja Traoré DTC

CSCOM de Djoliba Souleymane Coulibaly D TC 76 15 70 74

CSCOM BOUGOUNI Jean charles Dembelé DTC 66769122

CSCOM KIGNAN Magné Fané DTC 75235387

CSCOM KOLODIEMA Adame Bengaly DTC 76369457

CSCOM KADIOLO Awa Sogodogo DTC 74248656

CSCOM YANFOLILA Daouda Kondori DTC 78713240

CSCOM YOROSSO Aissata Ballo DTC 75306981

CSCOM WAYERMA 1 Samba Dioné DTC 69582348

CSCOM Mancourani Kalilou Coulibali DTC 74 01 13 87

CSCOM Hamdallaye Mme sidibé Aminata Diarra

Infirmière 76 13 42 23

CSCOM Diomatene Karidiatou Dembelé DTC 91446771

CSCOM Bougoula Daouda Sanogho DTC 69578972

CSCOM Sirakelé Amadou Yalcouyé DTC 73156342

CSCOM de Molobala N'tiji Coulibali DTC

CSCOM N'goutjina Adama Traoré DTC 79150917

CSCOM Cincina Mme Dembélé Safiatou Dembéblé

DTC 78541015

CSCOM Ourikela Bassirou Cissouma DTC 72399956

CSCOM Tandio Mawa Daou DTC 70 07 64 42

CSCOM Mahou Aly Koné DTC 73379073

CSCOM N'Golona Mme Diarra Kadiatou Dagnogo

DTC 72 08 77 06

CSCOM Kiffosso Labassi Dembélé DTC 74626255

HYDROCONSEIL


CSCOM Dialakorobougou Mme Ouatara Aissata coulibaly

DTC 66 05 56 34

CSCOM Kourouma Souleymane coulibaly DTC 73 17 61 13

CSCOM Tella Abdoul Karim Koné DTC 76 56 79 07

CSCOM Kebeni Dr Boureima Diarra DTC 76 02 22 18

CSCOM Dio gare Mamadou Diarra DTC 75 38 79 55

CSCOM Degne koro Tidiani Sylla DTC 78 45 67 72

CSCOM Doumananba Abdoulaye Maïga DTC 91 36 17 84

CSCOM Dombila Dr Konaré Fadjo DTC 75 45 80 47

CSCOM Sanzana Diarra Fousseïny DTC 79 37 64 30

CSCOM Lofigué Traoré Bakary DTC 79 34 22 84

CSCOM Loulouni Dr Oumar Traoré DTC 76 19 55 44

CSCOM Famoussasso Adama Coulibaly DTC 76 79 20 23

CSCOM Tabakoro Mme Diarra Mariam Sidibé

DTC 78 86 99 79

CSCOM Kalaban coro extension sud Dr Mamadou Coulibaly

DTC 79 18 72 78

CSCOM Siracoro Méguètana Abbas Sangaré

DTC 71 11 65 50

CSCOM Dioïla central Dr Mory Bengaly DTC 79 22 15 84

CSCOM Falani Elhadji Ténéman Diakité DTC 75 0 1 44 62

CSCOM de Zaniéna Souleymane SYLLA DTC

CSCOM de Miniko Salim BENGALY DTC

CSCOM Blendio Yaya KONE DTC

CSCOM Dougoukolobougou

Souleymane OUATTARA

DTC

CSCOM Kébila Lassana BAGAYOKO DTC

CSCOM Kaara DIARRA Adama DTC

Toussékela Diakalia TRAORE DTC

CSCOM Kolosso Siaka Ballo DTC

Fougatié Yacouba DAOU DTC

Guelelenkoro Tolofoudié Léon DTC

Tiéoulena Dramane DABO DTC

Koloni Touba KONE DTC 75 40 73 43

carrière Ousmane Traoré DTC 79 38 66 62

Kangaré Moussa Bagayoko DTC 77 79 93 50

Tagan Souleymane Sangaré DTC 79 13 37 23

Binko Mahamadou B Traoré DTC 71 66 79 87

Keleya Pierre Koné DTC 76 04 76 75

Mamissa Zoumana Konaté DTC 76 24 12 30

Zantiébougou Hama Teme Adjoint DTC 76 56 14 09

Kléssokoro Samou Togola DTC 66 01 17 70

HYDROCONSEIL


Naréna Bafing Boiré Adjoint DTC 70 24 58 09

Balanbakama Mahamadou Sissoko DTC 65 54 24 06

Kourémalé Morisseré Coulibaly adjoint DTC 70 20 97 44

H. Keniéba Issa Ballo DTC 76 27 95 41

Karan Mahamane Zedan Touré Adjoint DTC 77 72 64 83

F.4.3. Liste des personnes présentes à l’atelier de restitution

Structure Prénom NOM Contact

HYDROCONSEIL Camille SALAUN [email protected]

CEFAD Garba KEBE [email protected]

Bornefonden Alhousseini MORBA [email protected]

UNICEF Lalaina Andrianamelasoa

[email protected]

SNV Abdoul Hamid Abdou [email protected]

SNV Bani SACKO [email protected]

CCISD/BECEYA Aïssatou TinkaBah [email protected]

CCISD/BECEYA Abdou K. Macalou [email protected]

UNICEF Yagouba DIALLO [email protected]

ONG CAR-D Idrissa DINA [email protected]

ONG CAR-D Halimatou MAIGA [email protected]

UNICEF Christine GAIGNEBET [email protected]



HYDROCONSEIL


F.5. Liste des centres de santé visités

Région Cercle District Sanitaire

Sikasso Bougouni Bougouni





Sikasso Kadiolo Kadiolo





Sikasso Sikasso Kignan





Sikasso Kolondieba Kolondieba





Sikasso Koutiala Koutiala





Sikasso Sikasso Niena




Sikasso Yanfohila Selingue





Sikasso Sikasso Sikasso





HYDROCONSEIL


Région Cercle District Sanitaire

Sikasso Yanfohila Yanfohila





Sikasso Yorosso Yorosso





Koulikoro Dioila Dioila




Koulikoro Kati Kalaban





Koulikoro Kangaba Kangaba





Koulikoro Kati Kati

Koulikoro Kati Kati

Koulikoro Kati Kati

Koulikoro Kati Kati

HYDROCONSEIL


F.6. Outils de collecte de données

F.6.1. Questionnaire dans les CS

Questionnaire avec le personnel du centre de santé

Doit être administré en présence du DTC ou son remplaçant, d'une infirmière et du gardien

A1 Nom de la Région

A2 Nom du District Sanitaire

A3 Nom de la structure de santé

A4

Interlocuteurs:

Nom, prénom, poste et contact




B Infrastructures et équipement

B1

Combien d’infrastructures ont été (ou seront après travaux) apportées par le projet:

B2

- Système d’adduction par panneaux solaires : nombre

B3 niveau de satisfaction

Très Bien/Bien/passable/insuffisant

B4

- Nombre total de robinets à l’intérieur du centre de santé (cour et salles): nombre



B6 - Latrines : nombre blocs

B7 nombre cabines



B9 - Incinérateur à déchets médicaux : nombre



B11

Avez-vous reçu un kit d'hygiène et d'assainissement et des équipements de gestion des déchets médicaux? oui/non

B12

Une fois utilisés, l'ASACO a-t-elle pu racheter du savon liquide, du gel

Oui/Non/NA

HYDROCONSEIL


désinfectant, de l'eau de javel et/ou du détergeant?

B13 Si non, pour quelle raison? pas fini/pas disponible/pas les

moyens/autre, préciser

B14

Les patients utilisent-ils les équipements du projet suivants:

- les points d'eau? Oui/Non/En partie/NA

- Les latrines ? Oui/Non/En partie/NA

- la poubelle noire ? Oui/Non/En partie/NA

- le lave-main ? Oui/Non/En partie/NA

B15

Le personnel du CS utilise-t-il les équipements du projet suivants :

- les points d'eau du projet? Oui/Non/En partie/NA

- les latrines du projet? Oui/Non/En partie/NA

- l'incinérateur à déchets? Oui/Non/En partie/NA

- les poubelles différenciées? Oui/Non/En partie/NA

- les équipements du kit d'hygiène? Oui/Non/En partie/NA

B16

Diriez-vous que vous vous êtes habitués à utiliser les équipements et infrastructures du projet et à les entretenir convenablement?

pas du tout/un peu/moyennement/beaucoup/tout à fait

C Renforcement du personnel du CS

C1

Avez-vous bénéficié de formations de la part du projet? oui/non

C2

Si oui, sur quels thèmes?

liste . . .

C3

Qu'avez-vous retenu des bonnes pratiques et des conseils sur la gestion des infrastructures et équipements EAH

Ne pas lire les options, attendre que la personne parle et cocher les bonnes pratiques retenues et indiquer si d'autres ont été citées

Il faut chlorer l'eau cocher

Il faut trier les déchets biomédicaux par catégorie cocher

HYDROCONSEIL


Il faut traiter les déchets biomédicaux pour éviter la contamination cocher

Il faut que les latrines soient propres et désinfectées cocher

Il faut que la cour soit propre cocher

Il faut désinfecter les lieux régulièrement cocher

il faut se laver les mains cocher

il faut décontaminer le matériel de soins cocher

Autre(s) bonne(s) pratique(s)

liste . . .

C11

A quelle fréquence mettez-vous en œuvre les conseils donnés par le projet? Jamais/Rarement/Souvent/Toujours

C12

Y-a-t-il des conseils qui vous semblent difficiles à appliquer ? Oui/Non

SI oui, lesquels et pourquoi?

liste . . . .

C13

Est-ce que vous avez élaboré un plan de gestion des déchets? (Oui/Non) Oui/Non/Pas encore

C14

A votre connaissance, y-a-t-il eu un concours « centre de santé propre » ? oui/non/NSP

C15 Si oui, votre CS y-a-t-il participé ? Oui/Non/NSP/NA

C16

Quelle est la stratégie de sensibilisation de l'ONG?

animation directe par l'animateur cocher

animation avec le personnel cocher

animation avec des relais cocher

animation avec le comité de gestion cocher

D ASACO

D1 L'ASACO a-t-elle bénéficié de formations sur :

D2 - la redevabilité et le

contrôle citoyen? Oui/Non/NSP

D3 - la planification

budgétaire annuelle et le Oui/Non/NSP

HYDROCONSEIL


recouvrement des coûts des intrants d'hygiène?

- autre(s) thème(s) (préciser)

liste . . .

D4

Pensez-vous que les formations reçues par les ASACO étaient de qualité ? Oui/Non/NSP/NA

D5 Est-ce que l'ASACO est active et joue bien son rôle? Très bien/Bien/Passable/Insuffisant

D6

Si non, pourquoi?

ouvert . . .

D7

L'ASACO a-t-elle mis en place un mécanisme pour permettre le recouvrement des coûts des intrants? (Oui/Non/NSP) Oui/Non/NSP

D8 Combien y-a-t-il de membres de l'ASACO? nombre hommes si sur ou NSP

D9 nombre femmes si sur ou NSP

E La communauté

E1

Est-ce que les pratiques d'hygiène des usagers du CS ont-été améliorées depuis l'arrivée du projet? oui/non/pas d'avis

E2

Diriez-vous que la communauté s'est approprié les nouveaux équipements et les utilise correctement? Bien/passable/insuffisant/pas d'avis

F Général

F1 Y-a-t-il des ruptures d'eau? oui/non

F2 Si oui, à quel moment? saison ; jour/nuit/jour et nuit

F3

Listez les besoins en eau, hygiène et assainissement dans le centre de santé qui existaient avant le projet

liste . . .

.

.

F4

Auxquels de ces besoins le projet n'a-t-il pas pu répondre?

liste . . .

F6

Pensez-vous que les besoins spécifiques des femmes enceintes et les filles ont été pris en compte par le projet? Oui/Non/En partie/NSP

F7 si non, recommandation:

Ouvert .

HYDROCONSEIL


F8

Pensez-vous que les besoins spécifiques des personnes très pauvres ont été pris en compte par le projet? Oui/Non/En partie/NSP


Ouvert .

F10

Pensez-vous que les besoins spécifiques des personnes handicapées ont été pris en compte par le projet? Oui/Non/En partie/NSP

F11 si non, recommandation: Ouvert

.

F12

Pensez-vous que les besoins spécifiques des personnes âgées ont été pris en compte par le projet? Oui/Non/En partie/NSP


Ouvert .

F14

Pensez-vous que les besoins spécifiques des enfants ont été pris en compte par le projet? Oui/Non/En partie/NSP

F15

si non, recommandation: Ouvert .

F16 Quels sont les principaux changements positifs apportés par le projet?

F17 changement positif 1

Ouvert .


Ouvert .


Ouvert .

F20

Est-ce que le projet a eu des impacts négatifs? Si oui lesquels? (ouvert)

Ouvert .

F24

Diriez-vous que le projet a contribué à l'amélioration de l'environnement du CS? pas du tout/un peu/beaucoup/tout à fait

F25

Pensez-vous que le projet a contribué à réduire le risque de transmission de maladies? Oui/Non

F26 Quelle a été votre implication dans le projet? très impliqué/impliqué/peu impliqué/pas du tout

F27

Comment se sont passés les relations avec les ONG? Si pas très bien, pourquoi? très bien/bien/pas du tout

F28

Comment se sont passés les relations avec les entreprises? Si pas très bien, pourquoi? très bien/bien/pas du tout

HYDROCONSEIL


F29 Avez-vous des commentaires sur le projet?

ouvert . . .

F30

Avez-vous des recommandations pour améliorer le projet?

ouvert . . .

F31

Avez-vous des recommandations pour la durabilité des acquis?

ouvert . . .

F.6.2. Grille d’observation dans les CS

Grille d'observations

faire le tour du centre de santé avec le gardien

A1 Nom de la Région

A2 Nom du District Sanitaire

A3 Nom de la structure de santé

B Etat général du CS

B1 Niveau de proprété générale de l’extérieur du CS (de 1 mauvais à 5 parfait)

B2 Le CS est clôturé (Oui/Non)

B3 Y-a-t-il des signes de défécation dans l'enceinte du CS? (Oui/Non)

C Infrastructures eau extérieures

C1 Le forage a-t-il été construit/réhabilité par le projet? (Oui/Non)

C2 Le projet a-t-il apporté le système d'énergie solaire? (Oui/Non)

C3 Le projet a-t-il installé un réservoir (château)? (Oui/Non)

C4 Ce réservoir fait-il au moins 2m3? (Oui/Non)

C5 Le projet a-t-il installé un robinet dans la cour? (Oui/Non)

C6 Est-il fonctionnel? (Oui/Non)

C7 Est-ce que la pression est bonne? (Oui/Non)

C8 Y-a-t-il des ruptures? (Oui/Non)

HYDROCONSEIL


C9

A quel moment? (ouvert) .

C10 Les travaux sont-ils terminés (Oui/Non)

C11

De 1 à 5, comment évalueriez vous la qualité des équipements du système adduction d'eau potable? (chiffre) si mauvaise, indiquer pourquoi dans "observations" (de 1 mauvais à 5 parfait)

C12 Les équipements du système adduction d'eau potable sont-ils être utilisés? (Oui/Non)

C13 Les équipements du système adduction d'eau potable sont-ils bien entretenus? (Oui/Non)

C14 Est-ce qu'il y a traitement de l'eau au niveau du réservoir (château) (oui/non)?

D Latrines

D1 Combien de latrines ont été construites ou réhabilitées par le projet? (Nombre de blocs)

(Nombre de cabines)

D2

De 1 à 5, comment évalueriez vous la qualité des latrines? (nombre) si mauvaise, indiquer pourquoi dans "observations" (de 1 mauvais à 5 mauvais)

D3 Les latrines sont-elles utilisées? (Oui/Non)

D4 Les latrines sont-elles propres et désinfectées? (Oui/Non/NA)

D5 Les latrines sont-elles bien entretenues? (Oui/Non/NA)

D6 Les surfaces à l'intérieur des latrines sont-elles lavables (carrelage)? (Oui/Non)

D7 Y-a-t-il des eaux stagnantes à l'intérieur ou auprès des latrines? (Oui/Non)

D8 Y-a-t-il une séparation Hommes/femmes des latrines? (Oui/Non)

D9 Y a-t-il une séparation usagers/personnel de santé? (oui/non)

D10 Ces séparations sont-elles bien indiquées? (oui/non)

D11 Les latrines sont-elles accessibles aux personnes handicapées? (Oui/Non)

D12 Est-ce qu'il est possible techniquement de vider la fosse? (système regard) (Oui/Non)

D13 Y-a-t-il un point de lavage des mains fonctionnel au niveau des toilettes? (Oui/Non)

HYDROCONSEIL


D14 Est-ce un robinet, un kit ou une bouilloire? (indiquer type)

D15 Est-ce que du savon ou un agent nettoyant est présent à cet endroit? (oui/non/NA)

E Incinérateur et fosses

E1 Le projet a-t-il apporté un incinérateur? (Oui/Non)

E2 La construction de l'incinérateur est-elle terminée? (Oui/Non/NA)

E3

De 1 à 5, comment évalueriez vous la qualité de l'incinérateur? (Nombre) si mauvaise, indiquer pourquoi dans "observations" (de 1 mauvais à 5 parfait)

E4 L'incinérateur a-t-il déjà été utilisé? (Oui/Non/NA)

E5 L'incinérateur est-il bien entretenu? (Oui/Non/NA)

E6 La température de l'incinérateur est-elle suffisante (800C°)? (oui/non/pas mesuré/non utilisé)

E7 Y-a-t-il un piromètre? (Oui/Non)

E8 Le dépôt est-t-il présent et en bon état? (Oui/Non)

E9 Les déchets sont ils bien séparés? (Oui/Non/NA)

E10 Les fosses suivantes sont-elles absentes/en construction/terminées/en attente d'utilisation?

E11 - fosse à digestion (déchets organiques) (ABS/EC/T/AU)

E12 - fosse à cendres (ABS/EC/T/AU)

E13 - fosse des tranchants (ABS/EC/T/AU)

E14 Le toit de la plateforme de gestion des déchets est-il absent? En construction? Terminé?

Le toit de la plateforme de gestion des déchets laisse-t-il passer l'eau? (Oui/Non/En partie)

E15 La clôture de la plateforme de gestion des déchets est-elle absente/en construction/terminée?

E16 La fumée qui sort de l'incinérateur redescend-elle dans les maisons? (Oui/Non/Non utilisé)

E17 A quelle heure est allumé l'incinérateur? (heure)

E19 Y a-t-il du gasoil pour allumer le feu? (Oui/Non/Non utilisé)

E20

Est-ce qu'il y a des équipements de protection (combinaison, bottes, lunettes et gants)? (Oui/Non)

HYDROCONSEIL


F A l'intérieur du CS

F1 Niveau de proprété générale de l'intérieur du CS (de 1 mauvais à 5 parfait)

F2

Est-ce qu'il y a des traces de présence d'agents vectoriels (rats, cafards, mouches, lezards…)? (oui/non)

F3 Est-ce qu'il y a des affiches dans le CS? (Oui/Non)

F4 Si oui, de quels thèmes traitent-elles?

F5 - hygiène de l'eau (oui/non)

F6 - gestion des latrines (oui/non)

F7 - gestion des déchets (oui/non)

F8 - hygiène des mains (oui/non)

F9 - désinfection (oui/non)

F10 autre (préciser)

F11 est-ce qu'une partie de ces affiches a été apportée par le projet? (oui/non)

F12

Les affiches et support éducatifs sont-ils affichés aux endroits bien visibles par les usagers? (Oui/Non)

F13 Y a-t-il des boites de sécurité pour les aiguilles? (oui/non)

F14

Y-a-t-il des poubelles suivant le code couleur noir,rouge, jaune dans les unités de soins (maternité, salles de soin, salle d'hospitalisation)? (Oui/Non)?

F15

Ces poubelles sont-elles utilisées de manière adéquate (vérifier les déchets à l'intérieur) (Oui/Non)

F16 Quel est le niveau de remplissage des poubelles (vides/presque vide/normal/trop rempli)?

F17 Y-at-il des équipements de sécurité et de transport? (gants, brouette…) (Oui/Non)

F18 Est-ce qu'il y a des moustiquaires au niveau des lits? (Oui/Non)

F19

Est-ce qu'il y a des moustiquaires aux portes et fenêtres de l'établissement? (Oui/Non)

G Points d'eau intérieurs

G1 Combien y-a-t-il de robinets dans le CS? (Nombre)

HYDROCONSEIL


G2

Est-ce qu'il y a un robinet dans dans toutes les unités de soins, les toilettes, les douches, la buanderie, le lavoir, la cantine, la cour, le bloc administratif et la morgue ? (Oui/Non)

G3 L'eau coule-t-elle à chaque robinet? (Oui/Non)

G4 Y-a-t-il un chauffe eau pour la maternité? (Oui/Non)

G5 Si oui, le chauffe-eau est-il fonctionnel? (Oui/Non)

H Magasin

H1 Le kit d'hygiène et d'assainissement est-il disponible? (Oui/Non)

H2

Si oui, dans la liste suivante, est-ce qu’il manque quelque chose (indiquer la ou les lettres correspondantes aux équipements dans la liste ci-dessous) :

H3

A/ Dispositifs de lavage de mains collectifs ; B/Savon liquide (flacon de 1l avec pompe doseuse) ; C/Solution hydro alcoolique ou gel désinfectant (flacon de 75 ml) ; D/Seau plastique de 10 litres avec couvercle pour le transport de l’eau de boisson ; E/Glacière en plastique avec robinet solide, pour la conservation de l’eau de boisson dans les salles ; F/Eau de Javel à 12°cl; G/Bouilloire en plastique ;H/ Seau métallique léger avec anse pour le nettoyage des latrines ; I/Crésyl pour le nettoyage des latrines ; J/Détergeant pour le nettoyage des salles et des latrines ; K/Brosse à long manche ; L/Brouettes ; M/Poubelles plastiques avec couvercle de couleur noire pour la cour ; N/Poubelles plastiques avec couvercle et respect du code de couleur (noire, jaune et rouge) avec code de pour les salles ; O/Petite pelle ramasse poussière en plastique

H4 Les équipements du kit sont-ils bien utilisés? (Oui/Non)

H5 Y-a-t-il des équipements et réactifs pour le contrôle de la qualité de l'eau? (Oui/Non)

H6 Pour combien de temps y a-t-il des stocks des intrants suivants (indiquer le temps en jours):

H7 - chlore

H8 - javel

H9 -savon

H10 - gel désinfectant

I Général

I1 Les infrastructures et les équipements sont généralement bien entretenus? (Oui/Non)

I2 Observations (ouvert)

HYDROCONSEIL


F.6.3. Guide d’entretien qualitatif au niveau national

Questions

UN

ICEF

UE

Ad

min

istr

atio

n

Par

ten

aire

s d

e m

ise

en

oeu

vre

Au

tre

s

acte

urs

du

sect

eu

r

Quel a été votre implication dans le projet?

X X X X

Pensez-vous que le projet répond aux besoins des acteurs du sous-secteur? des bénéficiaires? Quels sont les besoins auxquels le projet n'a pas répondu selon vous? X X X X X

Le projet est il en ligne avec les politiques et stratégies nationales? Quels aspects du projet pourraient aller à l'encontre des politiques et stratégies nationales? X X X

Quel est le niveau de complémentarité du projet avec les autres interventions dans le sous-secteur? A-t-il introduit des doublons? Y-a-t-il eu une coordination avec les interventions ayant les mêmes objectifs? X X X X X

Qu'a apporté le projet de plus ou de mieux que d'autres interventions dans le secteur? X X X X X

Quel a été le rôle de l'UNICEF dans l'amélioration récente du cadre institutionnel au niveau national ? X X X X X

Comment se sont passées les relations avec l'UNICEF, les ONG, les entreprises? La DNS, les DR? X X X X X

Quels sont, selon vous, les principaux changements positifs apportés par le projet? Quels sont les principaux changements négatifs dûs au projet? X X X

Pensez-vous que les résultats du projet sont susceptibles de durer? Quels pourraient être les raisons qui écourteraient les effets positifs du projet? X X X

Selon vous, est-ce que des mesures ont été prises pour éviter les risques et favoriser la pérennité des résultats au niveau national? X X X X X

Est-ce que le suivi des activités vous a semblé efficace? Est-ce qu'il a permis à l'UNICEF de prendre des mesures pour atteindre les objectifs dans les temps? X X X

Pensez-vous que le budget était bien proportionné par rapport aux activités? X X X

Avez-vous apporté le paquet EAH dans des centres de santé? Si oui, est-il possible de nous indiquer le budget que vous avez prévu par structure pour comparaison? X

Pensez-vous que certains coûts auraient pu être évités ou réduits pour atteindre les mêmes résultats? X X X

quels sont les points forts, les points faibles du projet? X X X X

avez-vous des recommandations? X X X X

HYDROCONSEIL


F.6.4. Guide d’entretien qualitatif dans les régions

Entretien qualitatif dans les régions 1 à 3 personnes d'une structure cible (FELASCOM, CSRef, SLH, SACPN, Commune…)

A1 Date

A2 Structure concernée et district/région

A3

Interlocuteurs:

Nom et prénom, fonction, contact



A4

Quel a été votre rôle dans la mise en œuvre du projet ?

.

.

.

.

.

A5

Quelles sont les activités auxquelles vous avez participé ?

.

.

.

.

.

A6

Etes-vous satisfait avec ce niveau d’implication ? Pourquoi?

.

.

.

.

.

A7

Quels ont été les problèmes auxquels vous avez été confrontés avec ce projet?

.

.

.

.

.

A8

Etaient-ce des activités de qualité? Pourquoi?

.

.

.

.

A9

Pensez-vous que le projet répond aux besoins des acteurs du sous-secteur? des bénéficiaires?

.

.

.

.

.

A10

Quels sont les besoins auxquels le projet n'a pas répondu selon vous?

.

.

.

.

.

A11

Y a-t-il ou y a-t-il eu d'autres projet WASH dans les Centres de santé dans votre aire d'intervention?

.

.

.

.

.

HYDROCONSEIL


A12

Si oui, Comment se fait la coordination et la collaboration avec les autres projets ?

.

.

.

.

A13

Si oui, quelles sont les principales différences entre ce projet et les autres projets dans la région (originalité /valeur ajoutée) ?

.

.

.

.

.

A14

Est-ce que vous diriez que le projet UNICEF est mieux/moins bien/équivalent aux autres projets EAH dans les centres de soins?

.

.

.

.

.

A15

Le projet a-t-il permis de fournir aux CSCOM le paquet minimum WASH selon vous? Sinon, que manque-t-il?

.

.

.

A16

Le projet a-t-il permis d'améliorer les pratiques dans les CS et les communautés?

.

.

.

A17

Quels sont, selon vous, les principaux changements positifs apportés par le projet? Quels sont les principaux changements négatifs dûs au projet?

.

.

.

.

.

A18

Le projet a-t-il eu des impacts négatifs? Si oui, lesquels?

.

.

.

.

A19

Pensez-vous que les résultats du projet sont susceptibles de durer?

.

.

.

.

.

A20

Quels pourraient être les raisons qui écourteraient les effets positifs du projet?

.

.

.

.

.

A21

Avez-vous des recommandations pour la durabilité des effets du projet?

.

.

.

.

.

A22

Quels sont à votre avis les points forts du projet, en termes de méthodologie du projet?

.

.

.

.

.

A23 Quels sont les points faibles ?

.

.

.

HYDROCONSEIL


A24

Avez-vous des recommandations? . .

F.7. Commentaires reçus et prise en compte

F.7.1. Commentaires de l’UNICEF

Commentaires Prise en compte

Ajouter Logo UNICEF et Union Européenne sur 1ère page

Pris en compte

Enlever présenté par Hydroconseil. Pris en compte

Objectifs de l’évaluation à reformuler (p.13) Pris en compte

Rajouter une définition des frais généraux du tableau page 30

Pris en compte

Rajouter dans les recommandations pour le Hard : renforcement de capacités des entreprises.

Pris en compte

Enlever les photos des châteaux d’eau, qui ne correspondent pas à ceux du projet.

Pris en compte

Développer les leçons apprises Pris en compte

Ajouter une introduction des recommandations Pris en compte

Enlever les recommandations qui ne s’adressent pas à l’UNICEF

Discuté : cela suit la checklist UNICEF pour les évaluations WASH donc recommandations pour les autres acteurs maintenues.

Recommandations : les faire plus générales. Valables pour le programme, en dehors du projet et les articuler en stratégique/mise en œuvre...

Pris en compte

F.7.2. Commentaires reçus lors de l’atelier de la restitution

Commentaires Prise en compte Les communes ont été impliquées, mais elles se sont faiblement approprié le projet

Pris en compte

Une nouvelle réunion de la taskforce a eu lieu le 26 Juillet, son rythme est passé de mensuel à trimestriel

Pris en compte

Les constats sous le critère impact sont plutôt des effets puisque l’évaluation est intervenue trop tôt

Phrase modifiée dans les limites méthodologiques

Il faut nuancer le taux d’utilisation des équipements puisque c’est ce que disent les DTC et pas le résultat des observations.

Nuance ajoutée

Les problèmes de construction des incinérateurs ont été partiellement adressés : les incinérateurs avec des joins en banco ont été reconstruits avec des joins en argile.

Phrase ajoutée

Leçons apprises co-construites Ajoutées

HYDROCONSEIL


F.8. Termes de Références de l’évaluation B.1 Contexte

Le projet sur la Promotion d’Eau, Assainissement et Hygiène (EAH) dans les structures de soins au Mali a démarré officiellement le 11 novembre 2015, avec la signature entre la Délégation de l’Union Européenne au Mali et l’UNICEF, pour une durée de 18 mois.

L’épidémie de Maladie à Virus Ebola qu’a connu le Mali à partir de septembre 2014 a révélé les faiblesses du système sanitaire du pays, qui s'explique en partie par les mauvaises conditions et pratiques d'hygiènes et d'assainissement et le manque d’accès à l’eau potable dans les structures de santé. Grace au financement de l’Union Européenne, l’UNICEF met en œuvre le projet de promotion d’Eau, Assainissement et Hygiène (EAH) dans les structures de soins au Mali pour objectif d’améliorer les conditions d'eau, d’assainissement et d’hygiène dans les structures de soins des Régions de Sikasso et Koulikoro (Districts sanitaires de Kati, Kangaba, Dioila). Plus précisément, ce projet vise à renforcer le cadre institutionnel pour l'EAH dans les structures de soins de santé d'une part, et d'autre part à installer un paquet EAH standard dans 263 structures de santé dans les régions ciblées.

Les résultats visés par le projet sont :

Résultat 1 : Le cadre institutionnel pour l’Eau, l’Assainissement et l’Hygiène dans les structures de soins au Mali est renforcé par une meilleure gestion de l’information, une coordination plus efficace des acteurs, et des stratégies et normes techniques approuvées (Niveau National).

Résultat 2 : Un paquet Eau, Assainissent et Hygiène, conforme aux standards techniques élaborés, est mis en place dans 213 structures de soins, bénéficiant à environ 2.400.000 résidants dans les districts sanitaires ciblés.

En collaboration étroite avec les services techniques nationaux et régionaux, la phase de diagnostic des structures de soins dans les régions de Sikasso et Koulikoro a été réalisée dans 334 structures et a permis de constituer un état des lieux sur l’offre, les besoins et la demande en infrastructures EAH pour chacun de ces structures de santé. La phase de sélection des sites d’intervention a permis de dégager une priorisation des besoins et de valider les centres de Santé cible du projet en coordination avec les autres intervenants du secteur.

Le projet Promotion d’Eau, Assainissement et Hygiène (EAH) dans les structures de soins au Mali est réalisé en partenariat avec le gouvernement du Mali à travers la Direction Nationale de la Santé à travers sa Division de l’Hygiène publique et de la Salubrité du Ministère de la Santé et de l’Hygiène Publique et les Organisations de la Société Civile.

Durant la réalisation du projet, des évaluations techniques des centres de soins, sur les infrastructures existantes ont été fait. Et pour le suivi, six (06) missions de suivi ont été effectuées par des administrateurs de l’UNICEF et deux (02) rapports intermédiaires sont disponibles sur les activités du projet.

Le plan de suivi du projet repose sur une revue qualitative de l’ensemble des actions menées et résultats atteints, afin de mesurer lìmpact du paquet EAH sur les pratiques hygiéniques, y compris le traitement de lèau et làssainissement. Afin de vérifier les données et obtenir les informations de détails, le bureau de zone de l’Unicef basé à Sikasso travaillera en étroitement avec les DHPS/DRS dans le cadre de la mise en œuvre des activités de monitorage de façon conjointe.

B.2 Objectifs

L’évaluation couvrira toute l’étendue du projet dans le temps et dans l’espace : elle concernera la durée totale de 18 mois et toutes les zones d’interventions. L’objectif de l’évaluation est de déterminer, par une méthode d’évaluation bien définie, la pertinence des résultats et de l’impact du projet réalisé dans les 263 structures de soins dans les 3 districts de sante listés en annexe, avant fin juillet 2017.

HYDROCONSEIL


Les présents TDRs vise à recruter un cabinet d’évaluation ou un bureau d’étude, suivant les procédures de UNICEF, et respectant toutes les conditions pré-requises pour ce type d’intervention, afin d’atteindre ces objectifs.

B.3 Activités et tâches Méthodologie de collecte des données Les présents termes de références étant rédigés en vue de recruter un bureau d’études qui : 1. proposera le cadre complet et le plan d’exécution de l’évaluation externe des activités financées par

l’Union Européenne en se basant sur les orientations proposées plus bas, en complémentarité avec les données déjà disponibles sur le programme

2. conduira cette même évaluation dans les régions concernées au Mali, en mobilisant les compétences nécessaires dans les délais indiqués.

Le critère de l’impact sera évalué principalement de manière qualitative en prenant en compte la perception des bénéficiaires et parties prenantes. Il est fourni avec le présent document, dans le tableau

en ANNEXE N01 quelques propositions de questions d’évaluation liées à chaque critère, classées par ordre de priorité. L’équipe d’évaluation finalisera la liste des questions et sous-questions d’évaluation (précisées et contextualisées) après la réunion de cadrage avec le comité de suivi de l’évaluation, et élaborera une base de jugement ou des indicateurs pour chaque question. Pour répondre à ces questions d’évaluation, le bureau d’études devra utiliser une approche essentiellement qualitative, non expérimentale, et une combinaison de plusieurs méthodes de collecte des données :

(i) revue documentaire au Mali et sur internet,

(ii) entretiens individuels et en groupe semi-structurés (analyse quantitative et qualitative) avec les

parties prenantes (services techniques de la sante, Assainissement, Hydraulique et Santé au niveau national, régional et/ou cercle, les ONG partenaire de mise en œuvre du projet, …), des bénéficiaires,

(iii) enquêtes et observations sur le terrain (échantillon de structures de soins).

L’équipe d’évaluateurs commencera son travail à Bamako avant de se rendre sur le terrain dans les 2 régions concernées. Les sites à visiter et les parties prenantes à interviewer seront sélectionnés basé sur un échantillonnage proposé par les évaluateurs (dans un souci de représentativité mais en tenant compte des contraintes logistiques, de temps et de budget) et validé avec le comité de suivi de l’évaluation. Le cabinet est sollicité à proposer une méthodologie détaillée, en adéquation avec les besoins d’UNICEF, et respectant un cadre logique pour atteindre les objectifs de la mission, à savoir, il faut démontrer : - Le plan de travail et les approches de la mise en œuvre des activités, suivant les orientations des

TDRs ;

- La stratégie de réalisation, de suivi et le mécanisme de contrôle qualité des données et des analyses;

B.4 Résultats attendus Il sera attendu de cette évaluation les résultats suivants : Résultat 1 : Disponibilité des données et analyses de qualité, permettant de mesurer (i) les véracités et impacts des résultats du programme à évaluer, (ii) l’étendue de la collaboration entre toutes les parties prenantes et (iii) la redevabilité de UNICEF et de ses partenaires vis-à-vis du bailleur de fond ; Résultat 2 : Disponibilité d’un document d’évaluation de qualité, suivant les normes internationales, mettant en exergue les perspectives de continuité et de durabilité des actions entreprises en terme de WASH dans les structures de santé, et les pistes d’amélioration des actions futures.

B.5 Produits attendus

HYDROCONSEIL


L’évaluation devra permettre de proposer des améliorations relatives à la conception, à la mise en œuvre, et à la durabilité des actions entreprises et des résultats obtenus. Ainsi, l’évaluation sera un moyen d’assurer la prise en compte des bonnes pratiques recensées au niveau international et de proposer d’autres innovations possibles. L’UNICEF utilisera ces recommandations pour réviser son approche et ses outils en concertation avec ses partenaires. Suivant le calendrier provisoire établi dans la présente demande de proposition, le cabinet fournira les produits suivants : 1. Rapport de démarrage (au plus tard une semaine après le briefing de démarrage et de cadrage) qui

comprendra :

- une brève description du programme, de son contexte, zones d’intervention, chronologie, modalités de mise en œuvre et acteurs impliqués

- la description détaillée de la méthodologie à appliquer, le planning réel par rapport au deadline et l’organisation logistique et ressources humaines.

1. Rapport final en version française ayant passé toutes les étapes de validation comprenant :

- Résumé exécutif

- Rappel de la description du programme ;

- Objectifs, méthodologie, chronogramme de l’évaluation et difficultés rencontrées / limites de l’analyse

- Résultats en termes de pertinence, efficience, efficacité, impact, durabilité

- Analyses et remarques additionnelles (genre, équité, …)

- Leçons apprises, défis, conclusions, recommandations, plan d’action

- Droit de réponse de l’UNICEF

- Annexes

Note : Le rapport final devra respecter les standards UNICEF relatifs à la qualité des rapports d’évaluation16. La grille d’évaluation sera fournie. Le rapport et l’ensemble des données collectées et produites par l’équipe d’évaluation restent la propriété exclusive de l’UNICEF.

B.6 Lieux et durée La prestation d’évaluation débutera approximativement le 1er juin 2017, ne doit pas excéder 45 jours et devra être terminée avant fin juillet 2017. Le Bureau d’études proposera un chronogramme détaillé dans son offre technique, précisant la répartition de tâches entre les membres de l’équipe d’évaluation et le nombre d’hommes-jours de chacun des membres au niveau de chaque activité. Séquençage de la prestation : Le séquençage dans le tableau ci-dessous est une proposition indicative qui peut être améliorée par le Soumissionnaire dans son offre technique. La colonne de droite indique une durée prévisionnelle pour l’activité et non une quantité d’hommes-jours.

1. Activités préparatoires aux collectes et analyses d’informations et de données (5 jours) :

- Briefing de démarrage et de cadrage avec les responsables de l’UNICEF et des Organisations partenaires.

- Finalisation des questions et sous-questions d’évaluation.

- Proposition et validation de la méthodologie d’évaluation, du mode de collecte des données pour chaque question d’évaluation, de l’échantillonnage pour les entretiens et les enquêtes sur terrain, et développement des outils de collecte.

- Validation du planning détaillé de la prestation.

HYDROCONSEIL


2. Revue documentaires et Collecte des données à Bamako (entretiens avec les parties prenantes et revue documentaire complémentaire) (7 jours)

3. Collecte des données par enquêtes dans les zones d’intervention (échantillonnés a partir de la liste jointe et le nombre basé sur la méthodologie d’échantillonnage proposée par l’évaluateur et validée par UNICEF) : entretiens avec les parties prenantes et les bénéficiaires, observations terrain, mesures / tests… (20 jours)

4. Traitement et analyse des données collectées.

- Production et validation de rapport final suivant des étapes de validation a définir ensemble dans la méthodologie. (10 jours)

5. Séance de restitution (préparation et facilitation) (5 jours)

Durée prévisionnelle = 47 jours

B.7 Qualifications requises i. L’évaluation sera conduite par un cabinet d’évaluation ou un bureau d’étude disposant des

expériences et qualifications suivantes :

Au moins 7 expériences dans la conduite d’une étude de baseline ou d’évaluation de projet d’envergure similaire, dont au moins 3 expériences d’une étude de baseline ou d’évaluation de projet d’envergure similaire dans le domaine de WASH

ii. Le cabinet ou bureau d’études devra disposer d’une équipe formée d’au moins 2 professionnels (un international et un national), dont le chef de mission et l’expert évaluateur assistant le chef de mission.

Les deux personnes doivent avoir une formation initiale dans un domaine relatif à l’eau, l’hygiène et/ou l’assainissement, ou sciences politiques et sociales, gestion, suivi-évaluation de projet ou autres domaine en rapport avec le travail requis, avec les profils respectifs suivant :

- Le chef de mission disposant d’au moins 5 expériences professionnelles dans la planification, la mise en œuvre, le suivi et l’évaluation de programmes, spécifiquement eau, hygiène et assainissement dans les pays en développement ; au moins 2 expériences dans l’évaluation de projets WASH en Afrique subsaharienne est exigée.

- Un expert disposant d’au moins 5 expériences professionnelles dans la planification, la mise en œuvre, le suivi et l’évaluation de programmes eau, hygiène et assainissement dans les pays en développement ; Présentant au moins une solide expérience en WASH au Mali ainsi que des expertises en traitement de données.

iii. Le cabinet ou bureau d’études est en droit de proposer dans son équipe des compétences pluridisciplinaires supplémentaires en adéquation avec la méthodologie proposée, notamment en terme de :

- aspect technique sur le volet WASH ; aspect gouvernance dans le secteur sante et gestion technique, organisationnelle et financière des ouvrages WASH dans le contexte de la décentralisation ;

- aspect sensibilisation, changement de comportement et techniques de formation ; aspect collaboration avec les acteurs étatiques et leurs partenaires au développement ; aspects suivi-évaluation

Pour toutes les personnes proposées, il est conseillé d’avoir : - les compétences en recherche qualitative et en approches d’évaluation participative ; - les aptitudes à travailler en autonomie ;

- les aptitudes de haut niveau en communication interpersonnelle et institutionnelles ;

- les capacités de rédiger les rapports, documents et présentations en français.

iv. La liste des personnels proposée dans l’offre technique doit être accompagnée par les CV de ces mêmes personnes.

v. Le cabinet ou bureau d’évaluation doit fournir une offre technique incluant la méthodologie telle que demandée dans le présent TDRs.

HYDROCONSEIL


B.8 Points administratifs La firme doit fournir dans la proposition financière tous les coûts nécessaires afférents à la réalisation du projet. Lorsque des voyages sont prévus, ils doivent être clairement spécifiés dans la proposition financière (par exemple l'emplacement, la durée, le nombre de voyages, etc.). Il est essentiel de préciser que le coût estimatif des voyages doit être calculé sur la base de voyage en classe économique, indépendamment de la durée du voyage. Aucun cout non listé dans l’offre financière ne sera accepté après la signature du contrat

B.9 Management du projet Le responsable du suivi technique et organisationnel de ce projet est le Consultant Wash dans les Institutions. La supervision de la prestation et du contrat sera assure par le Wash Specialist de l’UNICEF Mali.

B.10 Echéancier de paiement Le paiement sera effectué à 100% après réception du rapport final de la mission d’évaluation

F.9. Présentation de l’équipe d’évaluation Position Nom Profil (éléments clé)

Chef de mission Martina RAMA Politologue, spécialiste des aspects institutionnels des services EAH, 11 ans d’expérience dans le secteur avec une dizaine d’évaluations

Adjointe à la chef de mission

Camille SALAUN Socio-économiste spécialiste des services EAH dans les pays en développement, 3 ans d’expérience dont 4 évaluations EAH et 6 enquêtes

Assistant à la chef de mission – consultant national

Garba KEBE Socio-économiste géographe, 19 ans d’expérience en tant qu’expert eau, assainissement, hygiène et santé au Mali.

Enquêteur Boubacar BOCOUM

Socio-anthropologue, 11 ans d’expérience en projets EAH

Enquêteur Mahamane KEBE

Economiste, 11 ans d’expérience en suivi-évaluation et supervision de projets, dont EAH