GUIDE POUR L’EVALUATION DE LA DURABILITE …...et ce, tout en utilisant les ressources mobilisées par la communauté et le gouvernement..» Dans cet exercice, nous allons utiliser

Direction d’APOC, version révisée de septembre 2004 1

GUIDE POUR L’EVALUATION DE LA DURABILITE DES

PROJETS TIDC D’APOC

Septembre 2004 PROGRAMME AFRICAIN DE

LUTTE CONTRE L'ONCHOCERCOSE CONTROL

ORGANISATION MONDIALE DE LA

SANTE

Direction d’APOC, version révisée de septembre 2004 i

INDEX ABREVIATIONS ET ACRONYMES.......................................................................................................................... III

1. INFORMATIONS DE BASE ................................................................................................................................... 1 1.1 QU’EST-CE QUE LA ‘DURABILITE’ ?...................................................................................................................... 1

1.1.1. Définition ..................................................................................................................................................... 1 1.1.2 Aspects de la durabilité ............................................................................................................................... 1

1.2 EXAMEN APPROFONDI DES PROJETS: NIVEAUX ET INDICATEURS ......................................................................... 2 1.2.1 Instruments et niveaux ................................................................................................................................. 3 1.2.2. Indicateurs de durabilité ............................................................................................................................. 3 1.2.3. Indicateurs des activités et des processus: leadership ............................................................................... 4

2. PREPARATIFS DE LA VISITE D’EVALUATION............................................................................................. 5 2.1 ROLE DE LA DIRECTION D’APOC ........................................................................................................................ 5 2.2 TERMES DE REFERENCE DE L’‘ECLAIREUR’.......................................................................................................... 5 2.3 LES AUTRES MEMBRES DE L’EQUIPE D’EVALUATION ........................................................................................... 6

3. GESTION DE LA VISITE D’EVALUATION....................................................................................................... 7 3.1 ECHANTILLONNAGE.............................................................................................................................................. 7 3.2 DEROULEMENT DE LA VISITE................................................................................................................................ 7

3.2.1 Constitution de l’équipe............................................................................................................................... 7 3.2.2 Calendrier de la visite ................................................................................................................................. 8 3.2.3 Détails du programme: l’évaluation elle-même ....................................................................................... 10 3.2.4. Détails du programme: retro-information et plaidoyer ........................................................................... 12

3.3 UTILISATION DES INSTRUMENTS SUR LE TERRAIN.............................................................................................. 12 3.3.1. Commentaires introductifs ........................................................................................................................ 12 3.3.2. Utilisation des instruments ........................................................................................................................ 13 3.3.3 Pourquoi pas un questionnaire formel?.................................................................................................... 15 3.3.4. Gestion des données .................................................................................................................................. 16 3.3.5. Evaluation du processus d’évaluation ...................................................................................................... 16

4. ANALYSE DES DONNEES ET RECOMMANDATIONS................................................................................ 17 4.1. ASSEMBLAGE DES DONNEES............................................................................................................................... 17 4.2 RESUME QUALITATIF DES PRINCIPAUX RESULTATS (EN MOTS) .......................................................................... 17 4.3 NOTATION DES INDICATEURS ............................................................................................................................. 18

4.3.1 Notation de chacun des indicateurs .......................................................................................................... 18 4.3.2 Notation de groupes d’indicateurs ............................................................................................................ 19

4.4 FAUTES COURANTES DANS L’ANALYSE DES DONNEES ....................................................................................... 20 4.5 FORMULATION DE RECOMMANDATIONS............................................................................................................. 21 4.6 NOTATION DE L’ENSEMBLE DU PROJET .............................................................................................................. 22

4.6.1 Un jugement qualitatif, basé sur les ‘aspects’ et ‘éléments essentiels’ de la durabilité.......................... 22 4.6.2 Un jugement quantitatif, basé sur les notes données à chacun des indicateurs ...................................... 23 4.6.3 Confronter les jugements quantitatif et qualitatif ..................................................................................... 23

4.7 DIFFERENCE ENTRE LES EVALUATIONS DE 3E ET DE 5E ANNEES............................................................................... 24 5. ELABORATION DES PLANS DE DURABILITÉ............................................................................................. 26

5.1. PREPARATIFS DES ATELIERS................................................................................................................................... 26 5.2. ATELIERS A DIFFERENTS NIVEAUX ..................................................................................................................... 27

5.2.1. L'atelier au niveau de projet...................................................................................................................... 27 5.3 ORGANISATION DES ATELIERS............................................................................................................................ 28 5.4. PROGRAMME DE L’ATELIER................................................................................................................................ 29

5.4.1. Programme global ..................................................................................................................................... 29 5.4.2. Détails des points du programme.............................................................................................................. 30 5.4. 3. Le rôle des facilitateurs d'atelier.............................................................................................................. 31

5.5. APRES LES ATELIERS........................................................................................................................................... 32 6. REDACTION DU RAPPORT................................................................................................................................ 33

6.1. LA STRUCTURE DU RAPPORT................................................................................................................................... 33 6.2. LE RAPPORT DES SIEGES NATIONAUX ..................................................................................................................... 34 6.3. DIFFUSION DU RAPPORT ......................................................................................................................................... 34

ANNEXES......................................................................................................................................................................... 35

Direction d’APOC version révisée de septembre 2004 ii

ANNEXE 1: LETTRE AUX PERSONNES A INTERVIEWER .............................................................................. 35

ANNEXE 2 : DOCUMENTS NECESSAIRES POUR LA REVUE LITTERAIRE................................................ 36

ANNEXE 3: QUESTIONNAIRE DESTINE AU PERSONNEL DE DISTRICT SANITAIRE/ADMINISTRATION LOCALE SUR LEUR TRAVAIL DE TIDC .................................................. 38

ANNEXE 4: INSTRUCTIONS POUR LES TRAVAUX DE GROUPE DANS LES ATELIERS DE ‘RESTITUTION/PLANIFICATION’ ........................................................................................................................... 41

ANNEXE: 5 PROSPECTUS SUR LA DURABILITE ................................................................................................ 44

Direction d’APOC, version révisée de septembre 2004 iii

ABREVIATIONS ET ACRONYMES APOC Programme Africain de Lutte contre l’Onchocercose TIDC Traitement à l’Ivermectine sous Directives Communautaires DC Distributeur Communautaire ECD Equipe Cadre Médical de District MCD Médecin Chef de District RDC République Démocratique du Congo FSPL Formation Sanitaire de Première Ligne ESPM Education sanitaire, Sensibilisation, Plaidoyer, Mobilisation LGA Local Government Authority (Administration Locale (au Nigeria) MINSAN Ministère de la Santé ONGD Organisation non-gouvernementale de Développement NOC national onchocerciasis coordinator (Coordonnateur National de la Lutte contre

l’Onchocercose) PNLO Programme National de Lutte contre l’Onchocercose GTNO Groupe de Travail National de la Lutte contre l’Onchocercose REMO Cartographie Epidémiologique Rapide de l’Onchocercose SWOT exercice sur les "Forces, Faiblesses, Opportunités, Menaces" OMS Organisation Mondiale de la Santé WR Représentant de l'OMS dans le pays


1. INFORMATIONS DE BASE Dans cette section, nous vous introduisons à d’importantes informations qui vous aideront à comprendre pourquoi et comment nous évaluons la durabilité des projets TIDC. En 2000, l’APOC a commandité une évaluation externe. Dans son rapport, l’équipe d’évaluation a noté que d’importants progrès avaient été faits dans la lutte contre l’onchocercose, depuis que l’APOC a mis des fonds à la disposition de ses pays membres. «La stratégie d’APOC de Traitement à l’Ivermectine sous Directives Communautaire (TIDC) s’avère une stratégie innovatrice et opportune pour lutter contre un fléau de grande envergure. Les communautés ont été impliquées à grande échelle dans tous les aspects de leurs propres soins de santé, toutes choses qui augurent bien de la durabilité.» L’équipe a cependant souligné sa ‘profonde inquiétude par rapport à la durabilité de cette activité et de l’enthousiasme, lorsque le financement de l’APOC prendra fin.’ Elle a aussi noté qu’il y avait ‘peu de planification absolue pour mobiliser des ressources et mettre en place les mécanismes de routine qui assureront la poursuite du programme.’ En réaction à ces conclusions, la Direction d’APOC a mis sur pied une équipe de travail, avec les termes de référence suivants: Développer un cadre avec des indicateurs réalistes et mesurables de durabilité. Evaluer la situation actuelle des projets qui sont dans leur cinquième année de financement

d’APOC, en ce qui concerne leur durabilité (cela a été élargi à une évaluation supplémentaire au cours de la troisième année.)

Aider les parties prenantes locales à élaborer des plans en vue de la durabilité de ces projets. Elaborer un petit manuel en utilisant le cadre élaboré.

L’équipe de travail a mis au point une méthode pouvant mesurer la durabilité des projets TIDC. Un certain nombre d’évaluations a été mené et la méthode a été affinée suite à cette expérience. Le présent manuel a été révisé, à la suite de plusieurs évaluations de durabilité des projets, et après la réunion spéciale tenue au mois de février 2004, et qui a passé en revue les outils. 1.1 Qu’est-ce que la ‘durabilité’ ? 1.1.1. Définition * Durabilité : «Les activités TIDC dans une zone donnée sont jugées durables lorsqu’elles se

poursuivent de façon efficace, qu’elles assurent un taux élevé de couverture, qu’elles s’intègrent au sein des services de santé existants, qu’elles reflètent une forte appropriation communautaire et ce, tout en utilisant les ressources mobilisées par la communauté et le gouvernement..»

Dans cet exercice, nous allons utiliser la définition ci-dessus comme notre concept directeur. 1.1.2 Aspects de la durabilité Nous estimons que les projets seront beaucoup plus durables si les aspects suivants existent:

Direction d’APOC version révisée de septembre 2004 2

Intégration: les projets qui se sont intégrés dans la gestion routinière des services de santé

sont plus susceptibles d’être durables. Ressources: les projets sont plus susceptibles d’être durables s’ils ont suffisamment de

ressources (humaines, matérielles, financières) pour soutenir ce qu’ils essaient de réaliser. Efficience: les projets gérés de manière rentable, par rapport au coût, sont plus susceptibles

d’être durables. Simplicité: les projets qui ont des habitudes et des procédures peu compliquées sont plus

susceptibles d’être durables. Acceptation par le personnel de santé (attitude du personnel de santé) : Les projets sont

plus susceptibles d’être durables si le personnel accepte le TIDC comme activité de routine qu’il continuera d’exécuter même en l’absence d’une récompense matérielle supplémentaire.

Appropriation communautaire: Les projets sont plus susceptibles d’être durables si les communautés où se déroule le TIDC le soutiennent du fond du cœur, et sont disposées à en assumer la responsabilité.

Efficacité: les projets qui fonctionnent efficacement sont plus susceptibles d’être durables.

Nous devons examiner les projets à fond de manière à voir si ces aspects évoluent comme ils le doivent afin que la durabilité soit une réalité. 1.2 Examen approfondi des projets: niveaux et indicateurs Les projets doivent être évalués pour déterminer leur niveau de durabilité. Le diagramme suivant explique le processus:

‘Indicateurs’ et ‘aspects’

Le projet TIDC: la situation actuelle à 4 niveaux:

• Activités

• Ressources

• ResultatsIndicateurs de durabilité

Efficacité

Efficience

Simplicité

Intégration

Attitude

Ressources

Appropriation communautaire

Loupe: nos instruments

Un projet est une entité complexe qui fonctionne à un certain nombre de niveaux des services

sanitaires, et aussi au niveau communautaire. C’est cette entité complexe que nous devons évaluer.

Un projet est composé d’un certain nombre d’activités ou de processus, pour lesquels des ressources sont nécessaires, et qui produisent des résultats précis (dans ce cas, les populations sont protégées de l’onchocercose).

De cet ensemble d’activités, de ressources, et de résultats, nous retenons quelques-uns uns qui nous indiqueront le degré auquel ce projet est durable. Ce sont nos indicateurs.


Nous regroupons les indicateurs pour un niveau donné de fonctionnement du projet. C’est ce groupe d’indicateurs que nous appelons instrument (il y en a quatre). Quand nous les utilisons, chaque indicateur nous dit quelque chose sur un ou plusieurs des sept aspects de la durabilité du projet.

1.2.1 Instruments et niveaux Nous devons évaluer la durabilité aux différents niveaux auxquels le projet opère. Ces niveaux varient considérablement d’un pays à l’autre, mais il y en a habituellement quatre ou cinq. Le diagramme ci-dessous présente ces niveaux et montre parmi les quatre instruments, celui qui est le plus indiqué pour chacun de ces niveaux. Les indicateurs dans chaque instrument ont été minutieusement sélectionnés pour être pertinents au maximum pour ce niveau.

Niveau d’opération du projet Instrument à utiliser

Siège national du Ministère de la Santé: Le Programme de Lutte contre l’Onchocercose et son ONGD partenaire dans le projet No.1

Le niveau zonal/régional/ provincial/ étatique du Ministère de la Santé (un groupe de districts sanitaires) avec son équipe de lutte contre l’onchocercose No.1

Le niveau district/administration locale du Ministère de la Santé – le premier niveau opérationnel auquel toutes les activités sont gérées par une seule équipe de gestion

No.2

La formation sanitaire de première ligne (sous-district, centre de santé, clinique, zone) – le niveau le plus proche des communautés réellement servies No.3

Le village ou communauté – un regroupement qui se considère comme ayant la même tutelle No.4

Dans chaque situation, l’équipe d’évaluation doit choisir à l’avance les instruments les plus appropriés pour le projet qu’elle évalue.

1.2.2. Indicateurs de durabilité Ces indicateurs ont été sélectionnés par l’équipe spéciale, et ont été par la suite affinés à quatre reprises. Ils se regroupent en dix catégories. Ces catégories portent sur: Les activités et procédures de routine par lesquelles le projet envisage de réaliser ses résultats

(6 groupes d’indicateurs) Les ressources mises à disposition pour la réalisation de ces activités (3 groupes d’indicateurs). Les résultats atteints par le projet (1 groupe d’indicateurs)

Cela donne les groupes et le nombre d’indicateurs suivants, pour ce qui est des quatre instruments:


Au niveau des instruments, chaque indicateur est clairement défini – premièrement en une seule expression et ensuite en une ou plusieurs phrases appelées ‘caractéristiques’. Voici un exemple tiré de l’Instrument 2: 1.2.3. Indicateurs des activités et des processus: leadership Cela indique les groupes auxquels cet indicateur appartient: ‘Activités et processus’ et ‘Leadership’. 2.1 Vérifiez si l’équipe de gestion du district/ LGA prend l’entière responsabilité de la mise

en oeuvre du TIDC à ce niveau. Cet indicateur cherche à vérifier si la direction s’approprie le programme. L’indicateur est l’expression en gras, qui vient après ‘Vérifiez si’. En bas de cela, on trouve une expression en italiques, qui indique les aspects de durabilité que

cet indicateur met en évidence. Caractéristiques de l’indicateur C’est l’équipe de gestion à ce niveau et

non aux niveaux supérieurs/leadership des ONGD, qui doit initier les activités clés du TIDC: planification, monitorage/ supervision ciblés, formation et ESPM ciblées, Commande /distribution du Mectizan.

Il doit y avoir une personne focale pour les activités TIDC.

Ces expressions décrivent l’indicateur de manière plus complète, en termes opérationnels concrets.

Nombre d’indicateurs Indicateurs abordant : Instrument 1 Instrument 2 Instrument 3 Instrument 4

Planification 3 1 1 1 Prestation de leadership 1 1 1 3

Supervision et monitorage 4 3 3 1

Approvisionnement en Mectizan 1 2 2 2

Formation et ESPM 3 3 2 1 Intégration des activités d’appui 1 1 1 1

Financements/ fonds 4 4 2 1 Transport et autres ressources matérielles 4 4 4 -

Ressources humaines 3 2 1 3 Couverture 3 2 2 2 TOTAL 27 23 19 15

Activités et processus

qui soutiennent

le TIDC

Ressources mises à

disposition

Résultats atteints


2. PREPARATIFS DE LA VISITE D’EVALUATION

Cette section traite des mesures qui doivent être prises pour préparer une visite d’évaluation. 2.1 Rôle de la Direction d’APOC La séquence chronologique des activités à préparer pour chaque visite est sous la direction de la Direction d’APOC à Ouagadougou et se compose comme suit: APOC identifie les projets qui sont dans leurs 3ème et 5ème année de financement. Il entre en

contact avec les CNO et les directeurs de projet concernés pour négocier les dates des évaluations.

APOC puise dans sa liste d’évaluateurs potentiels pour former une équipe d’évaluation. Un chef d’équipe et un ‘éclaireur’ (voir ci-dessous) sont choisis parmi les membres de l’équipe. Tous les membres de l’équipe sont contactés à temps (2-3 mois avant l’évaluation).

APOC prend des dispositions pour la visite de l’éclaireur’ (voir ci-dessous) une semaine avant l’évaluation. Cette personne déblaie le terrain pour l’équipe.

APOC prend les dispositions nécessaires pour le contrat et le voyage de chaque membre de l’équipe.

APOC envoie une copie du manuel et des quatre instruments à chaque membre de l’équipe par voie électronique.

2.2 Termes de référence de l’‘éclaireur’ Le rôle de cette personne est de prendre toutes les dispositions nécessaires pour la visite de l’équipe sur le site, dans la semaine qui précède son arrivée. Cette personne doit bien connaître les instruments et le processus de l’évaluation, et être en contact avec le chef de l’équipe avant et pendant la visite. Les tâches de «l’éclaireur» sont entre autres: Aller personnellement sur les sites de projet et planifier les détails pratiques décrits ci-dessous

avec les directeurs de projet (Ministère de la Santé et ONGD). Echantillonner les sites à visiter conformément aux instructions définies dans la prochaine

section. Planifier les visites de courtoisie et de plaidoyer (en essayant de toucher les responsables clefs

aussi ‘hautement’ placés que possible dans la hiérarchie ministérielle / politique), ainsi que les dates de réunion de planification et de rétro-information.

Elaborer un calendrier provisoire de la visite d’évaluation, après les activités citées plus haut. Négocier avec /avertir tous les sites et les personnes échantillonnés, des dates et périodes où ils

recevront la visite de l’équipe:

∗ Prendre des rendez-vous au niveau du projet, du Cabinet du Ministère et du district/Administration locale (voir 3.2.2 ci-dessous).

∗ Demander au niveau district/administration locale de prendre des rendez-vous pour le niveau FSPL/ sous-district.

∗ Informer toutes les personnes à interviewer du but de l’évaluation, ainsi que des grandes lignes des sujets qui seront discutés - soit personnellement ou en leur envoyant une lettre introductive (voir Annexe 1).

S’assurer que les autorisations nécessaires ont été obtenues pour permettre aux membres de l’équipe de se déplacer librement, de collecter des données sur chaque site qu’ils visiteront.


S’assurer que toute la documentation nécessaire est disponible pour l’équipe d’évaluation (voir Annexe 2).

Préparer suffisamment de copies des instruments qui seront nécessaires pour tous les niveaux concernés; au moins une copie imprimée du manuel aussi.

Tracer un itinéraire pour l’équipe d’évaluation en collaboration avec le personnel du projet et s’assurer que des moyens de transport suffisants et des chauffeurs seront disponibles.

Sélectionner quelques membres du personnel du projet pour accompagner l’équipe d’évaluation tout au long du travail de terrain; les informer en détail du processus d’évaluation afin qu’ils puissent y participer de manière significative.

S’assurer que des logements convenables seront disponibles pour l’équipe. Prévoir un endroit convenable pour la réunion d’orientation qui aura lieu à l’arrivée de l’équipe. S’assurer que des dispositions ont été prises pour payer des per diems et des frais de voyage aux

membres de l’équipe et aussi aux personnes qui voyageront pour participer aux ateliers de ‘restitution / planification’ au cours de la deuxième partie de la visite d’évaluation.

Prévoir le lieu et les participants des ateliers de ‘restitution/ planification’ de la deuxième moitié de la visite d’évaluation; s’assurer que les invitations sont envoyées à temps aux participants.

L’‘éclaireur’ participe habituellement à l’évaluation elle-même. 2.3 Les autres membres de l’équipe d’évaluation Le chef d’équipe reste en contact par voie électronique avec la Direction d’APOC, ainsi qu’avec l’éclaireur’, pour répondre aux demandes de renseignements, et fournir des informations etc. Les autres membres de l’équipe étudient le manuel et les instruments – surtout s’il s’agit de leur première évaluation, et même s’ils ont été déjà impliqués dans une évaluation.


3. GESTION DE LA VISITE D’EVALUATION

Dans cette section, une présentation est faite de la manière dont on procède à l’échantillonnage des sources d’information dont on a besoin pour le calendrier de l’évaluation; et de comment utiliser les instruments pour collecter les données. 3.1 Echantillonnage Pour le niveau central (national, régional/ provincial/ étatique; projet) il n’y a qu’une seule entité avec laquelle travailler et l’échantillonnage n’est donc pas nécessaire. A ce niveau, nous utilisons autant de sources d’information que nous pouvons trouver. Pour les autres niveaux (district, sous-district/ rayon de la FSPL, village/ communauté) nous devons procéder à un échantillonnage aléatoire, selon une stratification comme suit. 1. Echantillonnage des districts/LGA dans lesquels vous allez travailler Elaborer une liste des districts/LGA relevant du projet. Procéder à un échantillonnage aléatoire de trois de ces districts/LGA. Utiliser n’importe quelle méthode d’échantillonnage acceptable – tableaux de chiffres à tirer, ou «tirage d’un chapeau». 2. Echantillonnage des sous-district/formations sanitaires de première ligne (FSPL) Pour chacun des sous-districts/LGA échantillonné, élaborer une liste de toutes les zones de sous-districts/FSPL qui s’y trouvent. Procéder ensuite à un échantillonnage aléatoire de deux sous-districts/zone FSPL par district/LGA. 3. Echantillonnage des communautés/villages Pour chaque zone de sous-district/FSPL échantillonnée, élaborer une liste de tous les villages/communautés qui s’y trouvent. Procéder ensuite à un échantillonnage aléatoire de deux communautés/villages par sous-district/LGA. A noter que ce sont là des lignes directrices. Il vous faut une certaine flexibilité dans la pratique.

• Certains projets n’ont qu’un ou deux districts. Dans ces cas de figure, il vous faut échantillonner beaucoup plus de zones d’intérêt de sous-districts/FSPL, avec leurs villages. Finalement, il vous faut à peu près 12 villages dans votre échantillon.

Dans certain cas, il vous faut échantillonner plus de trois districts, afin d’avoir la couverture qu’il faut des situations variées du projet. Dans de tels cas, il y a lieu d’avoir une équipe d’évaluation plus élargie ou de disposer de beaucoup plus de temps. 3.2 Déroulement de la visite 3.2.1 Constitution de l’équipe Chaque équipe devrait être composée de 6 (six) membres (y compris l‘avant-garde). Trois de ces membres y compris le chef devraient être de l’extérieur, et les trois autres de l’intérieur. Les six membres devraient se constituer en trois sous-équipes de deux personnes chacune. Si possible, chaque sous-équipe devrait se composer comme suit :


Un autochtone et une personne de l’extérieur Un mélange d’expertise (par exemple des domaines médical et social) Au moins une personne ayant de l’expérience en matière d’évaluation de la «durabilité»

La sous-équipe qui s’entretient avec des personnalités (tels que les ministres, les directeurs généraux et les gouverneurs provinciaux) devrait inclure le chef d’équipe. Chaque sous-équipe a également besoin d’une personne qui puisse s’exprimer dans la langue locale (et interpréter vers la langue de travail de l’équipe d’évaluation), et qui puisse avoir accès aux sites et aux personnes échantillonnés. Il se peut que le chauffeur et l’un des membres puissent faire tout ce travail, mais il se peut aussi qu’il y ait besoin d’un autre autochtone. Il a été convenu que chaque équipe d’évaluation fasse appel à au moins une personne de l’équipe locale du projet pour se joindre à l’équipe d’évaluation au cours des travaux sur le terrain. En permettant à ces personnes d’avoir une compréhension pratique et approfondie de la durabilité ; nous espérons leur donner de l’enthousiasme pour assurer la durabilité de leurs propres projets. Toutefois, ils ont besoin d’être guidés quant à leur rôle dans la conduite de l’évaluation : pour ce qui est de cet exercice, ils ne devraient pas être des directeurs, mais des chercheurs. On devrait leur demander de laisser l’équipe d’évaluation prendre l’initiative, et ils devraient écouter, au lieu de parler, et aussi se limiter aux questions indiquées dans l’instrument. 3.2.2 Calendrier de la visite Une visite d’évaluation complète dure normalement deux semaines environ. Cependant, dans certaines situations, les communications sont difficiles et le voyage sur le site du projet et à l’intérieur du site prend beaucoup de temps. Dans ces situations, il se peut que 2½ ou même 3 semaines soient nécessaires pour achever les travaux de terrain, et pour l’élaboration du plan de durabilité par les responsables de district/LGA et les partenaires ONGD – il faut être flexible. Afin de planifier un calendrier, nous devons comprendre exactement ce qu’il y a lieu de faire. Voici une liste des tâches à entreprendre pour chaque niveau:

Niveau Tâches Temps nécessaire* 3 jours si le Siège et le projet sont combinés 4 jours si le Siège et le projet sont séparés

Interviews Personnel cadre du ministère de la santé: personnes chargées de

la lutte contre les maladies infectieuses, l’approvisionnement en médicaments, la planification, des finances; Secrétaire Permanent/ Directeur Général; Ministre.

Personnel cadre des ONGD: directeur national, directeur de projet, comptable.

Personnel du PNLO: CNO, comptable, responsables de terrain, chauffeurs.

Un ou deux autres membres du GTNO. Représentant de l’OMS dans le pays; responsable du

programme de lutte contre les maladies dans le bureau du Représentant OMS.

Autorités de haut rang à ce niveau: Gouverneurs d’Etat/ de Province etc.

1 journée pour un bureau régional

Central/ Siège/ projet/ région/ Etat etc.

Etude de documents 1 journée District/ adminis. locale

Interviews Equipe de gestion de la santé du district: Responsable sanitaire

du district, administrateur, chef des finances.

1 journée par chef lieu de


Autre personnel au niveau district: responsable des transports, responsable de la lutte contre les maladies, pharmacien, chauffeurs.

Personne(s) chargée (s) du TIDC à ce niveau. Autorités civiles à ce niveau: chef de l’administration locale,

secrétaire, trésorier. Etude de documents

district

FSPL/ sous-district

Interviews Equipe de gestion des FSPL, trésorier, pharmacien. Personne (s) responsable (s) du TIDC à ce niveau. Responsables de l’administration locale (Président,

administrateur, trésorier) Etude de documents.

Village/ communauté

Interviews Chef du Village et conseillers. Villageois ordinaires (hommes et femmes). DC.

Etude de documents

1 journée par FSPL et ses deux villages (quelques jours de plus s’il y a un village très éloigné)

* Pour une sous-équipe de deux évaluateurs. Les membres du groupe se mettent en équipes pour couvrir les interviews et étude des documents dans le temps imparti.

Pour une évaluation ‘normale’ (c’est-à-dire qui dure deux semaines) le calendrier suivant est suggéré:

Jour Membre de l’Equipe Activité

Lundi à vendredi ‘Eclaireur’

Arrivée au siège du projet. Préparation de tous les aspects de la visite en collaboration avec le

personnel du PNLO et le directeur du projet.

Vendredi à samedi

Tous les membres de

l’équipe

Déplacement au siège du projet

dimanche Tous les

membres de l’équipe

Journée d'orientation au siège du projet: sélection des sous-équipes, finalisation du programme.

soir: déplacement sur le terrain. Tous les


Visites de courtoisie au Ministère de la Santé et à la direction des ONGD le lundi.

Sous-équipe ‘A’

Collecte des données au siège du projet: Ministère de la Santé et ONGD (interviews et étude de documents).

Visites de plaidoyer auprès des décideurs à ce niveau.

Sous-équipe ‘B’

Collecte de données sur le terrain: district 1 et les niveaux en dessous de ce district (interviews et étude de documents).

Visite de plaidoyer auprès des décideurs à ce niveau.

Sous-équipe ‘C’

Collecte de données sur le terrain: district 2 et les niveaux relevant de ce district (interviews et étude de documents).

Visites de plaidoyer aux décideurs à (tous les niveaux).

Lundi à vendredi

Tous les membres de

l’équipe

Collecte de données aux niveaux provincial/ régional, siège (s’il en existe un) (interviews et étude de documents).

Collecte de données sur le terrain: district 3 et les niveaux relevant de ce district (interviews et étude de documents).

Visites de plaidoyer aux décideurs à (tous les niveaux).

vendredi Tous les


Retour au siège du projet dans l’après-midi/soirée.


Samedi à lundi

Tous les membres de

l’équipe

Analyse des données, formulation des recommandations, travail sur le projet de rapport.

Planification du programme détaillé des prochains ateliers de ‘restitution/planification.

Mardi à mercredi

Tous les membres de

l’équipe

Atelier de ‘restitution/planification’ pour le niveau projet.

jeudi Tous les


Atelier de ‘restitution’ pour tous les districts sanitaires du projet. Administration du questionnaire à tous les districts sanitaires qui ne

sont pas inclus dans l’échantillon.

vendredi Tous les


Travail sur le rapport d’évaluation. Visites de courtoisie/retro-information/plaidoyer au MINSAN et aux

responsables d’ONGD.

Samedi ou dimanche

Tous les membres de

l’équipe

Départ de l’équipe.

3.2.3 Détails du programme: l’évaluation elle-même Les membres de l’équipe se déplacent sur le site du siège du projet et arrivent le samedi avant le démarrage du travail de terrain (qui sera le lundi suivant). Ils doivent se familiariser avec les documents suivants avant leur arrivée: Ce guide. Les quatre instruments. Le calendrier provisoire.

Ces documents seront transmis par voie électronique à chaque membre de l’équipe. L’équipe passe une journée (habituellement le dimanche) à planifier le travail qui l’attend. Ils passent en revu le guide ainsi que les instruments pour parvenir à une compréhension commune de ce qu’ils doivent en faire; Ils forment les sous-équipes qui feront le travail de terrain; ils ajustent le calendrier provisoire si nécessaire; ils prennent note de toutes les dispositions pratiques telles que l’hébergement et le transport. Les visites de terrain se déroulent généralement du lundi au vendredi (ou plus longtemps dans le cas des projets ayant des difficultés de communications, où le déplacement va prendre beaucoup de temps). Les données sont collectées à tous les niveaux, sur les sites échantillonnés. Notez qu’il y a deux entités au niveau central qui nécessitent l’attention des évaluateurs: le bureau du PNLO, et le bureau du projet (c.-à-d. le projet TIDC en question que l’équipe vient pour évaluer): Dans certains pays (ex: le Malawi) ces deux sont les mêmes et sont basés dans le même bureau.

Ils sont, par conséquent, évalués comme une seule unité et leurs résultats sont consignés ensemble dans la section niveau ‘Central’ du rapport.

Dans d’autres pays (ex: République Démocratique du Congo) ils sont séparés. Dans ce cas, le bureau du PNLO au Siège du Ministère doit être évalué séparément. Ce bureau sert tous les projets du pays, il ne doit donc être évalué qu’une seule fois. Cette évaluation sera confiée à la première équipe à visiter ce pays. Ils doivent charger l’une des sous-équipes de la tâche de se rendre au Ministère à un moment donné de la visite d’évaluation pour faire la collecte des données nécessaires (interviews et étude documentaire). L’évaluation peut être appelée à durer quelques jours de plus en vue de l’intégration de ce travail supplémentaire. Notez que ce rapport


est rédigé séparément, et doit être mis à la disposition d’autres équipes conduisant des évaluations dans ce pays à une date ultérieure.

Notez également que dans certains pays, il y a des niveaux d’administration (et par conséquent d’organisation des services de santé) entre le Siège et le district. Ils ont différents noms, tels que région, province ou Etat. Ces niveaux doivent également être pris en compte dans l’évaluation: Dans certains pays (ex: le Nigeria) ce niveau a un seul projet TIDC dans sa zone d’intérêt.

L’équipe collecte donc les données de ce projet au moyen de l’Instrument 1. Ces données sont jointes à celles collectées à partir du bureau du projet, analysées et rédigées comme un ensemble pour le niveau ‘Central’.

Dans d’autres pays (ex: le Cameroun, avec ses ‘provinces’) ce niveau peut avoir plusieurs projets TIDC au niveau de sa zone. De toute évidence, il ne doit être évalué qu’une seule fois et cela sera la responsabilité de la première équipe d’évaluation à visiter cette zone. L’une des sous-équipes devrait être chargée de la collecte des données à ce niveau-là, à un moment donné pendant la visite d’évaluation (en utilisant toujours l’Instrument 1). Une ou deux journées peuvent être ajoutées à la durée de l’évaluation pour prendre en compte ce travail supplémentaire. Notez que ces données ne sont pas écrites séparément– elles sont jointes à celles collectées à partir du bureau du projet, analysées et rédigées ensemble en tant que niveau ‘Central’. Les données brutes doivent cependant être envoyées à APOC en même temps que le rapport, afin qu’APOC puisse fournir ces données aux équipes ultérieures travaillant dans cette zone.

A la fin de la collecte des données, les membres de l’équipe reviennent au siège du projet. Ils doivent maintenant s’attaquer aux taches suivantes: Analyser systématiquement les données collectées - en tirant les conclusions nécessaires et en

formulant des recommandations. Travailler sur le rapport provisoire. Inclure un résumé analytique. Présenter le forces principales

et les questions d’intérêt pour chacun des quatre niveaux, par indicateur (voir Rédaction des Rapports ci-après au point 6.1) Planifier les ateliers et réunions de restitution/planification à tenir par la suite

Planifier les visites de plaidoyer qui doivent suivre. Cela est habituellement fait en fin de semaine (dans le cas d’une évaluation normale de deux semaines). C’est un bon moment parce qu’il n’y a pas de fonctionnaires à interviewer de toutes façons et le bureau du projet est calme.

Tout au long de la visite, l’équipe doit se réunir chaque soir pour discuter des progrès réalisés dans la journée et des problèmes rencontrés et pour planifier le travail du lendemain.


3.2.4. Détails du programme: retro-information et plaidoyer La direction de l’APOC a décidé qu’il ne suffit pas de faire une évaluation et de s’en aller. La visite d’évaluation amène inévitablement les décideurs locaux à réfléchir plus clairement et plus profondément sur la durabilité. Il incombe donc à l’équipe de renforcer cela: En assurant la rétro-information sur les résultats de l’évaluation (par rapport à la durabilité du

projet) aux décideurs. En faisant le plaidoyer: réunion avec les décideurs pour les encourager à jouer leur rôle en

soutenant le programme. Une des activités clés de l’équipe d’évaluation consiste donc à organiser des réunions au cours desquelles le feedback est donné et des ateliers où les équipes se basent sur les résultats pour produire des plans menant à une plus grande durabilité du projet. Ces points sont discutés en détails à la Section 5 de ce guide. Il est important de noter que l’équipe d’évaluation approfondira ses réflexions pendant ces ateliers en percevant des choses qu’elle n’avait pas perçues pendant le travail de terrain. Ces informations supplémentaires devront être incorporées dans l’analyse des données, car elles peuvent bien influencer les recommandations que l’équipe formulera par la suite. Un autre aspect important de la visite est l’aspect politique: le plaidoyer auprès des décideurs aux niveaux local et national. Pour que les projets soient durables, ils auront besoin de contributions financières suffisantes et régulières du Ministère de la Santé et/ou de l’administration locale. Ceux qui viennent de l’extérieur sont souvent capables d’exprimer cette vérité évidente avec plus d’autorité que les agents locaux. Chaque équipe doit donc rendre des visites de courtoisie aux fonctionnaires de l’Etat et aux dirigeants politiques au début de la visite d’évaluation et si possible, leur donner un feedback personnel vers la fin. L’équipe doit essayer d’atteindre, autant que possible, les plus hautes autorités de la hiérarchie: le Ministre de la santé lui/elle-même ou le gouverneur de la province. Les points à mettre en exergue pendant ces visites sont les suivants: Le Ministère a en son sein un programme qui marche vraiment bien et une somme relativement

petite lui permettra de continuer à bien fonctionner. Le Gouvernement a promis de mettre cet argent à disposition dans la ‘Lettre d’Accord’ signée

il y a de cela 5 (ou 3) ans. Obtenez une copie auprès du directeur du projet /CNO, et montrez-leur cette copie poliment.

Si le programme n’est financé, cela signifiera le retour à la misère pour des milliers de personnes.

3.3 Utilisation des instruments sur le terrain Notez que cet exercice n’est pas une recherche formelle – il s’agit d’une évaluation de chaque projet en ce qui concerne sa durabilité. 3.3.1. Commentaires introductifs Les quatre instruments servent à collecter des informations sur des niveaux spécifiques du service de santé. La plupart des informations concernant un certain niveau sont collectées à ce niveau, mais certaines sont collectées à d’autres niveaux aussi. Par exemple, dans l’Instrument 2, indicateur 2.1, on a besoin d’informations venant de trois niveaux: le niveau district lui-même; le niveau projet; et le niveau FSPL:


Cela signifie que les membres de l’équipe doivent apporter avec eux leurs exemplaires de chacun des quatre instruments, quand ils vont pour collecter les informations à n’importe quel niveau. Ainsi donc par exemple, en interviewant le personnel d’un centre de santé (niveau FSPL), nous devons utiliser les Instruments 1, 2, 3 et 4. Chacun de ces instruments nécessite des informations venant du niveau FSPL pour certains de leurs indicateurs.

Cela signifie également que les membres de l’équipe doivent très bien connaître leurs instruments afin de savoir quels indicateurs dans quels instruments nécessitent des informations qui doivent être recueillies à plus d’un niveau.

Avant l’arrivée d’une équipe sur un site, les membres doivent avoir réparti entre eux les tâches à effectuer là-bas (qui va assurer quelles interviews; qui va étudier quels documents). Dès l’arrivée, ils contactent le responsable de l’unité ou de la communauté: Ils procèdent aux salutations et présentations d’usage et expliquent l’objet de la visite. Ils

demandent la permission de s’entretenir avec certaines personnes et d’examiner certains documents.

Ils expliquent que les informations que les gens donnent seront traitées dans le plus strict respect de la confidentialité et que ces personnes sont libres de refuser de participer à l’enquête.

Ils demandent au responsable de fournir les documents qui doivent être examinés pour ce niveau. Ils lui remettent une liste de ces documents (voir l’Annexe 2 pour les listes concernant les quatre niveaux).

Au moment de l’entrevue avec une personne à un certain niveau (en particulier les fonctionnaires du gouvernement) il ne serait pas indiqué de le faire en présence de son supérieur hiérarchique. La raison en est évidente: la personne peut ne pas se sentir libre d’exprimer sa vraie opinion. 3.3.2. Utilisation des instruments Il est important de comprendre exactement comment travailler avec les quatre instruments. Voici un exemple tiré de l’Instrument 2 (niveau district), qui doit parfaitement tout clarifier: 2.2 Vérifiez si l’équipe cadre du district/ LGA assume l’entière responsabilité de la mise en

oeuvre du TIDC à ce niveau. Cet indicateur vérifie si la direction au niveau du district/LGA s’approprie le programme. Qu’attend-on de nous en tant qu’évaluateurs ici? Nous devons vérifier si les responsables du district prennent réellement la responsabilité du cycle annuel de distribution du Mectizan. Les ‘Caractéristiques’ nous disent plus en détails ce que cela signifie et ce que nous devons donc vérifier: Caractéristiques de l’indicateur a. Ca doit être l’équipe de direction à ce niveau

et non aux niveaux supérieurs/responsables d’ONGD, qui initie les activités clés du TIDC: planification, suivi/supervision ciblés, formation et ESPM ciblés, commande/distribution du Mectizan.

b. Il doit y avoir une personne focale pour les activités TIDC.

Nous devons chercher à savoir si ce sont les responsables du district qui font marcher la distribution du Mectizan chaque année ou s’ils dépendent du personnel du projet/PNLO pour le faire. Nous devons aussi savoir s’ils ont nommé une personne précise pour se charger du TIDC dans le district (cela montre qu’ils prennent le TIDC au sérieux).


Où allons-nous trouver ces informations?

Sources d’information Les sources sont clairement identifiées. Nous devons trouver un document précis et l’étudier; et nous devons interroger des gens à trois niveaux: le district, le projet (y compris le personnel des ONGD); et FSPL. Nous devons donc utiliser cet indicateur (2.1) dans cet instrument (2) au moment où nous nous entretenons avec toutes ces personnes.

Inspection des plans annuels. Interviews avec:

∗ L’Equipe de gestion à ce niveau. ∗ Le responsable du TIDC à ce niveau ∗ Le Personnel au niveau projet ∗ Les Responsables d’ONGD. ∗ Le Personnel au niveau FSPL.

Nous procédons maintenant à l’inspection des plans annuels du district qui sont disponibles. Nous devons trouver un plan global pour toutes les activités du district et un plan spécifique pour le TIDC. Nous les examinons attentivement pour trouver les informations sur les ‘Caractéristiques’ ci-dessus évoqués. Ensuite, nous écrivons ces informations: Résultats Décrivez la situation actuelle: Plan global du district: rien concernant le TIDC dans ce plan. Plan TIDC du District: * Elaboré par le coordonnateur TIDC du district. * Semble être complet – comprend un calendrier de

formation, des visites de supervision et de plaidoyer.

* N’a pas de dates.

Pourquoi écrire cela? Il n’y a pas de TIDC dans le plan du

district, ce qui veut dire que les responsables n’en prennent pas vraiment la responsabilité.

Le plan spécifique est très complet –Le coordonnateur du TIDC sait ce qu’il doit faire.

Le fait qu’il n’y ait pas de dates signifie qu’ils attendent que le siège leur donne la date de démarrage.

A supposer maintenant que nous sommes en train d’interviewer la personne chargée des programmes de lutte contre les maladies dans le district au sein de l’équipe cadre de district – disons qu’il s’agit de Mme Traoré. Nous devons formuler maintenant des questions à lui poser dans le but d’obtenir les informations nécessaires sur les ‘Caractéristiques’. En voici un exemple: Pour la Caractéristique (a): ‘Comment procédez-vous à la planification de la distribution du

Mectizan chaque année? Qu’en est-il de la supervision? De la formation? Du plaidoyer? Et quand doit-on commencer la distribution elle-même?’

Pour la Caractéristique (b): ‘qui avez-vous nommé pour être responsable du TIDC dans le district?

Notez ici que vous devez éviter de poser des questions qui indiquent déjà les réponses ou ‘questions tendancieuses’ (questions auxquelles la réponse peut être un simple ‘oui’ ou un ‘non’). Par exemple, pour la Caractéristique (a) ci-dessus, il serait erroné de demander: ‘L’Equipe Cadre de District initie-t-elle les activités clés du TIDC chaque année?’ Il serait facile pour le répondant d’essayer de vous faire plaisir en répondant simplement par ‘oui’. Vous écrivez les nouvelles informations que vous avez obtenues: Résultats Qu’allons-nous écrire?


Décrivez la situation actuelle: Plan global du district: rien concernant le TIDC dans ce plan. Plan TIDC du District: * Elaboré par le coordonnateur TIDC du district. * Semble être complet – comprend un programme de formation, des

visites de supervision et de plaidoyer * Ne contient aucune date Responsable de la lutte contre les maladies au niveau District: * Nous n’incluons pas encore l’onchocercose dans notre plan global.

M. Alhassan élabore un plan – il me l’a montré. Je ne sais pas vraiment ce qu’il contient.

* Le responsable du TIDC est M. Alhassan, un inspecteur de la santé.

Nous écrivons exactement ce que Mme Traoré dit, par rapport à nos questions (et par conséquent aux ‘caractéristiques’).

Notez que nous écrivons des données venant de différentes sources dans la même case.

Nous n’avons pas encore fini avec le responsable de la lutte contre les maladies au niveau district. Les informations qu’elle nous a données montrent que la situation n’est pas idéale. Cela signifie que nous devons aller à la deuxième case de la même page: Si les responsables à ce niveau ne prennent pas l’initiative de la mise en œuvre du TIDC: Quelles en sont les raisons?

Quelles sont les mesures prises pour améliorer

la situation?

Les questions que nous devons poser sont claires: ‘Pourquoi l’équipe chargée de la gestion au

niveau district ne prend-elle pas la pleine responsabilité du programme?’

‘Qu’allez-vous faire par rapport à cette situation?’

Encore une fois, nous écrivons les réponses de Mme Traoré en reprenant ses propres mots: Si les responsables à ce niveau ne prennent pas l’initiative de la mise en œuvre du TIDC: quelles sont les raisons?

Responsable de la lutte contre les maladies au niveau district: c’est un nouveau programme, et le siège en prend la responsabilité, en collaboration avec M. Alhassan. Quelles sont les mesures prises pour améliorer la situation?

Responsable de la lutte contre les maladies au niveau district: Adressez-vous au Médecin Chef de District– Je ne peux pas prendre une telle décision seul. Il y a une autre source d’information: observation (d’une situation). Cela arrive une fois seulement: Instrument 4, indicateur 7.2. Ici, il nous est demandé de ‘Vérifier si tous les DC ont reçu une formation appropriée’, et l’une des sources d’information est ‘Observer les DC au travail.’ Cela signifie que nous demandons à les voir faire une visite à domicile, et nous observons ce qui se passe. Nous notons brièvement ce que nous observons dans l’espace réservé. 3.3.3 Pourquoi pas un questionnaire formel? Vous remarquerez que les instruments ne sont pas élaborés comme des questionnaires ‘normaux’, avec des questions spécifiques pour chaque indicateur. Pourquoi cela? C’est parce que l’instrument aide à collecter des informations auprès des personnes travaillant dans un grand nombre de situations différentes, dans différents pays. Dans l’exemple ci-dessus, nous devons interviewer un certain nombre de personnes à différents niveaux. Dans chaque cas, nous allons formuler les questions que nous posons différemment. Examinons la Caractéristique (b) de l’indicateur 2.1 au niveau district: Pour le responsable de la lutte contre les maladies au niveau district (Mme Traoré) la question

est comme suit : ‘Avez-vous nommé quelqu’un comme responsable du TIDC dans le district? Qui est cette personne?’


Pour la personne chargée d’une FSPL dans le district, la question est: ‘Qui vient du district

pour vous voir, concernant la distribution du Mectizan? Est-ce toujours la même personne?’ Il est évidemment impossible de formuler des questions spécifiques pour chaque situation concevable. Au lieu de cela, nous nous fions au fait que les évaluateurs sont des personnes expérimentées qui sont mêmes capables de formuler des questions appropriées pour chaque situation donnée.

3.3.4. Gestion des données Il arrive souvent qu’il n’y ait pas suffisamment d’espace pour écrire à l’intérieur d’un instrument donné. Dans ce cas, vous devez simplement continuer à écrire sur la page blanche à gauche. Pendant que nous collectons les données, il est important de se rendre compte que nous devons le faire de manière à ce que le produit soit utile quand nous arriverons à l’analyse. Le principe ici est qu’il est préférable d’utiliser aussi peu d’exemplaires de chaque instrument que possible, afin de parvenir à l’analyse avec toutes vos données sur un niveau donné sur un seul (ou deux au maximum) instrument. Nous vous proposons ce qui suit:

Niveau PNLO/ projet/ régional/ étatique

Chaque membre de la sous-équipe qui collecte des données à ce niveau a un exemplaire de l’Instrument 1, sur lequel il /elle écrit toutes les informations qu’il/elle collecte.

Dans les cas où les bureaux du PNLO et du projet sont séparés, utilisez des exemplaires séparés pour chaque situation.

Niveau District/ administration locale

Chaque membre de la sous-équipe qui collecte des données à ce niveau a un exemplaire de l’Instrument 2, sur lequel il /elle écrit les informations qu’il /elle collecte.

Même si un membre de l’équipe collecte des informations auprès de plusieurs districts, il /elle doit mettre toutes les données sur un seul exemplaire de l’Instrument 2.

Niveau sous-district/ FSPL

Chaque membre de la sous-équipe qui collecte des données à ce niveau a un exemplaire de l’Instrument 3, sur lequel il /elle écrit les informations qu’il /elle collecte – pour toutes les FSPL qu’il/elle visite, dans un ou plusieurs districts.

Niveau Village/ communauté

Chaque membre de la sous-équipe qui collecte des données à ce niveau a un exemplaire de l’Instrument 4, sur lequel il /elle écrit les informations qu’il /elle collecte - pour tous les villages qu’il/elle visite, dans un ou plusieurs districts et sous-districts.

Chaque membre de l’équipe doit prendre le temps chaque soir d’affiner les données qu’il/elle a collectées pendant la journée. Il est probablement plus sage d’avoir une «copie originale» qui n’est pas emportée sur le terrain et de transcrire les données venant de la copie du terrain (qui se froisse et se salit vite) sur cette «copie originale» chaque soir. Les membres de l’équipe qui ont des ordinateurs portables peuvent le faire par voie électronique. 3.3.5. Evaluation du processus d’évaluation Le dernier soir où ils sont ensemble, les membres de l’équipe évaluent l’ensemble du processus (y compris l’instrument et le manuel). Ils font des recommandations sur les évaluations à venir. L’évaluation et les recommandations sont intégrées dans le rapport.


4. ANALYSE DES DONNEES ET RECOMMANDATIONS

Toute l’équipe se réunit pour analyser les données. Cela se passe habituellement en fin de semaine. Les membres de l’équipe collectent les données pendant la semaine, quand les personnes qu’ils doivent interviewer sont disponibles – et le week-end est donc le moment opportun pour effectuer l’analyse. Le chef d’équipe préside les discussions. Conformément à la philosophie participative de l’évaluation, l’équipe peut demander à un ou plusieurs membres du personnel du projet d’être présent (s) en vue de les amener à avoir une compréhension approfondie de la durabilité de leur projet. Cependant, cela ne doit être fait que si les membres de l’équipe acceptent que ces personnes ne fassent pas ingérence dans le processus d’analyse. Voici le processus que nous suivons: 4.1. Assemblage des données L’équipe fait l’analyse d’un seul niveau à la fois. La première étape consiste à rassembler toutes

les données qui ont été collectées concernant ce niveau: A ce moment, chaque membre de l’équipe doit avoir avec lui un ou plusieurs instruments pour ce niveau, sur lequel (lesquels) il a écrit:

Ses résultats des interviews des personnes conduites à ce niveau. Ses résultats des interviews des personnes conduites à d’autres niveaux (tels

qu’indiqués dans l’instrument pour ce niveau). Les informations obtenues à partir de l’étude des documents mentionnés dans

l’instrument pour ce niveau, et (occasionnellement) à partir d’observations. Notez que des données supplémentaires concernant le niveau ‘district’ seront obtenues pendant

les ateliers de ‘restitution/planification’. Ces données ne seront pas encore disponibles pour la première analyse, mais l’équipe doit les examiner après l’atelier et réviser son analyse pour ce niveau en cas de besoin.

Pendant la période de collecte des données, le chef d’équipe doit s’assurer que les membres de l’équipe enregistrent correctement toutes les informations qu’ils collectent, à l’endroit qu’il faut, et sur les instruments appropriés. Notez que la diversité des sources d’information est très importante, car elle renforce la validité des jugements qui seront portés. Par exemple, le rapport que le personnel du niveau district donne sur ses activités de supervision peut être vérifié en demandant au personnel du sous-district ses expériences sur la même supervision. 4.2 Résumé qualitatif des principaux résultats (en mots) Notez qu’il s’agit d’une instruction donnée à l’équipe en bas de chaque page des instruments. L’équipe traite des indicateurs un par un: Chaque personne présente les informations qu’elle a collectées pour cet indicateur.

Naturellement, les informations portent sur les caractéristiques de l’indicateur, telles qu’elles apparaissent dans l’instrument. Des données ont également été collectées sur les raisons des situations qui constituent une menace à la durabilité.

Une fois chaque membre a présenté ses données, le groupe à son tour se réfère à chacune des

caractéristiques de l’indicateur– qu’en disent les données?


Ensuite, un membre de l’équipe est nommé rapporteur-. Les membres du groupe discutent des résultats pour une caractéristique donnée et se mettent d’accord sur une phrase qui résume entièrement ces résultats (positifs et négatifs). Le rapporteur écrit la phrase clairement sur un tableau (flip-chart), où chacun peut la voir.

Ce processus est répété pour toutes les caractéristiques de cet indicateur. Le résultat final est une

ou deux phrases, qui peuvent être facilement écrites en un petit paragraphe. Cela décrit clairement tous les résultats concernant cet indicateur (et ses caractéristiques): qu’apporte-t-il de positif pour la durabilité? Qu’est-ce qui va à l’encontre de la durabilité? Il résume les données concernant les raisons des faiblesses. Voici un exemple d’un tel ‘paragraphe récapitulatif’:

Planification (niveau district) Bien que tous les districts aient établi des plans annuels assez détaillés pour le TIDC

(habituellement sous forme de tableau Gantt) ces plans n’ont été inclus dans le plan du district que dans un seul cas. Dans certains cas, plusieurs membres de l’équipe sanitaire ont participé à l’élaboration des plans. Cette planification n’est cependant enseignée dans la formation que le PNLO dispense.

Raisons de la non-intégration du plan de TIDC dans le plan annuel global: ∗ Le programme est encore nouveau. ∗ L’EGSD le considère comme étant financé de l’extérieur et qu’il n’a pas besoin par

conséquent de financements du Ministère. ∗ Les capacités de financement du district de nouveaux programmes sont faibles.

Notez qu’il s’agit ici d’une étape très importante de l’évaluation. Cette analyse constitue le

corps du rapport et les recommandations du rapport seront essentiellement basées sur elle. Notez également que les résultats doivent être strictement basés sur les données. Il n’y a pas de

place ici pour l’utilisation des opinions des chercheurs comme faits. Notez que pour des contraintes de temps, il pourrait être nécessaire de diviser ce travail. Si vous

trouvez que l’analyse faite par l’ensemble du groupe se déroule trop lentement, vous pouvez former deux équipes. Chaque équipe reçoit alors des données d’un niveau différent à analyser –Veillez à ce que chaque équipe ait toutes les données concernant ce niveau. Après la conduite de l’analyse de cette manière, chaque équipe présente son travail à l’autre pour des commentaires.

4.3 Notation des indicateurs 4.3.1 Notation de chacun des indicateurs Une fois que toutes les preuves sont réunies pour un indicateur donné à un niveau donné, l’équipe prend une décision collégiale sur cette question: 'Cela est-il bon pour la durabilité?' La notation suivante est utilisée à cet effet:

Notation de l’indicateur Que signifie la notation? Valeur

numérique

Complètement Les résultats concernant cet indicateur montrent une situation qui est complètement en faveur de la durabilité du projet. 4

Hautement Les résultats concernant cet indicateur montrent une situation qui est largement en faveur de la durabilité du projet, mais il y a encore une petite possibilité d’amélioration.

3


Moyennement Les résultats concernant cet indicateur montrent une situation qui est seulement d’environ la moitié de ce qui aurait pu être fait en faveur de la durabilité du projet.

2

Légèrement Les résultats concernant cet indicateur montrent une situation qui est seulement légèrement en faveur de la durabilité du projet.

1

Pas du tout Les résultats concernant cet indicateur montrent une situation qui n’est pas du tout en faveur de la durabilité du projet. 0

Non applicable Cet indicateur n’est pas pertinent pour cette situation. Notez que la ‘valeur numérique’ ou ‘note’ n’est pas un nombre d’intervalle réel, mais plutôt un outil pour parvenir à une classification ordinale par rang. Il est donc utile de faire cela pour les raisons suivantes: Cela aide l’équipe d’évaluation et ceux qui reçoivent le rapport (ceux qui en reçoivent) à voir au

premier coup d’œil là-où se situent les succès et les zones à problème. Cela aide également les évaluateurs à examiner leur évaluation, basée sur les sept aspects, les éléments critiques et les données qualitatives.

Ces évaluations vont être menées au cours de la 3e, 6e ou 8e année de la vie d’un projet ; et pour certains projets, dans la 5e année. La classification par rang numérique permet de comparer la situation la plus récente à la situation de départ.

Comment l’équipe parvient-elle à une décision sur la notation? Il y a deux manières, toutes les deux étant utiles: Après le résumé oral d’un indicateur, chaque membre du groupe fait sa notation en privé. Le

rapporteur enregistre la valeur numérique correspondante pour chaque notation sans commenter et une moyenne mathématique est prise. Notez encore cependant, que ceci est une technique pour parvenir à la classification selon le rang, et donc n’est pas une valeur mathématique objective.

L’ensemble du groupe arrive à une notation par consensus. Cela prend habituellement plus de temps.

Vous noterez qu’il y a un espace vous permettant d’enregistrer la notation de l’équipe, en bas de chaque page des instruments. Veuillez noter que les indicateurs sous la rubrique ‘résultats/ couverture’ ont leur propre système de notation, qui est présenté pour chaque instrument en bas de la page appropriée. 4.3.2 Notation de groupes d’indicateurs Une fois que tous les indicateurs ont été notés par l’équipe, l’on peut facilement calculer une note pour chaque groupe d’indicateurs. Cela se fait en obtenant une moyenne mathématique de l’équivalent numérique de la notation de chaque indicateur. A titre d’exemple: Pour le groupe d’indicateurs de la 'Planification' au niveau district/ administration locale il y a trois indicateurs. A supposer que les notes de ces trois soient: 3, 3 et 2. La note générale de la 'Planification' à ce niveau est donc (3+3+2)/3 = 2,7.

Notez toutefois que la ‘valeur numérique moyenne’ n’est qu’une représentation des séries ordinales: ‘complètement’, ‘très’...etc.


Les notes pour tous les groupes d'indicateurs à un certain niveau peuvent alors être illustrés dans un tableau ou par un graphique comme suit: Exemple:

De cette manière, les principaux domaines problématiques pour la durabilité apparaissent clairement. 4.4 Fautes courantes dans l’analyse des données Les erreurs suivantes sont fréquentes et doivent être évitées: La collecte des données, l’analyse et les recommandations se focalisent sur le fonctionnement du

projet, plutôt que sur sa durabilité. C’est une erreur très grave. Il est vrai que certains des indicateurs cherchent à savoir si le projet est efficace/fonctionne bien ou pas, mais cela ne fait que nous aider à juger si un domaine de fonctionnement peu efficace a un impact négatif sur la durabilité du projet ou pas.

L’analyse pourrait être incomplète, si l’on ne prenait pas en compte des éléments importants des données du terrain. Par exemple, si des données tirées des carnets de route ne sont pas présentées, cela signifie qu’on n’a que l’explication du responsable du transport et des chauffeurs sur la manière dont les moyens de transport sont contrôlés – ce qui n’est évidemment pas satisfaisant. Le chef d’équipe doit s’assurer que tout élément possible de données est inclus dans l’analyse et présenté à cet endroit.

Il arrive que les résultats à un niveau contredisent ceux d’un autre niveau. Par exemple, l’approvisionnement en Mectizan au niveau district semble bien marcher, alors que le niveau FSPL signale des ruptures régulières de stocks. C’est une faute que de ne pas clarifier la situation – Pourquoi une telle incohérence?

Projet de Kaduna : Durabilité au niveau LGA

3.0

1.71.5

2.32.7

1.3 1.2

1.7

3.0

0

0.5

1

1.5

2

2.5

3

3.5

4

Couve

rture

Planific

ation

[Lead

ership

]

Superv

ision

/ mon

itorag

e

Mectiz

an

Formati

on/ m

obilis

ation

Financ

emen

t

Resso

urces

humain

es

groupe d'indicateurs

Poid

s m

oyen

(/4)


4.5 Formulation de recommandations L’équipe doit maintenant faire des recommandations relatives aux mesures que les projets et les pays doivent prendre pour assurer la durabilité par eux-mêmes. Ces recommandations sont formulées pour chacun des quatre niveaux et doivent avoir les caractéristiques suivantes: Elles doivent être basées sur les résultats de l’évaluation. Si les recommandations doivent

réellement être utiles pour l’amélioration de la durabilité d’un projet donné, elles doivent découler des données obtenues pendant le travail de terrain et rien d’autre. Rappelez-vous que les ‘données sont sacrées’ – les évaluateurs ne sont pas autorisés à falsifier ou à ignorer les données.

Les recommandations doivent être pratiques et réalisables, si elles doivent être utiles. Rappelez-vous que vous êtes en train de recommander des processus d’action au GTNO qui a des pouvoirs et des capacités limités. Il ne sert à rien de recommander que ‘le SAS national soit amélioré ou que ‘le budget national de la santé soit augmenté’ – cela peut être souhaitable, mais il est totalement peu pratique de demander au GTNO de le réaliser.

Les recommandations doivent être précises:

* Pour chaque recommandation, une suggestion doit être faite, sur qui doit être responsable de son exécution.

* Pour chaque recommandation, un délai ou un calendrier d’exécution doit être proposé. * Un ou plusieurs indicateurs simples de réalisation doivent être donnés pour chaque

recommandation. Les recommandations doivent avoir un ordre de priorité comme suit:

* HAUTE: cette recommandation est d’une importance capitale. Si elle n’est pas suivie, le projet ne sera pas pérenne.

* MOYENNE: cette recommandation est importante mais pas essentielle. Sa mise en œuvre renforcera cependant la durabilité du projet.

* Il ne doit pas y avoir des recommandations de FAIBLE priorité. Cet exercice de donner un ordre de priorité aux recommandations a une grande valeur pratique. Vous formulerez, en tout, 30-40 recommandations par projet, il est donc essentiel que vous indiquiez aux GTNO leur point de départ.

Nous proposons le format suivant pour la rédaction des recommandations sur un groupe d’indicateurs:

Recommandations: Titre du groupe d’indicateurs (ex: ‘Planification’) Mise en œuvre

Priorité: 1. …. 2. ….

Indicateurs de réussite: 1. …. 2. …. Qui doit agir: 1. …. 2. ….

1. …. 2. ….

Délai d’exécution: 1. …. 2. ….

Notez qu’avant que les équipes ne reçoivent vos recommandations, elles auront déjà fait les leurs, dans les plans qu’elles vont élaborer pendant les ateliers de ‘restitution/planification’. Il serait bon de parcourir ces recommandations car elles peuvent fournir des informations et des idées supplémentaires.


4.6 Notation de l’ensemble du projet Enfin, l’équipe doit noter l’ensemble du projet en termes de sa durabilité générale. Une telle notation est utile parce que: Elle donne aux décideurs une idée immédiate de la durabilité du projet dans son ensemble. Elle définit une base par rapport à laquelle on peut mesurer les progrès vers la durabilité.

Nous recommandons à chaque équipe de procéder à ce jugement de deux manières: 4.6.1 Un jugement qualitatif, basé sur les ‘aspects’ et ‘éléments essentiels’ de la durabilité Ce jugement d’ensemble est une notation de tout le projet basé sur des preuves disponibles; et le calcul est fait par des «super-ordinateurs» qui sont les cerveaux d’une équipe de personnes expérimentées. (a) Procéder à un jugement du projet, selon chacun des sept ‘aspects’ de la durabilité:

Aspect Jugement: à quel degré cet aspect aide-t-il ou empêche-t-il la durabilité dans ce projet?

Intégration Ressources Efficience Simplicité Acceptation par le personnel de santé (Attitude du personnel de santé)

Appropriation communautaire

Efficacité (b) Regardez ensuite les cinq aspects clés du projet – ‘éléments essentiels’ de la durabilité. Si

ceux-ci ne sont pas présents, il est peu probable que le projet soit durable:

Argent: Y a-t-il suffisamment d’argent disponible pour mener strictement les tâches nécessaires qui ont été minutieusement pensées et planifiées? (minimum absolu d’activités résiduelles).

Transport: Y a-t-il une prévision pour le remplacement ou la réparation des véhicules? Y a-t-il une garantie raisonnable que des véhicules continueront d’être disponibles pour les activités minimales essentielles? (notez que ‘véhicule’ ne signifie pas nécessairement ‘4x4’ ou même une ‘voiture’).

Supervision: Une supervision permanente ciblé d’appui a-t-elle été prévue? (le projet ne peut pas se pérenniser sans cela).

Approvisionnement en Mectizan: Le système d’approvisionnement est-il fiable? (l’essentiel est que suffisamment de médicaments parviennent dans les villages au moment choisi par les villageois).

Engagement politique: – effectivement démontré par la connaissance du processus du TIDC par les politiques (entraînant un appui tangible); et un sens de l’appropriation du programme par la communauté


4.6.2 Un jugement quantitatif, basé sur les notes données à chacun des indicateurs Notez également qu’une telle ‘valeur numérique moyenne’ est représentative de tous les jugements ordinaux effectués : ‘Complètement’, ‘hautement’ … etc. Il se peut que ce chiffre ne se voie jamais comme un chiffre d’intervalle. Pour arriver à un jugement quantitatif global; l’on a besoin d’une approche uniformisée de calcul de moyennes; On procède comme suit : Etape 1: Il y a quatre niveaux auxquels la durabilité d’un projet est évaluée et 9 ou 10 groupes d’indicateurs à chacun de ces niveaux. Pour chaque groupe d’indicateurs à chaque niveau, calculer la note moyenne, tel qu’indiqué au point 4.3.2 ci-dessus. Etape 2: Calculer la note moyenne pour chaque niveau. Etape 3: Calculer la moyenne des notes cumulées pour chaque niveau. Voici un exemple de ce processus:

Plan

ifica

tion

Lead

ersh

ip

Mon

itora

ge/

Supe

rvis

ion

Mec

tizan

Form

atio

n/SS

PM

Inté

grat

ion

d’

activ

ités

Fina

nces

Tran

spor

t/Equ

ipem

ent

Res

sour

ces

Hum

aine

s

Cou

vertu

re

Moy

enne

pou

r le

niv

eau

Province (1) 3,7

3,0

3,7

2,7

3,5

4,0

2,3

2,4

4,0

3,0

3,23

District (2) 2,4

4,0

3,6

2,8

2,7

3,6

1,3

1,6

3.0

4,0

2,90

FSPL (3) 1,0

3,5

3,6

3,4

3,0

4,0

0

2,0

3,0

4,0

2,75

Village (4) 2,0

2,5

4,0

2,5

3,0

3,8

1,5

-

3,0

3,5

2,87

Moyenne pour l’ensemble du projet

2,94

Nous savons que pour une évaluation de l’an 3, le projet doit avoir au moins 2,5 en tout – ce qui est équivalent au jugement « fait des progrès satisfaisants vers la durabilité ». A la 5ème année le score doit être considérablement plus élevé que cela. 4.6.3 Confronter les jugements quantitatif et qualitatif L’équipe, ayant fait les deux jugements, doit confronter les deux résultats. Les deux doivent s’accorder : Par exemple, si le jugement quantitatif présente un niveau élevé de durabilité, celui de qualitatif devrait l’être également. En cas d’incohérence entre les deux, l’équipe doit revoir les deux afin d’en déceler les causes. Les incohérences éventuelles pourront alors être corrigées. A la lumière de ce qui précède, l’équipe applique la grille de critères suivante pour noter le projet dans son ensemble:

Niveau de durabilité Description


Complètement durable

Tous les aspects sont présents, et tous les éléments essentiels sont respectés (avec peut-être une ou deux petites imperfections).

Ce projet remplit par conséquent toutes les conditions pour devenir durable.

Fait des progrès satisfaisants vers la durabilité

Un ou deux aspects ne sont pas présents, et un ou deux éléments essentiels ne sont pas réunis.

Ce projet est sur la voie d’être durable. Avec les critiques de l’équipe d’évaluation, les personnels national et du projet doivent pouvoir entreprendre les actions de redressement nécessaires.

Ne fait pas de progrès satisfaisants vers la durabilité

La moitié ou moins des aspects sont présents, et la moitié ou moins des éléments essentiels sont réunis.

Ce projet fait face à de graves obstacles pour sa durabilité. Il devra être repensé et doit bénéficier de la mobilisation d’appuis de haut niveau pour se remettre sur le bon chemin.

4.7 Différence entre les évaluations de 3e et de 5e années Au fur et à mesure qu’ils évoluent de la première vers la cinquième année, les projets changent progressivement de statut. A la 5e année, ils sont censés être totalement durables. A la 3e année ils commencent à l’être. Le tableau ci-dessous présente quelques-uns de ces changements. Activité/Système 1e Année 3e Année 5e Année ou plus tard Point géographique de l’activité

Beaucoup plus centralisé : beaucoup plus d’activités aux niveaux supérieurs pour les préparer

Niveaux intermédiaire et inférieur où l’action est de plus en plus concentrée

Complètement décentralisé Presque toutes les activités sont à la périphérie

Niveau des activités spécifiques TIDC

Beaucoup d’activités initiales supplémentaires ; formation et supervision

L’intensité des activités baisse ; elles deviennent beaucoup plus ciblées

Les activités sont à un niveau minimum pouvant toujours garder l’efficacité du TIDC

Intégration des activités TIDC

Certaines activités sont menées spécifiquement pour le programme TIDC

Les activités commencent à s’intégrer dans les services sanitaires de routine

Toutes les activités TIDC sont entièrement intégrées aux activités de routine à tous les niveaux

Quantité de ressources utilisée

Beaucoup de fonds pour les activités de démarrage, le transport et l’équipement

Le niveau de financement nécessaire commence à diminuer – les activités (ex. la formation) deviennent beaucoup plus ciblées

Le besoin en financement est moins – juste suffisamment pour les activités essentielles toujours en cours

Origine des Ressources Financement du MINSAN pour les salaires et co-financement de certaines activités clefs ; par exemple la supervision ; le restant du financement provient du Fonds Fiduciaire (FF) APOC et des ONGD

Niveau toujours élevé du FF d’APOC, mais le MINSAN co-finance toutes les activités clefs du TIDC, par exemple la formation, l’auto-monitorage communautaire et la supervision

Fin/ou diminution drastique du financement APOC ; une plus grande partie du financement du MINSAN qui finance toutes les activités TIDC, à l’exception de l’évaluation externe

Attitude du personnel de la santé par rapport au TIDC

Le personnel de la santé considère le TIDC comme étant nouveau et étranger

Le personnel commence à se rendre compte que le TIDC est là pour rester

Acceptation du TIDC comme étant partie intégrante du travail de routine à chaque niveau

Soutien et responsabilisation communautaires

Les communautés considèrent la notion TIDC comme étant nouvelle et étrange

Les communautés s’habituent au TIDC, mais ont toujours besoin d’encadrement

Les communautés sont habituées au TIDC ; elles l’attendent et l’organisent elles-mêmes chaque année, et l’apprécient.


Ceci a des implications suivantes pour vous en tant qu’évaluateurs. Lorsque vous faites des jugements sur la durabilité, il y a une différence:

Pour les projets de la 5ème année, le barème du jugement est comme suit : ce projet

devrait atteindre la durabilité totale maintenant. Pour les projets en 3ème année, votre barème est comme suit : ce projet devrait se

tendre de manière évidente vers la durabilité – s’il continue de cette manière, il doit y arriver dans sa 5ème année.

De toutes évidences, vos recommandations dans les deux cas de figures seront également

différentes:

Exemple: Un projet dans lequel le CNO prend part de manière routinière à la formation annuelle des DC.

Pour un projet dans sa 3ème année : ceci est acceptable. Recommandation :Continuer à assurer un retrait progressif de la contribution du CNO, pour que le personnel FSPL prenne complètement la relève au plus tard dans la 5ème année.

For un projet dans la 5èmeannée: ceci n’est pas acceptable. Recommandation: Responsabilisation urgente du personnel FSPL afin qu’il puisse entreprendre la formation de manière indépendante


5. ELABORATION DES PLANS DE DURABILITÉ

Dans cette section nous présentons comment organiser les ateliers et les réunions qui ont lieu pendant la deuxième partie de la visite d'évaluation, et qui débouchent sur le développement des plans pour atteindre la durabilité du TIDC. 5.1. Préparatifs des ateliers

Le but de cet exercice d'évaluation est de placer les projets résolument sur la voie de la durabilité. Cela veut dire que l'équipe doit aller au-delà de l'évaluation – elle doit également mettre en action un processus de planification, basé sur ses résultats. Ceci se réalise à travers deux événements ou plus de 'rétro-information /planification ' - des ateliers et des réunions. Les objectifs de ces événements sont comme suit:

Rétro-information

Nous présentons les résultats de l'équipe d'évaluation à tout le personnel approprié du projet à la direction de la santé au niveau district/LGA et aux personnalités politiques, qui ont la responsabilité du programme TIDC. Ceci est en fait, plus qu’une rétro-information – c'est une occasion de discuter des résultats de l'évaluation en détail, et d’arriver à un accord en quelque sorte pour dire que les résultats de l'équipe sont valides.

Planification pour la durabilité du projet Nous devons également permettre au projet, à l'équipe de gestion sanitaire du niveau district/LGA et aux politiques à ces niveaux de collaborer ensemble en vue de l’élaboration d’un plan réaliste pour susciter la durabilité de leurs programmes TIDC. Ce plan quinquennal doit être très détaillé et d’une qualité certaine, étant donné que le Fond Fiduciaire d’APOC l’utilisera comme base pour prendre des décisions sur un financement futur. C'est probablement la partie la plus importante de l'exercice APOC a préparé un document pour aider les équipes à entreprendre cet exercice avec succès: 'Guide et la liste de contrôle pour l’élaboration d’un plan de durabilité TIDC pour les projets de troisième et cinquièmes années.' Chaque équipe d'évaluation en recevra un exemplaire.

Le processus décrit ci-après est basé sur une expérience acquise dans les évaluations précédentes. Les considérations pratiques suivantes sont importantes:

La préparation pour les ateliers devrait être faite par les directeurs de projet (ministère et

ONGD) et l'éclaireur ', avant l'arrivée de l’équipe d'évaluation. Les zones/LGAs devraient recevoir des copies du Guide bien avant la rétro-information et l'atelier sur la planification de la durabilité afin de permettre aux autorités de bien se préparer pour participer à l'atelier, et munies des données clefs.

Le plan principal qui doit être conçu est celui pour le niveau projet. Si l'équipe effectue également une évaluation du niveau 'projet siège', un exercice semblable doit être réalisé également pour ce niveau (voyez aussi 6,2 ci-dessous).

Des ateliers semblables de planification devraient être tenus pour le niveau district sanitaire/gouvernement local. L’atelier de niveau supérieur est tenu en premier lieu, de pour que le personnel à ce niveau se familiarise avec les concepts et les résultats. Ainsi, ils pourront aider dans l’organisation de l'événement au niveau district. Les responsables des FSPL devraient participer aux ateliers de planification pour le niveau district sanitaire/administration locale.

Notez que les plans qui sont élaborés pendant les ateliers sont en fait, 'les plans de durabilité’

auxquels on a fait allusion dans les instruments.


5.2. Ateliers à différents niveaux 5.2.1. L'atelier au niveau de projet Les personnes suivantes doivent participer à cet atelier: Du service public de la santé:

Le responsable du projet/ CNO ; le comptable du projet. Les cadres chargés du projet (ex: Directeur du programme de la section lutte contre les

maladies et le Secrétaire permanent). Agents de terrain mettant en œuvre le projet à ce niveau.

Tous les responsables de la santé au niveau district/LGA (ex : les médecins chefs de district et les niveaux FSPL. Ces personnes devraient indiquer ce que leurs niveaux sont capables de faire, et contribuer en matière de ressources.

Des ONGD: Les responsables affectés au projet Toutes autres parties prenantes qui, d’habitude, contribuent à la planification à ce niveau.

Par exemple, les membres du GTNO

Le programme de l’atelier est conçu pour atteindre les deux objectifs au point 5.1 ci-dessus. Il est très important de ne pas essayer de précipiter ces ateliers – un plan complet doit être élaboré. Nous proposons donc un atelier qui va durer de trois à cinq jours pour le niveau de projet:

Un ou deux jours pour présenter les résultats de l'équipe d'évaluation, de les ébattre à fond,

arriver à un certain consensus avec la direction du projet au sujet de la validité des résultats et faire des propositions basées sur les résultats.

Trois jours pour élaborer un plan de durabilité pour les cinq années à venir, conformément aux directives d'APOC.

Un exemple d'un tel programme est présenté au point 5.4.1. mais il devra évidemment être ajusté selon les circonstances.

Les membres de l'équipe d'évaluation serviront de facilitateurs à cet atelier.

Si le projet au ‘niveau Siège' est également évalué, il devra subir un exercice semblable, mais séparé.

5.2.2. L’atelier du niveau district/administration locale Les personnes suivantes devraient participer à cet atelier: Du service public de la santé:

* L’équipe cadre chargée de la gestion du service de santé à ce niveau; y compris la

personne chargée des programmes de lutte contre les maladies. * Le responsable du programme TIDC à ce niveau. * Quelques représentants du niveau FSPL. Le responsable de la formation devrait y participer. Les autorités compétentes et les représentants des ONGD à ce niveau. Toute autre partie prenante qui contribue généralement à la planification à ce niveau (surtout le

responsable des finances).


Là-où il y a plus de cinq districts, il serait plus indiqué de tenir des réunions de rétro-information/ planification en séries de cinq.

Le programme pour ces ateliers suit le même modèle que celui pour l'atelier du niveau projet.

Notez que les ateliers nous fournissent à ce niveau, surtout, l'occasion de recueillir des informations plus importantes sur la durabilité, la raison étant que nous pouvons rencontrer des personnes de ces districts /zones d’administration locale qui n'avaient pas été inclus dans notre échantillon. Un questionnaire peut donc être administré auprès d’eux, au tout début du programme du premier jour. Un exemple d'un tel questionnaire est présenté en Annexe 3. Les données obtenues de cette façon devraient être exploitées pour mettre à jour les résultats et les conclusions qui ont été obtenus, après l'analyse initiale des données rassemblées pendant les travaux sur le terrain.

Les membres des équipes du niveau projet sont les facilitateurs à ces ateliers. Les membres de l'équipe d'évaluation aident s' ils sont disponibles après la tenue de l'atelier du niveau projet, et que le plan de durabilité de cinq ans est prêt. Au cas contraire, les membres de l’équipe de projet poursuivent le processus eux-mêmes, jusqu'à l’achèvement. 5.3 Organisation des ateliers Il est important que l’atelier soit dirigé par une personne ayant de bonnes compétences en matière d’atelier- quelqu’un ayant l’expérience de la conduite des ateliers. Vous devez désigner le membre de l’équipe le plus expérimenté dans ce domaine pour être responsable du programme de l’atelier. Ceux qui doivent voyager pour participer aux ateliers auront besoin des frais de voyage et d’allocations pour le logement. La direction d’APOC a accepté de financer cet élément. Cependant, le chef d’équipe et ‘l’éclaireur’ doivent s’assurer qu’une demande est soumise pour les fonds et que des paiements en espèces seront disponibles pour les participants à la fin de chaque atelier. Il bénéficiera pour cela de l’assistance des responsables du projet et du CNO qui ont de l’expérience en la matière.

Il doit être prévu à l’intention des participants la pause café et le déjeuner. Encore une fois, APOC a accepté de financer ce volet aussi, mais le chef d’équipe/’éclaireur’ doivent s’assurer que les responsables du projet /CNO organisent cela. Il est très important que les repas soient prêts à temps. Les participants devraient être informés à temps qu’ils doivent prendre des dispositions pour leur logement, mais qu’ils auront une allocation pour cela. La salle dans laquelle l’atelier aura lieu doit être soigneusement choisie: Elle doit être suffisamment grande pour recevoir le nombre prévu de participants. Elle doit être à proximité du bureau du projet (pour certains exercices, la nécessité de la

documentation du projet s’impose) mais pas si proche de façon à provoquer des interruptions constantes (par exemple des cas où des personnes sont appelées à répondre au téléphone).

Elle doit être calme – ex: pas à proximité d’une route très fréquentée ou d’un groupe électrogène.

Il ne faut pas qu’il fasse trop chaud à l’intérieur – s’il n’y a pas de climatisation, il faudra peut-être prévoir des ventilateurs.

Le matériel suivant doit aussi être préparé (encore une fois APOC paiera la facture): Une chemise cartonnée pour chaque participant, contenant le programme et les documents de

l’atelier, (ex: les résultats de l’évaluation principale, et aussi celle sur la ‘durabilité’), du papier pour écrire, un stylo ou un crayon.


L’équipement nécessaire, selon ce que l’équipe souhaite utiliser: tableau (flip-chart), marqueurs, rétroprojecteur, transparents, stylos et de la craie, s’il y a un tableau à craie, etc.

Notez que plus vous accorderez de l’attention aux détails pratiques, mieux l’atelier se déroulera. A un certain moment au cours de cette période, vous devez donner un feedback aux principaux responsables au Ministère. Cela veut dire qu’une petite équipe doit être prête à quitter l’atelier à un moment convenable aux personnes que l’équipe va voir. Et n’oubliez pas d’apporter une cravate pour l’occasion ; On ne sait jamais, vous pouvez arriver à voir le Ministre de la Santé ou le Gouverneur de l’Etat en personne. 5.4. Programme de l’atelier 5.4.1. Programme global Voici un exemple de programme d’un atelier complet de ‘restitution et planification’ de trois à cinq jours pour le niveau projet. Il comprend les éléments les plus réussis de plusieurs ateliers. Chaque équipe d’évaluation doit l’adapter à ses besoins spécifiques. Notez que les horaires et les pauses ne sont pas incluses dans le programme, ces éléments étant tributaires des circonstances locales. Ordre du jour pour une session de ‘restitution’(devrait durer 1 ou 1.5 jours)

Activité 1 Cérémonie d’ouverture et mots de bienvenue 2 Présentation des participants 3 Présentation:

Programme de l’atelier Questions d’organisation pratique de l’atelier

4 Présentation: Objectif de l’évaluation. Que signifie ‘durabilité?

5 Présentation: Méthodologie de l’évaluation 6 Présentation des principaux résultats:

Niveau communautaire Niveau FSPL/ sous-district Niveau District/ administration locale Niveau national/ projet

Chaque présentation est suivie d’un temps pour des précisions et une discussion ouverte (assez de temps pour arriver à une compréhension mutuelle claire). A

jout

er le

s dét

ails

des

hor

aire

s et l

es n

oms d

es

faci

litat

eurs

7 Travaux de groupe: analyse SWOT dans 3 groupes – ‘quelle est la situation relative à la durabilité dans notre projet?’ Groupe 1: Les niveaux communautaire et FSPL Groupe 2: Niveau district/administration locale Groupe 3: niveau national/ projet.

8 Présentation des travaux de groupe, suivie d’une discussion en plénière


9

Travaux de Groupe: ‘quelles pourraient être les solutions aux faiblesses concernant la durabilité de notre projet?’ Groupe 1: Planification, Monitorage et supervision Groupe 2: Finances, Formation et ESPM Groupe 3: Transport, approvisionnement en Mectizan

Directives: concentrez-vous sur la rationalisation des dépenses; la mobilisation des ressources; l’intégration.

10 Présentation des travaux de groupe suivie d’une discussion en plénière

11 Présentation: Résumé des travaux de la journée.

H

orai

res,

faci

litat

eurs

Ordre du jour pour les sessions sur ‘l’Elaboration des Plans de Durabilité’(devraient durer 3 jours) Activité 12 Accueil 13 Présentation:

Résumé des travaux de la veille. Programme de la journée

14 Travaux de Groupe: ‘quelles ressources sommes-nous susceptibles d’avoir aux différents niveaux du programme, pour les 3 prochaines années ?’

Groupe 1: Argent et ressources humaines. Groupe 2: Moyens de transport et équipements matériel.

15 Présentation des travaux de groupe, suivie d’une discussion en plénière. Pause café

16 Travaux de Groupe : Elaboration d’un plan durable pour la prochaine année: 2 groupes élaborent chacun un plan sous forme de tableau (qu’est-ce qui doit

être fait, pourquoi ; par qui ? d’ici quand ; indicateurs ; coûts). Le plan doit correspondre aux ressources disponibles.

Pause déjeuner 17 Présentation des travaux de groupe, suivie d’une discussion en plénière. 18 Discussion en plénière:

Elaboration d’un ‘plan cade durable’ pour le projet, pour la prochaine année. Pause café

19 Discussion en plénière Mesures pratiques pour mettre en œuvre le ‘plan de durabilité‘.

20 Séance plénière: questions d’ordre pratique. 21 Cérémonie de clôture.

A

jout

er le

s dét

ails

des

hor

aire

s et

des f

acili

tate

urs

5.4.2. Détails des points du programme Le concept de ‘durabilité’ doit être discuté au début de l’atelier: la définition, les aspects, les niveaux. Cela est fait sous forme de présentation suivi d’une discussion. Il serait bon de donner aux participants un document sur le sujet (voir l’Annexe 5). Ensuite, l’équipe d’évaluation donne une retro-information sur ses résultats: Un résumé des résultats à tous les niveaux est présenté – mais l’équipe donne plus de temps au

niveau des personnes pour lesquelles l’atelier est entrain de se dérouler. L’équipe doit donner d’abord les résultats positifs/acquis, avant de passer aux aspects négatifs/

problèmes.


Il sera utile que l’équipe prépare un petit document à distribuer sur les principaux résultats (la section du rapport préparée telle que décrite ci-dessus au point 4.2).

Il est important de consacrer suffisamment de temps à la discussion sur les résultats. Il doit y avoir réellement des accords sur les principaux résultats – ou au moins un consensus sur le désaccord.

Le reste de l’atelier est conçu comme un processus logique, aboutissant à la construction d’un plan durable pour l’année qui suit la fin du financement de l’APOC. Ceci n’est pas un plan théorique pour réaliser la ‘durabilité’ – c’est un plan qui entre dans les limites des ressources disponibles et qui est par conséquent durable. Voici les étapes: Un exercice SWOT, conduit par rapport à la durabilité actuelle du projet à ses différents

niveaux. Un exercice pour générer des idées pour surmonter les faiblesses et les menaces dans les

activités de routine du projet, en ce qui concerne leur durabilité. Un exercice pour identifier les ressources qui sont susceptibles d’être disponibles pour le

programme au cours des prochaines années. Un exercice pour élaborer le plan durable mentionné ci-dessus (pour une année seulement).

Il y a des instructions détaillées disponibles pour les séances de travaux de groupe (Annexe 4). Le dernier point à l’ordre du jour est l’élaboration des perspectives d’avenir. La principale question est la suivante: qu’est-ce qui va arriver aux plans que les participants viennent tout juste de préparer? Elaborez avec chaque équipe de participants, ce qu’elle va faire de son plan. A qui vont-ils le soumettre et quand? Où vont-ils l’afficher? Comment vont-ils s’assurer de s’en tenir à ce plan? 5.4. 3. Le rôle des facilitateurs d'atelier

Les participants doivent être aussi actifs que possible. Cela veut dire que les facilitateurs doivent être aussi silencieux que possible - ils devraient résister à la tentation de donner aux participants l’impression qu’ils connaissent tout. Ce sont les participants qui doivent élaborer le plan – c'est leur programme, tout compte fait. Il est très important qu'ils sentent qu’ils sont propriétaires de ce 'plan de durabilité'.

Lors de l’élaboration par les participants de leur plan, les facilitateurs devraient les aider à parcourir le «guide» étape par étape. Pour les directeurs au niveau projet, ce genre d'exercice de planification ne leur sera pas

étranger. Le défi pour les facilitateurs sera donc de s'assurer qu'ils ne reprennent pas simplement ce qu'ils ont fait dans le passé. Ils doivent prévoir avec exactitude ce que sera leur revenu; ils doivent alors s’assurer que leurs dépenses cadrent avec le montant du revenu. En outre, les projets demandant des fonds pour la 6e année, doivent respecter les règles édictées à Abuja. Le produit final doit être un plan quinquennal et un budget qui est assez bon à soumettre à la Direction d'APOC.

Pour les directeurs au niveau district/administration locale, ce genre d'exercice peut être relativement nouveau. Les facilitateurs doivent les guider à travers le même exercice de planification, tout en respectant les mêmes principes, mais en donnant des rétro-informations et en prodiguant des encouragements positifs dans la mesure du possible. Si les membres d'une ou plusieurs des équipes de gestion de district semblent être en difficulté par rapport à la résolution d’un problème, les facilitateurs peuvent demander à d'autres groupes présents de partager ce qu'ils font pour résoudre ce problème. Les facilitateurs peuvent même faire appel à leur propre expérience antérieure des ateliers semblables, afin de partager quelques idées. Ils doivent cependant faire attention à ne pas prescrire des solutions spécifiques. Le produit final doit être un plan et budget de cinq ans que les équipes doivent repartir avec. Un exemplaire est remis pour la direction du projet.


Notez que ce processus est applicable dans le cas des ateliers de la 5ème et 3ème années. La seul differene est que, dans le cas des plans du niveau projet de l'année 3, ils suivront toujours le format d'APOC pour les 4ème et 5ème années (mais il doit y avoir de vrais signes d'efficience accrue). 5.5. Après les ateliers

L'expérience nous a montré que l'élaboration ' des plans de durabilité n’est que la première étape.

Chaque groupe doit avoir un exemplaire bien dactylographiée de son plan et budget à la fin de l'atelier. Des exemplaires seront tirées pour la direction au niveau de la supervision, ainsi que les autres aussi bien que pour d’autres parties prenantes:

Pour les projets: Le CNO, et membres du GTNO (y compris le partenaire ONGD), les

superviseurs du MINSAN à ce niveau (technique et politique), Direction d’APOC, l'équipe d'évaluation etc.

Pour les districts/autorités locales: Le directeur de projet l’ONGD partenaire, les superviseurs du MINSAN à ce niveau, responsables politiques à ce niveau et ainsi que la Direction d’APOC.

Les plans élaborés par le niveau projet à la fin de chaque atelier sont, d’une manière générale, détaillés et prêt pour la soumission. L’équipe de gestion de chaque projet va mettre la touche finale aux plans, pour être soumis à APOC. Cela veut dire qu'ils vont se réunir peu après l'atelier afin de finaliser et soumettre le plan. Les directives pour l’élaboration des plans de durabilité pour les projets de 3ème et 5ème années sont présentées en détail dans une autre section.

La Direction d'APOC prend des dispositions pour soutenir les projets dans la mise en œuvre de leurs 'plans de durabilité’:

Ces plans constituent la base de l'attribution de fonds, de la 3ème année à la 5ème année et au-delà

(dans le cas des projets qui décident de profiter de la possibilité de trois années additionnelles de financement réduit sur le Fonds Fiduciaire d'APOC).

Si les rapports prouvent que les mesures prises dans les plans ne sont pas mises en oeuvre,

pour quelques raisons, une assistance taillée sur mesure sera apportée: une personne pouvant collaborer avec les GTNO, les partenaires ONGD et les directeurs de projet pour surmonter les difficultés.


6. REDACTION DU RAPPORT

Une fois que les résultats ont été analysés comme suggéré ci-dessus, un rapport doit être rédigé. Cela commence à se faire au moment de la première analyse des données et chaque membre de l’équipe doit être responsabilisé pour compléter sa partie du rapport. Le chef d’équipe assure la coordination de la répartition des tâches. En rédigeant le rapport, on doit garder à l’esprit que ce ne sont pas tous ceux qui doivent le lire qui connaissent bien le processus d’évaluation de la ‘durabilité’. Par conséquent, il doit y avoir suffisamment de détails pour leur permettre de comprendre la logique de l’ensemble du processus.

6.1. La structure du rapport

Les sections suivantes sont recommandées: Un résumé analytique: Ceci devrait être succinct mais détaillé, et doit porter sur la

performance du projet à chacun des quatre niveaux, tout en mettant en exergue à chaque niveau, les indicateurs qui se sont ont bien comportés et ceux qui étaient problématiques.

Introduction: Une brève description du projet et de son histoire jusqu'ici. Méthodologie: un protocole succinct (y compris la question d'évaluation /l’objectif et

l’échantillonnage); une courte description du processus; les problèmes rencontrés; les commentaires sur la performance des instruments; les membres d'équipe.

Résultats et recommandations ∗ Pour chacun des quatre niveaux l'ordre suivant doit être appliqué:

• Un graphique de la moyenne de la notation globale (à l’échelle de 0-4) des neuf groupes d’indicateurs (voir 4.3.2 plus haut).

• Pour chaque groupe d'indicateurs (par exemple la 'planification') vous décrivez les résultats clefs positifs et négatifs concernant la durabilité. Vous faites la même chose pour chacun des neuf groupes d'indicateurs, l’un après l’autre.

• Après avoir donné les résultats pour chaque groupe d'indicateurs, des recommandations détaillées et spécifiques suivent - basées essentiellement sur ces résultats. Un ordre de priorité est donné aux recommandations, avec des indicateurs, des délais fixes et des responsables.

∗ Ceci est suivi du jugement de la durabilité globale du projet, en utilisant les méthodes

qualitative et quantitative. Les deux jugements sont confrontés. * S’il y a des résultats additionnels d'intérêt, ils doivent figurer à la fin de cette section

. Rapports des ateliers de restitution/de développement plan de durabilité ' une description

courte de chacun – qui a participé, le degré de participation, prochaines étapes prévues. Un rapport sur les visites de plaidoyer qui ont été effectuées: les personnes contactées, et leur

réaction. Le plan de durabilité de cinq ans: C'est probablement la partie la plus importante du rapport. Annexes: Par exemple des données pertinentes additionnelles; sources des données, l’emploi

du temps/carnet de l’évaluation; les calendriers d'atelier; les plans élaborés pendant les ateliers.


6.2. Le rapport des Sièges nationaux

La contribution des niveaux supérieurs des services sanitaires au TIDC diffère d’un pays APOC à l’autre.

Dans certains (habituellement ceux ayant relativement peu de projets) le CNO et le personnel au niveau national sont profondément impliqués dans le déroulement de chaque projet. Dans ces cas-ci le rapport du projet fournirait des informations adéquates sur la durabilité du projet au niveau national. Les exemples sont le Malawi, le Tchad et l'Ouganda.

Dans d'autres (habituellement ceux ayant de nombreux projets) le personnel au niveau national a un rôle plus administratif par rapport aux projets, et il confie la gestion des projets à leurs directeurs. Les exemples sont le Nigeria, le Cameroun et la République Démocratique du Congo. Dans ces cas le rapport du projet ne donnera pas assez d’information sur le fonctionnement de ce niveau.

Dans ces cas précis, la Direction d'APOC demanderait à une équipe qui va entreprendre une évaluation dans ledit pays de bien vouloir faire également une évaluation du siège nationale, dont la procédure est comme suit:

La collecte de données s’effectue au niveau:

∗ Du personnel du siège national (à l'aide de l'instrument 1) dont les membres du GTNO et les supérieurs du CNO au ministère. Les documents appropriés sont bien étudiés, naturellement.

* Du personnel du projet (à l'aide de l'instrument 1) – en étudiant les documents à ce niveau qui ont des informations sur le fonctionnement du siège national.

Un rapport séparé est rédigé. Le rapport est plus court, mais les titres restent les mêmes:

∗ Ce rapport n'a pas besoin de sections détaillées de méthodologie et d’informations

générales, étant donné que cela doit figurer dans les rapports du projet. ∗ La section sur les ‘Résultats et recommandations’ est brève, puisque portant sur un

seul niveau. 6.3. Diffusion du Rapport

La responsabilité ultime de finalisation du rapport repose sur le chef d'équipe. Il est proposé qu’il/elle consulte un rapport d’une évaluation récente pour s’inspirer dans la rédaction du rapport.

Sur la base de l'expérience du premier cycle d’évaluations, nous savons maintenant qu'il est très important que le personnel du projet reçoive un exemplaire du rapport avant que l'équipe parte. Tel qu’il a été mentionné à la section 5, les résultats des équipes d'évaluation doivent être présentés à la direction du projet, et discutés en détail – tout en donnant l'occasion au personnel du projet de s’exprimer sur les désaccords ou de se prononcer sur leurs perspectives. De cette façon le rapport est plus susceptible d'être ‘approprié’ par les membres du personnel du projet: ce qui est une bonne chose, puisqu'ils seront beaucoup plus disposés à agir sur les résultats et les recommandations auxquels ils ont contribué à formuler eux-mêmes.

En plus des exemplaires à envoyer à la direction du projet, les copies imprimées ou électroniques du rapport final devraient être envoyées par voie électronique à: CNO/GTNO du pays concerné. La Direction d’APOC à Ouagadougou.


ANNEXES

ANNEXE 1: LETTRE AUX PERSONNES A INTERVIEWER Ces informations peuvent être incluses dans une lettre officielle écrite par le PNLO, adressée à toutes les personnes auxquelles on demandera de fournir des informations pendant l’évaluation à venir. _______________________________________________________ Cher collègue, Informations sur l’évaluation à venir du Programme de Lutte contre l’Onchocercose (Cécité des rivières). Au cours de ces dernières années, vous avez aidé à gérer un programme pour lutter contre la cécité des rivières, en distribuant le médicament Mectizan® aux villageois dans votre zone. Ce programme a bénéficié du soutien du Programme Africain de Lutte contre l’Onchocercose (APOC), de votre Ministère de la Santé et de quelques organisations non-gouvernementales. Ces donateurs veulent savoir maintenant si le programme qu’ils ont commencé est devenu suffisamment solide pour se poursuivre. Dans une ou deux semaines, APOC enverra une équipe pour investiguer sur la durabilité du programme de lutte contre la cécité des rivières dans votre zone. Comme vous jouez un rôle important dans le programme, l’équipe voudrait vous rencontrer afin de vous parler des questions suivantes relatives au programme de lutte: Planification: comment le programme est-il planifié chaque année? Leadership: Qui assure le leadership du programme et comment? Supervision et monitorage: quel type de supervision et de monitorage qui se font? Commande et distribution du Mectizan®: Quel est le processus utilisé pour la commande et la

distribution du Mectizan®? Formation et sensibilisation/mobilisation: Quelles sont les activités de formation et de

mobilisation mises en oeuvre? Financement: quels sont les financements disponibles actuellement et quels sont les fonds

susceptibles d’être disponibles à l’avenir? Transport et autres ressources matérielles: qu’est-ce qui est disponible maintenant et qu’est-ce

qui pourrait l’être à l’avenir? Ressources humaines: quels sont les agents disponibles pour gérer le programme et quel est le

degré de qualifications de ces personnes? Couverture: Quel est le degré de couverture de votre zone par le programme?

Vous n’avez pas besoin de faire des préparatifs minutieux pour la visite. Les membres de l’équipe veulent tout simplement connaître la situation actuelle et vous n’avez pas besoins de changer dans vos habitudes avant leur arrivée! Ils veulent tout simplement vous parler, pour apprendre de vous ce qui se passe dans votre volet du programme. Nous vous serions très reconnaissants de leur consacrer un peu de votre temps à une date convenue. La personne qui vous remet ce document pourrait aussi vous demander de préparer quelques documents pour l’équipe qui viendra vous voir. Les informations contenues dans ces documents les aideront à bien comprendre votre situation. Nous vous serions reconnaissants de nous aider en tenant ces documents prêts le jour de la visite de l’équipe. Il se peut que vous ne disposiez pas de certains de ces documents – cela ne pose pas de problème. Tout ce que vous pourrez montrer à l’équipe sera utile. Nous vous remercions infiniment!


ANNEXE 2 : DOCUMENTS NECESSAIRES POUR LA REVUE

LITTERAIRE

Documents nécessaires: niveau national/ zone/ provincial/ Etatique Documents de politiques du Ministère de la Santé et plans stratégiques concernant le TIDC Plans nationaux/régionaux et de lutte contre l’onchocercose de l’année en cours et des années

précédentes Rapports du REMO y compris les listes de toutes les communautés endémiques/populations

cibles Budgets et rapports financiers nationaux/régionaux etc. de l’année en cours et des années

précédentes Les plans annuels du pays/région etc. des deux dernières années:

* Y compris le TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s’ils existent)

Le budget annuel de la lutte contre l’onchocercose, pour les trois dernières années pour le pays/région/province etc.: * De toutes les sources: Ministère de la Santé à ce niveau, APOC, ONGD partenaires * Détails des salaires du personnel, dépenses d’investissement, frais de fonctionnement.

Documents de contrôles financiers: fiches d’ordonnancement des dépenses, livres de comptes etc. (notez que ces documents fourniront des informations sur le décaissement des financements promis)

Rapports du dernier cycle de TIDC dans le pays/région etc. Rapports (s’ils existent):

* Des visites de supervision de routine par les employés à ce niveau, au (x) niveau (x) inférieurs

* Auto-monitorage interne par les employés à ce niveau. Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan® au niveau

pays/zone/Etatique/régional etc… Tous les programmes, matériels de formation, calendrier, liste de présence et rapports relatifs à

la formation pour le TIDC et la formation continue dans le pays/région etc. au cours de ces deux dernières années

Tous les rapports des activités de mobilisation/sensibilisation dans le pays/région etc. au cours de ces deux dernières années.

Toute la documentation relative au contrôle et à l’utilisation des moyens de transport officiels à ce niveau, au cours des deux dernières années: ordres de mission, allocations de carburant, carnets de bord etc.

Documents nécessaires: niveau district sanitaire/ LGA

Les rapports/tableaux de couverture du district sanitaire/LGA pour les trois dernières années

(par sous-district; par village) Rapports du REMO y compris les listes de toutes les communautés endémiques/populations

cibles Les plans annuels du district/LGA des deux dernières années:

* Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Plans trimestriels ou mensuels aussi (s’ils existent)

Le budget annuel des trois dernières années (de toutes les sources: l’Administration locale elle-même, les niveaux supérieurs du gouvernement, APOC et ONGD partenaire)

Documents de contrôle financier (ordonnancement des dépenses, livres de comptes etc.) Rapports du dernier cycle de TIDC dans le district sanitaire/LGA


Rapports (s’ils existent) des visites de supervision de routine par les membres de l’Equipe Cadre de District aux sous-districts

Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan® au niveau district sanitaire/LGA

Tous les programmes, matériels de formation, calendrier, liste de présence et rapports relatifs à la formation pour le TIDC et la formation continue dans le district sanitaire/LGA au cours de ces deux dernières années

Tous les rapports des activités de mobilisation/ sensibilisation dans le district sanitaire/LGA au cours de ces deux dernières années.

Toute la documentation relative au contrôle et à l’utilisation des moyens de transport officiels à ce niveau, au cours des deux dernières années: ordres de mission, allocations de carburant, carnets de bord etc.

Documents nécessaires: niveau sous-district/formation sanitaire de première ligne Les rapports /tableaux de couverture du sous-district/FSPL des trois dernières années (par

village) Les plans annuels du sous-district/FSPL des deux dernières années:

* Y compris les plans du TIDC (intégré dans le plan principal ou séparé) * Et les Plans trimestriels ou mensuels également (s’ils existent).

Le budget annuel du sous-district pour les deux dernières années – de toutes les sources: district sanitaire/LGA, revenus propres du sous-district, autre (notez que ce budget peut être tenu au niveau du district sanitaire/LGA).

Documents de contrôles financiers: fiches d’ordonnancement des dépenses, livres de comptes etc.

Rapports du dernier cycle de TIDC dans le sous-district/FSPL (s’il en existe) Rapports (s’ils existent) des visites de supervision par les membres de l’équipe de sous-

district/FSPL aux villages Toutes les fiches concernant les commandes, les sorties et les contrôles du Mectizan® au niveau

sous-district/FSPL Tous les programmes, matériels, calendrier, de formation, liste de présence et rapports relatifs à

la formation pour le TIDC et la formation continue dans le sous-district/FSPL au cours de ces deux dernières années

Tous les rapports sur les activités de mobilisation/sensibilisation dans les villages du sous-district/FSPL au cours de ces deux dernières années.

Toute la documentation relative au contrôle et à l’utilisation des moyens de transport officiels à ce niveau, au cours de ces deux dernières années: ordres de mission, allocations de carburant, carnets de bord etc.

Documents nécessaires: niveau village/communautaire Registres de traitement des DC Fiches récapitulatives montrant les données de couverture et l’utilisation du Mectizan® pour le

village au cours des trois dernières années. Copies des commandes de Mectizan® pour le village au cours des trois dernières années.


ANNEXE 3: QUESTIONNAIRE DESTINE AU PERSONNEL DE DISTRICT SANITAIRE/ADMINISTRATION LOCALE SUR LEUR TRAVAIL DE TIDC

Nom de votre district sanitaire/Administration locale:

Sur la couverture: Quel est le taux de couverture dans votre district sanitaire/Administration locale?

Sur la planification: Comment préparez-vous le plan de TIDC dans votre district/Administration locale chaque

année? Le plan est-il rédigé? Qui contribue à l’élaboration du plan?

Sur le leadership: Qui est responsable du TIDC dans votre district sanitaire/Administration locale? Cette personne a-t-il suffisamment de temps pour le travail de TIDC? Pensez-vous que les responsables politiques dans votre district sanitaire/Administration locale

soutiennent le TIDC? Pourquoi le pensez-vous?

Sur la supervision et le monitorage: Quelle est la fréquence de vos visites de monitorage aux centres de santé/sous-districts/FSPL? Comment planifiez-vous vos visites de supervision aux centres de santé/sous-districts/FSPL? Comment les rapports statistiques sont-ils collectés auprès des centres de santé/sous-

districts/FSPL?


Sur le Mectizan®: Comment votre approvisionnement annuel de Mectizan® vous parvient-il ? Comment le Mectizan® parvient-il aux centres de santé/sous-district/FSPL à partir de vous? Avez-vous suffisamment de Mectizan® chaque année ou avez-vous parfois des pénuries?

Sur la formation et la sensibilisation/mobilisation: Qui formez-vous chaque année? Comment choisissez-vous les personnes que vous allez former? Décrivez la mobilisation que vous entreprenez chaque année. Qui visitez-vous et à quel

intervalle?

Sur les financements/fonds: Avez-vous un budget annuel rédigé pour votre travail de TIDC? Qui fournit les fonds dont vous avez besoin pour faire votre travail de TIDC? Quels plans avez-vous fait pour obtenir d’autres fonds quand les fonds de APOC ne seront plus

disponibles?


Sur le transport et autres ressources matérielles: Décrivez les moyens de transport mis à votre disposition pour faire votre travail. Vous arrive-t-il de ne pas avoir un moyen de transport quand vous avez besoin de faire une

sortie? A quel rythme cela arrive-t-il? Les différents programmes à votre niveau partagent-ils les moyens de transport?

Sur les ressources humaines: Les membres concernés de l'équipe de votre district/administration locale sont-ils bien formés?

Savent-ils vraiment comment mener le TIDC? Quel est le degré de stabilité de votre équipe de soins de santé? Ses membres sont-ils affectés à

d’autres unités ou pas très souvent?


ANNEXE 4: INSTRUCTIONS POUR LES TRAVAUX DE GROUPE DANS LES ATELIERS DE ‘RESTITUTION/PLANIFICATION’

Séance 1: analyse SWOT de la situation actuelle concernant la durabilité Vous avez entendu les résultats de l’équipe d’évaluation concernant la durabilité de votre projet TIDC. Nous vous demandons maintenant de réfléchir plus profondément sur ces résultats, par rapport aux niveaux spécifiques auxquels le projet fonctionne. Nous suggérons que vous le fassiez à travers une analyse SWOT (Forces, Faiblesses, Opportunités, Menaces). Veuillez remplir le tableau suivant: Niveau (x) que nous enquêtons : Forces: quels sont les aspects du projet qui sont positifs pour la durabilité ?

1. 2. 3. etc.

Faiblesses: quels sont les aspects du projet qui sont faibles ?

1. 2. 3. etc.

Quelles Opportunités avons-nous pour rendre le projet plus durable ?

1. 2. 3. etc.

Quelles Menaces existent-elles sur les possibilités de rendre le projet plus durable ?

1. 2. 3. etc.

Vous avez …….minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1. …….. 2. …….. Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Séance 2: Solutions aux faiblesses de notre projet par rapport à la durabilité Vous avez examiné les forces, les faiblesses, les opportunités et les menaces par rapport à la durabilité de notre projet TIDC: Maintenant, nous demandons à chaque groupe de regarder les aspects spécifiques du

fonctionnement du projet. Vous avez déjà examiné les faiblesses du projet par rapport à la durabilité. Maintenant, nous

vous demandons de faire des suggestions pour surmonter ces faiblesses et menaces. ∗ Veuillez accorder une attention particulière à ce qui suit: rationalisation des dépenses;

mobilisation des ressources; intégration plus complète du TIDC dans le système sanitaire. ∗ Les idées innovatrices et de ‘porte de sortie’ sont les bienvenues!

Veuillez présenter vos résultats sous forme de tableau: Les activités du projet que nous prenons en compte: Faiblesses et menaces par rapport à la durabilité:

Suggestions pour surmonter ces faiblesses et menaces:

1. 2. 3. 4. etc.

1. 2. 3. 4. etc.


Vous avez …….minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1…….. 2…….. Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Séance 3: Nos ressources futures Afin de planifier la durabilité, nous devons absolument savoir quelles ressources nous aurons pour gérer le programme, dans les prochaines années. Vous travaillerez en deux groupes: L’un va examiner les ressources humaines et financières et l’autre va examiner les moyens de transport/équipements et matériels. Veuillez remplir le tableau suivant:

Montant Niveau Projet

Niveau District

Autres niveaux Total Source de

financement*Année prochaine Année d’après

Financements* que nous sommes surs d’avoir L’année après cela

Année prochaine L’année d’après

Financements*que nous sommes raisonnablement certains d’obtenir

L’année après cela

* Vous devez faire des tableaux similaires pour le ‘Transport’, ‘Equipements/matériels’ et ‘Ressources humaines’

Vous pouvez avoir besoin de documents du bureau du projet pour faire cet exercice. Vous avez …….minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1…….. 2…….. Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom. Séance 4: Un plan de TIDC durable pour l’année suivante A cette étape, vous devez avoir: Trouvé les moyens de rationaliser les dépenses. Listé les ressources qui seront disponibles l’année suivante (l’année après la fin du financement

de l’APOC). Nous vous demandons maintenant de préparer un plan complet pour votre travail l’année suivante en utilisant le tableau ci-dessous. Le plan doit avoir les caractéristiques suivantes: Le plan que nous faisons doit correspondre aux ressources que vous êtes certains d’avoir. Si vous ne pouvez vraiment pas vous en sortir sans davantage de ressources, vous avez besoin

d’un plan très clair, très précis pour trouver ces ressources.


Veuillez remplir le tableau ci-après :

Que devons-nous faire?

(très spécifique)

Justification: avons-nous

vraiment besoin de faire cela?

Qui doit le faire?

Quand cela doit-il être fait?

Comment saurons-nous

que nous avons réussi?

Combien cela va-t-il

coûter ? (exactement)

1 2 3 etc.

Vous avez …….minutes pour terminer cet exercice. Vos facilitateurs de groupe sont: 1…….. 2…….. Veuillez nommer un rapporteur qui présentera le rapport de votre groupe en votre nom.


ANNEXE: 5 PROSPECTUS SUR LA DURABILITE

La durabilité – qu’est-ce que c’est? ‘Faire durer’ quelque chose signifie ‘la maintenir en état de marche’ ou ‘s’assurer qu’elle continue de fonctionner’. Eléments de durabilité Nous estimons que les projets seront plus durables si les éléments suivants sont présents: Intégration: les projets qui se sont intégrés dans la gestion habituelle des services de santé sont

plus susceptibles d’être durables. Ressources: les projets sont plus susceptibles d’être durables s’ils sont suffisamment de

ressources (humaines, matérielles, financières) pour soutenir ce qu’ils essayent d’entreprendre. Efficience: les projets gérés de manière rentable, par rapport aux coûts, sont plus susceptibles

d’être durables. Simplicité: les projets qui ont des habitudes et des procédures peu compliquées sont plus

susceptibles d’être durables. Acceptation par le personnel de santé (Attitude du personnel de santé) : les projets sont plus

susceptibles d’être durables si le personnel de santé accepte le TIDC comme activité de routine, qu’il continuera de mener même en l’absence d’une récompense matérielle supplémentaire; et s’il accepte qu’il doive adapter ses habitudes afin d’être plus efficient.

Appropriation par la Communauté: Les projets sont plus susceptibles d’être durables si les communautés au niveau desquelles le TIDC se déroule le soutiennent de tout leur cœur et sont prêtes à prendre leur responsabilité vis-à-vis du TIDC.

Efficacité: les projets qui fonctionnent efficacement sont plus susceptibles d’être durables.