Enjeux et défis de l’évaluation d’impact en Afrique : Cas d’une évaluation réalisée au Bénin

Enjeux et défis de Enjeux et défis de l’évaluation d’impact en l’évaluation d’impact en Afrique : Cas d’une Afrique : Cas d’une évaluation réalisée au Béninévaluation réalisée au Bénin

Serge DJOSSA ADOUN, IT/IM, M.SC (Cand)Marie GERVAIS, Ph.DUniversité Laval, Québec (Qc), Canada

Contact: [email protected]

21/04/23 1

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness

Qui sommes-nous?Qui sommes-nous?État civil: DJOSSA ADOUN M. A.

SergeNationalité: BéninoiseDiplôme d’Ingénieur des Travaux

en Imagerie Médicale à l’ÉPAC/UAC en 2005 + pratique 1an ½

Puis à l’UL…avec bourse du PCBFMaîtrise en Santé Communautaire :

Concentration en Évaluation Cadre de la recherche: mémoire sous la

direction de Marie GERVAIS, Ph D

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness 2

Objectif de la Objectif de la communicationcommunication

Discuter avec vous des enjeux et défis rencontrés ainsi que les leçons tirées aux différentes étapes de mon expérience d’une évaluation d’impact menée au Bénin, un pays aux acquis encore fragiles en évaluation.

21/04/23


Plan de la communicationPlan de la communicationI- Identification du sujet et rédaction

de protocole de rechercheII- Préparation du terrainIII- Méthode d’évaluationIV- Collecte de donnéesV- L’après collecteVI- 1ers résultats: Modèle logiqueVII- Retombées de notre démarche VIII- Facteurs facilitant IX- Leçons dégagées de l’expérience

21/04/23


I- Identification du sujet et I- Identification du sujet et rédaction de protocole de rédaction de protocole de

rechercherechercheEnjeu Boursier du PCBF: travailler au

développement de son pays1er défi: accès à l’information depuis

l’extérieur◦Visibilité des organisations: informations

quasi inexistantes sur internet ◦Difficulté de contact: importance d’avoir

des connaissances dans le milieu (cousinage)

21/04/23


I- Identification du sujet et I- Identification du sujet et rédaction de protocole de rédaction de protocole de

rechercherecherche2e défi: Gestion du temps/étudiant-

chercheurÉtudiant bousier: à temps plein+formalités administratives liées aux normes de recherche de l’UL- Approbation du CÉRUL- Soumission du protocole à la Direction de programme- Demande d’autorisation dans le milieu de recherche

21/04/23


II- Préparation du terrainII- Préparation du terrain3e défi: communication de l’extérieur

◦Courriel(Email): consultation et réponse◦Téléphone: perturbation des lignes

Importance de s’y mettre à temps

Autre enjeu: Œuvrer à l’instauration d’une culture d’évaluation dans le milieu

organisationnel

• 4e défi: adhésion acteurs à la démarche oDémystifier l’évaluationoRéunir les acteurs pour présentation de la

démarcheoDisponibilité: rêve? Chance? Comment procéder?

21/04/23


III- Méthode d’évaluationIII- Méthode d’évaluationObjet d’évaluation :

◦Organisation: Association Béninoise de Promotion de la Famille (ABPF)

Domaine : Santé sexuelle & reproductive

Programme évalué: Programme Adolescents et Jeunes dont les Centres Socio-éducatifs pour Adolescents et Jeunes (CSEAJ) constituent le cadre d’intervention

21/04/23


III- Méthode d’évaluationIII- Méthode d’évaluationQuestions d’évaluation

◦1- Quels sont les effets du programme Adolescents et Jeunes de l’ABPF à travers les activités du CSEAJ?

◦2- Quelles appréciations les bénéficiaires ont-ils des activités du CSEAJ quant à la satisfaction de leurs besoins et comment perçoivent-ils les changements induits dans leurs comportements par ce programme ?

21/04/23


III- Méthode d’évaluationIII- Méthode d’évaluationAppr. métho: étude de cas (Yin, 1993)

◦Pourquoi? Comment? (sources données multi.)

◦choix du cas

Devis: mesure unique (Deslauriers, 1991) ◦Difficulté ou impossibilité d’avoir des

mesures pré-intervention fiables

Démarche: qualitative (Weiss, 1998 et Owen, 2007) Logiciel Nvivo (version 8) pour analyser

données 21/04/23


IV- Collecte de donnéesIV- Collecte de données

Consultation des données administratives

5e défi: disponibilité de base de données

Entrevues avec les responsables6e défi: obtention- respect de

rendez-vousDifficulté voire impossibilité d’accès à

certains acteurs

21/04/23


IV- Collecte de donnéesIV- Collecte de donnéesQuestionnaires aux bénéficiaires7e défi: rencontrer les bénéficiaires

◦Période appropriée? Bénéficiaires = élèves/étudiants en début des vacances

◦FlexibilitéCSEAJ tous les jours ouvrablesAppels téléphoniquesEntrevue sur moto en

circulation(matériel!)Observation participante plage Fidjrossè

21/04/23


Quelques images Quelques images observation participanteobservation participante

21/04/23


Quelques images Quelques images observation participanteobservation participante

21/04/23


V- L’après collecteV- L’après collecte8e défi: retour pour validation

◦Difficulté de réunir les acteurs ◦Procéder par des rencontres

individuelles des acteurs clés pour valider les premiers outputs de notre évaluation...Un modèle logique du programme: lien

entre les objectifs du programme et les résultats attendus en passant par les activités développées pour y arriver…

Mais aussi complétés par indicateurs que nous avons élaborés pour mesurer l’atteinte des objectifs

21/04/23


VI- 1VI- 1ersers résultats: Modèle résultats: Modèle logiquelogique

21/04/23


16

Composantes

Objectifs

Acteurs

Activités

Public cible

Résultats

Indicateurs

21/04/23


17

VII- Retombées de notre VII- Retombées de notre démarche évaluativedémarche évaluative

Quelques pas vers l’émergence d’une culture d’évaluation dans l’organisation◦Démystifier l’évaluation◦Obtenir l’adhésion des acteurs à

notre démarche évaluative◦Préparer et outiller l’organisation à

l’évaluation d’impact: Mise sur pied d’indicateurs Élaboration de modèle logique

21/04/23


VIII- Facteurs facilitant VIII- Facteurs facilitant Évaluation non demandée par

bailleurs◦+facile adhésion - attentes émises par

acteursAuteur ‟étranger ”: facilité à vendre le

projet dans milieu organisationnelContact dans l’organisation…Soutien de ma Directrice M.G. dans les

décisions de changement prises sur le terrain

21/04/23


IX- Leçons dégagées de IX- Leçons dégagées de l’expériencel’expérience

Patience

Prévoir plus de temps qu’il en faut

Être flexible et être en mesure de s’adapter aux changements sur le terrain

21/04/23


Autres leçons selon Autres leçons selon vous…?vous…?

21/04/23


Merci de votre présence et de votre attentive écoute

An evaluation panel

Documents

Enjeux et défis de l’évaluation d’impact en Afrique : Cas d’une évaluation réalisée au Bénin