Évaluation du Programme de surveillance de la qualité de …competition.evaluationcanada.ca/txt/2012b_m4c.pdf · Planification budgétaire Échéancier de réalisation ... Approche

21/05/2012

1

Évaluation du Programme de surveillance de la

qualité de l’eau potable dans les communautés

Marie I. Fabienne Cléophat-Jolicoeur

Maude Dionne

Marie-Hélène Gilbert

Marie-Claude Jean

Cheick Bady Diallo

14 mai 2012

Plan de la présentation

La M4C Consulting

Objet de l’évaluation Principales composantes du programme

Modèle logique

Devis et plan d’évaluation Matrice d’évaluation

Méthodologie

Considérations d’ordre pratique Assurance qualité

Éthique

Difficultés anticipées et solutions envisagées

Planification budgétaire

Échéancier de réalisation

Conclusion

2

21/05/2012

2

M4C Consulting

Équipe de professeurs/consultants rattachés à plusieurs

facultés de l’Université Laval, Québec, Canada

Diversité de compétences et d’expériences en évaluation

Santé publique, santé environnementale, politiques publiques,

médecine, santé des populations autochtones

Diverses origines

Canada, Haïti et Mali

Évaluateurs accrédités SCÉ et membres SQÉP

Promouvoir l’évaluation en utilisant la richesse de la diversité!

3

Objet de l’évaluation

Programme de surveillance de la qualité

de l’eau potable dans les communautés

4

21/05/2012

3

Clientèle ciblée

Communautés des Premières Nations

canadiennes vivant au sud du 60e

parallèle

5

Composantes du programme

Répercussions sur la santé : 1,7 million de décès annuel à

l’échelle planétaire lié aux problèmes de consommation d’eau

(Ashbolt, 2004)

Objectifs:

Implanter des activités de surveillance de la qualité de l’eau

potable dans les Premières Nations

Conseiller sur les moyens de faire face aux préoccupations

d’approvisionnement en eau potable dans les Premières Nations

Promouvoir l’importance de la qualité de l’eau auprès des

Premières Nations

Sensibiliser le public des Premières Nations aux problématiques

liées à la qualité de l’eau

Programme financé par Santé Canada 6

21/05/2012

4

Modèle logique

7

Objectifs de l’évaluation

Comprendre le fonctionnement du programme sur le terrain

Comprendre les pratiques de gestion de l’eau potable qui

sont déployées

Relever les répercussions du programme sur la qualité de

l’eau dans les communautés

Établir l’utilité et la pertinence du programme pour les

communautés

8

21/05/2012

5

Le comité d’évaluation

9

1 représentant de Santé Canada

1 représentant de l’Assemblée des Premières

Nations

M4C Consulting

7 représentants de AHM

(1/province)

L’approche évaluative combinée

10

Approche stratégique d’une évaluation utile et utilisée

Dynamique

Adaptative

Intégrée

Approche sensible à la culture (culturally responsive evaluation)

Impact de la culture et du contexte

Appréciation de la diversité

21/05/2012

6

Matrice d’évaluation

Proposition à valider avec le comité d’évaluation

Visée formative avec évaluation des premiers effets

Accompagnement dans la compréhension du

programme, de son déroulement et des effets

Accompagnement pour l’amélioration du programme

11

Matrice d’évaluation (suite)

Questions principales d’évaluation: 1. Quelle est la pertinence du programme de surveillance de la

qualité de l’eau potable dans les communautés au regard des besoins du milieu et des attentes de Santé Canada?

2. Comment se déroule la mise en œuvre du programme de surveillance de la qualité de l’eau potable dans les communautés dans les différents milieux et selon les différents acteurs?

3. Quelle est l’efficacité opérationnelle du programme de surveillance de la qualité de l’eau potable dans les communautés?

4. Quels sont les effets du programmes sur la qualité de l’eau dans les communautés ainsi que sur les pratiques de gestion de l’eau potable?

12

21/05/2012

7


Questions d’évaluation complémentaires suggérées:

Est-ce que le programme de surveillance de la qualité de

l’eau potable dans les communautés est efficient selon les

besoins, les ressources et les actions accomplies?

Quels sont les effets sur la santé de la population du

programme de surveillance de la qualité de l’eau potable

dans les communautés?

13


Question 1 Principaux indicateurs Collecte de données

Quelle est la pertinence du programme de surveillance de la qualité de l’eau potable dans les communautés au regard des besoins du milieu et des attentes de Santé Canada?

•Niveau de connaissance du chef et du conseil sur la qualité de l’eau •Besoins exprimés par les communautés et par Santé Canada •Types et nombre de services requis par les communautés

Populations cibles: •Chefs et conseils •Santé Canada •AHM •DS, IR, ISC, RSC Méthodes et outils: •Entrevues individuelles •Documents pertinents

14

21/05/2012

8



Comment se déroule la mise en œuvre du programme de surveillance de la qualité de l’eau potable dans les communautés dans les différents milieux et selon les différents acteurs ?

•Nombre d’activités d’éducation et de sensibilisation dans les communautés •Facteurs facilitants et barrières à la mise en œuvre du programme •Perception des facteurs internes et externes influents •Taux de satisfaction des parties prenantes

Populations cibles: •AHM •Chefs et conseils •Santé Canada •RSC •IR •DS Méthodes et outils: •Entrevues individuelles •Documents pertinents •Banques de données •Observation

15



Quelle est l’efficacité opérationnelle du programme de surveillance de la qualité de l’eau potable dans les communautés?

•Stratégies de communication mise en place entre les acteurs •Nombre d’échantillons envoyés •Fréquence d’envoie des échantillons •Taux de roulement des CCQEP en poste

Populations cibles: •AHM •Chefs et conseils •Santé Canada

Méthodes et outils: •Entrevues individuelles •Banques de données

16

21/05/2012

9



Quels sont les effets du programmes sur la qualité de l’eau dans les communautés ainsi que sur les pratiques de gestion de l’eau potable?

•Nombre et taux d’échantillons d’eau potable •Nombre d’avis d’eau contaminé dans les communautés •Nombre d’activités de gestion de l’eau dans les communautés

Populations cibles: •Santé Canada •AHM Méthodes et outils: •Entrevues individuelles •Banques de données

17

Méthodologie : Une approche mixte participative et rigoureuse pour répondre à vos besoins!

Entrevues individuelles

Observation sur le terrain

Documents du

programme

Données quantitatives

18

Validation des données par la triangulation et le

retour vers les parties prenantes

Outils fidèles et prétestés

Variables choisies en fonction de la littérature et du terrain

Indicateurs mesurables et

utiles

21/05/2012

10

Une évaluation en 3 étapes!

Conception

Évaluation de l’implantation et de la mise en œuvre

Évaluation des effets

19

Collecte de données

Évaluation

Étape 1

conception

Analyse documentaire et des bases de données

Documents du programme

Enquête préliminaire

Étape 2

Évaluation de l’implantation

Données de base

+

Études de cas

Observation

Étape 3

Évaluation des effets

Données de base

+

Étude de cas

Données de suivi

20

21/05/2012

11

Collecte de données (suite) Méthode Étape 1: Conception du programme

Méthodes

Réalisation

Justification

Avantages Inconvénients

Analyse

documentaire

•Revue de la littérature

(programmes similaires et leurs

évaluations)

•Informations

valides et actuelles

•Coût faible

•Capacité de

synthèse

•Temps requis

Analyse des

bases de

données

•Données : démographiques, sanitaires,

registres

•Accessible

•Beaucoup

informations

•Coût faible

•Pas toujours

précis et à jour

•Limitation

quantitative

Documents

du

programme

•Rapports de réunions

•Cadre de référence

•Documents administratifs et financiers

•Suivi de gestion

•Suivi du personnel

•Informations

valides sur la

conception du

programme

•Coût faible

•Rapide

•Capacité de

synthèse

•Pas toujours

précis et à jour

•Accessibilité 21

Collecte de données (suite) Méthode:

Étude de cas

Étape 2 : Évaluation de l’implantation

et de la mise en œuvre

Réalisation Justification


Entrevues

individuelles

Population cible:

•Chef et conseils

•CCQEP

•Infirmière responsable (IR) et en

santé communautaire (ISC)

•Agent d’hygiène du milieu

(AHM)

Outils

•Récit de vie (story telling),

guides d’entrevue semi-

structurée

Où, quand, comment:

•Face à face / Téléphonique

•Selon disponibilités

•Engagement et

participation des

acteurs dans

l’évaluation

•Explorer des pistes

inusitées ou sensibles

•Dégager des éléments

d’une stratégie

d’amélioration

•Permet de nuancer

l’information déjà

recueillie

•Représentativité

•Nombre élevé de

rencontres

•Recruter

participants

22

21/05/2012

12

Collecte de données (suite)

Méthode

Étude de cas

Étape 2 : Évaluation de l’implantation et de la mise en oeuvre

Méthodes Réalisation

Justification


Observation

sur le

terrain

Population cible:

•La communauté

•CCQEP

Lors de:

•Lieu de travail

•Milieu de vie

Outil

•Journal de bord , photos

•Données sur

l’environnement

physique et social

•Étudier les

comportements

•Renseignements pas

accessibles autrement

•Expériences vécues

des participants

•Variétés des données

•Subjectivité

•Temps élevé

•Désirabilité

sociale

23

Collecte de données (suite)

Étape 3: Évaluation des effets

Méthodes Réalisation Justification


Données de

suivi

Données de surveillance

Rapports de fonctionnement et

autres

À comparer avec les données de

base

•Accessible

• Informations

standardisées

•Coût faible

•Pas toujours précis

et à jour

Étude de cas

Entrevues individuelles

•Engagement et

participation des

acteurs dans

l’évaluation

•Permet de nuancer

l’information déjà

recueillie

•Représentativité

•Nombre élevé de

rencontres

•Recruter

participants

24

21/05/2012

13

Analyses des données

Qualitatives : logiciel NVivo

Quantitative : logiciel SPSS

Analyses statistiques descriptives

Statistiques inférentielles

Validation interjuges et de contenu avec le comité

d’évaluation

25

Notre assurance qualité

Personnel qualifié et expérimenté

Évaluateurs accrédités par la SCÉ

Validation des données et des résultats

Validation des données et des analyses avec le comité

d’évaluation

Triangulation des données

Respect des normes d’évaluation de la SCÉ (janvier 2012)

Normes d'utilité, de faisabilité, de convenance, de précision et de

responsabilité en évaluation

26

21/05/2012

14

Éthique

Respect des lignes directrices de la SCÉ en matière

d’éthique

Compétence

Imputabilité

Intégrité

Respect des règles d’éthique de la recherche au Canada

Consentement des participants

Accessibilité aux documents et aux données

Difficultés anticipées…

… Solutions envisagées

Quoi? Moyen de surveillance et

de contrôle des risques.

Pour? Éliminer le risque, réduire

sa probabilité d’occurrence ou bien

réduire son impact

Comment? Plan de prévention

pour les actions préventives et plan

de secours pour les actions

curatives.

28

21/05/2012

15



29

Difficultés

Importance

des

difficultés

Probabilité

de survenue Solutions

Différences culturelles Barrière de langage Difficulté à recruter des traducteurs

Élevée Élevée

Partenariat avec des représentants de santé communautaire (RSC) Favoriser les rencontres face-à-face (miser sur l’écoute, horaire flexible, traducteur). Utilisation de technique innovante pour rencontre avec CCQEP: récit de vie (story telling).

Faible niveau d’éducation des participants

Faible Élevée Rencontres face-à-face, travail avec les RSC

Difficulté à rejoindre les CCQEP

Élevée Modérée

Partenariat avec les AHM, RSC et comité d’évaluation. Flexibilité dans les lieux des rencontres (maison, milieu de travail ou autres).



30

Difficultés

Importance

des

difficultés

Probabilité

de survenue Solutions

Éthiques Consentement: barrière de langue, compréhension écrite (faible niveau de scolarité)

Élevée Faible Lecture des consentements avec des interprètes (Représentants en santé communautaire - RSC)

Mise en œuvre Large territoire géographique

Élevée Élevée Utilisation de technique innovante: SKYPE et visioconférence

Politiques Plusieurs parties prenantes provenant de divers institutions impliquées

Modérée Modérée Comité d’évaluation et approche participative

21/05/2012

16



31

Difficulté Importance de

la difficulté

Probabilité de

survenue Solution

Échéancier serré 80 jours

Modérée Modérée

Utilisation de SKYPE ou visioconférence pour les rencontres avec le comité d’évaluation et avec les AHM

Contraintes budgétaires 50 000$ + 15 000$ frais de déplacement

Modérée Modérée Déplacement dans 7 communautés (étude de cas-sites)

Dépôt des rapports

et plan de diffusion

32

Mois 1 Mois 2

Mois 3 Mois 4

Rencontre comité d’évaluation Validation des outils Identification des cas

Liens avec les communautés Accès aux données

Dépôt rapports d’étape (2)

Dépôt rapport final et rencontre comité d’évaluation

21/05/2012

17

33

Dépôt des rapports

et plan de diffusion

Diffusion des résultats

Suivi avec le comité d’évaluation en continue et rapport

d’étape

Rapport exécutif aux parties prenantes

Résumé 1 page pour diffusion dans les communautés (cas-

sites)

Présentation du rapport exécutif en format PowerPoint avec

le comité d’évaluation et les parties prenantes

Échéancier et budget

34

Activités Étape 1 (mois 1)

Étape 2 (mois 2 & 3)

Étape 3 (mois 4)

Coût $

Développement et validation des outils de collectes

X 3000

Collecte de données dans les communautés (déplacement & hébergement)

X 21000

Analyse des données X X X 12000

Écriture des rapports et présentation des résultats

X 6000

Gestion de projet 8000

Total 50 000

21/05/2012

18

35

Promouvoir l’évaluation en utilisant la richesse de la diversité!

[email protected]

1-888-656-2131

Remerciements

36

Notre entraîneure Marie Gervais

Membres du jury

Comité organisateur du concours

21/05/2012

19

Questions?

Commentaires?

37