Processus et évaluation Processus et évaluation en développement des en développement des

communautéscommunautés

Paule Simard, chercheure Collaboration: Institut national de santé publique Diane Champagne, UQAT

Ginette Paré, ASSS-ATMichel O’Neill, U. Laval

Jacinthe Loiselle, FLAC

Communautés en action. Pour le développement de la santé et du bien-être des populations

AQESS, Montréal, 12 mars 2008

3 enjeux de l’évaluation du DC

L’évaluation de processus

Comment faire?

Présentation en 3 temps

Origine de la réflexionOrigine de la réflexion

Projet de recherche• auto-évaluation de 8 projets de

développement des communautés• Production: Guide d’évaluation à

l’intention des communautés

Demande du RQVVS• cadre théorique: « Perspective pour une évaluation participative de processus » (INSPQ, 2006)

L’évaluation c’est…

porter un jugement :

• sur la valeur d’un OBJET défini clairement

• selon des CRITÈRES explicitement énoncés

• à partir d’INFORMATIONS méthodiquement recueillies

33 enjeux de enjeux de l’évaluation du DCl’évaluation du DC

Simard, JASP 2007

1er ENJEU: Des intérêts multiples

État de sa

nté

Portrait d

e communauté

Princip

es d

’actio

n

Implantatio

n

Atteinte des o

bjectifs

Portra

it de

com

mun

auté

Comités

Santé publique locale

ChercheursProjet spécifique

Démarche globale dans la communauté

Déploiement régional

Déploiement national

Déploiement local (CSSS)

NIVEAUNIVEAU

POUR QUI?POUR QUI?

Portrait Implantation Impacts

QUOI?QUOI?

Élus municipaux

Bailleurs de fonds

État d

e sa

nté

DONNÉES PROBANTES

INDICATEURS(données chiffrées)

=

qual

itativ

es

quantitatives

vs

Le débat classique

2e ENJEU: La valeur des données

Données probantes

• Viennent de revues systématiques de littérature

• Effectuées sur des recherches scientifiques publiées

• Méthodologie expérimentale de type « essais cliniques randomisés »

Essais randomisés

Études cas-témoins

Études de cohortes

L’iceberg des données probantes

Adaptée de McQueen, 2002

Histoires de cas

Littérature grise

Points de vue des acteurs

Recherche participative

3e ENJEU: La nature du DC

Les initiatives de DC:

• ne sont pas des programmes… mais des ensembles de principes d’action

• ce sont des dispositifs complexes : – dont il est difficile d’isoler les

composantes– qui peuvent être reproduits en laboratoire

ou selon un schéma expérimental ou quasi expérimental

– où les changements sont longs à se manifester

Les principes d’action VVS

▪POUVOIR D’AGIR individuel et communautaire

▪PARTICIPATION citoyenne

▪CONCERTATION INTERSECTORIELLE

Changements

Changements dans le

comité

Changements dans la communau

té

Changements

individuels

Changements

matériels

Déterminants

revenu et situation sociale réseaux de soutien social niveau d’instruction emploi et conditions de travail environnements physiques développement sain dans l’enfance habitudes de vie et compétences d’adaptation personnelles services de santé

L’évaluation L’évaluation participative de participative de

processusprocessusSimard, JASP 2007

L’évaluation proposée…L’évaluation proposée…

Simard, JASP 2007

• évaluation du processus ou du « comment-on-travaille-ensemble »…

• participative…

• intégrée à la démarche…

• et… utile pour l’actionComme toute forme d’évaluation, elle doit un Comme toute forme d’évaluation, elle doit un

point de vue spécifique sur un projet dont point de vue spécifique sur un projet dont elle a avantage à être combinée à d’autres elle a avantage à être combinée à d’autres

formes d’évaluationformes d’évaluation

1. L’évaluation de 1. L’évaluation de processusprocessus

Simard, JASP 2007

L’évaluation de processus…

SITUATION DE DÉPART

résultatsac

tio

ns

actio

ns

résultats

actio

ns

résultats

actio

ns

résultats

actio

ns

CHANGEMENTS

OBJECTIFSPRÉVUS

évaluation « classique »

Un processus c’est…Un processus c’est…

une succession de résultats ou de petits changements s’emboîtant les uns dans les autres et menant, à moyen et à long terme, vers des changements de en plus significatifs Simard, JASP 2007

l’ensemble des principes d’action

le comment-on-travaille-ensemble

La La logiquelogique du DC c’est… du DC c’est…

Simard, JASP 2007

SITUATION DE

DÉPART

Évolution des processus

CHANGEMENTS

Empowerment

Participation

CHANGEMENTS

Intersectorialité CHANGEMENTS

Simard, JASP 2007

Il faut donc identifier les

PRINCIPES du

COMMENT-ON-TRAVAILLE-ENSEMBLE

propres à chaque projet local

Simard, JASP 2007

2. La 2. La participationparticipation en en évaluationévaluation

Simard, JASP 2007

Pourquoi une évaluation Pourquoi une évaluation participative?participative?

Qui peut le mieux identifier les principes qui sous-tendent les actions locales?

ACTEURS LOCAUX

Simard, JASP 2007

Le chemin de la Le chemin de la « connaissance »« connaissance »

information choisie par la population

CONNAISSANCE

Hancock et al., 2000

DONNÉES

indicateurs

INFORMATIONdonnées analysées

Simard, JASP 2007

c’est-à-dire une c’est-à-dire une évaluation...évaluation...

• qui améliore les habiletés de la communauté

• qui est utile pour l’action

• où la communauté est un acteur clé!

Simard, JASP 2007

Essais randomisés

Études cas-témoins

Études de cohortes

L’iceberg des L’iceberg des données données probantesprobantes

Adaptée de McQueen, 2002

Histoires de cas

Littérature cachée

Points de vue des acteurs

Rumeurs

Recherche participative

Histoires de cas

Littérature cachée

Points de vue des acteurs

Recherche participative

Simard, JASP 2007

Évaluation participative ou Évaluation participative ou auto-évaluationauto-évaluation accompagnéeaccompagnée...... Communautés maître-d’oeuvre mais

accompagnées par:

• coordonnateur de projet ?• organisateur communautaire ?• agent de développement ?• ressource en évaluation (CSSS et DSP) ?• universitaire ?

Simard, JASP 2007

3. L’évaluation 3. L’évaluation intégrée à la intégrée à la démarchedémarche

Simard, JASP 2007

Principes d’action* pouvoir d’agir* partenariat et

concertation* participation citoyenne* réduction des inégalités

Changements* collectifs

- dans le comité- dans la communauté

* individuels et populationnels

- habilités individuelles- état de santé

* matériels

Changements

Proj

ets

Changements

Projets

Changements

Actio

ns

Changements

Actions

ComitéComité

DÉM

AR

CH

E

Simard, JASP 2007

1. Se mettre ensemble

pour réaliser une démarche

5. Faire un plan d’action

6. Réaliser les actions

3. Faire l’analyse du contexte ou un

portrait de communauté, d’un groupe ou d’une problématique

2. Former un comité

4. Développer une vision commune

de la démarche

9. Dresser un bilan final

8. Revoir les actions

7. Faire un bilan d’étapesÉ

É

É

É

Simard, JASP 2007

COMMENT ÉVALUER COMMENT ÉVALUER ??

Simard, JASP 2007

4. Établir un plan

d’évaluation

2. Constituer un comité

d’évaluation

1. Décider de

l’évaluation

3. Identifier les

dimensions à évaluer

Recueillir les données

5. Analyser les données

6. Faire un bilan et communiquer

les résultats

Simard, JASP 2007

ETET

4. Établir un plan

d’évaluation

2. Constituer un comité

d’évaluation

1. Décider de

l’évaluation

3. Identifier les

dimensions à évaluer

Recueillir les données

5. Analyser les données

6. Faire un bilan et communiquer

les résultats

ETET

Développer une vision commune

de la démarche ou du projet

Une évaluation participative des processus

• Appuyée sur un dispositif méthodologique qui:

– permet de développer la capacité des acteurs de participer de façon continue au processus de construction de leur action

– met en évidence la logique de l’action… donc s’attarde aux principes qui sous-tendent cette action

– souligne les avancées en cours plutôt qu’elle montre les impacts à long terme

– vise à soutenir l’action et non de «prouver» l’efficacité de la pratique par une réplication ailleurs

Les pratiques jugées efficaces en DC

• Ne peuvent provenir que de l’accumulation des connaissances sur les processus de concertation, intersectorialité, participation citoyenne et empowerment (conditions de succès, principes à respecter)

• … notamment être adaptées aux besoins et aux caractéristiques de chaque communauté, en donnant des pistes, orientations, sans « obliger ».

Donc, on ne peut prescrire ou reproduire des pratiques jugées efficaces ailleurs, mais plutôt s’en inspirer…