1

Rapport de recherche

Analysedes pratiques d’évaluation

dans les organismes communautaires

Décembre 2005

TRP CBO

Photo de la couverture :

Marie Leclerc

Graphisme et conception de la couverture :

Luciano Benvenuto

Révision :

Monique Moisan

Mise en page :

Monique Moisan

Soutien financier :

Ministère du Développement économique, de l’Innovation et de l’Exportation

Ministère de l’Éducation, du Loisir et du Sport

Ministère de la Santé et des Services sociaux

Secrétariat à l’action communautaire autonome

Service aux collectivités de l’Université du Québec à Montréal

Case postale 8888 Téléphone : (514) 987-3177Succursale Centre-Ville Télécopieur : (514) 987-6845Montréal (Québec) www.sac.uqam.caCanada, H3C 3P8

Montréal, décembre 2005

ISBN : 2-9801745-9-9

Dépôt légal : Bibliothèque nationale du Québec

1

Rapport de recherche

Analysedes pratiques d’évaluation

dans les organismes communautaires

Équipe de recherche :Jacques Hébert, professeur, UQÀMDaniel Fortin, Professeur, UQÀM

Frédéric Fournier, Professeur, UQÀMMireille Desrochers, Agente de recherche, UQÀM

Martine Vézina, Agente de recherche, UQÀMSimon Archambault, Assistant de recherche, UQÀM

Olivier René, Assistant de recherche, UQÀM

Comité d’encadrement :René Doré, Centre de formation populaire

Lise Gervais, Relais-femmesJacques Lachance, Table des regroupements

provinciaux d’organismes communautaires et bénévoles Céline Métivier, Comité aviseur de l’action communautaire autonome

Lina Trudel, Service aux collectivités, UQÀM

Responsable de la rédaction : Marie Leclerc

Décembre 2005

1

RÉSUMÉ

Le rapport de recherche ARPÉOC (Analyse et renforcement des pratiques évaluatives dans

les organismes communautaires) dresse un état des lieux des pratiques d’évaluation dans les

organismes communautaires, visant à mettre en évidence tant les obstacles rencontrés par les

groupes que les conditions facilitant le renforcement de leurs pratiques évaluatives. Pour ce

faire, une étude exploratoire a été réalisée qui comportait un volet qualitatif, comprenant deux

études de cas et des entrevues auprès de 18 spécialistes, et un volet quantitatif, basé sur une

enquête par questionnaire auprès de 532 organismes.

S’appuyant sur une recension des écrits concernant l’évaluation dans les organismes

communautaires, la recherche trace le portrait des pratiques évaluatives des organismes

au regard de leurs conditions de réalisation. L’analyse effectuée permet de dégager une

perspective idéale de l’évaluation comportant trois attributs : la systématisation, la participation

et la réflexion critique. Cette perspective est schématisée sous la forme d’une pyramide.

Il ressort de cette étude que les organismes sont plus ouverts à l’évaluation que par

le passé et réalisent davantage d’évaluations de façon autonome. Le financement de base

et les ressources humaines et techniques constituent des conditions sine qua non pour

qu’un organisme communautaire puisse mener des démarches d’évaluation significatives. Un

organisme qui veut procéder à une évaluation doit aussi s’assurer que les relations entre les

acteurs sont en appui à la démarche. De nombreuses conditions de renforcement doivent

être mises en œuvre pour en arriver à un processus participatif et systématisé de réflexion

critique visant à poser un jugement sur la valeur d’une pratique, qui représente selon ARPÉOC

l’idéal à atteindre.

Les organismes communautaires aspirent de plus en plus à se doter d’outils pour améliorer

la qualité de leurs interventions et faire reconnaître davantage leurs pratiques. Le portrait

tracé par cette étude démontre qu’il faut supporter davantage leurs efforts. Le projet ARPÉOC

constituera et supportera, dans sa seconde phase, un réseau de personnes-ressources

issues des milieux communautaires pour répondre aux besoins des organismes en matière

d’évaluation.

REMERCIEMENTS

Cette recherche a pu être menée à terme grâce à l’appui financier du Secrétariat à l’action

communautaire autonome et de trois ministères : le ministère de la Santé et des Services

sociaux, le ministère de l’Éducation, du Loisir et du Sport et le ministère du Développement

économique, de l'Innovation et de l’Exportation.

Le soutien du Service aux collectivités de l’Université du Québec à Montréal a été des plus

précieux, aux diverses étapes de la réalisation.

La collaboration des organismes communautaires ayant participé aux études de cas et à

l’enquête est digne de mention ainsi que celle des personnes ressources.

Un gros merci aux membres de l’équipe de recherche et du comité d’encadrement

pour leur contribution et une mention toute spéciale à Marie Leclerc pour la qualité de

son travail de rédaction.

Nous ne pouvons passer sous silence que cette recherche a fait l’objet d’une véritable

saga. Deux membres de l’équipe de recherche et deux membres du comité d’encadrement

ont ainsi connu des ennuis de santé qui les ont mis au repos forcé pendant plusieurs mois.

Ces imprévus n’ont pas facilité la réalisation des travaux. Nous savons gré à l’ensemble

des personnes associées à la Phase I du projet ARPÉOC d’avoir démontré dans ce contexte

solidarité et générosité, en temps et en énergies.

Jacques Hébert, responsable de la recherche

AVANT-PROPOS

Dresser un portrait des pratiques évaluatives dans les organismes communautaires du

Québec a constitué un défi emballant. Comment des organismes régulièrement préoccupés

par leur survie financière réussissent-ils à juger leurs actions ?

Dans la recherche que nous avons entreprise, nous avons opté pour une étude des

conditions de pratique des groupes, qui portait tant sur les évaluations menées de façon

autonome que sur celles réalisées à la suite d’exigences externes. Il nous est apparu important

de contribuer ainsi à l’identification des démarches propres au milieu communautaire et

à leur reconnaissance.

Le monde de l’évaluation comporte inévitablement des enjeux politiques. Les organismes

communautaires se voient de plus en plus proposer des modèles d’évaluation souvent issus

de l’épidémiologie sociale (populations et environnements à risque) et confronter à une

logique de programme axée sur l’efficacité et les résultats mesurables. Ces choix permettent

difficilement de cerner l’originalité et les retombées des actions communautaires. Dans

ce contexte, les organismes communautaires auraient avantage à mieux développer leur

argumentaire vis-à-vis de ces approches et à mieux documenter la richesse de leur savoir-

faire.

Les rapports entre l’État et les organismes communautaires risquent de devenir plus tendus

dans une conjoncture de rationalisation budgétaire. Il sera probablement nécessaire d’ouvrir un

débat public et des négociations sur les apports novateurs des organismes communautaires. Il

en va, en dernière instance, du mieux-être de la société québécoise.

Jacques Hébert, responsable de la recherche

1

TABLE DES MATIÈRES

INTRODUCTION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Des pratiques d’évaluation à mieux connaître et renforcer . . . . . . . . . . . . . . . . . . . . . 1L’évaluation : un outil pour le milieu communautaire . . . . . . . . . . . . . . . . . . . . . . . . . 3 Apport de NOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3Les buts et objectifs du projet ARPÉOC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4Contexte de réalisation de la recherche et aperçu des résultats . . . . . . . . . . . . . . . . . 5Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

CHAPITRE I : CONTEXTE SOCIOPOLITIQUE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.1 La décentralisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91.2 La reconnaissance du mouvement communautaire . . . . . . . . . . . . . . . . . . . . . . . 101.3 Les acteurs face à l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121.4 De nouvelles lignes directrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131.5 Un paradigme gestionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141.6 Nouveaux rapports et paradoxe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18

CHAPITRE II : RECENSION DES AUTEURS SUR L’ÉVALUATION . . . . . . . . . . . . . . . . . . . . 19

2.1 Quelques résultats d’études sur l’évaluation en milieu communautaire . . . . . . . 192.1.1 Évaluation du projet NOVA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.1.2 Démarche d’autoévaluation Epsilon . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202.1.3 Évolution des pratiques dans la santé et les services sociaux . . . . . . . . . . . . . . 212.1.4 Évaluation dans le secteur bénévole au Canada . . . . . . . . . . . . . . . . . . . . . . . . 232.1.5 Pratiques d’évaluation de programmes aux États-Unis . . . . . . . . . . . . . . . . . . . 24

2.2 Les enjeux associés à l’évaluation dans les organismes communautaires . . . . . . 252.2.1 Ressources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252.2.2 Rapports entre les acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272.2.2.1 Milieu communautaire et État . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292.2.2.2 Organismes communautaires et spécialistes en évaluation . . . . . . . . . . . . . . 352.2.2.3 Chocs de cultures et rapports de pouvoir : vers une troisième voie ? . . . . . . 38

Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

CHAPITRE III : MÉTHODOLOGIE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.1 Les enjeux associés aux pratiques évaluatives internes et externes . . . . . . . . . . . 423.2 Les limites de la recherche . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443.3 Le volet qualitatif . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

3.3.1 Études de cas . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453.3.2 Entrevues auprès des personnes-clés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

3.4 Le volet quantitatif : l’enquête . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.4.1 Méthode d’échantillonnage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.4.2 Questionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483.4.3 Procédure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49

Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50

CHAPITRE IV : PORTRAIT DES PRATIQUES ÉVALUATIVES DANS LES MILIEUX COMMUNAUTAIRES . . . 51

4.1 Deux études de cas : description de pratiques exemplaires . . . . . . . . . . . . . . . . . 514.1.1 Étude de cas d’une association et d’un organisme en santé mentale . . . . . . . . 52 4.1.1.1 Description générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.1.1.2 Présentation de la démarche d’évaluation . . . . . . . . . . . . . . . . . . . . . . . 534.1.2 Étude de cas d’un organisme d’éducation et d'insertion sociale . . . . . . . . . . . . 59 4.1.2.1 Description générale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 4.1.2.2 Première expérience : évaluation du programme d’alphabétisation . . . 60 4.1.2.3 Deuxième expérience : évaluation du programme PACE . . . . . . . . . . . . 644.1.3 Éléments de bilan des deux études de cas et perspectives . . . . . . . . . . . . . . . . 69 4.1.3.1 Facteurs qui ont favorisé les démarches d’évaluation . . . . . . . . . . . . . . 69 4.1.3.2 Facteurs qui ont nui aux démarches d’évaluation . . . . . . . . . . . . . . . . . 70 4.1.3.3 Suggestions pour le renforcement des pratiques d’évaluation . . . . . . . 71 4.1.3.4 Suggestions spécifiques concernant la formation . . . . . . . . . . . . . . . . . 73

4.2 Le point de vue des spécialistes en évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . 744.2.1 Regard d’ensemble sur les pratiques évaluatives . . . . . . . . . . . . . . . . . . . . . . . . 744.2.2 Enjeux liés aux ressources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 754.2.3 Enjeux liés aux rapports entre les acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 4.2.3.1 Rapports entre les organismes et les bailleurs de fonds . . . . . . . . . . . . 76 4.2.3.2 Rapports entre les spécialistes en évaluation et les organismes . . . . . . 80 4.2.3.3 Rapports internes du milieu communautaire . . . . . . . . . . . . . . . . . . . . . 824.2.4 Perspectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

viii

4.3 Le portrait quantitatif des pratiques d’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . 854.3.1 Profil des organismes ayant participé à notre enquête . . . . . . . . . . . . . . . . . . . . 85 4.3.1.1 Fonction et ancienneté . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85 4.3.1.2 Secteurs et catégories d’organismes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 4.3.1.3 Territoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.3.1.4 Région . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87 4.3.1.5 Appartenance à un regroupement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.3.1.6 Année de fondation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88 4.3.1.7 Taille des groupes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 4.3.1.8 Type de financement et provenance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 904.3.2 Perception générale de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 904.3.3 Portrait des pratiques internes d’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 904.3.4 Portrait des pratiques d’évaluation en réponse à des demandes externes . . . . 924.3.5 Recours à une aide extérieure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 934.3.6 Constats issus de l’analyse quantitative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

CHAPITRE V : ANALYSE ET DISCUSSION SUR LES PRATIQUES ÉVALUATIVES . . . . . . . . . 101

5.1 La perspective stratégique de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015.1.1 Conditions de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 5.1.1.1 Ressources nécessaires aux pratiques évaluatives . . . . . . . . . . . . . . . . . 101 5.1.1.2 Rapports entre les acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1045.1.2 Perspective du projet ARPÉOC : les trois attributs de l’évaluation . . . . . . . . . . . 108 5.1.2.1 Systématisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 5.1.2.2 Participation des acteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109 5.1.2.3 Réflexion critique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1115.1.3 Schématisation de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

5.2 Les conditions de renforcement des pratiques évaluatives . . . . . . . . . . . . . . . . . 1145.2.1 Du côté des organismes communautaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1145.2.2 Du côté des bailleurs de fonds . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1165.2.3 Du côté des spécialistes en évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

Faits saillants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

CONCLUSION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

RÉFÉRENCES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

ANNEXES Annexe 1 : Lexique de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133Annexe 2 : Questionnaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137

ix

LISTE DES ENCADRÉS

Encadré 1 : Contenu du rapport . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7Encadré 2 : Un défi de taille : faire face aux exigences des bailleurs de fonds . . . . . . . . 26Encadré 3 : Des traditions communautaires en matière d'évaluation . . . . . . . . . . . . . . . 30Encadré 4 : L'évaluation comme outil de renforcement des milieux communautaires . . 34Encadré 5 : Définitions utilisées dans le questionnaire de l'enquête ARPÉOC . . . . . . . . 42Encadré 6 : Résumé de l'expérience de l'Association en santé mentale . . . . . . . . . . . . . 53Encadré 7 : Résumé des deux expériences de l'organisme d'éducation . . . . . . . . . . . . . 60Encadré 8 : Quelques questions à se poser pour bien choisir une ou un spécialiste en évaluation . . . . . . . . . . . . . . . . . 107Encadré 9 : Les deux phases du projet ARPÉOC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

LISTE DES FIGURES

Figure 1 : Rapports entre les acteurs des pratiques évaluatives dans les organismes communautaires québécois . . . . . . . . . . . . . . . . . . . . . 28Figure 2 : Trois attributs de la pratique évaluative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108Figure 3 : Perspective stratégique de l’évaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

LISTE DES GRAPHIQUES

Graphique 1 : Distribution selon les secteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86Graphique 2 : Distribution selon les catégories . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87Graphique 3 : Distribution selon l’année de fondation . . . . . . . . . . . . . . . . . . . . . . . . . . . 88Graphique 4 : Distribution selon le budget annuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

x

SIGLES UTILISÉS DANS L'OUVRAGE

ARPÉOC : Analyse et renforcement des pratiques d’évaluation des organismes communautaires

CFP : Centre de formation populaire

CLSC : Centre local de services communautaires

COCQ-Sida : Coalition des organismes communautaires québécois contre le sida

CSSS : Centre de santé et de services sociaux

GAP : Groupes d’appréciation partagée

IPAC : Initiative de partenariat pour l’action communautaire en itinérance

LAREPPS : Laboratoire de recherche sur les pratiques et les politiques sociales

MSSS : Ministère de la Santé et des Services sociaux

NOVA : Projet pour le maintien de pratiques novatrices en milieu communautaire

PACE : Programme d’action communautaire pour les enfants

SAC : Service aux collectivités de l'UQÀM

SACA : Secrétariat à l’action communautaire autonome

SOC : Soutien aux organismes communautaires

SPSS : Statistical Program for Social Sciences

TRPOCB : Table des regroupements provinciaux des organismes communautaires et bénévoles

UQÀM : Université du Québec à Montréal

xi

1

INTRODUCTION

Des pratiques d’évaluation à mieux connaître et renforcer

L’évaluation n’est pas une réalité nouvelle au Québec. Dès les années soixante-dix, le

Conseil du trésor demandait aux ministères de revoir leur fonctionnement et d’établir des

mécanismes de vérification de leurs activités guidés par des principes d’efficience, d’efficacité

et d’impact. Au cours de la décennie suivante, les pratiques d'évaluation de programmes, de

projets ou d'activités ont connu une croissance importante allant en s’accélérant à compter des

années quatre-vingt-dix. En réponse au développement des approches par résultats mettant

l’accent sur l'imputabilité dans l’univers de la gestion, l'évaluation a acquis une fonction

importante au même titre que la planification ou la programmation pour les systèmes publics

qui doivent de plus en plus s'adapter et renouveler leurs politiques.

Dans les milieux communautaires québécois, le débat a cours depuis plusieurs années

quant au rôle de l’évaluation. En effet, autant celle-ci peut-elle mettre en lumière des éléments

positifs, autant peut-elle dévoiler des carences. Mais au-delà de la crainte de se voir imposer

un mécanisme déguisé de contrôle administratif, cette approche venue du monde gestionnaire

a prouvé qu’elle peut également contribuer à orienter et à améliorer les pratiques des

organisations en favorisant une plus grande participation, une plus grande rigueur dans les

interventions et une réflexion critique sur les impacts obtenus à moyen et à long termes.

Ce rapport présente les résultats de la recherche concernant l’évaluation dans les groupes

communautaires au Québec menée en partenariat en 2004-2005 par le Centre de formation

populaire (CFP), le Comité aviseur de l’action communautaire autonome, Relais-femmes, la

Table des regroupements provinciaux d’organismes communautaires et bénévoles (TRPOCB),

le Service aux collectivités (SAC) de l’UQÀM et une équipe de recherche de l’UQÀM sous la

direction du professeur Jacques Hébert. Se situant en continuité avec le projet Pour le maintien

des pratiques novatrices en milieu communautaire (NOVA) qui s’est déroulé de 1995

à 2000, il vise à faire un état des lieux concernant les pratiques évaluatives dans les

organismes concernés par la Politique de reconnaissance de l'action communautaire, intitulée

L'action communautaire : une contribution essentielle à l'exercice de la citoyenneté et au

développement social du Québec (Gouvernement du Québec, 2001) 1. Ce rapport entend également

mettre en lumière les obstacles rencontrés et les pratiques exemplaires développées, dans

le but d’alimenter la seconde phase du projet visant à rendre accessible aux milieux

communautaires un ensemble de connaissances et d’outils indispensables pour réaliser

adéquatement des évaluations.

Procéder à un tel portrait s’impose à cette étape lorsqu’on prend en compte le contexte

sociopolitique et les enjeux relatifs à l’évaluation auxquels sont confrontés les milieux

communautaires depuis la fin des années quatre-vingt. Face à la crise des finances publiques

et à l’augmentation constante des besoins de la population, les organismes communautaires

vivent des pressions importantes et connaissent des tensions internes dues à l’alourdissement

de leurs mandats et à la recomposition de leur membership et de leur personnel salarié. Cela,

tout en étant amenés à devoir jouer encore plus activement leur rôle d’éclaireurs des nouvelles

problématiques sociales et de dépisteurs de solutions novatrices.

Or, l’État a resserré les conditions d’octroi des subventions aux groupes sociaux et exige

que ceux-ci fournissent des informations de plus en plus précises justifiant leur utilisation des

fonds publics. Pour leur part, les organismes craignent que l’évaluation qu’on attend d’eux ne

serve qu’à des fins de gestion, de contrôle, de surveillance et de rationalisation.

Dans ce contexte, comment les milieux communautaires procèdent-ils afin de rendre

compte des activités réalisées avec le financement reçu pour la poursuite de leur mission ? Les

pratiques d’évaluation contribuent-elles à un processus de changement social (renouvellement

et redéfinition) ou cantonnent-elles plutôt les groupes dans un espace reclus de démocratie

technocratique, déterminé par des impératifs de contrôle administratif et social ? Ce sont là

quelques-unes des questions soulevées par notre recherche, qui n’a pas la prétention d’en faire

une analyse exhaustive et encore moins d’y répondre entièrement. Car le champ de réflexion

est vaste et les expérimentations se poursuivent dans bien des milieux.

2

1. Dans le cadre de ce rapport de recherche, nous utiliserons les termes « Politique de reconnaissance de l’action communautaire » ou « Politique sur l’action communautaire » pour y référer.

L’évaluation : un outil pour les milieux communautaires

Pour bien situer le rôle de la recherche ARPÉOC, il est important de rappeler les grandes lignes

de l’expérience déterminante que fut NOVA pour les milieux communautaires de 1995 à 2000.

Apport de NOVA

Afin de permettre la réalisation du modèle participatif et négocié en évaluation, les

organismes communautaires ont obtenu en 1995 le soutien du gouvernement pour se former

en évaluation participative et se préparer à l’évaluation négociée de leurs activités (Midy, 2001).

Ce soutien a permis la réalisation du projet Pour le maintien des pratiques novatrices en milieu

communautaire (NOVA), dont l'objectif était de développer les compétences des organismes

communautaires en évaluation et en négociation.

Nova comprenait d’abord la conception et la réalisation de trois ateliers de formation, dont

deux sur l’évaluation (un sur l’évaluation de la vie interne dans l’organisme et un sur l’éva-

luation d’impact) et un sur la négociation. Il visait également la formation d’accompagnateurs

communautaires en ces domaines, puis la publication de guides d’évaluation et de négociation

par le milieu communautaire et, enfin, la tenue de colloques sur le sujet. Au total, 33 sessions

de formation d’une quinzaine d’heures chacune, dont 20 sur l’évaluation, ont été offertes

à des groupes composés d’une douzaine de personnes provenant de plusieurs organismes

communautaires ou bénévoles oeuvrant dans le domaine de la santé et des services sociaux.

En tout, 492 personnes ont bénéficié de cette formation, dont les deux tiers ont suivi l’une ou

l’autre des deux sessions sur l’évaluation.

NOVA a été évalué. Les résultats montrent entre autres que le partenariat entre l’UQÀM et

le milieu a été très apprécié, que le niveau de satisfaction à l'égard de la formation reçue

en évaluation était très élevé, que les participantes et les participants trouvaient utiles et

pratiques les connaissances développées en matière d'évaluation et que les attitudes étaient

favorables à l'égard de l'évaluation. Une autre partie des résultats a toutefois indiqué que

les connaissances acquises étaient peu maîtrisées et qu'à la suite des formations relatives à

l’évaluation, seulement quelques améliorations ont été apportées à certaines activités internes

dans une petite proportion des organismes visés. L’évaluation de NOVA a permis de constater

un rapprochement entre l’université et le milieu communautaire et bénévole du secteur de la

santé et des services sociaux, une grande motivation des participants à faire éventuellement

de l’évaluation, mais une appropriation trop partielle, par les participants et leurs organismes

d’appartenance, des connaissances sur l’évaluation et des pratiques évaluatives.

3

Cette évaluation a donné lieu à la formulation de recommandations visant la réorientation

de la formation offerte vers de la formation sur mesure et de la supervision, ainsi que

l’amélioration de la diffusion d’information dans les milieux communautaires. Si ces recom-

mandations semblent avoir eu peu de suites à l’époque lors de la fin du projet NOVA, leur

pertinence est encore plus grande aujourd’hui et nous verrons que la Phase II du présent

projet s’en inspire largement. Nous y reviendrons en conclusion.

Rappelons que le projet NOVA s’adressait exclusivement aux groupes communautaires

et bénévoles du secteur de la santé et des affaires sociales en lien avec le ministère de la

Santé et des Services sociaux (MSSS) et que son but n’était pas de constituer un état des

pratiques évaluatives. On a pu cependant constater sur le terrain que NOVA avait eu un

effet d’entraînement et que bon nombre des groupes qui avaient procédé par la suite à

des évaluations dans leur milieu l’avaient fait sous l’impulsion de la formation reçue grâce à

NOVA et ses partenaires. De même, il appert que la culture et les perceptions des milieux

communautaires face à l’évaluation ont depuis NOVA beaucoup évolué et que les groupes

ont dorénavant davantage le réflexe de s’approprier la démarche évaluative pour faire face

aux enjeux qui les confrontent.

Quelques années après la fin de NOVA, la demande d'évaluation est encore plus consi-

dérable et les organismes communautaires de tous les secteurs doivent y répondre. Quel est

présentement l'état des pratiques évaluatives dans l’ensemble de ces organismes ? Le projet

ARPÉOC s’est attaché à répondre à cette question.

Les buts et objectifs du projet ARPÉOC

Le projet ARPÉOC (Analyse et renforcement des pratiques évaluatives dans les organismes

communautaires) se situe en continuité avec NOVA et comprend deux volets. Le premier

consiste en une étude visant à dresser un portrait, prendre une photo des pratiques

d’évaluation dans les organismes communautaires (volet Portrait). Ce portrait doit permettre

non seulement de connaître l'état des pratiques d’évaluation, mais aussi de mieux cerner

les nouveaux besoins d'appui au renforcement de ces pratiques. Par l’intermédiaire d’une

enquête par questionnaires auprès de 532 groupes, il vise à faire un état des lieux

concernant les pratiques évaluatives dans les organismes répertoriés par le Secrétariat à

l’action communautaire autonome (SACA). Le projet ARPÉOC met également à profit deux

méthodologies qualitatives, soit la consultation de spécialistes en évaluation et l’exploration

4

en profondeur de quelques expériences évaluatives d’organismes et de regroupements. Le

deuxième volet (volet Renforcement) consiste à mettre à profit les résultats de l’étude par le

biais de mécanismes de renforcement des pratiques évaluatives (formation, accompagnement

continu d’organismes, soutien technique, usage d’Internet et autres).

Le présent document s’attarde au volet Portrait, qui s’articule autour des objectifs suivants :

• Décrire l'état des pratiques évaluatives au sein des organismes communautaires et

bénévoles québécois.

• Dégager les conditions facilitant le renforcement de leurs pratiques évaluatives ainsi

que les obstacles à ces pratiques.

Contexte de réalisation de la recherche et aperçu des résultats

Cette recherche exploratoire s’est réalisée dans des conditions quelque peu particulières,

qui sont cependant très courantes dans les milieux communautaires. En effet, en un peu plus

d’un an, avec un budget modeste pour ce genre d’enquête, l’équipe de recherche a mené

à bien un projet ambitieux dans un contexte de roulement de personnel, de professeurs et

de représentants communautaires. Nous avons ainsi connu un peu la réalité des groupes

communautaires aux prises avec des objectifs et des mandats qui dépassent largement leurs

moyens de réalisation.

D’autre part, l’évolution effervescente, ces dernières années, des concepts et des réalités

dans ce grand champ d’expérimentation qu’est l’évaluation rend la tâche d’inventaire et

d’analyse à la fois ardue et fascinante. La confusion règne encore sur le terrain, en dépit du

travail théorique effectué par plusieurs générations d’auteurs et de la formation offerte aux

intervenantes et intervenants. Plusieurs personnes nous ont indiqué que, dans certains milieux,

l'évaluation est vue comme une reddition de comptes, alors que pour d’autres c'est l'inverse.

Ce qui nous amène à dire qu'au-delà du problème de visions différentes de l’évaluation, il ne

s’agit pas là de concepts ni de pratiques totalement étanches.

En fait, il n’y a pas aujourd’hui de définitions communes dans le champ de l’évaluation.

La communauté scientifique ne s’entend pas sur les définitions, les modèles et les approches.

De surcroît, le terme évaluation peut référer à différents types de pratiques (évaluation de

programme, évaluation par résultats, etc.). Nous n’entrerons pas dans les discussions portant

sur les mérites respectifs de chacun des concepts et modèles.

5

Pour notre part, nous avons tenté de rendre justice aux activités d’évaluation fort diversifiées

des groupes tout en prenant en considération les enjeux auxquels ils sont confrontés : la

préservation de leur autonomie et du caractère original de leurs pratiques.

Sur la base de la recherche menée sur le terrain, et en avant-goût des résultats que nous

allons présenter dans les prochains chapitres, nous pouvons avancer globalement que :

• Les groupes sont généralement favorables à l’évaluation : ils considèrent que cela leur

permet d’améliorer leurs activités, de réfléchir à leur mission et à leurs valeurs et de

mieux rendre compte de leurs pratiques.

• Un financement adéquat, l’apport d’une personne-ressource d’expérience connaissant

le milieu communautaire et une démarche en lien avec les objectifs et les valeurs de

l’organisme sont parmi les facteurs favorisant principalement la démarche d’évaluation.

• Le manque de ressources en temps et en argent et le manque de connaissances en

évaluation jouent un rôle majeur dans les obstacles rencontrés par les groupes, cela

venant s’additionner aux exigences différentes d’un bailleur de fonds à l’autre.

Sans prétendre avoir tout clarifié, tout élucidé concernant les embûches auxquelles sont

aux prises les acteurs, nous soumettons au débat un portrait ainsi que l’analyse que nous

en avons faite, en mettant de l’avant une perspective originale sur l’évaluation en tant que

processus participatif et systématisé de réflexion critique visant à poser un jugement sur la

valeur d’une pratique. Peu de démarches correspondent présentement à cet idéal à atteindre

de l’évaluation participative, compte tenu des conditions dans lesquelles se réalise l’évaluation

pour la très grande majorité des groupes. Quelques pistes de solutions sont proposées

en conclusion de ce rapport, en appui à la deuxième phase du projet ARPÉOC : le volet

Renforcement.

Il appartient aux lectrices et aux lecteurs de faire savoir si le portrait que nous avons tracé

est bien fidèle, et de nous faire part des aspects sur lesquels ils se sentent en désaccord.

Nous espérons aussi un feedback sur le lexique proposé en annexe de cette recherche. Ces

définitions sont-elles de nature à clarifier, tant auprès des bailleurs de fonds et des spécialistes

que des membres des organismes communautaires, ce qu’est l’évaluation et ce qu’elle n’est

pas ? Les réactions à ce rapport nous l’apprendront.

6

7

Encadré 1

CONTENU DU RAPPORT

Ce rapport de recherche se divise en cinq sections. Le premier chapitre situe

d’abord le contexte dans lequel s’inscrit cette étude et l’évolution de la question

de l’évaluation. Le chapitre II expose ensuite, à partir des auteurs consultés, les

dimensions retenues pour l’interprétation des résultats. Le chapitre III présente la

méthodologie utilisée dans le cadre de cette recherche. Les résultats sont rapportés

dans le chapitre IV sous la forme d’un portrait descriptif des pratiques évaluatives.

Ces résultats sont discutés au chapitre V, en mettant l’accent sur les conditions

favorables à l’évaluation ainsi que sur les besoins de renforcement identifiés

face aux difficultés rencontrées par les organismes. Nous présentons enfin, en

Conclusion, quelques pistes et éléments de perspectives pour la poursuite des

efforts en évaluation dans les milieux communautaires.

INTRO D U CTI O N

LES FAITS SAILLANTS

• Il y a un débat dans les milieux communautaires sur le rôle de l’évaluation : s’agit-il d’un mécanisme de contrôle ou d’un outil de réflexion critique ?

L’évaluation dans les milieux communautaires

• Les organismes communautaires ont obtenu en 1995 le soutien du gouvernement pour se former en évaluation participative et se préparer à l’évaluation négociée de leurs activités.

• La culture et les perceptions des milieux communautaires face à l’évaluation ont depuis ce temps beaucoup évolué. Le projet NOVA a contribué à développer des compétences en évaluation au sein des groupes.

• La demande d'évaluation est aujourd’hui encore plus considérable et les organismes communautaires de tous les secteurs doivent y répondre.

• La recherche ARPÉOC vise à faire le point sur les pratiques évaluatives dans les milieux communautaires et à identifier les besoins de renforcement.

Aperçu global des résultats de la recherche ARPÉOC

• Les groupes sont généralement favorables à l’évaluation parce que faire de l’évaluation leur permet :

- d’améliorer leurs activités,- de réfléchir à leur mission et à leurs valeurs,- et de mieux rendre compte de leurs pratiques.

• Les principaux facteurs favorisant les démarches d’évaluation sont :- un financement adéquat,- l’apport d’une personne ressource d’expérience connaissant le milieu communautaire,- et une démarche en lien avec les objectifs et les valeurs de l’organisme.

• Les principaux obstacles rencontrés par les groupes pour faire de l’évaluation sont :- le manque de ressources en temps et en argent et le manque de connaissances,- les contraintes imposées par les bailleurs de fonds.

8

1

CHAPITRE I

CONTEXTE SOCIOPOLITIQUE

Dans le sillage des mutations que connaissent les sociétés industrialisées depuis les années

quatre-vingt, les rapports entre l’État québécois et la société civile ont connu des transformations

importantes. Marqué par la remise en question de l’État providence et l’appel grandissant au

volontariat, le champ social a été confronté à une décentralisation et à une réorganisation

majeures des mécanismes de gestion étatique, allant de pair avec un transfert de responsabilités

vers les communautés incitées à se prendre en charge. Cette réorganisation vient répondre aux

pressions grandissantes du marché en faveur de la privatisation des infrastructures et de l’offre

de services publics. Elle s’accompagne d’une redéfinition du rôle occupé par l’acteur étatique et,

conséquemment, des rapports entre l’État et la société civile. Portées par le courant néolibéral,

les priorités sociales sont établies de façon à maximiser l’efficience, à réaliser des interventions

efficaces et à faible coût en se reposant sur les acteurs sociaux.

1.1 La décentralisation

La décentralisation ayant accompagné ces remises en question a transformé le rôle de l’État

providence en celui de partenaire laissant aux individus une plus grande liberté tout en leur

fournissant certains moyens d’agir. Cette tendance décentralisatrice s’est voulue la réponse

à de multiples préoccupations, dont : le constat d’échec de certaines politiques centralisées,

la critique des lourdeurs et inefficacités bureaucratiques étatiques, le désir légitime des

responsables « de première ligne » de voir les lieux de décision se rapprocher des lieux

d’action, la volonté de faire un contrepoids à la distanciation des pouvoirs provoquée par la

mondialisation ainsi que l’aspiration des populations locales et régionales à contrôler les moyens

de leur développement dans un contexte d’aggravation des inégalités entre les régions.

Cette décentralisation soulève divers enjeux pour les organismes communautaires concer-

nant les possibilités réelles des citoyennes et des citoyens d’intervenir face à la diminution de

la quantité de services publics sur le territoire québécois, à l’augmentation des inégalités et à la

réduction du financement public disponible par rapport aux besoins de la population.

Concrètement, les organismes craignent que l’État n’utilise les groupes comme déversoir

pour répondre, à moindre coût, aux besoins des populations délaissées par les services publics

à la suite de compressions budgétaires et qui sont non rentables pour le secteur privé (Duval

et al., 2005). La décentralisation de l’État va ainsi de pair avec une montée d’affirmation du

mouvement communautaire, lequel cherche à renforcer son identité et oppose son désir

d’indépendance et d’autonomie aux initiatives vues comme des tentatives de récupération

venant des services publics.

1.2 La reconnaissance du milieu communautaire

Au début des années quatre-vingt-dix, dans la foulée des commissions gouvernementales mises

en place afin de faire le point sur le système de santé, l’État réfère aux organismes communautaires

comme à des « acteurs incontournables » du champ social. C’est le début du partenariat :

« Les organismes communautaires contribuent aujourd’hui à la prestation directe de services et au raffermissement des liens communautaires. Ils renouvellent et diversifient les approches et les moyens d’action. Ce faisant, ils s’avèrent particulièrement aptes à répondre aux nouveaux besoins. L’ampleur, la qualité et l’originalité de leur action sont telles qu’il n’est plus possible d’interpréter la santé et le bien-être à travers le seul prisme des interventions publiques. D’ailleurs, les services publics ne peuvent et ne doivent pas prétendre satisfaire tous les besoins. Au-delà des services rendus par les établissements du réseau, les communautés et les citoyens qui les composent sont les mieux placés pour identifier les besoins non satisfaits et prendre l’initiative de les combler. À cet égard, le développement et la diversité des organismes communautaires constituent un signe du dynamisme de la société québécoise. » (MSSS, 1990 : 59-60 dans Duval et al., 2005 : 22)

En tant que partenaires « incontournables » de l’État dans la prestation des services, les

organismes doivent juger des avantages de ce nouveau rôle : reconnaissance de leur pratique,

augmentation de leur financement, surtout pour ceux intervenant en première ligne auprès

des populations dites « à risque », augmentation des services à la population. Ils doivent

également évaluer les risques inhérents au partenariat avec l’État, en particulier la menace de

perte d’autonomie, l’obligation d’adapter les activités à des critères prédéfinis, le morcellement

de l’action en services particuliers (Duval et al., 2005).

Lors de la réforme pilotée par le ministre Marc-Yvan Côté dans le secteur de la santé et

des services sociaux, de nombreuses compressions budgétaires sont annoncées. L’État repense

le mode de planification et d’organisation des services. Selon la Loi sur les services de santé et les

10

services sociaux (1991), les organismes restent libres de définir leurs orientations et approches même

s’ils bénéficient de fonds gouvernementaux. Pourtant, cette même loi dicte aux organismes les

conditions auxquelles ils doivent se soumettre pour obtenir une reconnaissance gouvernementale

et, par le fait même, un financement. Parmi les conditions de financement, les organismes com-

munautaires doivent accepter de se soumettre à une évaluation de performance. Le financement

reçu dépend alors directement de la capacité des organismes à atteindre les résultats attendus

par le gouvernement et l’évaluation devient une des conditions d’attribution des subventions et

des budgets. Selon Panet-Raymond (1994), cette reconnaissance peut s’interpréter comme un choix

politique permettant à l’État de conserver sa crédibilité malgré le délestage de ses responsabilités

vers les localités et les organismes, tout en resserrant les critères d’attribution de fonds.

Les positions deviennent alors davantage antagonistes entre l’État et le milieu com-

munautaire de ce secteur, où interviennent la grande majorité des groupes offrant des

services. L’un des pôles est la conformité aux règles de l’État niant l’identité communautaire

(complémentarité forcée ou volontaire). L’autre est le refus des compromis inhérents au

processus partenarial, perçu par certains comme l’autoexclusion du milieu communautaire de

la modernité du monde social (Caillouette, 2001). Du point de vue des groupes concernés, le

défi réside dans la préservation de l’autonomie indispensable à la réalisation de leur mission

globale en regard des besoins identifiés par le milieu et dans le milieu, sur la base du

mandat reçu de leurs membres (Comité aviseur de l’action communautaire autonome, 2000). Même

si un arc-en-ciel de positions a pu s’exprimer à l’intérieur de ces deux pôles, il n’en reste

pas moins qu’ils reflètent bien les tensions intervenues dans l’ensemble du mouvement

communautaire durant ces années.

Constatons que si le mot « évaluation » crée, aujourd’hui encore, souvent bien des

remous parmi les groupes communautaires, c’est parce qu’il réfère directement à la remise

en cause de leur autonomie.

La tendance à la mise en valeur des organismes communautaires se confirme avec l’arrivée

de la Politique de reconnaissance de l’action communautaire en 2001, fruit d’une négociation

au long cours entre les représentants des groupes communautaires autonomes et leurs vis-à-vis

ministériels. Revendication de longue date du mouvement communautaire à l’égard de l’État,

cette reconnaissance établit les balises du financement des groupes et tend à « reconnaître

le caractère d’intérêt public des organismes communautaires, leur contribution essentielle à

l’exercice de la citoyenneté et le principe du respect de leur autonomie » (Gouvernement du

Québec, 2001 : 4). Selon Bourque (2004), cette politique représente une percée fondamentale

11

au Canada en ce qui a trait à la reconnaissance du mouvement communautaire en tant

qu’acteur majeur de la société civile.

1.3 Les acteurs face à l’évaluation

La crise des finances publiques conjuguée aux pressions du marché du travail amène

le gouvernement québécois à déployer des efforts considérables pour atteindre le « déficit

zéro », notamment en systématisant les mesures visant à encadrer et mieux contrôler les

activités financées à même les deniers publics. Pour répondre à l’objectif d’imputabilité

poursuivi par l’État, ministères et organismes gouvernementaux sont tenus d’adopter alors

diverses pratiques, telles que la planification en fonction d’objectifs et de résultats et

l’évaluation, à tous les niveaux de leur fonctionnement (Rodriguez et Guay, 1995).

Les groupes communautaires ont à faire face aux exigences grandissantes des bailleurs de

fonds face à l’utilisation des sommes allouées en appui à la réalisation de leur mission. Mais

ils ont aussi à répondre aux attentes de plus en plus pressantes de leurs membres et de la

population désireux de savoir « où va l’argent » et « qu’est-ce que ça donne ». C’est ainsi que

l’évaluation s’impose graduellement aux organismes comme un outil permettant d’apprécier

et de mesurer les résultats atteints dans le cadre de leurs activités, organisées et portées à

bout de bras, souvent à bout de souffle.

Face à la Loi sur la santé et les services sociaux stipulant que les organismes

communautaires doivent rendre compte de l’utilisation des fonds publics qui leur sont

octroyés (MSSS, 1990), les organismes, soucieux de leur autonomie, exigent de prendre part à

l’élaboration des principes généraux d’évaluation applicables aux groupes subventionnés par

le ministère de la Santé et des Services sociaux. Un comité de travail tripartite (ministère,

Table des regroupements provinciaux d’organismes communautaires et bénévoles, Conférence

des régies régionales) est mis sur pied en 1993 afin de travailler à l’élaboration d’approches

évaluatives s’appliquant aux organismes communautaires, de formuler des propositions et de

contribuer à l’analyse et à l’évaluation de différents modèles d’évaluation.

Il résulte de ces travaux une entente, en 1997, reconnaissant que l’évaluation en milieu

communautaire doit s’inscrire dans un processus de participation et de négociation avec

les acteurs impliqués. La nouvelle instance créée, le Comité ministériel sur l’évaluation, veut

12

favoriser le développement d’une culture de l’évaluation dans les organismes qui, peu à peu,

les amène à renforcer leurs positions comme acteurs sociaux (Garon et Roy, 2001).

1.4 De nouvelles lignes directrices

Sous le règne du gouvernement du Parti québécois, la Politique sur l'action communautaire

va par la suite encadrer d’une façon se voulant décisive les rapports entre les parties. Elle met

l’accent sur les principes de reconnaissance des caractéristiques des organismes et de respect

de leur autonomie, tout en structurant les bases du soutien financier de l’État autour de trois

modes de financement (soutien à la mission globale, entente de services et financement par

projets). Les orientations énoncées viennent également baliser les exigences imposées aux

organismes en matière d’évaluation et de reddition de comptes (Gouvernement du Québec, 2001).

Cette politique-cadre établit que la responsabilité incombant à l’État à l’égard de la gestion

des fonds publics a des répercussions sur les organismes communautaires :

« Elle pose, entre autres, des exigences de transparence en matière de reddition de comptes et d’évaluation de la qualité des services rendus sur une base volontaire. Les organismes communautaires ont la responsabilité de fournir à leurs bailleurs de fonds, à leurs membres, aux personnes qu’ils servent et à la communauté qui les soutient l’information permettant d’apprécier leur utilisation des fonds publics.

« La reconnaissance de l’autonomie de gestion pose des enjeux liés à la reddition de comptes des organismes. Elle suppose la mise en œuvre de suivis de gestion qui permettent à l’État d’assumer sa responsabilité tout en évitant de s’immiscer dans des aspects de la vie de l’organisme qui n’y portent pas atteinte. » (Gouvernement du Québec, 2001 : 36)

Distinguant différents types d’évaluation, la politique énonce également que :

« Dans la mesure où l’attribution des fonds publics doit servir à soutenir les initiatives qui produisent le plus de retombées positives possible, le gouvernement se doit de trouver des mécanismes lui permettant de valider la pertinence de ses choix.

« Le gouvernement est conscient de la nécessité de distinguer l’évaluation de programme qu’il peut effectuer en toute légitimité pour servir ses propres fins de l’évaluation de rendement des organismes communautaires eux-mêmes. Il est également conscient que l’évaluation est un outil qui doit d’abord être utile à l’organisme visé et que le processus relève en premier lieu du mandataire. »(Gouvernement du Québec, 2001 : 37-38)

13

La mise en œuvre de cette politique donnera lieu à l’adoption par l’actuel Gouvernement

du Québec d’un Cadre de référence et d’un Plan d’action en matière d’action communautaire,

rendus publics en août 2004. Afin de « concilier les objectifs de respect de l’autonomie des

organismes communautaires et de transparence », le Plan d’action gouvernemental affirme

l’intention du gouvernement de préciser les modalités qui encadrent certains aspects de ces

relations. Le Cadre de référence vient cependant uniquement préciser les modalités associées

à la reddition de comptes pour les organismes recevant un soutien financier en appui à

leur mission globale. Ces organismes se voient ainsi indiquer les documents à produire pour

la reddition de comptes, soit : l’acte d’incorporation, les statuts et règlements généraux, le

rapport d’activités ou rapport annuel, le rapport financier, les prévisions budgétaires. Il est

stipulé que les organismes financés par le biais d’ententes de services ou de projets ponctuels

font l’objet d’exigences propres à chaque ministère en matière de reddition de comptes.

Adoptées à l’été 2004, ces orientations n’ont toutefois pas encore fait l’objet d’une

application systématique dans l’ensemble de l’appareil gouvernemental, même si au bout de

trois ans de mise en œuvre on aurait pu penser que la Politique sur l’action communautaire

aurait suscité des changements plus importants dans les approches de gestion des ministères.

Dans la pratique, malgré une augmentation sensible du financement global versé par l’État

en appui à la mission des milieux communautaires autonomes, les sommes allouées sont

encore trop peu élevées pour assurer le bon fonctionnement des groupes, sans compter les

remises en question et les coupures survenues ces dernières années dans certains ministères.

La majorité des organismes se trouvent encore et toujours amenés à multiplier les demandes

de subventions, d’autres encore à devoir s’inscrire dans des programmes véhiculant leurs

propres logique et exigences, à contracter des ententes de services circonscrivant étroitement

leur action ou à solliciter du financement par projets les éloignant de leur mission première.

Au total, les exigences varient énormément d’un bailleur de fonds à l'autre et les attentes

exprimées en matière d’évaluation sont encore trop souvent confondues, par les bailleurs de

fonds tout comme par les groupes, avec de la reddition de comptes.

1.5 Un paradigme gestionnaire

En trame de fond de toutes ces législations, il faut savoir que la Loi sur l’administration

publique (Gouvernement du Québec, 2000) établit dorénavant de façon formelle les paramètres

pour la gestion des fonds publics en termes de planification stratégique, de programmes,

14

d’indicateurs de performance et de résultats attendus. Ce sont les exigences inscrites dans

cette loi visant les ministères et les institutions qui guident aujourd’hui le Conseil du trésor

dans la gestion de l’État québécois eu égard à la reddition de comptes.

« La présente loi affirme la priorité accordée par l’Administration gouvernementale, dans l’élaboration et l’application des règles d’administration publique, à la qualité des services aux citoyens; elle instaure ainsi un cadre de gestion axé sur les résultats et sur le respect du principe de la transparence. » (Gouvernement du Québec,

2000, chap.1, art.1)

Enfin, pour complexifier encore le portrait, on ne peut passer sous silence les travaux entrepris

depuis 2004 par le Gouvernement du Québec afin de revoir l’ensemble du fonctionnement de

l’appareil d’État selon une optique d’efficacité de services livrés à moindre coût, dans le cadre du

Plan de modernisation 2004-2007 intitulé : Moderniser l’État : pour des services de qualité aux

citoyens. Briller parmi les meilleurs. Ces travaux s’appuient notamment sur l’implantation d’une

nouvelle politique de gestion de la performance visant à assurer la reddition de comptes par

rapport à l’amélioration de la qualité des services aux citoyens, l’utilisation disciplinée, diligente

et rentable des deniers publics et le respect de la transparence, de l’éthique et des saines

valeurs de gestion. Le gouvernement entend renforcer les activités de vérification interne au sein

de l’administration gouvernementale. Dans un effort de resserrement de son fonctionnement,

il entend aussi réévaluer les différents programmes encadrant son action au regard de cinq

critères : le rôle de l’État, l’efficacité, l’efficience, la subsidiarité (qui est le mieux placé pour

donner ce service) et la capacité financière. Il va sans dire que ces efforts de restructuration ne

peuvent qu’avoir une influence sur les rapports de l’État avec les fournisseurs de services que

sont devenus pour une large part les groupes communautaires aux yeux des administrateurs

gouvernementaux.

Comme on peut le voir, les différentes politiques mises en place depuis les dix dernières

années ont eu et auront encore dans l’avenir un impact important sur les conditions

d’intervention des organismes. Bon nombre d’entre eux réussissent à s’adapter aux nouvelles

exigences sans déroger à la mission déterminée par leurs membres. Mais, dans les secteurs

où le financement gouvernemental est conditionnel à la signature d’ententes de services – tels

que l’employabilité, l’orientation et l’intégration des personnes immigrantes ainsi que, de plus

en plus dans l’avenir, la santé et les services sociaux avec l’adoption en 2004 de la loi 25 – les

groupes sont amenés à revoir leurs objectifs et la nature de leurs activités afin de s’ajuster aux

obligations découlant de leur mode de financement.

15

1.6 Nouveaux rapports et paradoxe

Selon certains travaux récents (Bourque, 2004; Duval et al., 2005), l’évaluation représente un

mécanisme privilégié par l’État pour intégrer les services sous sa juridiction et, ce faisant,

contrôler les activités des organismes communautaires.

Citons à nouveau l’exemple du secteur de la santé et des services sociaux où se retrouve

la grande majorité des groupes communautaires et où se dessinent souvent les pratiques

qui seront appliquées par la suite dans d’autres secteurs. Dans le cadre de la réorganisation

amorcée en décembre 2003, l’État utilise un des modes de financement prévu dans la

Politique de reconnaissance de l’action communautaire, sous la forme de rapports contractuels

et d’ententes de services, afin de redéfinir ses rapports avec le milieu communautaire. Sur

les plans administratif et légal, les Centres de santé et de services sociaux (CSSS) ont le

mandat de coordonner, dans une logique d’imputabilité, les établissements publics et les

autres « fournisseurs de services » sur un territoire donné afin d’assurer l’efficacité et la

qualité des services. Cela mène à un déplacement des mandats d’évaluation au niveau des

établissements publics (tels les CLSC) qui avaient auparavant un mandat de soutien et de

consultation. Cette réorganisation engendre des changements organisationnels apportant de

nouvelles balises et normes quant à l’évaluation des organismes communautaires de ce

secteur. Ce qui apparaît paradoxal aux yeux de certains, c’est que ces mesures, limitatives

pour l’ensemble du milieu communautaire, présentent peu de continuité avec la Politique de

reconnaissance de l’action communautaire (Bourque, 2004).

Le contexte social et économique – caractérisé par la montée du néolibéralisme,

l’incontournable partenariat entre l’État et le milieu communautaire, l’évaluation au sein

d’un paradigme gestionnaire et les changements dans les modalités de financement des

organismes – modifie considérablement le rapport des organismes communautaires à

l’évaluation (Midy, 1997). Selon Lachance (2001), les évaluations demandées par les bailleurs

de fonds (dont l’État) demeurent trop ciblées et réductrices des actions dans le milieu

communautaire. René et al. (2001) vont dans le même sens en concluant que les approches

d’évaluation privilégiées par les bailleurs de fonds ne permettent pas de mettre en valeur

le travail des groupes et qu’elles tendent à occulter la globalité de la réalité des personnes

rencontrées en la réduisant à quelques indicateurs déterminés d’avance.

16

À divers titres, l’évaluation représente un moyen, une stratégie. Elle constitue également la

pierre angulaire des rapports entre l’État et les organismes communautaires, car elle sous-tend

le financement. Le débat est sur la table : l'évaluation est-elle un mécanisme de contrôle

administratif des pratiques ? Ou un instrument de réflexion autocritique et de critique sociale ?

Et à quelles conditions ?

Nous verrons dans les chapitres suivants que les groupes réussissant à utiliser l’évaluation

au bénéfice de leur organisation et de la population auprès de laquelle ils interviennent

sont ceux qui se montrent très vigilants et proactifs dans leur usage de cet instrument à

double tranchant.

17

CHAPITRE ICO NTEXTE SO C I O P O LIT I Q U E

LES FAITS SAILLANTS

• La redéfinition du rôle de l’État, la réorganisation des services publics et le délestage des responsabilités de l’État vers les groupes communautaires mettent en cause l’autonomie des groupes et les possibilités réelles pour les citoyens d’intervenir face aux enjeux sociaux.

• La reconnaissance plus grande du milieu communautaire et la montée du partenariat avec le réseau public présentent à la fois des avantages et des risques. Soucieux de préserver leur intégrité, les organismes communautaires veulent avoir leur mot à dire sur le modèle d’évaluation qui leur est appliqué.

• Les travaux du Comité ministériel sur l’évaluation (tripartite) ont abouti à une entente basée sur un modèle participatif négocié.

• La Politique gouvernementale de reconnaissance de l’action communautaire a balisé les exigences imposées aux groupes communautaires en matière d’évaluation et de reddition de comptes. Selon cette politique, l’évaluation est un outil qui doit d’abord être utile à l’organisme et l’État doit respecter l’autonomie des groupes communautaires. Un Cadre de référence et un Plan d’action, adoptés sous le gouvernement actuel, font suite à cette politique.

• Mais... la Loi sur l’administration publique instaure pour tout l’appareil gouvernemental un cadre de gestion axé sur les résultats et sur le respect du principe de la transparence. Le gouvernement veut renforcer les mesures de resserrement des dépenses publiques.

• Les exigences varient grandement d’un bailleur de fonds à l'autre et il y a encore aujourd’hui beaucoup de confusion entre l’évaluation et la reddition de comptes.

• Il appartient aux milieux communautaires de relever le défi de faire de l’évaluation un levier pour l’amélioration de leurs pratiques.

18

1

CHAPITRE II

RECENSION DES AUTEURSSUR L’ÉVALUATION

Ce chapitre effectue un tour d’horizon des travaux portant sur l’évaluation en milieu

communautaire à partir d’une recension centrée sur l’état des pratiques évaluatives et sur les

conditions facilitant ces pratiques ou y faisant obstacle. Dans le cadre de cette recension, nous

examinons plus spécifiquement le rôle joué à cet égard par les ressources disponibles et par

les rapports entre les acteurs. Aux côtés des recommandations des spécialistes en évaluation

de programmes, nous portons une attention particulière à la documentation québécoise et

aux écrits à visée pratique produits par des chercheurs en partenariat avec des organismes

québécois ou par des organismes eux-mêmes.

2.1 Quelques résultats d’études sur l’évaluation en milieu communautaire

Dans la littérature examinée, certaines recherches ou réflexions menées sur le terrain en

matière d’évaluation présentent une pertinence concrète pour les organismes québécois.

2.1.1 Évaluation du projet NOVA

Peut-on mesurer l’impact d’une expérience aussi inédite que NOVA ? Les résultats de

l’évaluation réalisée (Gaudreau, Vincent et Garnier, 2000) nous ont appris que NOVA a eu un

impact indéniablement positif au regard des grands objectifs poursuivis. Le développement

des compétences (renforcement) constituait le premier objectif de NOVA; le deuxième visait à

outiller les groupes pour la négociation (instrumentation). Ces compétences et, particulièrement,

les « outils cognitifs » ont été modérément développés. À cet égard, il reste encore beaucoup à

faire. Nous y reviendrons au Chapitre IV. En revanche, au regard du troisième objectif poursuivi

qui était de débattre de pratiques novatrices en vue du développement (appui), NOVA a très

bien réussi à créer une ouverture favorable à la réalisation d’évaluations et de négociations par

le milieu. Cette réussite est déterminante, car elle fournit un terrain propice à l’acquisition et à

l’amélioration des outils indispensables pour mener à bien des évaluations et des négociations

adéquates. NOVA a aussi fait avancer les choses en ayant favorisé les rapports entre des

organismes communautaires et bénévoles québécois et des institutions de l’État.

Cet impact positif aurait cependant été plus considérable, aux dires des évaluatrices, si

deux conditions avaient été réunies. La première est que les intervenants formés se soient

mieux approprié les connaissances sur l’évaluation et la négociation. La deuxième est reliée

à la conjoncture. L’impact aurait été probablement encore plus important si la demande des

bailleurs de fonds avait continué de croître.

Enfin, un point majeur ressort de cette évaluation : l’apprivoisement des milieux à

l’évaluation. Par les divers moyens mis en œuvre, NOVA a su faire en sorte qu’une étape très

significative soit franchie : celle donnant le goût de se risquer à évaluer et, vraisemblablement,

qui incitera les milieux à trouver les moyens d’améliorer leurs compétences en ce domaine

(Gaudreau, Vincent et Garnier, 2000).

2.1.2 Démarche d’autoévaluation Epsilon

Dans le cadre d’une démarche d’exploration menée au printemps 2004, les groupes

membres de la Coalition des organismes communautaires québécois contre le sida (COCQ-Sida,

2004) étaient invités à faire le point sur l’évolution de leurs pratiques. Plus de 60 intervenantes

et intervenants communautaires, principalement du milieu de la lutte contre le sida, se sont

ainsi réunis pour échanger sur leurs interventions et sur l’évaluation de celles-ci avec la

méthode Epsilon 2. Huit constats se dégagent des informations et commentaires transmis par

les participants lors des ateliers de réflexion :

• Difficulté de communiquer les interventions : dans les rapports écrits, on ne réussit pas

à rendre justice à tout le travail accompli et l’on se retrouve avec une expertise qui se

perd, qui ne se transmet pas d’un intervenant à un autre, ce qui peut devenir dramatique

considérant le taux de roulement dans les organismes.

• Perception de l’évaluation et croyances face aux bailleurs de fonds : on fournit autant de

chiffres aux bailleurs de fonds possiblement parce que c’est la seule chose que l’on croit

devoir, pouvoir et être en mesure de leur donner; cette croyance aurait comme avantage

20

2. Le regroupement d’organismes COCQ-Sida a développé avec l’aide de chercheurs une méthode originale d’autoévaluation appelée EPSILON basée sur la tenue de groupes d’appréciation partagée (GAP).

de permettre aux intervenants de ne pas trop se préoccuper de documenter ce qu’ils font

ni de trop s’intéresser à savoir si les interventions ont des retombées pour les personnes

rejointes (« C’est beaucoup plus simple de fournir des chiffres ! »).

• L’évaluation comme occasion de réflexion et d’apprentissage : apprendre dans l’action

amène à voir la portée et les retombées de chacun des gestes que l’on pose et des services

que l’on rend et permet d’ajuster les interventions en fonction des apprentissages faits.

• Perte de vue du but des interventions : la frénésie des chiffres semble également faire

perdre de vue les fondements qui devraient orienter et guider chacune des actions et

fait ressortir la difficulté à situer le but des interventions et à situer les interventions

dans la mission de l’organisme.

• Le problème du manque de temps : s’agit-il d’un manque de temps pour évaluer ou plutôt

d’une difficulté d’organisation de son temps, une difficulté à mettre ses limites également ?

Le problème du manque de temps est peut-être un faux problème : ce n’est pas qu’on

manque de temps mais plutôt qu’on ne le prend pas.

• Le faux problème de la difficulté à évaluer : ce n’est pas qu’on ne sait pas observer ce qui

se passe autour de soi, c’est qu’on n’a pas développé la compétence et qu’on n’a pas pris

l’habitude de le documenter, ce qui ne peut s’acquérir que par la pratique.

• L’évaluation comme moyen d’apprendre à partir des actions qu’on mène (l’autre côté de

la médaille) : la force d’une organisation est dans les personnes qu’elle rejoint et il leur

revient de dire si les interventions sont pertinentes ou non.

• L’intégration de l’évaluation est aussi une décision administrative : on ne réussira jamais à

intégrer l’évaluation aux interventions si l’on ne se donne pas les moyens de le faire, ce

qui relève des directions et des conseils d’administration.

Les pratiques évaluatives des groupes de la COCQ-Sida, développées à partir de la

formule originale des Groupes d’appréciation partagée (GAP), ont amené les membres

de cette coalition à penser leur action autrement, à travailler de façon différente et à

développer leurs compétences en communication. Pour eux, évaluer signifie : « partager nos

appréciations sur nos actions et nos interventions » (COCQ-Sida, 2004).

2.1.3 Évolution des pratiques dans la santé et les services sociaux

Parmi les recherches d’envergure réalisées sur le milieu communautaire au Québec, celle

de René et al. (2001) sur la réorganisation du réseau de la santé et des services sociaux et

sur les transformations survenues dans les pratiques des organismes communautaires des

21

secteurs famille, jeunesse et des groupes de femmes, est celle qui se rapproche le plus de la

réalité et du contexte du présent projet. Pour eux, l’évaluation constitue l’une des différentes

pratiques mises en œuvre dans les organismes communautaires, susceptible de se modifier

dans le contexte de la réorganisation des services. À l’instar de notre recherche, cette

étude considère que l’évaluation peut être réalisée de façon indépendante ou produite en

réponse à des exigences provenant d’un bailleur de fonds. Les résultats de leur enquête

démontrent que :

• Sept (7) organismes sur dix (10) ont des pratiques d’évaluation interne.

• Ces évaluations portent sur le déroulement des activités (97 %), sur la satisfaction des

participantes et participants (96 %) et sur l’évaluation des résultats des interventions

(effets) (81 %).

• L’information utile aux évaluations est recueillie de façon diverse : discussions informelles,

journées de réflexion, d’orientation, questionnaires.

• Les organismes nés dans la période 1980-1989 sont plus nombreux à entretenir des

pratiques indépendantes des bailleurs de fonds.

• À partir de 1994, on retrouve davantage de pratiques d’évaluation réalisées à partir de

demandes externes, donc une moins grande proportion d’évaluations internes.

• Plus les organismes sont anciens, moins le degré d’exigences de la part des bailleurs de

fonds est perçu comme grand.

• Près de la moitié des organismes réalisant des évaluations internes ont un budget annuel

de 50 000 $ et moins.

• Près du tiers ont eu recours à une aide extérieure pour la tâche de l’évaluation; ce recours

était justifié principalement par le manque de connaissances en évaluation.

Relevé par les auteurs de cette étude, le recours à des mécanismes de rétroaction auprès

des membres, ou des personnes auprès desquelles les groupes interviennent, s’éloigne de

l’évaluation des résultats exigée par plusieurs bailleurs de fonds :

« Orientés vers un sens à donner plutôt que vers un score à atteindre, les résultats qui découlent de ces évaluations amènent les organismes à s’interroger sur leurs pratiques, leurs réalisations et l’adéquation de celles-ci aux besoins des membres. » (Duval et al., 2005 : 135)

Ces auteurs constatent également que les organismes communautaires dont la structure de

financement s’appuie sur des programmes ou des réalisations ponctuelles sont peu enclins ou

éprouvent plus de difficulté à réaliser des évaluations sur une base autonome.

22

2.1.4 Évaluation dans le secteur bénévole au Canada

Dans une enquête nationale portant sur l’évaluation dans le secteur bénévole au Canada,

Hall et al. (2003) poursuivaient l’objectif de renforcer la capacité des organismes bénévoles à

évaluer leurs pratiques et à en faire reconnaître l’efficacité. Lors d'entrevues téléphoniques, ils

ont recueilli les perceptions des organismes bénévoles et des bailleurs de fonds concernant

les activités d’évaluation réalisées dans l’année ayant précédé l’enquête. De leurs conclusions

de recherche, il ressort principalement que :

• Environ les trois quarts effectuent régulièrement, dans leurs activités courantes, des

évaluations qui ne sont pas en réponse à une demande extérieure.

• Les évaluations « internes » sont de nature très variée : réunions, groupes de discussion,

entrevues et sondages pour évaluer les programmes, les services, le rendement global ou

d’autres dimensions de leur travail.

• Les organismes bénévoles se disent satisfaits de la qualité de leurs évaluations; eux-mêmes

se perçoivent plus positivement que les bailleurs de fonds quant à leur capacité à se

servir des résultats d’une évaluation.

• 8 % ont eu recours à une aide extérieure.

• Le niveau de satisfaction est encore plus élevé lorsque les organismes bénévoles ont eu recours

à une aide extérieure, précisément pour une demande d’évaluation venant de l’extérieur.

• L’augmentation des exigences des bailleurs de fonds ne semble pas accompagnée d’une

augmentation de l’aide financière.

• Près du cinquième des groupes bénévoles pensent que ce ne sont que pour des raisons

administratives que les bailleurs de fonds effectuent des évaluations.

• Les bailleurs de fonds demanderaient de plus en plus des évaluations fondées sur les

résultats, ce qui constitue un défi pour les organismes bénévoles.

• Les principaux problèmes identifiés pouvant nuire à l’évaluation de la part des organismes

sont : le manque de moyens internes tels que du personnel, du temps et de l’argent;

l'absence de clarté des exigences des bailleurs de fonds et le manque de connaissances

pour faire les évaluations.

• Selon les bailleurs de fonds, les besoins des organismes bénévoles concernent :

l’uniformisation des demandes de renseignements en matière d’évaluation, une augmenta-

tion du financement des groupes et une uniformisation de la terminologie autour de

la question de l’évaluation.

• Parmi les recommandations contenues dans le rapport de recherche, on remarque

notamment la création d’un centre d’échange de renseignements ou de ressources

d’évaluation ainsi qu’une formation du personnel plus poussée.

23

2.1.5 Pratiques d’évaluation de programmes aux États-Unis

Une autre enquête d’envergure sur la question de l’évaluation est celle de Fine et al.

(1998) portant sur les pratiques d’évaluation de programmes dans le secteur communautaire

(nonprofit sector) aux États-Unis. Cette recherche traite principalement des évaluations de

programmes mais elle demeure tout de même intéressante, particulièrement en ce qui

a trait à la question de la participation au sein de l’organisme. Les résultats généraux

tendent à démontrer que :

• La majorité des évaluations réalisées (environ 80 %) sont des évaluations axées sur les

résultats ou des évaluations d’impacts; très peu d’organismes effectuent des évaluations

d’implantation, de processus ou de satisfaction des participantes et participants, ou encore

de la planification stratégique.

• La cueillette d’informations nécessaires aux évaluations se fait par consultation de

documents, entrevues, observation, questionnaires, méthode de focus group et par des

tests de connaissances ou d’aptitudes.

• Les évaluations de programmes effectuées au cours des trois dernières années sont :

davantage axées sur les résultats; réalisées en premier lieu pour les bailleurs de fonds,

ensuite pour le personnel et enfin pour les membres du conseil d’administration; les

données utilisées pour les évaluations sont recueillies de façon mixte : quantitative et

qualitative.

• Sur le plan de la participation à la démarche, ce sont les membres du personnel qui sont

les plus engagés dans la démarche, et ce, à toutes les étapes de l’évaluation.

• Les membres du conseil d’administration sont impliqués surtout aux étapes de planification

et d’interprétation des résultats; les participantes et participants, pour leur part, contribuent

davantage à la cueillette d’informations.

• La participation de plusieurs acteurs augmente la satisfaction et bonifie la planification

et la réalisation de l’évaluation.

Les auteurs de l’enquête concluent en indiquant qu’une bonne évaluation débute avec un

devis d’évaluation clair et précis, contient des recommandations pour améliorer le programme,

met en valeur les succès et contribue à soutenir la planification de l’organisme.

24

2.2 Les enjeux associés à l’évaluation dans les organismes communautaires

Les enquêtes et réflexions sur le terrain dont nous venons de faire état nous ont permis

d'identifier de premières conditions favorisant les pratiques en évaluation. De la littérature

consultée plus largement, on peut dégager deux catégories d’enjeux reliés à ces conditions de

réalisation : les ressources et les rapports entre les acteurs.

2.2.1 Ressources

Tous les écrits abordent la question des ressources. Les auteurs s’entendent sur la

nécessité pour les organismes de bénéficier de certaines conditions fondamentales, telles

qu’un financement de base satisfaisant et récurrent ainsi que suffisamment de ressources

humaines (Barreto-Cortez, 1999; Bozzo, 2002; Dufour et al., 2001; Fine, Thaye et Coghlan, 1998; René et

al., 2001). Le manque de temps apparaît comme l’obstacle le plus important à l’évaluation

(Dufour et al., 2001; Barreto-Cortez, 1999; Fine, Thayer et Coghlan, 1998; René et al., 2001). La question

du financement revient également de façon régulière dans les écrits. L’enquête canadienne

portant sur l’évaluation dans le secteur bénévole dénote que le soutien financier et technique

de la part des bailleurs de fonds demeure largement insuffisant, puisque l’essentiel des

ressources financières servant à l’évaluation provient des organismes eux-mêmes (Hall et al.,

2003). Le manque de ressources semble tel que les organismes doivent souvent utiliser leurs

propres ressources allouées au fonctionnement de base et aux services pour les consacrer à

l’évaluation (Chaytor, McDonald et Melvin, 2002; Duval et al., 2005).

Non seulement l’évaluation soulève des enjeux sur le plan financier et en termes de

temps, mais elle exige de la part des organismes communautaires des capacités techniques

et un minimum d’expertise dans ce domaine. Il faut donc prendre en compte les besoins

techniques spécifiques des organismes communautaires en évaluation (Botcheva, Roller White et

Huffman, 2002; Hall et al., 2003; Duval et al., 2005).

L’enquête menée dans le secteur bénévole au Canada nous apprend à ce sujet que :

58 % des organismes mentionnent des besoins de formation technique, 54 % soulignent

la nécessité de développer des capacités en évaluation à l’interne, 50 % demandent de

l’assistance pour réaliser le devis, 33 % veulent établir une base de données, 33 % souhaitent

évaluer leur culture organisationnelle, 33 % expriment le besoin de consulter des experts et

25

29 % aimeraient bénéficier d’une aide extérieure en évaluation (Hall et al., 2003). Bien que ces

résultats ne soient pas très détaillés, notamment en ce qui a trait au type d’aide extérieure

dont ils auraient besoin, ils indiquent tout de même les besoins identifiés par les organismes

en termes d’expertise et de ressources techniques dédiées à l’évaluation. L’accès à la

technologie est aussi une dimension importante relevée par certains auteurs (Botcheva, Roller

White et Huffman, 2002).

D’autre part, il faut rappeler que les exigences varient considérablement d’un bailleur de

fonds à l’autre, de même que les critères d’évaluation, en plus de changer constamment

dans le temps. Cela, sans compter que les organismes doivent s’adapter au vocabulaire

administratif spécifique de chacun : bilan comptable, ratio endettement-capitalisation,

rapports coûts-bénéfices, efficience, etc. (Bouchard et al., 2003; Cutt et al., 1996).

26

Encadré 2

UN DÉFI DE TAILLE : FAIRE FACE AUX EXIGENCES DES BAILLEURS DE FONDS

C’est bien connu dans les milieux communautaires, les exigences imposées aux

groupes varient selon les bailleurs de fonds. Étant donné que leur financement

provient pour la plupart d’entre eux de plusieurs sources, les organismes se retrouvent

contraints de répondre à des critères d’évaluation nombreux et variés. Selon une étude

panquébécoise, la lourdeur des exigences constitue d’ailleurs un obstacle important. Au

palmarès de la « lourdeur », le programme PACE (Programme d’action communautaire

pour l’enfance) remporte le premier prix, suivi de près par le Programme de promotion

de la femme de Condition féminine Canada. La troisième mention revient aux IPAC

(Initiatives de partenariat pour l’action communautaire en itinérance). Il s’agit de trois

programmes fédéraux. Le Programme SOC (Programme québécois de soutien aux

organismes communautaires) arrive bon dernier quant à la lourdeur de ses exigences en

ce qui concerne l’évaluation (Duval et al., 2005).

Outre les ressources temporelles et financières, d’autres éléments semblent incontour-

nables pour l’évaluation, faisant appel à des compétences ou habiletés humaines. L’ « expertise

sociale » réfère aux habiletés de négociation, aux capacités humaines de médiation et

d’interaction dans le dialogue ainsi qu’au sens stratégique des individus au sein du

groupe. Dans une étude américaine portant sur une recherche action participative avec les

communautés latines, Barreto-Cortez (1999) soutient que dans une évaluation, il faut confronter

les perceptions des uns et des autres et les interprétations d’une manière à promouvoir

le débat, explorer les idées, comparer les résultats, atteindre des conclusions signifiantes,

prendre d’importantes décisions pour l’amélioration des programmes et synthétiser les idées

afin de rallier les différentes perspectives. La participation serait donc bonifiée par certaines

habiletés sociales.

On peut retenir de cette section que le financement et les ressources humaines en termes

de temps et d’expertise constituent des conditions sine qua non pour qu’un organisme

communautaire puisse penser mener des démarches évaluatives significatives. Ces ressources

sont cependant traitées dans les écrits d’une manière paradoxale : elles sont évoquées comme

des vertus... difficiles à détenir. Tout le monde s’entend sur leur caractère fondamental,

mais peu d’auteurs s’arrêtent aux modalités à mettre en place pour y parvenir. Pourtant,

sans ces conditions, il s’avère compréhensible que les organismes consacrent leurs énergies

à survivre et à consolider leur action. Pour se payer le luxe d’évaluer ses actions, encore

faut-il être en mesure d’agir...

2.2.2 Rapports entre les acteurs

Il ne suffit pas de posséder les ressources et l’expertise nécessaires pour produire des

évaluations significatives pour la pratique. Bon nombre de chercheurs s’intéressent aux

dynamiques liées aux personnes se trouvant au cœur du processus. La Figure 1 (page suivante)

situe les acteurs principaux touchés par l’évaluation dans un organisme communautaire.

Une première catégorie d’auteurs s’intéresse aux chocs de culture entre les acteurs com-

munautaires, les bailleurs de fonds et les spécialistes en évaluation. La deuxième catégorie

met l’accent sur les inégalités de pouvoir existant entre ces mêmes acteurs. Nous traiterons

des divers types de rapports selon ces deux perspectives.

27

Figure 1Rapports entre les acteurs des pratiques évaluatives

dans les organismes communautaires québécois

Regroupements

Bailleursde fonds

Universités

Coopératives

Communautaires

Coordination

Intervention

Membres/usagers/

participants

Privés ProvincialFédéral

Municipal

Privé

Organismecommunautaire

Spécialistes en évaluation

2.2.2.1 Milieu communautaire et État

Les écrits abordant les rapports entre les acteurs sous l’angle culturel mettent l’accent sur

les particularités respectives du milieu communautaire et de l’État.

Le choc des cultures étatique et communautaire

Les établissements institutionnels et les organismes communautaires présentent des

différences fondamentales. Les institutions gouvernementales poursuivent une mission précise

déterminée par l’État sur le plan législatif, sont financées uniquement par celui-ci et sont

caractérisées par la permanence. Les groupes d’action communautaire voient leurs mandats

définis en fonction des besoins de la communauté, sont financés par l’État en partie, et pour

certains par leur communauté, et sont reconnus pour leur créativité, leur flexibilité d’intervention

et leur rapidité dans l’identification et la réponse à des besoins émergents (René et al., 2001).

Réalisées au début des années quatre-vingt-dix dans le cadre de comités tripartites, les

premières expériences de partenariat entre l’État et le milieu communautaire œuvrant en

santé mentale ont représenté un important choc de cultures. Choc entre la culture techno-

bureaucratique (centralisation, hiérarchisation, vision quadrillée de la société, professionnalisation

et spécialisation des savoirs) et une culture alternative centrée sur les rapports humains, la

proximité et la personnalisation des soins (Lamoureux, 1994). On peut ajouter, pour le côté com-

munautaire : des valeurs centrées sur la transformation des rapports sociaux, l’anti-productivité,

l’horizontalité et la circularité du pouvoir ainsi que l’engagement (Guberman et al., 1994).

Ces différences entre les milieux communautaire et institutionnel se traduisent dans leurs

conceptions de l’évaluation. Pour les organismes, l’évaluation prend une connotation de

« bilan », de réflexion pour faire le point sur une action, alors que pour les bailleurs de fonds,

la fonction vérification/contrôle est centrale. L’enjeu, pour les bailleurs de fonds, tourne autour

de la rentabilité des investissements (Bouchard et al., 2003). L’évaluation serait cependant une

pratique courante dans le milieu communautaire. Aux dires de Garon et Roy (2001), ce secteur

aurait développé une culture évaluative qui lui est propre. Mais les ressources communautaires

se prêtent mal au modèle classique d’évaluation plutôt orienté vers des objectifs spécifiques et

relevant davantage d’approches expérimentales et biomédicales (Mercier, 1985; Garon et Roy, 2001;

Duval et al., 2005). Se situant en porte-à-faux par rapport aux pratiques du milieu qui sont axées

sur la prise en charge collective et le vécu des personnes, ce modèle classique est un irritant

pour plusieurs organismes (Bouchard et al., 2003).

29

Ces différences dans les cultures et les conceptions de l’évaluation comportent certains

risques pour le milieu communautaire, notamment en ce qui concerne les pratiques évaluatives

développées par les organismes. En effet, ces pratiques peuvent se retrouver marginalisées,

restreignant ainsi le potentiel de réflexion collective et de conscience critique nécessaires à

toute évaluation d’une action commune visant des changements sociaux (Duval et al., 2005).

D’autre part, plusieurs s’inquiètent des impacts de l’évaluation sur la normalisation des

pratiques des groupes (Rodriguez et Guay, 1995). Le Comité ministériel sur l’évaluation (1997) met

en garde contre les dangers d’évaluations restreintes, ne tenant pas compte de la créativité

et de la flexibilité du milieu communautaire et risquant de professionnaliser les groupes, de

normaliser leurs pratiques et de les enfermer dans une logique de programme. Le comité

souligne le fait que certains organismes se retrouvent contraints d'éliminer les activités moins

spécifiques et moins mesurables et d'entrer dans une logique para-professionnelle. Une étude

réalisée avec le Collectif québécois des entreprises d’insertion (Dufour et al., 2001) signale que

30

Encadré 3

DES TRADITIONS COMMUNAUTAIRES EN MATIÈRE D’ÉVALUATION

L’évaluation est une pratique courante dans le milieu communautaire. L’étude de

Duval et de ses collaborateurs recense trois types d’évaluation menés de façon autonome

dans les organismes communautaires :

- évaluation du déroulement des activités pour identifier les améliorations à la mise

en œuvre des activités,

- évaluation de la satisfaction des participants à une activité,

- évaluation des effets de l’intervention pour vérifier l’atteinte des objectifs à partir de

la perception des participants.

Ces types d’évaluation, bien que moins rapportés dans la documentation

officielle scientifique et gouvernementale sur l’évaluation, sont des pratiques assez

répandues dans les organismes. Ces démarches ne correspondent pas directement

aux catégories traditionnelles d’évaluation demandées par les bailleurs de fonds

(comme l’évaluation des résultats, des effets, des impacts), mais elles demeurent

tout aussi valables (Duval et al., 2005).

ces entreprises craignent d’être structurées de l’extérieur et de se voir imposer une certaine

lourdeur dans leur développement.

Enfin, le milieu communautaire est reconnu pour sa créativité, pour sa flexibilité

d’intervention et sa rapidité dans l’identification et la réponse à des besoins émergents, dans

sa faculté de faire autrement. Cette originalité et cette richesse devraient se refléter dans les

pratiques évaluatives. C’est pourquoi la méthodologie d’évaluation proposée par les bailleurs

de fonds doit s’harmoniser avec la vie démocratique et avec les valeurs du milieu (Duval et

al., 2005). Le fait d’articuler le cadre d’évaluation à partir du modèle théorique de l’action des

organismes et à partir de la consultation des membres permet d’en augmenter la pertinence

pour l’action et le réalisme « interne » (Dufour et al., 2001).

Les rapports de pouvoir et d’influence entre l’État et le milieu communautaire

Huit ans après les recommandations du Comité ministériel, la question de l’évaluation

interpelle toujours la reconnaissance de la spécificité de l’action communautaire et le respect

de son autonomie. Il semblerait que les rapports de pouvoir entre l’État et les organismes

communautaires n’aient pas réellement changé. De nombreux auteurs relèvent au sein de

l’appareil d’État une tendance à entretenir des relations unidirectionnelles avec le milieu

communautaire. En outre, il utiliserait encore trop souvent les résultats de l’évaluation pour

l’attribution du financement (Garon, Roy, 2001), notamment dans le cadre des ententes de services

et de certains programmes. Dans ce domaine comme dans d’autres, la réalité des pratiques

institutionnelles ne correspond pas toujours au discours tenu dans les politiques officielles.

Si, comme on l’a vu, il importe de tenir compte des cultures et des rationalités de

l’ensemble des acteurs impliqués dans le processus évaluatif, certains écrits mettent l’accent

sur les rapports de pouvoir sous-jacents. De prime abord, les partenaires décident de s’investir

dans une relation de collaboration à partir d’agendas, de valeurs et d’intérêts qui leur sont

propres (Lamoureux, 1994), et ce, en vue d’en retirer des avantages (Crozier et Friedberg, 1977;

Panet-Raymond, 1991; Billette, White et Mercier, 1995). Degeling (1993) ajoute que les partenaires d’un

secteur particulier (institutionnel ou communautaire) font tout ce qui leur est possible afin de

protéger leurs intérêts contre les menaces qui pourraient venir des autres secteurs. Cela relève

d’un processus où les « individus en situation de faible pouvoir créent souvent leur identité en

tant que groupe communautaire en opposition ou en conflit avec les groupes qui sont plus

puissants qu’eux » (Labonté, 1993 : 238, traduction libre). Les enjeux de l’organisation des services

31

publics consisteraient pour l’État à respecter sa mission et à offrir des services dans les limites

des contraintes politiques et budgétaires. Selon Panet-Raymond (1991, 1992), un organisme

communautaire déploierait plutôt des stratégies pour faire respecter son intégrité.

Ce déséquilibre dans les rapports entre les acteurs a été largement développé dans

les écrits sur le partenariat où l’on traite de rapports de récupération (Vaillancourt, 1994), de

complémentarité (Panet-Raymond et Lavoie 1996; Proulx, 1997) ou de « pater-nariat » (Panet-Raymond,

1991; 1992) et de coopération conflictuelle (Panet-Raymond, 1991; Vaillancourt, 1994).

Selon certains, l’approche dominante des recherches portant sur les relations entre l’État et

le tiers secteur a consisté à mettre l’accent sur les avantages comparatifs du tiers secteur ou

encore sur les dangers pour les organismes d’une atteinte à leur autonomie dans le cadre de

leurs relations avec l’État (Najam, 2000). Récemment, au Québec, ces rapports ont été analysés à

partir d’une typologie situant les divers types de relations à l’intérieur d’un continuum, prenant

en considération l’influence des deux parties dans les décisions (Proulx, Bourque et Savard, 2005).

Dans les huit secteurs étudiés, les chercheurs du Laboratoire de recherche sur les pratiques et

les politiques sociales (LAREPPS) ont constaté la présence de quatre types différents d’interfaces

entre l’État et les organismes du tiers secteur : le rapport de « sous-traitance », le rapport de

« coexistence », le rapport de « supplémentarité » et le rapport de « coproduction ».

La typologie utilisée dans la recherche du LAREPPS, celle de Coston (1998) adaptée au

Québec, permet d'affiner l’analyse des rapports entre l’État et le tiers secteur et de s'affranchir

d’une analyse considérée souvent comme « binaire », à savoir : « ou bien les organismes

du tiers secteur sont instrumentalisés économiquement ou politiquement dans un rapport de

sous-traitance; ou bien ils sont partie prenante d’un partenariat véritable avec l’État et dans

lequel ils ont un certain pouvoir » (Proulx, Bourque et Savard, 2005 : 12). Cette typologie repose sur

cinq paramètres : le pluralisme institutionnel, la politique de l’État à l’égard du tiers secteur, le

degré d’intensité des rapports, le degré de formalisme des rapports et le rapport de pouvoir.

Avec cet outil d’analyse, on peut faire la jonction entre le micro et le macrosociologique, en

s’appuyant sur un continuum allant de la simple expérimentation, de la part d’organismes très

faiblement institutionnalisés, à une forte institutionnalisation des organismes communautaires.

Il faut considérer qu’une relation n’est pas figée, définie une fois pour toutes, et qu'elle

peut « évoluer avec le temps, au gré des rapports de force, soit vers un renforcement de la

coproduction [Note de l’auteure : l’influence mutuelle], soit vers son affaiblissement ». Sans nier les

32

dangers d’une instrumentalisation du tiers secteur par l’État, Proulx, Bourque et Savard visent à

démontrer qu’il est possible, du moins dans le contexte québécois, d’entrer dans une relation

avec l’État qui soit plus contraignante pour les organismes, « sans que cela signifie qu’ils doivent,

pour cela, vendre leur âme au diable ». Cette recherche a le mérite de mettre en lumière

la diversité des rapports qu’entretiennent l’État québécois et les organismes du tiers secteur,

d’apporter des nuances aux analyses classant ces rapports en deux catégories (sous-traitance

et respect de l’autonomie) et de faire voir la complexité des rapports qui peuvent se tisser en

prenant en considération un plus grand nombre de paramètres (Proulx, Bourque et Savard, 2005).

Par ailleurs, certains auteurs considèrent l’évaluation, telle que financée et réalisée par

l’État, comme une menace aux missions de globalité, de qualité de vie et de citoyenneté qui

sont au cœur du mouvement communautaire (Chaytor, McDonald et Melvin, 2002). De plus, la vie

associative et les activités démocratiques, n’étant pratiquement pas financées, sont mises en

péril. L’évaluation est alors perçue comme un moyen de ramener la mission des organismes

communautaires à ce qui est financé, c’est-à-dire aux programmes encouragés par l’État.

« Utiliser des mesures quantitatives provenant des sciences sociales pour renforcer le contrôle administratif et le processus de prise de décisions budgétaires (comme dans le mouvement pour la reddition de comptes des programmes sociaux) peut être destructeur des institutions et des processus que l’on veut contrôler. Ce processus peut aussi être destructeur de la validité préalable que ces mesures avaient dans le contexte des sciences sociales. » (D.T. Campbell, 1998 : 315, cité dans Zuniga, 2001)

Il semblerait que seule la coopération conflictuelle permette de respecter les différences

de cultures et de modes d’intervention (Panet-Raymond, 1991), accordant ainsi au milieu

communautaire une réelle force de négociation, notamment en ce qui a trait à l’évaluation

(Vaillancourt, 1994). Le Comité ministériel sur l’évaluation pose, dès 1997, les jalons d’une

collaboration entre l’État et le milieu communautaire qui respecte intégralement l’autonomie

d’orientations, de politiques et d’approches du mouvement communautaire. Or, depuis ce

temps, les relations sont demeurées inégales (Barreto-Cortez, 1999; Bozzo, 2002; Dufour et al., 2001;

Garon et Roy, 2001). Midy parle de « partenariat structurellement inégal, où l’un des partenaires

a le droit de juger le travail de l’autre et de soustraire le sien au jugement de ce dernier »

(Midy, 2001 : 75). Pour Garon et Roy (2001), les relations de pouvoir entre l’État et les organismes

communautaires et bénévoles n’ont pas réellement changé depuis le rapport du Comité

ministériel sur l’évaluation de 1997. Même si le processus d’évaluation a été négocié dans le

cas du modèle participatif, le processus décisionnel demeure pour sa part exclusivement entre

les mains des responsables gouvernementaux.

33

Cela dit, pour certains auteurs, l’évaluation constitue une arme à deux tranchants. Elle

peut, d’une part, servir à justifier les pratiques de rationalisation des services de l’État ou,

d’autre part, contribuer à renforcer le pouvoir de négociation du milieu communautaire

face à l’État. Dans cette dernière perspective, les organismes communautaires doivent non

seulement mener des évaluations internes valables donnant du sens à leur action, mais ils

doivent également se regrouper afin de constituer une force collective en mesure de négocier

d’égal à égal avec l’État (Midy, 1997).

34

Encadré 4

L’ÉVALUATION COMME OUTIL DE RENFORCEMENT DES MILIEUX COMMUNAUTAIRES

Lors d’un colloque sur l’évaluation, Midy (1997) proposait trois façons de faire en sorte

que l’évaluation soit un outil stratégique de renforcement des milieux communautaires,

énonçant un certain nombre de conditions de base. Il faut premièrement entreprendre

des évaluations internes valables, qui donnent du sens à l’action communautaire, sur les

bases propres des organismes, à partir des questions des organismes et en fonction de

leurs objectifs. Le processus de mise en commun consiste à identifier et à reconnaître

l’expertise particulière de chacun des partenaires et à confronter leur manière respective

de définir les questions de recherche et de les aborder. Cette collectivisation de

l’évaluation interne offre aux groupes la possibilité de confronter leurs façons de faire et

d’enrichir leurs propres modes de négociation, en s’inspirant des stratégies des autres

partenaires (Corin, 1995).

Il faut également fournir les outils permettant à chacun de s’approprier les définitions

utiles. Afin de constituer un poids de négociation suffisant, Midy suggère de former une

instance représentative du mouvement communautaire qui serait chargée de l’évaluation

en disposant de ressources matérielles, et de réunir les capacités de recherche suffisantes

en établissant des partenariats avec les universités.

2.2.2.2 Organismes communautaires et spécialistes en évaluation

Le choc des cultures

En plus de mettre au jour les différences fondamentales entre les organismes commu-

nautaires et les bailleurs de fonds, le processus évaluatif peut aussi remettre en question les

relations entre les organismes et les ressources externes auxquelles ils font appel. Pour les

fins de ce rapport, nous appellerons ces personnes-ressources (qu’elles soient universitaires,

communautaires, institutionnelles ou privées) des spécialistes en évaluation. Les auteurs sont

nombreux à dire que les spécialistes en évaluation et les milieux de pratique communautaire

appartiennent à deux mondes différents (Chavis, Stucky et Wandersman, 1983; Margolis et Runyan, 1998;

Rotheram-Borus et al., 2000; Zuniga, 1997).

Zuniga (1997) situe deux rationalités d’action ou convictions idéologiques qui se confrontent

dans le processus d’évaluation. Selon lui, les acteurs communautaires partagent la conviction

de la valeur et de la pertinence sociale de leur action, comparativement aux spécialistes qui

valorisent l’objectivité fondamentale décontextualisée. Ces derniers adoptent une neutralité

politique alors que les organismes prennent un parti pris pour des valeurs explicites. Zuniga

remarque aussi des différences dans la façon de voir leur mandat. Ainsi, les organismes

communautaires traduisent leur rôle dans la société à travers certaines actions dont :

créer une visibilité à un problème, créer une conscience de son importance et de son

urgence, créer de l’enthousiasme solidaire menant à l’implication communautaire, dynamiser

une mouvance sociale transformatrice, identifier des indices d’espérance du changement

(présences, participations, coopérations, témoignages). À l’inverse, les spécialistes en évalua-

tion perçoivent leur mandat de la façon suivante : assurer la clarté et la cohérence de l’action

entreprise, assurer le rapport entre l’action et le résultat (efficacité), et entre les ressources

investies et les résultats obtenus (efficience), vérifier l’atteinte des objectifs contractuels

définissant l’entente de coopération entre le groupe acteur et le bailleur de fonds et fournissant

des recommandations aux commanditaires de l’évaluation afin d'améliorer l’emprise sur

l’action. Finalement, en ce qui concerne la façon d’interpréter les effets de l’évaluation, les

acteurs communautaires se contentent souvent de constats multiples et diffus de conviction,

de consensus et de satisfaction. Pour leur part, les spécialistes en évaluation mettent de l’avant

des mesures quantifiées, des objectifs explicites, spécifiques ou prioritaires (Zuniga, 1997).

35

D’autres travaux portant sur les relations entre les chercheurs et les intervenants sociaux

en général fournissent un éclairage intéressant sur les rationalités des spécialistes et des

organismes. Margolis et Runyan (1998) identifient des facteurs qui rendent encore plus

complexes les relations entre la recherche et l’intervention. Selon ces auteurs, les tensions

dans les relations seraient liées aux différentes approches existantes pour la définition et la

mise en priorité des problématiques ainsi qu'au choix des stratégies pour y faire face. Ils

soulèvent entre autres que les chercheurs mettent l’accent sur les faiblesses de la population,

contrairement aux intervenants locaux qui auraient une vision davantage positive de leur

communauté. En ce qui concerne les styles de travail, ils notent que les chercheurs sont

formés pour devenir des « penseurs indépendants » et ne se sentent pas compétents pour

travailler avec la communauté. De plus, certains conflits pourraient résulter du type d’utilisation

de l’information selon le milieu : les intervenants souhaiteraient des résultats de recherche

pour appuyer leurs démarches activistes, alors que les chercheurs favoriseraient une utilisation

« neutre » des données.

Rotheram-Borus et al. (2000) ajoutent à cette idée. Selon eux, les acteurs ont des missions,

des modes de fonctionnement, des contraintes et des bénéfices qui leur sont propres, ce qui

peut générer des conflits. Ils soulignent notamment que le mandat premier des chercheurs

consiste à faire avancer les connaissances, tandis que les intervenants communautaires ont

pour mission de servir les autres et d’améliorer leurs conditions de vie. De plus, pendant

que le milieu universitaire défendrait d’abord des valeurs telles que l’impartialité, la rigueur

scientifique et le sens critique, le milieu communautaire favoriserait davantage l’expression des

sentiments et la relation de confiance.

Bien sûr, ces acteurs ne forment pas des cultures diamétralement opposées, ni homogènes.

Ainsi, dépendant de ses expériences passées avec l’évaluation, de son histoire et de sa taille,

de la formation de ses employés, de son secteur d’activités et d’autres facteurs, un organisme

peut se retrouver plus ou moins à distance de la vision de l’évaluation véhiculée par une

institution, d’une part, et aussi de celle d’un spécialiste, d’autre part. À l’inverse, il y a de fortes

raisons de croire qu’un spécialiste en évaluation provenant du milieu soit plus proche des

organismes communautaires dans sa perception de l’évaluation qu’un chercheur universitaire,

un évaluateur affilié à un bailleur de fonds ou un consultant privé. Sans prétendre tout

expliquer des rapports entre les acteurs, la documentation sur les différences culturelles offre

des pistes intéressantes de compréhension des relations impliquées dans une démarche

évaluative.

36

Les rapports de pouvoir

Les relations entre spécialistes et intervenants sont également teintées de pouvoir, entre

autres à cause de leur position sociale respective (Bond, 1990; Chavis, Stucky et Wandersman,

1983; Himmelman, 2001; McWilliam, Desai et Greig, 1997; Wallerstein, 1999). Selon Wallerstein (1999), les

spécialistes représentent le pouvoir aux yeux de la communauté : ils sont rattachés à des

institutions sociales prestigieuses (universités), ils sont perçus comme influents auprès du

gouvernement et des spécialistes en évaluation. L’auteure ajoute même qu’ils adoptent

souvent un langage distancé et utilisent le jargon scientifique pour neutraliser les critiques

des intervenants et faire pencher les décisions en leur faveur. La relation traditionnelle entre

chercheurs et participants laisserait encore certaines traces. Bien que les milieux de recherche

sociale modernes se soient ouverts aux approches participatives, les rapports entre spécialistes

et organismes communautaires semblent de nos jours encore asymétriques (Bond, 1990; McWilliam,

Desai et Greig, 1997; Wallerstein, 1999).

Les spécialistes doivent donc prendre conscience de leur pouvoir (Bond, 1990; Wallerstein, 1999;

Zuniga, 2001). Zuniga (2001) souligne que le chercheur ne peut rester neutre, car en adoptant

une telle position, il se fait nécessairement gardien du statu quo, c’est-à-dire qu’il se trouve à

favoriser ceux ayant le plus de pouvoir. Outre le fait qu’elle demande d’accepter de se remettre

en question, cette prise de conscience pose un grand défi aux spécialistes : celui de faire

preuve de patience et de tolérance envers les différences pour en arriver à des compromis.

Cela exige une grande ouverture d’esprit, ainsi que la capacité de partager ses valeurs et ses

attentes (Corin, 1995; Macduff et Netting, 2000) dans le but de réaliser des évaluations systématiques

et respectueuses de la réalité des organismes. Non seulement les spécialistes doivent-ils

reconnaître le mouvement communautaire, mais les organismes communautaires ont également

le devoir de s’outiller et de négocier des évaluations respectueuses de leur spécificité.

De la part du spécialiste, s’ouvrir à la particularité du milieu communautaire exige

une bonne dose d’humilité afin de conduire une évaluation significative pour les autres

participantes et participants, sans prendre tout le plancher dans les décisions (Barreto-Cortez,

1999). De la part du milieu communautaire, réinventer les relations signifie s’impliquer dans

un processus exigeant en termes de temps et d’énergie : c’est plus facile de laisser le

spécialiste faire le travail, mais le risque de perdre le pouvoir sur la recherche est trop

grand (Barreto-Cortez, 1999).

37

2.2.2.3 Chocs des cultures et rapports de pouvoir : vers une troisième voie ?

Quelles sont les conditions susceptibles de favoriser un contexte d’évaluation idéal ? En

réponse à ce questionnement, de nombreux auteurs lancent un appel à la négociation, à

la remise en question du statu quo, à l’empowerment, au renversement des mécanismes

traditionnels d’attribution du financement, etc. (Bouchard et al., 2003; Corin, 1995; Garon et Roy, 2001;

Lackey et al., 1997; McWilliam, Desai et Greig, 1997; Wallerstein, 1999). On souligne qu’il arrive un moment

dans le processus partenarial où le plus faible doit établir sa légitimité par le conflit (Gray, 1989).

Le conflit est alors considéré comme sain puisqu’il permet d’éviter les inégalités de pouvoir

(Labonté, 1993) et d’atteindre les objectifs communs que les partenaires se sont donnés (Chavis,

2001). Barreto-Cortez (1999) invite à la confrontation des perceptions des uns et des autres

et des interprétations, de manière à promouvoir le débat, explorer les idées, comparer les

résultats, atteindre des conclusions significatives pour les deux parties et prendre d’importantes

décisions pour l’amélioration des programmes.

« Mis en présence de positions apparemment incompatibles – le contrôle du financement et la réponse aux demandes –, on prend parti pour l’une, pour l’autre, ou on peut essayer de développer une troisième voie, jamais facile, jamais stable, jamais parfaitement claire, jamais au-dessus de la mêlée... où l’on n’est jamais assuré de ne pas se faire tirer dessus des deux tranchées. (...) Les troisièmes voies ne sont pas des synthèses suprêmes : elles sont des efforts difficiles pour trouver un espace interstitiel entre les forces majeures au moins partiellement opposées. » (Zuniga, 2001 : 28-29)

Enfin, la négociation et la familiarisation réciproque doivent se maintenir jusqu’à la fin

du processus, parce qu’ « il est extrêmement difficile de confirmer, pendant le processus

d’évaluation et même à la fin de celui-ci, si le consensus obtenu se maintiendra lors de

moments de tension ultérieurs. […] Une fois dans le contexte de vie réelle, les acteurs verront

leurs bons sentiments s’émousser et reviendront à leurs vieilles habitudes de confrontation si

le consensus n’est pas véritablement atteint » (Garon et Roy, 2001 : 104).

Un autre enjeu, la dimension éthique de l’évaluation, est identifié par quelques auteurs

(Fontan, 2001; Zuniga, 2001). Selon eux, l’évaluation est en soi un acte d’interprétation ayant une

qualité politique puisque « le fait de vérifier la portée d’une action ou d’une intervention

rend transparents les rapports sociaux qui l’habitent ». Qu’on le veuille ou non, l’évaluation

révèle une « cartographie de pouvoirs » (Fontan, 2001). Cet exercice évaluatif ne peut être défini

38

seulement par des intérêts particuliers. Il doit aussi prendre en compte le bien commun,

l’intérêt commun, en fonction des valeurs universelles que sont la justice, l’autonomie, le

droit, la liberté, l’égalité, etc., ce qui suppose une formation des acteurs à la responsabilité

sociale (Zuniga, 2001).

Nous venons de voir l’importance du rôle joué, dans les pratiques évaluatives des

organismes communautaires, par les rapports entretenus avec les bailleurs de fonds et avec

les spécialistes en évaluation. Les recommandations des différents auteurs afin de renforcer

ces pratiques se divisent en deux approches distinctes. Comprendre les différences de vision

des pratiques évaluatives comme des écarts culturels revient à attribuer les tensions et les

incompréhensions mutuelles à des facteurs contextuels, organisationnels et historiques. Les

recommandations s’orientent donc naturellement vers la connaissance du monde de l’autre,

la communication respectueuse et les contacts multiples et répétés entre les représentants

de ces différentes cultures. À l’inverse, interpréter les tensions entre les acteurs comme

le résultat des inégalités de pouvoir incite à des stratégies de négociation et de remise

en question du statu quo entre les acteurs. Comme l’affirme à juste titre Zuniga, la

recherche d’une troisième voie ne se prétend pas une synthèse suprême, mais bien un

effort difficile.

39

CHAPITRE IICE Q U E D I S E NT LES AUTE U RS

LES FAITS SAILLANTS

Études récentes sur l’évaluation en milieu communautaire

• L’évaluation de NOVA : les milieux communautaires se sont apprivoisés davantage à l’éva-luation, mais il reste encore beaucoup à faire pour développer les compétences et outiller les groupes pour la négociation, en vue d’une véritable appropriation de l’évaluation.

• L’évaluation des pratiques de lutte contre le sida : les croyances face aux bailleurs de fonds, le manque de temps et la difficulté d’évaluer sont peut-être des raisons que l’on se donne pour ne pas documenter les interventions et ne pas se préoccuper de leurs retombées (c’est plus simple de fournir des chiffres !).

• Les résultats des études réalisées sur les pratiques en santé et services sociaux au Québec et dans le secteur bénévole au Canada concordent sur bien des aspects :

- environ les trois quarts des organismes réalisent des pratiques d’évaluation interne, et cela de diverses façons,

- plus les organismes sont anciens, plus ils ont des pratiques d’évaluation indépen-dantes des bailleurs de fonds et moins le degré d’exigences des bailleurs de fonds est perçu comme grand,

- une enquête sur les pratiques d’évaluation de programmes aux États-Unis révèle que les organismes effectuent surtout des évaluations axées sur les résultats, pour répondre aux exigences des bailleurs de fonds.

Ressources et rapports entre les acteurs

• Le financement de base et les ressources constituent des conditions sine qua non pour qu’un organisme communautaire puisse mener des démarches évaluatives significatives.

• Choc culturel entre la culture bureaucratique des milieux institutionnels et la culture alternative communautaire : pour les organismes, l’évaluation répond à un besoin de « bilan »; pour les bailleurs de fonds, la fonction de contrôle est centrale.

• Rapports de pouvoir : les enjeux pour l’État consistent à respecter sa mission et à offrir des services dans les limites des contraintes politiques et budgétaires; un organisme communautaire déploie des stratégies pour faire respecter son intégrité et son autonomie dans un contexte de contraintes et d’influences réciproques.

• Différences culturelles entre les organismes et les spécialistes : dans le milieu communautaire, on a pour mission d’améliorer les conditions de vie; les chercheurs ont pour mandat de faire avancer les connaissances avec rigueur et impartialité.

• Défi : pour les spécialistes, démontrer patience, ouverture et tolérance dans le but de réaliser des évaluations systématiques et respectueuses de la réalité des organismes; pour les organismes, s’impliquer dans un processus exigeant qui leur demande de s’outiller, de négocier des évaluations respectueuses de leur spécificité.

40

1

CHAPITRE III

MÉTHODOLOGIE

Un devis exploratoire a été retenu pour atteindre les objectifs poursuivis par ARPÉOC,

qui sont : décrire l'état des pratiques évaluatives au sein des organismes communautaires et

bénévoles québécois et dégager les conditions facilitant le renforcement de leurs pratiques

évaluatives ou y faisant obstacle. Ce devis consiste en la cueillette, l’analyse et la synthèse

des informations permettant de tracer un portait descriptif et analytique de la pratique

évaluative en milieu communautaire. Cette approche permet de clarifier les concepts, de

soulever des hypothèses et de formuler le cas échéant des recommandations vis-à-vis un

phénomène à étudier (Mayer et Ouellet, 2000).

Ce chapitre situe, tout d’abord, les enjeux relatifs au choix que nous avons fait de

considérer l’évaluation à partir de l’orientation donnée à la démarche, selon qu’elle origine

du groupe lui-même ou qu’elle découle d’une demande externe, pour exposer par la suite

les limites rencontrées dans le cadre de cette recherche. Il présente ensuite la méthodologie

quantitative et qualitative utilisée pour la collecte des données.

Le premier volet, qualitatif, regroupe deux stratégies, soit l’étude approfondie de deux

cas d’organismes ayant expérimenté une ou plusieurs démarches évaluatives systématisées à

l’intérieur de leur pratique, complétée par des entrevues individuelles et de groupe avec des

spécialistes, que nous consultons à titre de personnes-clés ayant accompagné des organismes

communautaires dans leurs démarches évaluatives.

Le deuxième volet, quantitatif, consiste en une enquête postale auprès d’organismes

sur le territoire québécois afin de dresser l’état des pratiques évaluatives dans les milieux

communautaires. Les pages suivantes présentent ces stratégies de cueillette de façon

détaillée.

3.1 Les enjeux associés aux pratiques évaluatives internes et externes

Face à la diversité des pratiques et modèles d’évaluation, une distinction est nécessaire afin

de classifier les apports et les limites des pratiques évaluatives. Les pratiques dont l’objectif

premier est l’amélioration des actions ou la réflexion sur les enjeux et les orientations des

groupes se différencient nettement des pratiques d’évaluation donnant suite à des demandes

extérieures ayant un but de vérification et une approche le plus souvent standardisée. La

volonté d'initier une démarche évaluative, les cibles de l’évaluation, l’adhésion au processus

et l’utilisation des résultats sont des considérants permettant de distinguer les pratiques

d’évaluation internes de celles répondant à une demande externe.

Pour les besoins de l’enquête, ARPÉOC a considéré les évaluations à partir de deux

catégories : l’évaluation interne et l’évaluation réalisée à la suite d’une demande externe.

Précisons que la réponse aux demandes exprimées en termes de reddition de comptes a

pu être parfois considérée comme de l’évaluation externe, dans la mesure où ces demandes

donnaient lieu à une appréciation des activités réalisées. L’Encadré 5 présente les définitions

utilisées dans le questionnaire de l’enquête du projet ARPÉOC (Voir Annexe 2, Questionnaire).

42

Encadré 5

DÉFINITIONS UTILISÉES DANS LE QUESTIONNAIRE DE L’ENQUÊTE ARPÉOC

Évaluation interne : évaluation initiée par le groupe et indépendante des bailleurs

de fonds (ex. autoévaluation, rapport d’activités, évaluation de la satisfaction des usagers,

évaluation du personnel, journée de réflexion, retour en équipe sur le déroulement

d’une activité, etc.).

Évaluation externe : évaluation demandée par un bailleur de fonds (ex. reddition de

comptes, statistiques, liste de participants, évaluation d’impacts, évaluation de résultats,

etc.).

Selon l’étude de René et al. (2001) sur la transformation des pratiques des organismes

communautaires, quatre catégories de facteurs influencent la façon dont les organismes

mènent des évaluations. Ces auteurs font la distinction entre les évaluations internes,

qu’ils nomment pratiques d’évaluation autonomes servant en premier lieu les intérêts de

l’organisme, et les évaluations externes visant à répondre aux exigences des bailleurs de fonds.

Ils constatent premièrement que les organismes ayant vu le jour entre 1980 et 1989 sont

plus nombreux à mettre en œuvre des évaluations internes, tandis que ceux nés depuis 1994

recourent en moins grande proportion à des pratiques évaluatives autonomes. Par ailleurs,

la catégorie d’organisme influence également les pratiques d’évaluation. Ainsi, ils remarquent

que le secteur Femmes fait davantage d’évaluations internes comparativement aux maisons

de jeunes et au secteur Famille. De plus, les organismes situés dans les villes de Montréal et

de Québec mettent de l’avant des pratiques plus indépendantes que ceux situés en région.

Ces constats font conclure aux chercheurs que « le fait d’être un organisme mieux établi sur

le plan historique et fondé sur une philosophie ancrée dans la pratique tels les groupes de

femmes contribuerait à implanter une tradition en matière d’évaluation » (Duval et al., 2005 : 137).

La quatrième catégorie de facteurs relève du mode de financement : les organismes financés

par programme ou pour des réalisations ponctuelles font moins d’évaluations internes que les

organismes bénéficiant d’un financement de base (Duval et al., 2005).

D’après Barreto-Cortez (2001), les évaluations internes (self evaluation) permettent aux

personnes de s’impliquer activement dans le processus d’évaluation. Cependant, cette auteure

soutient que si l’évaluation interne est financée par une source extérieure occupant aussi le rôle

de bailleur de fonds, dans le cas où l’évaluation relève des aspects négatifs, les craintes associées à

la perte de financement peuvent influencer négativement le processus évaluatif (Barreto-Cortez, 2001

: 176). Le type d’évaluation aurait donc une influence sur la participation. Cet exemple démontre à

quel point les enjeux reliés aux évaluations internes et externes sont différents.

En contrepartie aux louanges que se méritent facilement les démarches d’évaluation

interne, Midy (2001) avance que ce type d’évaluation présente certains dangers dont le recours

à des évaluations éclatées, initiées de façon différente par chaque organisme, sans vision

générale de l’évaluation de l’action communautaire. La systématisation serait un attribut

important à renforcer dans les évaluations internes.

On peut en conclure que les démarches internes d’évaluation ont un impact participatif

et réflexif plus grand du fait d’être initiées et réalisées en dehors de toute exigence de

43

vérification. La systématisation des démarches d’évaluation interne demeure cependant un

enjeu structurant important. Pour ce qui est des évaluations externes, les enjeux concernent

les ressources, les rapports de pouvoir entre les acteurs étatique et communautaire, mais

surtout la trop grande diversité d’indicateurs et de standards difficilement applicables aux

réalités communautaires (Bouchard et al., 2003).

3.2 Les limites de la recherche

Devant la complexité et le caractère parfois disparate des définitions citées par les auteurs,

le projet ARPÉOC a fait le choix de référer à une approche large de l’évaluation, de façon à

englober l’ensemble des pratiques existantes quelles que soient leurs forces et leurs faiblesses.

ARPÉOC ayant aussi choisi de mettre l’accent sur les dimensions externe et interne de

l’évaluation, en particulier pour l’enquête par questionnaire, cela a permis de faire des liens

entre les démarches effectuées et leurs conditions de réalisation et de dégager les enjeux

relatifs aux rapports entre les acteurs. Cependant, ces choix ont eu le désavantage pour les

groupes de ne pas favoriser une distinction claire entre évaluation et reddition de comptes.

Citons l’exemple du rapport d’activités qui peut servir autant à faire une évaluation interne

qu’à répondre à une demande externe de reddition de comptes. Dans un contexte où les

résultats nous indiquent que la confusion est de plus en plus grande sur le terrain, ces choix

méthodologiques ont inféré une première limite à la recherche effectuée.

Une deuxième limite tient à la difficulté de catégoriser les organismes communautaires

compte tenu de l’hétérogénéité de la population d’étude, laquelle regroupe un ensemble

d’organismes aux fonctionnements très différents : groupes de base avec ou sans permanence,

regroupements d’organismes (de niveau national, régional ou local), associations diverses. Ces

organismes interviennent avec des approches plurielles, dans des secteurs fort diversifiés, voire

dans plusieurs secteurs à la fois, tels que : l’éducation et l’accès au loisir, l’alphabétisation

et l’insertion, la défense des droits et la santé mentale, etc. Cette diversité a amené une

bonne partie des groupes à définir eux-mêmes leur secteur d’intervention et leur catégorie ou

type d’intervention en s’appuyant sur la réponse « Autres » pour les questions 49 et 53 du

questionnaire utilisé pour l’enquête (Voir Annexe 2, Questionnaire).

Une dernière limite est relative aux catégorisations larges retenues comme choix de réponse

pour les types de financement (réf. Question 58 du questionnaire), soit : « de base », « par

44

programme/entente de services », « autofinancement » et « autres ». En l’absence de définition

venant préciser chacun des types de financement proposés, les organismes ont pu être tentés

de faire correspondre le mode de financement par projet à la catégorie « par programme » mais

aussi à la catégorie « autres ». Combinée au problème méthodologique posé par la diversité

des sources de financement de certains organismes, cette situation n’a pas permis de faire de

liens probants entre les différents modes de financement et les rapports tissés avec les bailleurs

de fonds au regard de la question de l’évaluation. D’autre part, soulignons que ARPÉOC a eu

recours au terme « financement de base » de préférence à « financement en appui à la mission »

(mode de financement plus englobant mis en place par la Politique de reconnaissance de

l’action communautaire). Ce choix s’explique du fait que le terme de financement de base est

connu et utilisé non seulement par l’ensemble des groupes communautaires, mais aussi par

les auteurs consultés dans le cadre de notre recherche.

3.3 Le volet qualitatif

3.3.1 Études de cas

L’étude de cas constitue une méthodologie particulièrement appropriée pour examiner

un problème contemporain à l’intérieur de son contexte, spécialement lorsque les frontières

entre le phénomène à l’étude et son contexte s’avèrent peu évidentes (Yin, 1994). Cette

stratégie de cueillette de données s’insère dans notre démarche inductive de recherche

qui vise globalement à développer une meilleure connaissance de l’état des pratiques

d’évaluation des organismes communautaires en faisant ressortir les besoins d’appui à

l’évaluation. Elle nous a permis de développer une compréhension en profondeur de deux

expériences d’organismes dans une démarche d’évaluation. De manière plus spécifique, les

études de cas nous ont permis d’explorer l’ensemble des dynamiques (internes et externes)

ayant participé à l’évolution des pratiques d’évaluation des deux organismes sélectionnés en

fonction de l’intensité et de l’originalité de leur investissement à cet égard.

Les entrevues semi-directives individuelles et de groupe étaient organisées autour d’une

thématique générale portant sur les éléments favorisant ou nuisant à l’évaluation, et de trois

thèmes centraux : le contexte d’initiation de l’évaluation, le déroulement de la démarche et

les impacts de la démarche pour l’organisme. Soit l'avant, le pendant et l’après évaluation.

45

L’échantillonnage des expériences d’évaluation s’est aussi fait par la méthode « boule de

neige » et à partir des critères d’inclusion suivants :

• L’évaluation doit avoir été initiée ou réalisée dans le cadre d’une relation entre organisme

et bailleur de fonds afin de faire l’examen en profondeur du processus de négociation

et des relations entre les acteurs.

• Le groupe doit s’être investi à long terme dans le processus évaluatif (quelques années).

Afin de recueillir l’ensemble des données, différentes méthodes de collecte de nature

qualitative ont été utilisées. Pour chacune des études de cas, des entrevues individuelles et

de groupes semi-directives ont d’abord été réalisées auprès de divers acteurs sélectionnés

en fonction de la pertinence et de la particularité de leur participation au développement

de ces pratiques novatrices en évaluation. Divers documents produits par l’organisme (cadre

d’évaluation, rapport d’évaluation, rapport d’implantation, procès-verbaux, etc.) ont également

été consultés afin d’appuyer et d’enrichir les informations obtenues lors des entrevues

individuelles et de groupes. L’ensemble du matériel recueilli a par la suite été traité de façon

convergente en suivant un mode de triangulation afin d’assurer la validité de notre étude.

Dans l’un des cas, ont été rencontrés trois membres du conseil d’administration, un

consultant en évaluation embauché par le groupe, un responsable interne de l’évaluation au

sein d’une ressource membre ainsi que l'équipe de travail composée de sept intervenants.

Dans l’autre cas, ont été rencontrés une consultante en évaluation embauchée par le groupe,

une personne responsable interne de l’évaluation, deux animateurs et deux participants.

Les procès-verbaux n’ont toutefois pu être consultés pour ce cas. Enfin, quatre heures

d’observation participante ont été effectuées lors d’une rencontre entre l’organisme et la

consultante en programmes de l’Agence de santé et de services sociaux.

Notre compréhension des données concernant les éléments favorisant l’évaluation ou y

faisant obstacle s’actualise par le biais d’un processus itératif entre la réalité telle que perçue

par les acteurs rencontrés sur le terrain et notre analyse des diverses dynamiques (internes

et externes) ayant influencé et influençant encore aujourd’hui cette démarche. Mentionnons

que les explications générées par les études de cas font également l’objet d’une analyse

comparative visant l'identification de points communs entre les démarches et la formulation

d'éléments de perspective.

46

3.3.2 Entrevues auprès de personnes-clés

Les personnes-clés ont été choisies sur la base de leur capacité à fournir de l’information

riche sur les pratiques évaluatives et sur les besoins du milieu communautaire en ce domaine.

Pour explorer les rapports entre les acteurs, la méthode par entrevue est apparue la plus

appropriée. Les entrevues de groupe et individuelles ont été menées selon une approche

semi-directive. Trois thèmes principaux ont servi de base aux discussions soit : le milieu

communautaire et l’évaluation, le spécialiste en évaluation et le milieu communautaire et

les stratégies de renforcement des pratiques évaluatives dans le milieu communautaire. Pour

chacun de ces thèmes, l’accent était mis sur les conditions favorables et sur les obstacles au

renforcement des pratiques évaluatives.

L’échantillon de personnes-clés a été sélectionné par la méthode « boule de neige ». En

premier lieu, nous nous sommes adressés aux partenaires immédiats de la recherche, qui

nous ont recommandé des personnes, lesquelles nous ont recommandé d’autres personnes

et ainsi de suite. Nous nous sommes assurés de respecter certains critères, notamment

de couvrir une grande diversité sur le plan géographique et de diversifier les secteurs de

provenance des porteurs d’intérêts (stakeholders) : milieu universitaire, milieu institutionnel,

milieu communautaire, bailleurs de fonds.

Les personnes-clés situées dans la région de Montréal ont été rencontrées en groupe, pour

un total de huit personnes. De ce nombre, trois provenaient du milieu institutionnel (incluant

les bailleurs de fonds 3), trois du milieu communautaire, une du milieu universitaire et une

du secteur privé. Les personnes-clés demeurant à l’extérieur de Montréal ou ne pouvant se

joindre au focus group ont été rejointes par le biais d’entrevues téléphoniques, pour un

total de neuf personnes, alors qu’une dixième personne a été rencontrée individuellement.

Des personnes des régions de l’Abitibi-Témiscamingue, Montréal, Québec, l’Estrie, l’Outaouais,

Laval et Lanaudière ont été rejointes. Quatre provenaient du milieu universitaire, trois de

coopératives de travail (secteur privé) œuvrant avec le milieu communautaire, deux travaillaient

au sein d’un regroupement provincial et une au sein du milieu institutionnel. Toutes les

47

3. Il est à noter que deux personnes du milieu institutionnel avaient été contactées au départ pour la rencontre de groupe. L’une s’étant désistée quelques jours avant la rencontre, l’autre proposa d’inviter de ses collègues pour pallier ce manque. Ces participants du milieu institutionnel jouaient également le rôle de bailleurs de fonds pour le milieu communautaire. Compte tenu de leur grand nombre (trois sur huit) et de la dynamique du groupe, leur point de vue a été surreprésenté, c’est-à-dire qu’il a grandement influencé les propos des autres participants au cours de la discussion de groupe.

personnes-clés avaient déjà accompagné un ou des groupes communautaires, soit dans une

démarche d’évaluation ou de planification. La cueillette de données auprès de ces personnes

a été réalisée de mai à juillet 2004.

3.4 Le volet quantitatif : l’enquête

Pour les fins de l’enquête, une liste informatisée de 4 749 organismes et regroupements

nous a été fournie par le Secrétariat à l’action communautaire autonome (SACA), un partenaire

subventionnaire de cette recherche. Les organismes et regroupements de cette liste répondent

tous aux critères de l’action communautaire et ont tous déjà effectué au moins une demande

de subvention auprès d’un ministère. Cette liste contenait des informations de base (nom de

l’organisme, région administrative, coordonnées postales, téléphoniques et adresse courriel)

nécessaires à l’élaboration de notre échantillon.

3.4.1 Méthode d’échantillonnage

À partir de la banque informatisée, un échantillon aléatoire simple de 1 500 groupes a

été créé, constituant ainsi l’échantillon de l’enquête. Nous avons fixé l’échantillon à 1 500 afin

d’obtenir un taux de réponse qui puisse être généralisable à l’ensemble des groupes d’action

communautaire au Québec 4. Les manipulations et analyses statistiques ont été effectuées à

l’aide des logiciels de traitement de données Excel et SPSS.

3.4.2 Questionnaire

Le questionnaire a été construit, de façon déductive, à partir du cadre d’analyse issu de

la recension des travaux sur l’évaluation en milieu communautaire, des pistes fournies par

les entrevues et des résultats préliminaires des études de cas et, de façon inductive, à partir

des connaissances sur l’évaluation en milieu communautaire des membres de l’équipe de

recherche ainsi que du comité d’encadrement de cette étude. Il comportait 59 questions

fermées, réparties en six sections : perception, pratiques d’évaluation interne, pratiques

d’évaluation externe, aide extérieure, besoins et profil (Voir Annexe 2, Questionnaire).

48

4. Afin d’obtenir un échantillon probabiliste représentatif pour un N = 5000, à un niveau de confiance de 95 %, l’échantillon « n » doit contenir au minimum 357 répondants (Ouellet et St-Jacques, 2001 : 86).

3.4.3 Procédure

Afin de vérifier la clarté, la présentation, la durée et la validité du contenu du question-

naire, cinq démarches de pré-test ont été réalisées auprès de répondants d’organismes

communautaires de la région de Montréal. Le recrutement de ces personnes s’est fait par

la méthode « boule de neige » à partir de membres de l’équipe de recherche et du comité

d’encadrement. Dans un premier temps, la personne répondait seule au questionnaire et, par

la suite, ses commentaires et suggestions étaient recueillis dans le cadre d’un entretien. Cette

démarche a permis d’améliorer considérablement la forme et le contenu du questionnaire.

Afin d’augmenter la visibilité du projet de recherche, une publicité est parue dans le

mensuel les Nouvelles du ComAvis, bulletin électronique du Comité aviseur de l’action

communautaire autonome (Novembre 2004). Grâce à la contribution des partenaires, le Comité

aviseur et la TRPOCB qui ont largement diffusé l’information concernant le projet de

recherche ARPÉOC auprès de leurs membres, nous avons bénéficié d’une bonne visibilité

dans l’ensemble du Québec. De plus, un courriel de présentation et de sollicitation à la

recherche a été envoyé à plus de 600 groupes dont nous avions les coordonnées de

messagerie électronique.

Nous avons ensuite acheminé le questionnaire par la poste aux 1 500 groupes sélectionnés.

Des démarches de rappels téléphoniques ont été effectuées durant les semaines suivant

l’envoi auprès de tous les groupes pour lesquels nous avions les coordonnées téléphoniques

(plus de 800 groupes) afin de solliciter verbalement leur collaboration et de répondre à

leurs questionnements concernant la recherche ou le questionnaire. Les groupes avaient

la possibilité de retourner le questionnaire par la poste ou par télécopie, ou pouvaient

répondre directement en ligne sur le site Internet. La répartition des répondants selon ces

trois modes a été de 453 questionnaires reçus par voie postale, 10 par télécopie et 69 via

Internet, pour un total de 532.

Des procédures de soutien et d’information téléphoniques et courriels ont été maintenues

tout au long de l’enquête qui s’est déroulée de novembre à décembre 2004.

49

CHAPITRE IIIMÉTH O D O LO G I E

LES FAITS SAILLANTS

Enjeux des évaluations internes et externes

• Évaluations internes : démarches réalisées en dehors de toute exigence de vérification, qui demandent de la part des groupes plus de systématisation.

• Évaluations en réponse à des demandes externes : les enjeux concernent les ressources, les rapports de pouvoir et la négociation des indicateurs qui sont difficilement applicables aux réalités des groupes communautaires.

La recherche ARPÉOC sur le plan qualitatif

• Études de cas : ... Deux études de cas ont été réalisées :

- l’une auprès d’un regroupement de ressources alternatives en santé mentale,- l'autre auprès d’un organisme d'éducation et d’insertion.

... L’investigation visait à mieux cerner le contexte de leur démarche évaluative, son déroulement et ses principaux impacts.

• Personnes-clés : ... Dix-huit personnes ayant accompagné des groupes communautaires ont également

été interviewées :- huit personnes de la région de Montréal ont été rencontrées dans le cadre

d’un focus group,- neuf personnes éloignées de la région métropolitaine ont été rejointes par

téléphone et une dixième a été rencontrée individuellement. ... Trois thèmes ont fait l’objet d’un approfondissement : la personne et l’évaluation,

la personne et le milieu communautaire, et les stratégies pour renforcer les pratiques évaluatives.

La recherche ARPÉOC sur le plan quantitatif

• Enquête par questionnaire : ... Une enquête par questionnaire a été réalisée auprès d’un échantillon de 1 500 organismes sélectionnés au hasard, à partir d’une population de 4 749 organismes : 532 répondants ont été rejoints.

50

1

CHAPITRE IV

PORTRAIT DES PRATIQUES ÉVALUATIVES DANS LES ORGANISMES COMMUNAUTAIRES

Ce chapitre présente l’état des pratiques évaluatives au sein des organismes com-

munautaires, sur la base des résultats de la recherche menée par ARPÉOC au moyen d’études

de cas, d’entrevues individuelles et de groupe et d’une enquête par questionnaire. Au fil de

la présentation, nous tentons de mettre en lumière les enjeux sous-jacents aux conditions

de pratiques observées afin de faire ressortir celles favorisant le renforcement des pratiques

évaluatives et celles y faisant obstacle.

4.1 Deux études de cas : description de pratiques exemplaires

Les deux organismes dont nous présentons ici les études de cas ont été retenus en

raison de l’intérêt des démarches évaluatives qu’ils ont expérimentées de façon systématique

à l’intérieur de leur pratique, dans le contexte de leurs relations avec un bailleur de fonds. Il

s’agit dans le premier cas d’une association active dans le domaine de la santé mentale et

d’une de ses ressources membres. En deuxième lieu, nous traitons de la pratique d’un groupe

d’intervention en éducation et en insertion sociale.

En introduction de ces deux histoires de cas, soulignons qu’il s’agit d’organismes au

fonctionnement établi et bien enracinés dans leur milieu. Ils ont chacun une vingtaine d’années

d’existence. Leur fonctionnement s’appuie sur des comités de travail dont les membres sont

représentés au conseil d’administration, cela incluant les personnes participantes. Ayant assisté

à des formations données dans le cadre de NOVA, les deux organismes détenaient déjà

certaines connaissances en évaluation avant de s’engager dans une pratique évaluative sur

une base autonome. Tous deux ont, chacun dans son domaine, décidé de prendre les

devants en initiant une évaluation sur leurs propres bases. Ils ont négocié avec succès le

processus d’évaluation et obtenu un soutien financier pour le réaliser. Ils ont ainsi réuni

plusieurs conditions préalables à la réalisation d’une évaluation : un fonctionnement stable,

des connaissances de base, une attitude proactive, un rapport de négociation productif avec

leurs vis-à-vis gouvernementaux et un soutien financier à l’évaluation.

En cohérence avec notre démarche de recherche visant à développer une meilleure

connaissance de l’état des pratiques d’évaluation des organismes communautaires, nous

examinons d’abord les étapes de réalisation du processus d’évaluation pour chacun des

organismes étudiés. Nous faisons ensuite ressortir les éléments de bilan et de perspectives se

dégageant des deux expériences, en lien avec les besoins d’appui à l’évaluation.

4.1.1 Étude de cas d’une association et d’un organisme en santé mentale

4.1.1.1 Description générale

L’association régionale de ressources alternatives en santé mentale dont nous présentons

ici l’étude de cas 5 a développé un modèle d’intervention qui met de l’avant une philosophie

communautaire et alternative, s’appuyant sur la participation de groupes d’entraide, d’usagères

et d’usagers au sein d’une structure proactive constituée de divers comités. Son mandat :

favoriser le regroupement et la concertation des ressources alternatives en santé mentale

de la région. Elle compte 28 ressources membres qui offrent différents types de services

: hébergement, réadaptation, milieu thérapeutique, réinsertion sociale, entraide, services de

première ligne et de crise, suivi communautaire. Le fonctionnement de l’Association ne

s’appuie sur aucun personnel permanent.

Les fondements philosophiques de l’Association incluent : la reconnaissance de l’autonomie

des ressources membres, l’approche globale de la personne, le refus de la médication en tant

que première et seule réponse à des problèmes liés à la nature de nos sociétés, l’orientation

des services à partir du potentiel et des besoins exprimés par les individus, la promotion

de la santé mentale de la communauté et la participation active des usagères et usagers

dans les ressources membres.

52

5. Dans le cadre de ce chapitre, nous appellerons cette association d’organismes « l’Association ».

La ressource membre dont il sera aussi question reçoit un soutien financier du Programme

de Soutien aux organismes communautaires (SOC) en santé et services sociaux ainsi que du

Programme d’intervention, de réadaptation et de réinsertion sociale avec hébergement (fonds

reçus pour ses services spécialisés). Ses valeurs sont entre autres : l’autonomie, la dignité de

la personne, la non discrimination, la confidentialité, la reconnaissance de la responsabilité et

du pouvoir du milieu comme agent de changement chez la personne et la reconnaissance de

l’apport des personnes aux changements collectifs. Elle a joué un rôle actif dans la production

du cadre d’autoévaluation de l’Association régionale.

4.1.1.2 Présentation de la démarche d’évaluation

Origines de la démarche

Les ressources membres de l’Association constituent un ensemble hétérogène d'organismes

âgés de 10 à 20 ans. Plusieurs d’entre eux sont à un stade de développement où ils doivent

gérer une certaine croissance ainsi que tous les changements organisationnels en découlant.

L’idée de démarche évaluative a émergé à la suite des mauvaises expériences vécues par

53

Encadré 6

RÉSUMÉ DE L’EXPÉRIENCE DEL’ASSOCIATION EN SANTÉ MENTALE

Il s’agit d’une démarche évaluative initiée par l’Association régionale de ressources alternatives en santé mentale, selon une approche participative. Un comité d’évaluation formé des représentants de plusieurs ressources membres de l’Association agit à titre consultatif. Le soutien financier de la Régie régionale permet l’embauche d’un spécialiste en évaluation pour la durée de la démarche, laquelle dure quatre ans. Pendant l’élaboration du cadre d’évaluation, quatre séries de consultations sont effectuées par le spécialiste. La direction et l’équipe de travail de chaque organisme sont rencontrées, et au besoin le conseil d’administration. Les participants ne sont pas impliqués dans la démarche, sauf exception. Le résultat : le système d’évaluation mis en place a contribué à assurer une meilleure qualité de services aux usagers et à favoriser la reconnaissance de l’approche alternative développée par le milieu communautaire.

certaines ressources membres avec la Régie régionale qui, dans le cadre d’un programme de

soutien financier, imposait des évaluations ne respectant pas les balises nationales établies.

L’Association entreprend alors des pourparlers avec la Régie. Des journées de réflexion

thématiques ont lieu et un comité de travail régional est mis en place pour réfléchir aux

stratégies à mettre de l’avant et bâtir un modèle et un protocole d’évaluation pour l’ensemble

des organismes communautaires de la région. Le comité prend un virage proactif, s’inscrivant

dans le changement global d’approche survenu au sein de l’Association dans ses négociations

avec l’État québécois. La Régie accepte de surseoir aux évaluations imposées afin de

permettre aux organismes de développer un cadre et des instruments d’évaluation pour

rendre compte de leur réelle contribution. L’Association obtient de la Régie du financement

pour élaborer un projet d’autoévaluation avec l’engagement d’une personne-ressource à

titre de consultante.

Nous pouvons déjà, à cette étape, relever dans la démarche des éléments facilitateurs

et certaines difficultés. Du côté de l’Association : la présence d’une certaine expertise, une

attitude proactive au sein de l’Association face aux changements initiés par l’État et un contexte

favorable avec des alliés internes à l’intérieur de la Régie malgré une absence de volonté

politique formelle. Du côté de la ressource membre : une bonne connaissance des enjeux

de l’évaluation de la part du directeur; un intérêt certain à s’associer à une structure donnant

une rigueur à la démarche tout en s’assurant de préserver la « couleur » de l’organisme, son

identité communautaire. De plus, l’organisme possède un financement de base qui lui permet

de se situer dans une logique de développement, il s’est doté d’une planification stratégique

et perçoit la pertinence de l’évaluation. Ce qui n’est pas le cas pour d’autres ressources

membres, telles certaines ressources d’entraide, qui se situent dans une logique de survie et

perçoivent l’évaluation et les recommandations en découlant comme une surcharge de travail.

Cette situation donnera lieu à des rapports de pouvoir internes entre les ressources mieux

nanties et celles qui n’ont pas les moyens de s’investir dans une telle démarche.

Déroulement de l’évaluation en Association

Au sein de l’Association, la préparation de la démarche d’évaluation consiste en premier lieu

à former le comité d’évaluation de façon à tenir compte de la représentation des divers champs

d’activités des ressources membres. Conseillée par un représentant de la Régie, l’Association

procède également à l’embauche d’un spécialiste expérimenté en évaluation, qui porte un intérêt

à l’appropriation de la démarche par des organismes offrant des services de divers types.

54

Le spécialiste soumet un devis d’autoévaluation en trois axes (qui on est, ce qu’on fait et ce

que ça donne), selon une approche participative et avec une dimension formative importante.

Il propose de fonctionner en plusieurs étapes, à partir d’une série de consultations auprès

des ressources membres. Son approche se caractérise par cinq éléments principaux : la

pertinence de la démarche pour l’organisme, la simplicité (éviter le jargon), la rigueur, la

crédibilité (tant auprès de la Régie que des partenaires), et l’utilité (pour mobiliser les gens

autour de la démarche).

Quatre consultations sont faites par le consultant auprès des ressources membres, associant

l’ensemble du personnel et parfois le conseil d’administration, afin de présenter les objectifs

de la démarche et démystifier l’évaluation, valider et bonifier la première proposition de cadre

d’évaluation, élaborer un modèle d’intervention et préciser les indicateurs. Ces consultations se

déroulent sur deux ans, permettant aux ressources membres de cheminer face à la proposition

initiale et au processus en cours. Elles laissent place également à la négociation interne.

L’une des conditions facilitatrices à cette étape est la présence au comité d’évaluation d’un

représentant de la Régie régionale, ouvert à une autre approche en évaluation et croyant

à l’apport du milieu communautaire. Sur le plan interne, l’expertise technique et sociale du

consultant qui travaille étroitement avec le comité d’évaluation est fort appréciée.

« Le comité tient à souligner l’excellence du travail du consultant, qui a vite su intégrer la culture et la vision des membres et les traduire dans des outils de travail. » (Extrait du procès-verbal de l’assemblée générale du 21 mars 2002)

Au-delà de quelques résistances face au vocabulaire de l’évaluation, la difficulté la plus

importante rencontrée est le clivage entre les groupes mieux nantis et les moins bien nantis.

Le défi pour l’Association est de développer un cadre commun qui lui permettra d’accéder

à un certain pouvoir de négociation, tout en rendant compte de la spécificité de chaque

ressource. Un organisme souhaitant développer son propre cadre considère pour sa part que

tous pourraient faire de même et recevoir pour cela un soutien particulier. Cette demande est

refusée par l’Association qui la considère trop exigeante.

Une version définitive du cadre d’autoévaluation est approuvée en assemblée générale de

l’Association, après une ultime tentative visant à concilier les approches en faisant coexister deux

modes de fonctionnement face à l’évaluation. On considère que l’adoption d’un cadre d’ensemble,

qui joue le rôle d’un tronc commun auquel chaque groupe peut ajouter des éléments qui lui sont

propres, devrait permettre de prendre en considération les spécificités de chacun.

55

« Il est proposé d’intégrer dans le préambule que tout organisme contribue activement à l’implantation de sa démarche d’évaluation en vue de faire de cette dernière une partie intégrante de son mode de fonctionnement ainsi qu’un instrument essentiel à son développement et cela en congruence avec la démarche d’autoévaluation. » (Extrait du procès-verbal de l’assemblée générale du 21 mars 2002)

Le cadre est adopté, mais la tension éclate au sein de l’Association et un organisme

se retire de la démarche.

Une grille de travail est ensuite produite pour aider les ressources membres à identifier les

documents ou mécanismes dont elles disposent déjà en vue de l’évaluation et faire connaître

leurs besoins. Une synthèse des informations recueillies est transmise à tous les organismes,

de façon à favoriser un partage d’expériences. Le consultant produit aussi les canevas des

questionnaires sur la satisfaction des participantes et participants et sur l’appréciation du

personnel. Le tout est acheminé aux ressources membres pour qu’elles s’en servent dans

l’implantation de la démarche dans leur milieu.

La première année d’implantation est particulièrement exigeante puisque, pour certains

organismes, tous les outils sont à bâtir. L’appropriation du processus par les équipes de

travail de l’ensemble des organismes prend aussi beaucoup d’énergie. Le consultant se rend

disponible et offre un soutien particulier aux groupes qui ont peu de ressources.

La deuxième année, l’Association tient une journée de travail sur l’évaluation pour faire le

point. Certains jugent la démarche déjà moins lourde. Des modifications sont apportées aux

outils et on précise les critères d’adhésion de l’Association de façon à y inclure la participation

à la démarche d’autoévaluation. Le lancement public du cadre d’autoévaluation est un franc

succès. Le défi consiste maintenant à maintenir le niveau de motivation des membres.

Déroulement de l’évaluation pour la ressource membre

Du côté de la ressource membre, qui est impliquée dans la démarche d’ensemble, un

contexte interne favorable va faciliter les choses. À l’étape de planification, l’équipe de travail

rencontre le consultant qui présente le cadre général et explique la démarche visant à

améliorer la qualité des interventions. Les membres de l’équipe apprécient d’être consultés. Le

conseil d’administration procède à l’adoption du cadre de référence. La démarche s’arrimera à

leur exercice de planification stratégique en cours.

56

Un certain nombre d’autres conditions sont favorables à l’autoévaluation au sein de

l’organisme : il a les ressources nécessaires, le directeur possède un bon esprit de synthèse, les

intervenantes et intervenants sont partie prenante du processus et les personnes participantes

apprécient que leur point de vue soit pris en considération.

À l’étape de réalisation de l’évaluation, les outils fournis par le consultant sont repris tels

quels. L’équipe collabore à la collecte de données, distribue le questionnaire aux participantes

et participants et les aide à comprendre les questions. La première année, les membres de

l’équipe ne percevant pas le sens des questions de la même façon, il se produit un biais dans

la collecte. De plus, le questionnaire étant très complexe, les intervenantes et intervenants se

retrouvent sollicités pour interpréter des questions portant sur leur propre travail. Cela entraîne

un biais éthique sur le plan de la confidentialité. On constate alors que si le questionnaire

était moins long, les gens pourraient le remplir par eux-mêmes.

L’analyse et la présentation des résultats sont essentiellement assumées par le directeur

de l’organisme qui soumet son rapport lors d’une journée de bilan. Pour l’axe 3 du cadre

d’autoévaluation (ce que ça donne), on s’est servi de quatre outils : le questionnaire de

satisfaction des participants, l’outil d’appréciation du personnel, l’outil d’appréciation du degré

d’actualisation de l’approche alternative et les statistiques tirées de la base de données.

Dans l’ensemble, les résultats de cette évaluation sont plutôt positifs même si certaines

lacunes sont identifiées.

Les constats sont présentés aux membres en assemblée générale. La révision des

mécanismes à améliorer est inscrite dans les perspectives pour l’année suivante. Le rapport

est bien reçu, mais l’on constate que la démarche est exigeante et que les outils d’évaluation

doivent être remaniés.

Après l’évaluation

Avec l’apport du consultant, l’Association effectue ensuite un bilan d’implantation qui porte

sur les écarts survenus entre les activités planifiées et celles réalisées, les difficultés rencontrées

et les perspectives de consolidation du processus d’autoévaluation. Des journées de bilan ont

lieu avec l’ensemble des ressources membres pour faire le point sur les travaux et préciser la

manière de conduire le bilan annuel et la production du rapport. Un outil a été développé afin

de permettre à chacune d’apprécier son niveau d’actualisation de l’approche d'autoévaluation,

sur la base d'un certain nombre de caractéristiques associées à cette dernière.

57

L’année suivante constitue une phase de consolidation, qui amène un questionnement

sur la pérennité de la démarche. Pour l’Association, la continuité du processus d’autoévaluation

mis en place devient un enjeu. On voit la nécessité de se doter d’un permanent pour soutenir

et alimenter la démarche afin de faire face aux difficultés rencontrées et assurer une visibilité

aux retombées. On doit reconnaître que, faute de moyens, certains organismes éprouvent

beaucoup de difficultés à participer au programme : « Si l’on ne reçoit pas de soutien de la

part de l’Association, plusieurs vont laisser tomber pour continuer de s’occuper de la survie, de

répondre aux urgences et d’éteindre des feux ! » (Extrait de l’entrevue 5-6-7).

Des négociations s’amorcent avec la Régie régionale pour assurer une continuité à la

démarche. Mais chez les membres de l’Association, on se questionne sur le peu d’intérêt que

la Régie démontre pour les résultats et les suites à donner après avoir octroyé du financement.

L’intérêt ne semble pas plus grand du côté du ministère : « Dans le fond, le gouvernement

tout ce qu’il veut c’est être sûr que l’argent est bien dépensé, le reste il ne s’en préoccupe

guère » (Extrait de l’entrevue 5-6-7). On se dit cependant que, peut-être, lorsque les réformes

seront passées, l’intérêt va revenir du côté gouvernemental. L’Association aura alors en main

l’outil pour « mieux travailler » !

En bout de processus, on ressent une satisfaction au sein de l’Association face à l’outil

développé qui s’adapte bien à la réalité. On a aussi un sentiment d’accomplissement face

à une démarche qui contribue à la reconnaissance des pratiques alternatives et à leur

développement. Chez la ressource membre, la satisfaction est aussi palpable : l’outil s’intègre

aux pratiques de gestion et le processus s’insère bien dans le fonctionnement, malgré le

roulement de personnel.

Cette démarche a eu des impacts à maints égards. Au sein de l’Association et de sa

ressource membre, on perçoit désormais l’évaluation comme un outil permettant d’assurer

une meilleure qualité de services aux usagers. De plus, la démarche a été rassembleuse, a

permis de tisser des liens et de développer une solidarité. Elle a aussi amené une certaine

reconnaissance de la part des milieux institutionnels et communautaires ainsi qu’une plus

grande confiance dans le contexte de négociation de l’évaluation. De l’avis de l’Association,

tout cela a établi sa crédibilité et lui donne du poids pour la défense de ses membres. Par

contre, on entretient un questionnement relatif à l’institutionnalisation possible des pratiques,

en lien avec la cueillette d’informations et de statistiques.

58

Pour ce qui est de la ressource membre, les évaluations réalisées étant très positives

n’ont pas amené de changements majeurs dans l’organisme. La démarche a plutôt contribué

à se doter d’une identité mieux définie, ce qui facilite les relations avec les partenaires. On

note également que le programme d’autoévaluation aide à prévenir les crises internes en

fournissant des outils en cas de mésentente. L’évaluation est vue comme un outil qui permet

de se remettre en question, faire des bilans plus rigoureux, rendre la vie associative plus

vivante et avoir un meilleur portrait de la portée de son action dans la communauté afin

de mieux l’orienter.

4.1.2 Étude de cas d’un organisme d’éducation et d’insertion sociale

4.1.2.1 Description générale

L’organisme d’éducation et d’insertion sociale 6 faisant l’objet de notre deuxième étude de

cas a pour mission de lutter contre les causes sociales de la pauvreté en représentant les droits

et les valeurs de ses membres, des personnes à faible revenu. Ses activités sont la défense de

droits, la représentation, la sensibilisation, l’éducation et l’alphabétisation populaires. Plus de

80 % des personnes rejointes sont des femmes. Son fonctionnement s’appuie sur des comités

de travail et une équipe salariée composée d’une quinzaine de personnes permanentes,

assistée de personnes contractuelles et de bénévoles.

S’identifiant à la philosophie de l’action communautaire, l’organisme vise à établir une

société plus démocratique, plus égalitaire, plus juste sur les plans social et économique, non

discriminatoire et non violente. Les principes qui guident son action sont : une visée de

transformation sociale et un travail sur les causes des problèmes sociaux plutôt que sur les

effets; des démarches d’apprentissage qui mènent à des actions collectives ainsi qu’à une prise

en charge des problèmes; des actions qui visent à rejoindre les populations qui ne contrôlent

pas ou peu leurs conditions de vie. Les approches privilégiées sont la conscientisation,

l’empowerment et les pratiques féministes.

59

6. Nous l’appellerons « l’organisme d’éducation » ou « l’organisme ».

4.1.2.2 Première expérience : évaluation du programme d’alphabétisation

Origines de la démarche

La direction de la Sécurité du Revenu (ministère de l’Emploi et de la Solidarité sociale) a

fait connaître sa décision de revoir le programme qui permet aux prestataires de l’aide sociale

de profiter d’une mesure volontaire de rattrapage scolaire pour suivre des formations de base

en lecture et en écriture. Le ministère a décidé d’adapter davantage le programme au marché

du travail. L’organisme d’éducation souhaite que soit conservée une approche plus globale,

axée sur la formation de base et la citoyenneté et adaptée aux besoins des personnes qui

sont complètement analphabètes.

60

Encadré 7

RÉSUMÉ DES DEUX EXPÉRIENCES DE L’ORGANISME D’ÉDUCATION

Deux démarches évaluatives sont réalisées consécutivement par cet organisme d’intervention en éducation et en insertion sociale.

La première expérience consiste dans l’évaluation participative du programme d’alpha-bétisation destiné aux adultes analphabètes prestataires de la Sécurité du revenu, dont l’orientation est remise en question. S’associant à d’autres groupes d’alphabétisation, l’orga-nisme initie une coalition qui obtient du financement pour un an. Cela lui permet d’engager un consultant qui joue un rôle de médiation et d’accompagnement pédagogique. Utilisé comme plate-forme de revendication, le rapport d’évaluation débouche sur l’obtention d’un nouveau programme qui est utilisé aujourd’hui par une quarantaine de groupes au Québec.

La deuxième expérience a lieu dans le cadre du programme fédéral d’action com-

munautaire pour les enfants (PACE). Ayant négocié les paramètres de son évaluation demandée par le bailleur de fonds, l’organisme met de l’avant un processus participatif qui implique les parents au sein du comité d’évaluation. Deux consultantes externes vont assurer l’animation et l’accompagnement des travaux. Au bout d’une démarche exigeante mais riche en apprentissages, l’organisme est amené à adapter ses services et voit sa crédibilité renforcée. Les personnes participantes, pour leur part, ont reconquis du pouvoir sur leur vie.

Après nombre d’actions de protestation sans résultats, l’organisme décide d’utiliser

l’évaluation à des fins de négociation politique. La stratégie consiste à systématiser la pratique

d’alphabétisation pour en mesurer les impacts et les bienfaits afin de déposer au ministère de

l’Emploi et de la Solidarité sociale un programme pilote en cohésion avec l’approche globale

développée par les groupes d’alphabétisation.

Désireux de développer son autonomie en acquérant une bonne compréhension de

l’évaluation, l’organisme interpelle un centre communautaire de formation afin de vérifier

comment utiliser l’évaluation à des fins de négociation politique. Il soumet l’idée de développer

un projet pilote à la coalition formée avec quatre autres groupes d’alphabétisation du territoire.

Un soutien financier est obtenu pour un an. La coalition se donne pour mandat d’élaborer le

devis d’évaluation et de piloter la démarche, en lien avec quelques fonctionnaires alliés qui

voient dans la décision du ministère un recul pour les personnes analphabètes.

Déroulement de l’évaluation

La phase de planification de l’évaluation au sein de la coalition permet de démystifier la

démarche envisagée et de préciser les objectifs, l’approche et les grandes étapes à franchir. La

négociation entre les représentants des groupes de la coalition se déroule bien à cette étape,

compte tenu de la cohésion établie autour de l’objectif fixé et de la stratégie. Cependant,

les groupes sont pressés par le temps : ils n’ont qu’un an pour réaliser l’ensemble de

la démarche.

On convient de commencer par une évaluation de programme systématique. On vise ainsi

à vérifier l’impact des programmes sur l’apprentissage des personnes, le développement de

la citoyenneté et la participation sociale. Chaque représentant au sein de la coalition doit

retourner valider l’intérêt de son groupe face à l’approche retenue et procéder à la mise en

place d’un comité interne d’évaluation.

L’organisme d’éducation met sur pied son propre comité, formé de l’équipe de travail et

des personnes participantes. Ces dernières se montrent rassurées par l’approche participative

malgré l’existence de certaines résistances. L’élaboration du devis d’évaluation dure six mois.

Le comité d’évaluation de l’organisme se réunit environ une fois par mois. Les animateurs se

chargent de vulgariser le processus et de valider les outils auprès des personnes participantes.

Les usagers ne sont pas représentés sur la coalition.

61

Premières difficultés : la négociation devient ardue au sein de la coalition, particulièrement

au moment de déterminer les indicateurs. Le défi consiste à définir un cadre commun tout

en tenant compte de la spécificité des pratiques de chacun. Il s’avère difficile de s’entendre

sur une définition commune de ce qu’est un apprentissage. La personne engagée comme

consultante, qui a un rôle important de médiation, aide à atteindre des consensus et à

les traduire sur le plan méthodologique. À l’intérieur de l’organisme, des résistances se

manifestent face au choix des outils de collecte, notamment les entrevues individuelles avec

les personnes participantes.

On en arrive enfin à un cadre commun d’évaluation entre tous les groupes de la coalition.

L’évaluation a pour but de documenter la pratique, mesurer l’impact en alphabétisation et

mesurer l’impact sur le développement de la citoyenneté et de la participation sociale. La

méthodologie prévoit des outils communs : les mêmes grilles d’entrevues individuelles et de

groupes, les mêmes questionnaires pour évaluer la satisfaction des personnes participantes.

La réalisation de l’évaluation prend environ six mois au total. Une personne est embauchée

pour assurer la coordination de la collecte de données au sein des groupes impliqués. Le

comité d’évaluation continue de se réunir une fois par mois et l’information circule auprès

des participantes et participants. La consultante est responsable des entrevues individuelles

et de groupe, mais ce sont les animatrices et animateurs qui administrent les questionnaires.

La collecte se déroule bien, avec l’appui des coordonnatrices et des personnes responsables

de l’évaluation dans chaque groupe.

Les personnes participantes apprécient d’avoir un espace de plus pour exprimer leur

opinion et participent activement, encouragées par les responsables des groupes. Cependant,

de nouvelles difficultés se font jour : comment adapter le niveau de complexité de l’évaluation

pour les personnes analphabètes ?

« L’adaptation des questions et du niveau d’abstraction pose un problème de taille, notamment pour ce qui est des échelles de satisfaction. Les personnes analphabètes ne sont pas en mesure de remplir elles-mêmes les questionnaires, il faut que quelqu’un leur explique les questions et cela amène un biais éthique. »(Extrait de l’entrevue 1)

La totalité des données recueillies sont codifiées et traitées par la consultante. Cette

dernière rédige un premier rapport d’analyse et le soumet au comité d’évaluation. Les résultats

sont ensuite présentés, au moyen d’acétates, aux personnes participantes qui apprécient

particulièrement de voir que leurs propos sont pris en considération et que cela se traduit par

62

des recommandations concrètes. À la suite de quoi, le rapport final est produit pour les quatre

organismes prenant part à la démarche.

Après l’évaluation

Une évaluation interne du processus d’évaluation est faite en comité. Le sentiment de

satisfaction est mitigé. De manière générale, les membres apprécient le fait d’avoir systématisé

leur pratique ainsi que les retombées de l’évaluation sur le plan interne : prises de conscience,

identification des changements à opérer, etc. On déplore toutefois la lourdeur d’une telle

démarche en collectif. Le tout est ardu, complexe, trop exigeant. De plus, le processus se

révèle dispendieux en temps, en énergie et en coût.

Les suites à l’évaluation se dessinent. Les agents d’aide sociale soutiennent l’articulation

de la négociation auprès du ministère en conseillant la coalition sur la meilleure façon de

faire cheminer leur proposition. Des rencontres sont organisées avec la direction régionale de

la Sécurité du Revenu, le député du comté, la commission régionale et des représentants du

ministère. Le rapport d’évaluation sert de plate-forme de revendication.

Une nouvelle mesure d’alphabétisation est alors élaborée sous le titre « Alphabétisation

et implication sociale », programme mixant la formation de base en alphabétisation avec des

blocs d’apprentissage dont la forme peut varier selon la pratique du groupe. Le ministère fait

preuve d’ouverture à l’égard de ce qui est proposé et une bonne collaboration s’installe, tant

pour la réalisation des activités que pour l’évaluation du programme. Le rapport d’évaluation et

ses recommandations sont bien reçus et un compromis est négocié : le programme est mis en

vigueur pour quatre ans plutôt qu’un an et comprend un volet d’implication sociale.

Les résultats de cette démarche d’évaluation portée par une coalition de groupes

communautaires ont représenté un gain pour les personnes analphabètes et les groupes

d’alphabétisation : le programme négocié existe désormais dans toutes les régions du Québec.

Cependant, la démarche ne fait pas l’unanimité : elle a soulevé bien des débats et certains

groupes n’ont pas adhéré à la nouvelle mesure.

« Le regroupement n’a pas donné son appui parce qu’il n’était pas d’accord avec certaines des balises imposées par le ministère. Il a quand même soumis le programme à ses groupes membres. Au bout du compte, on a gagné beaucoup de choses, en particulier l’accès au programme qui autrement aurait disparu. Il y a eu

63

des débats sur la stratégie développée. Nous pensons que l’évaluation est un outil comme un autre, qui est aussi pertinent pour nos propres pratiques. » (Extrait de l’entrevue 1)

L’évaluation réalisée a eu des impacts de divers ordres. Tout d’abord, elle a permis de faire

reconnaître l’approche globale de formation préconisée par l’organisme pour les personnes

analphabètes, alliant alphabétisation et implication sociale, et de la bonifier grâce à une

meilleure prise en compte des besoins des participantes et participants.

« On a toujours misé davantage sur l’approche conscientisante que sur l’alpha-bétisation. Or, on s’est rendu compte qu’il y avait des carences à ce niveau. Les gens ressortaient équipés socialement, capables de prendre davantage leur place, mais il y avait de l’espace pour faire plus de formation de base et cela répondait aux besoins. » (Extrait de l’entrevue 1)

La démarche a aussi eu un impact sur les pratiques évaluatives de l’organisme. Ayant

davantage confiance en sa capacité de négocier l’évaluation, celui-ci a décidé de prendre

en main la négociation de l’évaluation d’un autre programme en proposant une démarche

davantage participative. Il est aujourd’hui convaincu de l’utilité de l’évaluation comme outil

de négociation politique.

Cette expérience d’apprentissage collectif a permis de démystifier l’évaluation et d’en

donner une perception positive. Cependant, certains bémols sont exprimés en ce qui a trait à

l’implication des participantes et participants : ils n’ont pas vraiment intégré l’évaluation dans

leurs préoccupations, le niveau d’abstraction est trop grand et toutes ces étapes à franchir

ne les intéressent pas beaucoup.

4.1.2.3 Deuxième expérience : évaluation du programme PACE

Origines de la démarche

Cet organisme d’éducation jouit déjà d’une longueur d’avance grâce à l’expérimentation

déjà réalisée. Il décide de soumettre une demande de financement dans le cadre du

Programme d’action communautaire pour les enfants (PACE) afin de financer les activités

de sa programmation s’adressant aux familles. Étant donné que ce programme comprend

des exigences en matière d’évaluation, l’équipe choisit d’être proactive et de négocier les

paramètres de l’évaluation auprès du bailleur de fonds.

64

L’organisme demande l’aide de la consultante qui l’accompagnait lors de la précédente

évaluation. Il souhaite cette fois prendre davantage d’initiatives et être davantage autonome.

L’une des personnes impliquées dans la première évaluation sera responsable de la démarche

au niveau interne et fournira un soutien technique en assurant notamment un lien entre la

consultante externe et l’organisme.

Le programme est précis quant à ses attentes envers les groupes en matière d’évaluation.

Outre un devis et un rapport d’évaluation produits avec la contribution de consultants, on

exige une évaluation formative (du fonctionnement du projet) et sommative (des effets à court

terme sur les participants). L’organisme souhaite une évaluation qui tient compte de sa réalité

et qui s’inscrit dans une approche participative. Certains membres de l’équipe de travail, qui

n’ont pas habituellement une perception négative de l’évaluation, craignent cette fois d’être

désappropriés du processus étant donné que l’évaluation est commandée par le bailleur de

fonds. La décision de s’appuyer sur une approche participative va rallier celles et ceux qui

veulent que l’évaluation soit utile non seulement pour PACE mais aussi pour l’organisme.

Déroulement de l’évaluation

À l’étape de planification, il est décidé que la démarche impliquera cette fois les personnes

participantes au sein du comité d’évaluation selon une approche participative axée sur

l’empowerment. Cette approche est cohérente avec les orientations de l’organisme axées

sur la prise en charge.

Un comité d’évaluation est mis sur pied, composé des animateurs, de la responsable

interne de l’évaluation, de la consultante et de participantes et participants. Parmi ces derniers,

quelques-uns craignent de ne pas être en mesure de suivre la démarche en raison de leurs

faibles pratiques de lecture et d’écriture. Toutefois, le désir de rendre service à l’organisme, de

vivre une nouvelle expérience et le fait qu’ils sentent avoir un mot à dire viennent à bout des

réticences. Sur les cinq personnes ayant accepté de se joindre au comité, deux maintiendront

une participation régulière. Elles ont de la difficulté à prendre leur place au départ, mais

elles s’impliquent davantage au fil des réunions, « motivées par l’intérêt d’avoir enfin un

accès direct aux informations et aux décisions et de pouvoir écouter, comprendre, poser des

questions. » (Extrait de l’entrevue 10-11).

65

Cependant, des inquiétudes sont exprimées concernant la confidentialité du processus.

Les participantes et participants manifestent de nombreuses résistances liées à la peur d’être

jugés concernant leurs compétences parentales. De leur côté, les intervenantes et intervenants

craignent que les données demandées dans le cadre de l’évaluation soient utilisées à de

mauvaises fins. Ils constatent que l’approche proposée ne correspond pas à leurs façons de

faire (demande du bailleur de fonds de constituer des dossiers consignant l’âge, la scolarité et

d’autres données) et craignent que les parents se retrouvent stigmatisés.

Les responsables de la démarche vont miser sur la formation pour démystifier l’évaluation,

en préciser les objectifs et l’approche. On prend le temps de tenter de comprendre en

comité à quoi peut servir l’évaluation, en quoi cela peut aider les parents à conquérir plus de

pouvoir sur leur vie. On clarifie l’importance des règles d’éthique et de confidentialité, la façon

d’analyser les informations recueillies. Devant la difficulté posée par le vocabulaire associé à

l’évaluation, un outil est produit pour favoriser l’appropriation du processus par les personnes

participantes. Un journal de bord permet également de suivre le déroulement des rencontres

du comité d’évaluation et des sous-comités de travail. La participation reste libre. Une plus

grande compréhension du processus, associée au lien de confiance des parents avec les

intervenantes et intervenants, pèse beaucoup dans la balance et contribue à leur implication.

À l’issue de cette phase préparatoire, il est entendu que les compétences parentales ne

seront pas évaluées mais que l’accent sera mis plutôt sur l’impact de la participation aux

activités en ce qui a trait à l’estime de soi, au réseau social, etc. Le processus se clarifie aussi

avec la consultante qui fait preuve de souplesse : un équilibre se tisse entre la rigueur exigée

par la démarche et son accessibilité.

La rédaction du devis d’évaluation est prise en charge par l’organisme qui le fait valider

par la consultante, en aller-retour avec le comité d’évaluation. La négociation externe

commence. Le devis est présenté au bailleur de fonds, situant le processus d’évaluation

comme un instrument d’apprentissage. Il précise l’approche, les principes, les aspects à

évaluer, mais sans préciser comment y arriver. On indique que certaines dimensions restent à

déterminer par les personnes participantes lors d’étapes ultérieures. L’organisme annonce de

plus qu’il fournira certaines données sans divulguer l’entièreté des informations demandées

sur les parents. L’approche proposée par l’organisme est acceptée. Les fonctionnaires

montrent de l’ouverture et manifestent leur respect de la façon de faire de l’organisme,

considérant que le projet de devis est audacieux et novateur.

66

Sur le plan méthodologique, l’organisme négocie la réalisation d’entrevues qualitatives,

jugées plus appropriées que les questionnaires à la réalité des participantes et participants.

Certains outils sont élaborés en comité et ensuite validés par la consultante, et d’autres

inversement. Le rôle de la consultante consiste à soutenir l’identification des objectifs, des

indicateurs et des moyens, à aider à comprendre ce qui est mesurable et ce qui ne l’est

pas. Les parents participants ont pour rôle de valider les outils pour les rendre le plus

possible accessibles.

Le tout se déroule dans un climat d’ouverture, en comité et sous-comités, avec un réel

désir de se remettre en question, de regarder les façons de faire de l’organisme. De l’avis

des intervenantes et intervenants, le plus difficile dans la planification de l’évaluation est

l’élaboration des outils. Pour les parents participants, le défi consiste à comprendre les

exigences de rigueur et la nécessité de recommencer, de retravailler constamment.

« C’est devenu plus concret pour les personnes participantes quand il a fallu rendre les questionnaires compréhensibles pour des gens en processus d’apprentissage. L’une des grosses difficultés est venue des indicateurs. On a fait un énorme travail de vulgarisation, en se disant : c’est important que les gens sachent exactement de quoi on parle, quel est l’objectif, quel est l’indicateur, qu’est-ce qu’on veut faire avec, qu’est-ce qu’on va mesurer (…). On a travaillé tout ça ensemble en sous-groupes et en comité. C’est comme ça qu’ils se sont approprié l’évaluation participative : à la fin, ils savaient ce qu’ils voulaient évaluer et comment ils allaient le faire. Le contenu n’était pas facile, même pour nous qui sommes scolarisés ! » (Extrait de l’entrevue 10-11)

À l’étape de la réalisation de l’évaluation, une autre consultante s’ajoute. Les faibles

pratiques de lecture des parents amènent le comité d’évaluation à abandonner l’utilisation

des questionnaires. À la place, on a recours aux entrevues individuelles, pour aller chercher

de l’information en complément des focus group réalisés avec les parents. L’utilisation par

les intervenantes et intervenants d’un journal de bord, après chacun des ateliers, aide à

compléter la collecte d’informations.

Le traitement et l’analyse des données sont assumés par les consultantes, validés par le

comité d’évaluation qui enrichit le rapport par sa connaissance de la réalité de l’organisme

et du vécu des personnes. Ce qui amène une réinterprétation permettant d’aller plus loin, de

donner un sens aux résultats. Le plan de rédaction proposé par la consultante est accepté par

le comité. La responsable interne de l’évaluation s’associe à la rédaction du rapport, qui sera

validé par les membres du comité et la coordonnatrice de l’organisme.

67

Après l’évaluation

Dans les années suivantes, les personnes participantes s’approprient de plus en plus le

processus. Les résistances à l’évaluation des compétences parentales finissent par tomber

et cette dimension est intégrée à l’évaluation. L’organisme constate toutefois une perte de

motivation associée à la redondance de l’évaluation menée chaque année auprès des mêmes

personnes. Il se questionne sur les façons de garder le processus vivant et propose de

ramener l’évaluation sur une base triennale plutôt qu’annuelle et de recentrer temporairement

l’évaluation sur une étude de besoins.

Au bout du processus, le degré de satisfaction varie selon les personnes face à une

démarche qui s’est avérée laborieuse, particulièrement la première année selon ce que nous

apprend cette étude de cas. De l’avis des intervenantes et intervenants, l’évaluation n’aurait

pu se faire autrement compte tenu de l’approche de l’organisme. D’autres personnes se

questionnent sur le réalisme de l’énergie investie dans un tel projet. La démarche aurait-elle

pu être allégée par des objectifs mieux ciblés et l’analyse aurait-elle pu être davantage

approfondie, en dépit des limites de temps ? Quant aux parents, ils sont contents d’avoir pris

part à la démarche et ont le sentiment d’avoir été entendus.

Pour ce qui est des impacts, on peut constater que la démarche d’évaluation a eu pour

effet de favoriser l’adaptation des services, l’amélioration du recrutement et du fonctionnement

en comités. Elle a aussi donné à l’organisme une crédibilité plus grande et favorisé l’obtention

d’un peu plus de financement, ce qui a contribué à améliorer l’organisation d’ensemble. Les

intervenantes et intervenants, pour leur part, en ont retiré une meilleure connaissance de leur

apport et de leur place dans le réseau social des parents.

L’évaluation a aussi eu un impact sur les pratiques évaluatives de l’organisme, les personnes

participantes prenant davantage leur place dans le processus d’évaluation. De plus, une autre

démarche évaluative s’amorce avec le programme PACE.

Enfin, autre impact, et non le moindre, sur l’estime de soi des participantes et participants :

les parents impliqués dans la démarche d’évaluation sont invités deux ans de suite à aller

témoigner de leur expérience en contexte universitaire. Ils en retirent une grande fierté. Au

total, la démarche réalisée leur aura permis de reprendre du pouvoir sur leur vie, d’acquérir de

l’assurance malgré leur manque d’instruction, pour continuer d’avancer dans d’autres domaines,

68

avec une conscience nouvelle de l’importance de leur apport. Leur point de vue a été reconnu, ils

sont devenus des multiplicateurs et des exemples pour d’autres personnes.

4.1.3 Éléments de bilan des deux études de cas et perspectives

Après analyse des expériences d’évaluation réalisées par ces organismes, nous sommes

en mesure d’identifier plusieurs points communs entre les démarches, tant en ce qui a trait

aux conditions qui ont pu influencer favorablement les évaluations qu’en ce qui concerne les

difficultés rencontrées. Nous retenons aussi certaines suggestions particulièrement éclairantes,

issues de l’une ou l’autre des études de cas.

4.1.3.1 Facteurs qui ont favorisé les démarches d’évaluation

Des expériences analysées, nous pouvons identifier un bon nombre de facteurs ayant

favorisé ces démarches d’évaluation, en lien avec les conditions préalables, sur le plan

des ressources :

• Les organismes ont une attitude proactive : ils décident de ne pas subir l’évaluation, ils

prennent les devants, demandent des fonds.

• Ils obtiennent un financement qui permet l’embauche de consultants.

• Ils ont au départ certaines connaissances en évaluation, des aptitudes en recherche, des

capacités de synthèse et aussi des forces en médiation.

• La démarche a pour eux une pertinence et elle est rassembleuse : le processus est en lien

avec leurs valeurs et leurs objectifs, il s’appuie sur un sentiment d’appartenance et sur un

respect, il prévoit un temps d’appropriation et permet la prise en charge.

• Les consultants externes engagés ont une expérience significative pour les groupes, ils

comprennent bien la réalité du milieu communautaire et savent être à l’écoute des besoins

et les traduire avec justesse.

• Certains autres éléments facilitateurs interviennent aussi, comme : une situation financière

ou une structure solides qui permettent aux organismes de s’investir dans une démarche

d’évaluation; un fonctionnement qui assure une bonne diffusion interne de l’information,

des documents préparatoires, une démarche bien structurée, une bonne ambiance de

travail.

• L’utilité : le fait que les gens croient à la démarche et soient mobilisés vers un même

objectif constitue une source importante de motivation et d’adhésion.

69

Dans les conditions de réalisation des démarches d’évaluation, les rapports entre les

acteurs sont bien sûr importants :

• De la part du consultant, une approche pédagogique et des outils en support à l’appro-

priation de la démarche favorisent l’établissement d’un lien de confiance.

• La mise en œuvre de l’approche participative, tout au long de la démarche, permet

d’atténuer les résistances, constitue une motivation à s’impliquer et permet également

d’ajuster la démarche aux participantes et participants, dans un souci de cohérence avec

les valeurs de l’organisme.

• La reconnaissance de l’expertise de chacun est essentielle, que ce soit pour les organismes,

les intervenantes et intervenants et, le cas échéant, les personnes participantes.

• La présence d’alliés externes, portant un intérêt au développement des pratiques des

organismes plutôt qu’à la reddition de comptes, facilite l’établissement d’un climat de

confiance et la négociation.

• Une bonne collaboration avec le bailleur de fonds permet d’établir une relation de

confiance avec ce dernier, qui fait à son tour preuve d’ouverture.

4.1.3.2 Facteurs qui ont nui aux démarches d’évaluation

Parmi les facteurs qui peuvent nuire au processus d’évaluation, nous retenons en lien avec

les conditions préalables, à partir de l’une ou l’autre des études de cas, plusieurs problèmes

possibles au niveau des ressources :

• Le manque de financement pour appuyer la démarche est déploré, notamment pour la

compilation des questionnaires.

• L’évaluation ne constitue pas une priorité pour certains organismes, la motivation étant

souvent liée à la pertinence : si les préoccupations de l’organisme se situent davantage

au niveau de la survie financière ou du roulement de personnel, s’il n’a ni le temps

ni les moyens de considérer les résultats de l’évaluation et de faire des changements...

à quoi sert ce processus ?

• L’absence de compréhension du processus, le manque de connaissances en évaluation

et l’absence de mise à niveau des personnes impliquées dans le comité d’évaluation

constituent des difficultés quand vient le temps de s’approprier le processus : une

formation préalable serait nécessaire.

• Un dilemme éthique est causé par le manque de ressources humaines : comment se

permettre un temps d’arrêt tout en restant capable de faire face aux demandes imprévues,

dans des cas de détresse par exemple ?

70

• Un certain problème de timing interfère avec le moment de réalisation de l’évaluation, au

regard des exigences de la fin de l’année financière de certains groupes.

Dans les conditions de réalisation, on relève aussi des problèmes au niveau des

ressources :

• Le roulement du personnel est fréquent au sein des organisations, associé au problème de

la relève face au besoin de démarche continue en évaluation.

• La longueur du processus, décrite comme très énergivore, suscite une baisse de

motivation.

Enfin pour ce qui est des conditions de pérennité, l’organisme de la première étude de

cas, qui a investi dans l’évaluation durant quatre ans, soulève un problème de fond, toujours

au niveau des ressources :

• Le manque de ressources financières pour développer les pratiques évaluatives vient

freiner leur développement.

Mais il y a aussi des problèmes touchant aux rapports entre les acteurs :

• Les attentes sont souvent irréalistes de la part du bailleur de fonds en termes de rapport à

produire, avec un financement dérisoire.

• Les délais sont exagérément longs pour obtenir des réponses, et il y a bien de la

« paperasse » qu’il faudrait réduire et synthétiser...

4.1.3.3 Suggestions pour le renforcement des pratiques d’évaluation

Des documents analysés et des entrevues réalisées dans le cadre de ces deux études de

cas, il se dégage un certain nombre de suggestions, à portée générale.

Il importe d’abord de porter une attention particulière au contexte dans lequel s’implante

la démarche d’évaluation afin qu’elle s’inscrive bien dans la réalité de l’organisme et qu’elle ait

un sens pour ce dernier (moment de l’implantation, ressources accessibles pour la réalisation,

capacité de l’organisme à mettre les recommandations de l’avant, etc.).

Il faut ensuite réitérer l’importance que soient alloués aux organismes des fonds suffisants

pour réaliser toutes les étapes nécessaires à l’évaluation. À quoi bon articuler tout un processus

si on n’a pas l’énergie, faute de moyens, d’aller plus loin que le devis ?

71

Afin d’atténuer les craintes et résistances de certains groupes face à l’évaluation, on suggère

d’insister sur le concept d’autoévaluation comme outil de développement plutôt que de

reddition de comptes. Selon certains, il serait préférable d’offrir un support (spécialiste en

évaluation) aux organismes ou aux regroupements intéressés à investir dans le renforcement

de leurs pratiques d’évaluation plutôt que de leur offrir une formation sur « comment élaborer

un cadre d’évaluation ». Cette démarche est trop spécifique à la réalité de chacun des milieux. Il

faut donc rendre des spécialistes en évaluation accessibles aux groupes en cas de besoin.

Toutefois, on fait observer que, malgré l’accès à un cadre d’évaluation et des outils, les

groupes doivent posséder certaines connaissances de base en évaluation afin d’être en mesure

de s’approprier la démarche. Il importe d’assurer une mise à niveau de ces connaissances.

Il est également suggéré de donner accès aux organismes à des systèmes et programmes

informatiques (ex. banques de données) qui permettent de compiler facilement et rapidement

de l’information. Plusieurs organismes n’ayant pas nécessairement le personnel pour réaliser

ce travail, le soutien technique est nécessaire sinon la compilation s’avère trop laborieuse.

Devant l’intérêt des démarches réalisées, tant sur le plan du processus, des résultats

obtenus que des questions soulevées, l’expertise acquise doit être partagée et rayonner au-

delà de l’entourage immédiat des groupes. Cette expertise est-elle généralisable, en tout ou en

partie ? Il faut le vérifier, mettre en commun les expériences et les confronter.

On juge donc essentiel de voir à la reconnaissance des démarches d’autoévaluation

existantes et de leur donner une visibilité :

« Il ne faut pas qu’un système d’autoévaluation comme celui-là reste cantonné dans une association en particulier. Il faudrait que ce dossier soit porté par différentes associations régionales et interrégionales pour que cela puisse remonter au niveau politique, en lien avec la reconnaissance des particularités des organismes communautaires. Surtout dans le contexte actuel où l’on a tendance à passer le milieu communautaire à la moulinette des contrats de performance. Pour des organismes qui ont travaillé depuis des années à mettre en place des services alternatifs, c’est une question d’identité et de reconnaissance. » (Extrait de l’entrevue 3)

Enfin, on gagne à faire valoir la pertinence de l’évaluation pour la vie interne de

l’organisme, indépendamment des demandes exprimées par les bailleurs de fonds. Il faudrait

aussi développer l’accès de tous les organismes à des ressources de soutien en évaluation de

façon à favoriser le partage d’information.

72

4.1.3.4 Suggestions spécifiques concernant la formation

En ce qui a trait à la formation, plusieurs pistes se dégagent des entrevues. Ainsi, en

réponse à la question « qui devrait être formé », on croit que ce sont les personnes chargées

de la coordination ou de la direction, ou encore la personne responsable de l’évaluation

sur le plan interne. Il n’est pas nécessaire que le personnel et les usagers/membres le soient,

dans la mesure où une expertise est déjà présente au sein de l’organisme. Cependant, on

juge important que les membres d’un comité d’évaluation aient certaines connaissances en

évaluation et puissent bénéficier d’une mise à niveau de ces connaissances.

Quelles devraient être les principales qualités des spécialistes en évaluation qui accom-

pagnent les groupes communautaires ? Ces spécialistes en évaluation doivent être des

personnes expérimentées, ayant une connaissance suffisamment bonne de l’évaluation pour

être en mesure de bien clarifier la demande afin de savoir comment mettre leur expertise au

service de l’organisme. Les spécialistes en évaluation doivent aussi être sensibles aux réalités

vécues par les organismes communautaires. Attention à la froideur du regard scientifique,

méthodologique. Prendre en considération ce vécu tout au long de la démarche permet

d’être réellement utile : « Cela demande de la sensibilité, de la compassion, considérant

que les intervenantes et intervenants sont en contact avec des réalités difficiles » (Extrait

de l’entrevue 3).

D’autre part, les spécialistes en évaluation doivent porter une attention particulière au

processus d’appropriation. Il faut outiller les organismes tout en leur laissant le soin de

conduire eux-mêmes leur démarche. Il importe donc d’être à l’écoute de ce dont ils disposent

comme potentiel pour pouvoir le mettre à profit. Cela implique de savoir ramener un groupe

à ses propres forces et aux moyens qu’il peut utiliser de manière réaliste pour traverser

l’étape à laquelle il est confronté.

Nous retenons aussi que les spécialistes en évaluation doivent posséder des aptitudes en

médiation et être aptes à gérer les changements organisationnels engendrés par l’évaluation

sur le plan du fonctionnement interne. Ils doivent être en mesure de susciter l’ouverture

au changement, la motivation et de composer avec les résistances susceptibles d’être

rencontrées.

73

D’un autre côté, les spécialistes en évaluation doivent être pragmatiques et flexibles. Ils

doivent être en mesure d’alimenter un groupe à l’aide d’outils concrets et de favoriser une

mise à niveau des connaissances en vulgarisant la démarche tout en ne perdant pas de vue

l’importance de la rigueur. Cela implique de posséder un bon sens de l’organisation afin

d’être en mesure de gérer une quantité considérable d’informations et ne pas perdre de

vue l’essentiel. Les spécialistes en évaluation doivent aussi pouvoir s’adapter au rythme des

organismes et être disponibles afin de répondre aux demandes.

Enfin, ces spécialistes doivent être capables d’établir un bon lien de confiance avec tous les

acteurs impliqués dans la démarche, tout en sachant maintenir une certaine distance critique

afin de préserver leur capacité de porter un jugement.

4.2 Le point de vue des spécialistes en évaluation

En complément des études de cas, des informations ont été recueillies lors d’entrevues

téléphoniques et d’une rencontre d’un groupe témoin (focus group) de personnes-clés

ayant déjà accompagné un ou des organismes communautaires, soit dans une démarche

d’évaluation ou de planification. Les spécialistes interviewés ont exprimé des points de vue à

plusieurs égards concordants avec les études de cas, par exemple concernant le problème des

ressources. Cependant, ils étaient plus critiques sur l’état des rapports entre les acteurs, faisant

surtout ressortir l’existence de relations difficiles, plus conflictuelles, entre les organismes

communautaires et les bailleurs de fonds.

4.2.1 Regard d’ensemble sur les pratiques évaluatives

Du contenu de ces entretiens, il ressort globalement que les organismes communautaires

sont en général davantage sensibilisés aux enjeux de l’évaluation qu’il y a dix ans. Ils font

de l’évaluation au quotidien, mais ils n’ont pas toujours le temps de nommer et d’écrire

sur ce qu’ils font. Les groupes sont davantage capables d’aller chercher de l’aide extérieure

lorsque le besoin se fait sentir. Mais sont-ils bien outillés pour faire face aux divers enjeux de

l’évaluation ? Les personnes-clés constatent que, sur ce plan, les organismes communautaires

n’ont pas tous les mêmes forces (Extrait du focus group, par. 26, 31 et 81).

74

Autre grand constat : les résistances à l’évaluation sont encore présentes dans plusieurs milieux.

Les raisons données sont multiples, elles relèvent des divers types d’obstacles mis en lumière

au cours de notre recherche, tels que la non disponibilité en temps et en énergie, l’absence de

motivation à s’impliquer dans un processus exigeant dont l’utilité n’est pas clairement perçue.

Cependant, au-delà des conditions de base à réunir pour être à même de réaliser une

évaluation significative, il se dégage un consensus à l’effet qu’il est essentiel pour tous les

acteurs de « clarifier la finalité, les objectifs et les objets de l’évaluation, et à qui elle va servir »

(Extrait du focus group, par. 82). La question de la finalité de l’évaluation apparaît absolument

capitale, tant dans les études de cas que dans les entrevues réalisées.

4.2.2 Enjeux liés aux ressources

Le manque de ressources représente un obstacle majeur à l’évaluation dans les organismes

communautaires. Les situations de précarité vécues par les organismes sur le plan financier

nuisent à la dimension réflexive et cela se traduit souvent par un manque de temps.

« Souvent, on observe que les gens dans les milieux communautaires ont de bonnes idées, de l’intérêt, saisissent rapidement les enjeux, mais ils n’ont pas le temps d’investir dans une démarche systématique. Ils ont un manque de ressources, pas seulement en termes de connaissances, mais surtout en nombre de personnes pour répondre à tous les besoins. » (Extrait de l’entrevue 5)

Pour renforcer les pratiques évaluatives, les organismes doivent y consacrer du temps, de

l’énergie, une expertise et un budget qu’ils n’ont pas, même en considérant le surplus de 10 %

qui leur est accordé par certains bailleurs de fonds pour mener des évaluations (un montant

dérisoire selon certains spécialistes). Leur précarité est telle qu’ils consacrent une grande part

de leurs ressources à la course aux subventions pour assurer leur survie, au détriment de la

consolidation et de l’évaluation de leurs activités.

« Les directions d’organismes sont de plus en plus des gestionnaires, responsables de trouver du financement, plutôt que des personnes en questionnement sur leur mission. » (Extrait de l’entrevue 4)

Il se dégage un consensus des résultats sur le fait que l’approche participative permet

l’appropriation du processus d’évaluation par l’organisme. Or, les spécialistes s’entendent

également sur le fait que cela exige des conditions et un contexte favorables très rares

dans le milieu communautaire.

75

Un participant à l’entrevue de groupe attire ainsi notre attention sur le fait que l’approche

participative représente un défi particulier en termes de temps que plusieurs organismes ne

seraient pas en mesure de consacrer. Le temps exigé par cette approche, environ six mois

à deux ans selon une personne, ferait en sorte que les spécialistes se retrouvent contraints

à refuser certaines demandes d’accompagnement avec des délais trop rapides ou à opter

pour une approche moins participative. Une autre mentionne toutefois que même si certains

intervenants communautaires montrent à prime abord de la résistance à participer à un

processus évaluatif, ils en saisissent bien la pertinence une fois qu’ils sont impliqués :

« Le plus difficile, c’est de faire en sorte que les acteurs qui sont concernés par l’évaluation se mobilisent pour embarquer dans le processus. Ça leur apparaît souvent moins prioritaire que le travail sur le terrain. Mais dès qu’ils sont impliqués, ils en voient la pertinence et les résistances disparaissent. » (Extrait de l’entrevue 7)

L’instabilité des organisations constitue aussi un obstacle au développement des connaissances

en évaluation. Les acteurs sont souvent épuisés et mal payés. Le roulement du personnel et

des bénévoles fait en sorte que l’expertise acquise s’envole parfois rapidement et est à refaire,

réduisant considérablement les possibilités de réelle appropriation du processus évaluatif. Il

devient très difficile dans ce contexte d’assurer la consolidation et la continuité de la démarche.

4.2.3 Enjeux liés aux rapports entre les acteurs

4.2.3.1 Rapports entre les organismes et les bailleurs de fonds

Les informations recueillies auprès des personnes-clés tendent à démontrer que les

rapports entre les bailleurs de fonds et les organismes communautaires sont difficiles, ce qui

nuirait à la pratique de l’évaluation dans le milieu.

Différentes visions de l’évaluation

Un des enjeux soulevés a trait aux différences existant entre les visions de l’évaluation

des acteurs en présence. Essentiellement, il ressort que les bailleurs de fonds voient celle-ci

comme une manière pour les organismes de rendre des comptes pour les fonds reçus.

L’évaluation est alors perçue comme un mécanisme de contrôle des dépenses publiques.

Aux dires des spécialistes rencontrés, non seulement l’évaluation serait perçue comme de la

reddition de comptes par les bailleurs de fonds, mais les organismes communautaires seraient

de plus en plus influencés par cette vision.

76

« Les groupes voient souvent l’évaluation comme étant purement et simplement une évaluation de contrôle étatique dans une gestion de reddition de comptes des fonds publics. Avec cette perception que la vraie finalité de l’évaluation, qui devrait être d’améliorer les pratiques, d’aider les gens sur le terrain à faire leur travail, l’État s’en fout ! » (Extrait de l’entrevue 3)

« Les plus jeunes ont tendance à ne pas prendre le temps de soupeser les exigences des bailleurs de fonds et ne semblent pas se poser de questions concernant les enjeux liés à l’évaluation. Il en est de même pour beaucoup de membres de conseils d’administration qui ont changé depuis quelques années. Le bailleur de fonds demande telle information, on va lui fournir ! Combien de jeunes ? Combien de plus que l’an dernier ? Pour combien d’heures d’ouverture ? » (Extrait de l’entrevue 4)

Comme on a pu le constater dans les études de cas, il peut cependant survenir des

situations différentes où les uns et les autres manifestent de l’ouverture et arrivent à convenir

d’une démarche qui rencontre les intérêts de chaque partie. Car les bailleurs de fonds, à

l’instar des organismes communautaires, ne forment pas un tout homogène. Il ressort tout

de même de notre recherche que, généralement, les bailleurs de fonds (et les organismes de

plus en plus) réduisent l’évaluation à la reddition de comptes, ce qui constitue la principale

source de tension entre les deux acteurs.

Concernant le déroulement de l’évaluation, les points de vue varient considérablement.

Les personnes-clés travaillant pour un bailleur de fonds suggèrent aux organismes de procéder

eux-mêmes à la cueillette de données et de confier l’analyse à un spécialiste externe à

l’organisme, alors que les autres participants semblent dire l’inverse : collecte externe et

analyse interne (Extrait du focus group, par. 99). De même, les experts du milieu institutionnel

suggèrent aux organismes de choisir leur évaluateur dès le début du programme pour faciliter

la collaboration avec le bailleur de fonds (Extrait du focus group, par. 206). Ils affirment que tout

peut se négocier, contrairement à un autre participant qui se demande s’il existe un réel

espace pour la collaboration (Extrait du focus group, par. 187) dans un contexte de relation entre

subventionnaire et bénéficiaire.

L’une des informatrices-clés interviewées relève pour sa part l’existence de paradigmes

différents entre les bailleurs de fonds et le milieu communautaire, s’articulant notamment à

partir de la vision du changement qui les caractérise : changement de comportements du côté

des bailleurs de fonds et changement social pour les groupes.

«Quand la réalité est plus complexe, ce qu’il faut évaluer relève plus de l’ordre du social que du changement de comportement ou de l’acquisition d’habiletés. C’est

77

plus difficile à démontrer, ça va de soi. Dans un cas, on se situe dans un paradigme behavioriste [Note de l'auteure : comportemental], dans l’autre cas dans un paradigme plus constructiviste. L’évaluation, cela va bien au-delà d’une question de technique de collecte de données. Cela suppose de se situer face aux différentes visions en recherche sociale. On ne peut pas faire l’économie de ce débat avec les groupes communautaires.» (Extrait de l’entrevue 5)

Rapports inégaux

Plusieurs personnes interviewées reconnaissent l’inégalité des rapports entre les bailleurs

de fonds et les organismes, ce qui influence directement la façon dont se fait l’évaluation.

D’abord on constate que les organismes n’ont pas tous la même force de négociation avec

les bailleurs de fonds. Les organismes peuvent adopter deux types d’attitudes face à une telle

situation, soit la proaction ou la réaction. Un participant rapporte à cet égard deux exemples :

l’expérience d’un organisme, convaincu de la valeur de ce qu’il faisait, qui a entrepris une

démarche proactive auprès des bailleurs de fonds en proposant sa propre vision; et à l’opposé

l’exemple d’une démarche réactive où les membres d’un organisme ont demandé du soutien

à la Direction de la santé publique pour rencontrer un consultant privé afin de répondre aux

exigences du bailleur de fonds (Extrait du pré-test du focus group).

Certains organismes ne sont pas conscients de leur pouvoir de négocier alors que d’autres

en sont extrêmement conscients et négocient les contenus et les finalités de l’évaluation

proposés par les bailleurs de fonds. Cependant, il semble que la plupart des organismes

(même les plus « aguerris ») se retrouvent en position défavorable pour négocier avec les

bailleurs de fonds : ils ont besoin des spécialistes en évaluation pour les soutenir dans leur

négociation, pour leur « donner des mots » permettant de justifier, expliquer, de façon à

rendre compte de leur spécificité.

Par ailleurs, on souligne le fait que les bailleurs de fonds imposent des critères en

matière d’évaluation qui restreignent la créativité et la culture d’évaluation propres au milieu

communautaire. Dans ce contexte où la programmation se développe en fonction des objectifs

évaluatifs de l’organisme subventionnaire, un participant pose cette éloquente question

« Pourquoi ne pas remettre le rapport d’évaluation en même temps que le projet ?! »

(Extrait du focus group, par. 108).

78

Cette situation d’inégalité comporte des risques pour l’appropriation et le renforcement

de pratiques évaluatives qui respectent la couleur, l’identité du milieu communautaire. De

plus, certains mécanismes privilégiés par les bailleurs de fonds, tels les questionnaires fermés,

seraient réducteurs de la variété d’activités réalisées parmi les organismes :

« Si les organismes communautaires sont évalués comme des branches de ministère, en fonction de résultats probants, cela a pour effet que toutes leurs façons de faire autrement, qui demeurent incomprises par le ministère qui produit les questionnaires, passent inaperçues! L’enjeu est majeur. La culture d’évaluation qu’ils ont développée est en train de disparaître parce qu’ils sont obligés de répondre à des commandes. Il y a pire encore. J’entends régulièrement des groupes dire qu’ils ne réaliseront plus certaines activités parce que les résultats obtenus sont impossibles à mesurer. Cela a des conséquences énormes. » (Extrait

de l’entrevue 5)

Le danger est que les groupes deviennent de plus en plus des distributeurs de services et

qu’ils soient de plus en plus considérés comme tels dans la logique gouvernementale :

« Depuis que je travaille dans les groupes communautaires, on se défend de cela énormément. Mais, maintenant, il me semble que l’on glisse de façon encore plus évidente vers un rôle de fournisseurs de services. C’est comme si les groupes se retrouvaient coincés et que leur dernier retranchement consistait à dire : on ne veut pas en plus se faire évaluer, alors on va négocier de façon encore plus serrée... » (Extrait de l’entrevue 8)

Le défi consiste alors pour les organismes communautaires à transformer les exigences des

bailleurs de fonds en opportunité pouvant favoriser la réflexion :

« Il est bien certain que lorsqu'un bailleur de fonds demande une évaluation externe, il a ses propres objectifs de contrôle de la réalisation de l’action. Cependant, pour un organisme, il s’agit aussi d’une opportunité de se donner un moment et des outils pour observer ce qui fonctionne et ce qui ne fonctionne pas et si l’on obtient les effets souhaités. Par surcroît, si le bailleur de fonds fournit du financement pour appuyer la démarche de réflexion, cela constitue un défi d’essayer de voir cette occasion-là comme une opportunité plus que comme une contrainte. » (Extrait de l’entrevue 7)

Pour certains, l’autre défi consiste à renoncer à la tentation de chercher à utiliser l’évaluation

strictement comme une « occasion de valorisation, une sorte d’outil de marketing face aux

bailleurs de fonds, pour bien paraître en faisant valoir un projet » (Extrait de l’entrevue 9).

79

4.2.3.2 Rapports entre les spécialistes en évaluation et les organismes

Pour certaines des personnes-ressources, le défi des rapports entre les spécialistes et les

organismes communautaires ne semble pas résider dans le climat relationnel, mais plutôt dans

le peu de demandes de soutien des organismes en évaluation. Elles notent que les organismes

semblent démunis face à l’évaluation, qu’ils ne savent pas comment exprimer leurs besoins en

terme d’accompagnement et ont une perception négative de l’évaluation. Selon ce point de

vue, ce sont les débuts de la collaboration qui seraient difficiles. Les organismes ne verraient

pas à prime abord la pertinence de réaliser une telle démarche en dehors de la reddition de

comptes obligatoire. Le manque de ressources dans l’organisme minerait aussi la motivation à

participer et les spécialistes devraient adapter leur langage et assouplir leur approche.

Mais il semblerait que, une fois que les membres de l’organisme sont impliqués dans

le processus et sentent qu’ils ont une emprise sur la démarche, ils comprennent bien tout

le potentiel de l’évaluation comme outil de développement de l’organisme. Des obstacles

viennent toutefois teinter les relations. Des personnes-clés soulignent que certains spécialistes

défendent le respect des procédures de recherche plutôt que de s’efforcer de démontrer

la réussite d’un projet (ce qui constituerait souvent l’intérêt principal des organismes, selon

une personne) :

« Je ne crois pas que la plupart des gens qui s’occupent d’évaluation soient d’abord préoccupés par le fait que les projets fonctionnent mieux. Ils visent plutôt à respecter une certaine procédure. Ils sont payés pour cela, doivent mener plusieurs dossiers. On sait que les procédures sont plus faciles à contrôler, à vérifier, que les effets des pratiques des groupes. » (Extrait de l’entrevue 1)

En dépit de la présence d’un écart de culture entre les spécialistes en évaluation et le milieu

communautaire, les relations semblent somme toute satisfaisantes pour les organismes.

Types d’approches

Des échanges tenus avec les personnes interviewées, nous constatons que deux grands

types d’approches se manifestent dans les rapports entre les organismes et les spécialistes qui

les soutiennent dans leur démarche d’évaluation. Nous retrouvons en premier lieu l’approche

des évaluateurs, et en deuxième lieu l’approche des accompagnateurs. Évaluer reviendrait,

dans cette optique, à travailler sur l’organisme comme objet d’étude, alors qu’accompagner

signifierait travailler avec l’organisme.

80

Selon l’approche des évaluateurs, les acteurs appartiennent à des mondes séparés (Extrait

du focus group, par. 51). Une situation typique de cette approche se présente lorsque par exemple

un bailleur de fonds fournit à l’organisme une liste de spécialistes parmi lesquels il doit choisir

un évaluateur pour répondre aux demandes du bailleur de fonds. Ce type de rapport peut

également s’instaurer lorsque l’organisme manifeste des résistances à l’évaluation par crainte

de « se faire évaluer », ou juger par la personne engagée.

Cette situation peut soulever divers enjeux dans la relation : il arrive fréquemment, selon les

personnes-clés, que l’organisme rapporte ce que l’évaluateur veut bien entendre dans le but de bien

paraître, ce qui induit un contexte rendant quasi impossible une réelle réflexion autocritique :

« Un tel groupe répond aux questions comme s’il s’adressait à la police, dont il se méfierait. Il n'est pas en train de faire une réflexion sur son intervention, sur la façon dont elle se développe. Il fonctionne selon une logique ressemblant à ceci : cet évaluateur désire entendre tel genre de propos, je vais lui donner ce qu’il veut, parce que c'est important de rendre des comptes et que mon organisation paraisse bien. » (Extrait du focus group, par. 53)

Il est clair, alors, que la relation se trouve faussée et l’évaluation aussi. Certaines personnes

participant au focus group ont à cet égard indiqué se sentir mal perçues par les organismes

(extrait du focus group, par. 58). Le défi pour les spécialistes consiste à ce moment à développer

des stratégies pour faire baisser la méfiance (Extrait de l’entrevue 9).

Un autre type d’approche peut intervenir entre l’organisme et la ou le spécialiste auquel il

fait appel : l’approche des accompagnateurs. Selon une personne-clé :

« Accompagner ce n'est pas effectuer une intervention pour un temps limité et repartir ensuite sans assurer de suivi. C'est être présent, pour accompagner tout au long de l'année, à des moments charnières. (…) C'est être un peu dans l'action, à la limite, sans intervenir sur le terrain. » (Extrait du focus group, par. 132)

La personne spécialiste, même «externe» au milieu communautaire, est alors considérée

comme partie prenante de l’action : les frontières entre les cultures de l’évaluation et de

l’action communautaire sont perméables. Ce type de relation est qualifié de gratifiant par

les spécialistes parce qu’il leur permet de cheminer avec l’organisme (Extrait du focus group, par.

62). Leur rôle consiste dans ce contexte à aider les groupes à clarifier dès le début la finalité

de l’évaluation, nommer les choses pour rendre compte de ce qui a été fait et systématiser

les démarches d’évaluation.

81

« Je ne suis pas seulement là pour aider, mais pour cheminer avec eux, regarder ce qu'ils font et les aider à systématiser, à jeter un regard un peu plus critique sur ce qu'ils font. Parfois, les objectifs visés par les groupes communautaires sont implicites, ne sont pas nommés. Dans la démarche d'évaluation, il est important de nommer justement pour pouvoir rendre compte de ce qui a été fait. Mon rôle est de travailler avec eux dans cette optique pour systématiser leurs démarches d'évaluation, tout en tenant compte des demandes des bailleurs de fonds. » (Extrait du focus group, par. 62)

Au bout du compte, selon certaines personnes-clés, la différence ne résiderait pas tant dans

les approches mises de l’avant, les techniques employées ou la provenance organisationnelle

du spécialiste et de l’organisme, que dans les intérêts et les valeurs de ces acteurs et la

façon dont ils les mettent en pratique. Ce qui revient à dire que dans le contexte d’un certain

rapport de pouvoir, la personne spécialiste devrait préciser son rôle vis-à-vis les bailleurs

de fonds et les organismes.

4.2.3.3 Rapports internes du milieu communautaire

L’évaluation peut avoir pour effet de mettre au jour des tensions et même des conflits

au sein d’un organisme ou d’un regroupement. Un spécialiste rencontré raconte que, dans

une expérience d’accompagnement, la démarche d’évaluation a servi à régler des comptes

à l’intérieur du regroupement. Selon lui, les enjeux de pouvoir n’avaient pas été nommés,

les motivations de départ n’étaient pas les bonnes et il existait un conflit personnel entre

les membres. L’évaluation a été utilisée par les acteurs comme mécanisme de résolution

de problèmes. Aux dires de ce participant au focus group, les acteurs auraient davantage

bénéficié du soutien d’un médiateur que d’un spécialiste en évaluation. Cette difficulté est

rapportée par plusieurs personnes-clés.

Une autre situation est susceptible de se produire lorsqu’un organisme s’implique dans

une démarche évaluative et que ses membres manifestent des résistances face au processus.

Certaines personnes peuvent percevoir l’évaluation comme un mécanisme de contrôle, croire

que la situation de précarité de l’organisme rend impossible tout effort supplémentaire de

réflexion sur leur pratique, ou craindre que l’évaluation puisse entraîner des décisions lourdes

de conséquences négatives à leur égard.

Certaines tensions peuvent résulter de la négociation d’un cadre d’évaluation applicable

à la fois pour le regroupement et pour les organismes membres de ce regroupement.

82

Un participant au focus group s’est questionné sur la représentativité d’un regroupement

devant le niveau très disparate d’appropriation du processus évaluatif au sein des organismes

(connaissance, compréhension, sens donné et pertinence de l’évaluation), même si les gens

du regroupement étaient tous impliqués et très sensibilisés aux enjeux de l’évaluation. À ces

difficultés communes à plusieurs organismes s’ajoutent les défis posés à ceux qui sont situés

en région éloignée. En effet, les entrevues téléphoniques dans les régions loin des grands

centres révèlent que certains pourraient se sentir isolés dans un processus d’évaluation s’ils

n’ont pas l’occasion de partager leur expertise avec d’autres groupes.

4.2.4 Perspectives

De l’ensemble des propos recueillis auprès des personnes-clés, il se dégage un certain

nombre de pistes de réflexions.

Pour commencer, il faudrait accroître la sensibilisation de tous les acteurs concernés

et intensifier le lobbying auprès des décideurs sur les enjeux de l’évaluation du point de

vue communautaire et sur l’importance de disposer de ressources adéquates pour mener

une évaluation.

Dans la même optique, on juge important d’informer plus largement les organismes sur

le contexte actuel de l’évaluation, les types d’évaluation existants et les risques qui y sont

rattachés, ainsi que sur les conditions préalables à une évaluation réussie.

Comment les groupes peuvent-ils faire en sorte de se donner des objectifs plus réalistes

dans leurs démarches d’évaluation ? Il est fortement suggéré pour cela de se référer à d’autres

regroupements ou organismes expérimentés. Il serait aussi souhaitable de créer des lieux

d’échanges courants et de consultation sur les questions liées à l’évaluation et de mettre en

réseau toutes les personnes détenant connaissances et expériences (les stakeholders).

Concernant l’approche participative

La grande majorité des personnes interviewées privilégient une approche participative,

jugée la plus à même de favoriser l’appropriation par les groupes des enjeux de l’évaluation.

Plusieurs jugent bon de montrer de la souplesse dans la détermination des acteurs à impliquer,

selon les circonstances et les étapes de l’évaluation, tel que lors de l’élaboration de la

démarche, de la collecte de données ou de l’interprétation des résultats, etc. La méthodologie

83

doit elle aussi correspondre à la finalité de l’évaluation : là encore, on préconise la souplesse.

L’approche participative n’est pas un livre de recettes !

Le rôle de la personne qui fait de l’accompagnement devrait consister en premier lieu à

soutenir le processus de négociation et de clarification, en visant autant que possible à asseoir

autour de la table l’ensemble des acteurs. De l’avis de certains, l’idéal serait de désigner au

sein de chaque organisme une personne dont le mandat (non exclusif) serait de s’approprier

la démarche et de faire de l’évaluation, en partenariat avec des spécialistes. On fait observer

que l’évaluation ne doit pas être isolée d’autres types d’activités de planification qui favorisent

l’appropriation continue.

Concernant la formation

L’objectif n’est pas d’essayer de faire de tous les groupes communautaires des experts en

évaluation. Il est jugé préférable d’accompagner chaque organisme selon ses aspirations, en

fonction de l’étape à laquelle il en est rendu dans sa démarche.

Concernant les contenus de formation, les points de vue sont partagés. Certains croient

qu’il faut oublier la partie technique de l’évaluation et fournir plutôt une information plus

générale, des arguments en vue des négociations à tenir avec les bailleurs de fonds, en

favorisant l’appropriation des enjeux politiques et éthiques ainsi que la connaissance du

vocabulaire. On rappelle à cet égard l’importance de distinguer évaluation et reddition de

comptes.

D’autres considèrent qu’il faut mettre particulièrement l’accent sur l’autoévaluation. Les

groupes devraient s’outiller pour devenir le plus possible autonomes dans leurs pratiques

évaluatives. Un travail de démystification est nécessaire. Quelques outils simples et accessibles

seraient utiles, tels que : un lexique de l’évaluation, des exemples de pratiques évaluatives par

des groupes communautaires, des histoires de cas, une banque de ressources externes, de

l’information sur les exigences des bailleurs de fonds. La formation devrait favoriser un regard

critique, permettre de donner un sens à une démarche et permettre aussi de « faire mieux »,

tout en favorisant une initiation aux méthodes et techniques.

84

On rappelle qu’il ne faut pas s’attendre à ce que les gens deviennent totalement

autonomes après une formation de quelques heures. Compte tenu du fait que le manque

de connaissances en matière d’évaluation est beaucoup lié au manque de stabilité des

organismes et des personnes qui reçoivent la formation, on trouverait intéressant de former

des personnes accompagnatrices et aussi d’offrir de la formation sur une base continue, de

façon à répondre aux besoins en cours d’année. Une approche d’éducation populaire serait

appréciée, laissant la place à la créativité.

4.3 Le portrait quantitatif des pratiques d’évaluation

Les prochaines pages présentent l’état des pratiques évaluatives à partir des résultats

quantitatifs recueillis dans le cadre de l’enquête par questionnaire. Nous verrons en quoi nos

résultats se distinguent des autres études et en quoi ils sont comparables.

Pour les fins de cette enquête, l’échantillon était composé de 1 500 groupes choisis de

façon aléatoire à partir de la banque informatisée de 4 749 organismes et regroupements qui

nous a été fournie par le Secrétariat à l’action communautaire autonome (SACA). Au total, 532

questionnaires ont été complétés et analysés.

4.3.1 Profil des organismes ayant participé à notre enquête

4.3.1.1 Fonction et ancienneté

La grande majorité des personnes ayant complété le questionnaire (84 %) occupent une

fonction de direction ou de coordination au sein de leur groupe. Les personnes répondantes

sont impliquées au sein de ce groupe depuis moins d’un an dans 10 % des cas, 66 % des

personnes sont impliquées depuis cinq ans ou plus et 28 % sont impliquées depuis dix ans ou

plus 7. Ces chiffres nous permettent de croire que les personnes répondantes possèdent une

base de connaissances suffisante sur le fonctionnement (interne et externe) de l’organisme

pour répondre adéquatement au questionnaire.

85

7. Note de l’auteure : Comme nous cherchions à dégager des tendances et que, pour plusieurs questions, la consigne était de cocher les trois principales expressions ou éléments, les totaux présentés ne cumulent pas toujours 100 %. De même, pour certaines questions, les répondants pouvaient inscrire plus d’une réponse à la même question. Les résultats en pourcentage ont été calculés en fonction des pourcentages relatifs à l’intérieur de chaque section.

4.3.1.2 Secteurs et catégories d’organismes

Compte tenu de la richesse et de la diversité des secteurs d’activités compris dans l’action

communautaire, la répartition des organismes selon leur secteur d’activités est assez vaste.

Cela a d’ailleurs posé un problème méthodologique. Plus du tiers des groupes (36,2 %) ont

coché la classe Autre(s) afin de définir leur secteur d’activités ou leur catégorie d’intervention 8.

Néanmoins, ce sont les groupes s’identifiant aux secteurs Jeunesse (14,0 %) et Enfance-Famille

(12,7 %) qui ont répondu au questionnaire dans les proportions les plus élevées (Voir

Graphique 1). Concernant la catégorie d’organismes ou de ressources à laquelle les groupes

s’identifient, on remarque, après reclassement, que 2 groupes sur 5 (38,4 %) se classent dans

Milieu de vie et Soutien dans la communauté (Voir Graphique 2).

86

Graphique 1Distribution selon les secteurs

8. Voici après reclassement, la répartition des secteurs de la classe Autre(s) : Accidentés du travail, Adultes, Aidants naturels, Assurance-chômage, Autochtones, Bénévolat, Communication, Consommation-budget-endettement, Défense de droits, Déficience intellectuelle, Déficience physique, Délinquance, Hommes adultes, Développement de la personne, Droit du travail, Éducation et formation, Employabilité, Faune, Habitation, Histoire et patrimoine, Hommes, Insertion sociale–alimentation, Jeunes adultes ou jeunes de la rue, Joueurs pathologiques, Loisirs, Pauvreté, Personnes handicapées, Personnes judiciarisées adultes, Santé, Sécurité publique, Solidarité internationale, Support aux organismes–concertation, Transport, Violence, Non défini.

N = 527Réponses

valides

Jeunes

Enfants/Famille

Femmes

Immigration

Aînés

Alphabétisation

Santé mentale

Toxicomanie

Exclusion sociale

Environnement

Multiples secteurs

Autres

0 % 10 % 20 % 30 % 40 %

14 %

7,4 %

12,7 %

0,6 %

8,5 %

2,5 %

8,3 %

2,8 %

1,1 %

1,3 %

4,4 %

36,2 %

4.3.1.3 Territoire

Plus de la moitié (58 %) des groupes répondants se disent actifs au palier local incluant

les catégories quartiers/arrondissements et municipalités/villages. Parmi les autres répondants,

34 % agissent au palier régional et 9 % au niveau provincial.

4.3.1.4 Région

C’est le regroupement de régions mitoyennes du Québec (comprenant les régions

Mauricie–Bois-Francs, Estrie, Outaouais, Chaudière-Appalaches, Laurentides, Lanaudière et

Centre-du-Québec) qui a répondu au questionnaire dans la proportion la plus élevée (37

%), suivi des régions éloignées (24 % regroupant les régions du Bas-Saint-Laurent, Saguenay-

Lac-Saint-Jean, Abitibi-Témiscamingue, Côte-Nord, Nord-du-Québec et Gaspésie-Îles-de-la-

Madeleine). Les régions situées en périphérie de Montréal (Laval et Montérégie) affichent un

taux de réponse de 15 % tandis que les groupes des grandes villes de Montréal et de Québec

ont répondu dans respectivement 19 % et 6 % des cas 9.

La répartition des organismes sondés selon la région est ainsi comparable à celle de notre

échantillon de base ainsi qu’à celle de notre population d’organismes et de regroupements.

87

9. Nomenclature empruntée à René et al. (2001).

Graphique 2Distribution selon les catégories

N = 516Réponses

valides

Soutien

Aide

Défense de droits

Hébergement

Sensibilisation/Mobilisation

Plusieurs catégories

Autres

0 % 10 % 20 % 30 % 40 %

38,4 %23,8 %

14,0 %

5,4 %

4,3 %

1,0 %

13 %

4.3.1.5 Appartenance à un regroupement

Concernant les relations avec les regroupements communautaires (sectoriels ou inter-

sectoriels), les trois quarts (75 %) des répondants font partie d’un regroupement à l’échelle

régionale et la même proportion, soit les trois quarts (75 %), d’un regroupement à

l’échelle provinciale. Dans 22 % des cas, les groupes s’identifient eux-mêmes comme des

regroupements d’organismes (pouvant inclure des associations, tables de concertation, tables

régionales, fédérations, corporations et groupes divers).

4.3.1.6 Année de fondation

L’année de fondation des organismes et regroupements répondants se répartit de la façon

suivante : avant 1960 (1 %), 1960-1969 (3 %), 1970-1979 (16,1 %), 1980-1989 (38 %),

1990-1999 (39 %) et 2000-2003 (3 %), tel qu’illustré dans le Graphique 3. On remarque

ainsi que près de 60 % des groupes ont été fondés depuis le milieu des années quatre-vingt,

période prolifique en réorganisations politiques, sociales et économiques mais aussi en

développement du milieu communautaire au Québec.

88

Graphique 3Distribution selon l’année de fondation

N = 522Réponses

valides

0 %

10 %

20 %

30 %

40 %

Avant 1960 1960-1969 1970-1979 1980-1989 1990-1999 2000-2003

1 %3 % 3 %

39 %38 %

16 %

4.3.1.7 Taille des groupes

Les résultats au questionnaire démontrent que les groupes fonctionnent avec relativement

peu de personnel. En effet, 68 % des groupes fonctionnent avec un nombre de personnes

employées à temps plein variant entre zéro et cinq. De ce nombre, environ le tiers (35 %)

n’ont qu’une ou deux personnes à leur emploi et près de 8 % n’en ont aucune à temps plein.

58 % des groupes fonctionnent avec un nombre de personnes employées à temps partiel se

situant entre un et cinq. Par contre, le quart (28 %) des groupes n’ont aucune travailleuse

et aucun travailleur à temps partiel.

Les données de la variable budget annuel ont été regroupées en six catégories : 50 000

et moins (13,7 %), 50 001 à 100 000 (22,4 %), 100 001 à 150 000 (21,5 %), 150 001 à

250 000 (16 %), 250 001 à 500 000 (16,6 %), 500 001 et plus (9,9 %) (Voir Graphique 4).

On constate que la majorité d’entre eux (plus de 50 %) fonctionne avec un budget inférieur

à 150 000 dollars par année.

89

Graphique 4Distribution selon le budget annuel

N = 483Réponses

valides

0 %

10 %

20 %

30 %

50 000 et - 50 001 -100 000

100 001 -150 000

150 001 -250 000

250 001 -500 000

500 001 et +

22,4 %

13,7 %

21,5 %

15,9 % 16,6 %

9,9 %

4.3.1.8 Type de financement et provenance

Nous avons demandé aux groupes de répartir leur financement en quatre types distincts

soit : de base, par programme/ententes de services, autofinancement et autres. Généralement,

il appert que le financement de base des groupes d’action communautaire est plus élevé que

leur financement par programme/ententes de services. Les données concernant la provenance

du financement des groupes (fédéral, provincial, privé, caritatif et autres) nous indiquent

que les trois quarts des groupes (75 %) reçoivent plus de 60 % de leur financement du

gouvernement du Québec.

4.3.2 Perception générale de l’évaluation

Généralement, les groupes démontrent une tendance favorable à l’évaluation. Ils se disent

majoritairement d’accord (à plus de 95 %) avec des énoncés qui situent l’évaluation de façon

positive. De même, ils sont majoritairement en désaccord (à plus de 60 %) avec des énoncés

qui présentent l’évaluation comme une démarche complexe et fastidieuse, nécessitant une

expertise en recherche et pouvant engendrer des tensions à l’interne. De plus, 80 % des

répondants affirment que l’évaluation est généralement bien acceptée par les divers acteurs

à l’intérieur de leur organisation (conseil d’administration/collective, coordination/direction,

personnel/travailleuses, personnes participantes).

On remarque que, pour quatre groupes sur cinq, l’évaluation est associée d’emblée à la notion

de réflexion et d’amélioration des actions (87 %), tandis qu’elle est associée à la satisfaction des

personnes participantes face à une activité ou un service pour la moitié des répondants (49 %).

Également associée à l’évaluation vient la notion de bilan annuel (42 %), pouvant référer autant à

une démarche de réflexion axée sur la pratique qu’à une forme standardisée de rapport découlant

des exigences des bailleurs de fonds. La réponse aux exigences d’un bailleur de fonds (37 %) et la

vérification des effets d’une activité (29 %) viennent ensuite comme motivations.

4.3.3 Portrait des pratiques internes d’évaluation

Les résultats de l’enquête démontrent que les pratiques d’évaluation sont bien présentes

au sein des groupes d’action communautaire. En effet, tous ou presque (94 %) réalisent des

pratiques d’évaluation initiées par eux-mêmes, indépendantes des bailleurs de fonds. Les types

90

d’évaluations les plus réalisées au cours de l’année ayant précédé l’enquête concernent :

- la description d’activités (92 %),

- l’évaluation de la satisfaction des participantes et participants (75 %),

- l’évaluation des résultats de leurs activités (72 %),

- l’évaluation des besoins des participantes et participants (69 %).

Nous avons demandé aux organismes quels étaient, selon eux, les plus grands obstacles

à l’évaluation interne. Vient en premier lieu le temps (62 %), ensuite la disponibilité des

personnes (46 %). Le troisième obstacle le plus important relève des connaissances en

évaluation (27 %). Ce dernier élément confirme les conclusions de certains écrits sur la

nécessité de posséder un minimum d’expertise en évaluation, ou du moins en recherche, ce

qui semble faire défaut dans plusieurs organismes.

Afin de savoir ce que les groupes retirent de leurs démarches évaluatives internes, nous

leur avons demandé de compléter l’énoncé « Nos pratiques d’évaluation interne nous ont

permis de... », auquel ils ont répondu dans les proportions les plus élevées :

- améliorer nos activités (59 %),

- être plus structuré dans notre pratique (42 %),

- réfléchir sur notre mission et nos valeurs (38 %),

- corriger le tir afin de réajuster (« réenligner ») nos activités (37 %).

Sur le plan de la participation, on remarque que les différents acteurs sont tous plus

impliqués dans les démarches d’évaluation interne que dans les évaluations en réponse à

des demandes externes. Ce sont les membres de la coordination/direction qui sont les plus

impliqués, et ce, à toutes les étapes de l’évaluation. Les membres du conseil d’administration

ou de la collective participent surtout à l’étape d’utilisation des résultats d’une évaluation.

Les participantes et participants, quant à eux, sont plus impliqués à l’étape de réalisation.

Ces caractéristiques se retrouvent autant dans les démarches d’évaluation interne que dans

les évaluations en réponse à des demandes externes. Fait intéressant, par contre, l’acteur qui

accepterait le moins bien les démarches d’évaluation en réponse à des demandes externes

serait le personnel. Considérant l’importance accordée à l’implication des acteurs dans les

pratiques d’évaluation, la centralisation de la démarche autour de la coordination/direction

pour les deux types de pratiques peut être vue comme un obstacle à la participation.

91

Dans l’ensemble, les groupes perçoivent les évaluations internes comme utiles (98 %) 10 et

les résultats comme satisfaisants (96 %) 11. Les gains effectués grâce aux évaluations internes

réfèrent à des pratiques internes à l’organisme ou au fonctionnement du groupe. Soulignons

que ces bénéfices semblent tendre vers la réflexion (regard sur la pratique afin de l’adapter

aux besoins de la communauté) et la structuration de l’action.

4.3.4 Portrait des pratiques d’évaluation en réponse à des demandes externes

Plus de huit groupes sur dix (87 %) ayant répondu au questionnaire effectuent des

pratiques d’évaluation à la demande d’un bailleur de fonds. Les types d’évaluation les plus

demandés sur une base annuelle sont les rapports d’activités (89 %), la reddition de comptes

(75 %) 12 et la description des participantes et participants (72 %).

Les groupes d’action communautaire qualifient leurs relations avec les bailleurs de fonds

par les termes suivants : respectueuses (43 %), polies (35 %) et neutres (29 %); ce qui porte

à croire à des relations positives entre ces deux acteurs. Notons que ces résultats diffèrent de

ceux tirés des entrevues avec les informateurs-clés en ce qui a trait au climat entre organismes

et bailleurs de fonds. En effet, les organismes ayant répondu au questionnaire semblent avoir

une vision plus optimiste que les spécialistes qui les accompagnent dans leurs démarches

évaluatives (Voir Section 4.2.3.1). Les résultats des études de cas vont dans le même sens

que ceux de l’enquête.

Sur le plan des bénéfices, les évaluations réalisées en réponse à des demandes externes

permettent aux groupes de :

- justifier un financement (68 %),

- rendre des comptes (63 %),

- faire reconnaître leur pratique (40 %).

92

10. À noter que la perception d’utilité des évaluations internes se divise en catégories : « assez utiles » à 32,7 % et « très utiles » à 65,7 %.

11. La perception de la satisfaction des résultats des évaluations internes se divise en catégories : « assez satisfaisants » à 69,7 % et « très satisfaisants » à 27,3 %.

12. Un nombre assez élevé d’organismes répondants ne bénéficieraient d’aucun financement gouvernemental, certains d’entre eux fonctionnant même sans permanence, ce qui pourrait expliquer en bonne part le pourcentage de groupes déclarant ne pas effectuer de reddition de comptes.

Inversement, et cela confirme les dires de plusieurs auteurs, les obstacles les plus

mentionnés par les groupes dans les relations avec les bailleurs de fonds réfèrent surtout

à des contraintes extérieures :

- exigences différentes d’un bailleur de fonds à l’autre (59 %),

- visions différentes de l’évaluation (36 %),

- objectifs mesurables (32 %).

La participation aux diverses étapes des démarches d’évaluation externe est encore ici

concentrée surtout chez la direction/coordination. Ceci laisse croire que l’ « expertise » ou

les connaissances concernant l’évaluation dans les groupes se trouvent chez la personne

responsable de la coordination.

Généralement, il apparaît que les pratiques d’évaluation interne seraient tournées

davantage vers la réponse aux besoins des participantes et des participants dans un but de

bilan et de réflexion, alors que les pratiques d’évaluation réalisées en réponse à des demandes

externes seraient dominées par la dimension descriptive et objective des pratiques.

4.3.5 Recours à une aide extérieure

Un peu plus du tiers des groupes (35 %) ont déjà eu recours à une aide extérieure

pour une évaluation. Parmi ceux-ci, l’aide fut requise en proportion égale pour une démarche

d’évaluation interne et pour une évaluation en réponse à une demande externe (environ

55 % interne et 45 % externe). Le niveau de satisfaction quant à l’aide obtenue apparaît

très élevé (90 % dans le pôle satisfait).

L’aide a été requise à chacune des étapes de l’évaluation, mais surtout lors de l’étape de

planification (68 %). Le rôle ou le niveau d’implication de la personne ressource a été :

- de soutenir (50 %),

- de conseiller (51 %),

- de partager la responsabilité de l’évaluation avec le groupe (53 %),

- d’assumer l’entière responsabilité de l’évaluation (24 %).

Le manque de connaissances en évaluation (47 %), la recherche de neutralité (40 %) et

le besoin d’animer leur réflexion (42 %) figurent parmi les principales raisons identifiées pour

le recours à cette personne ressource. À l’opposé, outre le fait que le besoin ne se soit jamais

présenté (45 %), les deux principales raisons pour lesquelles les groupes n’ont pas eu recours

93

à une aide extérieure en évaluation se rapportent à l’insuffisance des ressources financières

(38 %) et à la présence de compétences au sein de l’organisme (36 %).

Donc, le recours à une aide extérieure, qu’il soit requis pour une démarche interne ou en

réponse à une demande externe, semble pour certains groupes être un complément servant à

combler un besoin de réfléchir sur leur pratique et de systématiser l’évaluation. Il est à noter

que la demande semble être demeurée la même depuis le début des années 2000, soit près

du tiers des organismes qui ont eu recours à une aide extérieure, si l’on se fie aux résultats

de l’enquête de René et al. en 2001. On note aussi que plus un organisme a un budget de

fonctionnement élevé, plus il a tendance à recourir à une aide extérieure 13.

4.3.6 Constats issus de l’analyse quantitative

La majorité des résultats quantitatifs corroborent les constats des autres études dans le

même domaine (Hall, 2003; Fine et al., 1998). De façon générale, il se dégage un consensus à

propos des éléments suivants :

• Les besoins des organismes identifiés en termes de soutien et d’accompagnement en

évaluation sont liés à des lacunes sur le plan des connaissances et de la méthodologie

en général.

• Le manque de ressources en temps/disponibilités et en argent joue un rôle majeur dans

les obstacles rencontrés par les groupes.

De plus, la tendance générale des résultats suggère que la réalisation d’évaluations internes

réflexives et critiques devient de plus en plus difficile dans un contexte de complexification

des demandes externes axées sur les résultats visés par les bailleurs de fonds et leurs

programmes, plutôt que ceux visés par les organismes.

Par ailleurs, nos résultats révèlent que du point de vue des organismes ayant répondu

à l’enquête, il existe un écart entre les bailleurs de fonds et les organismes en ce qui a trait à la

signification de l’évaluation. Les organismes l’associent d’emblée à la réflexion, à l’amélioration

des actions pour mieux répondre aux besoins de la population alors que les bailleurs de fonds

veulent en premier lieu vérifier les effets et l’utilisation des fonds attribués.

94

13. Relation significative (p≤0.01) dégagée du croisement des résultats de l'enquête.

Notre recherche apporte certains compléments d’informations aux études existantes sur le

sujet. Tout d’abord, elle permet de faire état de l’augmentation des pratiques évaluatives dans

les dernières années. Dans l’étude de René et al. (2001), 70 % des organismes disaient avoir

fait de l’évaluation interne, comparativement à 94 % en 2004. Ensuite, notre recherche a

permis aux groupes de préciser le type d’évaluation interne réalisé, c’est-à-dire de détailler

davantage la participation des acteurs à chacune des étapes de l’évaluation et d’indiquer

le type d’accompagnement reçu, à savoir la contribution respective de l’organisme et de la

personne spécialiste.

Nous pouvons conclure la section quantitative des résultats sur les deux constats suivants :

1. l’évaluation interne semble tournée vers la réponse aux besoins et la correspondance

entre les actions et les besoins identifiés, donc la pertinence sociale de la mission;

2. l’évaluation réalisée en réponse à une demande externe tend plutôt vers la reddition

de comptes, la description des activités et des participants, dans un but de justifier un

financement reçu et de faire reconnaître les pratiques.

95

96

CHAPITRE IVPO RTR AIT D ES P R ATI Q U ES ÉVALUATIVES

LES FAITS SAILLANTS

Études de cas

• Parmi les résultats significatifs constatés, on remarque que les démarches d’évaluation contribuent à :

- assurer une meilleure qualité de services,- se remettre en question et être ouvert aux changements qui surviennent dans la communauté,- améliorer le fonctionnement d’une organisation et dynamiser sa vie associative,- favoriser la reconnaissance des approches alternatives,- rehausser la crédibilité d’un organisme,- accroître un rapport de force.

• Les facteurs qui favorisent particulièrement la démarche d’évaluation sont :- un financement qui soutient l’organisme durant la réalisation de toute la démarche

évaluative et qui permet l’embauche d’une ressource externe,- une ressource externe d’expérience, qui connaît et respecte la réalité du milieu communautaire, dont le rôle est de favoriser l’appropriation de la démarche et

de s’assurer de sa rigueur,- l’approche participative qui constitue une motivation à s’impliquer dans l’évaluation

et permet d’ajuster la démarche à la réalité des participantes et participants de l’organisme, en prévoyant du temps pour l’appropriation,

- un processus en lien avec les objectifs et les valeurs de l’organisme.

• Les facteurs qui nuisent à la démarche évaluative sont :- le manque de financement et de ressources techniques pour appuyer la réalisation

de l’évaluation,- le manque de connaissances et d’informations en évaluation,- la longueur du processus, son caractère énergivore.

97

CHAPITRE IVPO RTR AIT D ES P R ATI Q U ES ÉVALUATIVES

LES FAITS SAILLANTS (SUITE)

Entrevues auprès des personnes-clés

Enjeux liés aux ressources • Les groupes consacrent une grande part de leurs ressources à la course aux subventions

pour assurer leur survie, au détriment de la consolidation et de l’évaluation de leurs activités.

Rapports entre les organismes et les bailleurs de fonds• L’évaluation est trop souvent perçue comme un outil de contrôle des dépenses

publiques. Le fait de réduire l’évaluation à la reddition de comptes constitue la principale source de tension entre les organismes et les bailleurs de fonds.

• L’inégalité des rapports entre les bailleurs de fonds et les organismes influence directement la façon dont se fait l’évaluation. Les organismes peuvent adopter deux types d’attitude face à une telle situation, soit la proaction ou la réaction.

• Certains organismes ne sont pas conscients de leur pouvoir de négocier alors que d’autres en sont extrêmement conscients et négocient les contenus et les finalités de l’évaluation proposés par les bailleurs de fonds.

• Le défi consiste pour les organismes communautaires à transformer les exigences des bailleurs de fonds en opportunité pouvant favoriser la réflexion.

Rapports entre les spécialistes en évaluation et les organismes• La différence entre les personnes-ressources ne réside pas tant dans les approches

mises de l’avant, les techniques employées ou la provenance du spécialiste et de l’organisme, mais dans les intérêts et les valeurs qu’ils mettent de l’avant.

Rapports internes du milieu communautaire• L’évaluation peut susciter des tensions au sein d’un organisme ou d’un regroupement.

Certains membres peuvent voir l’évaluation comme un mécanisme de contrôle, croire que tout effort supplémentaire de réflexion sur leur pratique est impossible ou craindre que l’évaluation n’ait des conséquences négatives.

98

CHAPITRE IVPO RTR AIT D ES P R ATI Q U ES ÉVALUATIVES

LES FAITS SAILLANTS (SUITE 2)

Portrait tiré des résultats de l’enquête

• Les groupes se disent généralement favorables à l’évaluation (à plus de 95 %). • Pour quatre groupes sur cinq, l’évaluation est associée à la notion de réflexion et

d’amélioration des actions.• La réponse aux exigences d’un bailleur de fonds (37 %) et la vérification des effets

d’une activité (29 %) viennent ensuite comme motivations.

Évaluations internes :• Tous les groupes ou presque (94 %) réalisent des évaluations qu’ils ont initiées sur leurs

propres bases, de façon indépendante des bailleurs de fonds.• Les plus grands obstacles à l’évaluation interne sont le temps (62 %) et la disponibilité

des personnes (46 %). Le troisième obstacle le plus important est lié au manque de connaissances en évaluation (27 %).

• Les évaluations internes réalisées permettent aux groupes de :- améliorer nos activités (59 %),- être plus structuré dans notre pratique (42 %),- réfléchir sur notre mission et nos valeurs (38 %),- corriger le tir afin de réajuster nos activités (37 %).

Évaluations en réponse à des demandes externes :• Pour les groupes qui réalisent des évaluations en réponse à des demandes externes

(87 %), ces activités permettent de :- justifier un financement (68 %), - rendre des comptes (63 %),- faire reconnaître leur pratique (40 %).

• Les plus gros obstacles rencontrés par les groupes dans leurs relations avec les bailleurs de fonds concernant l’évaluation viennent des contraintes extérieures :- exigences différentes d’un bailleur de fonds à l’autre (59 %),- visions différentes de l’évaluation (36 %),- objectifs mesurables (32 %).

Recours à une aide extérieure : • Environ le tiers des groupes (35 %) ont déjà eu recours à une aide extérieure pour

une évaluation, tant pour une démarche d’évaluation interne (55 %) qu’en réponse à une demande externe (45 %).

• Les deux principales raisons pour lesquelles les groupes n’ont pas eu recours à une aide extérieure en évaluation sont l’insuffisance des ressources financières (38 %) et la présence de compétences au sein de l’organisme (36 %).

99

CHAPITRE IVPO RTR AIT D ES P R ATI Q U ES ÉVALUATIVES

LES FAITS SAILLANTS (SUITE 3)

Constats généraux :

• Le manque de ressources en temps, en disponibilités et en argent joue un rôle majeur dans les obstacles rencontrés par les groupes.

• La réalisation d’évaluations critiques et réflexives devient de plus en plus difficile dans le contexte de la complexification des demandes externes axées sur les résultats de la part des bailleurs de fonds.

• Dans leurs pratiques d’évaluation interne, les groupes visent à mieux répondre aux besoins des personnes, en lien avec la pertinence sociale de leur mission.

• Dans les pratiques d’évaluation réalisées à la suite d’une demande externe, les groupes répondent plutôt aux exigences de reddition de comptes : pour justifier un financement reçu et faire reconnaître leurs pratiques.

1

CHAPITRE V

ANALYSE ET DISCUSSION SURLES PRATIQUES ÉVALUATIVES

Le projet ARPÉOC a pour objectifs de décrire l'état des pratiques d’évaluation au sein des

organismes communautaires et bénévoles québécois, mais aussi de dégager les conditions qui

facilitent le renforcement de leurs pratiques évaluatives ainsi que les obstacles à ces pratiques.

Cette section du rapport s’attache à l’interprétation des résultats exposés au chapitre

précédent, en s’appuyant sur la littérature en évaluation. Nous faisons d’abord un retour sur

les conditions de base nécessaires à la réalisation de l’évaluation, pour présenter ensuite les

trois attributs de l’évaluation tels que dégagés par ARPÉOC : la systématisation, la participation

et la réflexion critique. Cette perspective stratégique est exposée au moyen d’un schéma sous

forme de pyramide. Analysant le rôle joué par les acteurs dans le processus d’évaluation,

nous nous efforçons de dégager les facteurs de renforcement des pratiques évaluatives au

sein des organismes communautaires.

5.1 La perspective stratégique de l’évaluation

5.1.1 Conditions de base

5.1.1.1 Ressources nécessaires aux pratiques évaluatives

Comme on l’a vu, le financement de base et les ressources humaines et techniques cons-

tituent des conditions sine qua non pour qu’un organisme communautaire puisse mener des

démarches évaluatives significatives (René et al., 2001; Hall et al., 2003). Pour réaliser une évaluation,

il est indispensable qu’un organisme bénéficie de conditions de base telles que :

- un financement en appui à sa mission lui assurant un fonctionnement raisonnablement stable,

- un soutien financier spécifique à la réalisation de la démarche d’évaluation, en particulier

lorsque celle-ci est exigée par le bailleur de fonds,

- une certaine expertise interne en recherche et en analyse,

- du temps consacré à la démarche (comme nous le rappelle l’expérience d’autoévaluation

Epsilon, le manque de temps peut être un faux problème),

- un soutien sur le plan technologique,

- une démarche associant les ressources internes (conseil d’administration, direction,

membres, personnel, bénévoles, personnes usagères ou participantes).

Confrontons cette lecture des conditions de pratique des groupes aux résultats de la

recherche menée par ARPÉOC en ce qui a trait aux conditions favorables et aux difficultés

rencontrées par les organismes communautaires dans le domaine de l’évaluation.

Corroborant les auteurs consultés (Chaytor, McDonald et Melvin, 2002), les résultats de notre

recherche convergent : le manque de ressources représente un obstacle majeur à l’évaluation

dans les organismes communautaires et influence grandement la motivation à y prendre part.

Les éléments de bilan dégagés des études de cas nous ont ainsi appris que, sur le plan des

ressources, les facteurs ayant favorisé les démarches d’évaluation sont :

- l’attitude proactive des organismes,

- la situation financière et la stabilité des organismes,

- un financement qui soutient l’organisme durant toute la démarche et qui permet

l’embauche d’une ressource externe d’expérience,

- des connaissances en évaluation et des aptitudes en recherche et en médiation,

- la pertinence de la démarche et son caractère rassembleur en lien avec les valeurs et

les objectifs de l’organisme.

Parmi les facteurs qui peuvent nuire au processus d’évaluation, plusieurs problèmes ont

été identifiés en lien avec les ressources :

- le manque de financement pour appuyer les démarches évaluatives et développer ensuite

les pratiques,

- le manque de motivation envers une démarche jugée non prioritaire,

- le roulement du personnel et des bénévoles et le problème de la relève face au besoin

de démarche continue en évaluation,

- le manque de temps au regard de la longueur du processus qui peut être très énergivore.

Tout cela est confirmé par les autres résultats de notre recherche, tant par les entrevues

avec les personnes-clés que par les résultats de l’enquête, qui nous apprend notamment

102

que les plus grands obstacles à l’évaluation interne sont le temps (62 %) et la disponibilité

des personnes (46 %).

Ces résultats nous ont révélé de plus que :

• Les organismes doivent consacrer à l’évaluation un temps, de l’énergie, une expertise

et un budget... qu’ils n’ont pas.

• L’instabilité des organismes constitue un obstacle au développement des connaissances en

évaluation et à la consolidation des pratiques.

Conditions spécifiques à prendre en considération

L’expérience de la première étude de cas se révèle particulièrement éclairante sur les

conditions favorables à une évaluation réussie. La première de ces conditions est liée à la capacité

de l’organisme à assumer le bon déroulement de l’évaluation et, surtout, ses conséquences.

« L’organisme en développement sera en mesure de considérer les résultats et de faire les modifications qui découlent de l’évaluation, mais le groupe aux prises avec un fort taux de roulement ne pourra pas. C’est bien beau de faire des constats, mais si l’on n’a pas les moyens de faire des changements, cela ne sert à rien ! » (Extrait de l’étude de cas 1, entrevue 2)

Il apparaît important d’assurer un soutien bien adapté aux besoins de l’organisme. L’investissement

d’énergie demandé par la réalisation de la cueillette de données doit notamment être pris en

considération. Il serait bon également, une fois qu’un cadre d’évaluation a été défini par l’organisme

ou le regroupement, de fournir aux groupes des ressources concrètes en évaluation, telles que des

banques de données, des logiciels adaptés et des exemples de questionnaires.

D’autre part, on juge essentiel de supporter financièrement la présence d’une personne à la

permanence chargée de soutenir et d’alimenter la démarche. Ce support s’avère nécessaire afin

de faire face aux difficultés rencontrées associées au manque de ressources et au roulement

de personnel ainsi qu’à une baisse de motivation éventuelle. Cela semble particulièrement

aigu comme besoin du côté des petits groupes.

« Pour les petites ressources, qui ont seulement une ou deux personnes employées, ce sera impossible d’assurer un suivi. Si l’on ne reçoit pas de soutien, plusieurs vont laisser tomber pour continuer de s’occuper de la survie, de répondre aux urgences et d’éteindre des feux ! » (Extrait de l’entrevue 5-6-7)

103

Il est intéressant de constater que le soutien nécessaire à la poursuite du processus

d’évaluation reflète aussi le besoin des organismes de prendre distance du travail au quotidien

axé sur les urgences répétées afin de réfléchir sur leur intervention et se donner les moyens

de « mieux travailler ».

On voit que l’accès aux ressources exposées ici constitue tout autant une condition préalable

à une démarche réussie en évaluation qu’un facteur de pérennité pour en assurer la continuité

dans un but d’amélioration des pratiques d’intervention des groupes communautaires.

Tout en confirmant l’importance des conditions de départ pour la réussite d’une évaluation,

la deuxième étude de cas vient nous éclairer sur d’autres facteurs intervenant dans le

succès de la démarche.

Ainsi, il serait stimulant pour les organismes de favoriser l’échange d’informations

concernant les démarches d’évaluation existantes afin que les autres puissent s’en inspirer. Tout

en prenant en considération le contexte dans lequel sont utilisés les outils, car une démarche

réussie dans un organisme peut fort bien ne pas être pertinente ailleurs.

Enfin, outre la nécessité de procéder à une mise à niveau des personnes impliquées dans

la démarche d’évaluation, plusieurs soulignent l’importance d’avoir accès à des personnes-

ressources, à un soutien technique, en cas de besoin.

5.1.1.2 Rapports entre les acteurs

Il ne suffit pas de posséder les ressources et l’expertise pour réaliser des évaluations

significatives. Un organisme qui veut réaliser une évaluation doit aussi vérifier l’existence

d’un autre ordre de conditions préalables : des relations entre les acteurs en appui à la

démarche. Ces acteurs sont :

- le milieu communautaire : le regroupement et ses membres, ou l’organisme,

- le bailleur de fonds concerné, le cas échéant,

- la personne spécialiste.

Encore ici, il s’agit de s’assurer que les conditions sont réunies pour réaliser une démarche

fructueuse. On peut observer deux types de rapports entre les acteurs :

- des chocs de cultures (Lamoureux, 1994; Bouchard et al., 2003),

- des rapports de pouvoir et d’influence (Panet-Raymond, 1992; Proulx et al., 2005).

104

Le regroupement ou l’organisme qui désire s’engager dans une démarche d’évaluation

devra tenir compte de la dynamique particulière établie entre les différents acteurs, qui peut

consister en l’un ou l’autre de ces deux types de rapports (chocs de cultures et rapports de

pouvoir), ou plus vraisemblablement d’un alliage des deux. Il aura intérêt à surveiller l’évolution

de ces rapports tout au long du processus, en visant à établir et à maintenir une relation basée

sur la bonne foi et l’engagement des personnes dans le succès de la démarche.

Le milieu communautaire et l’État

Sur le plan culturel, on a vu que les établissements institutionnels et les organismes com-

munautaires présentent des différences fondamentales (René et al., 2001). Les uns poursuivent

une mission bien précise définie par l’État alors que les autres voient leurs mandats définis en

fonction des besoins de la communauté. Ces différences se traduisent dans leurs conceptions

de l’évaluation. Pour les organismes, l’évaluation a une connotation de bilan alors que la

fonction de vérification est centrale pour les bailleurs de fonds.

Les résultats de notre recherche vont dans le même sens. Les informations recueillies

dans le cadre de notre enquête ainsi qu’auprès des personnes-clés indiquent que l’un des

enjeux importants relatifs aux rapports entre les organismes et les bailleurs de fonds relève des

différences entre les visions de l’évaluation de ces deux catégories d’acteurs. En effet, 36 %

des groupes identifient comme une embûche ces visions différentes.

L’évaluation est ainsi perçue par les bailleurs de fonds comme une manière pour les

organismes de rendre des comptes pour les fonds reçus, et donc comme un mécanisme

de contrôle des dépenses publiques. Les organismes seraient de plus en plus influencés

par cette façon de voir, malgré l’existence d’un paradigme différent fondé sur leur définition

du changement. Car, pour les groupes communautaires : « (…) ce qu’il faut évaluer relève

plus du social que du changement de comportement ou de l’acquisition d’habiletés » (Extrait

de l’entrevue 5).

Les études de cas nous renseignent sur d’autres facteurs qui nuisent aux démarches

évaluatives, tels que des attentes irréalistes de la part des bailleurs de fonds et des exigences

différentes d’un bailleur de fonds à l’autre (cela est aussi corroboré par 59 % des groupes ayant

répondu à notre enquête). La quantité de « paperasse » et les délais de réponse exagérément

longs de la part des bailleurs de fonds font aussi partie des obstacles identifiés.

105

Par ailleurs, les pratiques évaluatives analysées nous rappellent également qu’une bonne

collaboration avec le bailleur de fonds permet d’établir une relation de confiance avec ce

dernier, qui fait à son tour preuve d’ouverture. La présence d’alliés portant un intérêt au

développement des pratiques des organismes plutôt qu’à la reddition de comptes facilite aussi

l’établissement de ce climat de confiance ainsi que la négociation.

Sous l’angle des rapports de pouvoir, la question de l’évaluation interpelle la reconnaissance

de la spécificité de l’action communautaire et le respect de son autonomie (Garon et Roy, 2001).

L’évaluation est encore trop souvent vue comme un moyen de ramener la mission des organismes

communautaires à ce qui est financé, c’est-à-dire aux programmes encouragés par l’État.

Selon les personnes-clés interviewées dans le cadre de notre recherche, l’inégalité des

rapports influence directement la façon dont se fait l’évaluation. Les organismes n’ont pas tous

la même force de négociation face aux bailleurs de fonds. Ils peuvent adopter deux types

d’attitude devant une telle situation, soit la proaction ou la réaction. Certains ne sont pas

conscients de leur pouvoir de négocier alors que d’autres en sont extrêmement conscients.

Cependant, même les plus aguerris ont besoin des spécialistes pour les soutenir dans leur

négociation, de façon à pouvoir rendre compte de leur spécificité. Les bailleurs de fonds ont

néanmoins tendance à imposer des critères et des mécanismes d’évaluation qui restreignent

la créativité et la culture d’évaluation propres aux milieux communautaires. Les résultats

de l’enquête menée sur le terrain auprès des organismes confirment cette difficulté : les

principales contraintes rencontrées en évaluation viennent des bailleurs de fonds, notamment

les attentes exprimées en termes d’objectifs mesurables (32 %).

Le défi pour les organismes communautaires consiste à cet égard à faire respecter leur

intégrité tout en transformant les exigences des bailleurs de fonds en opportunité de réflexion.

Cela ne peut se faire qu’en s’appuyant sur la négociation (Comité ministériel sur l’évaluation, 1997),

ce que confirment nos études de cas.

Les organismes communautaires et les spécialistes

Les auteurs sont nombreux à dire que les milieux communautaires et les spécialistes en

évaluation appartiennent à deux mondes différents sur le plan culturel (Zuniga, 1997). Les uns

valorisent la pertinence sociale de leur action alors que les autres croient plutôt en l’objectivité

et une certaine neutralité, sans que ces deux catégories d’acteurs forment des cultures

diamétralement opposées, car il existe des passerelles entre leurs mondes de valeurs.

106

Selon les personnes-ressources interviewées, les différences ne résideraient pas tant dans

les approches mises de l’avant ou les techniques employées que dans les intérêts et les

valeurs des acteurs. Ce qui amène certains à suggérer quelques questions-clés pour arriver à

bien cerner les valeurs et les intérêts d’une ou un spécialiste.

Les relations entre spécialistes et groupes communautaires sont également teintées de

rapports de pouvoir, bien que les milieux de la recherche sociale moderne se soient ouverts

aux approches participatives. Le défi pour les spécialistes consiste entre autres à démontrer

patience, ouverture et tolérance dans le but de réaliser des évaluations respectueuses de

la réalité des organismes. Pour les organismes, il s’agit d’accepter de s’impliquer dans

un processus exigeant qui leur demande de s’outiller et... de négocier (Wallerstein, 1999;

Barreto-Cortez, 1999).

Les études de cas nous indiquent à cet égard qu’une ressource externe d’expérience

constitue un apport important à l’évaluation dans la mesure, notamment, où elle connaît et

respecte la réalité des milieux communautaires et où elle contribue à favoriser l’appropriation

de la démarche tout en s’assurant de sa rigueur. Rappelons qu’un peu plus du tiers (35 %)

des groupes ayant répondu à notre enquête ont déjà eu recours à une aide extérieure pour

une évaluation. Cependant, ce sont les groupes qui ont les budgets de fonctionnement le plus

élevés qui ont tendance à recourir à cette aide.

107

Encadré 8

QUELQUES QUESTIONS À SE POSER POUR BIENCHOISIR UNE OU UN SPÉCIALISTE EN ÉVALUATION

• Qui paie la personne spécialiste, l’organisme ou le bailleur de fonds ?

• À qui la personne spécialiste doit-elle rendre compte de son travail ?

• Quelles sont les contraintes à l’intérieur desquelles elle doit réaliser son mandat ?

La réponse à ces questions fournit de bons indices pour comprendre quel type de

rapport est susceptible de s’installer entre l’organisme et la personne spécialiste.

Ces études nous confirment aussi que des enjeux éthiques sont soulevés à différentes

étapes de l’évaluation, notamment lors de l’identification des indicateurs, de l’utilisation des

questionnaires, etc. La pratique évaluative doit prendre en compte le bien commun en fonction

de valeurs telles que la justice et l’autonomie. Ce qui suppose, de la part de tous les acteurs,

de développer le sens de la responsabilité sociale (Zuniga, 2001).

5.1.2 Perspective du projet ARPÉOC : les trois attributs de l’évaluation

Tel que rappelé dans l’introduction de ce rapport, il n’existe pas aujourd’hui au sein de

la communauté scientifique de définition commune dans le champ de l’évaluation sur les

approches ou les modèles utilisés. Certains auteurs-clés ont cependant contribué à baliser

le champ de pratique en milieu communautaire. Nous croyons que le moment est venu de

convenir de certaines définitions de base dans ce domaine et nous soumettons au débat

une proposition de lexique à valider par les milieux concernés, tant du côté scientifique que

du côté communautaire (Voir Annexe 1, Lexique de l’évaluation : Définitions tirées de chercheurs-clés dans

le domaine de l’évaluation au Québec).

Parmi les différents types de pratiques existants, ARPÉOC a fait le choix de s’appuyer sur

l’approche participative mise de l’avant par le Comité ministériel sur l’évaluation (1997), ce qui

avait aussi été le choix de NOVA (2000).

Poussant un peu plus loin la réflexion, sur la base des différents modèles étudiés et de la

recherche réalisée sur le terrain, ARPÉOC considère comme un idéal à atteindre en évaluation un

processus participatif et systématisé de réflexion critique visant à poser un jugement sur

la valeur d’une pratique. De cette vision de l’évaluation, nous avons dégagé trois attributs de la

pratique évaluative : la systématisation, la participation et la réflexion critique (Voir Figure 2).

108

Figure 2 Trois attributs de la pratique évaluative

Participation Systématisation

Réflexion critique

5.1.2.1 Systématisation

Le premier attribut de l’évaluation touche à la systématisation, c’est-à-dire à la formalisation

des pratiques évaluatives des organismes communautaires. Par systématisation, nous entendons

que l’évaluation devrait se faire avec méthode. Plusieurs ouvrages traitent de cette dimension.

Ils contiennent des recommandations diverses sur les approches, les méthodologies et les

techniques à employer pour maximiser la systématisation. Le Guide d’évaluation participative

et de négociation développé dans le cadre de la formation NOVA représente un exemple d’outil

dédié aux groupes communautaires pour les aider à systématiser leurs pratiques évaluatives.

On y retrouve des instruments de cueillette d’informations, des définitions et des outils

divers d’évaluation et de négociation, ainsi que des recommandations en terme d’étapes :

1) vérification des conditions préalables, 2) préparation de l’évaluation, 3) réalisation de

l’évaluation, 4) diffusion des résultats et des décisions et 5) retour sur la démarche.

Essentiellement, selon le Guide d’évaluation participative et de négociation, évaluer de

façon systématique consiste à :

« Porter un jugement sur la valeur d’un objet clairement défini à partir d’informations méthodiquement recueillies selon des critères explicitement énoncés, pour ensuite décider des mesures à prendre qui découlent de ce jugement. » (Midy, Vanier et Grant, 1998)

Nous sommes d’avis qu’une évaluation implique nécessairement une systématisation de

la démarche portant vers une réflexion.

5.1.2.2 Participation des acteurs

La participation des citoyens constitue la base de la démocratie. Elle se définit par

l’implication individuelle ou collective dans un processus de prise de décision, d’action, ou

d’expression de solidarité. Forest et al. (2003) accordent à la participation publique trois grandes

fonctions : recueillir de l’information sur les valeurs et les préférences des publics sollicités,

concilier les différents groupes d’intérêts en favorisant le dialogue et la compréhension

mutuelle, faciliter l’appropriation par la population des services publics qui lui sont destinés et

qu’elle finance de ses impôts collectifs.

Ces trois fonctions peuvent s’appliquer à la pratique de l’évaluation. En effet, la cueillette

de l’information sur les besoins et préférences des personnes impliquées dans une évaluation

contribue, à travers la participation, à l’appropriation des éléments de la démarche et du

109

processus. De plus, une démarche participative permet une implication diversifiée à l’intérieur

d’un groupe et favorise le rapprochement des différences entre acteurs ayant des points de

vue opposés. La participation s’avère donc incontournable pour un processus d’évaluation

qui se veut réussi.

C’est pourquoi l’évaluation ne peut se faire en vase clos. Elle doit placer les personnes

participantes au cœur du processus. Les raisons invoquées en ce sens sont à la fois théoriques

et pratiques. Sur le plan théorique, on reconnaît qu’il est impensable de ne pas évaluer dans

l’action et que l’évaluation sert en premier lieu les personnes participantes (Midy, Vanier et Grant,

1998). Sur le plan pratique, on conçoit que celles-ci sont parmi les mieux placées pour savoir ce

qu’il convient d’évaluer et dans quel but, qu’elles détiennent des informations incontournables

à l’évaluation et que ce sont elles qui auront à mettre en œuvre les recommandations finales

de l’évaluation (Midy, Vanier et Grant, 1998). Certains avantages sont associés à l’adoption d’une

méthodologie participative en évaluation, notamment une meilleure prise en compte de la

réalité complexe de l’action et du milieu ainsi que la mise en lumière d’éléments méconnus

mais essentiels à la compréhension (Garon et Roy, 2001). De plus, la mise en place d’un processus

démocratique diversifie les perspectives, favorise une meilleure appropriation des résultats et

augmente la crédibilité des évaluations (Garon et Roy, 2001; Fine, Thayer et Coghlan, 1998).

L’évaluation participative accorde une place centrale à la participation de tous les acteurs

concernés. Cela permet de prendre en compte leurs valeurs, leurs points de vue, leurs

intérêts et leurs attentes à chacune des étapes de l’évaluation. Ces principes sont d’ailleurs

mis de l’avant dans les recommandations du Comité ministériel sur l’évaluation. Le rapport du

Comité présente trois balises devant guider la participation :

• Le POURQUOI : Les objectifs de l’évaluation doivent toujours être définis clairement par les

partenaires concernés et faire l’objet d’un consensus. On doit également s’assurer que ces

objectifs sont bien compris de la même façon par tous les partenaires.

• Le QUOI : Les partenaires doivent négocier ce qui fera l’objet ou non de l’évaluation selon

leurs besoins et leurs perspectives propres et selon le contexte dans lequel ils évoluent.

• Le COMMENT : Toute démarche évaluative doit procéder par étapes. Ces étapes doivent

faire l’objet d’une entente écrite entre les partenaires qui participent à l’évaluation. La

démarche doit permettre à tous les acteurs concernés de participer de façon active à

toutes les étapes.

(Tiré de : Comité ministériel sur l’évaluation, 1997)

110

Dans la réalité des milieux communautaires, susciter et maintenir la participation de

l’ensemble des personnes concernées par l’évaluation représente un défi de taille (Garon et

Roy, 2001). La majorité des démarches évaluatives impliquent un minimum de participation des

acteurs, mais rares sont celles qui obtiennent une participation « mur à mur ». La continuité

dans la démarche d’évaluation, c’est-à-dire que les mêmes acteurs participent à toutes les

étapes du processus, semble aussi difficile à maintenir (Garon et Roy, 2001). D’ailleurs, notre

enquête indique que ce sont principalement les membres de la coordination/direction qui

sont impliqués à toutes les étapes de l’évaluation. Cette observation interpelle les conditions à

mettre en place pour favoriser une évaluation participative.

5.1.2.3 Réflexion critique

L’évaluation ne se limite pas aux seules considérations se rapportant à la systématisation

et à la participation. Elle comporte aussi une dimension de réflexion critique. Compte tenu de

l’importance de son apport aux pratiques alternatives des groupes communautaires, on peut

affirmer que cette dimension constitue en fait la base du processus d’évaluation.

Pour Corin (1995), la réflexion critique dans la recherche évaluative avec les groupes

communautaires emprunte deux avenues. Elle doit d'abord permettre de critiquer l’État,

c’est-à-dire d’utiliser les modes de pratique des groupes comme outils d’analyse et de critique

des postulats sur lesquels reposent les programmes mis au point par les établissements et

instances politiques. Deuxièmement, elle doit donner lieu à une autocritique, c’est-à-dire à un

examen de la validité, de la pertinence et des limites des modes de pratiques qu’on adopte

ou encourage, et ce, à partir d’une analyse des pratiques des communautés et des personnes

participantes ainsi que des significations et valeurs qui les fondent.

La notion de réflexion critique situe l’évaluation dans une perspective de changement

social. Selon Rodriguez (2001), au delà du mécanisme de vérification, l’évaluation est un outil

de transformation sociale permettant de critiquer mais aussi d’améliorer et d’orienter les

politiques sociales et les programmes sociaux qui en découlent.

Garon et Roy (2001) avancent qu’une évaluation bien menée permet le développement de

l’autocritique des personnes participantes, ce qui contribuerait à alimenter la vie démocratique

de l’organisme. Cela permettrait d’éviter le piège de l’autosatisfaction. Or, un organisme ou

un regroupement doit être prêt à s’engager dans une telle démarche (Botcheva, Roller, White et

111

Huffman, 2002; Corin, 1995; Gaudreau et Lacelle, 1999; Midy, Vanier et Grant, 1998). « Être prêt » signifie

pour Corin (1995) d’accepter

« de jeter un regard critique sur la manière dont [on] travaille […], sur les décalages pouvant exister entre discours et pratique » (p. 55). « C’est une démarche exigeante, en ce qu’elle force chacun à expliciter, pour soi-même et pour les autres, le cadre de référence et les postulats à partir desquels il perçoit et comprend la réalité et à accepter de les interroger et de les mettre en tension avec d’autres approches. » (Corin, 1995 : 45-46)

Une des conditions permettant un processus réellement réflexif et critique consiste pour les

personnes à avoir expérimenté au préalable un processus de réflexion et d’analyse concernant

leurs propres pratiques, ce qui facilite la reconnaissance de l’apport particulier de l’autre

à l’évaluation (Corin, 1995).

5.1.3 Schématisation de l’évaluation

Ces trois attributs (systématisation, participation et réflexion critique) constituent les

fondements de la perspective portée par ARPÉOC en matière de pratique évaluative.

Si, pour le projet ARPÉOC, la démarche d’évaluation idéale consiste en un processus

participatif et systématisé de réflexion critique visant à poser un jugement sur la valeur

d’une pratique, il nous faut constater que peu de démarches sont en mesure de correspondre

entièrement à cet idéal. Cela tient aux conditions dans lesquelles se réalise l’évaluation pour

la très grande majorité des groupes, comme nous l’avons vu à travers la présentation des

résultats de notre enquête.

Pour présenter cette perspective de façon réaliste, il faut donc prendre en considération les

conditions de réalisation de la pratique de l’évaluation dans les organismes communautaires.

En mettant en lien les trois attributs dégagés par ARPÉOC avec les acquis théoriques du

Chapitre II sur la recension des auteurs présentant ces conditions, nous arrivons à une

schématisation de l’évaluation selon une perspective stratégique en trois parties, partant de

la base d’une pyramide (Voir Figure 3).

Tout organisme ou regroupement devrait l’avoir en tête pour négocier les conditions de

réalisation d’une évaluation avant de s’engager face à un bailleur de fonds ou face à ses

membres. Une évaluation est un exercice exigeant, qui peut avoir des impacts très mobilisateurs

sur une organisation lorsqu’on s’assure d’avoir des bases solides pour la réaliser.

112

1

LES RAPPORTSENTRE LES ACTEURS

LES RESSOURCES

Choc des cultures

• avec les spécialistes• avec les bailleurs de fonds

• au sein des milieux communautaires

Rapports de pouvoir

Parti

cipat

ion

Réflexioncritique

Systématisation

Argent

Technologie

Temps

Expertise technique et sociale

Conseil d’administrationMembres - Personnel

Bénévoles

LA PRATIQUEDE L’ÉVALUATION

N

Figure 3Perspective stratégique de l’évaluation

M.D.

5.2 Les conditions de renforcement des pratiques évaluatives

Sur la base des résultats d’ensemble de notre recherche, nous pouvons dégager un certain

nombre de conditions de renforcement de l’évaluation qui sont propres à chaque catégorie

d’acteurs, dont plusieurs sont en lien avec les attributs de la perspective de l’évaluation

mise de l’avant par ARPÉOC.

5.2.1 Du côté des organismes communautaires

En concordance avec les approches valorisées par certains auteurs (Vaillancourt, 1994), les

résultats de notre recherche indiquent qu’il appartient aux organismes de prendre position

face à leur propre démarche d’évaluation. Décider d’être proactif plutôt que réactif peut

représenter un changement de philosophie important pour un groupe communautaire qui se

situe dans un rapport a priori inégal avec son vis-à-vis gouvernemental. Les études de cas

réalisées viennent tout particulièrement appuyer cette orientation proactive. Nos résultats font

valoir également l’intérêt de l’approche participative associée à une perspective critique.

« La culture de participation dans les milieux communautaires est une condition facilitatrice pour la pratique de l’évaluation. Quand les gens trouvent le temps et participent, ils se sentent concernés. Les organismes communautaires prennent en compte le point de vue de leurs membres : c’est aidant. C’est différent par exemple dans une institution ou un organisme d’un autre type où l’on fait une évaluation et où les gens pensent que ce qu’ils vont dire ne servira à rien et qu’ils ne seront pas écoutés. Ce n’est pas le cas dans les groupes communautaires. Les gens savent que, si on leur demande leur point de vue, ils vont être écoutés. » (Extrait de l’entrevue 7)

D’autre part, la question de la participation soulève un autre enjeu : le danger d’application

« mur à mur » de toute approche jugée très valable dans un milieu sans pour autant être

nécessairement transférable à 100 % dans un autre milieu dont la réalité est différente,

comme le fait bien ressortir la deuxième étude de cas. La participation doit-elle nécessairement

impliquer tous les acteurs à toutes les étapes d’une démarche d’évaluation pour que celle-ci

soit jugée valable ? Quels seraient les critères pour déterminer les temps et lieux à investir ?

Comment favoriser l’implication soutenue des membres d’un organisme à un tel exercice en

assurant le maintien de l’intérêt à moyen et long terme ? Ce sont là des questions que pourrait

investiguer une étude plus poussée sur des expériences d’évaluation participative.

114

Regroupées ici par grands thèmes, plusieurs conditions peuvent favoriser le renforcement

des pratiques évaluatives de la part des organismes communautaires :

• Être proactif face à l’évaluation

- avoir une philosophie proactive : faire le choix de s’engager dans une démarche

évaluative, lui donner du sens sur la base des valeurs et de la mission de l’organisme;

- faire de l’éducation auprès des bailleurs de fonds pour les sensibiliser au réalisme des

évaluations et à la réalité de l’organisme;

- posséder des habiletés en négociation permettant d’établir une bonne collaboration

et un contact régulier avec le bailleur de fonds suscitant l’ouverture et permettant

une relation de confiance;

- développer des rapports égalitaires avec le bailleur de fonds.

• Faire une réflexion qui met l’accent sur le développement (« réflexion critique »)

- situer la pertinence de l’évaluation pour l’organisme en lien avec l’amélioration de ses

pratiques et l’accroissement de son pouvoir d’influence;

- valoriser l’évaluation en tant qu’outil permettant d’assurer une meilleure qualité de

services à la population, le développement de l’organisme et la reconnaissance de

la qualité de ses interventions;

- insister sur le concept d’autoévaluation et ses avantages pour le développement de

l’organisation et sur l’importance de sortir d’une optique de reddition de comptes dirigée

vers le bailleur de fonds : près de 9 groupes sur 10 (87 %) de notre enquête rapportent que

cette démarche permet avant tout de réfléchir sur leurs actions afin de les améliorer;

- assurer une visibilité à la démarche et à ses retombées positives : près de la moitié des

groupes (40 %) mentionnent que les évaluations en réponse à des demandes externes

permettent de faire reconnaître leurs pratiques.

• Favoriser une démarche participative (« participation »)

- développer une culture de participation : l’approche participative s’inscrit bien dans

la philosophie et les valeurs de l’organisme communautaire et permet de trouver la

motivation pour surmonter les difficultés associées au temps et à l’énergie considérable

qu’exige le processus;

- asseoir tous les acteurs concernés autour de la table dès le début du processus

d’évaluation pour concilier les regards différents et dégager des objectifs communs;

- s’appuyer sur le caractère participatif de la démarche pour susciter un effet rassembleur

au sein de l’organisation;

115

- favoriser l’appropriation du processus par toutes les personnes concernées, en parti-

culier par le personnel de façon à assurer l’intégration de la démarche d’évaluation aux

activités et favoriser la compréhension et la participation des personnes participantes;

- faire en sorte que les personnes participantes aient du pouvoir sur la démarche en

les invitant à faire partie des décisions et à avoir une prise sur tout le processus

(empowerment); les motiver en leur faisant sentir que leur point de vue est précieux

et qu’il est pris en considération, et qu’elles peuvent rendre quelque chose à

l’organisme (dans un rapport donnant / donnant);

- voir à instaurer des mécanismes de fonctionnement favorisant la participation, une

bonne diffusion de l’information concernant la démarche et, en conséquence, une

appropriation de celle-ci par l’ensemble des membres de l’organisme.

• Mettre de l’avant une démarche rigoureuse et respectueuse (« systématisation »)

- assurer la formation et la mise à niveau des participants à l’évaluation afin de démystifier

l’évaluation, favoriser l’appropriation du processus et les rassurer sur la démarche;

- préciser les règles éthiques en matière d’évaluation, notamment concernant le respect

de la confidentialité et l’utilisation des données;

- assurer le respect des personnes participantes et faire valoir leurs droits;

- inciter les personnes participantes à se prononcer sur ce qu’on veut évaluer et les

moyens qu’on va prendre, et à donner leur opinion sur tout ce qui les concerne,

particulièrement la définition des indicateurs qui réfère directement à leur vécu;

- désigner une personne comme responsable du dossier au sein de l’organisme pour

assurer la continuité de l’évaluation.

5.2.2 Du côté des bailleurs de fonds

Des écrits récents développent une analyse des rapports entre l’État et les organismes

communautaires soutenant que la relation peut évoluer avec le temps vers un renforcement de

l’influence mutuelle (Proulx et al., 2005). Certains de nos résultats appuient cette analyse, du moins

en ce qui concerne les études de cas. Celles-ci identifient un certain nombre de conditions de

renforcement en lien avec les attitudes des représentants institutionnels. De façon à favoriser

l’évaluation dans les organismes communautaires, les bailleurs de fonds sont ainsi invités à :

- adopter une attitude réaliste à l’égard des évaluations et des organismes et avoir des

exigences plus souples;

- favoriser une reconnaissance des démarches d’autoévaluation;

- favoriser l’établissement d’une relation de confiance avec les organismes;

116

- manifester de l’ouverture au changement et faire preuve d’ouverture à l’égard de ce qui

est proposé en vue d’installer une bonne collaboration, autant au niveau de la réalisation

des activités que de l’évaluation en elle-même;

- ne pas exiger de démarches complexes et lourdes de la part des organismes;

- soutenir financièrement l’élaboration et la réalisation des devis d’évaluation.

5.2.3 Du côté des spécialistes en évaluation

Les spécialistes doivent prendre conscience de leur pouvoir : ils ne peuvent rester neutres

puisque, en adoptant cette position, ils se font gardiens du statu quo (Zuniga, 2001). Tant les

personnes rencontrées dans le cadre du focus group que les personnes-clés interviewées ont

soulevé la question du rôle de la personne spécialiste face aux organismes et aux bailleurs de

fonds. Pour certains, elle joue un rôle d’accompagnatrice et intervient en appui à l’organisme

en démarche d’évaluation. Pour d’autres, la personne spécialiste joue davantage un rôle

d’évaluatrice et intervient entre l’organisme et le bailleur de fonds. Cette dernière position

suscite des réserves : « Face à une évaluation imposée par un bailleur de fonds, l’enjeu est d’obtenir la disponibilité d’une ressource qui met en œuvre un processus davantage axé sur l’autoévaluation. Je crains qu’il y ait davantage d’experts en évaluation au regard extérieur, qui disent aux groupes ce qu’ils n’ont pas fait comme il faut et ce qui a été fait correctement. Ce n’est pas ce qu’il y a de plus aidant pour les organismes. » (Extrait de l’entrevue 7)

Sans que cela dispose du fond de l’interrogation, certaines réponses sont fournies par un lot

de suggestions tirées des résultats de la recherche concernant le rôle de la personne spécialiste

et les qualités qu’on attend d’elle. Plusieurs considèrent que les spécialistes devraient clarifier

leurs positions vis-à-vis les bailleurs de fonds et les organismes communautaires avec qui ils

travaillent. Veulent-ils se cantonner dans leur statut d’experts techniciens ou être des alliés

crédibles de l’organisme auprès du bailleur de fonds ? Leur rôle peut parfois être ambigu. Nos

résultats indiquent que les personnes spécialistes ont intérêt à préciser leurs positions.

• Prendre position dans le rapport entre le bailleur de fonds et l’organisme

- définir pour qui travaille la ou le spécialiste;

- fournir des outils aux organismes en soutien à leurs demandes, en réponse à leurs

besoins;

- agir en tant qu’allié interne dans le réseau public;

- appuyer la négociation entre les organismes et les bailleurs de fonds;

117

- rechercher une solution « gagnant-gagnant » où les deux parties trouvent leur avantage;

- démontrer des aptitudes en médiation permettant d’aider à gérer les changements

organisationnels engendrés sur le plan interne, notamment par une capacité d’analyse

critique, et pouvoir susciter une motivation au changement en sachant composer

avec les résistances.

• Favoriser la participation à l’évaluation (« participation »)

- voir d’abord avec l’organisme ce qu’il veut améliorer, ce sur quoi il veut réfléchir;

ensuite, les outils s’y grefferont : l’appropriation passe par le sens de l’évaluation, pas

seulement par la méthodologie;

- faire en sorte que la spécificité de chaque organisme soit entendue et reconnue par

le cadre d’autoévaluation;

- ne pas se présenter aux organismes en tant qu’expert, mais adopter plutôt une

approche d’éducation populaire en se situant d’égal à égal;

- être disponible et flexible, en mesure de vulgariser la démarche afin de favoriser une

mise à niveau des connaissances sans perdre de vue la rigueur, avec une bonne

capacité d’adaptation à la culture des organismes;

- être à l’écoute, savoir faire ressortir les besoins, avoir la capacité de faire émerger de

façon claire et précise ce que veulent les gens; posséder des connaissances et un

respect de la réalité du milieu communautaire;

- faire en sorte que les membres des groupes prennent leur place dans le processus et

développer des mécanismes de participation concrets : consultations, comptes rendus,

fiches de suivi, lexique de l’évaluation et autres outils simples et flexibles;

- impliquer les intervenantes et intervenants en les consultant sur la démarche qui fera

désormais partie de leur fonctionnement;

- appliquer une approche pédagogique qui favorise l’appropriation, en particulier par les

personnes participantes, en expliquant clairement chaque étape de la démarche;

- être capable de reconnaître l’expertise de l’organisme ainsi que celle du personnel, des

membres et des personnes participantes.

• Mettre ses qualités et connaissances méthodologiques à l’appui d’une démarche

à la fois rigoureuse et accessible (« systématisation »)

- assurer un accompagnement continu auprès du groupe; effectuer de petites évaluations

continues plutôt qu’une grande opération fastidieuse;

118

- demeurer collé à la réalité de l’organisme, s’engager auprès de lui et se rapprocher le

plus possible de l’action, sans se situer comme partie prenante;

- être capable d’établir un climat de confiance avec les personnes impliquées dans la

démarche tout en sachant maintenir une certaine distance critique;

- être capable de relever le défi d’associer la réponse aux besoins des participants à

la rigueur de l’évaluation : maintenir un équilibre entre une démarche rigoureuse et

accessible, appliquer une « rigueur politique contrôlée »;

- formuler des propositions sur la base de son expérience, de sa formation et de sa

connaissance de la réalité du milieu communautaire; comprendre les besoins, en

ramenant parfois les organismes à leurs principes de base; travailler en lien étroit

avec le comité d’évaluation.

• Démontrer des habiletés dans la réflexion critique (« réflexion critique »)

- expliquer et mettre en contexte les types d’évaluation et leur utilisation : par exemple,

qu’est-ce que l’évaluation d’efficience, en quoi cela peut-il nuire aux organismes dans le

contexte actuel, quelles sont les conditions préalables à établir, etc.;

- rappeler qu’il s’agit d’un processus qui appartient à l’organisme et non à l'institution

ou au bailleur de fonds et sensibiliser les gens aux forces et dangers de certaines

approches d’évaluation ainsi qu’aux enjeux politiques et éthiques : l’important est

d’éclairer les groupes sur les implications des demandes des bailleurs de fonds afin

de savoir comment négocier;

- démystifier le vocabulaire, mettre de côté la partie technique (habiletés, outils) et

inculquer plutôt une culture générale;

- être sensible aux difficultés que connaissent les organismes communautaires, bien

comprendre la réalité du milieu et s’inscrire dans un rapport égalitaire : cela favorise

l’établissement d’un lien de confiance et évite les résistances inutiles;

- maintenir l’équilibre entre l’écoute et le sens critique, démontrer de la neutralité : cela

peut entraîner un conflit au départ, mais augmente la crédibilité par la suite;

- laisser à l’organisme l’interprétation finale de l’évaluation.

En résumé, les pratiques évaluatives dans les organismes communautaires nécessitent des

conditions de base et une vision de l’évaluation. De plus, des conditions de renforcement

s’avèrent nécessaires pour développer une véritable culture de l’évaluation dans ces milieux.

119

120

CHAPITRE VANALYS E ET D I SC U SS I O N S U R LES

P R ATI Q U ES ÉVALUATIVES

LES FAITS SAILLANTS

Perspective stratégique de l’évaluation

• Le financement de base et les ressources humaines et techniques constituent des conditions sine qua non pour qu’un organisme communautaire puisse mener des démarches évaluatives significatives.

• Un organisme qui veut réaliser une évaluation doit s’assurer que les relations existantes entre les acteurs sont en appui à la démarche.

• ARPÉOC considère comme un idéal à atteindre en évaluation : un processus participatif et systématisé de réflexion critique visant à poser un jugement sur la valeur d’une pratique.

• Les résultats de notre recherche convergent : le manque de ressources représente un obstacle majeur à l’évaluation dans les organismes communautaires et influence grandement la motivation à y prendre part.

• Sur le plan des ressources, les facteurs qui favorisent les démarches d’évaluation sont : - l’attitude proactive des organismes,- la situation financière et la stabilité des organismes,- un financement qui soutient l’organisme durant toute la démarche et qui permet,

selon les besoins, l’embauche d’une ressource externe d’expérience,- des connaissances en évaluation et des aptitudes en recherche et en médiation,- la pertinence de la démarche et son caractère rassembleur en lien avec les valeurs

et les objectifs de l’organisme. • L’un des enjeux importants des rapports entre les organismes et les bailleurs de

fonds relève des différences de visions en évaluation : alors que les organismes voient l’évaluation comme une forme de réflexion-bilan, les bailleurs de fonds la perçoivent davantage comme un mécanisme de contrôle des dépenses publiques.

• L’un des défis pour les organismes communautaires consiste à faire respecter leur intégrité tout en transformant les exigences des bailleurs de fonds en opportunité de réflexion.

• Une ressource externe d’expérience constitue un apport important à l’évaluation dans la mesure où elle connaît et respecte la réalité des milieux communautaires et contribue à favoriser l’appropriation de la démarche tout en s’assurant de sa rigueur.

121

CHAPITRE VANALYS E ET D I SC U SS I O N S U R LES

P R ATI Q U ES ÉVALUATIVES

LES FAITS SAILLANTS (SUITE)

Conditions de renforcement

• Il appartient aux organismes de prendre position face à leur propre démarche d’évaluation : décider d’être proactif plutôt que réactif, favoriser une démarche participative rigoureuse et respectueuse des personnes participantes, en s’appuyant sur l’empowerment.

• Les bailleurs de fonds devraient adopter une attitude réaliste à l’égard des évalua-tions et des organismes et avoir des exigences plus souples, tout en favorisant la reconnaissance des démarches d’autoévaluation.

• Les spécialistes devraient clarifier leurs positions vis-à-vis les bailleurs de fonds et les organismes communautaires, favoriser la participation à l’évaluation, mettre leurs connaissances en appui à une démarche à la fois rigoureuse et accessible et appuyer la réflexion autocritique.

1

CONCLUSION

PERSPECTIVES ET VOIES DE RENFORCEMENT

DES PRATIQUES ÉVALUATIVES

Cette première étape de l’étude menée en 2004-2005 sous le nom d’Analyse et

renforcement des pratiques évaluatives dans les organismes communautaires (ARPÉOC)

présentait un caractère descriptif. Elle visait à faire un état des lieux des pratiques évaluatives

dans les organismes communautaires et à mettre en évidence tant les obstacles rencontrés par

les groupes que les conditions facilitant le renforcement de ces pratiques.

L’apport du projet ARPÉOC aux connaissances en matière d’évaluation consiste avant tout à

avoir défini comme un idéal à atteindre un processus participatif et systématisé de réflexion

critique visant à poser un jugement sur la valeur d’une pratique. Si peu de démarches sont en

mesure de correspondre entièrement à cet idéal, cela tient aux conditions dans lesquelles se réalise

l’évaluation pour la très grande majorité des groupes, comme nous avons pu le démontrer.

L’évaluation peut et doit être un outil stratégique de renforcement des milieux commu-

nautaires : tel était le thème de l’exposé de Lorraine Guay au colloque du programme de

Pratiques novatrices en milieu communautaire (NOVA) tenu à Montréal en 1997. Précurseur

à l’époque, ce thème semble encore d’actualité aujourd’hui. Est-ce à dire que la réalité des

organismes communautaires n’a pas changé et que le contexte n’a pas évolué ? Au contraire. Le

portrait que nous avons tracé des pratiques évaluatives nous a appris que les groupes sont plus

ouverts à l’évaluation que par le passé, se disant favorables à l’évaluation à plus de 95 %. De plus,

presque tous ceux qui ont répondu à notre enquête (94 %) réalisent des activités d’évaluation

qu’ils ont initiées sur leurs propres bases, de façon indépendante des bailleurs de fonds.

La conjoncture externe a aussi changé, alors que les demandes des bailleurs de fonds

envers les groupes sont de plus en plus pressantes en matière de reddition de comptes et

se confondent de plus en plus avec des attentes d’évaluation déguisées. Les pressions des

ministères sur les groupes se font aussi plus insistantes pour inviter ceux-ci à s’engager dans

des démarches d’évaluation intégrées à leurs activités régulières. Et pourtant, une collaboration

fructueuse est possible, à certaines conditions : nos études de cas l’ont démontré.

Les organismes communautaires aspirent de plus en plus à se doter d’outils pour améliorer

la qualité de leurs interventions et faire reconnaître davantage leurs pratiques, dans leur

richesse et leur diversité. Il reste à mieux supporter leurs efforts pour développer l’autocritique

et donner le pouvoir et la parole aux membres. Le projet ARPÉOC veut y contribuer, en mettant

en place une démarche de formation en appui aux besoins des milieux communautaires.

L’évaluation de NOVA (Gaudreau, Vincent et Garnier, 2000) avait identifié certaines pistes d’améliorations

portant notamment sur la formation offerte aux groupes communautaires. Les principales

recommandations indiquaient qu’il faudrait : offrir aux formatrices et aux formateurs une formation

complémentaire, réorienter l’accompagnement en évaluation vers une « formation sur mesure »

individualisée, diffuser périodiquement des informations dans les milieux communautaires,

apporter un soin particulier au réseau de communication et offrir une supervision.

Ces recommandations sont plus que jamais d’actualité. Certaines d’entre elles avaient

fait l’objet de suivi de la part des centres communautaires de formation, par contre d’autres

étaient demeurées lettre morte. Pour sa Phase 2, ARPÉOC reprend l’essentiel de ces

recommandations. Il met en place un réseau de personnes-ressources issues des

milieux communautaires, intervenant à la grandeur des régions du Québec, avec

l’assistance de spécialistes en évaluation. Une démarche sur un an de formation continue

a débuté cet automne, avec expérimentations, rencontres périodiques de tout le réseau et

constitution d’une communauté de pratiques au moyen d’Internet. Nous croyons que cette

systématisation des efforts en formation, jumelée à une approche plus adaptée aux besoins

de chaque région et des différents groupes, devrait contribuer à un accroissement notable de

pratiques évaluatives porteuses de sens pour les milieux communautaires.

Les recherches devront se poursuivre pour continuer d’approfondir les pratiques d’éva-

luation réalisées sur une base autonome et répondre à un certain nombre de questions soulevées

dans le cadre du projet ARPÉOC. Il faudra ainsi continuer l’inventaire des pratiques novatrices et

mieux documenter l’évaluation participative, les difficultés rencontrées et les différentes stratégies

développées. Il y aurait aussi intérêt à creuser l’idée d’évaluation continue, intégrée aux activités

des organismes, en confronter les forces et les limites dans le contexte actuel.

Nous croyons que ce sont là des voies de recherche stimulantes, innovatrices, qui

pourraient contribuer à soutenir le développement des pratiques alternatives des groupes

communautaires, en maintenant dans le domaine de l’évaluation une expertise en recherche

et analyse réalisées en partenariat.

124

De nombreux besoins de renforcement ont aussi été exprimés, sur le plan des

ressources, des rapports entre les acteurs et des conditions de réalisation des évaluations. En

appui aux conditions de renforcement identifiées au Chapitre V, nous formulons quelques

éléments de perspectives et pistes de solution à caractère plus général.

1. Nous pensons tout d’abord qu’il faut reconnaître et appliquer plus largement l’approche

participative négociée recommandée en 1997 par le Rapport du Comité ministériel sur

l’évaluation. Il y a là un devoir de cohérence et de persévérance face au chemin parcouru et

aux conditions qui restent à mettre en place pour arriver à des résultats significatifs.

Les résultats de l’étude que nous avons réalisée confirment l’énorme potentiel de cette

méthode qui permet aux groupes de développer un regard critique sur leurs pratiques en

impliquant tous les acteurs concernés dans une démarche de réflexion rigoureuse.

2. Nous croyons également qu’il faut poursuivre la recension et l’exploration des pratiques

novatrices en matière d’évaluation, sortir des sentiers battus et des pratiques du milieu

institutionnel. Bien des groupes développent des outils qui leur sont propres, qui ne

s’inscrivent pas nécessairement dans des démarches d’évaluation plus traditionnelles.

Il faut en effet travailler à faire reconnaître les pratiques d’autoévaluation, contribuer à leur

rayonnement et encourager le partage d’informations et de savoirs en matière d’évaluation

au sein des milieux communautaires.

Dans le même esprit, il nous apparaît essentiel de lancer le débat sur les conditions

de réalisation des pratiques évaluatives et sur l’accès des groupes communautaires à un

financement accru en appui aux évaluations réalisées sur une base autonome, selon les

besoins et les priorités des organismes.

3. Nous jugeons qu’il est temps de statuer sur une définition de l’évaluation et de la

distinguer sans équivoque de la reddition de comptes. Nous soumettons un lexique

(Voir Annexe 1) et attendons avec impatience les commentaires des milieux de la recherche

et des groupes communautaires. Nous soumettons aussi à leur jugement la perspective

sur l’évaluation en trois attributs élaborée par ARPÉOC.

4. Enfin, nous sollicitons de nos partenaires subventionnaires dans cette recherche une oreille

attentive à la poursuite des efforts mis en œuvre. ARPÉOC met de l’avant en 2005-2006

la constitution d’un réseau de personnes-ressources en évaluation à la grandeur du

125

Québec. Ce réseau en formation suscite déjà bien des espoirs, des attentes aussi. Il faudra

en assurer la continuité, le développement.

Les groupes communautaires qui feront appel à ces ressources auront eux-mêmes besoin

de soutien financier pour initier et rendre à terme des démarches autonomes d’évaluations.

Il faudra les supporter et les encourager.

Nous espérons vivement que ce rapport et les suites que nous entendons y donner cons-

titueront un appui significatif aux pratiques et aux interventions des milieux communautaires

pour le développement d’une société plus juste et plus humaine. La finalité de tout cela, il faut

le rappeler, c’est le renforcement du pouvoir des femmes et des hommes de toutes conditions

sur leur vie, leur environnement, en solidarité.

126

Encadré 9

LES DEUX PHASES DU PROJET ARPÉOC

Phase 1 : 2004-2005

• Présenter l’état des pratiques évaluatives dans l’ensemble des organismes com-

munautaires du Québec.

• Dégager les conditions qui facilitent le renforcement de ces pratiques.

Phase 2 : 2005-2006

• Offrir une formation et un soutien à un réseau d’accompagnatrices et d’accom-

pagnateurs du milieu communautaire pour favoriser le renforcement des pratiques

évaluatives dans les organismes communautaires.

1

Références

Barreto-Cortez, E. (1999). The Contributions of Participatory Action Research to the Development of Culturally Appropriate Self-Evaluations of (Latino) Empowerment Training Programs : A Case Study. The Faculty of the Florence Heller Graduate School for Advanced Studies in Social Welfare, Brandeis University.

Billette I., White. D. et C. Mercier (1995). Les rapports dynamiques du processus partenarial. Un regard dans le domaine de la santé mentale. GRASP – Université de Montréal, Rapport de recherche du Groupe de recherche sur les aspects sociaux et de la prévention.

Bond, M. A. (1990). Defining the Research Relationship : Maximizing Participation in an Unequal World. Washington, DC, American Psychological Association.

Botcheva, L., Roller White, C. et L. C. Huffman (2002). « Learning Culture and Outcomes Measurement Practices in Community Agencies ». American Journal of Evaluation, 23(24), 424-434.

Bouchard, M., Fontan, J.-M., Lachance, E. et L. Fraisse (2003). « L’évaluation de l’économie sociale, quelques enjeux de conceptualisation et de méthodologie ». Cahier du CRISES no I-0301, Collection internationale.

Bourque, D. (2004). « Nouvelle donne dans les rapports entre réseau public et organismes communautaires ». Cahiers du LAREPPS no 04-32, Laboratoire de recherche sur les pratiques et les politiques sociales (LAREPPS) – Centre d’étude et de recherche en intervention sociale (CÉRIS).

Bozzo, S. L. (2002). « Evaluation Capacity Building in the Voluntary/Nonprofit Sector ». The Canadian Journal of Program Evaluation, 17(3), 75-92.

Caillouette, J. (2001). « Pratiques de partenariat, pratiques d’articulation identitaire et mouvement communautaire ». Nouvelles pratiques sociales, 14(1), 81-96.

Chavis, D. M. (2001). « The Paradoxes and Promise of Community Coalitions ». American Journal of Community Psychology, 29(2), 309-319.

Chavis, D. M., Stucky, P. E. et A. Wandersman (1983). « Returning Basis Research to the Community : A Relationship between Scientist and Citizen ». American Psychologist, 38(4), 424-434.

Chaytor, K., MacDonald. G. et D. Melvin (2002). « Preparing Nonprofits for New Accountability Demands ». The Canadian Journal of Program Evaluation, 17(3), 93-112.

Coalition des organismes communautaires québécois contre le sida - COCQ-Sida (2004). « Où en sommes-nous avec l’intervention communautaire en évaluation ? Huit constats ! ». Le petit journal Epsilon 2, numéro 8.

Comité aviseur de l’action communautaire autonome (2000). Mémoire concernant la proposition de politique : « Le milieu communautaire : un acteur essentiel au développement du Québec ».

Comité ministériel sur l’évaluation (1997). L’évaluation des organismes communautaires et bénévoles. Une évaluation respectueuse des organismes communautaires et bénévoles implique un processus de négociation. Montréal, Gouvernement du Québec.

Corin, E. (1995). « Enjeux et défis reliés à l’intégration des acteurs dans la recherche évaluative ». Actes du colloque Évaluer : pourquoi ?, Conseil québécois de la recherche sociale, 33-56.

Coston, J. M. (1998). « A Model and Typology of Government-NGO Relationship ». Nonprofit ad Voluntary Sector Quarterly, vol. 27, no. 3, 358-382.

Crozier, M. et E. Frieberg (1977). L'acteur et le système. Les contraintes de l'action collective. Vienne, Éditions du Seuil.

Cutt, J., Bragg, D., Balfour, K., Murray, V. et W. Tassie (1996). « Nonprofits Accommodate the Information Demands of Public and Private Funder ». Nonprofit Management and Leadership, 7(1), 45-68.

Degeling, P. (1993). « The Signifiance of "Sectors" in Calls for Urban Public Health Intersectoralism : An Australian Perspective ». Policy and Politics, 23(4), 289-301.

Dufour, S., Fillion C., Rodriguez P. et C. Vaillancourt-Laflamme (2001). « L’évaluation des entreprises d’insertion : un exemple d’appropriation de l’évaluation participative ». Cahiers de recherche sociologique, 35, 101-123.

Duval, M., Fontaine, A., Fournier, D., Garon, S. et J.-F. René (2005). Les organismes communautaires au Québec. Pratiques et enjeux. Montréal, Gaëtan Morin.

Fine, A. H., Thayer, C. et A. Coghlan (1998). Program Evaluation Practice in the Nonprofit Sector. Washington, D.C, Innovation Network.

Fontan, Jean-Marc (2001). « L’évaluation de cinquième génération ». Cahiers de recherche sociologique, (35), 8-14.

Garon, S. et B. Roy (2001). « L’évaluation des organismes communautaires. L’exemple d’un partenariat avec l’État : entre l’espoir et la désillusion ». Nouvelles pratiques sociales, 14(1), 97-110.

Gaudreau, L. et N. Lacelle (1999). Manuel d’évaluation participative et négociée. Montréal, Service aux collectivités, Université du Québec à Montréal.

Gaudreau, L., Vincent. S. et C. Garnier (2000). L’impact du programme « Pour le maintien des pratiques novatrices en milieu communautaire (NOVA) ». Montréal, Service aux collectivités, Université du Québec à Montréal.

Gouvernement du Québec (2000). Loi sur l’administration publique. Assemblée nationale du Québec.

128

Gouvernement du Québec (2001). L’action communautaire, une contribution essentielle à l’exercice de la citoyenneté et au développement social du Québec. Québec, direction des Communications, ministère de l’Emploi et de la Solidarité sociale.

Gouvernement du Québec (2003). Loi sur les agences de développement des réseaux locaux de services de santé et de services sociaux. Ministère de la Santé et des Services sociaux.

Gouvernement du Québec (2004a). Cadre de référence en matière d’action communautaire. Secrétariat à l’action communautaire autonome et ministère de l’Emploi, de la Solidarité sociale et de la Famille.

Gouvernement du Québec (2004b). Moderniser l’État. Pour des services de qualité aux citoyens. Plan de modernisation 2004-2007. Briller parmi les meilleurs. Direction des communications, Secrétariat du Conseil du trésor.

Gouvernement du Québec (2004c). Plan d’action gouvernementale en matière d’action communautaire. Secrétariat à l’action communautaire autonome et ministère de l’Emploi, de la Solidarité sociale et de la Famille.

Gray, B. (1989). « Understanding the Political Dynamics of Collaboration ». Collaborating, 112-130.

Guay, L. (1997). « L’évaluation : un outil stratégique de renforcement du communautaire ». Actes du colloque Pratiques novatrices en milieu communautaire, Montréal, Table des regroupements provinciaux des organismes communautaires et bénévoles (TRPOCB), Centre de formation populaire (CFP) et Service aux collectivités de l’Université du Québec à Montréal.

Guberman, N., Fournier, D., Beeman, J. et L. Gervais (1994). « Des questions sur la culture organisationnelle des organismes communautaires ». Nouvelles pratiques sociales, 7(1), 45-62.

Hall, M. H., Phillips S. D., Meillat C. et D. Pickering (2003). Pratiques d’évaluation et perspectives dans le secteur du bénévolat au Canada. Centre canadien de philanthropie.

Himmelman, A. T. (2001). « On Coalitions and the Transformation of Power Relations : Collaborative Betterment and Collaborative Empowerment ». American Journal of Community Psychology, 29(2), 277-284.

Labonte, R. (1993). « Community Development and Partnerships ». Canadian Journal of Public Health, 84(4), 237-240.

Lachance, É. (réd.) (2001). L’évaluation en milieu communautaire : expériences pertinentes, outil stratégique, enjeux politiques. Actes du colloque, Montréal, Université du Québec à Montréal.

Lackey, J. F, Moberg, D. P. et M. Balistrieri (1997). « By Whose standards ? Reflections on Empowerment Evaluation and Grassroots Groups ». Evaluation Practice, 18(2), 137-146.

Lamoureux, J. (1994). Le partenariat à l'épreuve. Montréal, Éditions Saint-Martin.

129

Macduff, N. et F. E. Netting (2000). « Lessons Learned from a Practitioner-Academician Collaboration ». Nonprofit and Voluntary Sector Quarterly, 29(1), 46-60.

Margolis, L. H. et C. W. Runyan (1998). « Understanding and Reducing Barriers to Collaboration by Academics with Agencies and Community Organizations : a Commentary ». Injury Prevention, 4, 132-134.

Mayer R., Ouellet F., Saint-Jacques M.-C., et D. Turcotte (2000). Méthodes de recherche en intervention sociale. Montréal, Gaëtan Morin.

McWilliam, C. L., Desai K. et B. Greig (1997). « Bridging Town and Gown : Building Reseach Partnerships between Community-Based Professional Providers and Academia ». Journal of Professional Nursing, 13(5), 307-315.

Mercier, C. (1985). « L'évaluation des ressources alternatives : à la recherche de modèles alternatifs en évaluation ». Revue canadienne de santé mentale communautaire, 4(2), 57-71.

Midy, F. (1997). « L’évaluation, un outil stratégique de renforcement du communautaire ». Actes du colloque Pratiques novatrices en milieu communautaire, Montréal, Table des regroupements provinciaux des organismes communautaires et bénévoles (TRPOCB), Centre de formation populaire (CFP) et Service aux collectivités de l’Université du Québec à Montréal.

Midy, F. (2001). « L’évaluation aujourd’hui au Québec : déplacement des enjeux et redéfinition du champ ». Cahiers de recherche sociologique, 35, 55-79.

Midy F., Vanier, C. et M. Grant (1998). Guide d'évaluation participative et de négociation. Montréal, Table des regroupements provinciaux des organismes communautaires et bénévoles (TRPOCB), Coalition des tables régionales des organismes communautaires (TROC), Centre de formation populaire (CFP) et Service aux collectivités de l’Université du Québec à Montréal.

Ministère de la Santé et des Services sociaux (1990). Une réforme axée sur le citoyen. Les publications du Québec.

Najam, A. (2000). « The Four-C’s of The Third-Sector-Government Relations : Cooperation, Confrontation, Complementarity and Cooptation ». Nonprofit Management & Leadership, vol. 10, no.4, 375-396.

Ouellet, F. et M.-C. Saint-Jacques (2001). « Les techniques d'échantillonnage ». dans Mayer, R., Ouellet F., Saint-Jacques, M.-C. et D. Turcotte, Méthodes de recherche en intervention sociale, Montréal, Gaëtan Morin.

Panet-Raymond, J. (1991). « Le partenariat entre les organismes communautaires : un défi pour la formation en travail social ». Service social, 40(2), 54-76.

Panet-Raymond, J. (1992). « Partnership : Myth or Reality ? ». Community Development Journal, 27(2), 156-165.

Panet-Raymond, J. (1994). « Les nouveaux rapports entre l'État et les organismes com-munautaires à l'ombre de la loi 120 ». Nouvelles pratiques sociales, 1(7), 79-93.

130

Panet-Raymond, J. et J. Lavoie (1996). « Le financement ». dans Lamoureux H., Lavoie, J., Mayer, R. et J. Panet-Raymond, La pratique de l'action communautaire, Sainte-Foy, Presses de l'Université du Québec, 355-378.

Proulx, J. (1997). Le partenariat entre l'État et les organismes communautaires dans le cadre de la loi 120 : l'enjeu de la complémentarité. Mémoire de maîtrise, Université Laval.

Proulx, J., Bourque, D. et S. Savard (2005). « Les interfaces entre l’État et le tiers secteur au Québec ». Cahier du LAREPPS, no 05-13, Alliance de recherche universités-communautés en économie sociale (ARUC-ÉS) UQÀM, Laboratoire de recherche sur les pratiques et les politiques sociales (LAREPPS) UQÀM, Centre d’étude et de recherche en intervention sociale (CÉRIS) UQÀM et Groupe de recherche et d’intervention régionales (GRIR) UQÀC.

René, J.-F., Fournier D., Duval M. et S. Garon (2001). Les organismes communautaires au Québec. Des pratiques à la croisée des chemins. Centre de formation populaire (CFP) et Relais-femmes.

Rodriguez, L. et L. Guay (1995). « L’évaluation dans la réforme : entre le renouvellement et la consolidation du paradigme technocratique ». Actes du colloque Évaluer : pourquoi ?, Conseil québécois de la recherche sociale.

Rotheram-Borus, M. J., Rebchook, G. M., Kelly, J. A., Adams, J., et M. S. Neumann (2000). « Bridging Research and Practice : Community-Researcher Partnerships for Replicating Effective Interventions ». AIDS Education and Prevention, 12 (supplément A), 49-61.

Vaillancourt, Y. (1994). « Éléments de problématique concernant l'arrimage entre le com-munautaire et le public dans le domaine de la santé et des services sociaux ». Nouvelles pratiques sociales, 7(22), 227-248.

Wallerstein, N. (1999). « Power between Evaluator and Community Research Relationships with New Mexico's Healthier Communities ». Social Sciences and Medicine, 49, 39-53.

Yin, R.K. (1994). Case Study Research : Design and Methods. 2e éd., Thousand Oaks, Sage.

Zuniga, R.-B. (1997). « À la recherche d’un dialogue méthodologique : les petits pas de l’évaluation communautaire ». Recherches qualitatives, 16, 93-109.

Zuniga, R.-B. (2001). « L’évaluation sur la place publique : science, éthique et politique ». Cahiers de recherche sociologique, 35, 15-30.

131

1

Annexe 1

Lexique de l ’évaluation

Définit ions tirées de chercheurs-clésdans le domaine de l ’évaluation au Québec 10

Évaluation : Démarche permettant de porter un jugement sur la valeur d’un objet clairement

défini, à partir d’informations méthodiquement recueillies, selon des critères explicitement

énoncés, pour ensuite décider des mesures à prendre qui découlent de ce jugement. (Midy,

Vanier et Grant)

Analyse de contenu : Technique d’analyse de communications écrites ou orales (matériel

qualitatif) qui vise à dégager des généralisations à partir d’un relevé systématique des

caractéristiques de ces communications. (Midy, Vanier et Grant)

But : Énoncé qui indique en termes généraux l’orientation d’ensemble du programme, du

projet ou de l’action. (Midy, Vanier et Grant)

Critère : Une norme, un seuil ou un point de repère auquel on se réfère pour porter un

jugement ou décider de la valeur de l’objet évalué. (Midy, Vanier et Grant)

Devis d’évaluation : Document qui précise les différents éléments et étapes de la démarche

d’évaluation (…). Il comprend la description de l’organisme, l’objectif de l’évaluation, les

informations relatives à l’évaluation (objet et questions d’évaluation, type d’évaluation,

indicateurs et critères), la méthode utilisée et la planification de l’évaluation (calendrier,

ressources, budget, aspects éthiques). (Midy, Vanier et Grant)

Étude de besoin : Évaluation systématique de la nature, de la profondeur et de l’étendue

d’un problème et des besoins en vue d’établir des priorités et d’implanter ou d’améliorer un

programme. (Midy, Vanier et Grant)

10. Ces définitions sont principalement tirées du Guide d’évaluation participative et de négociation (Midy, Vanier et Grant, 1998), complétées par certaines autres tirées du Rapport du Comité ministériel sur l’évaluation (1997) et du Gouvernement du Québec (2001, 2004a).

Évaluation de la pertinence : Vérification du bien-fondé des activités planifiées ou réalisées

en fonction des objectifs ou de la mission de l’organisme. Fait-on ce qu’il faut pour atteindre

le but que l’on s’est proposé ou doit-on remettre en question le projet ou l’intervention ?

(Comité ministériel)

Évaluation de l’efficacité : Évaluation visant à comparer les résultats obtenus aux objectifs

poursuivis. Est-ce que nous atteignons les objectifs prévus ou les effets désirés ? (Comité

ministériel)

Évaluation de l’efficience : Comparaison des résultats obtenus à l’effort investi, c’est-à-dire

aux ressources humaines, financières et matérielles. Combien de temps et de ressources ont

été investis ? L’effort consenti correspond-il aux résultats obtenus ? (Comité ministériel)

Évaluation de l’impact : Étude des effets positifs, négatifs et inattendus obtenus à la suite

d’une intervention ou d’un programme. Les changements produits correspondent-ils aux

activités réalisées ou peuvent-ils être attribués à d’autres facteurs ? (Comité ministériel)

Évaluation de programme : Processus d’évaluation qui s’intègre aux activités de planification

ou de réalisation de l’action (projet, programme, activité ou intervention). (…) l’information

à recueillir et les outils de collecte de données sont déterminés par les questions auxquelles

on veut répondre. Ces questions touchent l’efficacité, l’efficience, l’impact, le processus ou

la pertinence. (Comité ministériel)

Évaluation d’implantation (ou évaluation du processus) : Évaluation réalisée en cours

d’implantation d’un programme dans le but de : 1) vérifier si le programme implanté rejoint les

personnes ciblées au départ, 2) déterminer si le programme implanté est conforme à celui prévu,

3) décrire le déroulement et le fonctionnement réel du programme. (Midy, Vanier, et Grant)

Évaluation formative : Évaluation de l’intervention, du projet ou des activités tout au

long de leur exécution. Cette évaluation vise à informer sur les actions, à les modifier au

fur et à mesure qu’elles sont réalisées de manière à répondre aux objectifs que l’on s’est

fixés. (Comité ministériel)

Évaluation participative : Approche d’évaluation qui accorde une place prépondérante à la

contribution et à la participation des actrices et acteurs concernés. Elle prend en considération

leurs valeurs, points de vue et intérêts à toutes les étapes du processus. (Midy, Vanier, et Grant)

134

Évaluation sommative : Évaluation des effets, des résultats, une fois que le projet est

complété. Ce type d’évaluation est axé sur la prise de décision politique, c’est-à-dire qu’il peut

déterminer si le projet est poursuivi ou non. (Comité ministériel)

Indicateur : Information qui indique des aspects mesurables ou observables de la chose

évaluée. Un indicateur doit être mesurable ou observable. Il doit également être précis,

pertinent, utile, significatif et crédible. (Midy, Vanier, et Grant). La définition des indicateurs

n’est pas neutre et leur choix doit satisfaire les acteurs concernés. (Comité ministériel)

Objectif : Énoncé formulé en termes clairs, précis et opérationnels qui décrit le résultat

que l’on se propose d’atteindre. L’objectif doit préciser les personnes visées, la nature de

la situation désirée ou le résultat à atteindre ainsi que la période de temps et l’exposition

nécessaire. (Midy, Vanier, et Grant)

Objectif de l’évaluation : Énoncé qui précise le but visé par l’évaluation. Il indique pourquoi

l’organisme communautaire entreprend une démarche d’évaluation, c’est-à-dire les raisons

pour lesquelles l’évaluation est réalisée et à quelles fins. (Midy, Vanier, et Grant)

Objet d’évaluation : Ce sur quoi portera l’évaluation, c’est-à-dire la « chose » sur laquelle

l’organisme communautaire souhaite poser un jugement. (Midy, Vanier, et Grant)

Programme : Ensemble d’activités utilisant des ressources humaines, matérielles et financières

en vue de produire des services particuliers pour une clientèle identifiée, afin d’atteindre des

objectifs déterminés. (Midy, Vanier, et Grant)

Question d’évaluation : Interrogation se rapportant à l’objet d’évaluation et correspondant

à ce que l’organisme communautaire veut réellement savoir à propos de l’objet retenu.

(Midy, Vanier, et Grant)

Reddition de comptes : Processus permettant de répondre aux questions posées sur la

mission, les orientations, les objectifs poursuivis et les activités réalisées grâce aux fonds

reçus, qu’ils soient publics ou privés. Dans le cas d’un organisme communautaire, les

documents à fournir varient selon le mode de financement. Règle générale, il s’agit de :

l’acte d’incorporation, les statuts et règlements généraux, le rapport d’activités ou le rapport

annuel, le rapport financier et les prévisions budgétaires. (Gouvernement du Québec, 2001

et 2004a)

135