REVUE DE LITTÉRA TV RE CONCERNANT L … › Bibliothequevirtuelle › santecom › ...Revue de littérature concernant revaluation de programme dans le secteur de la santé et des

r £ g i e r é g i o n a l e DE LA SANTÉ ET DES SERVICES SOCIAUX D E S L A U R E N T I D E S

I DIRECT! JWpE LA SA--NIÉ'"PUBLIQUE

REVUE DE LITTÉRA TV RE CONCERNANT L *ÉVALUA TIONDE PROGRAMME

DANS LE SECTEUR DE LA SANTÉ ET DES SER VICES SOCIA UX Définitions, approches, stratégies

Direction de la santé publique

Équipe évaluation-programme

WA 5 4 0 DC2 . 1 Q44 L366 1996

Décembre 1996

INSPQ - Montreal

5567 00 002 74

Rédaction Marie-Christine Lamoureux

Collaboration Nicole Desjardins Rosette Gagnon Daniel Gauthier Dominique Sévigny

Mise en page Monique Chapleau-Paquette

Dépôts légaux, 4 e trimestre 1996 Bibliothèque nationale du Canada • Bibliothèque nationale du Québec ISBN 2-921581 -47-7

© Régie régionale de la santé et des services sociaux B des Laurentides - 1996

I

Institut nat ional d e s a n t é pub l ique d u Q u é b e c TABLE DES MATIÈRES 4 8 3 5 , a v e n u e Christophe-Colomb, bureau 200

Montréal (Québec) H2J3G8 Introduction Tél.; (514) 597-0606

Contexte de l'évaluation 5 1.1 Évolution de la fonction d'évaluation au sein de l'état québécois 5 1.2 Contexte légal de l'évaluation et partage de responsabilités 6

Définition des principaux concepts 11 2.1 Programme 11 2.2 Évaluation ~ 12 2.3 Suivi de gestion, surveillance et recherche évaluative 12

Les aspects de l'évaluation 19 3.1 Les objectifs et les buts de l'évaluation 19

3.1.1 Les obj ectifs de l'évaluation 19 3.1.2 Les buts de V évaluation 20

- l'évaluation diagnostique 20 - l'évaluation sommative 20 - l'évaluation formative 21

3.2 Les types d'évaluation 23 3.2.1 L'évaluation des composantes du programme 23 3.2.2 L'évaluation des interrelations entre les composantes du programme 25 3.2.3 l'évaluation selon les différents moments du processus

d'implantation d'un programme 27 3.3 Les approches en évaluation :

des évaluation par des experts aux évaluations participatives 29 3.3.1 L'évaluation des approches au fil de quatre génération d'évaluations 29 3.3.2 Des approches en évaluation qui s ' appuient sur deux grands

paradigmes scientifiques 31 3.4 Méthodes quantitatives ou qualitives : démarches suggérées pour faire

évoluer ce débat 33 3.4.1 Première démarche : conserver une exclusivité des approches 33 3.4.2 Deuxième démarche : choisir l'approche selon le contexte 34 3 .4.3 Troisième démarche . utiliser des méthodes multiples lors

d'une même évaluation 35 3.4.4 Quatrième démarche . intégrer les approches par combinaison 35

Les difficultés d'exercice et les conditions de réussite de l'évaluation 41 4.1 Les contraintes et limites de l'évaluation :

aspects politiques, administratifs et méthodologiques 41 4.2 Conditions de réussite de l'évaluation 43

Annexes

Annexe 1 : Approches en évaluation de programme 47

Conclusion 49

Bibliographie 51

INTRODUCTION

La réforme de la santé et des services sociaux a donné lieu en 1995 à la reconnaissance légale d'une

nouvelle responsabilité au sein des Régies régionales. Il s'agit de celle qui consiste à évaluer les

programmes régionaux, les résultats des plans de services qu'elles supportent en se centrant sur

l'efficacité des services, le degré d'atteinte des objectifs poursuivis et le degré de satisfaction des

usagers. C'est dans ce contexte que la Régie régionale des Laurentides a entrepris de faire un tour

d'horizon de ce champ de connaissances en pleine éclosion.

Ainsi, le document qui vous est présenté ici consitute une revue de littérature sommaire relativement à

l'évaluation de programme. Un premier chapitre aborde le contexte historique et législatif de ce

domaine de recherche et d'action. On y voit de quelle façon cette fonction a été amenée à jouer un

rôle crucial dans un effort de rendre les services mieux adaptés aux besoins des citoyens et ce, dans les

limites des ressources disponibles. Le deuxième chapitre apporte des précisions conceptuelles. On y

définit des notions telles que les «programmes», V«évaluation» ainsi que les différents types «d'activités

évahiatives» (suivi de gestion, monitorage et surveillance, recherches évaluatives). Le troisième chapitre

quant à lui cerne .différents aspects de l'évaluation soit: les objectifs qu'elle poursuit, ses finalités, les

différents types d'évaluation qu'il est possible de faire, les approches qu'elle peut adopter ainsi que les choix

méthodologiques qui supportent ces approches. Un quatrième et dernier chapitre nous amène à saisir

autant les difficultés d'exercice de cette fonction dans les organisations publiques que ses conditions de

réussite.

Cet effort de synthèse des connaissances existantes dans ce domaine a pour objectif d'amener la Régie

régionale des Laurentides à concevoir et à produire un cadre de référence pour l'exercice de la fonction

d'évaluation des programmes de santé et de services sociaux dans la région. Il s'agit donc d'un premier

jallon d'une démarche qui amènera notre région à réaliser cette fonction d'une façon professionnelle et

actuelle.

Bonne lecture!

CONTEXTE DE L'ÉVAL TJA TIONDE PROGRAMME

Revue de littérature concernant l'évaluation de programme dans le secteur de la santé et des services sociaux

. 1. CONTEXTE DE L'ÉVALUATION DE PROGRAMME

* r

1.1 Evolution de la fonction d'évaluation au sein de l'Etat québécois

Le champ de l'évaluation des programmes et politiques publics s'est respectivement développé dans les années '60, '70 et '80 aux États-Unis et au sein des États canadien et québécois. Au Québec, un contexte économique difficile et les exigences accrues des citoyens à l'égard de la productivité des organismes publics favorisent l'essor de l'évaluation des programmes publics comme secteur d'activités. L'évaluation de programme apparaît alors comme une procédure d'imputabilité et comme une façon d'améliorer les programmes existants, non comme un moyen de soutenir des nouveaux programmes (Rutman et Mayne, 1985). «Son utilité est davantage reconnue dans le domaine de la gestion que dans celui des choix politiques fondamentaux ou des stratégies d'intervention. Si l'évaluation concourt

' à la-prise de décision, c'est surtout au niveau administratif (E. Corin, 1987)

Plus spécifiquement, au Canada cette fonction a été officialisée en. 1974 par un circulaire du Conseil du Trésor du Canada et par la création du Contrôleur général en 1978. Le Conseil du Trésor a par la suite élaboré une politique cadre de l'évaluation.

Au Québec, au début des années 1980 le Conseil du Trésor s'est penché sur l'élaboration d'une politique cadre de l'évaluation destinée aux différents ministères québécois. Toutefois, c'est en 1989, qu'une directive plus formelle du Conseil du Trésor québécois confiait aux organismes et ministères la responsabilité de mettre en place des moyens pour que les activités de programmes soient systématiquement l'objet de suivi de gestion, d'évaluation et de vérification interne.

Dans le secteur sociosanitaire québécois, la réforme qui s'opère depuis 1989 marque le rôle accru de l'évaluation à ce niveau. En effet, la politique d'évaluation proposée par le Ministère de la Santé et des Services sociaux en 1990 indique que l'évaluation doit fournir les instruments qui permettront de juger de l'implantation des orientations ministérielles que contient cette réforme; une réforme essentiellement axée sur le citoyen, sur des résultats, sur la performance et sur une décentralisation et une déconcentration des responsabilités vers un niveau régional.

Par conséquent, la politique de la santé et du bien-être, la gestion par programme-clientèles, la reddition de comptes envers l'Assemblée nationale, les responsabilités accrues des Régies régionales ainsi que le cadre de référence sur l'allocation des ressources dans ce nouveau contexte sont tous des éléments qui fournissent des balises aux activités d'évaluation à élaborer tant au niveau central, qu'aux niveaux régional et local.

Des travaux se poursuivent actuellement à la Direction générale de la planification et de l'évaluation du Ministère, à la Conférence des Régies régionales et dans plusieurs de ces régies sur la mise en place de la fonction évaluation. Ce défi en est un de taille puisque «La prolifération de modèles et d'approches à laquelle on a assisté a donné lieu à des conceptions très diversifiées du rôle et de la nature même de l'évaluation» (J. Beaudry, B Gauthier, 1992). Toutefois, nous tenterons plus loin de cerner ces divergences tant sur le contenu et l'objet de l'évaluation que sur les moyens d'accomplir cette démarche.

-5 -

Revue de littérature concernant revaluation de programme dans le secteur de la santé et des services sociaux

À l'heure où la réorganisation des services publics se poursuit, il devient impératif que se développe tone culture d'évaluation de programme qui soit propre aux organisations publiques dans un effort de rendre les services mieux adaptés aux besoins des citoyens et ce, dans les limites des ressources disponibles.

1.2 Contexte légal de l'évaluation et partage de responsabilités

Paramètres légaux

Avec la Loi sur les Services de santé et les services sociaux (Loi 120), nous voyons pour la première fois un mandat d'évaluation enchâssé dans une loi québécoise. En raison de la régionalisation du système, les Régies régionales de la santé et des services sociaux sont particulièrement interpellées par cette nouvelle obligation légale.

Selon l'article 340 «La régie régionale a principalement pour objet de planifier, d'organiser, de mettre en oeuvre et d'évaluer, dans la région, les programmes de santé et de services sociaux élaborés par le ministre. »

De plus, l'article 346 précise l'objet de cette évaluation. «Dans le cadre des fonctions reliées aux priorités de santé et de bien-être, la régie régionale (...) évalue, selon la périodicité que détermine le ministre, l'efficacité des services de santé et des services sociaux, le degré d'atteinte des objectifs poursuivis et le degré de satisfaction des usagers à l'égard des services"; élabore et met en oeuvre, conformément aux directives du ministre, des évaluations de programmes de services auxquels participent les établissements.»

À ces pouvoirs et devoirs régionaux s'ajoutent le pouvoir du MSSS d'évaluer les politiques et les programmes de santé et de services sociaux réalisés par les instances régionales. En effet, l'article 341 stipule que «Le ministre établit les politiques et programmes de santé et de services sociaux et voit à leur mise en oeuvre et à leur application par les Régies régionales, et à leur évaluation.»

Par ailleurs, les différents acteurs du réseau sont invités à un «virages-résultats», particulièrement à travers la Politique de la santé et du bien-être. Les établissements et les organismes communautaires doivent prendre part à l'évaluation du fonctionnement général du système de santé et de services sociaux (art. 107); ils doivent fournir à leur régie régionale, les renseignements prescrits par réglementation gouvernementale (art. 381). De plus, les conseils d'administration des établissements publics du réseau doivent s'assurer de la pertinence, de la qualité et de l'efficacité des services dispensés et de l'utilisation économique des ressources (art. 172).

Revue de littérature concernant revaluation de programme dans le secteur de la santé et des services sociaux

LE DÉVELOPPEMENT DE L ÉVALUATION DE PROGRAMME ET SON CONTEXTE LÉGAL AU QUÉBEC

Le champ de l'évaluation des programmes publics s'est respectivement développé dans les années '60, '70 et '89 aux États-Unis et au sein des États canadien et québécois. Au Québec, ce secteur d'activité se taille une place au gouvernement à la faveur de la crise économique. Le fardeau économique de l'État fait qu'il est investi d'une fonction de gestion des ressources et d'hnpu tabilité, visant davantage à améliorer les programmes existants qu'à soutenir la création de nouveaux

Au Ministère de la Santé et des Services sociaux du Québec, la politique d'évaluation proposée en 1989 confirme que l'évaluation des programmes sociosanitaires est intimement liée à la réforme qui s'opère dans ce secteur. Elle doit ainsi permettre de juger de l'implantation des orientations qu'elle contient; une importance accrue des citoyens, des résultats, de la performance, d'une décentralisation et d'une déconcentration des responsabilités vers un niveau régional. Des travaux se poursuivent actuellement afin de préciser la mise en place de cette fonction d'évaluation au sein du secteur de ta santé et des services sociaux, travaux rendus difficiles par la confusion associée au développement de ce champ de recherche. Toutefois, cette fonction est appelée à jouer un rôle crucial dans un effort de rendre les services mieux adaptés aux besoins des citoyens et ce, dans les limites des ressources disponibles.

Sur le plan légal, la nouvelle loi sur les Services de santé et les Services sociaux, confère, pour ta première fois, un mandat d'évaluation aux instances responsables du réseau de la santé et des services sociaux. Selon cette Loi, le MSSS évalue les politiques et les programmes de santé et de services sociaux (art340). Quant à elles, les Régies régionales évaluent les programmes régionaux, les résultats des plans de services qu'elles supportent en se centrant sur l'efficacité des services, le degré d'atteinte des objectifs poursuivis et le degré de satisfaction des usagers (art 346). Les établissements et les organismes communautaires prennent part aussi à l'évaluation du fonctionnement du système, notamment en fournissant les données requises par leur Régie régionale et le MSSS (art 107; art 382).

DÉFINITION DES PRINCIPAUX CONCEPTS


2. DÉFINITION DES PRINCIPAUX CONCEPTS

2.1 Programme

Il existe différentes définitions du «programme». Ainsi, en précisant qu'il constitue l'élément intégrateur de l'évaluation dans le secteur de la santé et des services sociaux, la Conférence des Régies régionales (1994) définit le programme de la façon suivante : «un ensemble de services intégrés; destinés à une clientèle particulière, visant des résultats spécifiques pour lesquels sont consentis des ressources humaines, matérielles et financières».

La politique d'évaluation des programmes et des politiques sociosanitaires du ministère de la Santé et des Services Sociaux (1990), partage cette définition du programme tout en précisant deux axes de gestion qui lui sont rattachés. Le premier, vertical, c'est-à-dire comportant une définition budgétaire des programmes selon le type de ressources et de services; le second, horizontal, regroupant plusieurs types de services autour d'une clientèle ou d'un problème donné.

F. Champagne, A.P. Contandriopoulos, R. Pineault (1995) ont également défini le programme de santé. Il est selon eux : «Un ensemble de ressources réunies et mises en oeuvre pour fournir à une population définie, des services organisés de façon cohérente dans le temps et dans l'espace dans le but d'atteindre des objectifs déterminés en rapport avec un problème de santé précis».

Cette autre définition ressemble en bien des points à la précédente. Toutefois, elle ajoute cet élément de la nécessité d'input ou de ressources pour produire des services. Les constituantes d'un programme apparaissent ainsi comme étant: des objectifs, des ressources (input), des services (output), des résultats (outcome) et des conséquences (impact).

D'autres auteurs ont qualifié les programmes afin de mieux faire comprendre à l'évaluateur cet objet d'évaluation. Ainsi, Monnier (1987), le décrit comme pluraliste (met en cause les intérêts et la volonté de plusieurs acteurs); contextuel (dépend de l'évolution des situations dans lesquelles il s'insère); interactif (prend forme au gré des échanges entre participants) et itératif (objet de va-et-vient entre l'action et les résultats de l'action).

C'est à partir de ces constats et inspiré des écrits de Crozier et Friedberg (1977) que Nelson Potvin, dans une publication portant sur "L'évaluation de programmes en santé communautaire" (1990) indique qu'un programme est un milieu ouvert un processus dynamique, perméable à toutes sortes d'influences, dans lequel émergent différents éléments d'action.

- il -


2.2 Évaluation

L'évaluation de programme est un domaine en pleine expansion. Des chercheurs de différentes formations y travaillent de sorte qu'il n'existe pas, à l'heure actuelle, de consensus sur une définition de ce qu'est l'évaluation. Toutefois, on remarque dans la littérature un élément commun: l'évaluation a pour but ultime de porter un jugement de valeur sur une activité, un service ou une composante d'un programme.

En ce sens, pour plusieurs, à l'instar de F. Champagne, A.P. Contandriopoulos et R. Pineault (1995), «L'évaluation consiste essentiellement en la détermination et l'application de critères et de normes et en leur usage pour porter un jugement». Ces critères et ces normes, précisent-ils peuvent être «explicites» ou «implicites» c'est-à-dire «déterminés à l'avance ou laissés entre les mains des juges; fixés sur la base de l'expérience ou sur la base de jugement ou consensus...»

Ainsi, l'évaluation de programme constitue un «jugement de valeur sur les composantes du programme, tant au stade de sa conception que de sa mise en oeuvre, ainsi que sur les étapes du processus de planification qui sont préalables à la programmation» (R. Pineault, C. Daveluy, 1995). On dira aussi que l'évaluation ferme la boucle de la planification.

Outre cette dimension de «jugement de valeur» qu'elle estime fondamentale, la direction régionale de la santé publique des Laureniides (1995) retient une définition plus opérationnelle de l'évaluation qui s'inspire de celle proposée par Beaudry et Gauthier (1992). Elle s'énonce comme suit:

« L'évaluation de programme renvoie à un ensemble d'activités reliées à une collecte systématique de données permettant d'améliorer le processus de prise de décision des gestionnaires, des intervenants et de la population lors de la planification et du développement des programmes; services et interventions destinés à la communauté».

2.3 Suivi de gestion, surveillance et recherche évaluative

Il existe dans le domaine de l'évaluation plusieurs approches (descriptives vs analytiques) et plusieurs méthodologies. Il existe également un éventail d'activités évaluatives associées à ces différentes approches. Essentiellement, elles se regroupent autour des catégories suivantes:

Le suivi de gestion

Ce type d'activités est décrit comme «une approche de monitorage plus administrative, de suivi et de mise en place d'actions et d'interventions» (Conférence des Régies régionales, 1994).

-12-


Il assure une fonction de contrôle puisqu'il «permet au gestionnaire de s'assurer de ia mise en pratique des plans d'organisation et de services en bonne et due forme, de déceler les écarts entre ce qui est fait et ce qui devrait l'être, et de prendre les mesures de correction en conséquence dans le but d'assurer la correspondance entre le planifié et l'atteint» (MSSS, 1994 tiré de Bourgeault et al, 1995).

La politique d'évaluation des programmes et des politiques sociosanitaires au ministère de la Santé et des Services Sociaux (1990) distingue l'évaluation d'un suivi de gestion. On y indique que le suivi de gestion vise avant tout la production d'informations récurrentes permettant d'alimenter la gestion courante des programmes alors que l'évaluation vise surtout la production d'informations ad hoc et référant à un niveau stratégique de décision, puisqu'elle s'intéresse davantage à la pertinence des interventions ainsi qu'aux résultats obtenus.

Le monitoring évaluatif ou la surveillance

Ce type d'activités réfère à «la production systématisée d'indicateurs choisis pour leur pertinence, leur utilité et leur fiabilité permettant de suivre l'évolution des composantes des systèmes» (Conférence des Régies régionales, 1994).

Le Ministère précise que cette production et cette analyse d'indicateurs nourrissent le processus de suivi de gestion puisqu'elles visent essentiellement à déceler des problèmes éventuels liés à ces aspects du système que sont la disponibilité des ressources, l'accessibilité, la productivité, l'efficacité, l'efficience et l'équité. «Ce qui distingue la surveillance d'un processus d'évaluation c'est qu'il n'établit pas de liens entre la structure, le processus et des résultats spécifiques: elle les postule» (Bourgeault et al., 1995).

D'autres auteurs se sont penchés sur cette distinction. «L'évaluation est différente de la simple surveillance (monitoring) de l'état de santé d'une population ou du déroulement d'un programme qui ne comporte pas nécessairement de jugement de valeur à partir de normes.»(E. C. Bennett et M. Weisinger, 1977).

R. Pineault et C. Daveluy (1995) quant à eux apportent des précisions à la définition précédente. Ils soulignent que «l'évaluation consiste à comparer les données obtenues à des normes préétablies alors que la surveillance rapporte des données sans les comparer à des normes». Toutefois, cette distinction n'apparaît pas toujours aussi clairement Ces auteurs relatent ainsi le cas de l'implantation du programme de l'Organisation mondiale de la santé : «la santé pour tous en l'an 2000» où la surveillance réfère à l'obtention d'informations suivies sur l'atteinte d'objectifs définis par ce programme,

- 13 -


Ainsi, Pineault et Daveluy se sont inspirés des réflexions de Rutstein et son groupe (1976) afin de mieux définir la démarche de surveillance de l'état de santé d'une population. Les données de surveillance sont alors mieux traduites par les termes «voyants de santé». Elles réfèrent à des données qui permettent de signaler aux planificateurs et aux gestionnaires de programmes certaines déficiences à corriger.

Ils résument ainsi la différence entre évaluation et surveillance : «La distinction entre l'évaluation et la surveillance de la santé tient beaucoup moins à l'information et aux données qu'elles commandent, qu'aux buts qu'elles poursuivent. Par analogie, la surveillance est à l'évaluation ce que le dépistage est au diagnostic. (...). Dans le cas de la surveillance, des indicateurs sensibles agissent comme des «voyants» et sonnent l'alerte. L'évaluation, elle, est préoccupée par la spécificité et la validité interne».

Les analyses, études ou recherches évaluatives

La recherche évaluative s'inscrit dans une approche analytique. Elle a une portée à long terme et s'inspire davantage des méthodes de recherche pour examiner les interrelations entre les composantes d'un programme. Elle est un processus plus complexe et ponctuel permettant d'approfondir un questionnement (Conférence des Régies régionales, 1994).

Bourgeault et al. (1995) la définissent comme suit:

«La recherche évaluative est une démarche d'investigation qui vise la compréhension en profondeur d'un service, d'un programme ou d'une politique afin de poser un jugement sur l'objet d'évaluation dans un but d'amélioration des connaissances. Plus particulièrement, il s'agit d'analyser la pertinence, les fondements théoriques, la structure, le processus, les effets et le rendement d'une intervention ainsi que les relations existantes entre ces composantes, dans le but d'acquérir des connaissances nouvelles (fonction cognitive) relatives aux processus causaux sous-jacents aux interventions permettant le développement de meilleurs programmes d'interventions».

On peut dire aussi que le suivi de gestion et le monitoring servent à décrire des états de situation. L'évaluation sert, quant a elle, a examiner les liens entre des objets de programmes ou entre le programme et son contexte.

-14-


Nous retenons que le programme est : «Un ensemble de ressources réunies et mises en oeuvre pour fournir à une population définie, des services organisés de façon cohérente dans le temps et dans l'espace dans le. but d'atteindre des objectifs déterminés en rapport avec un problème de santé précis». Ce programme est constitué d'objectifs, de ressources (input), de services (output% de résultats (outcome) et de conséquences (impact). Nous le reconnaissons également comme un élément intégrateur de l'évaluation puisqu'il fournit un cadre général à cette démarche. Il est également un processus dynamique saunas aux influences de plusieurs acteurs.

i - ; ; ; I f i l I i i I I ^ I l ; H f j ; "Iii: Nous retenons que l'évaluation consiste en un jugement de valeur sur une activité, un service ou une composante d'un programme par le biais de critères et de normes, établis de façon déterminée ou spontanée. Ce jugement s'exerce sur les composantes du programme et sur tes étapes préalables ou consécutives à la programmation. De façon plus opérationnelle, «l'évaluation de programme renvoie à un ensemble d'activités reliées à une collecte systématique de données permettant d'améliorer le processus de prise de décision des gestionnaires, des intervenants et de la population tors de ta planification et du développement des programmes, services et interventions destinés à la communauté».

LES ÂCJWITÊS ÉVALUATIVES - Le suivi de gestion, associé à une approche de monitorage administratif, vise la production

d'informations récurrentes permettant d'alimenter la gestion courante des programmes et de déceler les écarts entre ce qui est fait et ce qui devrait l'être

-Le monitoring évaluatif ou surveillance réfère à «la production systématisée d'indicateurs choisis pour leur pertinence, leur utilité et leur fiabilité permettant de suivre l'évolution des composantes des systèmes». Ce qui distingue la surveillance d'un processus d'évaluation c'est qu'il n'établit pas de liens entre la structure, le processus et des résultats spécifiques: elle les postule.

- Les études, analyses ou recherches évaluative s s'inscrivent dans une approche analytique Elles permettent d'analyser la pertinence, tesfondements théoriques, la structure, le processus, les effets et le rendement d'une intervention ainsi que les relations existantes entre ses composantes. Elles ont une portée à long terme et s'inspirent davantage des méthodes de recherche pour examiner les interrelations entre les composantes d'un programme.

- 1 5 -

LES ASPECTS DE L >ÉVALUATION


3. LES ASPECTS DE L'ÉVALUATION

Ce chapitre identifie les objectifs poursuivis par l'évaluation de programme, les différents types d'évaluation qu'il est possible de faire, les approches qu'elle peut adopter ainsi que les choix méthodologiques qui supportent ces approches.

3.1 Les objectifs et les buts de l'évaluation

3.1.1 Les objectifs de l'évaluation

Selon la politique ministérielle d'évaluation des programmes et des politiques sociosanitaires (MSSSQ, 1990), l'objectif général de la fonction d'évaluation (niveaux central et régional) est de fournir des instruments d'aide à la décision : ces instruments correspondent généralement à des ensembles d'informations structurées permettant de porter des jugements sur les politiques, les programmes, les services et les interventions.

Le fait que le processus d'évaluation fasse partie du processus de décision, en ce sens qu'il permet de faciliter les choix des gestionnaires et des dirigeants, est un des aspects les plus largement rapportés dans la littérature.

De même, il est communément reconnu que l'activité évaluative vise habituellement à améliorer la pertinence, la cohérence, l'efficience, l'efficacité et l'impact des politiques et des programmes de santé et de services sociaux. La vérification et l'amélioration de la pertinence, de l'efficacité et de l'efficience sont le plus souvent évoqués comme des visées de la démarche évaluative.

La notion d'objectifs indirects associés à l'évaluation de programme est également apportée (A. Souibqui, 1983). Ces derniers réfèrent a des objectifs administratifs (favoriser l'imputabilité du gestionnaire), financiers (viser une économie dans l'utilisation des ressources financières) ou politiques (renforcer les décisions de changement des pouvoirs vers une amélioration de la productivité des organismes publics).

La Conférence des Régies régionales de la santé et des services sociaux (1994), dans son cadre de référence sur la fonction évaluative dans les Régies régionales, accole aussi cette finalité de reddition de comptes à celle de l'aide à la prise de décision. Elle précise que les activités d'évaluation devraient avoir deux fins : 1) aider la Régie régionale et ses collaborateurs à prendre des décisions éclairées sur un éventail d'orientations et d'actions destinées à la population; 2) apporter certaines réponses aux bailleurs de fonds sur les conséquences des choix qui ont été faits eu égard au système sociosanitaire régional. Ainsi, «L'évaluation devient un outilfacilitant le changement dans les choix d'actions/interventions et dans les façons de faire, et ce en vue d'évoluer positivement vers les orientations de la réforme».

-19-


3.1.2 Les buts de l'évaluation

ïl existe différents buts poursuivis par l'évaluation de programme. Une évaluation peut avoir comme finalité de poser un diagnostic sur les problèmes ou les besoins auxquels on souhaite répondre ainsi que sur la faisabilité du programme avant qu'il ne soit implanté. On dira alors de cette évaluation qu'elle est une «évaluation diagnostique». Toutefois, les deux principales finalités poursuivies sont la finalité formative (évaluation formative) où l'évaluation vise à apprécier les résultats d'un programme et celle, sommative (évaluation sommative) qui cherche à comprendre davantage sur le processus et la structure du programme.

Champagne et al. diront que les buts poursuivis peuvent être de trois ordres: aider à leur planification et à leur élaboration, fournir de l'information pour les améliorer (but fonnatif) et en déterminer les résultats et l'impact (but sommatif). Ces buts ne sont pas mutuellement exclusifs. A chacun de ces buts correspond des questions d'évaluation.

L'évaluation diagnostique

Cette évaluation se situe au début du processus d'intervention ou d'implantation du programme. Elle dresse l'inventaire des besoins de la clientèle et des ressources disponibles du milieu, visant ainsi à ce que la planification de l'action corresponde le mieux possible aux attentes d'une population donnée, selon les ressources disponibles (Beaudoin, Lefrançois, Ouellet, 1986).

D'une part, elle peut être vue comme une exploration empirique prenant la forme d'une étude de besoins, celle-ci comportant une démarche d'inventaire (cueillette de données) et une confrontation des données recueillies avec les groupes ou clientèles concernées. L'évaluateur est alors à la fois un "expert", à la fois un "observateur participant" qui vise à saisir les attentes de la population cible. D'autre part, elle comporte un aspect d'exploration théorique où sont examinées la possibilité et la viabilité d'une démarche d'évaluation dans un contexte donné.

L'évaluation sommative

«Cette évaluation vise à apprécier les résultats du programme sans trop se préoccuper des processus qui interviennent lors de l'implantation de programme» (Pineault, Daveluy, 1995). Elle est associée à un modèle axé sur les buts.

Elle est la méthode la plus couramment utilisée en évaluation de programme. Centrée sur une définition formelle du programme, elle est «une entreprise externe réalisée selon les critères de la méthode scientifique. Elle vise à vérifier si les résultats produits correspondent aux objectifs fixés, en utilisant un ensemble de critères définis de l'extérieur, les critères de succès (hi programme» (Beaudoin, Lefrançois, Ouellet, 1986). Plusieurs auteurs l'ont adoptée: Lecomte et Rutman (1982), Rossi et Freeman (1985), Cook et Reichardt (1979), Campbell et Stanley (1966).

- 2 0 -

Revue de littérature concernant l'évaluation de programme dans le secteur de La santé et des services sociaux

Dans ce type d'évaluation, on a recourt à la rigueur de la méthode scientifique en utilisant par exemple les protocoles expérimentaux avec des échantillons choisis de façon aléatoire ou, lorsque ce n'est pas possible, les protocoles de nature quasi-expérimentale. En matière de programmes sociaux, cette stratégie a été critiquée comme étant trop éloignée de l'intervention des praticiens et trop peu concluante quant aux résultats qu'elle permet de dégager.

L'évaluation formative

Cette évaluation permet de comprendre les raisons d'échec ou de réussite du programme en questionnant le processus, c'est-à-dire les moyens mis en place pour l'atteinte des objectifs. Elle correspond davantage à une vision systémique de l'organisation et du programme. Essentiellement dynamique, elle permet une rétroaction tout au cours du processus d'évaluation afin d'améliorer les éléments du programme, le rendant ainsi plus performant. Ce type d'évaluation est surtout utilisé au stade de l'implantation du programme. Elle constitue une méthode complémentaire à l'évaluation sommative. Les auteurs qui s'inscrivent dans ce courant sont: Stake (1967), Alkin (1969) et Stufïlebeam (1980).

Rutman (1982) dira «par opposition aux évaluations de l'efficacité qui portent un jugement sur les programmes, la recherche formative met l'accent sur la découverte des résultats, tandis que les évaluations de l'efficacité s'intéressent principalement à la vérification».

L'évaluation centrée sur l'utilisation développée par Patton fait partie de ce type d'évaluation. L'élément dominant de cette méthode est la participation continue des partenaires associés à l'évaluation (preneurs de décision et acteurs du programme) à l'ensemble du processus d'évaluation.

-21 -


j LES OBJECTIFS DEL 'ÉVALUATION DE PROGRAMME

L'objectif général de la fonction d'évaluation des programmes sociosanitaires consiste à fournir des instruments d'aide à la décision en ce sens qu 'elle permet aux gestionnaires et à leurs collaborateurs (dispensateurs de services, décideurs politiques, usagers, etc.), par un accès à des informations structurées, d'effectuer de «meilleurs choix» relativement aux services, aux interventions, aux programmes et aux politiques. Ces «meilleurs choix» réfèrent à une amélioration de leur pertinence, de leur efficacité et de leur efficience.

Dans la nouvelle dynamique avec laquelle doit composer les pouvoirs publics, apparaît un objectif indirect important de la démarche d'évaluation, soit celui de rencontrer tes exigences d'une reddition de comptes quant à l'utilisation des fonds publics. Les informations fournies par l'évaluation doivent donc être utilisées pour mieux répondre aux besoins de la population, tout en servant un processus de reddition de comptes.

SES BUTS OU SES FINALITÉS

Les finalités poursuivies par l'évaluation se regroupent autour des trois catégories suivantes:

L'évaluation diagnostique se situe au début du processus d'intervention ou d'implantation du programme. Elle vise ainsi à ce que ta planification de l'action corresponde le mieux possible aux attentes d'une population donnée, selon les ressources disponibles. Elle peut prendre la, forme d'études de Besoins des populations visées (exploration empirique) ou d'études de faisabilité de l'intervention avant qu 'elle ne soit implantée {exploration théorique).

L'évaluation sommative. la plus couramment utilisée en évaluation de programme, est associée à un modèle axé sur les buts. Elle vise à vérifier si les résultats produits correspondent aux objectifs fixés, sans trop se préoccuper des processus qui interviennent lors de l'implantation de programme. Dans ce type d'évaluation, on a recourt à la rigueur de la méthode scientifique (protocoles expérimentaux avec des échantillons choisis de façon aléatoire ou, lorsque ce n 'est pas possible, protocoles de nature quasi-expérimentale).

L'évaluation formative permet de comprendre les raisons d'échec ou de réussite du programme en questionnant le processus, c'est-à-dire les moyens mis en place pour l'atteinte des objectifs. Elle correspond à une vision systémique de l'organisation et du programme. L'élément dominant de cette méthode est la participation continue des partenaires associés à l'évaluation. Ce type d'évaluation est surtout utilisé au stade de l'implantation du programme. H est complémentaire à l'évaluation sommative et est vue comme la tendance récente dans ce domaine d'activités.

- 2 2 -


3.2 Les types d'évaluation

Selon Champagne et ses collaborateurs (1995), «l'évaluation peut être abordée de plusieurs façons selon notamment, le stade de développement du programme et le but poursuivi». Précédemment nous avons identifié les types d'évaluations qui se définissent selon leurs finalités (sommatif, diagnostic et formatif).

Quelques auteurs ont fait des typologies des évaluations construites à partir de l'objet évalué. Un tableau-synthèse que vous trouverez à l'annexe 1 présente quelques-unes de ces

typologies ou de ces regroupements d'approches en évaluation. Nous tentons de dégager les principaux éléments à retenir de cet inventaire.

Un premier type d'évaluation porte sur les composantes du programme. Il comprend l'évaluation des objectifs, de la structure, du processus, des possibilités d'action, de l'implantation et des effets en liens avec les objectifs (ou résultats).

Un second type réfère aux évaluations qui analysent les interrelations entre les composantes du programme. Il regroupe l'évaluation de productivité, de rendement et celle de l'effet en lien avec les ressources. Il s'agit en somme des évaluations dites «économiques».

Chacun de ces types d'évaluation répond à des questions d'évaluation. Nous décrirons ici en quoi consiste les évaluations qui se regroupent autour de ces catégories.

Vous trouverez présentées en annexe (annexe 1) différentes typologies (Monnier, 1981; Gauthier et Beaudry, 1992; Pineault et Daveluy, 1995 et ENAP, 1995) de l'évaluation desquelles sont tirées les informations de la présente section.

3.2.1 L'évaluation des composantes du programme

Préalablement, les éléments qui constituent le programme et qui seront au centre de ces évaluations sont les suivants:

des objectifs des ressources (input) des services (output) des résultats (outcome) et des conséquences (impact)

L'identification de ces composantes fait suffisamment consensus dans la littérature. Certains vont y ajouter "le processus", référant ici à la façon dont le programme est mis en place. Cette composante s'apparente toutefois aux services ou moyens d'intervention choisis pour répondre aux besoins.

-23 -


Les évaluations associées à ces composantes sont les suivantes :

ÉVALUATIONS DES COMPOSANTES D U P R O G R A M M E

- L E S O B J E C T I F S D U P R O G R A M M E

L'ÉVALUATION STRATÉGIQUE (DES OBJECTIFS) Il s'agit d'une approche traditionnelle de l'évaluation. Elle confronte les résultats aux objectifs initiaux du programme. Elle peut également examiner si les objectifs du programme sont appropriés aux besoins de la population-cible.

Questions centrales : Les effets observables du programme sont-ils conformes aux objectifs préétablis? Est-ce que les objectifs du programme permettent de résoudre les problèmes visés, les besoins de la population ciblée?

L'ÉVALUATION DES POSSIBILITÉS D'ACTION Cette évaluation permet de procéder à la sélection du mode d'intervention à privilégier à partir de l'examen des différentes alternatives d'intervention. Les aspects du programme auxquels se réfère cette évaluation sont : les objectifs d'intervention et la nature de l'intervention.

Questions centrales: Quels sont les cibles et les objectifs visés? Quels sont les objectifs à évaluer? Quelle est la logique sous-jacente à l'intervention? Quels sont les moyens d'actions à privilégier? L'intervention est-elle logique face aux problèmes?

- L E S S E R V I C E S E T LE P R O C E S S U S

L'ÉVALUATION DU PROCESSUS

Approche inspirée d'une approche systémique qui a pour finalité principale d'expliquer les phénomènes à partir d'une analyse des interactions entre le programme et son environnement. Elle analyse les méthodes par lesquelles les processus de changement, traduits sous forme d'objectifs, sont mis en oeuvre. Elle vise une optimisation des moyens, compte tenu des caractéristiques de l'environnement.

Questions centrales: Quels sont les processus a l'origine des effets observables? Les aspects du programme auxquels se réfère cette évaluation sont: les services utilisés et les résultats escomptés. Dans quelle mesure les services sont-ils adéquats pour atteindre les résultats voulus (réponse, aux besoins des usagers)?

- 2 4 -


- LES R E S S O U R C E S E T L A S T R U C T U R E

L'ÉVALUATION DE LA STRUCTURE

Cette évaluation mesure la quantité et la qualité des ressources mobilisées. Elle fournit des explications relativement au degré de réussite du programme. Les aspects du programme auxquels se réfère cette évaluation sont: les ressources (input) et les résultats du programme. Question centrale: Dans quelle mesure les ressources employées (humaines, financières, physiques) le sont-elles de façon adéquate pour atteindre les résultats escomptés?

L'ÉVALUATION D ' IMPLANTATION Cette approche consiste à considérer le programme comme un ensemble disparate de moyens mis en oeuvre. Elle décrit le déroulement d'un programme et identifie la population effectivement desservie. Elle vise la mesure de l'efficacité et la maximisation des moyens par rapport aux fins poursuivies (objectifs). Elle peut viser également à assurer le suivi d'un programme, d'un service ou d'une intervention. Questions centrales: Les ressources utilisées et les activités menées par le programme sont-elles suffisantes pour s'attaquer au problème public? Quels sont les produits et les services offerts? Qui est la population rejointe? L'implantation correspond-elle aux plans initiaux? Le choix et la mise en oeuvre des moyens (financiers, techniques, de communication, etc.) ont-ils permis d'atteindre les résultats escomptés?

- LES R É S U L T A T S

L'ÉVALUATION DES RÉSULTATS Elle détermine le degré de réussite d'un programme en examinant l'atteinte des objectifs du programme qui sont en lien avec le bien-être de ceux qui en bénéficient. Les aspects du programme auxquels se réfère cette évaluation est: l'objectif du programme. Questions centrales: Les résultats observés correspondent-ils à ceux attendus, c'est-à-dire aux objectifs que l'intervention s'est proposée d'atteindre? Les services produits ont-ils provoqué les changements attendus?

3.2.2 L'évaluation des interrelations entre les composantes du programme

D'autres types d'évaluation vont viser à cerner les relations qui existent entre les composantes du programme évoquant ainsi les aspects de rendement, d'efficience, d'efficacité et de productivité du programme.

- 2 5 -


LES ÉVALUATIONS DES INTERRELATIONS ENTRE LES COMPOSANTES D'UN PROGRAMME

- RELATION OBJECTIFS-RESSOURCES

ANALYSE DU PROGRAMME Etudie la correspondance entre les objectifs et les moyens mis en oeuvre dans le programme. Questions centrales: Les ressources et les activités sont-elles adéquates, suffisantes, conformes aux objectifs poursuivis? Est-ce qu'on emploie les bons moyens pour obtenir les résultats escomptés?

- RELATION PROCESSUS-RESSOURCES (productivité)

ANALYSE DE LA PRODUCTIVITÉ OU EFFICIENCE Mesure la relation entre les services produits et les ressources investies. Question centrale: Comment on peut optimiser les services produits en gardant les ressources constantes ou en réduisant les ressources au minimum en maintenant la même quantité de services?

- RELATION EFFETS-RESSOURCES (rendement, rentabilité)

ÉVALUATION DU RENDEMENT L'évaluation du rendement ne s'attarde pas à des aspects spécifiques du programme. Elle | comprend des analyses qui mettent en lien coût-efficacité; coût-avantage; coût-utilité; les résultats vs les coûts; les impacts vs les coûts. Elle examine la productivité de l'action sous quatre aspects en posant les questions suivantes. Questions centrales: Est-ce que certaines activités du programme sont plus productives que d'autres? Est-ce que les bénéfices sociaux du programme dépassent ses coûts sociaux? Y a-t-il d'autres modes | d'intervention qui pourraient régler ce problème à moindre coût? et d'autres interventions dans d'autres sphères d'activités seraient-elles plus productives?

- RELATION EFFETS-RÉSULTATS (utilité, efficacité)

ÉVALUATION DES EFFETS Ce type d'évaluation examine les retombées du programme par rapport aux besoins de ceux qui en bénéficient. Il peut également vérifier l'écart entre les effets et impacts souhaités et ceux effectivement observés. Il considère la relation entre les services et les effets de ces services sur les résultats de ce programme ou sur son impact Questions centrales: Quels sont les impacts recherchés et les impacts secondaires possibles? se sont-ils matérialisés? dans quelle mesure? Quel est le niveau d'atteinte des objectifs par rapport à la population-cible? Peut-on dire que les effets et impacts observés sont dus à l'action déployée? Quels sont parmi l'ensemble des effets d'un programme ceux qui satisfont des besoins fondamentaux?

- 2 6 -


3.2.3 L'évaluation selon les différents moments du processus d'implantation d'un programme

Certaines évaluations, en survenant avant la mise en place du programme ou inversement une fois que le programme a été implanté, ne sont pas en lien de façon spécifique avec les composantes du programme. Ce sont ces évaluations que nous décrivons ici, R. Pineault, C. Daveluy (1995) décrivent ces distinctions en situant ces évaluations par rapport au moment où elles interviennent :

Évaluation pré-décision (ex-ante) qui précède la mise en oeuvre du programme et compare l'efficacité ou la rentabilité économique de différentes actions possibles pour atteindre les objectifs désirés; Évaluation post décision (ex-post) ou sommative qui intervient lorsque le programme a été implanté et qui s'attache aux résultats obtenus par une intervention du programme; Évaluation concurrente ou concomitante ou formative qui maintient une rétroaction constante tout au long du processus d'implantation et d'élaboration du programme permettant à celui-ci d'être continuellement modifié à mesure que les données nouvelles sont connues.

Nous retiendrons ici les évaluations pré-décision et post-décision qui ne s'insèrent pas dans une typologie basée sur les composantes du programme ou leurs interrelations.

- É V A L U A T I O N PRÉ-DÉCISION (EX-ANTE)

L'ÉVALUATION DES BESOINS

Étude menée auprès d'une communauté permettant d'estimer ses problèmes et d'identifier les services qu'elle requiert. Ce type d'évaluation permet de s'assurer que le programme, le service ou l'intervention proposé répond à un besoin réel et que les solutions préconisées sont ajustées aux ressources existantes. Les aspects du programme auxquels se réfère cette évaluation sont: les problèmes et les besoins sociaux. Questions centrales: Quelles est la raison d'être du programme? Cette raison d'être du programme est-elle

pertinente en regard du problème public visé et des problèmes sociaux pressants?

- É V A L U A T I O N P O S T DÉCISION (EX-POST)

L'ÉVALUATION DE L'IMPACT

Porte sur l'état de santé de la population, sur l'utilisation des services en général ainsi que sur des phénomènes environnementaux, économiques, sociaux. Elle n'est pas nécessairement directement liée au programme. Question centrale: Quel est l'impact du programme chez les utilisateurs et la population-cible?

-27 -


En somme, tous ces types d'évaluation reflètent une articulation entre la démarche d'évaluation et celle de la planification, de la mise en place ou du bilan du programme évalué. Les propos de Beaudry et Gauthier (1992), nous semblent un bel exemple de la forme globale que peut prendre cette articulation:

«Le besoin d'une intervention sous forme de programme naît de la perception d'un problème social jugé prioritaire (évaluation des besoins). Pour résoudre ce problème, on fixe des objectifs vers lesquels tendra l'intervention (formulation d'une solution). À partir d'une certaine compréhension de la situation problématique, de ses causes et de ses moyens d'action possibles (évaluation des possibilités d'action). on sélectionnera un type d'intervention à privilégier -services- (implantation d'un devis d'intervention). Grâce à des ressources déterminées et à des processus d'opération normalisées (évaluation d'implantationj. le programme produit des extrants repérables (extrants de l'intervention). Ces extrants devraient avoir des impacts dans l'environnement du programme (évaluation des effets et impacts); certains impacts seraient recherchés, parce qu'ils correspondent aux objectifs du programme alors que d'autres ne le sont pas et peuvent être indésirables. Par les changements qu'il opère dans l'environnement, ce programme peut exercer une influence positive ou négative sur d'autres problèmes existants». L'évaluation du rendement puisqu'elle ne s'attarde pas à des effets spécifiques du programme, excanine sa productivité globale.

LES TYPESD'ÈVALUA TIONDE PROGRAMME

Les évaluations peuvent se définir selon les étapes de planification du programme. E s'agit d'évaluations portant sur:

des composantes du programme. Elles regroupent les évaluations portant sur: les objectifs du programme; les services et le processus; les ressources et la structure; les résultats.

des interrelations entre les composantes du programme On retrouve parmi ces évaluations dites «économiques», des évaluations qui traitent de:

-,la relation objectifs-ressources; -la relation processus-ressources (productivité); -la relation effets-ressources (rendement, rentabilité); -la relation effets-résultats (utilité, efficacité).

Enfin, on peut également définir des évaluations selon les différents moments du processus d'implantation d'un programme. Certaines évaluations, en survenant avant la mise en place du programme ou inversement, une fois que le programme a été implanté, ne sont pas en tien de façon spécifique avec les composantes du programme. R s'agit des évaluations pré-décision (ex-ante) parmi lesquelles on retrouve l'évaluation des besoins et des évaluations post décision (ex-post) dont la plus évoquée est certainement l'évaluation de Vimpact

-28 -


3.3 Les approches en évaluation: Des évaluations par des experts aux évaluations participatives

3.3.1 L'évolution des approches au fil de quatre générations d'évaluations

Les approches et méthodes diverses en évaluation correspondent aux différentes étapes de développement de ce champ de connaissances. On évoque dans la littérature «quatre générations» de l'évaluation associées à ces stades d'évolution. La première génération d'évaluations s'est appuyée sur l'utilisation d'instruments et de tests. C'est l'évaluation sommative classique, basée sur une méthodologie de recherche, essentiellement quantitative, qui remonte au début du siècle. La deuxième génération (années '20-30) introduit la mesure de l'écart entre la performance du programme et les objectifs visés. La troisième génération (années '60) apporte la notion de jugement de valeur. Par delà l'atteinte de ses objectifs, la performance du programme est jugée en regard de la façon dont il se situe parmi un ensemble d'alternatives. Cette génération donne d'abord lieu à la réalisation d'évaluations sommatives avec devis expérimentaux. C'est le modèle causal de l'évaluation avec toutes les exigences de rigueur scientifique qui y sont associées.1

Jusqu'à ce moment, la contribution quasi exclusive d'experts était requise à la réalisation d'évaluations. Toutefois, les années '70 ont amené une deuxième souffle à la troisième génération. Des approches alternatives se sont développées avec comme préoccupation l'utilisation des résultats de l'évaluation et les besoins des utilisateurs. La méthodologie s'élargit. «L'évaluation, à butformatif et utilisant une méthodologie pluraliste, est donc de plus en plus centrée sur les acteurs; on assiste donc à l'émergence de l'évaluation centrée sur l'utilisation (Patton, 1978) et quelques années plus tard de l'évaluation centrée sur l'implication des groupes d'intérêts (Weiss, 1983)» (Bourgeault et al. 1995).

Enfin, les années '80 seront l'époque dite «synthèse» ou d'«intégration» des approches du passé. L'évaluation s'adapte au programme. Elle est élaborée «sur mesure». On parle alors d'évaluations de quatrième génération où l'évaluation est un processus de négociation entre les acteurs concernés (Guba et Lincoln, 1989). Ces deux derniers développements (troisième et quatrième générations) se sont distingués aussi par le recours à des méthodes qualitatives et participatives.

L'évaluation se définit alors comme un processus dynamique, interactif où les personnes qui agissent au niveau du programme participent à l'évaluation et peuvent être ainsi à la fois «évaluées» et «évaluateurs». Cette approche correspond à un modèle systémique où l'organisation est vue comme un «système complexe et dynamique poursuivant bien sûr des buts; mais ces derniers sont beaucoup plus fluides et instables que dans l'autre modèle, et constamment redéfinis par les acteurs en présence dans l'organisation et dans l'environnement"»(Pineault et Daveluy, 1995). Elle s'oppose au

1 Les informations concernant les quatre générations d'évaluations de programme sont tirées du document BOURGAULT, C.; KISHCHUK, N.; VERMETTE, G. (1995), L'évaluation de programmes de désintoxication, de réadaptation et d'aide et soutien aux personnes toxicomanes: cadre de référence. RISQ (recherche et intervention sur les substances psychoactives Québec) et Centre de recherche en promotion de la santé de Montréal.

-29 -


modèle classique qui reflète une conception où des relations causales et linéaires existent entre les composantes d'un programme.

Cette quatrième génération constitue «un nouveau paradigme de ('évaluation où, contrairement à l'approche scientifique traditionnelle, la "vérité" devient le fait d'une construction collective, et autant que possible, consensuelle, d'une représentation du programme par l'ensemble des acteurs qui y ont des intérêts. De ce consensus sur ce qui a été, est et devrait être, découle l'utilité de la démarche d'évaluation». (D. Allard, 1993).

Ainsi, l'univers de l'évaluation, tel qu'on le vit aujourd'hui, voit se côtoyer des approches plus traditionnelles avec des approches pluralistes. On peut décrire la situation actuelle de la façon suivante : «D'un côté, il y a les évaluations plus complexes qui-doivent être menées par des spécialistes formés aux tâches de recueil, d'analyse et de production des données. C'est le genre d'évaluation où les experts en évaluation sont appelés à prendre une position soit d'examinateurs externes, soit d'évaluateurs participants. Dans le premier cas, ils prennent seuls les décisions d'évaluation. Dans le second, ces décisions relèvent de tous les partenaires concernés et peuvent être prises, par exemple, au sein d'un comité mandaté pour piloter l'évaluation. D'un autre côté, il y a aussi différentes sortes d'évaluation plus simples qui peuvent être réalisées par les gestionnaires et les intervenants eux-mêmes, seuls ou avec un minimum d'aide extérieure. Dans le cadre de ces dernières, le spécialiste agit plutôt à titre de consultant (Desjardins, N., 1995)

- 3 0 -


3.3.2 Des approches en évaluation qui s'appuient sur deux grands paradigmes scientifiques

Ces différentes approches en évaluation comportent des choix méthodologiques qui traduisent deux grands paradigmes scientifiques ou deux orientations fondamentales. Il s'agit d'une part, du paradigme empirique associé aux sciences naturelles et à une démarche déductive et d'autre part, du paradigme normatif, davantage apparenté aux sciences humaines et sociales et à une démarche inductive et plus qualitative. L'évaluation sommative faisant davantage appel aux experts traduit un paradigme empirique alors que l'évaluation formative à laquelle prennent part les acteurs du programme véhicule un paradigme formatif. Le tableau ci-dessous résume les caractéristiques de ces paradigmes.

L'insertion des méthodes qualitatives en liaison plus étroite avec l'intervention est vue comme le reflet d'une tendance récente. On ne part plus d'une définition formelle du programme, mais on considère plutôt ce dernier comme un tout, ayant recours à une méthodologie favorisant les techniques d'observation et d'entrevue. Le protocole de recherche se construit au fur et à mesure, selon une démarche inductive plutôt qu'un protocole de recherche pré-défini. Par l'insertion de l'évaluation dans l'intervention, les techniques d'évaluation sont en étroite relation avec le processus d'intervention. Ce type d'évaluation peut être réalisé par le praticien lui-même et les résultats sont évalués en cours d'évaluation.

TABLEAU: CARACTÉRISTIQUES DES PARADIGMES EN ÉVALUATION DE PROGRAMME

| PARADIGME EMPIRIQUE PARADIGME NORMATIF

Données quantitatives Données qualitatives

Objectivité Subjectivité

Distance par rapport aux observations (extrospection)

Proximité des milieux d'observation (introspection)

Approche fragmentaire Approche holistique

Système fixe Système dynamique

Importance de la fiabilité des données Importance de la validité des données

Démarche déductive Démarche inductive

Tend vers l'uniformité Tend vers la diversité

Tableau de PATTON, M. Utilization-focused evaluation, Sage, Beverly Hills, California, 1978 tiré de PINEAULT, R., DAVELUY, C., La planification de la santé. Éditions nouvelles, Montréal, 1995

-31 -


LES APPROCHES EN ÉVALUATION : UNE HISTOIRE DE QUATRE ÉNÉRATIONS

Des évaluations par des experts aux évaluations participatives; D'an paradigme empirique à un paradigme formatif

Une première génération d'évaluations mesure la réussite dm programme à l'aide de tests; une deuxième décrit et explique les écarts constatés par rapport aux objectifs pour permettre une rétroaction sur le programme; une troisième porte un jugement sur la performance relative du programme, le situant parmi un ensemble d'alternatives possibles et une quatrième vise à mieux intégrer les acteurs internes et externes dans le programme; cette intégration passant par la reconstruction collective du programme par ces acteurs, aidés d'un évaluateur-médiateur.

En observant ces choix méthodologiques, on s'aperçoit ainsi que les premières générations d'évaluations s'appuient sur une approche scientifique traditionnelle (paradigme empirique) alors que plus récemment, on a assisté à un décloisonmment de ce champ de connaissances. L'émergence d'évaluations dite «participatives» s'inscrit dans un paradigme normatif où «la «vérité» devient le fait d'une construction collective, et autant que possible, consensuelle, d'une représentation du programme par l'ensemble des acteurs qui >' ont des intérêts. De ce consensus sur ce qui a été, est et devrait être, découle l'utilité de la démarche d'évaluation».

- 3 2 -


3.4 Méthodes quantitatives ou qualitatives: démarches suggérées pour faire évoluer ce débat

Bourgeault et al. (1995) ont définit ces deux catégories de données comme suit:

«Les méthodes quantitatives sont issues de devis de recherche de type expérimental ou quasi-expérimental. Elles se caractérisent par la quantification des effets mesurés, le recours à des modèles de causalité plus ou moins sophistiqués et l'utilisation des statistiques:

Les méthodes qualitatives, orientées vers la précision et la qualité des données obtenues, se sont développées en réponse aux limites de l'approche quantitative et des devis expérimentaux».

Puisque l'évaluation de programme se base essentiellement sur une collecte d'information qui s'applique à un grand nombre de secteurs d'activités, la littérature présente une diversité de méthodologies qui y sont rattachées. Ces différentes positions méthodologiques suscitent des débats dont le plus fréquemment abordé est celui qui oppose les approches qualitatives et quantitatives.

Selon les auteurs Péladeau et Mercier (1993), ce débat n'est pas problématique et peut comporter des avantages. «Le problème surgit toutefois lorsque la façon de poser les termes du débat a pour conséquence de faire obstacle au développement respectif des différentes méthodologies et, par conséquent, au domaine de l'évaluation de programme. Il en est ainsi lorsqu'on en vient à définir le débat en terme d'opposition épistémologique et non pas seulement méthodologique (...) En définissant la nature de l'opposition entre les méthodologies comme se situant fondamentalement au niveau des paradigmes».

Dans le contexte de ces débats, ces auteurs ont identifié quatres démarches susceptibles de faire évoluer la pratique de l'évaluation:

3.4.1 Première démarche : conserver une exclusivité des approches tout en tentant néanmoins d'améliorer les pratiques respectives de ces approches

Cette option met l'accent sur les avantages de conserver le choix exclusif d'une méthode. Ainsi, on invoque que les chercheurs spécialistes d'une approche sont les plus susceptibles de réagir aux limites et aux critiques de leurs méthodes par le développement de moyens et d'applications à l'intérieur de leur modèle.

-33 -


Les critiques principales associées au recours aux méthodologies quantitatives sont: le grand nombre de participants et la durée de l'enquête qui sont requis. Aussi, l'application d'un devis expérimental ou quasi-expérimental implique un suivi sur une longue période, ce qui affecte l'utilité des résultats de l'évaluation. On reproche également aux schèmes expérimentaux et quasi-expérimentaux d'être simplificateurs et de ne pas refléter la complexité de la réalité. Certaines solutions ont été développées pour répondre à ces critiques telles que le recours à certains types d'analyse multivariées.

Les critiques principales associées au recours aux méthodologies qualitatives sont: l'incapacité de fournir des données valides ou fiables pouvant être généralisées à d'autres situations ou à d'autres populations. Pour augmenter la fiabilité et la validité des données qualitatives, des stratégies ont été suggérées par certains auteurs: l'entraînement rigoureux des travailleurs de terrain pour augmenter la précision et la portée des informations recueillies; la cueillette de données par des informateurs-clés par au moins deux interviewers ou à deux moments différents, pour identifier les biais d'interviewers ou pour corriger les inexactitudes ou les inconsistances dans les informations recueillies; améliorer le choix des sources d'information, la composition de l'équipe de recherche.

3.4.2 Deuxième démarche: le choix des approches suivant le contexte

Plusieurs auteurs adoptent cette stratégie sur le plan méthodologique qui s'appuie sur l'idée que chaque type de méthode est approprié dans un contexte particulier. Ainsi, des conditions s'avèrent favorables à une cueillette d'informations qualitative ou quantitative, l'expertise développée par chacune des méthodes permettant de répondre à certains types de questions.

Pour Patton (1987) l'évaluation qualitative est pertinente lorsque les objectifs du programme sont généraux, lorsqu'il n'existe pas de mesures quantitatives appropriées, lorsque l'on cherche à cerner des aspects particuliers de l'intervention, de la clientèle, la dynamique d'un programme ou son implantation, lorsqu'on poursuit des fins formatives.

Rossi et Berk (1981) indiquent que dans le cas d'une analyse de besoins, l'évaluation qualitative se prête mieux à déterminer la nature des besoins et l'évaluation quantitative à mesurer ces besoins. Dans le cas d'une analyse d'impacts, l'évaluation qualitative serait mieux adaptée pour identifier pourquoi une intervention est efficace ou non alors qu'une méthodologie quantitative serait plus appropriée pour s'assurer que l'effet observé est réellement attribuable à l'intervention.

-34-


Certains auteurs seront plus favorables à un type d'approche. Ainsi, pour Beaudoin, Lefrançois et Ouellet (1986), le recours à une approche qualitative comporte les avantages suivants: une relation plus étroite entre l'évaluateur, le gestionnaire et les intervenants; le protocole de recherche sur lequel elle se base se construit progressivement, selon une démarche inductive plutôt qu'un protocole de recherche prédéfini selon l'approche hypothético-déductive.

Ces auteurs indiquent que «l'évaluation qualitative est moins formaliste, plus axée sur l'introspection, plus holistique et plus naturaliste. Pour évaluer les résultats, elle ne part plus d'une définition formelle des objectifs du programme, mais considère plutôt ce dernier comme un tout, et c'est à partir de ce tout que le processus s'enclenche (Patton, 1980). Son approche est inductive en ce sens que l'évaluation essaie de faire l'analyse des résultats du programme à partir de la situation du programme vue en elle-même et non pas à partir de la seule conception des objectifs, planifiés dont on essaie de vérifier la réalisation dans le fonctionnement quotidien».

3.4.3 Troisième démarche : l'intégration par triangulation ou utilisation de méthodes multiples lors d'une même évaluation

«La triangulation peut être conçue comme une modalité particulière d'utilisation de plusieurs méthodes ou l'objectif recherché est d'accroître la vraisemblance des conclusions d'une étude par l'obtention de résultats convergents obtenus par des méthodes différentes. (...) Elle consiste à procéder, à l'intérieur d'une même étude évaluative, à deux recherches indépendantes dont l'une est associée à une démarche qualitative et l'autre est de nature plus quantitative et d'en croiser les résultats». Les évaluateurs, les processus de cueillette et d'analyse de données sont distincts. Ainsi, la démarche ne vise pas à ce que les données soient complémentaires mais concurrentes, permettant ainsi d'établir le degré de convergence des résultats.

Les principaux problèmes de cette démarche sont la comparabilité des résultats et la présence de résultats divergents aux deux types d'évaluations poursuivies parallèlement.

3.4.4 Quatrième démarche : l'intégration par combinaison

Contrairement aux trois scénarios précédents où les méthodologies de recherche conservent leur indépendance, ici on combine volontairement des éléments de chacune des approches par un même évaluateur et ce, dans le but d'augmenter la qualité de l'évaluation. On assiste à une influence réciproque des méthodes. Les modalités d'agencement sont nombreuses. Dans certains cas, une méthodologie occupe une place prépondérante, la seconde venant enrichir les résultats de la première. Dans d'autres situations, elles ont une importance comparable. Elles peuvent se faire de façon simultanée ou successive, étant associée dans ce cas, à des étapes différentes du processus d'évaluation.

-35 -


«Une des stratégies que semblent privilégier plusieurs auteurs pour assurer la validité autant externe qu'interne de l'évaluation est de faire précéder l'étude quantitative d'une démarche de recherche qualitative au cours de laquelle l'évaluateur est amené à se familiariser avec les différents aspects spécifiques du programme qu'il doit évaluera. Ainsi, des processus de consultation (groupes Delphi, groupes nominaux, focus group) permettent d'établir les priorités d'informations, les objectifs de l'évaluation et par conséquent, la méthode à utiliser.

D'autre part, à l'étape de l'analyse et de l'interprétation des données, les données qualitatives peuvent être pertinentes. Des intervenants, des administrateurs, des clients peuvent aider à expliquer les résultats, identifier la logique derrière un profil de résultats. Des résultats préliminaires peuvent être présentés aux groupes impliqués (administrateurs, intervenants, etc.) afin de recueillir leur réaction et de soulever des hypothèses que l'évaluateur tentera par la suite de vérifier.

Enfin, une troisième utilisation des données qualitatives dans le cadre d'évaluations quantitatives consiste, lors de la présentation des données quantitatives, à illustrer et à enrichir le contenu statistique par des données qualitatives.

En conclusion, on constate l'insertion des méthodes qualitatives en liaison plus étroite avec l'intervention comme une tendance récente du champ de l'évaluation de programme. Le rapprochement des différentes méthodes de recherche s'avère une nécessité considérant la présence de différents groupes d'intérêt et le contexte politique dans lesquels s'inscrivent les évaluations, considérant aussi le besoin d'informations qui soient utiles dans des délais restreints.

-36 -


MÉTHODES QUANTITATIVES OU QUALITATIVES: DÉMARCHES SUGGÉRÉES POUR FAIRE ÉVOLUER CE DÉBAT

Différentes méthodologies sont asssociées à la façon d'effectuer la collecte de données nécessaire à l'évaluation de programme. Les positions méthodologiques existantes opposent les approches qualitatives et quantitatives.

«Les méthodes quantitatives sont issues de devis de recherche de type expérimental ou quasi-expérimental. Elles se caractérisent par la quantification des effets mesuré, le recours à des modèles de causalité plus cm moins sophistiqués et l'utilisation des statistiques.

Les méthodes qualitatives, orientées vers la précision et la qualité des données obtenues, se sont développées en réponse aux limites de l'approche quantitative et des devis expérimentaux».

Dans le contexte de ces débats, la littérature a identifié quatres démarches susceptibles de faire évoluer la pratique de l'évaluation ;

Une première démarche vise à conserver une exclusivité des approches tout en tentant néanmoins d'améliorer les pratiques respectives de ces approches; une deuxième démarche visant à choisir l'une ou l'autre des approches selon le contexte de l'étude; une troisième démarche.favorisant l'utilisation de méthodes multiples lors d'une même évaluationpermettnt d'établir le degré de convergence des résultats et enfin, une quarûème démarche où on intègre des éléments de chacune des approches dans le but d'augmenter la qualité de l'évaluation.

On constate l'insertion des méthodes qualitatives en liaison plus étroite avec l'intervention comme une tendance récente du champ de l'évaluation de programme. Le rapprochement des différentes méthodes de recherche s'avère une nécessité considérant la présence de différents groupes d'intérêt et le contexte politique dans lesquels s'inscrivent les évaluations, considérant aussi le besoin d'informations qui soient utiles dans des délais restreints.

- 3 7 -

LES DIFFICULTÉS D'EXERCICE ET LES CONDITIONS DE RÉUSSITE DE L'ÉVAL UA TION


4. LES DIFFICULTÉS D'EXERCICE ET LES CONDITIONS DE RÉUSSITE DE L'ÉVALUATION

4.1 Les contraintes et limites de l'évaluation: aspects politiques, administratifs et méthodologiques

Régis Biais (1995) du Laboratoire de recherche en écologie humaine et sociale de l'Université du Québec à Montréal, identifie trois ordres de problèmes liés à la mise en place d'activités d'évaluation dans les établissements de services sociosanitaires au Québec :

Des problèmes liés aux questions méthodologiques et métrolo gigues associées à la recherche évaluative :

^ Cette catégorie réfère principalement au manque d'opérationnalïsation dans la définition des objectifs poursuivis, à l'inadéquation des instruments de mesure et aux variations dans les services offerts dans le cadre d'un programme soumis à une évaluation.

Des problèmes au niveau structural ou administratif : Il s'agit ici de la rareté des fonds, du manque de temps et de personnel qualifié pour procéder aux évaluations et d'un style de gestion et de structure administrative qui rend cette démarche difficile.

Les attitudes négatives ou résistances face à l'évaluation : Cela évoque les «résistances organisationnelles ou sociopolitiques» qui se traduisent par des comportements susceptibles d'entraver les activités d'évaluation ou l'utilisation des résultats qui en découlent, dans le but de se protéger des effets désagréables perçus de ces activités. Elles peuvent venir des bénéficiaires du programme évalué, des administrateurs «internes» ou «externes».

D'autres auteurs ont fait les mêmes regroupements de difficultés liées à l'évaluation en évoquant des situations similaires. Ainsi, Souibqui (1983) a présenté trois catégories de difficultés :

Des obstacles méthodologiques: La fonction évaluation fait appel à des connaissances variées (différents domaines à étudier) et il s'avère difficile d'avoir des évaluateurs qui ont des connaissances aussi polyvalentes. D'autre part, certains programmes à caractère social se prêtent mal à l'évaluation puisqu'ils ont des objectifs non quantifiables on vaguement définis. Enfin, manque de moyens financiers, des échéanciers inadaptés constituent également des limites à la réalisation de cette fonction.

- 4 1 -


Des entraves bureaucratiques ou organisationnelles: La crainte des gestionnaires face aux résultats d'évaluation qui peuvent leur être défavorables, un emplacement hiérarchique de l'unité d'évaluation favorisant le fait qu'elle soit perçue comme imposée et une résistance aux changements pouvant se manifester devant les résultats de l'évaluation qui impliquent des modifications dans les pratiques constituent essentiellement ces entraves bureaucratiques.

Des contraintes politiques: Ces contraintes sont présentées comme étant des obstacles majeurs à l'affirmation de la fonction d'évaluation. Elles découlent du fait que les résultats d'évaluation peuvent être défavorables aux décideurs politiques, du fait aussi que les objectifs des programmes sont parfois orientés par les visées, les

- - idéologies des décideurs. En conséquence, il peut y avoir un suivi déficient des recommandations d'une évaluation et la pénétration de la fonction évaluation dans l'administration publique peut dépendre de la volonté du décideur politique.

«En tant que pratique politique, l'évaluation intervient nécessairement dans le rapport de force et de pouvoir liant étroitement les agents situés dans trois sphères principales: le champ de la décision politique et administrative, le champ professionnel de l'action sociale, le champ scientifique de la connaissance. (...) La plupart des difficultés affectant l'élaboration, la mise en oeuvre et les retombées de la recherche évaluative ont pour origine le rapport de force même structurant les différents champs dans le processus de la décision administrative et de l'intervention sociale. Les facteurs humains et politiques jouent certainement un rôle plus important dans l'évaluation que dans tout autre type de recherche» (Beaudouin, Lefrançois, Ouellet, 1986).

Ce diagnostic nous amène à réfléchir aux conditions de réussite de l'évaluation. Et Beaudouin, Lefrançois, Ouellet (1986) conclueront en affirmant qu '«une action renouvelée de la recherche évaluative passe par le développement d'un consensus véritable autour des objectifs qu'elle poursuit, l'aménagement en profondeur des conditions plus propices à l'exercice de son rôle et l'adoption de schèmes de valeurs et d'attitudes assurant la transparence et l'authenticité de la démarche».

- 4 2 -


4.2 Conditions de réussite de l'évaluation

Suzanne D'Annunzio a identifié pour le MSSS (1993) trois conditions gagnantes à l'exercice de la fonction évaluation. Elle mentionne dans un premier temps, pour être efficace et efficiente, la fonction évaluative peut utiliser deux principales stratégies méthodologiques distinctes, mais complémentaires: la recherche évaluative (une appréciation ponctuelle) et le monitoring (ne appréciation récurrente). Un deuxième moyen de relever le défi de l'évaluation consiste à s'entendre sur un cadre de partage des fonctions d'évaluation. Enfin, elle estime que cette démarche doit comporter une interaction fructueuse entre les niveaux concernés, particulièrement entre le niveau central et régional et notamment pour la réalisation des projets prioritaires d'évaluation et de monitoring.

On retrouve ailleurs cette idée qu'il faille avoir différentes approches selon notre objet - d'évaluation. En effet, de plus en plus d'auteurs reconnaissent qu'il n'existe pas une seule

façon d'évaluer un programme tout comme il existe plusieurs façons également d'aborder ce dernier. Monnier (1987) et Patton (1980, 1987) sont de ceux qui tiennent compte de cette situation en proposant différentes approches (expérimentales et endofonnatives) selon les caractéristiques des programmes évalués.

D'autre part, la nécessaire prise en compte des intérêts et des préoccupations des partenaires concernés par l'évaluation est également de plus en plus soulignée dans la littérature comme une condition de réussite. Si le programme est un système ouvert au compromis et à la négociation avec les partenaires, l'évaluation doit l'être aussi. Guba et Lincoln (1987), Crozier et Friedberg (1977), Monnier (1987) et Patton (1987) l'évoquent très bien. Potvin (1990) résume cette analyse de la façon suivante : «l'évaluation de programme n'est pas nécessairement un lieu d'expérimentation, mais constitue plutôt un endroit de négociation entre différents partenaires. En conséquence, la responsabilité de l'évaluation devrait être partagée avec les groupes de la communauté».

C'est dans ce contexte que Monnier (1987) et Patton (1987) proposent que la démarche d'évaluation comporte la constitution d'un comité de pilotage d'évaluation, composé des représentants des maîtres d'oeuvre et de la communauté. Cela assure la crédibilité et l'utilité des résultats. L'information est rendue accessible aux partenaires et ceux-ci peuvent s'approprier les résultats de l'évaluation.

Également, pour être réussie, une évaluation comme outil d'aide à la décision ne devrait pas se baser uniquement sur les résultats d'une expérimentation. L'évaluation de l'utilité qu'a le programme pour la communauté devra être aussi au coeur du système sociosanitaire. «L'évaluation de l'utilité d'un programme pour la communauté deviendra aussi importante que l'appréciation de son efficacité sur une base expérimentale» (Potvin, 1987).

- 43 -


Enfin, une condition est associée aux systèmes d'information utilisés dans une démarche d'évaluation. Il est fait mention que, pour qu'un système d'information soit efficace en terme d'évaluation de programme, l'évaluation ne doit pas être vue comme une contribution scientifique, mais plutôt comme une source d'information. Une information partielle au moment opportun est jugée préférable à une information complète qui arrive trop tard et des approximations correctes sont préférables à des modèles sophistiquées. Potvin (1990) tire ces conclusions des travaux de Cronbach (1980) et Landry (1980).

LES CONTRAINTES ET LIMITES DE L 'ÉVALUA TION

Trois ordres de problèmes affectent l'élaboration, la mise en place et les retombées des activités d'évaluation dans les établissements de services sociosanitaires au Québec: il s'agit des problèmes méthodologiques liés au champ scientifique des connaissances, des problèmes bureaucratiques et organisationnels liés au champ professionnel de l'intervention sociale et des contraintes politiques associées au champ de la décision politique et administrative.

Ces difficultés ont. le plus souvent, pour origine le rapport de force qui structure ces différents champs dans le processus de décision administrative et politique. Ainsi, les facteurs humains et politiques, plus que dans tout autre type de recherche, jouent un rôle très important Par conséquent, l'action renouvelée de l'évaluation passe par le développement d'un consensus autour des objectifs qu 'elle poursuit; des conditions liées à l'exercice de son rôle et des valeurs et des attitudes entourant cette démarche.

LES CONDITIONS DE RÉUSSITE DE L 'ÉVALUA TION

Notre politique d'évaluation retient les conditions de réussite que voici quant à une démarche d'évaluation de programmes :

Recourir à différentes stratégies méthodologiques (recherche evaluative/ monitoring) et à différentes approches complémentaires selon les caractéristiques du programme évalué; Considérer revaluation comme une entreprise participative, un lieu de négociation avec les partenaires dont la responsabilité est partagée; Comporter un comité de pilotage d'évaluation composé des différentes partenaires pour une meilleure diffusion et appropriation des résultats ainsi que pour assurer des décisions pertinentes et crédibles; Établir une entente préalable entre les partenaires sur un cadre de partage des

fonctions d'évaluation; Considérer l'évaluation comme une source d'information plutôt que comme une contribution scientifique; Accorder autant d'importance à l'évaluation de l'utilité d'un programme pour la communauté qu 'à l'appréciation de son efficacité sur une base expérimentale.

-44 -

ANNEXE X TYPOLOGIES EN ÉVALUATION DE PROGAMME

ANNEXE 1

TYPOLOGIESJEN EVALUATION DE PROGRAMME SELON MONNIER (1981)

CINQ TYPES D'ÉVALUTATION

APPROCHES PAR LES OBJECTIFS ou évaluation des objectifs (Cook, Campbell, Rossi, Freeman)

H s'agit d'une approche traditionnelle de l'évaluation. Elle confronte les résultats aux objectifs initiaux du programme. Question centrale: Les effets observables du programme sont-ils conformes aux objectifs préétablis?

- APPROCHES PAR LES PROCESSUS ou évaluation de processus (Stufflebeam)

Approche inspirée d'une apporche systémique qui a pour finalité principale d'expliquer les phénomènes à partir d'une analyse des interactions entre le programme et son environnement II vise une optimisation des moyens, compte tenu des caractéristiques de l'environnement Question centrale: Quels sont les processus a l'origine des effets observables?

- APPROCHES PAR LA MISE EN OEUVRE DU PROGRAMME ou évaluation d'implantation

Cette approche consiste à considérer le programme non comme une entité homogène invariante mais comme un ensemble disparate de moyens mis en oeuvre. Elle vise la mesure de l'efficacité et la maximisation des moyens par rapport aux fins poursuivies (objectifs). Question centrale: Le choix et la mise en oeuvre des moyens (financiers, techniques, de communication, etc.) ont-ils permis d'atteindre les résultats escomptés?

SELON GAUTHIER ET BEAUPRY (1992)

CINQ GRANDS TYPES D'ÉVALUATION SOIT:

- L'ÉVALUATION DES BESOINS Ce type d'évaluation permet de s'assurer que le programme, le service ou l'intervention proposé répond à un besoin réel et que les solutions préconisées sont ajustées aux ressources existantes. Les aspect du programme auquel se réfère cette évaluation sont: les problèmes et les besoins sociaux. Questions centrales: Quelles est la rmson d'être du programme? Cette raison d'être du programme est-elle pertinente en regard du problème public visé et des problèmes sociaux pressants?

- APPROCHES PAR LES EFFETS ou évaluation des effets (Scriven)

Cette approche ne tient pas compte des objectifs de départ. Elle examine les retombées du programme par rapport aux besoins de ceux qui en bénéficient. Question centrale: Quels sont parmi l'ensemble des effets d'un programme ceux qui satisfont des besoins fondamentaux?

- L'EVALUATION DES POSSIBILITES D'ACTION

Cette évaluation permet de procéder à la sélection du mode d'intervention à privilégier à partir de l'examen des différentes alternatives d'intervention. Les aspects du programme auxquels se réfère cette évaluation sont: les objectifs d'intervention et la nature de l'intervention. Questions centrales: Quels sont les cibles et les objectifs visés? Quels sont les objectifs à évaluer? Quelle est la logique sous-jacente à l'intervention? Quels sont les moyens d'actions à privilégier?, les moyens techniques appropriés à mettre en place? L'intervention est-elle logique face aux problèmes?

- APPROCHES PAR LES ACTEURS SOCIAUX ou evaluation pluraliste (Stake, Patton, Guba et Lincoln)

Dans cette approche, le programme est considéré comme un système oweit dans lequel l'évaluation est intégrée, les objectifs de cette dernière évoluant au fur et à mesure de son déroulement. Il s'agit d'un processus interactif. La participation des acteurs sociaux à ia démarche permet d'accroître son utilité pour ceux qui agissent dans le cadre du programme évalué. Question centrale: Quelles sont les informations nécessaires au système social pour améliorer sa compréhension des événements ou effets survenus au cours du programme?

L'ÉVALUATION D'IMPLANTATION

L'évaluation d'implantation vise essentiellement à assurer le suivi d'un programme, d'un service ou d'une intervention. Les aspects du programme auxquels se réfère cette évaluation sont: les ressources utilisées, les activités de production et les produits. Questions centrales. Les ressources utilisées et les activités menées par le programme sont-elles suffisantes pour s'attaquer au problème public? Quels sont les produits et les services offerts? Oui est la population rejointe? L'implantation correspond-elle aux plans initiaux?

- L'ÉVALUATION DES EFFETS

Ce type d'évaluation vise à vérifier l'écart entre les effets et impacts souhaités et ceux effectivement observés. Les aspects du programme auxquels se réfère cette évaluation sont; les impacts recherchés/atteinte des objectifs et les autres impacts non recherchés, indésirables, négatifs/positifs. Questions centrales: Quels sont les impacts recherchés et les impacts secondaires possibles? se sont-ils matérialisés? dans quelle mesure? Quel est le niveau d'atteinte des objectifs? Peut-on dire que les effets et impacts observés sont dus à l'action déployée?

- L'ÉVALUATION DU RENDEMENT

L'évaluation du rendement ne s'attarde pas à des aspects spécifiques du programme. Elle examine la productivité de l'action sous quatre aspects en posant les questions suivantes. Questions centrales: Est-ce que certaines activités du programme sont plus productives que d'autres? Est-ce que les bénéfices sociaux du programme dépassent ses coûts sociaux? J' a-t-il d'autres modes d'intervention qui pourraient régler ce problème à moindre coût? et d'autres interventions dans d'autres sphères d'activités seraient-elles plus productives?

TYPOLOGIES EX EVALUATION DE PROGRAMME SELON PINEAULT ET IIAVELl'Y <1«)5) SELON L'ÉCOLE NATIONALE D'ADMIN IîjTRAJION PUBLIQUE

ÉVALUATION TACTIQUE (structurelle ou de programme)

L'ÉVALUATION DES COMPOSANTES DU PROGRAMME

ÉVALUATION DES COMPOSANTES D'UN PROGRAMME:

ÉVALUATION STRATÉGIOUE 9DES OBJECTIFS) EVALUATION DE LA STRUCTURE (RESSOURCES): a/s quantité, qualité et agencement des ressources ÉVALUATION DU PROCESSUS (ACTIVITÉS OU SSIVICES): a/s des services produits et utilisés dans le cadre du programme ÉVALUATION DES EFFETS(OBJECTIFS): u/s des résultats obtenus en regard des objectifs

2. ÉVALUATION DES INTERRELATIONS ENTRE LES

Les aspects du programme auxquels se réfère cette évaluation sont: les objectifs et la situation-problème. Question centrale:

EVALUATION DE LA STRUCTURE (RESSOURCES): a/s quantité, qualité et agencement des ressources ÉVALUATION DU PROCESSUS (ACTIVITÉS OU SSIVICES): a/s des services produits et utilisés dans le cadre du programme ÉVALUATION DES EFFETS(OBJECTIFS): u/s des résultats obtenus en regard des objectifs

2. ÉVALUATION DES INTERRELATIONS ENTRE LES

Est-ce que les objectifs du programme permettent de résoudre les problèmes visés, les besoins de Us population ciblée?

- ÉVALUATION DE LA STRUCTURE Les aspects du programme auxquels se réfère cette évaluation sont: les ressources (input) et les résultats du programme. Ouestion centrale:

COMPOSANTES DU PROGRAMME EVALUATION DE LA RELATION STRUCTUEB-PROCESSUS-EFFETS

- ÉVALUATION ÉCONOMIQUE'. Relation processus-ressources (productivité) et Relation effets-ressources (rendement/rentabilité)

Ouestion centrale

Est-ce que les objectifs du programme permettent de résoudre les problèmes visés, les besoins de Us population ciblée?

- ÉVALUATION DE LA STRUCTURE Les aspects du programme auxquels se réfère cette évaluation sont: les ressources (input) et les résultats du programme. Ouestion centrale:

COMPOSANTES DU PROGRAMME EVALUATION DE LA RELATION STRUCTUEB-PROCESSUS-EFFETS

- ÉVALUATION ÉCONOMIQUE'. Relation processus-ressources (productivité) et Relation effets-ressources (rendement/rentabilité)

Ouestion centrale

Dans quelle mesure les ressources employées (humaines, financières, physiques) le sont-elles de façon adéquate pour atteindre les résultais escomptés?

- ÉVALUATION DU PROCESSUS Est-ce que le programme répond à des problèmes importants du point de vue de la société et qu'il va dans la direction attendue ?

Les aspects du programme auxquels se réfère cette évaluation sont: les services utilisés et les résultats escomptés. Ouestion centrale:

Est-ce que le programme répond à des problèmes importants du point de vue de la société et qu'il va dans la direction attendue ?

Dans quelle mesure les services sont-ils adéquats pour atteindre les résultais voulus (rép. aux besoins des usagers) ?

- ÉVALUATION DES RÉSULTATS Les aspects du programme auxquels se réfère cette évaluation est: l'objectif du programme. Ouestions centrales: Les résultats observés correspondent-ils à ceux attendus, c'est-à-dire aux objectifs que l'intervention s'est proposée d'atteindre? Les services produits ont-ils provoqué les changements attendus?

- ÉVALUATION DE L'IMPACT Porte sur l'état de santé de la population, sur l'utilisation des services en général ainsi que sur des phénomènes environnementaux, économiques, sociaux. Elle n'est pas nécessairement directement liés au programme. Ouestion centrale: Quel est l'impact du programme chez les utilisateurs et la population-cible?

ÉVALUATION OPÉRATIONNELLE (administrative) (Prolongement de l'évaluation tactique)

1- ÉVALUATION DE LA MISE EN OEUVRE DE




L'IMPLANTATION DU PROGRAMME

2- ÉVALUATION DES OBJECTIFS OPÉRATIONNELS en rapport avec les activités et les ressources du programme

Ouestion centrale:




Est-ce que les objectifs opérationnels ont été atteints, c'est-à-dire, est-ce que la mise en oeuvre du programme s'est faite tel que prévu?




Est-ce que les objectifs opérationnels ont été atteints, c'est-à-dire, est-ce que la mise en oeuvre du programme s'est faite tel que prévu?

ÉVALUATION DES INTERRELATIONS:

- ANALYSE DU PROGRAMME

ÉVALUATION STRATÉGIQUE (déborde les éléments internes du programme)

1- ÉVALUATION DE LA PERTINENCE DES OBJECTIFS

Étudie la correspondance entre les objectifs et les moyens mis en oeuvre dans le programme. Questions centrales: Les ressources et les activités sont-elles adéquates, suffisantes, conformes aux objectifs poursuivis? Est-ce qu'on emploie les bons moyens pour obtenir les résultats escomptés?

- ANALYSE DE LA PRODUCTIVITÉ OU EFFICIENCE Mesure la relation entre les services produits et les ressources investies. Ouestion centrale:

EN REGARD DES PROBLÈMES À RÉSOUDRE (pertinence théorique: se situe au début du processus de planification; pertinence réelle: à la fin du processus);

2- ÉVALUATION D'IMPACT

Étudie la correspondance entre les objectifs et les moyens mis en oeuvre dans le programme. Questions centrales: Les ressources et les activités sont-elles adéquates, suffisantes, conformes aux objectifs poursuivis? Est-ce qu'on emploie les bons moyens pour obtenir les résultats escomptés?

- ANALYSE DE LA PRODUCTIVITÉ OU EFFICIENCE Mesure la relation entre les services produits et les ressources investies. Ouestion centrale:

(se situe à la fin du processus de planification)

Questions centrales:

Comment an peut optimiser les services produits en gardant les ressources constantes ou en réduisant les ressources au minimum en maintenant la mime quantité de services?

- ANALYSE DES EFFETS D'UN PROGRAMME (UTILITÉ ET EFFICACITÉ)

Considère la relation entre les services et les effets de ces services sur les résultats de ce programme ou sur son impact, Ouestion centrale:

Est-ce que les objectifs spécifiques du programme ont été atteints?; Est-ce que les actions mises en place étaient appropriées?; Est-ce que les ressources mobilisées étaient adéquates en terme de quantité et qualité?

Comment an peut optimiser les services produits en gardant les ressources constantes ou en réduisant les ressources au minimum en maintenant la mime quantité de services?

- ANALYSE DES EFFETS D'UN PROGRAMME (UTILITÉ ET EFFICACITÉ)

Considère la relation entre les services et les effets de ces services sur les résultats de ce programme ou sur son impact, Ouestion centrale:

Est-ce que les objectifs spécifiques du programme ont été atteints?; Est-ce que les actions mises en place étaient appropriées?; Est-ce que les ressources mobilisées étaient adéquates en terme de quantité et qualité?

Est-ce que le programme a atteint ses objectifs par rapport à la population-cible? Quel résultat a atteint le programme par rapport aux problèmes de la population?

- ANALYSE DU RENDEMENT Analyse la relation entre les ressources et les effets du programme. Coût-efïicacilé; coût-avantage; coût utiiité. Résultats vs coûts; impacts vs coûts. Ouestion centrale: Quels sont les effets du programme en regard des ressources investies?

CONCLUSION

La revue de littérature que nous vous avons présentée ici, nous a permis de mieux comprendre «l'univers»

de l'évaluation de programme (son contexte, les concepts qui y sont liés, ses différents aspects : objectifs,

approches, activités, méthodes et finalement ses conditions facilitantes et ses difficultés d'exercice).

Ce travail procure les éléments nécessaires à l'élaboration du mandat de la Régie régionale à cet égard, au

développement d'un langage commun en cette matière et à une clarification des responsabilités régionales et

des activités qui s'y rattachent dans ce secteur.

Retenons que ce champ de connaissances et de préoccupations, nouvellement ressenti à l'échelle des

organisations publiques dans le domaine social et de la santé, nous invite à faire un effort supplémentaire

pour qu'il soit intégré au cycle global de gestion. C'est ainsi que pourront se dessiner les liens entre la

planification, les objectifs à atteindre par rapport aux services et ceux visés relativement à la santé et au

bien-être.

Sur les assises de la présente revue de littérature, un cadre de référence pour l'exercice de la fonction

évaluation des programmes à la Régie régionale pourra ainsi être réalisé et constitué les fondements d'un

travail complémentaire à celui de la planification, de la programmation et de l'intervention et cela, pour un

mieux être de la population.

* Revue de littérature concernant l'évaluation de programme dans le secteur de la santé et des services sociaux

BIBLIOGRAPHIE

ALLARD, Denis, «La régulation de la science et de la technique dans les modèeles d'évaluation», dans LÉGARÉ, Judith; DEMERS, Andrée, L'évaluation sociale: savoirs, éthique, méthodes. Laval (Québec), Éditions du Méridien, 1993

BEAUDOUIN, A,; LEFRANÇOIS, R ; OUELLET, F., «Lespratiques évaluatives : enjeux, stratégies et principes», dans la revue Service social. ÉCOLE DE SERVICE SOCIAL, Université Laval, vol. 35, Vol no. 1 et 2, Pages 188-213

BEAUDRY, J.; GAUTHIER, B., «L'évaluation de programmes» dans : GAUTHIER, Benoît, La recherche sociale . de la problématique à la collecte de données. P U.P.. 1992

BLAIS, Régis, «Résistance et collaboration à l'évaluation de programme: un cadre d'analyse et un modèle théorique», Laboratoire de recherche en écologie humaine et sociale, Université du Québec à Montréal, Montréal, dans la Revue canadienne d'évaluation de programme

CHAMPAGNE, F.: CONTANDRIOPOULOS, A.P.; PINEAULT, R, «Un cadre conceptuel pour l'évaluation des programmes de santé» dans Revue épidémiologie et santé publique, Masson, Paris, 1995

CHAMPAGNE, F.; DENIS, J.L., «Analyse de l'implantation», Texte tiré de : La recherche évaluative en santé. Groupe de recherche interdisciplinaire en santé. Université de Montréal, Février 1990

CONFÉRENCE DES RÉGIES RÉGIONALES, Cadre pour la fonction évaluation dans les Régies régionales. Rapport du groupe de travail sur la fonction évaluation, Table des priorités de santé et de bien-être de la Conférence des Régies

CONSEIL DU TRÉSOR DU CANADA, Méthode d'évaluation des programmes -mesures et attributions des résultats des programmes-, par la Direction de l'évaluation des programmes, Bureau du contrôleur général, Gouvernement du Canada, Janvier 1991

CORIN, Ellen, Les dimensions sociales et psychiques de la santé: outils méthodologiques et perspectives d'analyse. Unité de recherche psychosociale, Centre de recherche du Centre hospitalier Douglas, 1987

D'ANNUNZIO, Suzanne, MSSS, «.L'évaluation de programmes: un instrument pour une gestion plus efficace et plus efficiente», Présentation colloque de l'ACFAS: enjeux politiques et métho-dologiques de la planification régionale des services sociaux et de santé, Rimouski, mai 93

ÉMOND, Aline; BÉDARD, Danielle, Politique d'évaluation. Direction de la santé publique et de l'évaluation, Régie régionale de la santé et des services sociaux de l'Estrie, Novembre 1994

GUBA et LINCOLN, Fourth generation evaluation. 1989 cité dans ALLARD, Denis, «La régulation de la science et de la technique dans les modèles d'évaluation», dans LÉGARE, Judith; DEMERS, Andrée, L'évaluation sociale: savoirs, éthique, méthodes. Laval (Québec), Éditions du Méridien, 1993

-51 -

Revue de littérature concernant l'évaluation de programme dans le secteur de la santé et des services sociaux ,

MARCEAU, R.; OTIS, D.; SEMARD, P., «La planification d'une évaluation de programme : Concepts théoriques et considérations pratiques», dans : GAUTHIER, Benoît, La recherche sociale : de la problématique à la collecte de données. P.U.O.. 1992

MARCEAU, R ; OTIS, D ; SEMARD, P., «La gestion de l'évaluation de programme au Gouvernement du Québec», dans: GAUTHIER, Benoît, La recherche sociale : de la problématique à la collecte de données. P.U.Q., 1992

MINISTÈRE DE LA SANTÉ ET DES SERVICES SOCIAUX DU QUÉBEC, Une politique d'évaluation des programmes et des politiques au ministère de la santé et des services sociaux. Direction de l'évaluation, MSSSQ, 1990

MONNIER, E., Évaluation de l'action des pouvoirs publics. Paris. Économica, 1981

PATTON, Michael Quinn, «A context and boundaries for a theory-driven approach to validity» in Evaluation and program planning Vol. 12, pp. 375-377,1989

PINEAULT, R , DAVELUY, C., La planification de la santé. Éditions nouvelles, Montréal, 1995

POTVIN, Nelson, «L'évaluation de programmes en santé communautaire», Hôpital Général du Lakeshore, Pointe-Claire, QC, ds The Canadian journal of Canadian evaluation. Vol 5, No. 1, Pages 57 à 71,1990

RÉGIE RÉGIONALE DE LA SANTÉ ET DES SERVICES SOCIAUX DE LA GASPÉS1E - ILES DE LA MADELEINE, Direction de la santé publique Guide pour bâtir un projet ou un programme: félicitations pour votre beau programme!. 1995.

RUTMAN, M., MAYNE, J., «Institutionalization of program evaluation in Canada: the federal level» dans M.Q. PATTON (ed ), Culture and evaluation. New directions for program evaluation, No. 25, San Fransisco, 1985

RUTMAN, Léonard, «Planification d'une étude évaluative» dans O. LECOMPTE et L. RUTMAN, Introduction aux méthodes de recherche évaluatives. 1982

SOUIBQUI, Ahmed, L'évaluation des programmes publics: principes, études de cas et perspectives. Ministère de la Justice, Mémoire de stage, E.N.A.P ., octobre 1983

- 5 2 -

0 11,395 e_ 8 2 7 Jîx.2 Larnoureux, M-C. et al.

Revue de littérature concernant i évaluation de prôgf âffitg-ds-lë ^ ç t e u r ^ J a ^ t e et des ser-K À ç e s | 5 c i a u x : l i m i t i o n s , a p ^

0 11,395 ex .2

Documents

REVUE DE LITTÉRA TV RE CONCERNANT L … › Bibliothequevirtuelle › santecom › ...Revue de littérature concernant revaluation de programme dans le secteur de la santé et des